Engenheiro de Dados Sénior

Descrição da Função

O Damia Group é uma agência internacional de recrutamento tecnológico com 3 décadas de experiência. A nossa chegada a Portugal, 7 anos depois, teve como missão transformar as experiências de recrutamento em TI e, através delas, alcançar melhores resultados. Acreditamos em relações de longo prazo com uma mentalidade transparente e descontraída. Em pouco tempo, conquistámos os corações tanto de scale-ups como de organizações maiores, ao fornecer listas curadas de candidatos precisas, aumentando as taxas de aceitação de ofertas de emprego e diminuindo o tempo para preenchimento.

O cliente é um líder global em serviços de qualidade de vida, fundado em França. A empresa opera em mais de 50 países, oferecendo uma ampla gama de serviços que incluem:

Serviços no local: Restauração, limpeza, manutenção e gestão de instalações.

Serviços de Benefícios e Recompensas: Cartões de refeição, cartões de presente, soluções de mobilidade e benefícios para empregados.

Serviços Pessoais e Domésticos: Concierge, cuidados em casa e cuidados infantis (menos proeminente). Focam-se em melhorar a qualidade de vida de empregados, estudantes, pacientes e outros em vários setores, incluindo escritórios corporativos, escolas, saúde, defesa e locais remotos.

Estão presentes em Portugal. Serviços Principais, Benefícios e Recompensas para Empregados: Reconhecidos por oferecer cartões de refeição como o Sodexo Refeição Pass, bem como cartões de presente e cartões de combustível.

Serviços no local: Restauração e gestão de instalações em ambientes corporativos, de saúde e educacionais.

Principais Clientes: Inclui corporações multinacionais, instituições públicas e empresas locais.

Missão em Portugal: Ajudar a melhorar o bem-estar dos empregados e o desempenho organizacional através de soluções personalizadas de local de trabalho e benefícios.

Sobre a função/O que irá fazer:

- Ponto de contacto técnico privilegiado para o Product Owner e patrocinadores do negócio;

- Capacidade de assumir a responsabilidade de engenharia de dados num projeto de dados;

- Habilidades de escuta e excelentes capacidades de comunicação;

- Capacidade de gerenciar a dívida técnica (variável de acordo com os casos de uso);

- Arquiteto técnico, levar reuniões de design e desagregações técnicas;

- Capacidade de orientar e guiar o trabalho de um Engenheiro de Dados mais júnior

Requisitos:

- Mestrado em Engenharia ou Doutoramento;

- Experiência de 5+ anos em um papel de engenharia de dados em grandes organizações corporativas;

- Experiência em um ambiente de Dados/IA num ecossistema Cloud.

Engenharia de Software & SQL:

- Python: Fortes habilidades de codificação em Python, especialmente com bibliotecas relacionadas à manipulação de dados (por exemplo, Pandas) e interação com bancos de dados.

- Ecossistema Python: Forte conhecimento das ferramentas no ecossistema Python, como ferramentas de gestão de dependências (poetry, venv).

- Práticas de engenharia de software: Forte experiência em implementar boas práticas de engenharia de software, como padrões de design, testes (unitário, integração, e2e), código limpo, formatação de código, etc.

- SQL: Conhecimento avançado de SQL para consulta, transformação e agregação de dados.

Arquitetura de Dados:

- Design: Capacidade de projetar pipelines de dados escaláveis e robustos, considerando requisitos funcionais e não funcionais.

- Integração: Conhecimento de arquiteturas de dados para assegurar um fluxo de dados fiável e eficiente.

Plataformas Cloud:

- Serviços Azure: Proficiência em Azure Data Lake, Azure Data Factory, Azure Blob Storage, Azure SQL.

- Azure Databricks: Proficiência em usar Databricks para implantar e executar trabalhos Spark, incluindo uso avançado (como manejo de clusters, escopos secretos, armazéns, catálogo unificado, etc.)

- Infraestrutura Cloud: Familiaridade com a configuração e gestão de redes virtuais, VMs, grupos de segurança e componentes relacionados no Azure é preferível.

Processamento de Dados com Frameworks de Big Data:

- Spark: Domínio de PySpark para processamento de dados, particularmente API DataFrame.

- Delta Lake: Compreensão do Delta Lake para lagos de dados fiáveis.

Armazenamento de Dados & Gestão de Dados.

- Gestão de Banco de Dados: Conhecimento de bancos de dados relacionais (SQL Server) e NoSQL (como CosmosDB).

- Formatos de Dados: Familiaridade com diferentes formatos de armazenamento de dados, como Parquet, JSON, CSV e Delta.

Ferramentas de Integração de Dados:

- Azure Data Factory: Habilidade em desenhar, implantar e gerir soluções de integração de dados com ADF.

- Modelagem de Dados: Design de Esquema: Capacidade de projetar esquemas de banco de dados eficientes e escaláveis para casos de uso operacional e analítico.

- Deve conhecer Modelagem Dimensional, Modelagem de Dados em 3NF (Terceira Forma Normal) e Modelagem de Data Vault.

- Design ETL: Conhecimento em projetar processos de Extração, Transformação e Carga (ETL).

- DBT: Usado para modelar, transformar e testar dados em produtos de dados específicos.

Otimização de Performance:

- Tuning de Consultas: Habilidades em otimizar consultas SQL complexas.

- Otimização de Pipelines: Conhecimento em otimizar pipelines de processamento de dados, particularmente em Databricks/Spark.

Segurança & Conformidade:

- Segurança de Dados: Conhecimento de técnicas de criptografia, tanto em repouso como em trânsito.

- Controlo de Acesso: Compreensão de controlos de acesso baseados em funções e integração com Azure Active Directory.

DevOps & Automação:

- CI/CD: Experiência com ferramentas de integração contínua e implantação contínua como Azure DevOps.

- Infraestrutura como Código: Familiaridade com ferramentas como modelos Azure Resource Manager (ARM) ou Terraform é um plus.

- Containerização: Compreensão básica de Docker e Kubernetes, especialmente como podem integrar com os serviços Azure, é um plus.

Monitorização & Resolução de Problemas:

- Registo & Monitorização: Familiaridade com ferramentas como Azure Monitor, Log Analytics ou outras soluções de monitorização.

- Depuração: Capacidade de resolver problemas e depurar questões dentro de pipelines de dados e sistemas de armazenamento.