Engenheiro de Dados Sénior

Descrição do Papel

A Damia Group é uma agência de recrutamento tecnológica internacional com 3 décadas de experiência. A nossa chegada a Portugal, 7 anos depois, baseou-se numa missão para transformar as experiências de recrutamento em TI e, através delas, alcançar melhores resultados. Acreditamos em relações a longo prazo com uma mentalidade transparente e descontraída. Num curto espaço de tempo, alcançámos os corações tanto de scale-ups como de organizações maiores, fornecendo listas curadas de candidatos, taxas de aceitação de ofertas de emprego aumentadas e tempos de preenchimento mais curtos.

O cliente é um líder global em serviços de qualidade de vida, fundado em França. A empresa opera em mais de 50 países, oferecendo uma ampla gama de serviços que incluem:

Serviços no local: Catering, limpeza, manutenção e gestão de instalações.

Serviços de Benefícios e Recompensas: Cartões de refeição, cartões de presente, soluções de mobilidade e benefícios para empregados.

Serviços Pessoais e Domiciliários: Concierge, cuidados a domicílio e cuidados infantis (menos proeminentes). Eles focam na melhoria da qualidade de vida de empregados, estudantes, pacientes e outros em vários setores, incluindo escritórios corporativos, escolas, saúde, defesa e locais remotos.

Estão presentes em Portugal. Serviços Core, Benefícios e Recompensas dos Empregados: Bem conhecidos por oferecer cartões de refeição como o Sodexo Refeição Pass, bem como cartões de presente e cartões de combustível.

Serviços no local: Catering e gestão de instalações em ambientes corporativos, de saúde e de educação.

Clientes Chave: Inclui corporações multinacionais, instituições públicas e negócios locais.

Missão em Portugal: Ajudar a melhorar o bem-estar dos empregados e o desempenho organizacional através de soluções de local de trabalho e benefícios personalizadas.

Sobre o papel/O que fará:

- Ponto de contacto técnico privilegiado para o Proprietário do Produto e patrocinadores de negócios;

- Capacidade de assumir a responsabilidade de engenharia de dados de um projeto de dados;

- Habilidades de escuta e excelentes habilidades de comunicação;

- Capacidade de gerenciar a dívida técnica (variável de acordo com os casos de uso);

- Arquiteto técnico, liderar reuniões de design e quebras técnicas;

- Capacidade de orientar e guiar o trabalho de um Engenheiro de Dados mais júnior.

Requisitos:

- Mestrado em Engenharia ou Doutoramento;

- Mais de 5 anos de experiência em um papel de engenharia de dados em grandes organizações corporativas;

- Experiência em um ambiente de Dados/IA em um ecossistema Cloud.

Engenharia de Software e SQL:

- Python: Fortes habilidades de codificação em Python, especialmente com bibliotecas relacionadas à manipulação de dados (por exemplo, Pandas) e interfacing com bases de dados.

- Ecossistema Python: Sólido conhecimento das ferramentas no ecossistema Python, como ferramentas de gerenciamento de dependências (poetry, venv).

- Práticas de engenharia de software: Sólida experiência na implementação de boas práticas de engenharia de software, como padrões de design, testes (unitários, integração, e2e), código limpo, formatação de código, etc.

- SQL: Conhecimento avançado de SQL para consulta, transformação e agregação de dados.

Arquitetura de Dados:

- Design: Capacidade de desenhar pipelines de dados escaláveis e robustos, considerando requisitos funcionais e não funcionais.

- Integração: Conhecimento de arquiteturas de dados para garantir fluxo de dados confiável e eficiente.

Plataformas Cloud:

- Serviços Azure: Proficiência em Azure Data Lake, Azure Data Factory, Azure Blob Storage, Azure SQL.

- Azure Databricks: Proficiência em usar Databricks para implementar e executar trabalhos Spark, incluindo uso avançado (como manuseio de clusters, escopos secretos, armazéns, catálogo de unidade, etc.)

- Infraestrutura Cloud: Familiaridade com a configuração e gestão de redes virtuais, VMs, grupos de segurança e componentes relacionados no Azure é preferível.

Processamento de Dados com Frameworks de Big Data:

- Spark: Domínio de PySpark para processamento de dados, particularmente API DataFrame.

- Delta Lake: Compreensão do Delta Lake para lagos de dados confiáveis.

Armazenamento de Dados e Gestão de Dados.

- Gestão de Bases de Dados: Conhecimento de bases de dados relacionais (SQL Server) e NoSQL (como CosmosDB).

- Formatos de Dados: Familiaridade com diferentes formatos de armazenamento de dados, como Parquet, JSON, CSV e Delta.

Ferramentas de Integração de Dados:

- Azure Data Factory: Habilidade em desenhar, implementar e gerir soluções de integração de dados com ADF.

- Modelagem de Dados: Design de Esquema: Capacidade de desenhar esquemas de bases de dados eficientes e escaláveis para casos de uso operacionais e analíticos.

- Deve conhecer Modelagem Dimensional, Modelagem de Dados 3NF (Terceira Forma Normal) e Modelagem de Armazenamento de Dados.

- Design ETL: Conhecimento em desenhar processos de Extrair, Transformar, Carregar (ETL).

- DBT: Usado para modelar, transformar e testar dados em produtos de dados específicos.

Otimização de Performance:

- Otimização de Consultas: Habilidades em otimizar consultas SQL complexas.

- Otimização de Pipeline: Conhecimento em otimizar pipelines de processamento de dados, particularmente em Databricks/Spark.

Segurança e Conformidade:

- Segurança de Dados: Conhecimento de técnicas de criptografia, tanto em repouso como em trânsito.

- Controle de Acesso: Compreensão de controles de acesso baseados em funções e integração com o Azure Active Directory.

DevOps e Automação:

- CI/CD: Experiência com ferramentas de integração contínua e implantação contínua, como Azure DevOps.

- Infraestrutura como Código: Familiaridade com ferramentas como modelos de Gerenciador de Recursos do Azure (ARM) ou Terraform é um plus.

- Containerização: Compreensão básica de Docker e Kubernetes, especialmente como podem integrar-se com serviços Azure é um plus.

Monitorização e Resolução de Problemas:

- Registos e Monitorização: Familiaridade com ferramentas como Azure Monitor, Log Analytics ou outras soluções de monitorização.

- Depuração: Capacidade de solucionar e depurar problemas dentro de pipelines de dados e sistemas de armazenamento.