Engenheiro de dados sénior

Engenheiro de Dados Sénior

Estamos a recrutar um Engenheiro de Dados Sénior para se juntar a uma equipa de entrega da Intellias num programa de migração de plataforma de dados de grande escala para um cliente de serviços financeiros. Este é um papel sénior prático. Você irá escrever código de produção todas as semanas, será responsável pelas decisões arquitetónicas no seu fluxo de trabalho e irá mentorar um engenheiro de nível intermédio em pares.

Que projeto temos para você

O nosso cliente é um gestor de ativos global independente e ativo, com mais de R3 trilhões em ativos sob gestão. Eles estão a executar uma estratégia de dados a nível da empresa para governar, gerir e engenheirar dados como um produto em mais de 70 subdomínios de negócios.Como parte disso, estão a migrar para o Databricks como camada fundamental da sua Plataforma de Dados Empresarial, adotando uma arquitetura de lakehouse construída sobre formatos abertos, pipelines declarativos e Unity Catalog.

O que você fará

• Executar a entrega de ponta a ponta de um ou mais domínios de dados prioritários no Azure Databricks.
• Projetar e construir pipelines medallion (Bronze / Silver / Gold) utilizando Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming e Delta Lake com Liquid Clustering.
• Registar produtos de dados curados no Unity Catalog com as etiquetas, máscaras, filtros de linha, rastreio e políticas de acesso corretas.
• Implementar portas de qualidade de dados na fronteira de Silver para Gold e refinar regras com os administradores de domínio.
• Empacotar e implantar trabalho usando Databricks Asset Bundles através do CI/CD do Azure DevOps.
• Escrever testes automatizados e documentação.
• Trabalhar ao nível de AI-as-Collaborator hoje com um caminho para AI-as-Orchestrator, usando Claude Code, Databricks Assistant, GitHub Copilot e ferramentas de agente conectadas ao MCP para acelerar as partes recorrentes da construção, teste e implantação de pipeline.

O que você precisa para isto

• Mais de 6 anos de experiência em engenharia de dados, com pelo menos os últimos três anos no Databricks em produção.
• Experiência prática profunda com arquitetura medallion / Lakehouse, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines e Databricks Asset Bundles.
• Forte conhecimento em python, PySpark e SQL, confortável a diagnosticar problemas de desempenho em grandes cargas de trabalho através do Spark UI e Photon.
• Experiência real em produção com ingestão em streaming (Kafka Structured Streaming, Auto Loader) e padrões de CDC.
• Experiência na implementação da qualidade dos dados em larga escala (Great Expectations ou equivalente), além de rastreio, catalogação e controle de acesso.
• CI/CD em plataformas de dados através do Azure DevOps ou GitHub Actions, com infraestrutura como código (Terraform ou equivalente).
• Fluência em inglês.

Bom ter

• Certificações ativas da Databricks.
• Exposição anterior a plataformas de gestão de investimentos, dados de operações de gestão de ativos, fluxos de dados de mercado de grandes fornecedores.
• Certificação CDMP DAMA ou credencial de governança de dados equivalente.
• Experiência na aplicação de ferramentas de engenharia agentiva à engenharia de dados de produção (não apenas produtividade pessoal), incluindo Databricks ou servidores em nuvem conectados ao MCP.

Como é trabalhar na Intellias

Na Intellias, onde a tecnologia é o foco, as pessoas vêm sempre antes dos processos. Ao criar uma atmosfera confortável na nossa equipa, capacitamos os indivíduos a desbloquear o seu verdadeiro potencial e a alcançar resultados extraordinários. É por isso que oferecemos uma gama de benefícios que apoiam o seu bem-estar e impulsionam o seu crescimento profissional.Estamos comprometidos em promover a equidade, diversidade e inclusão como um empregador de iguais oportunidades. Todos os candidatos serão considerados para emprego sem discriminação com base em raça, cor, religião, idade, género, nacionalidade, deficiência, orientação sexual, identidade ou expressão de género, status de veterano ou qualquer outra característica protegida pela lei aplicável.Celebramos e valorizamos a singularidade de cada indivíduo. Junte-se à Intellias para uma carreira onde as suas perspetivas e contribuições são vitais para o nosso sucesso partilhado.