Resumo da vaga
- Stack
- GraphQL, Databricks, Python, Scala, AWS, SQL, Apache Spark, Azure, Google Cloud, Terraform, Kafka
- Localização
- Lisboa
- Regime
- Presencial
- Contrato
- Full-time
- Publicada
- Hoje
Descrição
Sobre a vaga
Procuramos um Engenheiro Senior de Plataforma de Dados com experiência em Databricks, engenharia e arquitetura de dados. O profissional será capaz de conceber e desenvolver plataformas de dados escaláveis, seguras e governadas, promovendo a reutilização, a qualidade dos dados e boas práticas de engenharia.
O que vais fazer
- Desenvolver e manter padrões modulares de ingestão de dados, suportando fontes em batch, através de APIs e orientadas a eventos (por exemplo, JDBC, conectores SaaS/ERP, Kafka e CDC)
- Criar frameworks de ingestão reutilizáveis, preferencialmente orientados por metadados, que permitam a integração rápida e consistente de novas fontes de dados
- Desenvolver e otimizar pipelines de dados em Databricks (Spark, Delta Live Tables/Lakeflow), ao longo da arquitetura Medallion (Bronze, Silver e Gold)
- Implementar e evoluir mecanismos de governação de dados, incluindo controlos de acesso, linhagem, catalogação, auditoria, classificação de dados e conformidade com os requisitos de privacidade
- Definir e garantir o cumprimento de padrões de qualidade de dados, contratos de dados, mecanismos de monitorização e alertas nas diferentes camadas de ingestão e transformação
- Implementar soluções de proteção de dados e privacidade, incluindo mascaramento, tokenização, pseudonimização e outras técnicas adequadas de anonimização, de forma a cumprir os requisitos regulamentares, nomeadamente o RGPD
- Desenvolver, gerir e evoluir produtos de dados alinhados com um modelo de dados canónico, garantindo a definição clara de responsabilidades, SLAs e documentação
- Colaborar com as equipas de domínio na integração dos dados de origem no modelo canónico, preservando as especificidades de cada domínio
- Promover uma abordagem de Dados como Produto, assegurando a facilidade de descoberta dos dados, o acesso em regime de self-service, o controlo de versões e a definição de contratos de dados orientados para os consumidores
- Desenvolver e manter camadas de disponibilização e consumo de dados, incluindo conjuntos de dados para BI e análise, APIs (REST/GraphQL) e extensões orientadas a casos de utilização específicos
- Definir e promover padrões técnicos e a evolução da plataforma nas áreas de CI/CD, Infraestrutura como Código, testes, observabilidade e otimização de custos
- Acompanhar e orientar outros engenheiros, colaborando com as equipas de governação, segurança, arquitetura e com os diferentes interlocutores do negócio
O que é pedido
- Cerca de 6 ou mais anos de experiência em Engenharia de Dados, dos quais pelo menos 2 anos na conceção e operação de plataformas Lakehouse baseadas em Databricks, em ambientes de produção e à escala empresarial
- Experiência prática sólida com Apache Spark e Delta Lake
- Experiência prática com Unity Catalog (ou ferramentas equivalentes) na gestão de controlos de acesso, linhagem e catalogação de dados
- Experiência comprovada na implementação de técnicas de anonimização e pseudonimização de dados em ambientes sujeitos a regulamentação
- Bons conhecimentos de modelação de dados canónica e conformada, nomeadamente Data Vault, modelação dimensional e aplicação dos princípios de Domain-Driven Design aos dados
- Experiência na disponibilização de dados através de APIs (REST/GraphQL), incluindo desenho de esquemas, contratos de dados e gestão de versões para consumidores internos e externos
- Bons conhecimentos de Python e/ou Scala, SQL e Infraestrutura como Código, preferencialmente Terraform
- Sólidos conhecimentos de frameworks de governação de dados, regulamentação de privacidade (RGPD/GDPR e CCPA) e práticas de segurança de dados
- Experiência com plataformas cloud (Azure, AWS ou GCP) e respetivos serviços nativos de dados e processamento de eventos
Valorizado
- A experiência com Delta Live Tables/Lakeflow Declarative Pipelines será uma mais-valia
Resumo organizado por IA a partir do anúncio original. Confirma os detalhes no site da empresa.
Benefícios e vantagens
- Apoio ao home-office
- Cantina
- Comida, fruta e bebida
- Flexibilidade de horário
- Ginásio & atividades desportivas
- Prémios de performance
- Seguro de saúde
- Suporte psicológico
Valores e cultura
- Ambiente corporativo
- Amigos fora do trabalho
- Depende do projeto / equipa
- Igualdade de género
- Incentivo à criatividade & inovação
- Membros impressionantes na equipa
- Onboarding técnico
- Piercing e tatuagens
