Luza Tecnologia

Senior data platform engineer

  • New · Today
  • On-site · Lisbon
  • Full-time
Apply here
Get jobs like this one by email GraphQL / Databricks · Lisbon You sign in with LinkedIn, no new password.

Job at a glance

Location
Lisbon
Work setup
On-site
Contract
Full-time
Posted
Today

Description

Sobre a vaga

Procuramos um Senior Data Platform Engineer com experiência em Databricks, engenharia e arquitetura de dados. O profissional será capaz de conceber e desenvolver plataformas de dados escaláveis, seguras e governadas, promovendo a reutilização, a qualidade dos dados e boas práticas de engenharia.

O que vais fazer

  • Desenvolver e manter padrões modulares de ingestão de dados, suportando fontes em batch, através de APIs e orientadas a eventos (por exemplo, JDBC, conectores SaaS/ERP, Kafka e CDC)
  • Criar frameworks de ingestão reutilizáveis, preferencialmente orientados por metadados, que permitam a integração rápida e consistente de novas fontes de dados
  • Desenvolver e otimizar pipelines de dados em Databricks (Spark, Delta Live Tables/Lakeflow), ao longo da arquitetura Medallion (Bronze, Silver e Gold)
  • Implementar e evoluir mecanismos de governação de dados, incluindo controlos de acesso, linhagem, catalogação, auditoria, classificação de dados e conformidade com os requisitos de privacidade
  • Definir e garantir o cumprimento de padrões de qualidade de dados, contratos de dados, mecanismos de monitorização e alertas nas diferentes camadas de ingestão e transformação
  • Implementar soluções de proteção de dados e privacidade, incluindo mascaramento, tokenização, pseudonimização e outras técnicas adequadas de anonimização, de forma a cumprir os requisitos regulamentares, nomeadamente o RGPD
  • Desenvolver, gerir e evoluir produtos de dados alinhados com um modelo de dados canónico, garantindo a definição clara de responsabilidades, SLAs e documentação
  • Colaborar com as equipas de domínio na integração dos dados de origem no modelo canónico, preservando as especificidades de cada domínio
  • Promover uma abordagem de Data as a Product, assegurando a facilidade de descoberta dos dados, o acesso em regime de self-service, o controlo de versões e a definição de contratos de dados orientados para os consumidores
  • Desenvolver e manter camadas de disponibilização e consumo de dados, incluindo conjuntos de dados para BI e análise, APIs (REST/GraphQL) e extensões orientadas a casos de utilização específicos
  • Definir e promover padrões técnicos e a evolução da plataforma nas áreas de CI/CD, Infraestrutura como Código (Infrastructure as Code), testes, observabilidade e otimização de custos
  • Acompanhar e orientar outros engenheiros, colaborando com as equipas de governação, segurança, arquitetura e com os diferentes interlocutores do negócio

O que é pedido

  • Cerca de 6 ou mais anos de experiência em Engenharia de Dados, dos quais pelo menos 2 anos na conceção e operação de plataformas Lakehouse baseadas em Databricks, em ambientes de produção e à escala empresarial
  • Experiência prática sólida com Apache Spark e Delta Lake
  • Experiência prática com Unity Catalog (ou ferramentas equivalentes) na gestão de controlos de acesso, linhagem e catalogação de dados
  • Experiência comprovada na implementação de técnicas de anonimização e pseudonimização de dados em ambientes sujeitos a regulamentação
  • Bons conhecimentos de modelação de dados canónica e conformada, nomeadamente Data Vault, modelação dimensional e aplicação dos princípios de Domain-Driven Design (DDD) aos dados
  • Experiência na disponibilização de dados através de APIs (REST/GraphQL), incluindo desenho de esquemas, contratos de dados e gestão de versões para consumidores internos e externos
  • Bons conhecimentos de Python e/ou Scala, SQL e Infraestrutura como Código (Infrastructure as Code), preferencialmente Terraform
  • Sólidos conhecimentos de frameworks de governação de dados, regulamentação de privacidade (RGPD/GDPR e CCPA) e práticas de segurança de dados
  • Experiência com plataformas cloud (Azure, AWS ou GCP) e respetivos serviços nativos de dados e processamento de eventos

Valorizado

  • A experiência com Delta Live Tables/Lakeflow Declarative Pipelines será uma mais-valia

Resumo organizado por IA a partir do anúncio original. Confirma os detalhes no site da empresa.

Benefícios e vantagens

  • Apoio ao home-office
  • Cantina
  • Comida, fruta e bebida
  • Flexibilidade de horário
  • Ginásio & atividades desportivas
  • Prémios de performance
  • Seguro de saúde
  • Suporte psicológico

Valores e cultura

  • Ambiente corporativo
  • Amigos fora do trabalho
  • Depende do projeto / equipa
  • Igualdade de género
  • Incentivo à criatividade & inovação
  • Membros impressionantes na equipa
  • Onboarding técnico
  • Piercing e tatuagens
  • GraphQL
  • Databricks
  • Python
  • Scala
  • AWS
  • SQL
  • Apache Spark
  • Azure
  • Google Cloud
  • Terraform
  • Kafka

The devs.pt digest

Top stories, events and jobs — twice a month.