Engenheiro de Dados - DataBricks

Sobre a YellowIpe

A nossa missão é inspirar a conexão entre tecnologia e pessoas, promovemos o melhor dos nossos profissionais através da nossa experiência em encontrar e atrair o melhor talento para os melhores projetos. O Foco nas Pessoas, Colaboração e Compromisso são os pilares que nos guiam nesta trajetória.

Junte-se à equipa amarela como o nosso novo Engenheiro de Dados - DataBricks!

Como Engenheiro de Dados, será responsável por compreender os desafios empresariais e tecnológicos, desenvolver pipelines de dados que enfrentem esses desafios e garantir o seu bom funcionamento na implementação.

Também será responsável pela aplicação de boas práticas standard da indústria e dentro da empresa, assim como pela aplicação e evolução dos nossos vários padrões.

Responsabilidades:

Compreensão de Projetos e Comunicação:

- Compreender problemas do ponto de vista do utilizador e comunicar de forma clara para entender a questão.

- Garantir que a arquitetura fornecida pelo Arquiteto de Dados é claramente compreendida por si.

- Comunicar com o Arquiteto de Dados e os seus colegas sobre a solução técnica que está a desenvolver e comunicar com o Gestor de Projeto responsável pelo projeto em que está a trabalhar.

Desenvolvimento:

- Redigir e comunicar sobre novos contratos de interface ou atualizações.

- Sólido entendimento dos conceitos de data warehousing, data lakes, processos ETL/ELT e modelagem de dados.

- Desenvolver pipelines de dados com base na arquitetura definida.

- Garantir que as boas práticas regulares são aplicadas.

- Implementar a infraestrutura solicitada, particularmente usando Terraform.

- Realizar revisões por pares e solicitar aos seus colegas que revisem o seu código ao mesclar uma nova versão da base de código.

Testes:

- Definir testes com o seu gestor de projeto, com base nos requisitos funcionais e técnicos do pipeline que está a desenvolver.

- Realizar esses testes e comunicar regularmente os resultados.

- Resumir regularmente os resultados dos seus testes num documento dedicado.

Implementações:

- Apresentar ao Arquiteto de Dados responsável pela arquitetura, e ao Lead DataOps, o desenvolvimento que foi realizado através das nossas Revisões de Implementação.

- Rastrear e comunicar sobre quaisquer erros potenciais durante todo o período de monitorização ativa a seguir a uma implementação.

- Garantir a aplicação diligente do processo de implementação, registando e monitorizando a estratégia.

Requisitos:

- Proficiência com PySpark e Spark SQL para processamento de dados.

- Experiência com Databricks usando o Unit Catalog.

- Conhecimento de Delta Live Tables (DLT) para ETL automatizado e orquestração de fluxo de trabalho no Databricks.

- Familiaridade com Azure Data Lake Storage.

- Experiência com ferramentas de orquestração (por exemplo, Apache Airflow ou similar) para construir e programar pipelines ETL/ELT.

- Conhecimento de partição de dados e gestão do ciclo de vida dos dados em armazenamento na nuvem.

- Familiaridade com a implementação de práticas de segurança e privacidade de dados num ambiente de nuvem.

- Terraform: Pelo menos um ano de experiência com Terraform e conhecimento das boas práticas de GitOps.

- Conhecimento e experiência adicionais que são uma mais-valia: Pacotes de Ativos Databricks; Kubernetes; Apache Kafka; Vault.

Traços Pessoais:

- Capacidade de se adaptar a diferentes contextos, equipas e partes interessadas.

- Proatividade na gestão dos projetos entregues pela sua equipa.

- Um olhar contínuo para a melhoria dos processos existentes.

- Habilidades de comunicação e colaboração claras.

- Excelente capacidade analítica e de resolução de problemas.

- Capacidade demonstrada para gerir o seu stress num ambiente operacional.

- Capacidade demonstrada para compreender rapidamente os requisitos empresariais e técnicos de um pipeline de dados que precisa ser desenvolvido e desafiar potenciais equívocos.

- O candidato deve ter trabalhado numa Plataforma de Dados que tenha escala industrial.

Informações importantes:

- Remoto (1x/mês no escritório) - Fátima - Leiria.

- Os candidatos devem residir em Portugal.

Candidate-se a esta oportunidade no nosso website!

website

Contacts and address

Linkedin Facebook