Engenheiro de Dados | GCP

Título do Trabalho: Engenheiro de Dados | GCP

Localização: Porto/Lisboa, Portugal

Regime de Trabalho: Tempo integral e Híbrido

Visão Geral / Resumo:

Estamos à procura de um Engenheiro de Dados responsável por construir e manter plataformas de dados, reconhecendo a importância dos dados para a organização em áreas onde são fundamentais para o sucesso. O papel foca no design, desenvolvimento e manutenção da plataforma de dados necessária para armazenamento, processamento, orquestração e análise de dados, assim como na implementação de pipelines de dados escaláveis e de alto desempenho e soluções de integração de dados.

Responsabilidades e Tarefas:

- Projetar, construir e manter plataformas de dados escaláveis.

- Recolher, processar e analisar grandes e complexos conjuntos de dados a partir de várias fontes.

- Desenvolver e implementar fluxos de trabalho de processamento de dados utilizando tecnologias de frameworks de processamento de dados como Spark e Apache Beam.

- Colaborar com equipas multifuncionais para garantir a precisão e integridade dos dados.

- Garantir a segurança e privacidade dos dados através da implementação adequada de controles de acesso e criptografia de dados.

- Extrair dados de várias fontes, incluindo bases de dados, sistemas de ficheiros e APIs.

- Monitorizar o desempenho do sistema e otimizar para alta disponibilidade e escalabilidade.

Requisitos

Requisitos Obrigatórios:

- Experiência com plataformas e serviços de cloud para engenharia de dados (GCP).

- Experiência com ferramentas de Big Data como Spark, Flink, Kafka, Elastic Search, Hadoop, Hive, Sqoop, Flume, Impala, Kafka Streams e Connect, Druid.

- Experiência com bases de dados relacionais e NoSQL.

- Experiência com ferramentas de integração de dados e ETL (por exemplo, Apache Kafka, Talend).

- Experiência com ferramentas de controlo de versão como Git.

Habilidades Interpessoais:

- Capacidade de se adaptar a diferentes contextos, equipas e clientes.

- Habilidades de trabalho em equipa com um sentido de autonomia.

- Motivação para projetos internacionais e abertura para viajar.

- Disposição para colaborar com outros intervenientes.

- Fortes habilidades de comunicação.

Stack Tecnológico:

- Python, Java ou Scala.

- Spark, Apache Beam.

- Flink, Kafka, Elastic Search, Hadoop, Hive, Sqoop, Flume, Impala, Kafka Streams e Connect, Druid.

- SQL.

- Bases de dados relacionais e NoSQL.

- Plataformas de cloud (GCP, AWS S3, Azure Data Factory).

- Git.

Requisitos Complementares:

- Conhecimento de modelagem de dados e princípios de design de bases de dados.

- Compreensão de sistemas distribuídos e arquétipos de processamento de dados.

Benefícios

- A nossa empresa não patrocina vistos de trabalho ou autorizações de trabalho. Todos os candidatos devem ter o direito legal de trabalhar no país onde a posição está baseada.

- Apenas candidatos que atendem às qualificações exigidas e correspondem ao perfil solicitado pelos nossos clientes serão contactados.

#FuturoVisionário - Construa o futuro, junte-se ao nosso ecossistema vivo!