Engenheiro de Dados

Temos a missão de inspirar a conexão da tecnologia com as pessoas, fomentamos o melhor de nossos profissionais através de nossa expertise em encontrar e atrair os melhores talentos para os melhores projetos. O Foco nas Pessoas, Colaboração e Comprometimento são os pilares que nos guiam nessa trajetória.

Responsabilidades

• Projetar, desenvolver, otimizar e manter arquiteturas de dados robustas e escaláveis, garantindo a integridade e a segurança dos dados.
• Planejar e implementar processos de ingestão de dados a partir de múltiplas fontes, incluindo APIs, bancos de dados relacionais e não relacionais, e dados em tempo real.
• Analisar, manipular, transformar e processar grandes conjuntos de dados complexos utilizando ferramentas e linguagens apropriadas.
• Construir pipelines de dados confiáveis, escaláveis e de alto desempenho, empregando melhores práticas de engenharia para garantir eficiência.
• Desenvolver e manter pipelines de dados em tempo real, utilizando tecnologias como Apache Kafka ou Azure Stream Analytics, para suportar aplicações com necessidade de resposta imediata.
• Apoiar a formação e execução de modelos de machine learning, contribuindo na integração do modelo ao ambiente de produção.
• Trabalhar com conjuntos de dados estruturados e não estruturados, aplicando técnicas de modelagem e transformação para extrair insights valiosos.
• Contribuir para a criação de produtos de dados que melhorem a produtividade e a eficiência em equipas e organizações, muitas vezes interagindo diretamente com stakeholders para entender as suas necessidades.
• Facilitar a transição de clientes para uma abordagem mais cloud-native e orientada a dados, promovendo a adoção de tecnologias emergentes.
• Promover a troca de conhecimentos e garantir documentação rigorosa para suportar o trabalho em equipa e a continuidade dos projetos.
• Explorar e integrar novas ferramentas, metodologias e técnicas, mantendo-se atualizado sobre as melhores práticas e tendências da indústria.
• Colaborar em um ambiente ágil e multifuncional, contribuindo para sprints, retrospectivas e iterações do projeto.

Requisitos

• Mínimo de 3 anos de experiência como Data Engineer, com um portfólio de projetos evidenciando competências técnicas.
• Mínimo de 3 anos de experiência com Python ou Scala e SQL, sendo valorizada a proficiência em frameworks de ETL.
• Licenciatura em Ciência da Computação, Engenharia de Dados, Data Science, Matemática, Física ou áreas afins.
• Experiência comprovada no design e manutenção de arquiteturas de dados em ambientes de grande escala, utilizando práticas de modelagem semântica.
• Sólido conhecimento em conceitos de Data Lake, Data Warehouse, Data Vault e Data Mart, bem como suas arquiteturas e implementações.
• Forte compreensão das energias de armazenamento de dados estruturados e não estruturados, e experiência em sistemas de arquivos distribuídos.
• Competência na estruturação de pipelines de dados para garantir confiabilidade, escalabilidade e performance, utilizando tecnologias como Apache Airflow ou similares.
• Proficiência no uso de motores de processamento analítico, como Apache Spark ou Apache Flink, para a realização de processamento de dados em larga escala.
• Experiência com formatos de armazenamento de dados modernos, como JSON, Parquet e ORC, otimizando storage e performance.
• Vivência em equipas ágeis, demonstrando habilidades de documentação e atenção aos detalhes em todos os projetos.
• Mentalidade analítica e capacidade de fundamentar decisões em métricas e dados concretos.
• Perfil estruturado, orientado para a qualidade e colaborativo, com excelente comunicação em inglês.

Diferenciais

• Experiência em Engenharia de Machine Learning e MLOps, com ênfase na implantação, rastreamento e monitorização de modelos em ambiente de produção.
• Familiaridade com ferramentas como MLflow, Kubeflow e TensorFlow Serving para o ciclo de vida de Machine Learning.
• Conhecimento em tecnologias de cloud como Azure, Databricks, Snowflake, AWS Athena ou Google BigQuery.
• Experiência na construção de pipelines de dados em tempo real com Azure Stream Analytics, Amazon Kinesis, Google Cloud Dataflow ou RabbitMQ.
• Compreensão dos princípios de CI/CD para pipelines de dados e modelos de machine learning, aplicando ferramentas como GitHub Actions, Jenkins ou Apache Airflow.

Informações importantes

• Localização: Portugal
• Modalidade: híbrido, com disponibilidade de trabalho no escritório pelo menos 2x por semana em Aveiro

Candidatura: Ver a vaga e candidatar-me na YellowIpe