Engenheiro de Automação de QA de IA Generativa e LLM em Nível Intermediário

Oportunidade emocionante para um Engenheiro de Automação de QA de IA Generativa e LLM em nível intermédio!

Junte-se a uma equipe inovadora e de pensamento avançado que está a moldar o futuro das funcionalidades impulsionadas por IA. Traga a sua experiência em automação e testes para impulsionar a qualidade, segurança e desempenho em sistemas de IA de ponta.

Localização e Modelo de Trabalho

Portugal, Porto — Híbrido (até 4 dias remotos por semana)

Sobre o Papel

Como engenheiro de automação de QA de IA generativa e LLM em nível intermédio, você trabalhará para uma empresa internacional de TI que oferece soluções de IA avançadas. Seu foco será construir e manter a infraestrutura de teste que garante que as funcionalidades de IA—como IA conversacional, AI Rater e ferramentas de produtividade—sejam precisas, fiáveis e conformes. Este papel oferece uma excelente oportunidade de crescimento num ambiente dinâmico na vanguarda da inovação em IA.

As suas principais responsabilidades:

• Desenvolver e manter frameworks de teste automatizados usando ferramentas como Playwright, Cypress, Selenium ou similares.
• Escrever scripts de automação personalizados em Python ou JavaScript/TypeScript para melhorar as capacidades de teste.
• Desenhar conjuntos de dados de avaliação e criar pipelines de avaliação automatizados, incluindo métodos LLM-as-judge.
• Analisar resultados de IA à procura de alucinações, erros, preconceitos, e ajudar a otimizar o comportamento do modelo.
• Integrar testes de IA e funcionais em pipelines de CI/CD para validação contínua.
• Utilizar ferramentas de observabilidade e rastreamento de IA para depurar o comportamento do modelo em ambientes de produção.
• Criar casos de teste abrangentes para IA conversacional, cobrindo fluxos de diálogo, casos limite e prompts adversariais.
• Apoiar testes de imparcialidade, mitigação de preconceitos e conformidade para garantir operações éticas de IA.

Você é ideal para este papel se tiver:

• Mais de 3 anos de experiência em funções de QA/SDET, com desenvolvimento de automação prático.
• Proficiência em ferramentas de automação como Playwright, Cypress, Selenium.
• Fortes competências de scripting em Python e JavaScript/TypeScript.
• Conhecimento dos desafios específicos de testes de IA, incluindo regressão de prompt, deteção de alucinações e avaliação de resultados.
• Experiência a trabalhar com conjuntos de dados de avaliação e ferramentas de observabilidade de IA.
• Compreensão de imparcialidade, testes de preconceitos e considerações de conformidade em sistemas de IA.
• Familiaridade com pipelines de CI/CD e integração de automação.
• Excelentes competências de análise de causas raízes para comportamentos complexos de IA.

É um grande plus ter:

• Experiência com geração de testes assistida por IA e scripts de teste auto-reparadores.
• Conhecimento de estratégias de avaliação de LLM.
• Certificações relevantes em QA ou segurança de IA.

Idioma requerido para o papel:

Inglês fluente (verbal e escrito)

Elegibilidade para trabalhar em:

Os candidatos devem ter o direito legal de trabalhar na Europa.

Interessado? Candidate-se agora enviando o seu CV (de preferência em inglês) juntamente com uma breve declaração confirmando o seu consentimento para o processamento e armazenamento de dados.

Candidate-se aqui

Contactos e Endereço

Twitter Linkedin Facebook