Engenheiro de Automação de QA de Nível Intermediário para IA Generativa e LLM
- Presencial · Porto
Resumo da vaga
- Stack
- Python
- Localização
- Porto
- Regime
- Presencial
- Publicada
- Há mais de um mês
Descrição
Oportunidade emocionante para um Engenheiro de Automação de QA de Nível Intermediário para IA Generativa e LLM!
Junte-se a uma equipa inovadora e visionária que molda o futuro das funcionalidades potenciadas por IA. Traga a sua experiência em automação e testes para impulsionar a qualidade, segurança e desempenho em sistemas de IA de ponta.
Localização e Modelo de Trabalho
Portugal, Porto — Híbrido (até 4 dias remotos por semana)
Sobre a Função
Como Engenheiro de Automação de QA de Nível Intermediário para IA Generativa e LLM, irá trabalhar para uma empresa internacional de TI que fornece soluções avançadas de IA. O seu foco será construir e manter a infraestrutura de testes que assegura que as funcionalidades da IA—como IA conversacional, Avaliador de IA e ferramentas de produtividade—são precisas, fiáveis e conformes. Esta posição oferece uma excelente oportunidade de crescimento num ambiente dinâmico na vanguarda da inovação em IA.
As Suas Principais Responsabilidades:
- Desenvolver e manter frameworks de testes automatizados usando ferramentas como Playwright, Cypress, Selenium ou similares.
- Escrever scripts de automação personalizados em Python ou JavaScript/TypeScript para melhorar as capacidades de teste.
- Projetar conjuntos de dados de avaliação e criar pipelines de avaliação automatizados, incluindo métodos de LLM como juiz.
- Analisar as saídas da IA para alucinações, erros, preconceitos, e ajudar a otimizar o comportamento do modelo.
- Integrar testes de IA e funcionais em pipelines CI/CD para validação contínua.
- Utilizar ferramentas de observabilidade e rastreamento de IA para depurar o comportamento do modelo em ambientes de produção.
- Criar casos de teste abrangentes para IA conversacional, cobrindo fluxos de diálogo, casos limites e solicitações adversariais.
- Apoiar testes para equidade, mitigação de preconceitos e conformidade para garantir operações éticas de IA.
Você é um ótimo candidato para esta função se tiver:
- Mais de 3 anos de experiência em funções de QA/SDET, com desenvolvimento de automação prático.
- Proficiência em ferramentas de automação, como Playwright, Cypress, Selenium.
- Fortes habilidades de scripting em Python e JavaScript/TypeScript.
- Conhecimento dos desafios específicos de testes de IA, incluindo regressão de solicitações, detecção de alucinações e avaliação de saídas.
- Experiência com conjuntos de dados de avaliação e ferramentas de observabilidade de IA.
- Compreensão de equidade, testes de preconceitos e considerações de conformidade em sistemas de IA.
- Familiaridade com pipelines CI/CD e integração de automação.
- Excelentes habilidades de análise de causa raiz para comportamentos complexos da IA.
É uma grande vantagem se você tiver:
- Experiência com geração de testes assistida por IA e scripts de teste auto-reparáveis.
- Conhecimento de estratégias de avaliação de LLM.
- Certificações relevantes em QA ou segurança de IA.
Língua exigida para a função:
Inglês fluente (verbal e escrito)
Elegibilidade para trabalhar em:
Os candidatos devem ter o direito legal de trabalhar na Europa.
Interessado? Candidate-se agora enviando o seu CV (preferencialmente em inglês) juntamente com uma breve declaração confirmando o seu consentimento para processamento e armazenamento de dados.