AIA Mindrift está a procurar um/a Freelance Agent Evaluation Engineer para uma oportunidade remota, em regime part-time e baseada em projetos, ligada à avaliação e melhoria de sistemas de inteligência artificial.
Esta colaboração não corresponde a emprego permanente. A função envolve a criação de tarefas e critérios de avaliação para testar agentes de IA em cenários realistas de desenvolvimento de software.
Responsabilidades:
Criar ambientes realistas de desenvolvimento, incluindo codebase, infraestrutura, tickets, documentação e contexto de uma empresa simulada;
Desenhar tarefas a partir de estados intermédios desses ambientes;
Definir prompts, critérios de resolução e condições de aceitação para cada tarefa;
Garantir que as tarefas são solucionáveis por agentes de IA;
Escrever testes que validem soluções corretas e rejeitem abordagens incorretas;
Ajustar tarefas e testes com base em feedback de QA;
Analisar soluções geradas por agentes de IA e identificar falhas;
Refinar avaliações para garantir que são justas, robustas e tecnicamente relevantes.
Requisitos:
Mais de 5 anos de experiência em desenvolvimento de software;
Experiência com Python, nomeadamente FastAPI;
Experiência com JavaScript ou TypeScript, incluindo React;
Conhecimentos de Docker, Postgres, Kafka e Redis;
Experiência na criação de testes funcionais e de integração;
Conhecimentos sólidos sobre desenvolvimento de software e avaliação de soluções técnicas;
Capacidade para criar cenários que desafiem modelos avançados de IA;
Proficiência em inglês, nível B2 ou superior.
Será valorizado:
Experiência na avaliação de sistemas de IA ou agentes de código;
Capacidade para identificar limitações de modelos avançados em tarefas reais de desenvolvimento;
Experiência na definição de critérios de aceitação flexíveis, capazes de validar diferentes soluções corretas.
O que esta oportunidade não é:
Não é data labeling;
Não é prompt engineering puro;
Não é uma função para escrever código do zero, uma vez que o agente de IA escreve a maior parte do código e o papel principal é orientar, testar e avaliar.
Condições:
Colaboração freelance, baseada em projetos;
Regime part-time;
Trabalho remoto;
Compensação até 40 USD por hora equivalente, dependendo do nível e ritmo de trabalho;
Tarefas estimadas em cerca de 20 horas cada, dependendo da complexidade;
Horário flexível, com entrega das tarefas dentro dos prazos definidos e de acordo com os critérios de aceitação.
Processo:
Submissão da candidatura;
Realização de qualificações;
Entrada num projeto;
Conclusão das tarefas atribuídas;
Pagamento após aceitação do trabalho realizado.
Candidatura:
Os candidatos devem submeter o CV em inglês e indicar o respetivo nível de proficiência em inglês.
Sobre a Mindrift:
A Mindrift liga especialistas a oportunidades de projeto na área de inteligência artificial para empresas tecnológicas, com foco em testar, avaliar e melhorar sistemas de IA.
