A Mindrift está à procura de um/a Freelance Agent Evaluation Engineer para colaboração em projetos de avaliação de agentes de AI aplicados a tarefas de desenvolvimento de software, em regime remoto e part-time, a partir de Portugal.
Esta oportunidade é baseada em projetos e não corresponde a emprego permanente. A função envolve criar ambientes, tarefas e critérios de avaliação para testar a capacidade de modelos de AI em resolver desafios realistas de programação.
Responsabilidades:
Criar ambientes realistas de desenvolvimento, incluindo empresa virtual, codebase, infraestrutura e contexto de projeto;
Construir histórico credível de desenvolvimento com tickets, documentação e conversas simuladas;
Desenhar tarefas a partir de estados intermédios desses ambientes;
Criar prompts, definir critérios de sucesso e garantir que as tarefas são resolúveis por agentes de AI;
Escrever testes que validem soluções geradas por agentes de AI;
Garantir que os testes aceitam abordagens válidas e rejeitam soluções incorretas;
Rever soluções produzidas por agentes, analisar falhas e melhorar tarefas e testes;
Iterar com base em feedback de QA até que a avaliação seja justa, robusta e exigente;
Contribuir para a criação de datasets usados na avaliação de AI coding agents.
Requisitos:
Mais de 5 anos de experiência em desenvolvimento de software;
Experiência com Python, nomeadamente FastAPI;
Experiência com JavaScript ou TypeScript, incluindo React;
Conhecimentos de Docker, Postgres, Kafka e Redis;
Experiência na escrita de testes funcionais e de integração;
Capacidade para compreender cenários técnicos complexos e identificar onde modelos de AI podem falhar;
Capacidade para criar critérios de avaliação equilibrados, nem demasiado rígidos nem demasiado permissivos;
Inglês nível B2 ou superior;
Capacidade para trabalhar de forma autónoma e cumprir deadlines de projeto.
Condições:
Colaboração freelance e project-based;
Regime part-time;
Trabalho remoto a partir de Portugal;
Possibilidade de trabalhar a partir de Lisboa, Porto ou outra localização em Portugal;
Compensação até 40 USD por hora, dependendo do nível e ritmo de trabalho;
Tarefas estimadas em cerca de 20 horas cada, dependendo da complexidade;
Horário flexível, com autonomia para escolher quando e como trabalhar;
Pagamento mediante conclusão de tarefas aceites e dentro dos critérios definidos.
Processo:
Candidatura;
Realização de qualificações;
Entrada em projeto;
Conclusão de tarefas;
Pagamento pelas tarefas aceites.
Candidatura:
Os candidatos devem submeter o CV em inglês e indicar o respetivo nível de proficiência em inglês.
Sobre a Mindrift:
A Mindrift liga especialistas a oportunidades project-based na área de AI, em colaboração com empresas tecnológicas. Os projetos têm foco em testar, avaliar e melhorar sistemas de AI através de contributos especializados.
