A Causeway está a recrutar um/a Senior Data Engineer para integrar a equipa de Engineering em Lisboa, em regime híbrido e full-time.
A função terá um papel central na construção da nova plataforma de dados da Causeway em Databricks, reunindo dados de vários produtos e fontes externas num gémeo digital tipado, preparado para ser utilizado por agentes de inteligência artificial.
Responsabilidades:
Desenhar e gerir pipelines medallion, desde a camada bronze até às camadas silver e gold;
Definir padrões de ingestão de dados a partir de diferentes fontes, incluindo Auto Loader, APIs, eventos, réplicas de bases de dados, CDC e modelos CQRS;
Construir e manter camadas silver e gold com Delta Live Tables e notebooks PySpark;
Assegurar processos de deduplicação, entity resolution, atribuição de IDs canónicos e projeção em tabelas tipadas de objetos e relações;
Gerar e manter um grafo relacional tipado que transforme dados gold num gémeo digital navegável;
Desenvolver a camada de serving para tornar o grafo consultável por agentes de IA com latência interativa;
Contribuir para a arquitetura global da plataforma de dados da Causeway;
Garantir escalabilidade, manutenção e alinhamento com boas práticas cloud-native;
Implementar frameworks automatizadas de validação de completude, precisão, consistência e conformidade de schema;
Assegurar governação de dados através de Unity Catalog, incluindo isolamento multi-tenant, row-level security, lineage, audit logging e schemas de extensão por cliente;
Garantir que os ativos de dados estão catalogados com metadata, classificações de segurança e labels de sensibilidade adequadas;
Monitorizar saúde dos pipelines e métricas de qualidade de dados;
Mentorar engenheiros da equipa de dados, liderar discussões arquiteturais e realizar revisões de pull requests;
Colaborar com equipas de Platform e Agent na exposição do grafo a agentes de IA;
Trabalhar com Data Engineers na transformação de requisitos analíticos complexos em datasets e features reutilizáveis;
Contribuir para a melhoria contínua de práticas, ferramentas e standards de data engineering.
Requisitos:
Experiência sólida em produção com Databricks, incluindo Delta Lake, Delta Live Tables, Auto Loader, Unity Catalog, Databricks Asset Bundles, serverless, job compute e Structured Streaming;
Forte domínio de Python e PySpark para processamento e transformação de dados em larga escala;
Conhecimentos avançados de SQL, incluindo recursive CTEs, window functions, query planning, interpretação de EXPLAIN e otimização de índices;
Experiência com arquiteturas lakehouse e modelação de dados para workloads de grafos;
Conhecimento de entidades tipadas, edge tables, modelação dimensional, modelação baseada em eventos e entity resolution entre sistemas sem chaves comuns;
Experiência prática com PostgreSQL como camada de serving;
Conhecimentos de pgvector para pesquisa semântica, pg_trgm para fuzzy matching, HNSW, IVFFlat, tuning de índices e queries de baixa latência com concorrência;
Experiência em transformação, validação e desenho de contratos de dados;
Experiência na construção de frameworks de teste e observabilidade de dados;
Conhecimentos de cloud storage e identidade em AWS, Azure e GCP, incluindo S3, ADLS Gen2, GCS, IAM roles e storage credentials;
Interesse genuíno em agentes de IA e na forma como consomem dados;
Compreensão do que torna um dataset legível e útil para agentes de IA.
Será valorizado:
Experiência com técnicas e ferramentas de entity resolution probabilística;
Familiaridade com conceitos de knowledge graph e linguagens de consulta de grafos;
Experiência com workflows de IA/ML e feature engineering para modelos de machine learning.
Oferta:
Regime full-time;
Modelo de trabalho híbrido em Lisboa;
Integração numa empresa internacional com equipas no Reino Unido, Europa e Índia;
Oportunidade de trabalhar em produtos utilizados à escala global;
Participação numa transformação digital de grande escala;
Ambiente colaborativo, moderno e orientado para inovação;
Equilíbrio entre vida pessoal e profissional;
Oportunidade de desenvolvimento técnico e progressão de carreira.
Sobre a Causeway:
A Causeway desenvolve software especializado para os setores da construção e áreas semelhantes, oferecendo soluções end-to-end para todo o ciclo de vida dos projetos. A empresa atua à escala global e está focada em crescimento, transformação digital e desenvolvimento de tecnologia com impacto real.
Valores:
A Causeway valoriza colaboração, agilidade, confiança e ambição. A empresa acredita que equipas diversas, positivas e orientadas para a ação são essenciais para criar soluções de qualidade e melhorar continuamente os seus produtos.
Diversidade e sustentabilidade:
A Causeway promove a diversidade, igualdade e inclusão, incentivando cada colaborador a ser autêntico no local de trabalho. A empresa é carbon neutral, compensa a sua pegada carbónica calculada e define objetivos ambientais para reduzir o seu impacto ano após ano.
