Engenheiro de Dados GCP | BPCE-SI

Híbrido
Tempo inteiro
Intermédio

Descrição

A Natixis em Portugal procura Engenheiros de Dados especializados em Google Cloud Platform (GCP) para integrar a equipa BPCE SI (BPCE Solutions Informatiques) no departamento de Tecnologias de Informação. Esta é uma oportunidade em modelo híbrido nos escritórios do Porto ou Lisboa, envolvendo a migração estratégica de dados e processos ETL de SQL Server para GCP, bem como o design e desenvolvimento de pipelines de dados robustos e de elevado desempenho na plataforma cloud.

Os candidatos ideais possuem domínio profundo de Google Cloud Platform, incluindo BigQuery para design de esquemas, otimização de consultas SQL complexas e gestão de custos em contexto cloud. É essencial experiência sólida com Cloud Composer ou Apache Airflow para orquestração de fluxos de dados, domínio avançado de SQL e Python, e conhecimento prático de metodologias de migração de bases de dados do ambiente on-premise para cloud. Os engenheiros colaborarão estreitamente com equipas existentes e utilizadores finais, garantindo a qualidade dos dados, resolvendo problemas complexos e propondo otimizações para a nova plataforma de dados.

A Natixis valoriza autonomia, rigor, espírito de equipa e curiosidade técnica. A empresa promove bem-estar através de iniciativas como Budget de Transportes Verdes, bicicletas elétricas, política de trabalho híbrido flexível, e ambientes colaborativos inspiradores. Compromete-se com estratégias ESG e DEI, assegurando inclusão, atenção e equidade para todas as vozes.

Competências

Google Cloud Platform (GCP)
BigQuery
Cloud Composer
Apache Airflow
SQL
SQL Server
Python
Migração de Dados
ETL/ELT
Orquestração de Pipelines
Design de Esquemas
Otimização de Consultas SQL
Google Cloud Storage
Google Dataflow
Database Migration Service
Power BI
Data Warehousing
Data Modeling
Data Vault
Controlo de Versões

Responsabilidades

Participar ativamente no design e execução da estratégia de migração de dados e processos ETL de SQL Server para GCP
Desenvolver e otimizar scripts e pipelines para transferência e transformação eficiente de dados para BigQuery
Desenhar, desenvolver e manter pipelines ETL/ELT robustos e de elevado desempenho em GCP
Orquestrar e agendar pipelines utilizando Google Cloud Composer ou Apache Airflow para garantir migração confiável e operacionalização
Desenvolver e otimizar consultas SQL complexas para BigQuery, considerando as especificidades da migração de SQL Server
Contribuir para o design e implementação de esquemas de dados otimizados para BigQuery, adaptados a novas arquiteturas cloud
Utilizar Python para desenvolver scripts de automação de tarefas de migração, transformação de dados e integração com serviços GCP
Implementar processos para assegurar qualidade e integridade dos dados durante e após migração
Colaborar estreitamente com equipas existentes (administradores SQL Server, analistas) para compreender o ambiente atual e facilitar a transição
Interagir com utilizadores finais (linhas de negócio, cientistas de dados) para compreender necessidades e assegurar que a nova plataforma as cumpre
Participar em revisões de código, melhores práticas de desenvolvimento e estratégias de teste para a nova plataforma
Assegurar monitorização, debugging e resolução de incidentes relacionados com pipelines de dados durante a fase de transição e após implementação em produção
Manter-se informado sobre melhores práticas de migração e desenvolvimentos mais recentes em Google Cloud Platform
Propor melhorias e otimizações para a nova plataforma de dados em GCP