- Híbrido
- Tempo inteiro
Descrição
Procuramos um Data Engineer apaixonado por tecnologia para integrar a nossa equipa de Data Foundations. Nesta função, serás responsável pelo desenho, desenvolvimento e manutenção de plataformas de dados escaláveis, focando-te na criação de pipelines de dados de alta performance e soluções de integração. Trabalharás com tecnologias de ponta como Databricks, PySpark e Azure, garantindo qualidade, segurança e acessibilidade dos dados para cientistas de dados, analistas e outras partes interessadas na organização.
As tuas principais responsabilidades incluem desenhar e construir plataformas de dados escaláveis, processar grandes volumes de dados de múltiplas fontes, desenvolver workflows de processamento usando Spark e Apache Beam, colaborar com equipas multidisciplinares, implementar controlos de segurança e privacidade, extrair dados de diversas origens e otimizar o desempenho do sistema. Esperamos que tenha proficiência em Databricks, PySpark, Python, SQL avançado e experiência com arquitetura de dados, pipelines ETL/ELT e conceitos de data warehousing.
Se te motivas por projetos internacionais, tens excelentes capacidades de comunicação e procuras um ambiente colaborativo onde possas contribuir com autonomia e criatividade, gostaríamos de te conhecer. A Celfocus oferece um modelo de trabalho híbrido em Lisboa e a oportunidade de trabalhar em sectores inovadores onde a tecnologia é a alavanca principal.
Competências
- Databricks
- PySpark
- Python
- SQL
- Apache Spark
- Spark DataFrames
- Spark Architecture
- Pandas
- NumPy
- ETL
- ELT
- Delta Lake
- Medallion Architecture
- Spark SQL
- Change Data Capture
- Data Modelling
- Dimensional Modelling
- Star Schema
- Snowflake Schema
- Azure
- Azure ADLS Gen2
- Git
- GitHub
- Azure DevOps
- GitLab
- CI/CD
- Terraform
- Databricks Asset Bundles
- pytest
- Great Expectations
- Data Warehousing
- Data Architecture
- Data Governance
- Access Controls
- Data Encryption
Responsabilidades
- Desenhar, construir e manter plataformas de dados escaláveis
- Recolher, processar e analisar grandes volumes de dados complexos de múltiplas fontes
- Desenvolver e implementar workflows de processamento de dados utilizando tecnologias como Spark e Apache Beam
- Colaborar com equipas multidisciplinares para garantir a precisão e integridade dos dados
- Implementar controlos de segurança e privacidade através de controlos de acesso e encriptação de dados
- Extrair dados de diversas origens, incluindo bases de dados, sistemas de ficheiros e APIs
- Monitorizar o desempenho do sistema e otimizar para elevada disponibilidade e escalabilidade
Benefícios
- Oportunidade de trabalhar em projetos internacionais
- Ambiente colaborativo e inovador
- Modelo de trabalho híbrido
- Possibilidade de desenvolver competências em tecnologias de ponta
- Empresa comprometida com diversidade e inclusão
Conhece alguém para esta vaga?
Empregos semelhantes
