- Híbrido
- Tempo inteiro
Descrição
Celfocus está à procura de um Data Engineer para trabalhar com plataformas de dados de próxima geração. Nesta função, será responsável por desenhar, construir e manter plataformas de dados escaláveis, garantindo a qualidade e segurança dos dados. Trabalhará com equipas multidisciplinares para transformar dados em decisões e valor empresarial, focando-se em arquiteturas de processamento de dados e pipelines de integração eficientes.
As suas responsabilidades incluem desenhar e manter plataformas de dados, processar e analisar grandes volumes de dados de múltiplas fontes, desenvolver workflows de processamento usando tecnologias como Spark e Apache Beam, e colaborar com equipas multifuncionais. Será também responsável pela segurança e privacidade dos dados, extração de dados de várias fontes e optimização do desempenho do sistema.
Buscamos alguém com experiência em plataformas cloud (Azure), proficiência em Python, Java ou Scala, conhecimento de Big Data Tools (Spark, Kafka, Hadoop, etc.), e fortes competências em SQL e bases de dados relacionais e NoSQL. É importante ter capacidade de adaptação, espírito de trabalho em equipa, interesse em projectos internacionais e excelentes competências de comunicação.
Competências
- Azure
- Python
- Java
- Scala
- Apache Spark
- Apache Beam
- Kafka
- Hadoop
- Hive
- Flink
- Elasticsearch
- Sqoop
- Flume
- Impala
- Druid
- SQL
- Git
- Modelagem de Dados
- Ferramentas ETL
- Apache Kafka
- Talend
- AWS S3
- Azure Data Factory
- Bases de Dados NoSQL
- Sistemas Distribuídos
Responsabilidades
- Desenhar, construir e manter plataformas de dados escaláveis
- Recolher, processar e analisar grandes e complexos conjuntos de dados de várias fontes
- Desenvolver e implementar workflows de processamento de dados usando tecnologias como Spark e Apache Beam
- Colaborar com equipas multifuncionais para garantir precisão e integridade dos dados
- Garantir segurança e privacidade dos dados através de implementação adequada de controlos de acesso e encriptação
- Extração de dados de várias fontes, incluindo bases de dados, sistemas de ficheiros e APIs
- Monitorizar desempenho do sistema e optimizar para alta disponibilidade e escalabilidade
Benefícios
- Modo de trabalho híbrido com flexibilidade e equilíbrio
- Oportunidade de trabalhar em projectos internacionais
- Possibilidade de explorar diferentes funções e caminhos de carreira
- Oportunidades contínuas de aprendizagem e desenvolvimento
- Ambiente orientado por IA, trabalhando com as tecnologias mais recentes
- Conjunto de benefícios e vantagens para apoiar o seu dia a dia