Senior Data Engineer - Product Feedzai Portugal Engineering

Feedzaihá mais de um mês

Remoto
Tempo inteiro
Sénior

Descrição

Feedzai está procurando um Senior Data Engineer para integrar a equipa de Pulse Engineering. Nesta posição, você será responsável pela estabilidade, escalabilidade e performance da Data Science Framework (DSF), trabalhando na intersecção de sistemas distribuídos, engenharia de big data e experiência do desenvolvedor. Você garantirá que as cargas de trabalho de ciência de dados funcionem de forma confiável, eficiente e em escala, suportando diretamente o Risk Engine em produção.

Como especialista em Big Data com profunda expertise em Apache Spark e sistemas de dados distribuídos, você será responsável por re-arquitetar e escalar componentes de processamento de big data, analisar padrões de carga de trabalho, garantir estabilidade de jobs Spark em clusters EMR ou Kubernetes, e operar componentes do ecossistema Hadoop. Você atuará seguindo a filosofia DevOps de "você constrói, você executa", participando de rotações on-call para garantir confiabilidade 24/7 da plataforma crítica de missão.

Competências

Apache Spark
Sistemas distribuídos
Java
Hadoop ecosystem
HDFS
YARN
Linux
ETL/ELT pipelines
JupyterHub
JupyterLabs
EMR
Kubernetes
AWS S3
AWS Glue
Kafka
Airflow
Scala
Python
DevOps
Monitoring
Continuous delivery
Nessie
Trino
Iceberg

Responsabilidades

Re-arquitetar e escalar componentes existentes de processamento de big data que alimentam DSF
Analisar padrões de carga de trabalho (jobs Spark, atividade de notebooks, uso da DS API) e impulsionar melhorias de performance, confiabilidade e custo
Garantir estabilidade de jobs Spark em execução em clusters EMR ou Kubernetes
Operar e evoluir componentes do ecossistema Hadoop (HDFS, YARN) e runtimes Spark
Manter e melhorar pipelines de ingestão de dados entre Runtime e DSF (Firehose, Glue → S3)
Melhorar a experiência de desenvolvedor e utilizadores avançados em JupyterLabs e DS API
Colaborar com engenheiros de produto, cientistas de dados e equipas de plataforma na execução do roteiro DSF
Ser proprietário de serviços ao longo de seu ciclo de vida seguindo práticas DevOps e participar em rotação on-call para a plataforma crítica de missão

Benefícios

Ambiente seguro, aberto e colaborativo que encoraja inovação e aprendizado contínuo
Oportunidade de trabalhar com desafios técnicos de classe mundial
Compensação dedicada para responsabilidades on-call
Imersão em programa de integração de 30 dias com treinamento, conexões e tempo individual com gerente
Acesso a ambiente de sombra com colegas de forma virtual ou presencial