Engenheiro de Dados Sénior

A Feedzai procura um Engenheiro de Dados Sénior para a organização Pulse Engineering, responsável por garantir a estabilidade, escalabilidade e desempenho da Datascience Framework (DSF). Nesta posição, trabalharará na intersecção entre sistemas distribuídos, engenharia de big data e experiência do desenvolvedor, assegurando que as cargas de trabalho de ciência de dados funcionam de forma fiável, eficiente e em larga escala. Como especialista em Big Data com experiência profunda em Apache Spark e sistemas de dados distribuídos, será responsável por re-arquitetar e escalar componentes existentes, analisar padrões de carga de trabalho, garantir a estabilidade de jobs Spark em clusters EMR ou Kubernetes, e operar componentes do ecossistema Hadoop. Colaborará com engenheiros de produto, cientistas de dados e equipas de plataforma na execução do roadmap da DSF, seguindo práticas DevOps com a filosofia "você constrói, você executa". Juntando-se à Feedzai, fará parte de uma das equipas de engenharia mais talentosas, num ambiente rápido, seguro e colaborativo que incentiva aprendizagem contínua e inovação. Trabalharará em desafios técnicos complexos que protegem 900 milhões de pessoas em 190 países.

Responsibilities

• Re-arquitetar e escalar componentes existentes de processamento de big data que alimentam a DSF
• Analisar padrões de carga de trabalho (jobs Spark, atividade de notebook, utilização da DS API) e impulsionar melhorias de desempenho, fiabilidade e custo
• Garantir a estabilidade de jobs Spark em execução em clusters EMR ou Kubernetes
• Operar e evoluir componentes do ecossistema Hadoop (HDFS, YARN) e runtimes Spark
• Manter e melhorar pipelines de ingestão entre Runtime e DSF (Firehose, Glue → S3)
• Melhorar a experiência do desenvolvedor e utilizador avançado em JupyterLabs e DS API
• Colaborar com engenheiros de produto, cientistas de dados e equipas de plataforma na execução do roadmap da DSF
• Ser proprietário de serviços ao longo de todo o seu ciclo de vida seguindo práticas DevOps

Skills

Benefits

• Ambiente colaborativo e seguro
• Aprendizagem contínua
• Cultura de inovação
• Imersão em programa de integração de 30 dias
• Oportunidades de sombra com colegas
• Acesso a recursos e conhecimento da empresa