Senior Microsoft Fabric Engineer
- Presencial
- Tempo inteiro
- Sénior
Descrição
Procuramos um Senior Microsoft Fabric Engineer para liderar a conceção e implementação de soluções robustas de ingestão de dados em Microsoft Fabric. Nesta função estratégica, você terá a oportunidade de moldar o backbone de ingestão de uma plataforma de dados moderna bancária, influenciando padrões de engenharia empresariais onde a resiliência, segurança e qualidade de entrega são críticas para o negócio. Trabalhará em fluxos de dados estratégicos, contribuirá para a arquitetura-alvo e ajudará a definir os padrões que outras equipas de entrega em toda o banco dependerão.
Sua responsabilidade incluirá desenhar e implementar frameworks de ingestão reutilizáveis, templates e padrões de deployment que acelerem a integração de novos sistemas de origem, mantendo consistência e controlo de engenharia. Você definirá e implementará padrões para captura de metadados, evolução de schema, suporte de lineage, controles de qualidade de dados e logging operacional. Além disso, será essencial embutir práticas de secure-by-design, implementar CI/CD e práticas de testes automatizados, e definir observabilidade para serviços de ingestão incluindo monitoramento, telemetria, alerting e dashboards operacionais.
O candidato ideal possui forte propriedade de engenharia, foco em entrega, capacidade de equilibrar velocidade com rigor e controlo, e excelentes habilidades de comunicação com stakeholders. Experiência anterior em instituições financeiras ou bancos é preferida, assim como familiaridade com governança de dados empresarial, Kafka, Event Hubs e padrões de ingestão em tempo quase-real.
Competências
- Microsoft Fabric
- Azure Data Factory
- Apache Spark
- Lakehouse Patterns
- Event-driven Architecture
- Data Pipeline Design
- CI/CD
- Version Control
- Data Quality Controls
- Azure Purview
- Azure Services Integration
- Kafka
- Event Hubs
- Change Data Capture (CDC)
- Metadata Management
- Schema Evolution
- Data Lineage
- Security Best Practices
- Identity Management
- Observability and Monitoring
Responsabilidades
- Desenhar e implementar soluções robustas de ingestão em Microsoft Fabric utilizando Data Factory, workloads baseados em Spark, padrões de Lakehouse e capacidades de ingestão orientada por eventos
- Construir frameworks de ingestão reutilizáveis, templates e padrões de deployment que acelerem a integração de novos sistemas de origem mantendo consistência e controlo de engenharia
- Desenvolver e manter pipelines de ingestão para dados estruturados, semi-estruturados e em streaming de sistemas bancários internos, parceiros externos, plataformas SaaS, APIs, interfaces baseadas em ficheiros e plataformas de eventos
- Engenheirar padrões de ingestão que suportem rastreabilidade, restartabilidade, idempotência, reconciliação, reprocessamento controlado e procedimentos claros de suporte em produção
- Definir e implementar padrões para captura de metadados, evolução de schema, suporte de lineage, controles de qualidade de dados e logging operacional
- Embutir práticas de implementação secure-by-design incluindo integração forte de identidade, acesso de privilégios mínimos, gestão de secrets e suporte para classificação de dados e controles de sensibilidade
- Implementar práticas de CI/CD, promoção de ambiente, controlo de versão e testes automatizados para ativos de ingestão entre ambientes de desenvolvimento, teste e produção
- Definir e melhorar observabilidade para serviços de ingestão, incluindo monitoramento de saúde, telemetria em tempo de execução, alerting, diagnósticos e dashboards operacionais
- Suportar objetivos de resiliência ao desenhar para tratamento de falhas, degradação controlada, procedimentos de recuperação e prontidão de produção alinhada com expectativas bancárias