Arquiteto de Dados – Tooling de Plataforma e Garantia de Qualidade
Descrição
Estamos à procura de um Arquiteto de Dados experiente para manter, evoluir e liderar a nossa plataforma de dados existente, atuando como arquiteto prático que desenha, implementa e opera um ecossistema de tooling abrangente garantindo fiabilidade, observabilidade e conformidade regulatória. Nesta função, será responsável pelo desenvolvimento do catálogo de dados, lineage e standards de metadados, desenho e manutenção de um repositório centralizado de metadados, e definição de modelos semânticos que traduzam tabelas em objetos de negócio compreensíveis. Além disso, coordenará iniciativas de governança de dados, liderará revisões trimestrais de governança focadas em propriedade e acesso de dados, e implementará templates de produtos de dados com automação self-service e observabilidade.
A posição envolve trabalhar com proprietários de domínios para capturar definições de negócio e mapeá-las para entidades técnicas, conduzindo sessões regulares sobre melhores práticas de metadados e mentorando engenheiros na incorporação de anotações semânticas. Será também responsável pelo monitoramento contínuo de latência de queries, consumo de armazenamento e capacidades de computação, propondo e implementando ações de otimização de custos, particularmente particionamento, clustering e caching. O sucesso nesta função requer expertise em plataformas de dados de larga escala, catálogos de dados, data mesh, ML-based profiling, CI/CD, Python, SQL e ferramentas de monitoramento como Prometheus e Grafana.
Competências
- Arquitetura de Dados
- Catálogo de Dados
- Lineage de Dados
- Metadados
- Datahub
- Amundsen
- Collibra
- Alation
- Data Mesh
- Modelos de Dados Canónicos
- Data Contracts
- Great Expectations
- Monte Carlo
- Datafold
- Bigeye
- Profiling de Dados
- Privacidade de Dados
- Audit Trails
- CI/CD
- GitHub Actions
- GitLab CI
- Jenkins
- dbt
- Apache Airflow
- Dagster
- Prefect
- Python
- Pandas
- PyArrow
- SQL
- Bases de Dados Colunares
- Prometheus
- Grafana
- Open Telemetry
- Governança de Dados
- Observabilidade
- Conformidade Regulatória
Responsabilidades
- Desenvolver e manter o catálogo de dados, lineage e standards de metadados
- Desenhar, implementar e melhorar continuamente um repositório centralizado de metadados
- Definir e aplicar modelos semânticos, vocabulários de negócio e contratos de dados lógicos
- Manter grafos de lineage automaticamente atualizados a cada execução de pipeline
- Coordenar esforços com iniciativas mais amplas do banco relacionadas com metadados
- Fornecer dashboards transparentes para lineage de dados, logs de acesso e saúde de qualidade de dados
- Liderar revisões trimestrais de governança de dados focadas em propriedade e acesso
- Integrar com iniciativas mais amplas de governança de dados
- Implementar templates de produtos de dados self-service que incorporem metadados semânticos automaticamente
- Introduzir observabilidade para pipelines de dados e atualizações de lineage
- Trabalhar com proprietários de domínios para capturar definições de negócio e mapeá-las para entidades técnicas
- Conduzir sessões regulares sobre melhores práticas de metadados
- Mentorizar engenheiros na incorporação de anotações semânticas
- Monitorizar continuamente latência de queries, consumo de armazenamento e capacidades de computação
- Propor e implementar ações de otimização de custos
Benefícios
- Instituição bancária líder
- Alcance internacional em 64 países
- Ambiente de trabalho híbrido e flexible
- Equipamento de escritório e casa fornecido
- Subsídio de equipamento
- Parcerias exclusivas para compra de artigos com preços reduzidos
- Suporte para work-life balance
- Oportunidades de desenvolvimento profissional
- Compromisso com diversidade e inclusão