Engenheiro de Dados sênior - PRESENCIAL em São Paulo-SP

? SOBRE A CEDRO

Nossa missão: desenvolver softwares de altíssima qualidade que escale o negócio do cliente

Nossa visão: ser referência nacional em tecnologias de investimentos para o ecossistema financeiro

Nosso propósito: transformar o complexo em simples para melhorar a vida das pessoas e organizações

Buscamos, a cada dia, construir uma Cedro mais plural e inclusiva, com profissionais que estejam com um olhar sempre à frente e buscando novos desafios, pois acreditamos que o respeito à pluralidade e à individualidade é a base das nossas relações.

?VENHA SER CEDRENSE!

Estamos em busca de um(a) Engenheiro(a) de Dados que atuará como engenheiro de dados no projeto de migração de sistemas legados para o Databricks.

Modelo de atuação: 100% Presencial em São Paulo-SP.

? REQUISITOS:

• INDISPENSÁVEL residir em São Paulo-SP (OPORTUNIDADE 100% PRESENCIAL no ITAIM BIBI;
• Indispensável Inglês fluente;
• Ter atuado com migração de dados legados para Databricks
• Apache Spark & PySpark: Domínio avançado para transformação de dados, otimização de queries, manipulação de DataFrames e entendimento de Spark SQL.
• Databricks Lakehouse Platform: Experiência prática na plataforma Databricks, incluindo notebooks, clusters, Databricks File System (DBFS) e Databricks SQL.
• Delta Lake: Proficiência no formato Delta Lake para garantir transações ACID, versionamento de dados (time travel), schema enforcement e técnicas de otimização (Z-Ordering, Vacuum).
• Linguagens de Programação como Python (avançado para automação e manipulação de dados) e SQL (avançado para conversão de queries legadas).
• Ingestão de Dados e Autoloader: Experiência em configurar fluxos de ingestão de dados em lote (batch) e streaming, utilizando
• Databricks Autoloader para ler arquivos de data lakes.
• Modelagem de Dados e Arquitetura Medallion: Habilidade para desenhar e implementar arquiteturas de dados (Bronze, Silver, Gold) para organizar os dados migrados.
• Experiência em Migração: Conhecimento de estratégias de migração de ETLs/ELTs, mapeamento de origem para destino e validação de dados para garantir integridade.
• Ferramentas de Nuvem: Familiaridade com Azure Databricks (Azure Data Factory, ADLS Gen2, Unity Catalog) ou AWS Databricks.

? DIFERENCIAIS:

• Requisitos Estratégicos (Migração de Legado):
  Conversão de Código: Capacidade de converter scripts legados (SAS, PL/SQL, T-SQL) para PySpark/Spark SQL.
  Validação de Dados: Técnicas de "Data Quality" para assegurar que o volume e o conteúdo dos dados coincidem entre o legado e o Databricks.
  Governança de Dados (Unity Catalog): Implementação de segurança, linhagem de dados e controle de acesso a tabelas.
  
  
• Certificações Recomendadas:
  Databricks Certified Data Engineer Associate ou Professional.
  Databricks
  Databricks
  
  
• Habilidades Adicionais Valorizadas:
  Conhecimento em Delta Live Tables (DLT).
  CI/CD para Data Engineering (Git, Azure DevOps/GitHub Actions).

? NOSSOS BENEFÍCIOS PARA VOCÊ

Benefícios flexíveis no Cartão Caju, sem desconto na folha de pagamento nas modalidades: alimentação, refeição, mobilidade, cultura, educação, saúde e home office;

Assistência médica SulAmérica com cobertura nacional;

Assistência odontológica Uniodonto;

WellHub;

Seguro de vida;

Auxílio creche (para crianças até 02 anos);

Day off de aniversário;

Bônus por indicação Tech;

Crédito consignado e adiantamento salarial Creditas.