Engenheiro de Dados – Data Engineer
MTec (Microtécnica)
Híbrido
Brasília, DF, BR
Preferencialmente horário comercial.
Profissional
•
Prestador de Serviços – PJ
Atividades:
Atuar na construção e manutenção de pipelines para processamento e movimentação de dados em larga escala, utilizando ferramentas como Apache Airflow e AWS Glue.
Implementar e gerenciar a infraestrutura de dados em ambientes on-premise e em nuvem, utilizando ferramentas como Terraform e Ansible.
Projetar e implementar arquiteturas escaláveis para data lakes e data warehouses, utilizando tecnologias como Hadoop e Azure Data Lake.
Desenvolver algoritmos e técnicas para análise de dados, utilizando ferramentas como Spark e SQL.
Integrar dados de diferentes fontes para criar uma visão unificada, utilizando APIs, Kafka e ferramentas de ETL/ELT.
Implementar práticas de segurança e governança de dados para garantir qualidade, privacidade e conformidade.
Configurar e monitorar sistemas de dados para garantir alta disponibilidade e desempenho, utilizando ferramentas de monitoramento e logging.
Trabalhar em estreita colaboração com equipes técnicas e de negócios para entender requisitos e comunicar soluções técnicas.
Executar outras atividades relacionadas à função.
Requisitos
Superior Completo em Engenharia de Dados e áreas afins;
Experiência anterior como Analista ou Engenheiro de dados;
Conhecimento em Python, SQL, Airflow, Azure Data Factory, Azure ADLS Gen2, Azure Databricks, PySpark, ETL, construção de pipelines, Data Lake,
Data Warehouse, Data Lakehouse, web scraping, consumo de APIs, além de domínio em Power BI, Power Query e DAX.
