Bootcamp realizado no mês de Março de 2021 no Instituto de Gestão de Tecnologia da Informação - IGTI
O Bootcamp tem como objetivo abordar de forma intensiva conceitos e práticas da engenharia de dados, habilitando o aluno para atuar profissionalmente na área.
Ele dividido em 4 módulos com aulas e deafios semanais por um período de 2 meses.
Os seguintes módulos são estudados:
-
- Fundamentos de Engenharia de Dados: Conceitos fundamentais: Dados, fontes de dados, Big Data, tipos de dados. Visão geral do pipeline de ciência de dados e soluções (plataformas, tecnologias) para extração, ingestão, transformação, armazenamento e análise de dados.
-
- Armazenamento de Dados: Data warehouse e data lake: modelo, projeto, implementação, tecnologias envolvidas. Visão geral de SGBDs SQL(relacionais), NoSQL, NewSQL. Sistemas de arquivo, armazenamento de dados em nuvem e sistemas de arquivos.
-
- Ecossistema Hadoop: Introdução ao ecossistema Hadoop, Modelagem de dados com Hadoop, Ingestão de dados com Hadoop (Sqoop e Flume) e/ou Kafka), Armazenamento de dados com Hadoop (HDFS e HBase), Processamento de dados com Hadoop (Spark).
-
- Infraestrutura de dados e arquitetura escalável: Serviços de conectividade, rede e segurança na Azure, AWS e GCP. Exemplos de containers para Ciência de Dados e Machine Learnig. Virtualização, containers e serviços de armazenamento. Recursos para escalabilidade, elasticidade, alta disponibilidade e processamento distribuído. Soluções para processamento de dados em larga escala. Modelos de serviços em nuvem. Fundamentos de arquitetura.
Este repositório contém algumas das atividades práticas desenvolvidas durante o Bootcamp.