Definição de Dbt - Data build tool

Data build tool, ou dbt, é uma ferramenta de código aberto (versão Core) usada para transformar dados, usando scripts SQL (.sql) e scripts YAML (.yml).

É uma das principais ferramentas utilizadas atualmente no processo de transformação dos dados. E essa transformações são realizadas através de consultas em SQL. Com isso, engenheiros e analistas de dados podem manipular seu Data Warehouse com mais agilidade e eficiência.

Engenheiro de dados:  Colaborador focado na criação da infraestrutura de dados e suas funcionalidades para que os times de operações interagirem a partir disso em cada etapa do fluxo do projeto construído, ou seja, com o pipeline de dados;

Analista de dados: Colaborador responsável por definir conceitos de dados e disponibilizar para o restante da empresa as informações em forma de tabelas e dashboards, que são painéis intuitivos e interativos;

De forma simplificada , o DBT, roda as consultas salvando em uma nova tabela ou visualização(view) dentro do seu banco de dados.

Considerações importantes:

• DBT é uma ferramenta de transformação de dados utilizando SQL onde através da pipeline , novas tabelas são criadas;
• DBT não faz extração de dados e nem faz o processo de carga ;
• DBT não altera e nem exclui dados de uma tabela.

Temos 2 versões para trabalhar com DBT :

• O dbt Core: é gratuito e de código aberto e permite que você escreva o código dbt no editor de texto ou IDE de sua escolha em sua máquina de desenvolvimento local e, em seguida, execute o dbt na linha de comando;

• dbt cloud:  é uma ferramenta de transformação de dados que permite que analistas e engenheiros de dados transformem dados na nuvem , ou seja, através da Internet.

DBT é uma grande solução de negócio e  para empresas que desejam implantar nos seus processos, a primeira pergunta que precisarão responder é “dbt Cloud ou dbt Core?” . Embora o dbt Core seja gratuito e de código aberto, o dbt Cloud é rico em recursos e resolve muitos problemas que você encontrará ao implementar o dbt Core.