“Uma das maiores fabricantes de vidro da América do Sul migrou sua base de dados industrial para o Snowflake, fortalecendo governança, performance e o compartilhamento descomplicado de dados em toda a operação.”
O desafio
Com o crescimento da sua operação e a necessidade de se tornar uma indústria verdadeiramente data-driven, a VIVIX enfrentava barreiras significativas com a arquitetura de dados anterior:
- Dificuldade de compartilhamento: o acesso a dados industriais por diversos setores e fornecedores externos era burocrático, exigindo VPNs e ferramentas legadas, o que limitava a colaboração e a agilidade.
- Limitações do warehouse anterior: o Data Warehouse utilizado não oferecia a flexibilidade e a performance necessárias para o volume e a complexidade dos dados industriais.
- Necessidade de governança e performance: era preciso garantir alta performance, governança robusta e capacidade de escalar recursos de processamento sob demanda, sem duplicação de dados.
O objetivo era construir um novo ecossistema que garantisse alta performance, governança e permitisse o acesso facilitado aos dados via console (Snowsight).
A solução
A VIVIX implementou uma nova arquitetura de dados centrada no Snowflake, escolhido por suportar dados estruturados, semi-estruturados e não-estruturados, e pela separação entre computação (Virtual Warehouses) e armazenamento. Para o ciclo de vida dos dados foi adotada a Arquitetura Medalhão, garantindo confiabilidade e qualidade através de um fluxo lógico de limpeza e transformação.
Principais características técnicas
- Snowflake como Data Warehouse central, otimizado para alta performance e compartilhamento de dados industriais via Snowsight.
- Arquitetura Medalhão:
- Bronze: dados brutos e imutáveis de BIMS (Firebird), Bottero (SQL Server), Toledo, RFID e SAP, salvos em Parquet no S3.
- Silver: limpeza e transformação com dbt, com padronização, conversão e deduplicação.
- Gold: modelos de negócio prontos para análise, consumidos por relatórios e aplicações.
- Orquestração e ingestão: Apache Airflow para extração e orquestração das transformações via dbt; HighByte e Snowpipe Stream para ingestão de dados industriais semi-estruturados com baixa latência.
- IaC e Governança: Terraform provisiona a infraestrutura na AWS e o Snowflake; OpenMetadata cuida de linhagem, documentação e qualidade; SchemaChange versiona migrações de esquema no Snowflake.
- Todos os componentes geridos via pipelines CI/CD e código versionado.
Quer resultados como esse na sua operação?
Converse com a Aiyra. Entendemos o seu segmento e entregamos impacto mensurável.
Falar com a Aiyra