Plataforma ADOP acelera onboarding de dados em horas

A Agentic Data Operations Platform (ADOP) é uma plataforma de referência que utiliza agentes de inteligência artificial especializados para automatizar o ciclo de vida completo da pipeline de dados, desde o Bronze até o Ouro, reduzindo o tempo de onboarding de novas fontes de dados de semanas para horas. Isso é possível graças à capacidade dos agentes de automatizar tarefas como a geração de código ETL, a criação de modelos semânticos e a validação de conformidade.

Com a ADOP, as equipes de engenharia de dados podem se concentrar em criar produtos de dados em vez de gastar tempo com a configuração de pipelines. Além disso, a conformidade passa a ser uma controle inline aplicado no momento do onboarding, em vez de um gate downstream. A arquitetura da ADOP é baseada em Amazon Bedrock e utiliza agentes de inteligência artificial para automatizar as tarefas de engenharia de dados.

A plataforma é projetada para ser um acelerador de tempo de desenvolvimento, e não uma dependência de tempo de execução. Os agentes são executados em ambientes de desenvolvimento, onde eles raciocinam, propõem e geram código, que é então revisado pelos engenheiros. A ADOP é compatível com várias ferramentas de codificação, incluindo Claude Code, Kiro, Cursor e Codex.

A ADOP difere de assistentes de codificação de propósito geral, pois é opinativa e projetada especificamente para a engenharia de dados. Ela envolve os modelos em uma estrutura que garante a consistência e a conformidade com as políticas da empresa. Além disso, a ADOP é compatível com Amazon Bedrock AgentCore, que é uma plataforma para construir, conectar e otimizar agentes em escala.

A ADOP é aplicável em qualquer lugar onde a velocidade de engenharia de dados seja limitada pela onboarding manual e pela sobrecarga de conformidade. Ela é particularmente útil em casos em que as equipes de engenharia de dados precisam lidar com grandes volumes de dados e garantir a conformidade com as regulamentações.

A plataforma é composta por vários componentes, incluindo o Data Onboarding Agent, que é responsável por lançar os sub-agentes especializados para cada estágio da construção da pipeline. Os sub-agentes lidam com tarefas como a geração de metadados, a dedução de ontologia de dados, a verificação de qualidade de dados e a transformação de dados. Além disso, a ADOP inclui um motor de decisão que atua como uma versão codificada da arquitetura da empresa, garantindo a consistência em todo o processo de construção.

A ADOP também inclui recursos de conformidade de dados, que permitem aplicar controles de conformidade relacionados a regulamentações em um único prompt por quadro de governança. Além disso, a plataforma fornece recursos de observabilidade de agentes, que permitem rastrear as decisões dos agentes e publicar os resultados em Amazon CloudWatch ou em um sink de OpenTelemetry para auditoria.

Em resumo, a ADOP é uma plataforma poderosa que pode ajudar as empresas a acelerar o processo de onboarding de dados e garantir a conformidade com as regulamentações. Com sua capacidade de automatizar tarefas de engenharia de dados e garantir a consistência em todo o processo de construção, a ADOP é uma ferramenta valiosa para qualquer empresa que lide com grandes volumes de dados.