A AWS Desenvolve Solução de Correção e Harmonização de Metadados com Inteligência Artificial

A capacidade de coletar e gerar dados está aumentando rapidamente, mas a habilidade de standardizar esses dados continua a ser um desafio. A correção e harmonização de metadados é um processo crucial para garantir que os dados sejam precisos e consistentes, mas ainda é realizado de forma manual em muitos casos. A Amazon Web Services (AWS) desenvolveu uma solução de correção e harmonização de metadados com inteligência artificial (IA) para ajudar a resolver esse problema.

A solução da AWS utiliza uma abordagem de workflow cíclico que guia os dados por meio de validação, geração de recomendações e aprovação final pelo usuário. O sistema utiliza o Amazon Bedrock para alinhamento de esquemas e recomendações de correção, o Amazon Simple Storage Service (Amazon S3) para armazenamento de esquemas e resultados, o Amazon DynamoDB para rastreamento de trabalhos, o Amazon Cognito para autenticação e o Amazon Elastic Container Service (Amazon ECS) para computação.

A solução também inclui um pacote de harmonização que alinha esquemas de metadados, valida a integridade dos dados e gera recomendações de correção. O sistema opera em dois fluxos de validação paralelos: alinhamento de esquemas e validação de campos de metadados. Quando problemas são detectados, o sistema gera recomendações de correção direcionadas e as apresenta ao usuário para aprovação final.

A AWS também desenvolveu uma abordagem de matching semântico utilizando modelos de linguagem grande (LLM) disponíveis no Amazon Bedrock. Essa abordagem permite que o sistema reconheça sinônimos específicos da indústria, infira significado de colunas circundantes e detecte quando uma coluna de origem deve ser dividida em várias colunas de destino ou vice-versa.

Além disso, a solução inclui uma componente de validação de campos de metadados que verifica se os valores individuais de campos estão em conformidade com os requisitos do esquema. O sistema avalia cada campo contra regras pré-definidas e categoriza as falhas em três tipos: validação de campos obrigatórios, validação de valores enumerados e validação de padrões.

A solução da AWS também utiliza técnicas de processamento de linguagem natural (NLP) e IA para gerar recomendações de correção. O sistema utiliza uma combinação de técnicas de NLP e modelos de embeddings para comparar valores de metadados semanticamente e identificar correspondências próximas com base em limiares de semelhança.

Essa abordagem permite que a solução da AWS forneça recomendações precisas e escaláveis enquanto mantém os custos de inferência previsíveis. Além disso, a solução é flexível e pode ser adaptada para atender às necessidades específicas de diferentes organizações e indústrias.

Em resumo, a solução de correção e harmonização de metadados com IA da AWS é uma ferramenta poderosa que pode ajudar as organizações a automatizar o processo de correção e harmonização de metadados, melhorando a precisão e a consistência dos dados. Com sua abordagem de workflow cíclico, matching semântico e técnicas de NLP e IA, a solução da AWS é uma opção atraente para as organizações que buscam melhorar a qualidade dos seus dados.