Property Finder melhora precisão de modelo de visão com Amazon Bedrock

A Property Finder, uma aplicação de real estate digital, descobriu que 96,8% de suas etiquetas de avaliação para modelos de visão computacional haviam sido herdadas diretamente de um modelo existente, em vez de serem verificadas por especialistas humanos. Isso significava que a precisão do modelo era distorcida, tornando difícil comparar modelos alternativos de forma justa. Para resolver esse problema, a empresa decidiu construir um conjunto de dados de treinamento mais preciso e aplicar uma abordagem de otimização de prompts evolutiva para selecionar o modelo mais adequado.

A equipe de engenharia da Property Finder processa dezenas de milhares de imagens de propriedades todos os dias, avaliando 11 atributos de qualidade por imagem. No entanto, a abordagem anterior de usar as etiquetas do modelo existente como referência estava criando um ciclo vicioso, onde qualquer modelo alternativo era julgado com base na sua capacidade de se aproximar do comportamento do modelo existente, em vez de ser avaliado com base na sua precisão real.

Para quebrar esse ciclo, a equipe da Property Finder decidiu criar um conjunto de dados de treinamento mais preciso, com a ajuda de especialistas humanos que anotaram manualmente 356 imagens de propriedades nos Emirados Árabes Unidos. Essas anotações foram feitas de forma independente, sem referência às saídas do modelo existente. Além disso, a equipe aplicou uma abordagem de otimização de prompts evolutiva, que envolveu a iteração de várias versões de prompts para melhorar a precisão do modelo.

A abordagem de otimização de prompts evolutiva foi realizada em parceria com o AWS Generative AI Innovation Center, e envolveu a criação de um ciclo de feedback que permitiu a melhoria contínua da precisão do modelo. A equipe utilizou a métrica Micro F1 como principal indicador de desempenho, pois ela pondera cada previsão de forma igual, o que é consistente com o objetivo de negócios de precisão geral.

Com a nova abordagem, a Property Finder conseguiu reduzir o custo em 86% e melhorar a precisão do modelo em relação ao modelo existente. Além disso, a empresa pôde identificar e corrigir erros ocultos no conjunto de dados de treinamento, o que permitiu uma avaliação mais justa dos modelos alternativos.

A experiência da Property Finder destaca a importância de criar conjuntos de dados de treinamento precisos e de aplicar abordagens de otimização de modelos que sejam justas e imparciais. Além disso, a parceria com o AWS Generative AI Innovation Center demonstra o valor da colaboração entre especialistas em inteligência artificial e negócios para resolver desafios complexos e melhorar a precisão dos modelos de visão computacional.

A abordagem adotada pela Property Finder pode ser aplicada a outras empresas que buscam melhorar a precisão de seus modelos de visão computacional. Além disso, a experiência da empresa destaca a importância de investir em conjuntos de dados de treinamento de alta qualidade e de aplicar abordagens de otimização de modelos que sejam justas e imparciais. Com a crescente adoção de tecnologias de visão computacional em various setores, a capacidade de criar modelos precisos e justos se tornará cada vez mais importante para as empresas que buscam aproveitar os benefícios da inteligência artificial.