Google lança primeira avaliação duplamente cega de modelo de IA

A Google DeepMind anunciou o lançamento da primeira avaliação duplamente cega de um modelo de IA proprietário, que visa garantir a integridade e a confiabilidade dos resultados das avaliações de modelos de IA. Essa abordagem inovadora utiliza ambientes criptograficamente seguros para manter as avaliações externas confinadas a uma "caixa" criptográfica, onde elas não podem ser usadas pelos modelos para otimizar o desempenho antes dos testes.

Essa iniciativa é fundamental para garantir a confiabilidade dos resultados das avaliações de modelos de IA, pois evita a contaminação dos benchmarks, que ocorre quando um modelo já viu as questões de teste antes de ser avaliado. Isso pode levar a resultados inflados e comprometer a confiabilidade dos benchmarks. A Google está trabalhando em parceria com instituições como o Singapore AI Safety Institute, OpenMined, AVERI e MLCommons para testar o modelo Gemini Flash Lite contra benchmarks confidenciais em um ambiente de preservação da privacidade.

A avaliação duplamente cega elimina a necessidade de comprometer a confidencialidade dos dados de teste ou dos pesos do modelo. Ao utilizar o Confidential Space dentro do portfólio de Computação Confidencial da Google Cloud, é possível verificar criptograficamente que tanto os dados de avaliação externa quanto os pesos do modelo proprietário permanecem privados para seus respectivos proprietários. Isso ajuda a prevenir a contaminação dos benchmarks e a proteger dados sensíveis.

Essa abordagem é particularmente importante para avaliações de alta sensibilidade, como aquelas usadas para cibersegurança ou por órgãos governamentais. A avaliação duplamente cega permite que organizações independentes testem rigorosamente modelos avançados sem comprometer a soberania ou a segurança dos dados. A Google espera que essa iniciativa estabeleça um novo padrão para a supervisão de modelos de IA, ajudando a construir sistemas de IA mais seguros, confiáveis e amplamente aceitos.

A utilização de ambientes criptograficamente seguros para avaliar modelos de IA é um passo importante para garantir a confiabilidade e a segurança dos resultados. Além disso, a parceria com instituições especializadas em segurança de IA e privacidade ajuda a garantir que os modelos sejam testados de forma rigorosa e independente. A Google está trabalhando para estabelecer um novo padrão para a avaliação de modelos de IA, que seja mais seguro, confiável e transparente.

A avaliação duplamente cega também pode ter implicações para as empresas brasileiras que desenvolvem ou utilizam modelos de IA. Isso pode ajudar a garantir que os modelos sejam mais confiáveis e seguros, o que é fundamental para a adoção de tecnologias de IA em setores críticos, como a saúde, a finanças e a segurança. Além disso, a utilização de ambientes criptograficamente seguros pode ajudar a proteger a propriedade intelectual das empresas e a garantir a privacidade dos dados.

Em resumo, a avaliação duplamente cega de modelos de IA é uma abordagem inovadora que visa garantir a confiabilidade e a segurança dos resultados das avaliações de modelos de IA. A utilização de ambientes criptograficamente seguros e a parceria com instituições especializadas em segurança de IA e privacidade são fundamentais para estabelecer um novo padrão para a avaliação de modelos de IA. Isso pode ter implicações importantes para as empresas brasileiras que desenvolvem ou utilizam modelos de IA, ajudando a garantir que os modelos sejam mais confiáveis, seguros e transparentes.