Orca Security Desenvolve Agente de Consulta em Linguagem Natural com Amazon Bedrock

A Orca Security, empresa especializada em segurança cibernética, desenvolveu um agente de consulta em linguagem natural chamado Discovery AI, que utiliza a plataforma Amazon Bedrock para converter perguntas em linguagem natural em consultas válidas no sistema Sonar. Isso permitiu que os analistas de segurança obtivessem respostas rápidas e precisas sobre a infraestrutura em nuvem sem precisar ter conhecimento profundo em linguagens de consulta específicas.

Com o Discovery AI, a Orca Security conseguiu reduzir o custo das consultas em 90%, o número de tokens de entrada em 93% e a latência em 75% em comparação com a linha de base inicial. Isso foi possível graças à arquitetura de múltiplas etapas do Discovery AI, que combina a geração de consultas com base em modelos de linguagem natural e a construção de consultas com base no esquema do Sonar.

A escolha da Amazon Bedrock como plataforma para o Discovery AI se deve à sua capacidade de fornecer acesso a múltiplos modelos por meio de uma única API, o que permite que a equipe da Orca alocar diferentes modelos de fundação para cada etapa do pipeline sem precisar gerenciar integrações separadas. Além disso, a Amazon Bedrock herda os controles de governança da AWS, incluindo a gestão de identidade e acesso, pontos de extremidade de rede privada virtual e o AWS CloudTrail, o que atende aos requisitos de segurança da Orca.

A arquitetura do Discovery AI é baseada em uma abordagem híbrida que combina a geração de consultas com base em modelos de linguagem natural e a construção de consultas com base no esquema do Sonar. Isso permite que o sistema converta perguntas em linguagem natural em consultas válidas no Sonar por meio de um pipeline de múltiplas etapas, cada uma delas projetada para aproveitar ao máximo as capacidades dos modelos de fundação da Amazon Bedrock.

Um dos principais desafios enfrentados pela equipe da Orca durante o desenvolvimento do Discovery AI foi a necessidade de incluir mais de 900 esquemas de modelo do Sonar em cada prompt. Isso não era viável, mesmo com modelos de contexto longo, pois degradava tanto o custo quanto a precisão. Para resolver esse problema, a equipe desenvolveu um seletor de modelo que funciona com representações compactas e semanticamente ricas de cada modelo, permitindo que o gerador receba apenas os esquemas de modelo necessários para responder à pergunta do usuário.

A equipe da Orca também desenvolveu um conjunto de avaliação contínua para garantir que as mudanças no sistema sejam testadas e validadas antes de serem implantadas. Isso inclui um conjunto de dados curado, uma camada de pontuação automática e uma abordagem de medição baseada em fatias, o que permite que a equipe confie em cada mudança antes de implantá-la.

Em resumo, o desenvolvimento do Discovery AI pela Orca Security demonstra o potencial da inteligência artificial para melhorar a eficiência e a precisão das consultas de segurança em infraestruturas em nuvem. Com a capacidade de converter perguntas em linguagem natural em consultas válidas no Sonar, o Discovery AI pode ajudar os analistas de segurança a obter respostas rápidas e precisas sobre a infraestrutura em nuvem, reduzindo o custo e a latência das consultas.