Pathway Desenvolve Arquitetura Inspirada no Cérebro em Amazon SageMaker

A empresa Pathway desenvolveu uma nova arquitetura de inteligência artificial inspirada no cérebro humano, chamada de Baby Dragon Hatchling (BDH). Essa arquitetura é capaz de realizar raciocínio em espaço latente, em vez de gerar tokens de pensamento em cadeia. Isso permite que o modelo aprenda com exemplos e refine soluções sem gerar traços de texto intermediários.

A arquitetura BDH é uma alternativa ao paradigma de transformadores, que é amplamente utilizado em processamento de linguagem natural. No entanto, os transformadores apresentam limitações significativas em termos de treinamento e inferência, incluindo a necessidade de grandes quantidades de dados e esforço computacional para compensar a falta de generalização sistemática.

A Pathway utilizou o Amazon SageMaker HyperPod para escalar o treinamento do modelo BDH. O SageMaker HyperPod é uma plataforma de treinamento de modelos de inteligência artificial que permite que os cientistas de inteligência artificial compartilhem recursos de computação de forma resiliente, escalável e econômica.

A arquitetura BDH é capaz de realizar raciocínio recorrente em espaço latente e decodificar apenas as respostas candidatas. Isso permite que o modelo trabalhe em problemas novos sem gerar longos traços de raciocínio verbalizados e sem necessidade de ajuste fino ou retreinamento.

A Pathway afirma que a arquitetura BDH é mais eficiente em termos de custo do que os modelos de transformadores. Um modelo de 150 milhões de parâmetros construído com a arquitetura BDH estabeleceu um novo recorde de eficiência de custo no benchmark ARC-AGI-1.

A arquitetura BDH é baseada em princípios de inteligência natural e é projetada para ser mais eficiente em termos de computação do que os modelos de transformadores. A Pathway acredita que a arquitetura BDH pode revolucionar a forma como os modelos de inteligência artificial são construídos e pode permitir que os modelos sejam mais eficientes e escaláveis.

A adoção da arquitetura BDH pode ter implicações significativas para as empresas que utilizam modelos de inteligência artificial em suas operações. Com a capacidade de realizar raciocínio em espaço latente e decodificar apenas as respostas candidatas, os modelos de inteligência artificial podem se tornar mais eficientes e escaláveis, permitindo que as empresas processem grandes quantidades de dados de forma mais rápida e econômica.

Além disso, a arquitetura BDH pode permitir que as empresas desenvolvam modelos de inteligência artificial mais avançados e personalizados, capazes de lidar com problemas complexos e dinâmicos. Isso pode levar a melhorias significativas em termos de produtividade e eficiência, permitindo que as empresas sejam mais competitivas no mercado.

No entanto, é importante notar que a adoção da arquitetura BDH também pode apresentar desafios significativos. A empresa precisará investir em recursos de computação e treinamento para desenvolver e implementar os modelos de inteligência artificial baseados na arquitetura BDH. Além disso, a empresa precisará ter uma equipe de cientistas de inteligência artificial qualificados para desenvolver e manter os modelos.

Em resumo, a arquitetura BDH é uma alternativa promissora aos modelos de transformadores e pode permitir que as empresas desenvolvam modelos de inteligência artificial mais eficientes e escaláveis. No entanto, a adoção da arquitetura BDH também pode apresentar desafios significativos e requerer investimentos significativos em recursos de computação e treinamento.