Lançamento do Kimi K3 na Amazon Bedrock

A Amazon Web Services (AWS) acaba de anunciar a disponibilidade do Kimi K3, um modelo de inteligência artificial (IA) desenvolvido pela Moonshot AI, na plataforma Amazon Bedrock. Essa integração representa um importante passo para a adoção de modelos de IA abertos e escaláveis em ambientes de produção, oferecendo às empresas uma opção poderosa para automatizar tarefas de codificação e trabalho do conhecimento.

O Kimi K3 é destacado como o modelo mais capaz da Moonshot AI, com 2,8 trilhões de parâmetros, e é o primeiro modelo aberto a alcançar essa escala. Além disso, ele combina capacidades de visão nativa com uma janela de contexto de 1 milhão de tokens, proporcionando uma melhoria aproximada de 2,5 vezes na eficiência de escalabilidade em comparação com o seu antecessor, o Kimi K2. Essas características tornam o Kimi K3 particularmente adequado para fluxos de trabalho de codificação e conhecimento de longa duração que exigem contexto sustentado em grandes repositórios, documentos e imagens.

Uma das principais vantagens do Kimi K3 é a capacidade de reduzir a latência e os custos de entrada por meio do cache de prompts explícitos. Isso permite que os usuários identifiquem prefixos de prompts reutilizáveis, de modo que solicitações posteriores possam utilizar conteúdo em cache, resultando em respostas mais rápidas e economia de tokens de entrada. Além disso, o modelo suporta a chamada de ferramentas, saída estruturada, raciocínio, streaming de respostas e as APIs de Respostas e Completions de Chat, o que o torna uma ferramenta versátil para uma ampla gama de aplicações.

A Amazon Bedrock é uma plataforma que permite a adoção de modelos de IA abertos com confiabilidade e segurança para ambientes de produção. Com a integração do Kimi K3, os usuários podem aproveitar as capacidades avançadas desse modelo sem comprometer a segurança dos seus dados. A plataforma garante que os dados sejam processados dentro dos limites de dados da AWS, não sejam compartilhados com o provedor do modelo e não sejam usados para treinar o modelo subjacente. Além disso, a retenção zero de dados é sempre habilitada para solicitações de inferência, e o acesso zero do operador impede que mesmo os operadores da AWS acessem os prompts e conclusões durante a inferência.

Para começar a usar o Kimi K3, os usuários podem acessar a console da Amazon Bedrock, ir para Teste > Playground e selecionar o Kimi K3 como o modelo. Em seguida, eles podem testar o seu primeiro prompt. Programaticamente, o modelo pode ser chamado usando o endpoint bedrock-runtime, que suporta as APIs de Respostas e Completions de Chat compatíveis com a OpenAI, bem como as APIs de Invoke e Converse da Amazon Bedrock.

Além disso, o Kimi K3 pode ser invocado por meio de um perfil de inferência entre regiões. Para cargas de trabalho sem restrições regionais, é recomendado usar o perfil global, global.moonshotai.kimi-k3, que roteia cada solicitação para qualquer região comercial da AWS suportada em todo o mundo. A inferência entre regiões global custa aproximadamente 10% menos do que um perfil geográfico.

O Kimi K3 também pode ser usado por meio de uma ampla gama de assistentes de codificação, agentes pessoais e frameworks de agentes que suportam a Amazon Bedrock especificamente ou provedores de modelos compatíveis com a OpenAI em geral. Por exemplo, o OpenCode é um agente de codificação de código aberto que suporta a Amazon Bedrock e pode ser configurado para usar o Kimi K3.

Em resumo, o lançamento do Kimi K3 na Amazon Bedrock representa um importante avanço na adoção de modelos de IA abertos e escaláveis em ambientes de produção. Com suas capacidades avançadas e suporte a cache de prompts explícitos, o Kimi K3 é uma ferramenta poderosa para automatizar tarefas de codificação e trabalho do conhecimento, oferecendo às empresas uma opção confiável e segura para melhorar a eficiência e reduzir os custos.