Salesforce atinge Alta Disponibilidade com SageMaker
Salesforce alcança alta disponibilidade com SageMaker em múltiplas zonas de disponibilidade.
Publicidade
A Salesforce, uma das principais empresas de software como serviço, buscou atingir alta disponibilidade (HA) em múltiplas zonas de disponibilidade (AZs) para sua plataforma de inteligência artificial (IA) Agentforce. Para isso, a empresa utilizou o Amazon SageMaker AI Inference Components (ICs), que oferece uma redução de custos de infraestrutura de 8x ao co-hostar múltiplos modelos em GPUs compartilhadas.
No entanto, a equipe da Salesforce enfrentou um desafio: garantir a alta disponibilidade em múltiplas zonas de disponibilidade. O SageMaker AI Inference Components não garantia a resiliência necessária para atender aos requisitos de conformidade da empresa. Para superar esse obstáculo, a Salesforce utilizou a nova capacidade de colocação de ICs (surfaced through the SchedulingConfig parameter) para distribuir cópias de modelos em múltiplas zonas de disponibilidade.
A capacidade de colocação de ICs permite que os clientes tenham controle fino sobre a colocação de cópias de modelos em instâncias e zonas de disponibilidade. Dois parâmetros-chave, SPREAD e MaxImbalance, são fundamentais para garantir a alta disponibilidade. O SPREAD distribui cópias de modelos em instâncias e zonas de disponibilidade, enquanto o MaxImbalance configura a tolerância para a diferença de cópias entre zonas de disponibilidade.
Publicidade
A Salesforce escolheu o SPREAD para priorizar a isolamento de falhas em vez da densidade de empacotamento. Isso ajuda a prevenir que uma falha em uma instância afete múltiplas cópias do mesmo modelo. Além disso, a empresa configurou o MaxImbalance para 0, o que garante que as cópias sejam distribuídas de forma estritamente balanceada entre as zonas de disponibilidade.
A nova capacidade de colocação de ICs introduziu três melhorias fundamentais que atenderam aos requisitos de alta disponibilidade da Salesforce. Em primeiro lugar, a capacidade de distribuir cópias de modelos em múltiplas zonas de disponibilidade garante que a plataforma permaneça disponível mesmo em caso de falha em uma zona. Em segundo lugar, a capacidade de configurar a tolerância para a diferença de cópias entre zonas de disponibilidade ajuda a garantir que a plataforma permaneça balanceada e disponível. Em terceiro lugar, a capacidade de monitorar e validar a colocação de ICs ajuda a garantir que a plataforma esteja funcionando corretamente e atendendo aos requisitos de alta disponibilidade.
A Salesforce também recomendou a utilização de On-Demand Capacity Reservations (ODCR) para planejamento de capacidade em regiões com restrições de zona de disponibilidade. Isso ajuda a garantir que a plataforma tenha capacidade suficiente para atender à demanda e manter a alta disponibilidade.
Em resumo, a Salesforce alcançou alta disponibilidade em múltiplas zonas de disponibilidade com o Amazon SageMaker AI Inference Components, utilizando a nova capacidade de colocação de ICs para distribuir cópias de modelos em instâncias e zonas de disponibilidade. A empresa também configurou a tolerância para a diferença de cópias entre zonas de disponibilidade e monitorou a colocação de ICs para garantir que a plataforma permaneça disponível e atenda aos requisitos de conformidade.
Fontes
Esta análise é original do i-a-trend e foi elaborada a partir das reportagens publicadas pelas fontes acima, consultadas para apuração dos fatos. O crédito pela apuração é dos veículos citados — recomendamos a leitura das matérias originais.
Texto produzido com apoio de inteligência artificial e publicado sob responsabilidade editorial do i-a-trend. Encontrou um erro? Escreva para contato@i-a-trend.com.
Publicidade
Leia também
Orca Security Desenvolve Agente de Consulta em Linguagem Natural com Amazon Bedrock
Redução de 90% no custo de consultas com agente de consulta em linguagem natural.
Lançamento do Gemini Robotics-ER 1.6
Nova versão do modelo de inteligência artificial para robótica.
Pesquisador usa Co-Scientist para encontrar novos tratamentos para fibrose hepática
Co-Scientist ajuda a identificar medicamentos repurposados para tratar fibrose hepática