Data centers para provedores de serviços de nuvem de IA

Os provedores de serviços (SPs) e os provedores de neocloud estão implantando data centers com IA construídos com esse propósito para oferecer serviços de IA personalizados, acessíveis e rápidos de colocação no mercado para empresas, governos e instituições educacionais. Os serviços de IA hospedados na nuvem oferecem computação, armazenamento e rede virtualizados e seguros para usuários finais, permitindo novos fluxos de receita com maior eficiência e menor custo total de propriedade.  

Uma neocloud é uma nova geração de provedor de computação de nuvem com IA focada em oferecer computação de GPU virtualizada com suporte a armazenamento e redes seguras. Essas nuvens de GPU pure play oferecem desempenho de ponta e flexibilidade aos seus clientes, com a capacidade de amortizar o custo da infraestrutura de nuvem de IA em uma grande base de clientes. Usando ferramentas de nuvem e automação, as neoclouds ganham eficiência em sua infraestrutura de IA subjacente com a agilidade de nuvem para expandir e expandir a escala para atender à demanda do cliente.

Os modelos de IA são criados com base em conjuntos de dados cuidadosamente preparados durante o estágio de treinamento. O treinamento acontece em várias GPUs, abrangendo dezenas, centenas e até milhares de GPUs em um cluster — todas conectadas em uma rede e trocando dados constantemente umas com as outras. Após esse estágio de treinamento, o modelo está essencialmente completo. Durante o estágio de inferência, os usuários interagem com o modelo, que pode reconhecer imagens ou gerar figuras e texto para fornecer respostas às perguntas dos usuários. O treinamento é tipicamente uma operação off-line, enquanto a inferência geralmente é on-line.

Os conjuntos de dados de IA massivos estão criando a necessidade de maior poder de processamento, armazenamento mais rápido e redes de alta capacidade e baixa latência. A Juniper ajuda a atender a esses requisitos das seguintes maneiras:

• Computação: a demanda computacional dos clusters de computação IA/ML são elevadas nas redes internodais. Reduzir o tempo de conclusão de trabalho (JCT) é essencial, e a rede desempenha um papel fundamental na operação eficiente do cluster. A Juniper oferece uma variedade de switches de alto desempenho e sem bloqueio com capacidade de buffer profundo e gerenciamento de congestionamento que, quando arquitetados de forma ideal, eliminam qualquer gargalo de rede.
• Armazenamento: em clusters de IA/ML e em computação de alto desempenho, raramente um conjunto ou modelo de dados inteiro pode ser armazenado nos nós de computação, portanto, uma rede de armazenamento de alto desempenho é necessária. Os switches da série QFX da Juniper podem ser usados para conectividade de armazenamento IP. Eles oferecem suporte completo para redes de acesso direto à memória (RDMA), incluindo memória não volátil expressa/RDMA sobre Ethernet convergente (NVMe/RoCE) e sistema de arquivos de rede (NFS)/RDMA.
• Rede: os modelos de treinamento de IA envolvem computações grandes e intensas distribuídas em centenas ou milhares de processadores de CPU, GPU e TPU. Esses processadores exigem redes de alta capacidade, escaláveis horizontalmente e livres de erros. Os switches QFX e os roteadores da série PTX da Juniper oferecem suporte a essas grandes operações de computação nos data centers e entre eles, com a maior taxa de transferência de comutação e roteamento do setor e recursos de interconexão de data center (DCI).

O Apstra Data Center Director é a plataforma líder da Juniper para automação e garantia de data center. Ele automatiza todo o ciclo de vida da rede, desde o projeto até as operações diárias, em datacenters de vários fornecedores com validação contínua, análises poderosas e identificação da causa-raiz para garantir a confiabilidade. Com o Assistente de inteligência artificial (IA) Marvis para data center, essas informações são levadas do Data Center Director à Juniper Mist Cloud e apresentadas em um painel de controle comum para fornecer insights de ponta a ponta.  O Assistente de inteligência artificial (IA) Marvis para data center também fornece uma interface de conversação robusta (usando GenAI) para simplificar drasticamente as consultas à base de conhecimento.

Os switches de data center de alto desempenho e sem bloqueio da Juniper oferecem buffer profundo e gerenciamento de congestionamento para eliminar os gargalos de rede. Para equilibrar as cargas de tráfego, oferecemos suporte ao balanceamento de carga dinâmico e ao roteamento adaptativo. Para o gerenciamento de congestionamento, a Juniper oferece suporte total à notificação de congestionamento quantificado no data center (DCQCN), ao controle de fluxo prioritário (PFC) e à notificação explícita de congestionamento (ECN). Por fim, para reduzir a latência, a Juniper usa o melhor silício comercial da categoria e arquiteturas ASIC personalizadas que maximizam os buffers, quando necessário, o enfileiramento de saída virtual (VOQ) e as malhas baseadas em células em nossas arquiteturas de spine.

Nosso portfólio inclui switches abertos e baseados em padrões que oferecem conectividade de armazenamento baseada em IP usando NVMe/RoCE ou NFS/RDMA (veja as perguntas frequentes anteriores). Nossos projetos de solução de redes de armazenamento de IP podem ser escalados de uma configuração pequena de quatro nós a centenas ou milhares de nós de armazenamento.