Centros de datos para proveedores de servicios en la nube de IA

Los proveedores de servicios (SP) y los proveedores de neocloud están desplegando centros de datos de IA diseñados específicamente para ofrecer servicios de IA personalizados, asequibles y de rápida comercialización para empresas, gobiernos e instituciones educativas. Los servicios de IA alojados en la nube ofrecen computación, almacenamiento y redes virtualizados y seguros a los usuarios finales, a la vez que habilitan nuevos flujos de ingresos con una mayor eficiencia y un menor costo total de propiedad.  

Un proveedor de neocloud es una nueva raza de proveedor de computación en la nube de IA que se centra en ofrecer computación de GPU virtualizada con almacenamiento y redes seguras. Estas nubes especializadas en GPU ofrecen un rendimiento y una flexibilidad de vanguardia a sus clientes, con la capacidad de amortizar el costo de su infraestructura de nube de IA en una gran base de clientes. Al usar herramientas de nube y automatización, las neoclouds ganan eficiencia en su infraestructura de IA subyacente con agilidad de nube para escalar ascendente y descendentemente, a efectos de satisfacer la demanda de los clientes.

Los modelos de IA se construyen utilizando conjuntos de datos cuidadosamente diseñados durante la etapa de capacitación. El entrenamiento se realiza en múltiples GPU y abarca decenas, cientos e incluso miles de GPU en un clúster, todas conectadas a través de una red e intercambiando datos constantemente entre sí. Después de esta etapa de capacitación, el modelo está esencialmente completo. Durante la etapa de inferencia, los usuarios interactúan con el modelo, que puede reconocer imágenes o generar imágenes y texto para proporcionar respuestas a las preguntas de los usuarios. El entrenamiento es típicamente una operación sin conexión, mientras que la inferencia generalmente es en línea.

Los conjuntos de datos masivos de IA están creando la necesidad de una mayor potencia informática, un almacenamiento más rápido y redes de alta capacidad y baja latencia. Juniper ayuda a satisfacer estos requisitos de las siguientes maneras:

• Cómputo: los clústeres de cómputo de IA y ML imponen grandes requisitos a la red de interno. Reducir el tiempo de culminación del trabajo (JCT) es esencial y la red juega un papel clave en la operación eficiente del grupo. Juniper ofrece una gama de conmutadores no bloqueantes de alto rendimiento con capacidad de búfer profundo y administración de congestión que, cuando se diseñan de manera óptima, eliminan cualquier demora de la red.
• Almacenamiento: en los clústeres de IA y ML, así como en la computación de alto rendimiento, rara vez se puede almacenar un conjunto o modelo completo de datos en los nodos de cálculo, por lo que se requiere una red de almacenamiento de alto rendimiento. Los conmutadores de la serie QFX de Juniper se pueden usar para la conectividad del almacenamiento de IP. Ofrecen soporte completo para redes de acceso directo de memoria remota (RDMA), incluida la memoria no volátil Express o RDMA sobre Ethernet convergente (NVMe o RoCE) y el sistema de archivos de red (NFS) o RDMA.
• Red: los modelos de entrenamiento de IA implican cálculos grandes e intensos distribuidos en cientos o miles de procesadores de CPU, GPU y TPU. Estos cálculos exigen redes de alta capacidad, escalables horizontalmente y sin errores. Los conmutadores QFX y los enrutadores de la serie PTX de Juniper admiten estas grandes computaciones dentro y entre centros de datos con un rendimiento de datos y conmutación, además de capacidades de interconexión del centro de datos (DCI), líderes en la industria.

Juniper Apstra es la plataforma líder de Juniper para la automatización y garantía del centro de datos. Automatiza todo el ciclo de vida de la red, desde el diseño hasta las operaciones cotidianas, en centros de datos de múltiples proveedores con validación continua, analítica potente e identificación de causa raíz para garantizar la confiabilidad.Con Marvis VNA para centro de datos, esta información se trae desde Apstra a la nube de Juniper Mist y se presenta en un panel de control de VNA común para información de extremo a extremo. Marvis VNA para el centro de datos también ofrece una interfaz de conversación robusta (la cual utiliza la IA generativa [GenAI]) para simplificar drásticamente las consultas a la base de conocimiento.  

Los conmutadores de centro de datos no bloqueantes de alto rendimiento de Juniper ofrecen administración de congestión y búfer profundo para eliminar los cuellos de botella de red. Para equilibrar las cargas de tráfico, admitimos el equilibrio de carga dinámico y el enrutamiento adaptativo. Para la administración de congestión, Juniper admite completamente la notificación de congestión cuantificada del centro de datos (DCQCN), el control de flujo de prioridad (PFC) y la notificación de congestión explícita (ECN). Finalmente, para reducir la latencia, Juniper usa las mejores arquitecturas de chip comercial y ASIC personalizadas que maximizan los búferes cuando se necesitan, las colas de salida virtual (VOQ) y las estructuras basadas en células dentro de nuestras arquitecturas de spine.

Nuestra cartera incluye conmutadores abiertos basados en estándares que ofrecen conectividad de almacenamiento basada en IP mediante NVMe/RoCE o NFS/RDMA (consulte las preguntas frecuentes anteriores). Los diseños de nuestra solución de redes de almacenamiento IP pueden escalar de una configuración pequeña de cuatro nodos a cientos o miles de nodos de almacenamiento.