Red Hat, Inc., el proveedor líder mundial de soluciones open source, anunció hoy que ha firmado un acuerdo definitivo para adquirir Neural Magic, una empresa pionera en software y algoritmos que aceleran las cargas de trabajo de inferencia de la IA generativa (gen AI). La experiencia de Neural Magic en ingeniería de rendimiento de inferencia y el compromiso con el código abierto se identifican con la visión de Red Hat de lograr cargas de trabajo de IA de alto rendimiento que se correspondan directamente con casos de uso y datos específicos del cliente en cualquier lugar de la nube híbrida.
Si bien la promesa de la IA generativa domina gran parte del
panorama tecnológico actual, el volumen de los modelos de lenguaje de gran
tamaño (LLM) que sustentan estos sistemas sigue en aumento. Como resultado,
crear servicios de LLM rentables y confiables requiere una gran potencia
informática, recursos energéticos y habilidades operativas especializadas. Para
la mayoría de las empresas, estos problemas hacen que los beneficios de una IA
personalizada, con mayor enfoque en la seguridad y lista para implementar,
queden efectivamente fuera de su alcance.
El objetivo de Red Hat es abordar estos problemas y hacer que la
IA generativa sea más accesible para más organizaciones a través de la
innovación abierta de vLLM, desarrollada por UC Berkeley. vLLM es un proyecto
open source impulsado por la comunidad para el servicio de modelos abiertos (la
forma en que los modelos de IA generativa infieren y resuelven problemas), que
admite todas las familias de modelos clave, la investigación avanzada de
aceleración de inferencia y distintos back-ends de hardware, que incluyen GPU
de AMD, AWS Neuron, TPU de Google, Intel Gaudi, GPU de NVIDIA y CPU x86. El liderazgo de Neural Magic en el proyecto
vLLM combinado con el sólido portfolio de tecnologías de IA en la nube híbrida
de Red Hat ofrecerá a las organizaciones una opción abierta para desarrollar
estrategias de IA que satisfagan sus necesidades particulares, donde sea que se
encuentren sus datos.
Red Hat + Neural Magic: el futuro de la IA
generativa lista para la nube híbrida
Neural Magic surgió del MIT en 2018 con el objetivo de crear
software de inferencia de alto rendimiento para el deep learning o aprendizaje profundo. Con la tecnología y la
experiencia en ingeniería de rendimiento de Neural Magic, Red Hat pretende
acelerar su visión del futuro de la IA, impulsada por el portfolio de
tecnologías de Red Hat AI. Red Hat aprovecha la innovación open source,
diseñada para superar los desafíos de la IA empresarial a gran escala, para
democratizar aún más el acceso al poder transformador de la IA a través de:
●
modelos con licencia open source, desde la escala de parámetros
1 B hasta 405 B, que se pueden ejecutar en cualquier lugar de la nube híbrida:
en centros de datos de las empresas, en múltiples nubes y en el edge;
●
capacidades de ajuste fino que permiten a las organizaciones
personalizar más fácilmente los LLM según sus datos privados y casos de uso con
una postura de seguridad más firme;
●
experiencia en ingeniería de rendimiento de inferencia, que da
como resultado una mayor eficiencia operativa y de infraestructura; y
●
un partner, un ecosistema open source y estructuras de soporte
que brindan al cliente mayor libertad de elección, desde LLM y herramientas
hasta hardware de servidor certificado y arquitecturas de chips subyacentes.
Liderazgo en vLLM para optimizar Red Hat AI
Neural Magic aprovecha su experiencia y sus conocimientos de
vLLM para crear una pila de inferencia de nivel empresarial que permite a los
clientes optimizar, implementar y escalar cargas de trabajo de LLM en entornos
de nube híbrida con pleno control sobre la elección de la infraestructura, las
políticas de seguridad y el ciclo de vida del modelo. Neural Magic también se
dedica a la investigación de optimización de modelos, crea LLM Compressor (una
biblioteca unificada para optimizar LLM mediante algoritmos de cuantificación y
dispersión de vanguardia) y mantiene un repositorio de modelos preoptimizados
listos para implementar con vLLM.
Red Hat AI tiene como objetivo ayudar a que los clientes
reduzcan los costos de IA y el déficit de habilidades mediante tecnologías
poderosas, que incluyen:
●
Red Hat Enterprise Linux AI
(RHEL AI), una plataforma de modelos base para desarrollar, probar y
ejecutar de manera más fluida la familia de LLM Granite de IBM con licencia
open source para aplicaciones empresariales en implementaciones de servidores
Linux;
●
Red Hat OpenShift AI, una plataforma de IA que
proporciona herramientas para desarrollar, entrenar, entregar y monitorear
modelos de aprendizaje automático con rapidez en entornos distribuidos de
Kubernetes en las instalaciones, en la nube pública o en el edge; e
●
InstructLab, un proyecto accesible de
la comunidad de IA de código abierto creado por Red Hat e IBM, que permite a
cualquier persona definir el futuro de la IA generativa a través de la mejora
colaborativa de los LLM Granite con licencia de código abierto mediante el uso
de la tecnología de ajuste fino de InstructLab.
El liderazgo tecnológico de Neural Magic en vLLM potenciará la
capacidad de Red Hat AI de admitir implementaciones de LLM en cualquier
lugar de la nube híbrida con una pila de inferencia abierta, altamente
optimizada y lista para usar.
La operación está sujeta a las revisiones normativas aplicables
y a otras condiciones de cierre habituales.