Red Hat ofrece innovación en IA generativa accesible y de código abierto con Red Hat Enterprise Linux AI
Red Hat, Inc., el proveedor líder mundial de soluciones open source, anunció hoy el lanzamiento de Red Hat Enterprise Linux AI (RHEL AI), una plataforma de modelos fundacionales que permite a los usuarios desarrollar, probar e implementar modelos de IA generativa (GenAI) de manera más integrada. RHEL AI combina la familia de modelos de lenguaje de gran tamaño (LLM) Granite con licencia open source de IBM Research, las herramientas de alineación de modelos InstructLab basadas en la metodología LAB (Large-scale Alignment for chatBots) y un enfoque para el desarrollo de modelos impulsado por la comunidad a través del proyecto InstructLab. La solución completa se ofrece empaquetada como una imagen de RHEL de inicio optimizada para implementaciones de servidores individuales en toda la nube híbrida y también como parte de OpenShift AI, la plataforma híbrida de operaciones de aprendizaje automático (MLOps) de Red Hat, para ejecutar modelos e InstructLab a escala en entornos de clústeres distribuidos.
El lanzamiento de ChatGPT despertó un gran interés por la GenAI y, desde entonces, el ritmo de la innovación no ha dejado de cobrar impulso. Las empresas ya han trascendido las primeras evaluaciones de los servicios de la GenAI para crear aplicaciones basadas en IA. El rápido crecimiento del ecosistema de opciones de modelos abiertos ha estimulado una mayor innovación en IA y ha demostrado que no habrá "un modelo que rija a todos". Los clientes se beneficiarán al contar con una amplio abanico de opciones que atiendan necesidades específicas, las cuales se verán aceleradas por un enfoque abierto de la innovación.
La implementación de una estrategia de IA exige algo más que la simple elección de un modelo. Además de solventar los grandes costos de implementar la IA, las empresas tecnológicas requieren de conocimientos especializados para adaptar un modelo determinado a un caso de uso específico. Al déficit de habilidades en ciencia de datos se le suman importantes requisitos financieros, entre ellos:
● La adquisición de infraestructura de IA o el consumo de servicios de IA
● El complejo proceso de adaptar los modelos de IA a necesidades empresariales específicas
● La integración de la IA en las aplicaciones empresariales
● La gestión del ciclo de vida tanto de las aplicaciones como de los modelos.
Para reducir eficazmente las barreras de acceso a la innovación con IA, las empresas necesitan poder ampliar la lista de personas capaces de trabajar en iniciativas de IA y, al mismo tiempo, controlar los costos. En un esfuerzo por eliminar estos obstáculos, Red Hat pretende extender los beneficios de los verdaderos proyectos open source (de libre acceso y reutilizables, totalmente transparentes y abiertos a colaboraciones) a la GenAI gracias a las herramientas de alineación InstructLab, los modelos Granite y RHEL AI.
Crear IA de manera abierta con InstructLab
IBM Research creó la técnica Large-scale Alignment for chatBots (LAB), un método de alineación de modelos que utiliza la generación de datos sintéticos guiada por taxonomía y un novedoso sistema de ajuste de múltiples etapas. Al reducir la dependencia de costosas anotaciones humanas y modelos patentados, este enfoque hace que el desarrollo de modelos de IA sea más abierto y accesible para todos los usuarios. Con el método LAB, los modelos se pueden mejorar al especificar las habilidades y los conocimientos vinculados a una taxonomía. Esto genera datos sintéticos a partir de esa información a escala que influyen en el modelo y utiliza los datos generados para el entrenamiento de modelos.
Luego de comprobar que el método LAB podía ayudar a mejorar el rendimiento de los modelos de forma significativa, IBM y Red Hat decidieron lanzar InstructLab, una comunidad de código abierto creada en torno al método LAB y a los modelos de código abierto IBM Granite. El proyecto InstructLab pretende poner el desarrollo de LLM en manos de los desarrolladores al hacer que la creación y la contribución a un LLM sean tan sencillas como la contribución a cualquier otro proyecto de código abierto.
Como parte del lanzamiento de InstructLab, IBM también ha hecho pública una familia de modelos de lenguaje y código Granite en inglés. Estos modelos se publican con licencia Apache con total transparencia respecto de los conjuntos de datos utilizados para entrenarlos. El modelo de lenguaje Granite 7B en inglés se ha integrado a la comunidad InstructLab, en la que los usuarios finales pueden aportar sus habilidades y sus conocimientos para mejorar este modelo entre todos del mismo modo que lo harían al contribuir a cualquier otro proyecto de código abierto. Próximamente, habrá disponible un soporte similar para los modelos de código Granite dentro de InstructLab.
Innovación en IA de código abierto sobre un eje estructural de Linux de confianza
RHEL AI se funda en este enfoque abierto de la innovación en IA e incorpora una versión del proyecto InstructLab y modelos de lenguaje y código Granite para la empresa combinados con la plataforma Linux empresarial líder del mundo con el objeto de simplificar las implementaciones en infraestructuras híbridas. Esto genera una plataforma de modelos fundacionales que pretende llevar los modelos de GenAI con licencia de código abierto a la empresa. RHEL AI incluye:
● Modelos de lenguaje y código Granite con licencia de código abierto con protección y soporte plenos de Red Hat.
● Una distribución de InstructLab con soporte y ciclo de vida, que ofrece una solución escalable y rentable para incrementar las capacidades de LLM y hacer que el aporte de conocimientos y habilidades sea accesible a muchos más usuarios.
● Instancias de tiempo de ejecución de modelos de inicio optimizadas por medio de modelos Granite y paquetes de herramientas de InstructLab como imágenes RHEL de inicio a través del modo de imágenes de RHEL, que incluyen Pytorch y las bibliotecas de tiempo de ejecución y los aceleradores de hardware necesarios para AMD Instinct™ MI300X, Intel y NVIDIA GPUs, y NeMo
● La promesa de soporte empresarial y ciclo de vida completos de Red Hat, que comienza con una distribución de productos empresariales de confianza, con soporte de producción 24x7, soporte de ciclo de vida extendido de los modelos y protección de la propiedad intelectual de los modelos.
A medida que las empresas experimenten y ajusten nuevos modelos de IA en RHEL AI, dispondrán de una vía de acceso lista para escalar estos flujos de trabajo con Red Hat OpenShift AI, la cual incluirá RHEL AI y en la cual podrán aprovechar OpenShift Kubernetes Engine para entrenar y servir modelos de IA a escala, así como las capacidades de MLOps integradas de OpenShift AI para gestionar el ciclo de vida de los modelos. Watsonx.ai entreprise studio de IBM, que hoy se basa en Red Hat OpenShift AI, se beneficiará de la inclusión de RHEL AI en OpenShift AI cuando esté disponible, brindando capacidades adicionales para el desarrollo de AI empresarial, gestión de datos, gobernanza de modelos y mejor desempeño de precios.
La nube es híbrida. La IA, también.
Durante más de 30 años, las tecnologías de código abierto han acompañado la rápida innovación con menores costos de TI y menos obstáculos para la innovación. Red Hat ha encabezado esta iniciativa durante casi el mismo tiempo, desde proveer plataformas Linux abiertas para la empresa con RHEL a principios de la década de 2000, hasta fomentar el uso de contenedores y Kubernetes como base de la nube híbrida abierta y la computación nativa de la nube con Red Hat OpenShift.
Este impulso continúa con el trabajo que hace Red Hat potenciando las estrategias de IA/ML en toda la nube híbrida abierta, permitiendo que las cargas de trabajo de IA se ejecuten donde estén los datos, ya sea en el centro de datos, en múltiples nubes públicas o en el edge. Más allá de las cargas de trabajo, la visión de Red Hat en relación con la IA es que el entrenamiento y el ajuste de modelos sigan este mismo rumbo para poder resolver mejor las limitaciones en torno a la soberanía de los datos, el cumplimiento y la integridad de las operaciones. La uniformidad que ofrecen las plataformas de Red Hat en estos entornos, independientemente de dónde se ejecuten, es fundamental para que la innovación en IA continúe fluyendo.
RHEL AI y la comunidad de InstructLab contribuyen a materializar esta visión al eliminar muchos de los obstáculos que impiden experimentar y crear modelos de IA y, a la vez, al proporcionar las herramientas, los datos y los conceptos necesarios para impulsar la próxima ola de cargas de trabajo inteligentes.
Disponibilidad
Red Hat Enterprise Linux AI ahora está disponible como vista previa para desarrolladores. Sobre la base de la infraestructura de GPU disponible en IBM Cloud, que se utiliza para entrenar los modelos Granite y admitir InstructLab, IBM Cloud ahora agregará soporte para RHEL AI y OpenShift AI. Esta integración permitirá a las empresas implementar IA generativa más fácilmente en sus aplicaciones de misión crítica.