Meta ha anunciado la última incorporación a su familia de modelos generativos de inteligencia artificial: Llama 3.3 70B.
En una publicación en X, Ahmad Al-Dahle, vicepresidente de inteligencia artificial generativa en Meta, afirmó que Llama 3.3 70B, diseñado solo para texto, ofrece el rendimiento del modelo más grande de la compañía, Llama 3.1 405B, pero a un costo menor.
“Al aprovechar los últimos avances en técnicas de posentrenamiento, este modelo mejora su rendimiento central a un costo significativamente más bajo”, escribió Al-Dahle.
Al-Dahle compartió un gráfico que muestra cómo Llama 3.3 70B supera a modelos como Gemini 1.5 Pro de Google, GPT-4o de OpenAI y Nova Pro de Amazon en varios indicadores de la industria, incluyendo MMLU, que evalúa la capacidad de un modelo para entender el lenguaje. Según un portavoz de Meta, el modelo debería mostrar mejoras en áreas como matemáticas, conocimientos generales, seguimiento de instrucciones y uso de aplicaciones.
Introducing Llama 3.3 – a new 70B model that delivers the performance of our 405B model but is easier & more cost-efficient to run. By leveraging the latest advancements in post-training techniques including online preference optimization, this model improves core performance at… pic.twitter.com/6oQ7b3Yuzc
— Ahmad Al-Dahle (@Ahmad_Al_Dahle) December 6, 2024
Llama 3.3 70B, disponible para descarga en la plataforma de desarrollo Hugging Face y en otras fuentes, incluido el sitio oficial de Llama, es el último intento de Meta por liderar el campo de la IA con modelos “abiertos” que pueden ser utilizados y comercializados para diversas aplicaciones.
Aunque los términos de Meta limitan cómo ciertos desarrolladores pueden usar los modelos Llama (las plataformas con más de 700 millones de usuarios mensuales deben solicitar una licencia especial), para muchos esto es irrelevante. De hecho, los modelos Llama han acumulado más de 650 millones de descargas, según Meta.
Meta también utiliza Llama internamente. Meta AI, el asistente de inteligencia artificial de la compañía impulsado completamente por modelos Llama, cuenta ahora con casi 600 millones de usuarios activos mensuales, según el CEO de Meta, Mark Zuckerberg. Zuckerberg asegura que Meta AI está en camino de convertirse en el asistente de IA más utilizado del mundo.
Para Meta, la naturaleza abierta de Llama ha sido tanto una ventaja como un desafío. En noviembre, un informe alegó que investigadores militares chinos habían utilizado un modelo Llama para desarrollar un chatbot de defensa. En respuesta, Meta puso sus modelos Llama a disposición de contratistas de defensa estadounidenses.
Meta también ha expresado preocupaciones sobre su capacidad para cumplir con la Ley de IA de la UE, que establece un marco regulatorio para la inteligencia artificial, calificando la implementación de la ley como “demasiado impredecible” para su estrategia de lanzamiento abierto. Un problema relacionado son las disposiciones del GDPR, la ley de privacidad de la UE, sobre el entrenamiento de IA. Meta entrena sus modelos con datos públicos de usuarios de Instagram y Facebook que no se han dado de baja, datos que en Europa están protegidos por el GDPR.
A principios de este año, los reguladores de la UE pidieron a Meta que detuviera el entrenamiento con datos de usuarios europeos mientras evaluaban su cumplimiento con el GDPR. Meta accedió, pero al mismo tiempo respaldó una carta abierta que pedía una “interpretación moderna” del GDPR que no “rechace el progreso”.
Meta, enfrentando desafíos técnicos similares a los de otros laboratorios de IA, está ampliando su infraestructura informática para entrenar y ejecutar futuras generaciones de Llama. El miércoles, la compañía anunció la construcción de un centro de datos de IA de $10 mil millones en Luisiana, el más grande que ha desarrollado hasta la fecha.
En la llamada de resultados del cuarto trimestre de agosto, Zuckerberg mencionó que para entrenar la próxima generación de modelos Llama, Llama 4, Meta necesitará 10 veces más capacidad de cómputo que la requerida para Llama 3. La compañía ha adquirido un clúster de más de 100,000 GPUs de Nvidia para el desarrollo de modelos, rivalizando con recursos de competidores como xAI.
El entrenamiento de modelos generativos de IA es un negocio costoso. Los gastos de capital de Meta aumentaron casi un 33%, alcanzando $8.5 mil millones en el segundo trimestre de 2024, frente a $6.4 mil millones del año anterior, impulsados por inversiones en servidores, centros de datos e infraestructura de red.
Vía | Meta revoluciona la IA: Conoce el nuevo Llama 3.3 70B – Tecnología con Juancho
