Uno de los grandes problemas que tenemos en el campo de la inteligencia artificial radica principalmente en el tiempo que se tiene que invertir para poder generar un texto tras introducir un prompt. El tiempo de respuesta ahora mismo es uno de los eslabones que se quiere superar para tener una generación prácticamente inmediata. Algo que con las GPU y CPU clásicas que conocemos no se termina de conseguir.
Es aquí donde entra en juego Groq, que no se debe confundir con Grok que es la iA presentada por Elon Musk para X. Groq es un proyecto que arrancó en 2016 de la mano de Jonathon Ross y que no tiene como misión competir con GPT-4 o cualquier LLMs. Ni tampoco con ChatGPT o Gemini. Su objetivo va mucho más allá para resolver uno de los problemas que tenía la industria.
Groq, una forma de tener conversaciones fluidas con la IA
El objetivo primordial de Groq es la de producir chips específicos para inteligencia artificial que se han llamado Language Processing Units (LPUs) y que ofrecen una generación de texto ultra rápida. Esto deja en un segundo lugar a otras opciones como los chips dedicados de grandes empresas como NVIDIA.
Tal y como ha ido relatando su creado, Groq permite tener conversaciones naturales, como si se tratara de un ser humano. Esto se consigue gracias a la velocidad de vértigo que ofrece este chip y que nos permite no tener que estar esperando varios segundos a que se genere la respuesta. Esto puede recordarnos a que estamos ante una IA, y la verdad es que como humanos tenemos poca paciencia al vivir en la etapa de la inmediatez.
Y esta rapidez es algo que vas a poder comprobar en la demo de Groq tras introducir algún prompt, e incluso compararlo con GPT 3.5 como han hecho los compañeros de Xataka con dos ventanas abiertas de manera simultánea.
Pero en esta gran velocidad no quedan las ventajas. A esto se suma también que es mucho más económico de usar. Esto hace que las GPUs queden en un muy mal lugar cuando hablan de inteligencia artificial.
Sin duda al probarlo me ha dejado particularmente con la boca por la velocidad de procesado de un texto que tiene un tamaño considerable. Ahora mismo hay dos modelos que se pueden probar en esta demo que son: Llama 2 70B o Mixtral 8x7B-32K. Ambos ofrecen una velocidad de carga increíble, más allá de las puntualizaciones dentro de los textos que se generan, que ya depende del propio modelo y no del hardware.
Lo que está claro es que esta tecnología va a tener que llamar la atención a empresas como OpenAI que ahora mismo claramente están por detrás en velocidad, quedando mucho camino por recorrer para llegar a estos niveles que como hemos visto son posibles.
Pero… ¿cómo logra esta compañía hacer unos chips tan rápidos? Su propia CEO explicaba el secreto en una entrevista a CNN:
“La mayoría de los chips de IA no tienen demasiada memoria disponible. Es como cuando fabricas coches: necesitas grandes fábricas y un millón de pies cuadrados en líneas de ensamblaje. Si no tienes ese tipo de edificio, necesitas dividir las líneas de ensamblaje una y otra vez para que ocupen menos. Eso es lento y lleva mucho tiempo, y eso es lo que pasa con la GPU: tienes que leer de la memoria miles de veces por cada palabra que se genera, como si tuvieras que configurar la línea de ensamblaje una y otra vez [para sacar la pieza necesaria del coche]”.
Obviamente, como ocurre en cualquier compañía, los secretos industriales tienen que estar bien guardados para evitar que la competencia se termine fijando en ellos. Pero a rasgos generales explican que han conseguido con sus chips superar el cuello de botella de las LMM para poder acelerar al máximo todas las IA. Esto es algo que ya se vio en diferentes estudios de 2020.
Aunque no vamos a poder comprarlos de manera independiente como usuarios para instalarlos. Serán las empresas las que se puedan ver beneficiadas de estas características.
