Una startup enfocada en crear modelos de IA personalizados para grandes empresas ha anunciado el lanzamiento público de Reka Core, un modelo de lenguaje multimodal capaz de procesar entradas de texto, imagen, video y audio.
La empresa de software Reka AI fue fundada en 2022 por investigadores de DeepMind de Google, la gigante tecnológica china Baidu y Meta. Ya ha recaudado 60 millones de dólares de inversores como New York Life Ventures, Radical Ventures, Snowflake Ventures, DST Global y el inversor emprendedor Nat Friedman.
Reka Core es el modelo más grande y capaz de la empresa hasta la fecha. Y Reka AI—basándose en sus propias pruebas—dice que se mantiene a la par de muchos modelos mucho más grandes y con más fondos. En un documento de investigación que agrega los resultados de varios benchmarks sintéticos, Reka afirma que su modelo Core puede competir con herramientas de IA de OpenAI, Anthropic y Google.
Una de las métricas clave es el MMMU, el Benchmark de Comprensión y Razonamiento Multimodal Multidisciplinario Masivo. Es un conjunto de datos diseñado para probar las capacidades de los grandes modelos de lenguaje en la comprensión y el razonamiento multimodal a un nivel comparable al de expertos humanos.
Reka AI dijo en su documento de investigación: “Core es comparable a GPT-4V en MMMU, supera a Claude-3 Opus en nuestra evaluación humana multimodal realizada por un tercero independiente, y supera a Gemini Ultra en tareas de video. En tareas de lenguaje, Core es competitivo con otros modelos de vanguardia en benchmarks bien establecidos”.
Cuando se trata de comprender entradas de video, medido con el benchmark Perception-Test, Core supera a Gemini Ultra, el único otro modelo capaz de procesar video.
En general, Reka Core tiene capacidades multimodales (imagen y video), buenas habilidades de razonamiento, puede generar código y tiene fluidez multilingüe. La interfaz de chat es gratuita, y Reka Core también está disponible a través de una API. Para acceder a la API, los desarrolladores pueden esperar pagar $10 por cada 1 millón de tokens y $25 por la misma cantidad de tokens de salida.
Sin embargo, el modelo tiene dificultades con solicitudes largas. Su versión gratuita maneja solo 4.000 tokens de contexto por razones de eficiencia, con un contexto extendido de hasta 128.000 tokens, según Reka. Los modelos competidores de OpenAI, Anthropic y Google tienen una ventana de contexto estándar de 128.000, con versiones experimentales que manejan hasta 1 millón de tokens.
Reka Core fue entrenado desde cero en miles de GPU durante varios meses. La empresa dijo que utilizaron datos textuales de 32 idiomas, por lo que es fluido en inglés, así como en varios idiomas asiáticos y europeos. Sus desarrolladores también dicen que ingirió algún entrenamiento multilingüe de un conjunto de datos de Wikipedia que contiene 110 idiomas, lo que le da un conocimiento básico limitado de muchos idiomas y dialectos poco comunes.
Reka Core está disponible para pruebas gratuitas, pero no es de código abierto. Reka AI dice que está trabajando con muchas plataformas tecnológicas líderes a nivel mundial y organizaciones gubernamentales como Snowflake, Oracle y AI Singapore.
Probando Reka
Decrypt puso a prueba Reka Core, a través de su interfaz de chat público. Luce bastante similar a la de ChatGPT, usando un modo oscuro con detalles en azul y púrpura.
Capacidades visuales
Las capacidades visuales de Reka Core son impresionantes, pero es importante tener en cuenta que no puede generar imágenes como ChatGPT Plus, Meta AI o Google Gemini.
Sin embargo, las capacidades de visión de Reka son rápidas y precisas, convirtiéndolo en una gran herramienta para tareas que requieren análisis visual.
En nuestras pruebas, Reka fue más rápido que GPT-4 y proporcionó resultados precisos, tanto cuando se le pidió que describiera algo, como cuando usó información visual de manera contextual para responder a una tarea. Por ejemplo, le mostramos a Reka una foto de la Torre Eiffel y le preguntamos qué podríamos hacer para disfrutar de un fin de semana en esa ciudad. Reka entendió el contexto y nos dio un itinerario con lugares para visitar en París, sin incluir la Torre Eiffel.
Reka AI parece ser muy consciente de lo bien que las capacidades visuales de su modelo se comparan con la competencia. Construyeron una vitrina especial de ejemplos de diferentes salidas proporcionadas por Reka, GPT-4 y Claude 3 Opus.
Reka escribe código
Reka Core es un asistente de codificación capaz, pero tiene algunas limitaciones. En las pruebas de Decrypt, Reka requirió una redacción cuidadosa antes de que pudiera proporcionar resultados precisos, ya que toma todo de manera muy literal. Esto puede ser un desafío para los usuarios novatos que no saben cómo explicar las cosas de una manera que Reka pueda entender.
Una vez que las indicaciones están bien redactadas, Reka puede generar buen código y resultados satisfactorios.
Decrypt pidió al modelo que creara el código para un juego que no existe. El primer resultado no funcionó, aunque en realidad escribió exactamente lo que le pedimos. Cuando fuimos más explícitos y reformulamos nuestra indicación, creó código funcional pero imperfecto en su primer intento, con mejores resultados que los proporcionados por Claude 3 Opus.
Reka tiene fuertes configuraciones de seguridad
Reka Core tiene controles de seguridad incorporados y se niega a generar resultados que se consideren dañinos o poco éticos, incluso si son legales. Por ejemplo, se negó a proporcionar consejos para seducir a la pareja romántica de un amigo.
En nuestras pruebas, Reka resistió técnicas básicas de jailbreak y fue más neutral que otros modelos como GPT-4, Llama-3 y Claude. Cuando se le preguntó sobre temas controvertidos como la identidad de género e ideologías políticas, Reka proporcionó respuestas equilibradas e imparciales.
Reka intenta la escritura creativa
Las capacidades de escritura creativa de Reka Core son sólidas, pero nada excepcional.
Le pedimos al modelo que creara una historia sobre una persona que viajó desde el año 2160 hasta el año 1000 para solucionar un problema, causando inadvertidamente una paradoja temporal.
El estilo narrativo de Reka es claro y atractivo, con algunos buenos detalles descriptivos aquí y allá. Sin embargo, la prosa no alcanza las alturas imaginativas de otras IAs como Claude. La trama también se siente un poco incompleta y tiene un aire de ser hecha por una IA.
Como se mencionó anteriormente, un punto débil de Reka es su falta de capacidades contextuales, lo que podría dificultar la generación de historias largas o mantener una narrativa coherente a través de diferentes capítulos.
En este campo, el claro ganador es Claude. En términos de pura habilidad narrativa, la capacidad de crear una historia cautivadora, emocionalmente resonante con una hermosa prosa y una voz narrativa segura, Claude supera a los demás. En términos generales, la prosa de Claude tiene una maravillosa calidad literaria.
Conocimiento y razonamiento
Las capacidades de conocimiento y razonamiento de Reka Core son realmente buenas. En las pruebas de Decrypt, Reka pudo manejar preguntas complejas que requerían análisis y demostró algunas capacidades matemáticas. Además, Reka pudo explicar su razonamiento lógico de manera clara y concisa.
También es bueno en preguntas de seguimiento, iterando sobre el mismo problema sin perder el contexto, siempre y cuando las preguntas de seguimiento no hagan que el modelo sobrepase sus límites técnicos. Si eso sucede, se vuelve imposible continuar interactuando con él.
Reka también publicó un video explicando cómo los usuarios podrían desplegar agentes de IA utilizando su API, lo que podría expandir aún más sus capacidades, haciéndolo más poderoso en este aspecto.
Comprensión del lenguaje
Las capacidades de comprensión del lenguaje de Reka Core son excelentes. En nuestras pruebas, Reka pudo entender texto incluso si contenía muchos errores. También fue un hábil corrector de pruebas, capaz de adoptar diferentes estilos y tonos en una narrativa.
El modelo también comprende los matices de diferentes idiomas. Pudo tanto traducir como extraer el contexto para entender completamente el mensaje de una traducción. Entendió un dicho común en español, nos dio el equivalente cultural adaptado correctamente y explicó su significado.
Conclusión
Decrypt quedó bastante impresionado con Reka Core.
Reka es mejor que Google Gemini en términos de salidas y trabajo en general, pero Gemini ofrece 2TB de almacenamiento e integración con la suite de productos de Google, una gran ventaja para algunos usuarios.
Si las capacidades visuales son una prioridad, Reka definitivamente vale la pena considerarlo. Como es gratuito y rápido, puede ganarse el corazón de muchos entusiastas de la IA ansiosos por explorar lo último antes que las masas.
Si necesita enfocarse en la escritura creativa, Claude sigue siendo el claro ganador. Si eso no es una prioridad, no hay mucha diferencia entre Claude y Reka. Claude es el mejor por sus capacidades de contexto largo, y Reka es el mejor por sus excepcionales capacidades visuales.
En términos generales, si las personas necesitan un chatbot avanzado con un amplio alcance de capacidades, Reka es una gran alternativa para ahorrar dinero para los usuarios que de otro modo considerarían una suscripción mensual a un servicio de pago.
