Jan Leike, un destacado investigador de Inteligencia Artificial que a principios de este mes renunció a OpenAI antes de criticar públicamente el enfoque de la empresa en seguridad de IA, se ha unido a la rival de OpenAI, Anthropic, para liderar un nuevo equipo de “súper-alineación”.
En una publicación en X, Leike dijo que su equipo en Anthropic se enfocará en varios aspectos de la seguridad y protección de la IA, específicamente “supervisión escalable”, “generalización de débil a fuerte” e investigación de alineación automatizada.
Una fuente familiarizada con el asunto le dice a TechCrunch que Leike reportará directamente a Jared Kaplan, el jefe de ciencias de Anthropic, y que los investigadores de Anthropic que actualmente trabajan en supervisión escalable (técnicas para controlar el comportamiento de la IA a gran escala de formas predecibles y deseables) pasarán a reportar a Leike a medida que se forme el equipo de Leike.
En muchos sentidos, la misión del equipo de Leike parece similar a la del equipo de Súper-alineación recientemente disuelto de OpenAI. El equipo de Súper-alineación, que Leike co-lideró, tenía el ambicioso objetivo de resolver los desafíos técnicos centrales para controlar la superinteligencia artificial en los próximos cuatro años, pero a menudo se vio obstaculizado por el liderazgo de OpenAI.
Anthropic a menudo ha intentado posicionarse como más enfocada en seguridad que OpenAI.
El CEO de Anthropic, Dario Amodei, fue una vez el Vicepresidente de Investigación en OpenAI y supuestamente se separó de OpenAI después de un desacuerdo sobre la dirección de la empresa, específicamente el creciente enfoque comercial de OpenAI. Amodei trajo consigo a varios ex empleados de OpenAI para lanzar Anthropic, incluyendo al ex jefe de políticas de OpenAI, Jack Clark.
