Presentando a Devin, el primer ingeniero de software IA
Y estableciendo un nuevo estándar en el benchmark de codificación SWE-bench
Conoce a Devin, el primer ingeniero de software IA totalmente autónomo del mundo.
Devin es un incansable y hábil compañero de equipo, igualmente listo para construir junto a ti o completar tareas de forma independiente para que las revises.
Con Devin, los ingenieros pueden concentrarse en problemas más interesantes y los equipos de ingeniería pueden aspirar a metas más ambiciosas.
Capacidades de Devin
Con nuestros avances en razonamiento y planificación a largo plazo, Devin puede planificar y ejecutar tareas de ingeniería complejas que requieren miles de decisiones. Devin puede recordar el contexto relevante en cada paso, aprender con el tiempo y corregir errores.
También hemos dotado a Devin con herramientas comunes para desarrolladores, incluyendo el shell, editor de código y navegador dentro de un entorno de computación sandbox (aislado), todo lo que un humano necesitaría para hacer su trabajo.
Finalmente, hemos dado a Devin la capacidad de colaborar activamente con el usuario. Devin informa sobre su progreso en tiempo real, acepta retroalimentación y trabaja contigo en las elecciones de diseño según sea necesario.
Aquí hay un ejemplo de lo que Devin puede hacer:
Devin puede aprender a usar tecnologías desconocidas.
Después de leer un artículo en un blog, Devin ejecuta ControlNet en Modal para producir imágenes con mensajes ocultos para Sara.
Devin puede construir y desplegar aplicaciones de principio a fin.
¡Devin crea un sitio web interactivo que simula el Juego de la Vida! Agrega características solicitadas por el usuario de manera incremental y luego despliega la aplicación en Netlify.
Devin puede encontrar y corregir errores en bases de código de forma autónoma.
Devin ayuda a Andrew a mantener y depurar su libro de programación competitiva de código abierto.
Devin puede entrenar y ajustar sus propios modelos de IA.
Devin configura el ajuste fino para un gran modelo de lenguaje dada solo una enlace a un repositorio de investigación en GitHub.
Devin puede abordar errores y solicitudes de funciones en repositorios de código abierto. Dado solo un enlace a un problema en GitHub, Devin realiza toda la configuración y recopilación de contexto que se necesita.
Devin puede contribuir a repositorios de producción maduras.
Este ejemplo es parte del benchmark SWE-bench. Devin resuelve un error con cálculos de logaritmo en el sistema de álgebra Python sympy. Devin configura el entorno de código, reproduce el error, y codifica y prueba la solución por sí mismo.
¡Incluso intentamos darle a Devin trabajos reales en Upwork y también pudo hacerlos!
Aquí, Devin escribe y depura código para ejecutar un modelo de visión por computadora. Devin muestra los datos resultantes y compila un informe al final.
Desempeño de Devin
Evaluamos a Devin en SWE-bench, un benchmark desafiante que pide a los agentes resolver problemas reales de GitHub encontrados en proyectos de código abierto como Django y scikit-learn.
Devin resuelve correctamente el 13.86%* de los problemas de principio a fin, superando ampliamente el estado del arte anterior del 1.96%. Incluso cuando se les dan los archivos exactos para editar, los mejores modelos anteriores solo pueden resolver el 4.80% de los problemas.
Planeamos publicar un informe técnico más detallado pronto, manténganse atentos para más detalles.
Acerca de Cognition
Somos un laboratorio de IA aplicada centrado en el razonamiento.
Estamos construyendo compañeros de equipo de IA con capacidades mucho más allá de las herramientas de IA existentes hoy en día. Al resolver el razonamiento, podemos desbloquear nuevas posibilidades en una amplia gama de disciplinas; el código es solo el comienzo. Queremos ayudar a personas de todo el mundo a convertir sus ideas en realidad.
Estamos bien financiados, incluyendo una Serie A de $21 millones liderada por Founders Fund. Y estamos agradecidos por el apoyo de líderes de la industria, incluidos Patrick y John Collison, Elad Gil, Sarah Guo, Chris Re, Eric Glyman, Karim Atiyeh, Erik Bernhardsson, Tony Xu, Fred Ehrsam y muchos más.
Contrata a Devin
Devin actualmente está en acceso anticipado mientras aumentamos la capacidad. Para comenzar a usar a Devin para trabajos de ingeniería, comunícate aquí o ponte en contacto en [email protected].
Únete a nosotros
Nuestro equipo es pequeño y denso en talento. Nuestro equipo fundador tiene 10 medallas de oro IOI e incluye líderes y constructores que han trabajado en la vanguardia de la IA aplicada en empresas como Cursor, Scale AI, Lunchclub, Modal, Google DeepMind, Waymo y Nuro.
Construir a Devin es solo el primer paso; nuestros desafíos más difíciles aún están por delante. Si estás emocionado de resolver algunos de los problemas más grandes del mundo y construir IA que pueda razonar, obtén más información sobre nuestro equipo y postúlate para unirte a nosotros aquí.
