Comprender e interactuar con el mundo físico —una capacidad crucial para realizar tareas cotidianas— es algo natural para los humanos, pero representa un desafío para los sistemas de IA actuales. Nuestro equipo de Investigación Fundamental en IA (FAIR) está trabajando junto con la comunidad de robótica para desarrollar agentes de IA que puedan percibir e interactuar con su entorno, así como coexistir de manera segura con los humanos, brindando asistencia tanto en el ámbito físico como virtual. Creemos que este es un paso crítico en el camino hacia la inteligencia artificial avanzada (IAA).
Hoy estamos publicando varios nuevos desarrollos de investigación que mejoran la percepción táctil, la destreza robótica y la interacción humano-robot. El tacto es la primera y más importante modalidad para que los humanos interactúen físicamente con el mundo. Para permitir que la IA perciba lo que es inaccesible a través de la visión, estamos lanzando Meta Sparsh, la primera representación táctil de uso general que funciona con múltiples sensores y tareas; Meta Digit 360, una revolucionaria yema del dedo táctil con capacidades de detección multimodal a nivel humano; y Meta Digit Plexus, una plataforma estandarizada de hardware y software para integrar varios sensores táctiles de yemas de dedos y piel en una sola mano robótica. Creemos que estos avances tienen el potencial de impactar positivamente en campos como la salud y la manufactura al permitir que las máquinas realicen tareas complejas que requieren destreza.
También nos estamos asociando con líderes de la industria como GelSight Inc y Wonik Robotics para desarrollar y comercializar estas innovaciones en detección táctil. GelSight Inc fabricará y distribuirá Digit 360, que estará disponible para su compra el próximo año, y los miembros de la comunidad investigadora pueden aplicar a través de la convocatoria de propuestas de Digit 360 para obtener acceso anticipado. Nuestra asociación con Wonik Robotics está orientada a crear una nueva mano robótica avanzada con destreza, totalmente integrada con detección táctil aprovechando Meta Digit Plexus. Wonik Robotics fabricará y distribuirá la próxima generación de la Mano Allegro, cuyo lanzamiento está previsto para el próximo año. Los investigadores pueden llenar un formulario de interés para mantenerse actualizados sobre este lanzamiento.
Para que los robots sean verdaderamente útiles, deben ir más allá de las tareas físicas y razonar sobre las interacciones sociales. Por eso estamos introduciendo el punto de referencia PARTNR, un marco estandarizado para evaluar la planificación y el razonamiento en la colaboración humano-robot. PARTNR permite evaluaciones reproducibles a gran escala de modelos incorporados, como planificadores basados en LLM, a través de diversos escenarios colaborativos, incorporando restricciones del mundo físico como tiempo y espacio. Con PARTNR, buscamos impulsar avances en la interacción humano-robot y la inteligencia colaborativa, transformando los modelos de IA de “agentes” a “socios”.
Meta Sparsh: Un nuevo enfoque para explorar la inteligencia física
Estamos lanzando públicamente Sparsh, el primer codificador de uso general para detección táctil basada en visión. El nombre Sparsh, derivado de la palabra sánscrita para experiencia sensorial de tacto o contacto, describe apropiadamente cómo las señales táctiles digitalizadas pueden ser procesadas por modelos de IA para permitir la percepción táctil.
Los sensores táctiles basados en visión vienen en varias formas, difiriendo en aspectos como forma, iluminación y marcas de gel. Los enfoques existentes dependen de modelos diseñados específicamente para tareas y sensores específicos. Esto es difícil de escalar ya que los datos reales con etiquetas, como fuerzas y deslizamiento, pueden ser prohibitivos de recolectar. En contraste, Sparsh funciona con muchos tipos de sensores táctiles basados en visión a través de muchas tareas aprovechando los avances en aprendizaje autosupervisado (SSL), evitando la necesidad de etiquetas. Es una familia de modelos pre-entrenados en un gran conjunto de datos de más de 460,000 imágenes táctiles.
Para evaluaciones estandarizadas entre modelos táctiles, introducimos un nuevo punto de referencia que consiste en seis tareas centradas en el tacto, desde comprender propiedades táctiles hasta permitir la percepción física y la planificación con destreza. Encontramos que Sparsh supera a los modelos específicos para tareas y sensores en un promedio de más del 95% en este punto de referencia. Al permitir columnas vertebrales pre-entrenadas para detección táctil, buscamos empoderar a la comunidad para construir sobre estos modelos y escalarlos hacia aplicaciones innovadoras en robótica, IA y más allá.
Descargar los modelos y el conjunto de datos
Meta Digit 360: Una yema del dedo artificial con detección táctil a nivel humano
Nos complace presentar Digit 360, un sensor táctil en forma de dedo que proporciona datos táctiles ricos y detallados al digitalizar el tacto con precisión a nivel humano. Equipado con más de 18 características de detección, Digit 360 permitirá avances en la investigación de la percepción táctil y permitirá a los investigadores combinar sus diversas tecnologías de detección o aislar señales individuales para un análisis en profundidad de cada modalidad. Con el tiempo, esperamos que los investigadores usen este dispositivo para desarrollar IA que pueda comprender y modelar mejor el mundo físico, incluyendo la fisicalidad de los objetos, la interacción humano-objeto y la física del contacto. Digit 360 supera significativamente a los sensores anteriores, detectando cambios minúsculos en detalles espaciales, y captura fuerzas tan pequeñas como 1 milinewton.
Para lograr esto, desarrollamos un sistema óptico específico para la percepción táctil con un amplio campo de visión que consiste en más de 8 millones de taxels para capturar deformaciones omnidireccionales en la superficie de la yema del dedo. Además, equipamos el sensor con muchas modalidades de detección, ya que cada interacción táctil con el entorno tiene un perfil único producido por las propiedades mecánicas, geométricas y químicas de una superficie para percibir vibraciones, sentir calor e incluso detectar olores. Al aprovechar tales señales multimodales, Digit 360 ayudará a los científicos a avanzar en la investigación de IA que puede aprender sobre el mundo con mayor detalle. Con un acelerador de IA incorporado, Digit 360 puede procesar información localmente de manera rápida para reaccionar a estímulos como la flexión de una pelota de tenis o el pinchazo de una aguja. Puede actuar como un sistema nervioso periférico en un robot inspirado en el arco reflejo en humanos y animales.
Más allá de avanzar en la destreza robótica, este sensor revolucionario tiene importantes aplicaciones potenciales desde medicina y prótesis hasta realidad virtual y telepresencia. Este nuevo lente óptico específico para el tacto puede ver las huellas alrededor de la yema del dedo artificial, capturando detalles más sensibles sobre la superficie que toca el objeto. Para mundos virtuales, Digit 360 puede ayudar a fundamentar mejor las interacciones virtuales con el entorno en representaciones más realistas de las propiedades de los objetos más allá de sus apariencias visuales. Estamos publicando públicamente todo el código y los diseños y esperamos ver a la comunidad iterar sobre este trabajo.
Meta Digit Plexus: Una plataforma estandarizada para manos con detección táctil
La mano humana es maravillosa para señalar al cerebro información táctil a través de la piel desde las yemas de los dedos hasta la palma. Esto permite activar los músculos en la mano al tomar decisiones, por ejemplo, sobre cómo escribir en un teclado o interactuar con un objeto que está demasiado caliente. Lograr IA incorporada requiere una coordinación similar entre la detección táctil y la actuación motora en una mano robótica.
Presentamos una plataforma estandarizada, Meta Digit Plexus, que proporciona una solución de hardware y software para integrar sensores táctiles en una sola mano robótica. La plataforma interconecta sensores táctiles basados en visión y en piel como Digit, Digit 360 y ReSkin a través de yemas de dedos, dedos y palma en placas de control para codificar todos los datos a una computadora host. La integración de software y los componentes de hardware de la plataforma permiten una recopilación, control y análisis de datos sin problemas a través de un solo cable.
Construir una plataforma estandarizada desde cero nos permite impulsar el estado del arte en investigación de IA y destreza robótica. Hoy estamos compartiendo el código y diseño de Meta Digit Plexus para ayudar a reducir las barreras de entrada para que la comunidad persiga la investigación en percepción táctil y destreza.
GelSight Inc y Wonik Robotics: Socios en el pionerismo del futuro de la robótica
Creemos que la colaboración en toda la industria es la mejor manera de avanzar en la robótica para el bien común. Nos estamos asociando con líderes en la industria, GelSight Inc y Wonik Robotics, para desarrollar y proporcionar acceso a robots equipados con los avances que estamos compartiendo hoy.
GelSight Inc fabricará y distribuirá Digit 360, apuntando a una amplia disponibilidad el próximo año. Esto ayudará a fomentar un enfoque impulsado por la comunidad en la investigación robótica. Los miembros de la comunidad investigadora pueden aplicar a través de la convocatoria de propuestas de Digit 360 para obtener acceso anticipado.
“Asociarnos con Meta en Digit 360 surgió de un acuerdo inmediato sobre la visión”, dice Youssef Benmokhtar, Director Ejecutivo de GelSight Inc. “Queremos alentar a investigadores y desarrolladores a adoptar esta tecnología en su investigación y hacer que la detección táctil sea ubicua”.
También estamos colaborando con Wonik Robotics, una compañía de robótica surcoreana, para desarrollar la Mano Allegro, una mano robótica totalmente integrada con sensores táctiles. Basándose en la plataforma Meta Digit Plexus, la próxima generación de la Mano Allegro está preparada para ayudar a avanzar en la investigación robótica facilitando a los investigadores la realización de experimentos. Wonik Robotics fabricará y distribuirá la Mano Allegro, que estará disponible el próximo año. Los miembros de la comunidad que deseen mantenerse actualizados sobre el lanzamiento pueden llenar un formulario de interés.
“Wonik Robotics y Meta FAIR aspiran a introducir manos robóticas a empresas globales, institutos de investigación y universidades para que puedan continuar desarrollando tecnología de manos robóticas que sea segura y útil para la humanidad”, dice el Dr. Yonmook Park, Director Ejecutivo y Jefe de la Sede de Tecnología Futura en Wonik Robotics.
PARTNR: Un nuevo punto de referencia para la colaboración humano-robot
A medida que nos acercamos a un futuro con robots inteligentes y modelos de IA avanzados capaces de realizar tareas domésticas cotidianas, es importante considerar su interacción con los humanos. Por eso estamos lanzando un punto de referencia para Tareas de Planificación y Razonamiento en la colaboración Humano-Robot (PARTNR), diseñado para estudiar la colaboración humano-robot en actividades domésticas. Entrenar y probar agentes sociales incorporados en hardware físico con socios humanos reales es difícil de escalar y puede plantear preocupaciones de seguridad. Abordamos esto desarrollando PARTNR sobre Habitat 3.0, un simulador realista de alta velocidad que soporta tanto robots como avatares humanoides y permite la colaboración humano-robot en entornos similares a hogares, con el objetivo futuro de realizar pruebas en escenarios del mundo físico.
PARTNR se destaca como el punto de referencia más grande de su tipo, comprendiendo 100,000 tareas en lenguaje natural, abarcando 60 casas y más de 5,800 objetos únicos. El punto de referencia está diseñado para evaluar el desempeño de modelos grandes de lenguaje y visión (LLMs/VLMs) en la colaboración con humanos a través de una herramienta con humano en el ciclo. Viene con varias líneas base de LLM de última generación y permite el análisis sistemático a través de los ejes de planificación, percepción y ejecución de habilidades. Nuestros resultados muestran que los planificadores basados en LLM de última generación luchan con la coordinación, el seguimiento de tareas y la recuperación de fallos.
El viaje de transformar los modelos de IA de agentes a socios adeptos está en curso. Al proporcionar un punto de referencia y conjunto de datos estandarizado, PARTNR aspira a impulsar la investigación e innovación responsable en el campo de la colaboración humano-robot. Esperamos que permita investigar sobre robots que no solo puedan operar de forma aislada, sino también alrededor de las personas, haciéndolos más eficientes, confiables y adaptables a las preferencias de cada persona.
Mirando hacia el futuro
Expandir las capacidades en percepción táctil y robótica será un cambio de juego para la comunidad de código abierto, ayudando a habilitar nuevas posibilidades en investigación médica, cadenas de suministro, manufactura, energía y más. Continuamos comprometidos con la publicación pública de modelos, conjuntos de datos y software, y también creemos que compartir plataformas de hardware fomentará nuevas generaciones de investigación en IA robótica. A través de nuestras asociaciones con GelSight Inc y Wonik Robotics, estamos emocionados de hacer llegar este hardware a los investigadores para que puedan iterar sobre esta tecnología y explorar nuevos casos de uso emocionantes. Iterar junto con la comunidad nos acercará a todos a un futuro donde la IA y la robótica puedan servir al bien común.
