Con solo girar una palanca, apretar un gatillo y presionar unos cuantos botones, incluso un jugador inexperto puede desenvolverse con cierta soltura en un videojuego 3D. Una startup británica está apostando a que secuencias tan sencillas como estas contienen una gran cantidad de información útil para entrenar nuevos modelos de inteligencia artificial.
En algunos sectores de la industria de la IA se está propagando cada vez más la creencia de que los grandes modelos de lenguaje (LLM) acabarán viéndose limitados por su incapacidad para desenvolverse en el mundo físico. Al estar entrenados únicamente con palabras, los LLM quizá no estén listos para pilotar vehículos autónomos, manejar brazos robóticos o realizar cualquier otra acción que requiera delicadeza y precisión. Para subsanar esa carencia, un grupo de investigadores de renombre, entre los que se encuentran Fei-Fei Li y Yann LeCun, está centrando sus esfuerzos en una clase diferente de IA: los modelos del mundo.
Para dominar la física del mundo real, los modelos del mundo deben entrenarse con una combinación de datos visuales y de acción. Antes de poder maniobrar con destreza un brazo robótico, es posible que un modelo tenga que entrenarse con grabaciones de video del interior de una fábrica, junto con información sobre la firmeza con la que debe sujetarse un objeto, con qué fuerza que debe manipularse, etcétera. Pero a diferencia de los LLM, entrenados con océanos de texto, los laboratorios de modelos del mundo no disponen de un corpus de material similar.
"Para los modelos del mundo, se necesitan causa y consecuencia", explica Xiatian Zhu, profesor asociado especializado en IA de la Universidad de Surrey. "En internet disponemos de muy pocos datos de este tipo".
Un producto residual
Worldmodeldata, una startup británica asesorada por LeCun, pretende resolver ese problema. ¿Cómo? Agrupando las entradas de los controles y otros datos recopilados por los estudios de videojuegos (un producto residual disponible en cantidades masivas) en conjuntos de datos de entrenamiento para modelos de mundo. Algunas empresas, como General Intuition y Niantic, ya están recopilando datos de videojuegos de sus propias plataformas para construir modelos. Pero Worldmodeldata se presenta como un intermediario que selecciona y organiza los datos, lo que evita que los laboratorios tengan que llegar a acuerdos individuales con un sinfín de estudios de videojuegos.
"Hay millones de videojuegos fantásticos, y cada vez se parecen más al mundo real", explica a WIRED Rhea Loucas, directora general de Worldmodeldata. "¿Por qué no aprovechamos las vastas, abundantes y diversas experiencias de los videojuegos para enseñar a la IA?".
Aunque la hipótesis aún no se ha comprobado por completo, los investigadores trabajan, en general, partiendo de la suposición de que el rendimiento de los modelos del mundo mejorará en función del tamaño de sus conjuntos de datos de entrenamiento, de forma similar a los LLM. Eso significa que la escasez de datos de entrenamiento adecuados es uno de los mayores obstáculos para el progreso.
Algunos laboratorios han intentado generar manualmente sus propios datos colocando sensores a personas y robots en entornos de prueba. Pero ese enfoque solo proporciona una pequeña cantidad de datos y no tiene en cuenta los escenarios extremos con los que un modelo podría encontrarse en el mundo real.
"Puedes pagar a personas para que demuestren tareas de recogida y colocación. Pero la repetición por sí sola no capturará el desorden del mundo en el que se le pide a una máquina que opere”, señala Nicole Fraenkel, socia de la firma de capital de riesgo Khosla Ventures, que ha invertido en General Intuition.
La teoría de Worldmodeldata es que los datos recopilados de entornos de videojuegos (representaciones visuales de un espacio 3D combinadas con las acciones realizadas por el jugador) están disponibles en las cantidades necesarias y son lo suficientemente variados como para captar los casos extremos, que son fundamentales.
"Los casos excepcionales son los que realmente hay que resolver correctamente", destaca Fraenkel. "El costo de un error con un auto, un avión, un dron, una montacargas de fábrica o un robot cuadrúpedo autónomo es muy elevado".
Worldmodeldata sostiene que ha obtenido la licencia de casi 1,000,000 de horas de datos de los estudios responsables de varios videojuegos populares, aunque Loucas se ha negado a nombrarlos. En el futuro, la startup pretende crear vías para que los jugadores individuales también reciban una compensación.
Loucas cree que los datos de los videojuegos acabarán constituyendo la mayor parte del material de entrenamiento para los modelos de mundo, que posteriormente se optimizarán utilizando datos específicos de un entorno o tarea concretos del mundo real. "Esto bien podría dar lugar al momento GPT de los modelos de mundo, haciéndolos realmente útiles", añade Loucas.
La física de la manipulación
No todo el mundo comparte el mismo optimismo respecto a los datos de los videojuegos. Nvidia, que publica una familia de modelos de mundo optimizados para ejecutarse en sus chips, prefiere utilizar un motor personalizado que ha diseñado específicamente para replicar la física del mundo real como columna vertebral de su inteligencia artificial.
Ming-Yu Liu, responsable del desarrollo de modelos del mundo en Nvidia, expresa que es poco probable que los modelos entrenados con datos de videojuegos obtengan buenos resultados en tareas que requieran un control motor muy preciso, como la manipulación cuidadosa de objetos. Esto se debe a que la física de los videojuegos suele ser excéntrica, y los desarrolladores toman atajos para crear la ilusión de realismo (un personaje extiende la mano para tomar una manzana de la mesa) sin programar los detalles: la presión que ejerce cada dedo para evitar que la manzana se le resbale de las manos.
"Yo sería más prudente a la hora de utilizar datos de videojuegos para la manipulación", observa Liu. "La física de la manipulación es mucho más compleja". Según él, el entrenamiento con datos de videojuegos es más adecuado para modelos del mundo destinados a generar video hiperrealista o entornos 3D.
Zhu, el investigador de la Universidad de Surrey, comparte preocupaciones similares. "Los videojuegos son, en esencia, simuladores. Tienen cierto grado de fundamento físico", comenta. "Pero son muy rudimentarios, aproximados".
Sin embargo, hasta que los modelos del mundo alcancen su momento ChatGPT, siguen sobre la mesa todo tipo de ideas para conseguirlo. "Hay muchos caminos hacia la tierra prometida", concluye Fraenkel. "La verdad es que aún no se sabe cuál va a funcionar mejor".
Artículo originalmente publicado en WIRED.com. Adaptado por Andrea Baranenko.
Publicado originalmente en 24Digitalweb.
