Un agente de IA fue capaz de configurar el brazo, utilizarlo para ver y agarrar lentamente cosas, e incluso entrenar a otro modelo de IA para recoger y colocar objetos específicos.
Los resultados indican que podemos estar a punto de lograr un gran avance en robótica. Antes, entrenar y controlar robots requería una destreza considerable. Hoy en día, los modelos de IA lo hacen casi tan fácil. “La codificación basada en IA es muy interesante porque puede salvar la distancia entre los métodos de ingeniería convencionales, que son fiables pero no generalizan, y los modelos contemporáneos de visión-lenguaje-acción, que generalizan pero aún no son seguros”, afirma Ken Goldberg, un robotista de la Universidad de Berkeley que está estudiando este método.
Forma parte de un proyecto de código abierto de Huggingface que permite empezar a construir y experimentar con la robótica de forma relativamente económica.
El LeRobot incluye dos brazos: un brazo controlador que se maneja mediante una empuñadura y un gatillo, y un brazo seguidor con una cámara que replica esos movimientos. Se puede entrenar un modelo de IA controlando a distancia el brazo controlador y haciendo que el modelo aprenda a mover el brazo seguidor en respuesta a lo que ve en la cámara.
Construir con Openclaw
Antes de utilizar Openclaw, pasaron varias horas intentando conectar y calibrar el robot, y en un momento dado estuvieron a punto de romper los motores al aplicar los ajustes incorrectos, lo que provocó que se sobrecalentaran.
Luego, con la ayuda de Openclaw y Codex, pudieron programar mediante vibe coding (programación por vibra o intuitiva) un sencillo programa que cerraba la pinza de la garra al detectar una pelota roja. En la terminal, Codex se encargó de configurar las conexiones con el robot.
Después, calibró la posición de sus articulaciones. También escribió un script de Python que utilizaba varias bibliotecas para identificar y sujetar la pelota. El vibe coding no es perfecto, por supuesto, y usar la intuición pueden introducir errores, especialmente al trabajar con hardware diferente, pero los resultados fueron impresionantes.
Un resultado interesante, sí, pero nada comparable a Terminator. A continuación, intentaron que Openclaw ayudara a entrenar un modelo para controlar el brazo. Experimentaron con diferentes enfoques, y Openclaw los guió eficazmente durante el proceso y comprobó la tasa de error del modelo tras cada entrenamiento.
Código como política
La idea de que la programación impulsada por IA podría ofrecer una nueva y poderosa forma de construir robots se destacó por primera vez en un artículo de investigación de 2022 que denominó a este enfoque “código como política”. Desde entonces, las capacidades de codificación han avanzado a un ritmo vertiginoso, y el método de código como política ha ganado terreno en muchos laboratorios.
El grupo de investigación de Goldberg, junto con investigadores de Nvidia, la Universidad Carnegie Mellon y Stanford, ha desarrollado recientemente un nuevo punto de referencia llamado CaP-X para medir las capacidades robóticas de los modelos de codificación. Curiosamente, CaP-X muestra que el mejor modelo para programar robots no es Claude ni ChatGPT, sino Gemini, quizás porque Google DeepMind se ha centrado en entrenar sus modelos para que sean multimodales y comprendan el mundo físico.
Junto con el benchmark, los investigadores crearon CaP-Gym, un entorno que permite a los agentes de codificación controlar robots tanto simulados como reales. También desarrollaron CaP-Agent0, un marco de trabajo basado en agentes que mejora tanto el rendimiento de los modelos de codificación que superan a los modelos entrenados para controlar directamente los movimientos de un robot en algunas tareas de manipulación.
Goldberg está colaborando con Nvidia para explorar el potencial del enfoque de código como política. Hablé con Spencer Huang, hijo de Jensen, quien ha participado en la organización de hackatones dentro de la empresa para que la gente experimente con robots de vibe coding. Actualmente, Huang trabaja con Goldberg en un proyecto de investigación que busca hacer que el enfoque de código como política sea compatible con más herramientas de software para robots.
