Etapas del aprendizaje: imitación y refuerzo
El proceso se divide en tres fases. En la primera, el robot observa a expertos ejecutar tareas mediante teleoperación para entrenar una política visuomotora basada en difusión. Esta asocia imágenes de cámaras RGB o nubes de puntos 3D con los movimientos necesarios para manipular objetos. En la segunda fase, aplica aprendizaje por refuerzo para perfeccionar sus habilidades a través de repetición y experiencia propia, utilizando el algoritmo Proximal Policy Optimization (PPO). Además, incorpora un mecanismo de evaluación offline que previene retrocesos en el rendimiento durante las actualizaciones.
Resultados en tareas del mundo real
El marco RL-100 fue evaluado en ocho tareas de manipulación, que incluyen servir jugo de naranja, doblar toallas y destapar frascos. El robot igualó o superó la velocidad de teleoperadores humanos expertos, y demostró capacidad de adaptación frente a objetos desconocidos o cambios en el entorno sin reentrenamiento. Durante una experiencia en un centro comercial, operó de manera continua durante siete horas sirviendo jugo fresco sin registrar ningún fallo.
Soluciones técnicas para mejorar el rendimiento
Los investigadores resolvieron el desafío de la latencia computacional asociada a las políticas basadas en difusión mediante una técnica de destilación de modelos de consistencia, que redujo el tiempo de inferencia de 100 milisegundos a 10. El sistema es agnóstico respecto a la tarea, el tipo de robot o la representación sensorial, y puede aplicarse a brazos robóticos simples y sistemas bimanuales admitiendo imágenes RGB o nubes de puntos 3D sin modificar la estructura del aprendizaje.
