Por qué un mundo pequeño
El proyecto grande es entrenar un cuerpo humanoide en Isaac Lab y llevar lo aprendido a Unity. Cada corrida allí ocupa la GPU durante horas, y un error en la recompensa o en una medición se descubre tarde. Muchos de los errores que nos costaron se habrían visto antes en un entorno más simple.
El Mini mundo es ese entorno: un plano 2D con reglas matemáticas, sin gravedad, sin inercias y sin choques reales. Una idea se prueba en segundos o minutos. No sustituye la física; sirve para equivocarse barato y llegar al motor real con la recompensa y las pruebas ya revisadas.
Un detalle técnico para quien venga de las otras entradas: aquí no uso NEAT. La red tiene estructura fija y se entrena con PPO o A2C. Sus entradas y salidas salen del cuerpo que armes.
Armar un cuerpo y darle una tarea
En el laboratorio se construye el cuerpo desde un punto central, conectando piezas en árbol. Cada pieza tiene una unión con su padre y, opcionalmente, un accesorio en el extremo.
- Cuerpo
- Hasta 12 piezas: barras y tensores que se estiran.
- Uniones
- Bisagra (gira con límites), rótula (gira sin límite, más rápida) y resorte (vuelve sola a su ángulo).
- Accesorios
- Pie, pinza, rueda, púa o escudo. Un pie apoyado no resbala: si la pata gira, el cuerpo se arrastra.
- Sentidos
- Hasta 48 mediciones elegidas a mano: posiciones, distancias, ángulos, agarre, pie apoyado, energía. No hay sensores ocultos.
- Tarea
- Alcanzar, comer, entregar o unir material. La tarea genera una recompensa y una condición de éxito que se pueden editar.
Qué aprendieron tres cuerpos
La tarea de los tres ejemplos es la misma: llegar a una meta. El número que cuenta es la prueba final: la mejor red se evalúa en al menos 128 escenarios con una semilla que nunca se usó para entrenarla ni para elegirla. Todo en CPU.
| Cuerpo | Condición | Prueba final | Entrenamiento |
|---|---|---|---|
| Oruga · 2 pies | Meta siempre en el mismo sitio | 100 % | 220 actualizaciones |
| Oruga · 2 pies | Meta al azar, misma receta | 45 % | Había memorizado un recorrido |
| Oruga · 2 pies | Meta al azar, red 64×64, 256 copias | 76 % | 700 actualizaciones · 176 s |
| Trípode · 3 pies | Meta al azar | 94,5 % | 320 actualizaciones · 166 s |
| Rodante · 3 ruedas | Meta al azar | 100 % | 70 actualizaciones · 35 s |
La primera fila es la que más me enseñó. Con la meta fija, la oruga llegaba siempre: un 100 % que parecía un éxito. Al poner la meta en una dirección al azar, entre 2,5 y 4,5 unidades del centro, la misma receta bajó al 45 %. No había aprendido a arrastrarse hacia un objetivo; había aprendido un camino. Desde entonces la meta al azar es la opción por defecto.
El resto confirma algo intuitivo con números: con tres apoyos la marcha es más fácil de aprender que con dos, y la rueda es el modo fácil del catálogo porque rodar desplaza el cuerpo casi directamente.
Varios personajes, una sola red
El coliseo pone a varios personajes en un anillo. Hay cuatro modos: duelo 1 contra 1, todos contra todos, competencia por comida, y bandas con zonas que producen comida que hay que llevar a casa. Cualquier cuerpo del laboratorio puede pelear si tiene forma de moverse.
Todos los personajes usan la misma red. Cada uno es un turno distinto de esa red, así que mejora enfrentándose a copias de sí misma. Cada personaje percibe el mundo desde su propio frente: dónde está el rival más cercano, su aliado, la comida y su almacén.
Un aviso sobre cómo leer el porcentaje de éxito aquí: en un duelo parejo tiende al 50 %, porque en cada pelea gana uno. Ese número no dice lo bien que pelea el personaje; sirve para detectar peleas sin desenlace. Para ver qué aprendió hay que mirar la reproducción. En un duelo de gladiadores (lanza con púa, escudo con resorte y rueda) la pelea grabada tuvo 16 golpes y 42 bloqueos de escudo, y terminó en fuera de combate: aprendieron a usar el escudo.
En el modo bandas, la primera fórmula daba medio punto por agarrar comida. La red aprendió a agarrar y soltar comida lejos de casa, una y otra vez. El retorno subió hasta 48, pero en la pelea grabada no se guardó ni una porción.
El arreglo: agarrar ya no paga, y el acercamiento se mide hacia un objetivo fijo durante cada paso. Quedó una prueba que reproduce el bucle y exige que no dé puntos. Tras el cambio, el retorno pasó de 0,7 a 28,6 y cada banda guardó 15 porciones.
El estudio configurable
El tercer módulo es la versión abierta: un universo numérico de 1 a 16 dimensiones para probar ideas en segundos, y fórmulas propias de recompensa y de éxito. Las fórmulas se validan antes de gastar tiempo: se leen como expresiones aritméticas cerradas, sin ejecutar código arbitrario.
Ahí también están los adaptadores para el motor físico y para el cuerpo humanoide. Están escritos, pero todavía no se probaron con el motor. Lo marco así porque es fácil confundir «implementado» con «funciona».
Por qué confío en lo que muestra
- Prueba final independienteLa mejor red se evalúa con una semilla que no se usó ni para entrenar ni para elegirla.
- Prueba corta obligatoriaAntes de entrenar corre una versión mínima. Si algo está mal, falla en segundos y no en una hora.
- Resultados selladosEl código y los resultados que vuelven de la PC con GPU llegan con su huella SHA-256 verificada.
- Procesos que no se escapanCada corrida vive en su propio grupo de procesos y se cierra entera al terminar o al detenerla.
- Mismas reglas en CPU y GPUEl mismo código corre en los dos sitios, y una prueba compara las trayectorias paso a paso.
- Sin maquillajeEs un mundo matemático 2D. Lo que aprende aquí no acredita nada sobre el cuerpo humanoide.
Lo que todavía no está probado
- Los adaptadores físicos, con el motor real.
- El coliseo en la PC con GPU: hasta ahora solo corrió en CPU.
- Entrenamientos largos de «todos contra todos» y «competencia por comida».
- Las bandas: el retorno seguía subiendo al final de la corrida, así que no convergió.
Un mundo pequeño con reglas claras sirve para encontrar pronto los errores caros: una red que memoriza en vez de aprender, o una recompensa que se puede engañar. Las dos cosas aparecieron aquí en minutos. En el motor real habrían costado horas.