NEO-VLA: el robot que decide con su visión en bruto, sin pasar por un codificador fijo
Los modelos visión-lenguaje-acción (VLA) que controlan robots manipuladores se construyen casi siempre sobre la misma premisa: la percepción se comprime primero mediante codificadores visuales y el razonamiento sobre la acción empieza después. El problema, plantea un nuevo trabajo del MMLab@NTU recogido en Hugging Face Papers, es que la manipulación fina depende precisamente de las señales visuales más vulnerables a esa abstracción: la geometría local, los bordes, la profundidad y los cambios sutiles de estado. El paper «From Pixels to Actions — Towards Native Vision-Language-Action Policies» (arXiv 2611.06918) lanza la pregunta de fondo: ¿debe la política de acción heredar un punto final visual fijo, o acceder directamente al cómputo visual en evolución?
Un VLA sin codificador visual
La respuesta es NEO-VLA, un marco de arquitectura nativa y estructuralmente libre de codificador. Las imágenes se tokenizan mediante capas convolucionales de parches ligeros y evolucionan conjuntamente con el lenguaje a lo largo de toda la columna vertebral del modelo. Sobre esas representaciones condicionadas por la instrucción se apoya un «experto en acciones» por flow matching, que puede extraer información de distintos niveles de profundidad de la red en lugar de conformarse con la última capa del codificador. La comparación controlada revela un patrón consistente: las arquitecturas nativas superan a sus equivalentes basadas en codificador, el ajuste completo reduce la brecha pero no la borra, y escalar únicamente el modelo no la recupera. Lo más revelador proviene del sondeo capa a capa: las señales críticas para la acción a menudo alcanzan su máximo bastante antes de la representación visual final.
Números: LIBERO y tareas reales
En las suites LIBERO, la ventaja es nítida. Con la columna vertebral congelada —actualizando solo el experto en acciones—, NEO-VLA de 2.000 millones de parámetros promedia un 90,9 % de éxito frente al 79,5 % de Qwen3-VL-2B en las mismas condiciones; incluso el ajuste completo de Qwen3-VL (90,8 %) o de Gemma-3 4B (91,0 %) se queda por debajo del resultado congelado del modelo nativo. Con ajuste completo, NEO-VLA llega al 95,3 % de media. En el mundo real, con 50 episodios de entrenamiento por escena y 20 ensayos por tarea, NEO-VLA supera a modelos más grandes: en verter agua de un vaso de papel a un vaso de vidrio logra 12/20 (π0.5, de 3B: 10/20; StarVLA: 1/20); en colocar una pelota de tenis dentro de un rollo de cinta puesto en un bol, 17/20 frente a 14/20; y en reorientar una lata horizontal e insertarla vertical en el rollo, empata con π0.5 en 13/20.
Qué significa para la robótica incorporada
El entrenamiento sigue una receta en tres etapas (experto en acciones con 113.400 pasos, ajuste completo del preentrenamiento robótico y afinado con datos propios, los dos últimos de 75.000 pasos y lote global de 8.192), co-entrenando con datos de comprensión multimodal para no perder capacidades de percepción y razonamiento. NEO-VLA muestra robustez notable ante cambios de distribución visual, aunque sigue sufriendo cuando cambian las configuraciones espaciales o los objetivos de la tarea. La conclusión de los autores apunta a una lección más amplia que un simple truco de arquitectura: no basta con quitar el codificador; importa cómo se forman las representaciones visuales. El control incorporado beneficia del acceso a toda la jerarquía de cómputo visual, lo que sugiere que la próxima frontera de la inteligencia embodied está en cerrar la brecha entre percepción flexible y control preciso. El código se publica en GitHub (EvolvingLMMs-Lab/NEO, VLAKit).