¿Qué mejora realmente el aprendizaje por refuerzo multi-turno en los agentes LLM?

El aprendizaje por refuerzo (RL) multi-turno de agentes se ha convertido en el ingrediente estrella para mejorar los modelos que ejecutan tareas largas: navegar la web, usar herramientas, resolver objetivos en decenas de pasos. Sin embargo, sus ganancias son mucho más frágiles de lo que sugieren los titulares. Un trabajo del Instituto de Automatización de la Academia China de las Ciencias, «What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?», analiza con lupa de qué depende realmente la ventaja del RL agéntico y propone una receta para estabilizarla.
La métrica Pass@(K,T): mirar el ancho y el fondo
Los autores proponen evaluar los agentes en dos dimensiones a la vez mediante la métrica Pass@(K,T): la amplitud de muestreo K (cuántos intentos paralelos se pueden hacer) y la profundidad de interacción T (cuántos turnos de conversación o pasos tiene permitidos el agente). Esta lente hace visible algo que las tasas de éxito de trayectoria ocultan: la ventaja del RL a nivel de trayectoria depende de presupuestos de turnos suficientes. Cuando el presupuesto de turnos se estrecha, esa ventaja se reduce de forma significativa. En otras palabras: una parte importante del «modelo entrenado con RL es mejor» se sostiene sobre la premisa de que el agente dispone de muchas oportunidades e interacciones largas.
Un ejemplo comentado en la propia página del paper lo ilustra con crudeza: en la prueba BFCL de llamadas a funciones, con un presupuesto de solo el 25 % de los turnos, la variante completa de GRPO sobre Qwen3-4B cae a un 2,5 %, por debajo del 3,0 % del modelo base sin entrenamiento agéntico. El método que proponen los autores, BudgetMix RL, alcanza un 8,5 % en esas mismas condiciones de escasez.
No mejora el paso a paso: mejora la recuperación de errores
El segundo hallazgo desmonta otra intuición común: el RL agéntico no eleva de forma uniforme la calidad de la decisión individual. Su fortaleza se concentra en la recuperación de errores y la resistencia en horizontes largos. El agente entrenado no acierta necesariamente más en cada paso; simplemente sabe mejor qué hacer cuando algo sale mal a mitad de una tarea prolongada —rehacer, rodear, reintentar—, la diferencia entre un agente que abandona y uno que termina. Es una distinción crucial para el despliegue: si el valor del RL vive en la resiliencia multi-turno, los agentes que solo dan unos pocos pasos o trabajan bajo restricciones duras de latencia o coste pueden no heredar ningún beneficio.
BudgetMix RL: entrenar con presupuestos que varían
Para mitigar este riesgo de despliegue —modelos excelentes en condiciones holgadas y mediocres o peores que el base en condiciones ajustadas—, los autores discuten primero los beneficios y límites de las señales de supervisión de proceso y proponen BudgetMix RL, una alternativa que varía los presupuestos de interacción durante el entrenamiento. Al ver presupuestos cambiantes —informando al modelo del turno total y restante en el propio prompt—, el agente aprende una política robusta que funciona bien tanto con presupuestos amplios como estrechos. Los experimentos demuestran un rendimiento estable ante diversas condiciones de ejecución.
La lección práctica para los equipos que ponen agentes en producción es clara. En el mundo real, los límites de turnos rara vez son generosos ni explícitos: existen timeouts, techos de coste y latencias. Si el entrenamiento presupuso abundancia, el despliegue puede revelar que el RL no mejoró nada medular. Evaluar con Pass@(K,T), y entrenar con presupuestos variados como propone BudgetMix, obliga a que la mejora exista también donde de verdad se paga la factura. Con GitHub y página de proyecto públicos, el trabajo ofrece tanto una metodología de evaluación reproducible como un recordatorio metodológico: antes de celebrar que el RL enseña a los agentes a investigar el mundo, conviene preguntar cuántos turnos hicieron falta para demostrarlo.