TurnWise: enseñar a un modelo de vídeo a decidir cuándo hablar con refuerzo a nivel de turno

Entender vídeo en directo plantea a los modelos de visión-lenguaje un problema que no existe con vídeos grabados: deben decidir, una y otra vez, si responder ya o guardar silencio y seguir observando. Un paper destacado en Hugging Face, «Turns Matter: Advancing Streaming Video RL via Turn-Level Credit» (arXiv 2611.06728), propone una solución elegante que cambia la granularidad del aprendizaje por refuerzo: en lugar de premiar o castigar la trayectoria completa, evalúa cada decisión individual. El resultado es TurnWise, un marco que mejora el aprendizaje de políticas de streaming sin coste computacional adicional.

El problema de la recompensa compartida

Recientemente se ha aplicado GRPO (Group Relative Policy Optimization) a la comprensión de vídeo en streaming. Los enfoques existentes han puesto el foco en diseñar mejor las recompensas, pero conservan un único crédito a nivel de trayectoria: todas las decisiones del episodio —responder o callar— comparten la misma ventaja. Ese préstamo compartido tiene un efecto perverso: después de una respuesta temprana acertada, la recompensa global refuerza también las contestaciones redundantes posteriores; y tras un fallo inicial, desincentiva seguimientos que sí eran útiles. La señal de aprendizaje, sencillamente, no se alinea con las decisiones que el modelo realmente toma.

Crédito por turno con «prefix scoring» completado en silencio

TurnWise introduce dos mecanismos complementarios. El primero es la asignación de crédito a nivel de turno mediante puntuación de prefijos completados en silencio: cada prefijo de la trayectoria se evalúa con el mismo historial inicial, marcas de tiempo, ventanas de respuesta y horizonte que la trayectoria completa, midiendo lo que lograron las respuestas retenidas si no se produjeran más contestaciones. Al restar esa referencia del premio total se obtiene el «retorno restante» de cada decisión, a partir del cual se construyen ventajas de grupo específicas por turno, separando su señal de los premios anteriores. Todo ello reutiliza las evaluaciones de los rollouts ya generados: no hace falta un crítico aprendido ni rollouts adicionales. Durante las primeras actualizaciones (un 10 % del entrenamiento), un coeficiente alfa sube de forma lineal de 0 a 1, transitando del crédito compartido de GRPO al crédito específico por turno.

Ponderación por turno y resultados

El segundo mecanismo es la optimización de política por media de turno: la pérdida de tokens se promedia dentro de cada turno y después entre turnos, de modo que las decisiones de responder y de esperar (la salida «NO REPLY») reciben el mismo peso independientemente de la longitud del texto generado. Una salvaguardia de doble recorte acota la pérdida en los turnos con ventaja negativa.

Los experimentos con Qwen2.5-VL-3B muestran que la corrección completa (alfa = 1) consigue los mejores valores de PAUC, F1 de temporización y precisión en StreamingBench, con la menor tasa de repetición. El análisis de 11.116 trayectorias reales de entrenamiento (84.184 decisiones) revela por qué importa: el 21,2 % de las decisiones cambia el signo de su ventaja respecto a la asignación global, y el 53,15 % de las trayectorias recibe ventajas tanto positivas como negativas. Una misma trayectoria encierra, en otras palabras, direcciones de aprendizaje opuestas para sus decisiones —y solo un crédito granular puede aprovecharlas. El código está disponible en GitHub (XD111ds/turn-wise-rl).