La destilación de agentes LLM mejora al combinar historiales del estudiante con prefijos del profesor

Según arXiv · cs.AI, el marco jerárquico de destilación de agentes separa la política que induce el historial de interacción de la que genera el prefijo del token de la acción actual. En un estudio controlado de tres etapas con autodestilación, un profesor congelado con acceso a guía de tareas no disponible para el estudiante, los datos completamente on-policy resultan beneficiosos al mezclarse con otras configuraciones. Además, mezclas con proporciones idénticas profesor/estudiante en cada nivel pueden producir rendimientos sustancialmente diferentes, lo que indica que el emparejamiento importa más allá de la cantidad total de datos on-policy. Adelantar contextos totalmente generados por el profesor y retrasar los contextos completamente on-policy mejora respecto a una mezcla estática.