El 3 de noviembre de 2026, en tiempo de Beijing, Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del Instituto de Tecnología de Massachusetts (MIT) anunciaron los experimentos de 'programación en el espacio de pesos' junto con sus registros correspondientes. El equipo de investigación permitió que GPT-6 Astra de OpenAI examinara y modificara directamente los pesos de Qwen3.5-0.8B, reparando el bucle de razonamiento bajo condiciones en las que se prohibía el descenso de gradiente y el entrenamiento. La fecha de publicación del blog original de investigación fue el 2 de noviembre; este trabajo aún no ha sido sometido a revisión por pares ni constituye un sistema listo para producción.

Límites entre la edición directa de pesos y el entrenamiento tradicional

El equipo de investigación definió la Programación en el Espacio de Pesos como: un modelo de lenguaje general que puede leer o escribir directamente los pesos de una red neuronal en función de objetivos en lenguaje natural, sin que la decisión de los cambios sea determinada por un optimizador o cálculos de gradientes. Ocho experimentos cubrieron tareas que abarcan desde el comportamiento de identificación de pesos hasta la reparación de controladores defectuosos y la generación de redes para juegos pequeños. La diferencia entre este método y el ajuste fino y el reentrenamiento radica en el proceso de toma de decisiones de los cambios, pero los materiales públicos no demuestran que este enfoque pueda reemplazar los flujos de trabajo de entrenamiento existentes ni establecen una confiabilidad universal entre modelos.

En el experimento con Qwen3.5-0.8B, Astra fue autorizada a leer y guardar pesos en un entorno Python en CPU, y podía seleccionar problemas de práctica de los conjuntos de datos de entrenamiento GSM8K y MATH. Los investigadores proporcionaron respectivamente 10, 25 y 50 presupuestos de cálculo hacia adelante; un cálculo podía procesar problemas por lotes, pero el conjunto de evaluación no fue proporcionado a Astra. Se prohibió el entrenamiento, la información de gradientes y la optimización de pesos en GPU, finalmente se evaluó el rendimiento después de los cambios usando conjuntos como MATH-500, GSM8K e IFEval. Los cálculos hacia adelante se utilizaron para observar y probar los cambios candidatos, pero no equivalían a ejecutar actualizaciones de entrenamiento.

Alcance y resultados de las correcciones cíclicas de Qwen

En la ejecución más fuerte con un presupuesto de 50 cálculos hacia adelante, Astra localizó los bucles repetitivos en los componentes multicapa perceptron y realizó modificaciones en 64 columnas de salida para cada una de las capas 15 y 19. Los autores describieron esta operación como el procesamiento de 131072 pesos, que representan aproximadamente el 0.016% del modelo de 0.8B. Estos dos números son descripciones redondeadas proporcionadas por el equipo de investigación según su propio criterio, no resultados de auditorías externas; las modificaciones se dirigieron a direcciones y columnas específicas, sin reconstruir toda la red ni utilizar inyección de conocimiento mediante entrenamiento con gradientes.

Según las evaluaciones publicadas por el equipo de investigación, la precisión de Qwen en MATH-500 aumentó del 7.9% al 48.1%, en GSM8K del 13.8% al 67.1%, y en IFEval del 21.0% al 62.3%. Bajo la misma configuración, la proporción de respuestas en MATH-500 que alcanzaron el límite de tokens de 32768 pasó del 93.0% al 33.1%. Los autores atribuyeron principalmente estos aumentos a que el modelo tiene menos tendencia a quedar atrapado en bucles y puede completar respuestas que antes se interrumpían. Las pruebas públicas no respaldan la afirmación de un aumento del conocimiento matemático en seis veces ni el incremento sincrónico de todas las capacidades. VentureBeat verificó los cambios principales en MATH-500, pero no proporcionó resultados de ejecución independiente.

Experimentos de red pequeños y registros públicos

Otros experimentos controlados proporcionaron resultados de diferentes escalas. Astra solo observó los pesos de la misma estructura y logró identificar correctamente los cuatro juegos de cuadrícula Breakout, Pong, Pac-Man y Freeway; en el experimento de controlador de pendiente, un cambio de peso único transformó el número de éxitos de cero en 256 pruebas a todos los éxitos en 1024 pruebas. También escribió directamente las redes MinAtar de tres tipos, obteniendo puntuaciones de 517.4, 53.1 y 53.2 para Breakout, Seaquest y Asterix respectivamente; comparado con PPO entrenado durante 500 millones de pasos, Astra solo lideró en Breakout. El equipo de investigación no extendió estos resultados de entornos pequeños a conclusiones de modelos de producción grandes.

El equipo de investigación publicó en GitHub las indicaciones utilizadas en los experimentos reportados, las respuestas del modelo, los resúmenes de razonamiento, el código y los resultados, los registros de evaluación, las redes finales y las diferencias precisas de pesos. La descripción del repositorio indica que el contenido publicado solo cubre las ejecuciones reportadas realmente en el blog, y las pruebas con versiones anteriores de indicaciones no están incluidas; algunos materiales intermedios grandes tampoco están incluidos, pero se proporcionó la correspondiente explicación. Los registros públicos ampliaron el alcance de inspección externa, pero no equivalen a que terceros hayan completado toda la reproducibilidad, ni pueden demostrar que las rutas no publicadas obtendrían resultados idénticos.

Método de extrapolación de resultados negativos limitados

Los resultados negativos limitan la extrapolación de casos exitosos. En el control Gemma 3 270M sin problemas circulares graves, el equipo de investigación no logró obtener mejoras matemáticas claras. Otro experimento requirió que Astra solo observara dos conjuntos de pesos Gemma para identificar un modelo adulador, fallando en cuatro intentos; los investigadores solo lograron éxito cuando añadieron las distribuciones de atención durante la ejecución del modelo, permitiéndole a Astra juzgar correctamente en tres pares de conjuntos. En esta tarea, la información de pesos sola no fue suficiente, y solo al incorporar datos de ejecución se logró el éxito. El experimento tampoco mostró un bucle recursivo que mejorara automáticamente las modificaciones posteriores, por lo que no se puede confirmar que se haya alcanzado la mejora recursiva automática.

Los materiales actuales aún no responden si este método funciona de manera estable en diferentes arquitecturas y escalas, ni realizan comparaciones completas entre edición directa de pesos y ajuste fino, reentrenamiento o cambios en la configuración de muestreo en términos de costo, velocidad y efectividad. Las revisiones de seguridad, pruebas de regresión, gestión de versiones y despliegue comercial requeridos para entornos de producción aún no se han establecido. Lo que se puede confirmar actualmente es que el equipo del MIT CSAIL completó un conjunto de experimentos de lectura directa, reparación y escritura de pesos en condiciones controladas, y publicó registros y diferencias dentro del alcance del informe; conclusiones más amplias aún carecen de revisión por pares y reproducción independiente.