北京时间2026年11月3日,麻省理工学院计算机科学与人工智能实验室的Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab公布“权重空间编程”实验及配套日志。研究团队让OpenAI的GPT-6 Astra直接检查和修改Qwen3.5-0.8B的权重,在禁止梯度下降和训练的条件下修补推理循环。原始研究博客标注日期为11月2日;这项工作尚未同行评审,也不是可投入生产的系统。

直接编辑权重与传统训练的边界

研究团队把Weight-Space Programming定义为:通用语言模型围绕自然语言目标直接读取或写入神经网络权重,不由优化器或梯度计算决定改动。八组实验覆盖从权重识别行为、修复失效控制器到写出小型游戏网络等任务。它与微调和重新训练的区别在于改动的决定过程,但公开材料没有证明这种方法可以取代现有训练流程,也没有建立跨模型的通用可靠性。

在Qwen3.5-0.8B实验中,Astra获准在CPU上的Python环境读取和保存权重,并可从GSM8K与MATH训练集选择练习题。研究人员分别给出10次、25次和50次前向计算预算;一次计算可批量处理问题,但评测集不会提供给Astra。实验禁止训练、梯度信息和GPU上的权重优化,最终用MATH-500、GSM8K、IFEval等集合核对改动后的表现。前向计算用于观察和测试候选改动,不等于执行训练更新。

Qwen循环修补的范围与结果

在50次前向计算预算的最强运行中,Astra把重复循环定位到第15层和第19层的多层感知机组件,并对每层64个输出列实施修改。作者把这次操作描述为处理131072个权重,约占0.8B模型的0.016%。这两个数字是研究团队按其口径给出的取整描述,不是外部审计结果;修改针对特定方向和列,没有重建整个网络,也没有使用梯度训练注入新的知识。

按研究团队公布的评测,Qwen在MATH-500上的准确率从7.9%升至48.1%,GSM8K从13.8%升至67.1%,IFEval从21.0%升至62.3%。同一设置下,MATH-500答案触及32768个token上限的比例由93.0%降至33.1%。作者把主要增益归因于模型更少陷入重复并能完成原本中断的答案,公开证据不能支持“数学知识增加六倍”或所有能力同步提高。VentureBeat公开信息核对了核心MATH-500变化,但没有提供独立重跑结果。

小型网络实验与公开日志

其他受控实验提供了不同尺度的结果。Astra仅查看相同结构的权重时,正确识别Breakout、Pong、Pac-Man和Freeway四个网格游戏;在斜坡控制器实验中,一次权重修改让成功数从256次测试中的零次,变为1024次测试全部成功。它还直接写出三种MinAtar网络,Breakout、Seaquest和Asterix得分为517.4、53.1和53.2;与训练5亿步的PPO相比,Astra只在Breakout领先。研究团队没有把这些小型环境结果扩展为大型生产模型结论。

研究团队在GitHub公开了报告所用运行的提示、模型响应、推理摘要、代码及输出、评测记录、最终网络和精确权重差分。仓库说明,发布内容只覆盖博客实际报告的运行,较早提示版本的试验没有收录;部分大型中间材料也未包含,但提供了相应说明。公开日志扩大了外部检查范围,却不等同于已有第三方完成全部复现,也不能证明未公开路径会得到相同结果。

负面结果限制方法外推

负面结果限制了成功案例的外推。在没有严重循环问题的Gemma 3 270M对照中,研究团队没有取得明确的数学提升。另一个实验要求Astra只看两组Gemma权重来辨认谄媚模型,四次尝试均失败;研究人员加入模型运行时的注意力分布后,Astra才在三组配对中判断正确。在这个任务里,仅有权重信息不足,加入运行数据后才成功。实验也没有展示一次改动自动增强后续改动能力的递归循环,不能据此确认递归自我改进已经实现。

目前公开信息尚未回答这种方法在不同架构和规模上能否稳定工作,也没有把直接权重编辑与微调、重新训练或更改采样设置作完整的成本、速度和效果比较。生产环境所需的安全审查、回归测试、版本管理和商业部署均未建立。当前可以确认的是,MIT CSAIL团队在受控条件下完成了一组直接读取、修补和写入权重的实验,并公开了报告范围内的日志与差分;更广泛结论仍缺少同行评审和独立复现。