MIT CSAIL 团队称 GPT-6 Astra 无需训练即可直接改写模型权重,数学成绩最高涨至 6 倍

改掉 0.016% 的权重,数学成绩翻倍

11 月 3 日(北京时间),一组来自 MIT CSAIL 的研究者在多篇文章与社交媒体帖子中公布了他们的「权重空间编程」方法。据团队博士生 Rikiya Takehi 及其同事介绍,这一方法让 GPT-6 Astra 在不进行任何训练、不计算梯度的情况下,直接读取并修改另一个神经网络的权重。

研究者给出的实验对象是小型模型 Qwen3.5-0.8B。据称,GPT-6 Astra 只改动了其中约 0.016% 的权重(131072 个参数),该模型在 MATH-500 上的成绩就从 7.9 提高到 48.1,GSM8K 从 13.8 提高到 67.1,指令遵循能力提升 3 倍。

成绩数字全部来自研究者一方

需要指出的是,上述各项成绩均由研究者自己报告,目前尚无独立复现结果或第三方验证公开。若方法属实,模型能力的调整将可以绕过微调流程,直接作用在权重本身。

MIT CSAIL 团队称 GPT-6 Astra 无需训练即可直接改写模型权重,数学成绩最高涨至 6 倍

这一消息在当天得到了多方转述。11 月 3 日凌晨 4 时 17 分,Rohan Paul 发帖提及该研究;早上 5 时 37 分,OpenAI 开发者体验团队成员、负责 Codex 相关工作的 Dominik Kundel 在社交平台转述了「GPT-6 Astra 直接改写模型权重」一事并称赞其效果,但并未提供任何新的验证信息;早上 8 时 35 分,indigo 也发帖介绍了同一研究。

当天上午 10 时,IT之家报道了这一事件;中午 12 时 35 分,Latent Space 发文,标题中把这一方法与「将 Autoresearch 移出 RSI 循环」联系在一起。目前各公开报道中的成绩数字均出自研究者一方。

方法仍待验证

截至发稿,MIT CSAIL 团队尚未公布可独立核验的数据或第三方评估,也没有其他机构宣布复现该结果。事件页持续更新中,后续验证情况有待观察。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。