什么值得做
GitHub 开源项目 · 11-6 写
xingjian-bai/opal · xingjian-bai

让 Claude 在训练途中改写优化器:MIT 一篇论文的代码,21.8 万人看了发布帖,16 天只拿到 345 星

它是什么 一个 PyTorch 小工具:把你的优化器包一层,训练过程中让 Claude Code 隔一阵看看训练数据,动手改学习率、更新规则这些优化器代码。

为什么火了 MIT CSAIL 的牌子加一句好转述的新说法「优化器在训练中改写自己」:作者 X 长帖、导师转发、X 热点词条、Sakana 的 Robert Lange 解读带来第一波,11-02 MIT CSAIL 官方账号推送带来第二波。

C你可以怎么跟 别照着做优化器;把「agent 嵌进一个原本写死规则的组件、边跑边改」的模式搬到门槛更低的地方(数据库调优、爬虫、CI、微调回调),照抄它的「粘给你的 agent 就能装」和不花钱的干跑模式。

C 级:星主要靠 MIT 招牌、导师和学校官方推送,跟进者借不到;而且即使有这些,21.8 万浏览也只换来 345 星,试用门槛高、天花板低,值得学的是思路和打包方式。 小圈子里在传
数据(每天更新) · 建库 2026-10-21 · 358 星 · 7 天 +104
GitHub · 星数
10020030040010-2310-2710-3111-0411-08358
数据 2026-10-23 → 2026-11-08(17 天,17 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有

OPAL 是 MIT CSAIL 博士生白行健(Xingjian Bai)和导师 Vincent Sitzmann 等人发的一项研究附带的 PyTorch 包:用一行代码把你的优化器包起来,训练过程中每隔一段时间让 Claude Code 看一眼训练数据,然后动手改写优化器的源码。它 10 月 21 日建库,到 11 月 6 日有 345 star、21 个 fork(GitHub 每日数字)。发布帖的浏览量很大,star 却不多,中间差的那一截正好说明这类项目的星从哪来。下面讲清楚:它是什么,星是怎么来的,你如果也想做一个能拿星的开源项目,能从它身上抄什么。

10 月 21 日,一条「优化器能不能自己想」的长帖

2026 年 10 月 21 日 UTC 15:59,白行健(X 上叫 @SimulatedAnneal)发了一条 9 段的长帖,配一段 24 秒动画。第一段是这样写的:

Current optimizers are static during training. What if the optimizer could think and react while the network trains? We let an agent watch the training dynamics and rewrite the optimizer's source code as training goes: a reactive optimizer.

收尾一句口气很大:「In the near future, optimization decisions may belong to agents, not humans.」(以后优化上的决定可能归 agent,不归人。)

这条帖子到 11-06 有 21.8 万次浏览、1.5 千赞、1.2 千收藏。导师 Sitzmann(MIT 副教授)当天转发,X 还给它生成了一个热点词条:「MIT's OPAL Lets AI Rewrite Optimizers During Neural Network Training」。第二天,Sakana AI 的 Robert Lange 发长帖解读,拿它跟 Google 的学习型优化器 VeLO 比。同一天作者在 Hacker News 上也发了,32 分、3 条评论,没上首页。

两天下来大约 145 星(10-23 GitHub 数字)。

它是什么

训练一个神经网络,要先定好一套「配方」:用什么优化器、学习率多大、怎么衰减、梯度怎么裁剪。配方开训前就写死了,一直跑到结束都不变。

OPAL 让配方在训练中途变。你照常写训练脚本,只把优化器包一层:

  • 每隔一段时间,它把损失、梯度这些统计交给 Claude Code;
  • Claude Code 决定要不要改写两个小程序:一个是优化器本身(每一步怎么把梯度变成参数更新),一个是它自己想看的分析探针;
  • 能改的东西很多:每组参数的更新规则、学习率和调度、动量、裁剪、防损失突刺,训练到一半局部换成 Muon 也行。模型、数据、损失函数、步数它不许碰。

README 里的结果表:SiT-B/2 图像生成的 FID 从官方配方的 35.7 降到 23.6,LightningDiT-B/1 从 3.22 降到 2.31。它也写了没帮上忙的一次:modded-nanogpt 上一次跑到 3.2878,比原纪录差。每个数字只跑了一次,作者自己说 agent 每次做的决定可能不一样。

成本按博客的说法:LightningDiT 那次训练做了约 100 次决定,按 Claude Opus 5.5 标价花了 $6.42,而那次训练本身要约 74 个 H100 小时(约 $510)。

星是怎么来的:两次推送,两个台阶

日期发生了什么star(GitHub 每日数字)
10-21建库、博客上线、作者 X 长帖、导师转发、X 热点词条、HN 32 分—
10-22Robert Lange 长帖解读;PyPI 当天 310 次下载—
10-23各路 AI 资讯站开始转述145
10-24arXiv 论文挂上181
10-25 到 11-02没有新推送187 → 255,每天 +1 到 +21
11-02MIT CSAIL 官方 LinkedIn(18.4 万关注)和 Facebook 推送,LinkedIn 1,033 个反应255
11-03 到 11-04推送发酵,arXiv 出第二版269 → 327,11-04 单日 +58
11-05 到 11-06回落339 → 345

两个台阶都对得上一次推送:第一次是作者自己加导师,第二次是学校官方账号。中间九天没人推,一天只涨几颗。

另一个数更说明问题:PyPI 上的 opal-optimizer 从 10-22 到 11-05 一共约 976 次下载(pypistats),下载曲线和 star 的尖峰完全同步。仓库里一个 open issue 都没有。看到新闻、pip 装一下试试的人有几百个,真拿它跑训练的人可能就几十个(推断)。

除了 X、LinkedIn 和几十个 AI 资讯站(中文、俄文的都有),没找到别的来源:没有投广告,没上 Product Hunt,也没进大众媒体。

为什么是它

招牌。MIT CSAIL、Sitzmann 署名,学校官方账号直接推。作者本人 GitHub 只有 37 个关注者,另一个有星的库是篇 CVPR 论文的代码,55 星。星不是靠作者自己的 GitHub 攒起来的,是靠学术圈的 X 和 MIT 这块牌子。

一句话讲得清的新说法。「优化器在训练中改写自己的源码」,再叠上「让 Claude 当优化器」,很适合在 X 上转。之前那些「让 AI 自动调训练」的项目,karpathy 的 autoresearch、Sakana 的 AI Scientist、超参搜索,都是在外面跑很多次、比较结果再改;OPAL 只跑一次,在训练中途改。Robert Lange 转它就是因为这一点。

赶上了话题。karpathy/autoresearch 今年 3 月出来,到现在近 10 万星,把「agent 自动做机器学习研究」炒成了热门。OPAL 是这条线上一个新角度。

看完就能试。这一点个人开发者完全抄得到:

  • README 第一屏是一段可以直接粘给 Claude Code、Codex、Cursor 的提示词,让你的 agent 帮你装好、接进训练脚本、先跑一遍对比;
  • backend="keep" 干跑模式不调 agent、不花钱,跑出来和不包装时逐位一致,让人敢先试;
  • opal estimate 开训前先报要等多久、花多少钱,max_cost_usd 设费用上限;
  • opal report 出一页 HTML,把每次改了什么、为什么改都列出来;
  • GPU 机器连不了网,也能让 agent 在笔记本上跑、通过一个共享文件夹传话。

两周迭代到 v0.3.10。论文代码做到这个完整度的不多。

谁在跟它抢

同类规模(GitHub star,11-06)和 OPAL 比
karpathy/autoresearch99,305agent 在外面反复改训练代码、跑很多次比结果;OPAL 只改优化器,一次训练里改
Sakana AI Scientist / v214,949 / 7,444全自动做科研,外环多次评测
OpenEvolve(AlphaEvolve 开源复现)7,717进化搜索算法代码,跨很多次运行
Schedule-Free / Prodigy2,334 / 474规则写死的自适应学习率
WecoAI/aideml1,611机器学习工程 agent,写整套代码
Google VeLO / learned_optimization816用海量元训练把优化器学进网络;OPAL 不训练,靠大模型现想
Optuna / Ray Tune / W&B Sweeps大规模采用超参搜索,要跑很多次

近 60 天新建的仓库里,没有第二个做「agent 在训练里改优化器」的,也没发现抄它的。

如果是你

C。它的「agent 嵌进固定组件」思路和「看完就能试」的打包方式值得抄,但照着它做一个,很难拿到星。OPAL 的星主要来自 MIT 的牌子、导师转发和学校官方推送,这些你借不到。而且就算有这些,21.8 万次浏览也只换来 345 星、不到一千次下载:门槛太高,要有 GPU 训练任务、要有 Claude 账号、要愿意花钱让 agent 插手训练,能试的人本来就少。

适合谁:做机器学习研究或训练工程、手里有现成训练任务的人;或者对某个「规则写死的系统组件」很熟、想做一个 agent 方向开源项目的开发者。

不适合谁:想几周做出一个几千星项目的独立开发者。照着做一个「agent 改优化器」,没有实验结果和论文背书,很难让人信。

怎么做:别跟它比优化器,把它的模式搬到门槛更低、能试的人更多的地方。OPAL 的模式是:找一个原本写死规则的模块,接口只留一两段代码,让 agent 边跑边看边改,再配上干跑、费用上限、改动报告。可以搬的地方:

  • 数据库:让 agent 在线看慢查询、改索引和配置;
  • 爬虫和抓取任务:让 agent 根据失败率改重试、限速和解析规则;
  • 前端构建、CI:让 agent 看构建耗时改缓存和并行策略;
  • 机器学习里离 OPAL 最近的:Hugging Face Trainer 的回调版、数据采样配比、微调任务的学习率,这些用户比「从头训练」的多得多。

每个都照抄它的「复制这段提示词给你的 agent」安装方式和干跑模式。

怎么获客:照它的顺序,但换成你借得到的东西。一段能看懂的前后对比(动画或截图)加一条 X 长帖,第一句话提出一个大家没想过的问题(「为什么配置要在启动前写死?」);发 HN 的标题要像它那样一句说清做了什么;找你那个领域写解读的人转一次。OPAL 自己说明了一件事:浏览量不等于星,试用门槛才是关键,能在笔记本上五分钟跑起来的东西,转化会好得多(推断)。

什么时候之前:「agent 嵌进某个组件里在线改」现在还是新说法,近两个月没看到同类。等 Claude Code、Codex 自己出这种「后台盯着跑」的功能,或者大厂发同类论文,这个说法就不新了。半年内做比较稳(推断)。

什么情况说明看错了:① 11 月以后 OPAL 有人开 issue、有人在别的项目里用它,下载变成每天稳定几十次而不是跟着新闻跳,说明真有人在用,照着做机器学习方向值得给到 B;② 你搬到别的组件上,发出去两周星数还是个位数,说明这个思路离开论文背书就没人买账;③ OPAL 或别人很快出了「通用版」,支持任意组件,这个口子就关了。

---

数据与出处:GitHub 仓库与 star 每日数字(10-23 至 11-06);README 与博客 xingjianbai.com/reactive-optimizers(11-06 读);arXiv 2610.33826;作者在 X 的发布帖(浏览与点赞为 11-06 所见)、X 热点词条、Robert Lange 的解读帖;MIT CSAIL LinkedIn 帖;PyPI 下载数来自 pypistats.org(10-22 至 11-05);Hacker News 帖;竞品 star 来自 GitHub(11-06)。写「推断」的地方是估计。

GitHub 仓库 ↗

研究底稿:竞品表、获客证据、完整研究报告
竞品
名字在哪上线规模它和这家不同在哪
karpathy/autoresearch开源2026-03-0699,305 星agent 外环反复改训练代码、多次实验;OPAL 只改优化器,在单次训练中实时改
Sakana AI Scientist / ShinkaEvolve开源2024-08 / 2025-0914,949 / 1,499 星全自动科研 / 程序进化,外环多次评测,不是插进训练循环的 wrapper
OpenEvolve / Google AlphaEvolve开源2025-057,717 星进化搜索算法代码,跨很多次运行
Google VeLO / learned_optimization开源2021-2022816 星海量元训练把优化器学进权重;OPAL 零样本,元知识来自 LLM 预训练
Schedule-Free / Prodigy 等自适应优化器开源2023-20242,334 / 474 星规则写死的自适应;OPAL 由 agent 推理改写任意更新规则
Optuna / Ray Tune / W&B Sweeps / PBT其他2017-大规模采用超参搜索需多次试验;OPAL 用 LLM token 换 GPU 次数,一次训练
WecoAI/aideml开源2024-041,611 星ML 工程 agent 外环写全套代码
用户从哪来
  • 查实 作者 X 发布线程:@SimulatedAnneal 10-21 九条线程+动画,217.8K 浏览、1.5K 赞、1.2K 收藏
  • 查实 导师背书 + X Grok Trending:Vincent Sitzmann 同日转发;X 热点词条 MIT's OPAL Lets AI Rewrite Optimizers(10-21)
  • 查实 领域大号解读:Robert Lange(Sakana)10-22 长推,对比 VeLO
  • 查实 MIT CSAIL 官方社媒:11-02 CSAIL LinkedIn(18.4 万关注)1033 反应/34 评论 + Facebook 视频,对应 11-03~04 星数 +14/+58、PyPI 当日 132 次
  • 查实 AI 资讯聚合站:aiheadlinehub、glonce、AISignal、TheNextGenTechInsider、airebao、arxivdaily 等 10-23~11-04 转述
  • 查实 HN:10-21 帖 32 分 3 评论,未上首页(hackernews 库)
  • 查实 arXiv / alphaXiv:2610.33826,10-24 v1,11-04 v2

xingjian-bai/opal(OPAL,Reactive Optimizers)研究报告

渠道:GitHub。研究日:2026-11-06。数据卡:建库 2026-10-21,今天 345 星、21 fork,近 7 天 +102,前 7 天 +98,单日最高 +58(11-04),最新 release v0.3.10。

一句话

OPAL 是 MIT CSAIL 博士生白行健(Xingjian Bai,导师 Vincent Sitzmann / Kaiming He / Phillip Isola)发的一篇研究(博客 + arXiv 2610.33826,作者 Bai、Jia-Hao Liang、Jayden Teoh、Vincent Sitzmann)附带的 PyTorch 包:一行 opal.wrap(opt, model, ...) 包住你的优化器,训练过程中隔一阵让 Claude Code 读训练统计,重写两个小程序(updater.py 更新规则、analysis.py 自定义探针),也就是让编码 agent 在单次训练中途实时改优化器源码。

结论:它是一个「学术发布事件」驱动的研究代码库,不是自己跑出来的产品。 星数来自三个脉冲:10-21 作者 X 长推(21.8 万浏览)+ 导师转发 + X 官方 Grok Trending 词条;10-22 Robert Lange(Sakana)长推解读;11-02 MIT CSAIL 官方 LinkedIn / Facebook 账号推送(LinkedIn 1033 反应、34 评论)带来 11-03~04 的第二波(+14、+58 星)。差异化(agent 在训练「内环」里改优化器代码,而非外环调参)是它被转发的理由,但实际采用量很小:PyPI 下载两周不到一千次。

1. 数据(GitHub 库 / PyPI)

日期星日增事件
10-210—建库、博客上线、作者 X 长推、HN 帖 32 分
10-22?—Robert Lange X 长推;PyPI 当日 310 次下载
10-23145—头两天约 145 星(我们库从这天开始有数)
10-24181+36arXiv v1 提交(10-24);媒体/聚合站陆续转
10-25~11-02187→255每天 1–21长尾
11-03269+1411-02 MIT CSAIL LinkedIn/Facebook 官方推送;PyPI 当日 132 次
11-04327+58arXiv v2(11-04);CSAIL 推送持续发酵
11-05~06339→345+12, +6回落

来源:我们 github 库 repo_day(2026-11-06 查);PyPI 下载来自 pypistats.org opal-optimizer(去镜像):10-22 至 11-05 合计约 976 次,上周 236 次,昨日 10 次。下载曲线和星数脉冲完全同步(10-22、10-29、11-03 三个尖),说明是「看到新闻→pip 试一下」,不是持续使用。open_issues=0、fork 21,也说明还没有真实用户群在提问题。

作者自己 GitHub 上另一个有星的库是 sparse-causal-diffusion(55 星,CVPR 2026 论文代码),本人 GitHub 37 个关注者——起量不是靠作者 GitHub 粉丝,而是靠学术圈 X 和 MIT 品牌。

2. 竞品 / 同类

「让 AI 自动调训练」这件事有很多人做,但大多在外环(跑很多次、搜配方),OPAL 是在单次训练内环里改代码:

名称形态上线规模和 OPAL 的区别
karpathy/autoresearch开源2026-03-0699,305 星(我们库 11-06)agent 在外环反复改 nanochat 训练代码、跑实验比结果;OPAL 只改优化器,一次训练内实时改,不重跑
Sakana AI Scientist / v2、ShinkaEvolve开源2024-08 / 2025-04 / 2025-0914,949 / 7,444 / 1,499 星全自动科研 / 程序进化,外环多次评测;不是插进训练循环的 wrapper
OpenEvolve(AlphaEvolve 开源复现)/ Google AlphaEvolve开源 / 大厂2025-057,717 星进化搜索算法代码,同样跨很多次运行
Google VeLO / learned_optimization开源(学习型优化器)2021–2022816 星用海量元训练把优化器学进网络权重;OPAL 零样本、元知识来自 LLM 预训练(Robert Lange 的比较)
Lion(Google 符号搜索发现的优化器)论文 / 大厂2023广泛采用离线搜出一个固定优化器;OPAL 运行中不断改写
Schedule-Free、Prodigy、D-Adaptation开源优化器2023–20242,334 / 474 星用写死的规则自适应学习率;OPAL 让 agent 推理着改
PBT / Optuna / Ray Tune / W&B Sweeps开源 / 商业2017–大规模超参搜索,要多次试验或多份 worker;OPAL 只需一次训练 + LLM token
WecoAI/aideml开源 / 商业2024-041,611 星ML 工程 agent,外环写全套代码

我们的 github 库里搜近 60 天新建、简介含「agent + optimizer / reactive optimizer / LLM 调学习率」的库,除 OPAL 外没有同概念库(最接近的是 bertaye/agentic-cuda-optimizer,37 星,优化 CUDA kernel,不是一回事)。

3. 增长手段(证据)

  1. 作者 X 发布长推(确认):@SimulatedAnneal 10-21 发 9 条线程 + 24 秒动画,217.8K 浏览、1.5K 赞、273 转、1.2K 收藏(https://x.com/SimulatedAnneal/status/2112936831398375800)。
  2. 导师背书 + X Grok Trending 词条(确认):Vincent Sitzmann(MIT 副教授)同日转发;X 生成了「MIT's OPAL Lets AI Rewrite Optimizers During Neural Network Training」热点词条(https://x.com/i/trending/2112982610112926003)。
  3. 领域大号解读(确认):Robert Lange(Sakana AI)10-22 长推,把它与 Luke Metz 的 VeLO 学习型优化器对比(https://x.com/RobertTLange/status/2113352327042117692)。
  4. MIT CSAIL 官方账号推送(确认):11-02 CSAIL LinkedIn(18.4 万关注,1033 反应 / 34 评论)和 Facebook 视频;对应 11-03~04 星数和 PyPI 下载第二波。合作者 Jayden Teoh 也在 LinkedIn 发了帖。
  5. AI 资讯聚合站 / 自动化新闻站(确认):aiheadlinehub(10-23)、glonce、AISignal、ai-dailynews、TheNextGenTechInsider、AGI Hunt、airebao(中文)、iitog(俄文)、arxivdaily(中文)等,大多是 10-23~11-04 的转述;YouTube Shorts、Instagram 也有转帖。
  6. HN(确认,但量小):10-21 「Reactive Optimizers: rewrite the optimizer's source code during training」32 分 3 评论,没上首页(我们 hackernews 库)。
  7. arXiv / alphaXiv(确认):10-24 提交、11-04 v2,学术流量入口。
  8. 产品内的「让你的 agent 帮你装」提示词(确认):README 首屏给一段可复制给 Claude Code / Codex / Cursor 的安装 prompt,降低试用门槛;这是转化手段,不是获客手段。

没有找到广告、达人投放、Product Hunt 发布的证据。

4. 为什么跑出来(其实是:为什么被看见)

  • 作者 + 实验室品牌:MIT CSAIL、Sitzmann 署名,作者是 Kaiming He 组相关学生;CSAIL 官方账号直接推,学术圈 X 上自带分发。
  • 概念够「新」且一句话讲得清:「优化器自己会思考、训练中重写自己的源码」,叠加「Claude Opus 当优化器」这个话题,天然适合 X 传播和 Grok 热点。
  • 结果有可秀的数字:SiT-B/2 FID 35.7→23.6、LightningDiT-B/1 3.22→2.31、modded-nanogpt 记录 #36 微幅超过,且坦白写了失败的一次(3.2878),可信度和讨论度兼得。
  • 时机:2026 年 karpathy/autoresearch(近 10 万星)把「agent 自动做 ML 研究」做成热门话题,OPAL 是这条线上「内环」的新变体;同期 MIT CSAIL 另一项 weight-space programming(GPT-6 Astra 改权重)也在 11-02~03 上热点(X 上 5.28 万帖),MIT 「AI 改 AI」叙事集中曝光。
  • 工程完整度高于一般论文代码:PyPI 包、opal doctor / estimate / report / compare CLI、backend="keep" 位级一致的干跑、费用上限、DDP、无网 GPU 机的 mailbox 中转,两周迭代到 v0.3.10——让「看完能马上试」成立。

5. 差异化,以及是不是起量原因

差异化:agent 在单次训练的内环里、以代码为接口改优化器(per-param-group 更新规则、学习率中途上调、局部换 Muon、bf16/fp32、动量重置、坏 batch 屏蔽),零元训练、零跨运行记忆;对比 autoresearch / AI Scientist / 超参搜索都是外环多次运行,对比 VeLO 是要海量元训练。这正是 Robert Lange 等人转发的理由,所以差异化是它被讨论的原因;但星数规模(345)和下载量(约千次)说明它只在 ML 研究圈传播,还谈不上「跑出来」。实际使用门槛也高:要 GPU 训练任务 + Claude Code 账号 + 能接受训练等 agent(每次决策约 40 秒)和 token 费用。

6. 可见度与跟风

  • 可见度:小圈子里在传。ML 学术圈 X(21.8 万浏览的发布推、Grok 热点、Robert Lange)、MIT CSAIL 官方账号、几十个 AI 资讯站都写过;但不是商业产品,没有收入,也没进大众媒体(没找到 MIT News 正式稿,未核实)。
  • 跟风:我们 github 库近 60 天没有同概念的新库;没发现抄的。

7. 可借鉴

  • 学术成果「产品化」发布:博客交互动画 + X 线程 + 可 pip 安装的包 + 一段「复制给你的 coding agent」的安装 prompt,把「读论文」直接转成「试一下」。
  • 把 agent 嵌进已有算法的某个可替换模块(这里是 torch.optim),接口是两段代码,而不是让 agent 管整个流程——这个模式可以搬到别的「固定规则的系统组件」(调度器、缓存策略、数据采样、编译器参数)。
  • 安全感设计:干跑位级一致、费用上限、opal estimate 先报时间和钱,降低第一次试用的心理门槛。

8. 不确定

  • 真实使用量:PyPI 约 976 次下载(含 CI、好奇试装),没有 issue,真实训练中用的人可能只有几十个;未核实。
  • 结果可复现性:多数实验只跑一次,agent 每次可能做不同决定(作者自述)。
  • 11-04 的 +58 主要归因于 CSAIL 官方推送和 arXiv v2,两者都在那两天,具体占比无法分开。
  • 头两天(10-21~22)的星数没有逐日数据,只知道 10-23 已有 145。

出处

文章由 AI 根据公开数据和我们每天采集的数据写成,数字带出处,推断已标明