
36 种「下一代 Transformer」同一把尺子比一遍:一个港大博一学生的开源排行榜,9 天 390 star
它是什么 一个开源训练框架加公开排行榜:几十种新的大模型结构用同样的数据、同样的算力训练,看谁真的更好,还能让 AI agent 自己提新结构上榜。
为什么火了 踩中 2026 年秋天的「下一代架构」热,开源当天就拿出几百 GPU·天跑出的「谁赢了」结论,再靠作者和队员在小红书、X、微信群同时发布、用「300 star 解锁 28 天更新」持续拉人回来。
C你可以怎么跟 别在大模型架构上照抄;挑一个便宜得多、又正热、论文各说各话的方向(agent 框架、RAG、量化、采样器),先跑完一批同预算成绩再开源,第一句话给反直觉结论,发布当天几个人一起转。
- 数据(每天更新) · 建库 2026-10-31 · 483 星 · 7 天 +75
GitHub · 星数 数据 2026-11-02 → 2026-11-20(19 天,19 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有
港大 MMLab 一位博一学生拉了 7 个博士生,把注意力、稀疏、线性、循环、残差、混合六大类 36 种模型结构放在同一份数据、同样的训练算力下各训了一遍,把成绩做成网站和排行榜开源。最热的「循环 Transformer」在这张榜上全部输给了普通基线。它靠真算力跑出的成绩、对上的时机和一套中文学术圈的发布打法,9 天拿到约 390 star。下面说清楚它凭什么起来、star 从哪来,以及你想做一个同样能拿 star 的项目,能抄什么、抄不了什么。
11 月 1 日中午的一条帖子
2026 年 11 月 1 日北京时间 13:14,苏越(Yue Su,X 上 @Selen7005717917,简介挂着港大 MMLab、字节 Seed、上交 MVIG)发了一条长帖,第一句是:
Which Transformer architecture will win in the next era?(下一个时代,哪种 Transformer 结构会赢?)
下面分五段讲:36 个模型共用一个训练器;所有模型同数据、同 token、同优化器,训练算力对齐到 1% 以内并全程审计;31 组跑完的结果可以回放;一台 8 卡机 2–4 天能训一个约 14 亿参数的模型;最后一条是「把 Arena 任务交给任何大模型,它提出的结构按同样规则训练、上同一张榜」。帖子结尾一句「链接在回复里,二维码在第一张图」。
这条帖子到 11-08 只有 2,136 次浏览、25 个赞(X,经 fxtwitter 查)。真正的发布在另一边:42 分钟后,苏越在小红书(账号「selen」,1,836 粉,比他的 X 粉多一倍多)连发两条笔记,两位队员「风里风」「Ä」同时跟发,两小时内 4 条,标题里最传得开的一句是「36 种 llm 架构,终于能公平比较了」。
仓库是 10-31 建的,到 11-09 有 393 star、31 个 fork。
它到底是什么
一个开源的训练框架加一张公开排行榜(MIT 协议)。痛点写在 README 第一句:训练预算固定时,一个语言模型该怎么花它的算力? 每篇架构论文用自己的数据、步数和评测,「是结构好还是训得多」说不清。NextTransformer 的做法是把变量全锁死:同一份数据(karpathy 的 ClimbMix),同样 49.152B token,每个 token 的理论训练算力对齐(约 4.67 GFLOPs),在同样的检查点评测 22 项 CORE 基准。参数量、显存、速度都是结果,不是控制项。底座是 karpathy 的 nanochat,线性注意力的算子直接用 flash-linear-attention。
成绩单是它最能传播的部分。11-08 排行榜上 36 组,挑几行(CORE 越高越好,和全注意力基线比):
| 结构 | 类别 | CORE | 比基线 |
|---|---|---|---|
| AttnRes-Canon | 残差 | 35.99 | +2.90 |
| mHC | 残差 | 35.33 | +2.23 |
| 混合 GDN + SWA | 混合 | 33.66 | +0.57 |
| 全注意力基线 | 基线 | 33.10 | — |
| Fixed Recursive(循环里最好的) | 循环 | 32.45 | −0.65 |
| Gated DeltaNet | 线性 | 30.55 | −2.55 |
| Ouro | 循环 | 27.70 | −5.40 |
(项目排行榜页,11-08)
8 种循环结构全部排在基线下面。作者自己在表下写了一句很老实的话:每组只跑了一个种子、在不同机器上训,「排序是观察,不是统计结论」。但对读者来说,「同算力下,大家最近在吹的 looped 没赢」这个结论已经够转发了。
另一半是 Arena:给 agent 一份任务书,让它自己提新结构,按同样规则训练、上同一张榜。完整版 Arena v2 承诺 11-14 上线。
为什么是现在
2026 年秋天,「下一代架构」是大模型圈最热的话题。9 月 GPT-6 Astra 发布后,Sebastian Raschka 9-09 写长文讲 looped transformer;11-02 商汤开源 Loop-9B;混合线性注意力(GDN、KDA、Qwen3-Next 那一路)已经是各家技术报告的常客。热词很多,但没人拿同一把尺子量过。NextTransformer 把 Ouro、AttnRes、mHC、GDN、KDA、NSA、MoBA 一次收齐,开源当天就给出「谁赢了」。
它还站在 karpathy 的生态上:nanochat 底座、ClimbMix 数据、Arena 的概念对应 autoresearch(10 万 star)。看过那两个项目的人,一眼就懂这是什么。
star 从哪来
GitHub 每天的 star 数:
| 日期 | star | 当天新增 |
|---|---|---|
| 11-02 | 89 | — |
| 11-03 | 165 | +76 |
| 11-04 | 200 | +35 |
| 11-05 | 275 | +75 |
| 11-06 | 315 | +40 |
| 11-07 | 346 | +31 |
| 11-08 | 374 | +28 |
| 11-09 | 393 | +19 |
没有一个爆点,前几天每天几十个,之后一路往下。来源能看到的是这几路:
- 小红书是主场。首发那天 4 条笔记合计约 250 赞;之后作者一直在发:11-05「400B Tokens 预训练,邀你一起定方案」(66 赞、23 条评论,评论最多的一条)、11-06「28 天更新计划」、每天一条 Day 1、Day 2。苏越之前就在小红书经营「港大博士做 AI」,上一个项目的笔记也有一百多赞。
- X 量很小。首发帖 2,136 浏览;11-03 的跟帖「今天加了 DeltaNet + GDN,今晚开 Discord,300 star 意味着 28 天更新计划开始」1,215 浏览。没找到大号转发。
- 微信群和 Discord。帖子首图、小红书海报、README 都放了二维码。群里转了多少,外面看不到。
- 团队 7 个人各自的实验室(推断)。贡献者分布在港大 MMLab、清华、中科院自动化所、东京大学、上交;早期 fork 的人集中在上交、浙大、中科院计算所。每人在自己的群里转一下,和这条「每天几十个、没有尖峰」的曲线对得上。
- 自动抓 GitHub 新库的聚合站:xiaodu.blog(11-01)、向上研究所日报第 3 名(11-03,编辑原话「解决了当前架构论文无法公平比较的顽疾」)、AiBoss(11-04)等,长尾。
没有的:Hacker News、Reddit、知乎、B 站、量子位机器之心这类公众号、GitHub trending(建库不满 60 天上不去)。所以 390 star 基本是一个中文学术小圈子自己转出来的。
发布后它一直在制造回来看的理由:「300 star 开启 28 天更新」、11-14 Arena v2、200B / 400B token 的公开征集方案(GitHub Discussions #22)。外面的人也开始往里加东西:意大利开发者提了 Gated Attention,有人做了多模态分支 NextTransformer-V,北大一个组的工具把基线训练提速 1.99 倍。这些都被放进 README 的「社区项目」卡片,给贡献者露脸。
谁在做同样的事
| 项目 | 规模(11-08) | 和它的不同 |
|---|---|---|
| karpathy/autoresearch | 9.96 万 star | 让 agent 在单卡上自动做研究,不限方向、不对齐算力 |
| karpathy/nanochat | 6.04 万 star | 它的底座,做端到端小模型,不比架构 |
| KellerJordan/modded-nanogpt | 6,000 star | 比 1.24 亿参数模型达到目标 loss 的墙钟时间,速通赛 |
| openai/parameter-golf | 5,200 star | 限模型体积 16MB 比效果 |
| fla-org/flash-linear-attention | 6,000 star | 线性注意力算子和训练框架,没有公开榜 |
| InternLM/archspace | 89 star | 方向最近的架构探索库,但没有同协议的大规模成绩 |
(GitHub,11-08)
速通赛比时间,体积赛比大小,算子库只给零件。「固定算力、几十种新结构、全程审计、带网站的排行榜」目前没有直接对手,也没发现照着做的。
抄得走的和抄不走的
抄不走的是成绩。每组 14 亿参数、490 亿 token,一台 8 卡机跑 2–4 天,31 组算下来约 500–1,000 GPU·天(估),数据要先下 600GB。算力从哪来作者没说(字节 Seed 实习、港大集群,还是别处,未核实)。形式一周能搭出来,没有成绩的排行榜没人转。
抄得走的有三样:
- 形态:「同条件排行榜 + 模型动物园 + 能回放的网站 + 让 agent 来打榜」。任何「论文各说各话」的领域都能搬:强化学习算法、扩散模型采样器、推荐模型、agent 框架、RAG 方案、量化方法。很多领域跑一组只要单卡几小时。
- 开源当天就有结论。先把成绩跑完再发,第一句话就是「X 输了、Y 赢了」,而不是「欢迎大家来跑」。
- 中文学术圈的发布打法:主号加队员同一时段在小红书发、海报带二维码拉群、「多少 star 解锁更新计划」、公开征集下一阶段方案、把外部贡献写进 README。
还要看到它的天花板:没有大号、没有英文社区接力,9 天 390 star 之后每天只剩十几二十个。11-14 的 Arena v2 和 400B token 计划能不能按时出,决定它是一波发布热度,还是变成一个长期被引用的基准。
如果是你
判断:C。 能学到东西,照着做不划算。在原领域跟它,拼的是几百 GPU·天的算力和一个实验室的背书,跟进者拿不到;换个领域做「同一把尺子」排行榜可以,但这一类项目的 star 量级就是几百,它占了时机、有团队、有算力,也只做到 9 天 390。
适合谁:在读博士或实验室里的人,手上有一块别人说不清「谁好」的研究方向,有现成的算力或集群额度,有一个小圈子(实验室群、小红书、X)能在发布当天一起转。
不适合谁:没有算力、想在大模型架构上照抄一个榜的个人开发者;没有发布渠道、指望 GitHub 自然流量的人(建库不满 60 天上不了 trending,star 全靠第一周的转发)。
怎么做:挑一个比 LLM 预训练便宜两个数量级、又正在热的方向(agent 框架、RAG、小模型量化、强化学习后训练配方、扩散采样器),定一份固定预算的协议,先自己跑完 15–30 组,带上「谁赢了、谁输了」的结论和一个能回放曲线的网站再开源;留一个让 agent 自动提方案、同规则打榜的入口,对上 autoresearch 的叙事。
怎么获客:第一句话就是反直觉的结论(「同样预算下,最火的 X 没赢」);中文圈走小红书,主号加 3–4 个合作者同一时段发,海报带二维码拉群;英文圈要比它多做一步,找一两个领域内有粉的研究者提前看结果、发布当天转。发布后每隔两三天放一组新结果,别让曲线第三天就掉下来。
死线:「下一代架构」的热度在 2026 年秋天,换领域做的话,要在你选的那个方向最热的一两个月里发;LLM 架构这条线,11-14 Arena v2 之后它会更难被追。
算看错:① 11-14 之后 Arena v2 按时上线、每天 star 重新回到 50 以上,或被 karpathy 这类大号转发——说明「同一把尺子」本身能做出几千 star,值得认真做(等级该往上调);② 反过来,两周内每天新增掉到个位数、28 天更新计划断更——说明它只是一次发布热度,形态本身没有长期吸引力;③ 有大厂或 HF 官方出了同口径的公开架构榜——这个位置就被占了。
研究底稿:竞品表、获客证据、完整研究报告
- 竞品
名字 在哪 上线 规模 它和这家不同在哪 karpathy/autoresearch 开源 2026-03-06 99.6k star 通用 agent 自动研究、单卡 nanochat、不对齐算力;NextTransformer 只做架构、同 FLOPs 同 token 打榜 karpathy/nanochat 开源 2025-10-13 60.4k star 是 NextTransformer 的底座,做端到端小模型,不做架构横评 KellerJordan/modded-nanogpt 开源 2024-06-01 6.0k star 比 124M 模型达到目标 loss 的墙钟时间;NextTransformer 固定理论 FLOPs、1.4B / 49B 规模、按架构族比 openai/parameter-golf 开源 2026-02-09 5.2k star 限制模型体积 16MB 的比赛,约束维度不同 fla-org/flash-linear-attention + flame 开源 2023-12 / 2025-01 6.0k / 426 star 线性注意力 kernel 和训练框架(NextTransformer 直接用它的 kernel),没有统一协议和公开排行榜 InternLM/archspace 开源 2026-07-21 89 star 方向最近的架构探索知识库,但没有同协议大规模训练成绩 HazyResearch/zoology / erogol/BlaGPT / google-deepmind/simply 开源 2023–2025 291 / 118 / 590 star 合成任务或小数据的架构试验场 / 研究代码库,没有算力审计和网站化榜单 yifanzhang-pro/recurrent-looped-tranformer、sandyresearch/parcae 开源 2026-09 / 2026-02 1,141 / 191 star 单一 looped 方法的实现;NextTransformer 把这类方法当选手收进来比 各家内部消融(Qwen3-Next、Kimi AttnRes、商汤 Loop-9B 等) 大厂功能 2025–2026 不公开 大厂内部有同类对比,但不公开同口径成绩 - 用户从哪来
- 查实 小红书:11-01 05:56–07:54 UTC 作者 selen 和队员风里风、Ä 连发 4 条(81/113/20/33 赞);之后 RFC 帖 66 赞 23 评论、28 天更新计划 Day 1/2;作者 1,836 粉(TikHub)
- 查实 X:11-01 作者首发长帖 2,136 浏览 25 赞 13 收藏,首图带二维码;11-03 跟帖「300 star 开启 28 天更新计划、今晚放 Discord」1,215 浏览(fxtwitter);没找到大号转发
- 查实 微信群 / Discord:README 社区区放 Discord 永久链接和微信群二维码,海报带二维码;公众号搜索没有相关文章
- 推断 团队七人各自的实验室圈子:贡献者来自港大 MMLab、清华、中科院自动化所、东京大学、上交;早期 fork 集中在上交、浙大、中科院计算所;star 曲线没有单一爆点、连续 4 天 50–80
- 查实 自动聚合站:xiaodu.blog 11-01、向上研究所 11-03 日报第 3、AiBoss 11-04、AISignal 11-06、Kapyn、Vigía
- 查实 karpathy 生态借势:致谢写明基于 nanochat、用 karpathy/climbmix-400b-shuffle,Arena 对应 autoresearch 概念
Interactive-Active-AI/NextTransformer:把 36 种「下一代 Transformer」放到同一算力下比一遍
研究日期 2026-11-08。仓库 github.com/Interactive-Active-AI/NextTransformer ,观测站 interactive-active-ai.github.io/NextTransformer/ ,MIT。
一句话结论
NextTransformer 是港大 MMLab 博一学生苏越(Yue Su,X @Selen7005717917,小红书「selen」)牵头、7 个来自港大 / 清华 / 中科院自动化所 / 东京大学 / 上交的博士生一起做的开源框架、基准和排行榜:把注意力、稀疏、线性、循环(looped)、残差、混合六大类 36 种结构放在同一份数据、同样 49.152B token、训练算力对齐到 ±1% 的条件下训练,公开了 31 组跑完的结果。它 9 天拿到约 390 star,靠的是三件事叠在一起:题目对上了 2026 年秋天的架构热(GPT-6 Astra 带火的 looped transformer、商汤 Loop-9B、各家混合线性注意力);手里有真算力跑出的成绩(每组 1.4B 参数、8 卡 2–4 天,31 组算下来约 500–1,000 GPU·天,这是小团队最难抄的部分);发布动作是中文学术圈的小红书 + X + 微信群打法(作者小红书 1,836 粉,发布当天作者和两位队员连发 4 条笔记,配二维码海报,再用「300 star 开启 28 天更新计划」做持续话题)。量不大,X 首发帖只有 2,136 次浏览,没上 HN、Reddit、Trendshift 前 25,也没有大号或正经媒体报道,属于小圈子里在传。
1. 数据
- GitHub 星数(我们的 github 库 repo_day / 数据卡):2026-10-31 07:46 UTC 建库;11-02 第一次观测 89 → 11-03 165 → 11-04 200 → 11-05 275 → 11-06 315 → 11-07 346 → 11-08 374 → 11-09 393。7 天涨 304,单日最高 76。fork 31,fork/星约 8%,
suspect为空。 - Trendshift 按天的涨星(https://trendshift.io/repositories/330637):11-01 +78、11-02 +67、11-03 +48、11-04 +70、11-05 +36、11-06 +28、11-07 +31、11-08 +15。10 天合并 22 个 PR。没进 Trendshift 前 25;建库不满 60 天,GitHub trending 也上不了(我们库的经验规律)。增速已明显回落。
- 贡献者(GitHub API):yitianlian(谢承兴)25、Selen-Suyue(苏越,简介写 ByteDance-Seed / HKU-MMLab / MVIG-SJTU)24、ggeeyyi(清华)13、Xiangnan-Wu(中科院自动化所)5、Xiangyue-Zhang(东京大学,腾讯实习)4、xjxyys(港大 MMLab)3、henry-y 3。22 个合并 PR 里绝大多数是核心团队自己提交的。外部参与:matteodisalvo(意大利)提了 Gated Attention 方法(issue #12 / PR #13)、SnifferCaptain 提 YOCO(#19)、Enderfga 做了多模态分支 NextTransformer-V(#14)、henry-y / 北大 DAGroup 的 ResearchBoost-Agent 做训练加速(dense_full 8 卡 1.99 倍,PR #26)、drewjin(上交)提 issue #8。
- fork 的人(GitHub API):前几个 fork 都是团队成员和上交、浙大、港大、中科院计算所的学生,另有十来个 0 粉新号,看不出刷量,更像是学术圈口口相传。
- stargazer 明细:这次 GitHub 接口返回 404 / 要求鉴权,拿不到,所以没法按 star 的人做来源画像(未核实)。
- 组织:Interactive-Active-AI 2026-08-02 注册,3 个公开库:NextTransformer 394、OneWM 92(2026-10-15,作者的世界模型论文,arXiv 2610.21095)、Aha-Looped-Transformer 38(2026-09-15,looped transformer 图谱)。HF 上有同名组织 NextTransformer(6 个成员,0 个模型)。
2. 竞品(做同一件事的)
| 名称 | 在哪 | 上线 | 规模 | 和 NextTransformer 的不同 |
|---|---|---|---|---|
| karpathy/autoresearch | 开源 | 2026-03-06 | 99.6k star | 让 agent 在单卡 nanochat 上自动做研究,不限方向、不对齐算力;NextTransformer 的 Arena 专做架构、按同一 FLOPs 和 49B token 判输赢 |
| karpathy/nanochat | 开源 | 2025-10-13 | 60.4k star | NextTransformer 的底座(致谢里写明基于 nanochat、用 karpathy 的 ClimbMix);nanochat 是端到端「100 美元的 ChatGPT」,不做架构对比 |
| KellerJordan/modded-nanogpt | 开源 | 2024-06-01 | 6.0k star | 速通排行榜:比 124M 模型达到目标 loss 的墙钟时间;NextTransformer 固定算力比效果、规模到 1.4B / 49B,并按架构族组织 |
| openai/parameter-golf | 开源比赛 | 2026-02-09 | 5.2k star | 限制模型体积(16MB)比效果;约束维度不同 |
| fla-org/flash-linear-attention + fla-org/flame | 开源 | 2023-12 / 2025-01 | 6.0k / 426 star | 线性注意力 kernel 和训练框架,NextTransformer 直接用了 FLA 的 kernel;FLA 不提供同算力的公开排行榜 |
| InternLM/archspace | 开源(上海 AI Lab) | 2026-07-21 | 89 star | 「把架构探索变成可复用知识」,方向最近,但没有同协议大规模训练的成绩单 |
| HazyResearch/zoology、erogol/BlaGPT、google-deepmind/simply | 开源 | 2023–2025 | 291 / 118 / 590 star | 合成任务或小数据集的架构试验场 / 研究代码库;没有统一算力审计和网站化排行榜 |
| yifanzhang-pro/recurrent-looped-tranformer、sandyresearch/parcae | 开源 | 2026-09 / 2026-02 | 1,141 / 191 star | 单一方法(looped)的官方实现;NextTransformer 把它们这类方法当选手收进来比 |
| 论文侧:SMELT(arXiv 2609.01343,同 FLOPs 比 MoE looped 的 scaling law)、各家技术报告里的消融 | 论文 | 2026-09 等 | — | 一篇论文一套配置,横向没法比——这正是 NextTransformer README 第一句的痛点 |
| 大厂功能 | — | — | 没有对应产品 | 各家(Qwen3-Next、Kimi AttnRes、商汤 Loop-9B)都在内部做同类对比,但不公开同口径成绩 |
结论:「同算力、同数据、公开审计、覆盖几十种新架构的排行榜 + 网站」目前没有直接对手;相近的要么是速通 / 体积类比赛(modded-nanogpt、parameter-golf),要么是 kernel / 训练框架(FLA),要么是通用 auto-research(autoresearch,10 万 star,热度在它那里)。
3. 增长手段(用户从哪来)
- 小红书(确认,最主要的中文渠道)。TikHub 搜「NextTransformer」:11-01 05:56–07:54 UTC 两小时内连发 4 条——作者「selen」两条(81 赞 43 藏、113 赞 68 藏)、队员「风里风」(20 赞,「我们开源了 NextTransformer」)、队员「Ä」(33 赞 19 藏,「36 种 llm 架构,终于能公平比较了」)。之后作者持续发:11-05「400B Tokens 预训练,邀你一起定方案」RFC(66 赞、23 评论,是评论最多的一条)、11-06「28 天更新计划」、11-06 Day 1 多模态、11-07 Day 2。社区成员 Henry 11-07 发了「RBA×NextTransformer」(15 赞)。作者小红书 1,836 粉,比 X 粉多一倍多,之前的帖子(GPT6 操纵真机 112 赞、OneWM 101 赞)说明他一直在小红书经营「港大博士做 AI」的人设。
- X(确认,但量小)。11-01 05:14 UTC 首发长帖(https://x.com/Selen7005717917/status/2116760739826565464 ,经 fxtwitter 接口:2,136 浏览、25 赞、5 转、13 收藏),首图带二维码;11-03 跟帖「300 star 意味着 28 天更新计划开始,今晚放出 Discord」(1,215 浏览)。作者 X 粉 798。Trendshift「Social mentions」只收录到这 1 条帖子。没找到大号转发(本地 X 语料 x-radar 搜不到任何提及,Brave 搜 x.com 也没有)。
- 微信群 / Discord(确认存在,量未知)。README「社区」放了 Discord 永久链接和微信交流群二维码页;X 首图、小红书海报都带二维码。微信搜一搜(TikHub)没搜到公众号文章。
- 团队成员各自的学术圈(推测,有间接证据)。7 个贡献者分布在港大 MMLab、清华、自动化所、东京大学、上交 MVIG,苏越自己还挂着字节 Seed;早期 fork 的人集中在上交、浙大、中科院计算所。Xiangyue Zhang 把它写进了个人主页的 publications。这种「每人在自己实验室群里转一下」的扩散在数据上看不到,但符合 star 曲线:没有一个爆点,连续 4 天每天 50–80。
- 自动聚合站(确认,长尾)。xiaodu.blog(11-01,中文解读)、向上研究所 amazingindex(11-03 日报第 3 名,推荐指数 75)、AiBoss(11-04,中英日三语)、AISignal(11-06,内容明显是 AI 生成、指标是编的)、Kapyn、Vigía。都是抓 GitHub 新库自动成文的站,带来的流量有限。
- 没有的:Hacker News(我们的 hackernews 库查不到)、Reddit、知乎专栏、B 站、量子位 / 机器之心 / 新智元等公众号报道、Trendshift 榜单、付费推广。
4. 它凭什么起来
- 戳中真痛点:架构论文各用各的数据、步数、评测,「到底是架构好还是训得多」说不清。README 第一句就是「训练预算固定时,模型该怎么花算力」。向上研究所的编辑判断原话是「解决了当前架构论文无法公平比较的顽疾」。
- 时机:2026 年秋天正是「下一代架构」话题最热的时候——9 月 GPT-6 Astra 发布,Raschka 写长文讲 looped transformer(2026-09-09);11-02 商汤开源 SenseNova Loop-9B;智谱把 Loop Transformer 写进路线;线性 / 混合注意力(GDN、KDA、Qwen3-Next)已成主流讨论。知乎 Frontier 6 月就在推「下一代 Transformer 会吸收循环、稀疏路由」。NextTransformer 把这些热词(Ouro、AttnRes、mHC、GDN、KDA、NSA、MoBA)一次性收齐,还给了「谁赢了」的答案:同算力下 mHC、AttnRes 和 GDN 混合在 BPB 和 CORE 上都赢了 dense 基线。
- 有真成绩,不只是代码:31 组跑完的 1.4B / 49B token 训练、每组完整学习曲线和 6 个检查点的 CORE-22,做成可回放的网站。按每组 8 卡 2–4 天算,31 组约 500–1,000 GPU·天(1.2–2.4 万 GPU 小时),算力来源没公开(未核实)。别人想抄形式容易,抄成绩难。
- 蹭上 karpathy 生态:基于 nanochat、用 karpathy 的 ClimbMix 数据、Arena 概念直接对应 autoresearch(10 万 star)。看过 autoresearch 的人一看就懂「让 agent 来设计架构,同规则打榜」。
- 包装和持续运营:中英双语 README、电影海报式卡片、观测站网站、模型卡和架构图;发布后用「300 star 开启 28 天更新计划」「11-14 上线 Arena v2」「400B token RFC 征集方案」制造持续回访理由,并把外部贡献(NextTransformer-V、ResearchBoost-Agent)放进 README「社区项目」卡片,给贡献者曝光。
5. 差异化
和速通类(modded-nanogpt)比,它固定的是理论训练 FLOPs 而不是墙钟或参数量,「参数、显存、速度是结果不是控制项」;和 FLA 这类 kernel 库比,它多了统一协议 + 审计 + 公开排行榜;和 autoresearch 比,它把 agent 研究限定在架构这一件事上并用同一把尺子打分。这个差异化就是它能被人转的理由——「36 种架构终于能公平比较了」这句话本身就是传播点。但它目前能拿到的量级(几百 star)更多受限于发布渠道窄、复现门槛高(一台 8 卡机跑 2–4 天,数据 600GB),所以差异化解释了「为什么有人转」,还没变成大规模传播。
6. 跟风者
没发现。叫 NextTransformer 的其他库都是 fork;NextTransformer-V、ResearchBoost-Agent 是在它上面做的扩展,不是抄。
7. 别人能借鉴的
- 「同条件排行榜 + 模型动物园 + 可观测网站 + 让 agent 来打榜」这套形态,可以搬到任何「论文各说各话」的领域(RL 算法、扩散模型采样、推荐模型、agent harness)。
- 用真算力先跑出一批成绩再开源,开源当天就有「谁赢了」的结论可以传播。
- 中文学术圈的发布打法:小红书主号 + 队员同时发 + 二维码海报 + 微信群 / Discord,外加「X star 解锁更新计划」和公开 RFC,让发布后一周每天都有新东西。
- 把外部贡献写进 README 卡片区,给贡献者回报。
8. 不确定的
- star 来源没法细拆:stargazer 接口拿不到,微信群里转了多少看不到。
- 训练算力从哪来(字节 Seed 实习、港大 MMLab 集群,还是别处)没公开。
- 11-04 的第二个小高峰(+70)对应的是 Discord 上线、AiBoss 报道,还是某个微信群,没法确定。
- 11-14 Arena v2 和 11 月的 400B token 计划能不能按时出来,会决定它是一波发布热度,还是能变成长期的社区基准。
出处
- GitHub API:仓库、贡献者、PR / issue、fork 列表(2026-11-08 查)
- 我们的 github 库 repo_profile / repo_day;hackernews 库(无结果)
- Trendshift:trendshift.io/repositories/330637
- X(fxtwitter 接口):x.com/Selen7005717917/status/2116760739826565464 、x.com/Selen7005717917/status/2117509847876833577
- 小红书(TikHub app_v2/search_notes、get_user_info、get_user_posted_notes,用户 62d3ed3c0000000002000fed)
- 聚合站:xiaodu.blog/articles/390 、www.amazingindex.com/article/00a8ed983a7387309d4bacce9072733… 、www.aiboss88.com/en/news/project-nexttransformer 、www.aisignal.dev/analysis/interactive-active-ai-nexttransfor…
- 时机:magazine.sebastianraschka.com/p/gpt-6-astra-looped-transform… (2026-09-09)、www.ithome.com/1/020/973.htm (商汤 Loop-9B,2026-11-02)、x.com/ZhihuFrontier/status/2070442689427058900
- 竞品星数:GitHub API(2026-11-08)