一台 30 瓦显卡的笔记本,跑赢了 llama.cpp:mojo-dllm 怎么在没人转发的情况下一周涨了 285 star

一个荷兰数学系毕业的 AI 工程师,用刚开源的 Mojo 从零写了一个扩散语言模型的本地推理器,头条放的是和 llama.cpp 在同一台笔记本上的对比表:CPU 上快了将近一倍。HN、X、Reddit 上都找不到有人推它,它还是在 11 月头一周从 54 star 涨到了 300 多。下面讲它是什么、star 从哪来、哪些做法能学,以及如果你想做一个类似的项目,往哪儿做。

10 月 3 日的一台笔记本

仓库里最早的几份跑分文件日期都是 2026-10-03:一台 13 代 i5-13420H 的笔记本,12 线程,32 GB 内存,电源调到 performance;显卡是一块功耗锁在 30 W 的 RTX 3050 笔记本版,6 GB 显存。第二天(10-04)凌晨,仓库建好,当天发了 v0.1.0。

作者 Vladimir Rotariu 在个人主页上写:「Senior AI Engineer,前 ING」,格罗宁根大学数学和物理双学士,本科论文做的是玻姆力学和散射理论。主页第一行是「临时账号,原账号是 @vladimirrotariu」——那个原账号现在在 GitHub 上打不开,原因不明。

README 顶上是一张动图:LLaDA-8B 面对一整块被遮住的「画布」,16 步去噪,先把末尾的填充符定下来,再一点点浮现出一首俳句。紧接着就是跑分表(LLaDA-8B,Q4_K_M,128 个 token、32 步):

(README 跑分,CPU 部分 10-03 测,GPU 部分 11-03 测)

表下面一句话很关键:表里每个数字都是从 bench/results/ 里的结果文件渲染出来的,表和文件对不上,CI 直接失败。他还专门补了两组「公平性」测试:把 llama.cpp 的线程从 4 扫到 12,看它最好的成绩;再单独比前向计算,排除采样器的差别。Dream-7B 在 GPU 上它其实略慢(18.29 对 18.66),也照实写在表里。

它是什么

扩散语言模型(LLaDA、Dream 这一类)不是从左往右一个字一个字地写,而是先铺一整块遮住的 token,每一步把最有把握的几个定下来,直到填满。这意味着每一步都要把整个模型在整块画布上重跑一遍,负载更像「一连串矩阵乘」,而不是自回归模型那种一次算一个 token。

llama.cpp 2025 年 7 月就支持了扩散模型,但只是 examples 里的一个命令行工具,没有为这种负载专门优化。mojo-dllm 就是冲着这个空白做的:GGUF 读取、分词器、量化矩阵乘、GPU 内核、去噪循环全部用 Mojo 写,运行时不需要 Python;加载时把 Q4_K / Q6_K 权重按 8 行一组重排,喂给 AVX-VNNI 指令,GPU 上走 int8 tensor core;每个模型的采样器照着官方代码实现,和 llama.cpp 逐个比对 logits。装法是 ./mojo-dllm setup 一条命令,doctor 告诉你缺什么。限制也写得清楚:只支持 Linux x86-64、要 AVX2,GPU 只在一块 RTX 3050 上测过。

star 是怎么来的

(GitHub 每日 star)

能查的公开渠道都查了:Hacker News 上没有帖子,X 上 30 天内搜「mojo-dllm」「LLaDA Mojo」都是 0 条,Reddit 也没搜到,Modular 官方论坛和博客里没有它。能搜到的报道全是自动聚合站——麦式 AI 情报站(10-09)、Devotd(10-29,英中韩三语)、AiBoss(11-01)、AI Byte Core(11-04)——都是机器从 GitHub 新库里抓了自动写的。10 月那 54 个 star,大概有一部分来自这里(推断)。

真正能看到的打法只有一个:用切好的 issue 招人。仓库 120 个 issue 里 100 个是作者自己开的,11-03、11-04 两天集中开了几十个,每个都标了 easy / medium / hard、good first issue、help wanted。个人主页上写着:「这些 issue 切得够小,不懂代码库也能做完一个。」同一段时间,6 个外部账号来提了 23 个 PR,大多已合并:QinXi-ai 从 10-26 起提了 14 个,inmassat 11-04 一天提了 5 个。这几个账号的样子很像专门「刷开源贡献」的人或 AI agent:一个 10-29 才注册、已经提了 35 个 PR,另一个半年提了 160 个。这类账号通常会顺手给仓库点 star。

还有一个细节:作者主页上挂着他自己写的 maintainer-agent——「一个无人值守的维护者,定时跑 Claude Code,审 PR、开 issue、整理 issue 列表」,写明在维护他的另一个项目 SysKnife。那 100 个切得整整齐齐的 issue 有多少是 agent 开的,外面看不出来(推断有相当一部分)。SysKnife 同一周也涨了 55 star、单日高点同样在 11-03,说明两个库是在作者账号这一层一起被看见的,不是某一篇帖子带起来的。

10-31 到 11-02 那三天为什么突然加速,没找到具体是哪件事触发的;GitHub 不公开这个仓库的 star 名单,也就没法排除不正常的 star。

凭什么是它

1. 时机对上了两个圈子。 Mojo 8 月发 1.0 并开源,9-25 的 1.1 把编译器开放出来,MAX 10-22 变成 source-available;同一时间 Google 8 月发了 DiffusionGemma,NVIDIA 10-30 放出量化版。「Mojo 能不能写出真东西」「扩散模型能不能在本地跑」,两边都在找证据,它一次回答了两个问题。这周按 7 天涨星排,Mojo 语言的 GitHub 库里它第一(+285),第二是 Modular 官方仓库(+38)。
2. 跑分能核对。 技术圈对「比 llama.cpp 快」的第一反应是怀疑。结果文件进仓库、CI 校验、线程扫描、慢的那一项也照写——这套东西让人愿意信,连机器写的聚合文章都把「可复现的基准」当推荐理由。
3. 对手是顺带做的。 llama.cpp 的扩散支持是个示例工具;dInfer、Fast-dLLM、SGLang 面向服务器 GPU 和 PyTorch;同期的 Ollada 走「扩散版 Ollama」的好用路线,两周 2 个 star。专门为本地 CPU 和小显卡做、读 GGUF、有严格跑分的独立运行时,基本只有它和 diffuse-cpp,用 Mojo 写的只有它。
4. 这个套路以前就成过。 2023 年 Mojo 刚发布时,llama2.mojo 喊「比 llama2.c 快」拿了 2,100 多 star;2024 年 llm.mojo 拿了 380 多。「用新语言重写热门 ML 东西、跑分赢 C/C++」在 Mojo 圈一直有人买账,mojo-dllm 是 2026 年的版本。

有多少人知道

很少。没有人工写的讨论,只有聚合站收录;6 个 fork 都是来提 PR 的,没有人照着重做一个。总量不到 400 star,在 Mojo 圈已经是这周第一,出了这个圈基本没人听说。

还要说清楚一点:点 star 的人远多于真用的人。只支持 Linux x86,CPU 上 1.3 token/秒,没人会拿它干活;大家点 star 是因为它证明了一件事。

如果是你

判断:B。「挑一个大框架只是顺带支持的新模型类别,用新语言做专用运行时,头条放同机跑分」这个打法清楚、还没人跟,可以试;短板是天花板低(Mojo 加扩散模型,两个都是小圈子,几百 star 量级),而且门槛是真本事——没写过量化内核和 SIMD 的人做不出能赢 llama.cpp 的东西。

适合谁:写过 CUDA / Metal / SIMD 内核、读得懂 GGUF 量化格式、愿意花一两个月磨一个窄东西的工程师;想在 ML 系统方向攒一份「我做的东西跑赢了 llama.cpp」履历的人。

不适合谁:想靠包装和体验拿 star 的人。Ollada 两周 2 个 star 已经说明,这个圈子只认跑分,不认「好用」。

怎么做,按值得程度排:

1. 做它没做的平台:Apple Silicon。 mojo-dllm 只支持 Linux x86,本地跑模型的人里 Mac 用户是一大块。用 Metal 或 MLX 写一个扩散模型专用运行时,头条放「M 系列芯片上对比 llama.cpp Metal」的表,这是最直接的空位。
2. 跟最新的扩散模型。 DiffusionGemma 刚出、NVIDIA 刚放了量化版,mojo-dllm 目前只做到分词器对齐。谁先在本地把新模型跑得最快、并拿出可核对的数字,谁就吃到这波关注。block diffusion 模型它也还列在「研究中」。
3. 把套路搬到别的新语言或别的新模型类别。 同样的结构——新开放的语言 / 平台 + 大框架只顺带支持的东西 + 同机对比老大——可以套在别处。选题前先确认两点:大框架确实没优化、你确实能赢。

怎么获客:照抄它最值钱的两件事。一是跑分表放 README 第一屏,结果文件进仓库、CI 校验、把慢的项也写上;二是自己把 issue 切成「不懂代码库也能做完」的小块,标好难度,在个人主页招人——外部 PR 会让项目看起来活着,贡献者也会带来 star。它没做的一件事你可以补上:在 r/LocalLLaMA 和 Modular 论坛 / Discord 发一篇讲清楚「为什么快」的帖子,它在没发帖的情况下都能涨到 300 多,发了大概率不止(推断)。

什么时候之前:推断在 2027 年上半年之前。Mojo 刚开放、扩散模型刚热,现在是「谁先拿出证据」的阶段;一旦 llama.cpp 或 MLX 官方认真优化扩散模型,专用运行时的跑分优势就没了。

什么情况说明看错了:① 如果 llama.cpp 几个月内合进专门的扩散优化、把 CPU 差距抹平,说明这个空白是临时的,第 2、3 条要换题;② 如果 mojo-dllm 接下来几周 star 停在几百、不再涨,说明 11 月初那波主要是贡献者和聚合站带的,这个题目的自然天花板比想的还低;③ 如果有人做出 Mac 版、一个月内拿到上千 star,说明需求比这里估的大,第 1 条要赶紧做,或者去做它的周边。

数据与出处

GitHub:vladimirrott/mojo-dllm 仓库页、README、跑分结果文件、issue 与 PR 列表、每日 star(10-30 到 11-06);作者主页 github.com/vladimirrott 及 maintainer-agent 仓库;lacs-project/sysknife 每日 star;同类仓库 star(11-06)。X、Hacker News、Reddit、Modular 论坛搜索(11-06)。聚合站:news.micker.com.cn、github.devotd.net、aiboss88.com、aibytecore.in。竞品:llama.cpp examples/diffusion、dev.to 上的 Ollada 帖、lmsys.org 扩散 LLM 博客(2025-12)。时机:Modular 博客(Mojo 1.0、MAX 许可证)、byteiota(Mojo 1.1)、the-decoder(DiffusionGemma)、Hugging Face(NVIDIA NVFP4 版本)。写「推断」「未核实」的地方是推断和未核实。