新模型一出,就做「在你自己的电脑上跑它」:四万颗星,几百杯咖啡

先讲那台慢电脑

2026 年 7 月 9 日,一个叫 vforno 的账号在 Hacker News 发了一条 Show HN:「Getting GLM 5.2 running on my slow computer」。GLM-5.2 是智谱 6 月 13 日放出来的开源模型,7,440 亿参数,当时在 HN 上被反复拿来和 Claude、GPT 比。正常跑它要几百 GB 显存。vforno 说,他想知道「在一台像我这样的普通电脑上会怎样,会不会直接爆内存」。

他的答案叫 colibri(意大利语「蜂鸟」):一个约 1,300 行的 C 文件,没有 Python、没有 GPU。思路是 MoE 模型每个词只用到一小部分「专家」——GLM-5.2 每层 256 个专家只挑 8 个——所以常驻内存只放约 9.9 GB 的公共部分,370 GB 的专家放在硬盘上,用到哪个读哪个。他在一台 12 核、25 GB 内存的笔记本上测,速度是每秒零点几个词。「速度对我不重要,重要的是走到这一步。」

vforno 本名 Vincenzo Fornaro。按他 10 月接受 Codemotion 采访时的说法:生在塔兰托,九岁成了孤儿,在巴里读计算机,因为没钱读不下去,后来在仓库当保管员,现在住在艾米利亚-罗马涅的小镇 Brescello。colibri 是他晚上一个人写的,「背后没有公司,没有团队,一开始也没有商业计划」。

那条帖子拿了 937 分。按他的说法,三周后仓库到了 2.5 万星;GitHub 上 7-31 是 21,230,9-29 是 38,292,11-02 是 45,705,是这一类里星最多的。到今天它不再是「GLM-5.2 引擎」:README 里列了 13 个引擎,从 Kimi K3、DeepSeek V4.1 到 10-29 才放出权重的 Mistral Large 4;发了 21 个版本,有 195 个贡献者(GitHub 页面,11-02)。

这就是这个方向:每次一个大开源模型出来,总有一段「大家都说它好、但没人跑得动」的空档;谁先把它塞进普通人的电脑,谁就在 GitHub 上拿走一大笔星。下面说清楚几件事:做成的是什么人、什么时候发才对、星能换来多少钱、现在进场还剩什么。真正的问题不是快不快,是之后怎么办。

第二个人,在卢布尔雅那

Niko Veit · 斯洛文尼亚卢布尔雅那 · 一个人
GitHub 账号 2021 年注册,公开的库只有 Strata 一个;X 上 @coldniko 有 11,723 个关注(11-02)。媒体报道里都写他「完全一个人做」,项目靠 Buy Me a Coffee 打赏。之前做过什么,公开资料里没有。

阿里 8 月 26 日发了 Qwen3.8-Flash-Next,1,250 亿参数,每个词只激活 60 亿。9 月 24 日,Niko 建了 Strata 这个库,目标写在简介里:「Qwen3.8-Flash-Next on any consumer hardware」,Windows、Linux 一键安装,本机起一个 OpenAI / Anthropic 兼容的接口。

前十天没什么动静,9-28 是 570 星。10 月 4 日有人(不是他本人,是 HN 用户 snehesht)把它贴上 HN,标题是一个硬件党看了就会点的句子:「Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s」,940 分、420 条评论。五天后 18,382 星。

评论区里有人在 3090 上跑了一套代码题,Strata 128 题对了 114 道,另一个专门为 3090 优化的方案对 92 道,「Strata 慢一点,但调一调我也能跑到每秒 40 到 60 个词」。也有冷水:有人测视觉任务,Strata 的定位误差中位数 154.8 像素,llama.cpp 是 46.5;有人对 4 bit 以下的量化不放心;还有一句很多人会有同感:

I'm sick of these 4 day old vibe coded projects becoming hyped to hell while I spend a year on something.

— kristopolous,HN 10-04 那条帖子下

Strata 后来做的事,决定了它没有像别的脉冲那样一周就凉。它一直在发东西:9-24 到 10-31 发了 63 个版本;10-17 DeepSeek V4.1 Flash 放出来,10-24 Niko 发推「DeepSeek-V4.1-Flash 现在用 64 GB 内存就能在 Strata 上跑」,3,150 个赞、29 万次浏览;然后是 Intel 显卡、AMD Strix Halo、DGX Spark、Mac。11-02 他又发了一条「今天对 8 GB 显卡的用户是个大日子」,发出不到一天 50 万次浏览。每周新增星从 10 月中到现在一直在 5,000 上下(10-27→11-02 是 5,040,前一周 5,250)。

什么时候发:不是抢第一个,是抢「能用」

把今年几次「在消费级硬件上跑某个新模型」的爆款按时间排开,看模型发布到这个项目上 HN 隔了几天、它现在有多少星:

「发布日」取 HN 上第一条大讨论的日子;星数是 GitHub 11-02 的数。

最快的两个,一个是官方自己(DeepInfer,3 天),一个是 Redis 的作者(h3.c,8 天)——前者普通人复制不了,后者是这张表里星最少的。拿到四万星的两家都晚了三四个星期:colibri 26 天,Strata 39 天。而且 Strata 出来的时候,colibri 早已支持 Qwen3.8-Flash-Next(它 9-24 发的 1.12.1 版就带着这个模型的实测数),Strata 还是赢了。

它赢在哪,下载数据说得很清楚。Strata 的 GitHub Release 里,按显卡分了一堆引擎包,App 第一次启动时会按你的显卡下载对应那一个。把 63 个版本的下载次数加起来:

colibri 走的是「不要 GPU、从硬盘流式读」,能跑,但每秒零点几个词;Strata 给的是一个打开就能聊、写代码、在 4090 上每秒上百个词的 Windows 程序。第一个跑通的人拿走热度,让游戏本用户「双击就能用」的人拿走用户。所以窗口不是发布后那两三天,是「大家都知道它跑不动、还没人把它做成能用的东西」那几周。

上了 HN 首页就够了吗:HN 给分,不给星

HN 确实爱给这类硬核系统活高分,而且越来越爱。按标题粗略数一下(模型名 + 本地 / Mac / RTX / 内存 / 手机这类词,会混进少量无关的),2025 年每个月 HN 上这类故事拿到 300 分以上的只有 0 到 3 条;2026 年 3 月到 8 月,每个月 3 到 8 条,10 月 6 条。题材明显更热了。

但 HN 的分数换不换得成星,是另一回事。把 2026 年在 HN 上拿过 200 分以上、指向一个「在普通硬件上跑模型」(或解锁显卡)的开源库的 17 个项目放在一起,看它们 11-02 的星数:

17 个里有 8 个到今天不到 1,000 星。比如 2 月那个「用 NVMe 直通 GPU,在一张 3090 上跑 Llama 70B」,395 分,469 星;8 月「在 4.3 GB 内存的 Mac 上跑 80B 的 Qwen」,312 分,665 星;9 月「在 MacBook Pro 上用四块 SSD 跑 2.8 万亿参数的 Kimi K3」,279 分,99 星。HN 首页是门票,不是奖品。

还有一个小细节:最大的几次,帖子都不是作者自己发的。Strata 是 snehesht 发的,h3.c 是 swyx 发的,gpu-unlock 是 fragebogen 发的。作者自己发的 colibri 是例外。被别人发上 HN,说明东西已经在 X 和 Reddit 上传开了——HN 是放大器,不是起点 推断。

还有一种爆法:把显卡「解锁」,但热度只有一周

10 月 18 日,一个叫 Zagitta 的账号建了 gpu-unlock,简介只有一句话:「你的 GeForce 用半速在跑 AI,这个能修好。」原理是 NVIDIA 在游戏卡上把 FP16 / BF16 张量运算限成了专业卡的一半,这个 Linux 内核模块在开机时、驱动加载之前把限制去掉。HN 10-24 拿了 351 分。

Simon(Zagitta)· 一个人 · 嵌入式老手
GitHub 2011 年注册,77 个公开库:FPGA 仿真器 ghdl、ESP32 的 esp-hal、Crazyflie 四轴飞行器的 C# 客户端……此前最多的一个库 4 颗星。他在 HN 上说得很老实:「漏洞利用那些都不是我的主意,我只是把它包成一个不用自己打驱动补丁的东西。」

一周之内长出三个跟随:威斯康星的 Tim(JustAResearcher)把它移植到 40 系,4,657 星;有人做了 Windows 版,附一份韩文的启动指南,1,471 星;清华的 physicsdolphin 用 Rust 写了 UEFI 层的版本,991 星。这和电视去广告、Mac 去 AI 那些「换设备不换套路」的簇是同一种形状:第一个拿走大头,跟随者一个比一个小。

它的问题比 Strata 多。一是效果被说大了:README 自己的表里,LLM 读提示词快 25–55%,但生成阶段(大部分人感受到的「速度」)不变,量化过的 GGUF 模型只快 0–15%;HN 上有人在 200 瓦功耗墙下测,「真实收益 7–8%」。二是它利用的是 NVIDIA 启动固件里的一个缓冲区溢出漏洞(HN 评论原话),显卡会更热,有人建议把功耗上限拉到 450 瓦——保修和法律风险都是用户自己扛。到 11-02 还看不到 NVIDIA 的公开回应,但这一支的命运不在作者手里。

钱有多少:四万颗星,几百杯咖啡

这一类项目全部免费开源,没有一家公开过收入,在 TrustMRR 这类校验收入的平台上也找不到它们。看得见的钱,只有 README 里挂的打赏页:

打赏人数是 11-02 各打赏页上的数字;星数是 GitHub 11-02 的数。

按每人 5 到 15 美元算,Strata 上线五周多的打赏是两千到五千多美元 估,colibri 不到两百 估。Niko 10 月 18 日还专门发推辟谣一个冒用 Strata 名义收钱的加密骗局:「我永远不会为 Strata 收你的钱,它是开源的。」

那么星换来了什么?从 Niko 的 X 上能看到两样。10-25,他转了一条「Qwen 团队要在阿姆斯特丹的云栖大会上发新东西」的消息,配文:「要多少转发和 @ 才能让 @Alibaba_Qwen 把我招进去?」10-30,有人引 Sam Altman 说「本地推理是对稀缺内存的糟糕分配」,他回:「我最近刚帮一个中型数据中心做优化,性能提升 600% 以上。」一份工作、一单咨询——这才是这些星的兑换方式,只是兑换价没人公开。

做成公司的也有,但它们是反过来的:先有生意,开源是销售材料。Edge0 的 GitHub 组织 7 月底才注册,9 月开源一个「2.5 GB 内存跑 35B MoE」的框架,配一篇 arXiv 论文,8,920 星、每周还涨 1,700 多;它的官网卖的是给耳机、眼镜、AI 玩具厂商的端侧模型。antirez 则不需要兑换——他本来就是 Redis 的作者,ds4 有了自己的官网 dwarfstar.sh。

引擎上面一层倒是有人在收钱,但都很小:斯洛文尼亚的 Rok Gregorič 做的 PhoneDiffusion(iPhone 上离线生成图片),近 30 天 $3,016,正在以 $50,000 挂牌出售;ModelFit,一个「我的电脑能跑哪个模型」的程序化 SEO 站,靠联盟佣金,近 30 天 $720;Ollamac Pro,给 Ollama 套的 Mac 客户端,$49 买断,近 30 天 $147,累计 $8,797,挂牌 $20,000;LLM Hub,iPhone 离线助手,近 30 天 $394(TrustMRR,支付平台校验,11-02)。

获客也几乎不花钱。在 Meta 广告库搜「Ollama」「Strata」「local LLM」「offline AI」,在 TikTok 广告库查 Strata、edge0.ai、dwarfstar.sh、ollama.com、lmstudio.ai、unsloth.ai,都看不到这一类产品在投广告(TikTok 广告库只收投到欧洲的,所以只能说「多半没投」)。增长靠的是 HN、X 和随后的科技媒体:Strata 被 linuxcompatible、warp2search 一版一版地写,gpu-unlock 上了 TechSpot 和 Notebookcheck,colibri 上了 GIGAZINE。

现在进场还来得及吗:门在关

最近的一次考验就在眼前:10 月 29 日 Mistral 放出了 Large 4 的权重,HN 1,701 分。两天后,10 月 31 日,colibri 发了 2.1.0 版,Mistral Large 4 的文字和图片都能跑了。到 11-02,GitHub 上 10-25 以后新建、名字或简介提到 Mistral / Large 4 的库,一个过 50 星的都没有。

DeepSeek V4.1 Flash 那次也一样:官方三天就放出了自己的推理框架,Strata 一周内接上。现在的格局是,新模型一出来,colibri、Strata、ds4 三家和官方会在几天内把空位填掉。三个月前,「第一个在普通电脑上跑通某个新模型」是一个人能抢的位置;现在这个位置被几个专门干这件事的人占着,他们比你快。这个判断目前只有 Mistral Large 4 一个样本,11 月中旬还要再看 推断。

那还有哪里能切进去:三家不做的地方

剩下的缝,在三家不做、或做不好的地方:

冷门硬件。Strata 的引擎下载里,Intel 显卡占 0.7%,Mac 占 2%。Mert Cobanov(土耳其,Refik Anadol Studio 的 AI 工程师)在越狱的 PS5 上跑 llama.cpp,HN 375 分、780 星;Niko 自己最近在做 Intel B 系列和 AMD Strix Halo。主机、掌机、手机、国产显卡——这些地方的人群小,但没人跟你抢。

引擎上面的垂直应用。10 月 24 日,一个叫 Brangus 的人建了 survival-llm:断网也能用的 AI 助手加应急资料库,内置 FEMA、CDC 的指南和 93 万篇维基百科,每个回答都标出处,按你电脑的内存自动挑模型。HN 10-27 拿了 542 分,11-02 是 1,218 星,最近每天还涨一两百。它不和三家比谁快,它回答的是「跑起来以后拿来干什么」。