# Open-source libraries that run new models locally on hardware nobody covers, earning stars and reputation rather than money

> Source: https://stringers.io/en/m/056.html (Stringers / 什么值得做, generated 2026-11-08)
> Stringers answers one question every day: what small product can one or two people build in a few months and actually make money from. Numbers come from 15 databases we collect daily, each with source and date.
> For agents: these verdicts and the underlying databases (verified revenue, App Store / Google Play charts, ad libraries, GitHub, Product Hunt…) are queryable live over MCP — tools today / hot / products / directions / direction / data. Setup: https://github.com/komako-workshop/stringers (the user logs in at stringers.io → "配置 agent" to get a personal URL). Site index: https://stringers.io/llms.txt

> Hold off: don't build a general-purpose 'run large models on a regular PC' engine from scratch. Veteran builders catch each new model within days, so you won't win on stars or money.

[056] Inspiration GitHub × Hacker News Open source / donations Data as of 2026-11-08

# Open-source libraries for running new models locally on uncovered hardware. You earn stars and reputation, not money.

E

**Wait and see: don't build a generic "run large models on a regular computer" engine from scratch; three veteran projects absorb a new model within days, and you won't get the stars or the money** The exception is people who can write CUDA / Metal kernels and only want a portfolio and reputation, targeting the hardware the three projects don't cover, or vertical offline apps built on top of an engine; the signal to wait for is a model with a new architecture that the three can't absorb within a week Not promising · grade and title derived from the full text · next review 11-16

| Background | After GLM-5.2 and Qwen3.8 came out, two solo indie devs each shipped it to ordinary computers, each getting about 40k stars |
|---|---|
| Upside | After a model release there are a few weeks where everyone says it's great but nobody can run it; whoever makes it actually usable takes the stars |
| Demand | NVIDIA + Windows gamers: Strata engine downloads are 81% NVIDIA and 70% Windows |
| Competition | colibri, Strata, and ds4 added official support. colibri picked up Mistral Large 4 within two days of its release. |
| Revenue | All free, and none has ever disclosed revenue; Strata has 370 tips, colibri 8 |
| Growth | Relies on HN, X, and press, with no paid ads. Among libraries with 𝘁𝗵𝗲 same category that score 200+ points on HN, the median star count is 1,218. |
| Window | After a new model drops, three veteran builders catch up in 2–7 days. Racing to launch on release day doesn't matter; getting it to 'works' does. |
| Who it's for | An indie developer who has written an inference kernel or done quant work, looking for a job, consulting, or traffic |

### Full text · about 10 min

### Who's building · 6 teams

- [colibri](https://github.com/JustVugg/colibri)
  What it does
  Pure-C inference engine that streams expert weights from disk, no GPU needed; now 13 engines (GLM-5.2, Kimi K3, DeepSeek V4.1, Mistral Large 4...); Apache-2.0 free; built 2026-07-01
  Who they are
  Vincenzo Fornaro, Brescello, Italy; a warehouse keeper who dropped out of university for lack of money, writing this alone at night; now 195 contributors
  How it got traction
  07-09 posted a Show HN "Getting GLM 5.2 running on my slow computer" that scored 937 points, followed by coverage from GIGAZINE and Codemotion
  Where it stands
  45,705 stars (GitHub, 11-02); 21 releases; 8 supporters on Buy Me a Coffee

- [Strata](https://github.com/Niko1221/Strata)
  What it does
  A desktop app that fits Qwen3.8-Flash-Next 125B and DeepSeek V4.1 Flash onto a gaming GPU, one-click install on Windows / Linux / Mac; MIT, free; built 2026-09-24
  Who they are
  Niko Veit, Ljubljana, Slovenia, solo; this is his only public repo on GitHub, with 11,723 followers on X @coldniko; prior experience not public
  How it got traction
  10-04 was posted to HN by snehesht as "RTX 4090 runs 100 T/s" and hit 940 points; since then he's posted progress on X every day, across 63 versions
  Where it stands
  37,608 stars, still gaining about 5,000 a week (GitHub, 11-02); Windows installer 10-25 downloads from 79,354; 370 Buy Me a Coffee supporters

- [ds4(DwarfStar 4)](https://dwarfstar.sh)
  What it does
  Local inference engine in C, Metal / CUDA / ROCm. Started with DeepSeek V4 Flash, now also runs GLM-5 and Qwen3.8. Free. Repo created 2026-05-06
  Who they are
  Salvatore Sanfilippo (antirez), Catania, Sicily, Italy. Redis creator, 32k GitHub followers
  How it got traction
  The author's own reputation. 05-07 on HN with 499 points; the post "Redis author's local LLM" got 10-02 points on 368. Has its own website
  Where it stands
  24,184 stars (GitHub, 11-02). The same author's h3.c (MiniMax H3) has only 2,998

- [gpu-unlock](https://github.com/Zagitta/gpu-unlock)
  What it does
  Linux kernel module. At boot, it lifts the half-speed limit on FP20/30/40/BF16 tensor ops on GeForce 16-series cards. Free. Repo created 2026-10-18
  Who they are
  Simon (Zagitta), a solo dev. GitHub account registered 2011. Embedded projects like FPGA, ESP32, and drones; before this, his best had 4 stars. Self-described: "I didn't find the bugs, I just packaged the fix"
  How it got traction
  10-24 got an HN score of 351 from user fragebogen. Covered by TechSpot and Notebookcheck
  Where it stands
  14,102 stars; daily star growth fell from 3,745 on 10-26 to 283 on 11-02 (GitHub); Buy Me a Coffee 17 supporters + GitHub Sponsors 1 supporters

- [Edge0](https://edge0.ai)
  What it does
  Open-source streaming MoE inference framework. Runs 2.5B MoE models on 35 GB of RAM, with an arXiv paper and its own models. 2026-09-08 open source
  Who they are
  US company, GitHub org registered 2026-07. Sells on-device models to headphone, glasses, and AI toy makers
  How it got traction
  Open source + arXiv paper + Hugging Face models. No big HN discussion, and no ads on the Meta or TikTok ad libraries
  Where it stands
  8,920 stars, +7 in 1,766 days (GitHub, 11-02). Revenue not disclosed

- [Survival LLM](https://brangus.io/survival-llm)
  What it does
  Offline AI assistant plus an emergency knowledge base (FEMA, CDC, 930k Wikipedia articles). Every answer cites its source, and it picks a model based on your RAM. Free and open source. Repo created 2026-10-24
  Who they are
  Brangus (brangus.io). GitHub account registered 2022, very little public info
  How it got traction
  10-27 got an HN score of 542 from user Luc
  Where it stands
  1,218 stars, adding a hundred or two a day recently (GitHub, 11-02). Free

Data from our own collection (App Store, Google Play, TrustMRR, Meta Ad Library, GitHub), dated. Anything marked 'est.' or 'inferred' is an estimate or an inference.

## Full article (Chinese)

[056] 可启发 GitHub × Hacker News 开源 / 打赏 数据截至 2026-11-02

# 新模型一出,就做「在你自己的电脑上跑它」:四万颗星,几百杯咖啡

一个意大利的仓库管理员、一个卢布尔雅那的独立开发者,各自一个人,把几千亿参数的开源模型塞进了普通电脑,各拿了四万颗星。这条路还能走吗?答案是:星还在,门在关,钱从来不在这里。

2026-07-09 的 Show HN。标题里没有「最快」「最强」,只有「我的慢电脑」;正文最后一句是「如果有人想加入,我会很高兴」。937 分、240 条评论(HN 页面,11-02 截图)。

## 先讲那台慢电脑

2026 年 7 月 9 日,一个叫 vforno 的账号在 Hacker News 发了一条 Show HN:「Getting GLM 5.2 running on my slow computer」。GLM-5.2 是智谱 6 月 13 日放出来的开源模型,7,440 亿参数,当时在 HN 上被反复拿来和 Claude、GPT 比。正常跑它要几百 GB 显存。vforno 说,他想知道「在一台像我这样的普通电脑上会怎样,会不会直接爆内存」。

他的答案叫 **colibri** (意大利语「蜂鸟」):一个约 1,300 行的 C 文件,没有 Python、没有 GPU。思路是 MoE 模型每个词只用到一小部分「专家」——GLM-5.2 每层 256 个专家只挑 8 个——所以常驻内存只放约 9.9 GB 的公共部分,370 GB 的专家放在硬盘上,用到哪个读哪个。他在一台 12 核、25 GB 内存的笔记本上测,速度是每秒零点几个词。「速度对我不重要,重要的是走到这一步。」

vforno 本名 Vincenzo Fornaro。按他 10 月接受 Codemotion 采访时的说法:生在塔兰托,九岁成了孤儿,在巴里读计算机,因为没钱读不下去,后来在仓库当保管员,现在住在艾米利亚-罗马涅的小镇 Brescello。colibri 是他晚上一个人写的,「背后没有公司,没有团队,一开始也没有商业计划」。

那条帖子拿了 937 分。按他的说法,三周后仓库到了 2.5 万星;GitHub 上 7-31 是 21,230,9-29 是 38,292,**11-02 是 45,705** ,是这一类里星最多的。到今天它不再是「GLM-5.2 引擎」:README 里列了 13 个引擎,从 Kimi K3、DeepSeek V4.1 到 10-29 才放出权重的 Mistral Large 4;发了 21 个版本,有 195 个贡献者(GitHub 页面,11-02)。

这就是这个方向:**每次一个大开源模型出来,总有一段「大家都说它好、但没人跑得动」的空档;谁先把它塞进普通人的电脑,谁就在 GitHub 上拿走一大笔星。** 下面说清楚几件事:做成的是什么人、什么时候发才对、星能换来多少钱、现在进场还剩什么。真正的问题不是快不快,是之后怎么办。

## 第二个人,在卢布尔雅那

**Niko Veit · 斯洛文尼亚卢布尔雅那 · 一个人**
GitHub 账号 2021 年注册,公开的库只有 Strata 一个;X 上 @coldniko 有 11,723 个关注(11-02)。媒体报道里都写他「完全一个人做」,项目靠 Buy Me a Coffee 打赏。之前做过什么,公开资料里没有。

阿里 8 月 26 日发了 Qwen3.8-Flash-Next,1,250 亿参数,每个词只激活 60 亿。9 月 24 日,Niko 建了 Strata 这个库,目标写在简介里:「Qwen3.8-Flash-Next on any consumer hardware」,Windows、Linux 一键安装,本机起一个 OpenAI / Anthropic 兼容的接口。

前十天没什么动静,9-28 是 570 星。10 月 4 日有人(不是他本人,是 HN 用户 snehesht)把它贴上 HN,标题是一个硬件党看了就会点的句子:「Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s」,940 分、420 条评论。五天后 18,382 星。

Strata 现在不只是推理引擎,是一个桌面 App:对话、工作区、子代理、预览,右下角写着本机跑的是 Qwen3.8-Flash-Next 的 Gyro-S 量化(仓库 README 配图)。

评论区里有人在 3090 上跑了一套代码题,Strata 128 题对了 114 道,另一个专门为 3090 优化的方案对 92 道,「Strata 慢一点,但调一调我也能跑到每秒 40 到 60 个词」。也有冷水:有人测视觉任务,Strata 的定位误差中位数 154.8 像素,llama.cpp 是 46.5;有人对 4 bit 以下的量化不放心;还有一句很多人会有同感:

> I'm sick of these 4 day old vibe coded projects becoming hyped to hell while I spend a year on something.
> 
> — kristopolous,HN 10-04 那条帖子下

Strata 后来做的事,决定了它没有像别的脉冲那样一周就凉。**它一直在发东西** :9-24 到 10-31 发了 63 个版本;10-17 DeepSeek V4.1 Flash 放出来,10-24 Niko 发推「DeepSeek-V4.1-Flash 现在用 64 GB 内存就能在 Strata 上跑」,3,150 个赞、29 万次浏览;然后是 Intel 显卡、AMD Strix Halo、DGX Spark、Mac。11-02 他又发了一条「今天对 8 GB 显卡的用户是个大日子」,发出不到一天 50 万次浏览。每周新增星从 10 月中到现在一直在 5,000 上下(10-27→11-02 是 5,040,前一周 5,250)。

## 什么时候发:不是抢第一个,是抢「能用」

把今年几次「在消费级硬件上跑某个新模型」的爆款按时间排开,看模型发布到这个项目上 HN 隔了几天、它现在有多少星:

| 新模型(HN 上发布日) | 谁把它塞进普通电脑 | 隔了 | HN 分 | 星(11-02) |
|---|---|---|---|---|
| DeepSeek V4 · 4/24 | ds4 · antirez(Redis 作者,西西里)5/7 上 HN;现在也跑 GLM-5、Qwen3.8 | 13 天 | 499 | 24,184 |
| GLM-5.2 · 6/13 | colibri · Vincenzo Fornaro(意大利)7/9 上 HN;现在 13 个引擎 | 26 天 | 937 | 45,705 |
| Gemma 4 · 4/2 | turbo-fieldfare · Andrey Mikhaylov(伦敦,iOS / Metal 工程师)7/29 上 HN;只跑一个模型 | 118 天 | 919 | 7,101 |
| MiniMax H3 · 8/3 | h3.c · antirez8/11 上 HN;只跑一个模型 | 8 天 | 440 | 2,998 |
| Qwen3.8-Flash-Next · 8/26 | Strata · Niko Veit(斯洛文尼亚)10/4 上 HN;现在也跑 DeepSeek V4.1 | 39 天 | 940 | 37,608 |
| DeepSeek V4.1 Flash-1017 · 10/17 | DeepInfer · DeepSeek 官方10/20 上 HN | 3 天 | 2,355 | 24,803 |

「发布日」取 HN 上第一条大讨论的日子;星数是 GitHub 11-02 的数。

最快的两个,一个是官方自己(DeepInfer,3 天),一个是 Redis 的作者(h3.c,8 天)——前者普通人复制不了,后者是这张表里星最少的。拿到四万星的两家都晚了三四个星期:colibri 26 天,Strata 39 天。而且 Strata 出来的时候,colibri 早已支持 Qwen3.8-Flash-Next(它 9-24 发的 1.12.1 版就带着这个模型的实测数),Strata 还是赢了。

它赢在哪,下载数据说得很清楚。Strata 的 GitHub Release 里,按显卡分了一堆引擎包,App 第一次启动时会按你的显卡下载对应那一个。把 63 个版本的下载次数加起来:

**81%** Strata 引擎包的下载来自 NVIDIA 显卡,70% 来自 Windows

Strata 全部 63 个版本里各引擎包的下载次数,合计 380,622 次(GitHub API,11-02)。一次下载不等于一个用户,更新也算一次;但比例说明用户是谁:装着 N 卡、用 Windows 的游戏玩家,Mac 只占 2%。另一个口径:10-25 才有的 Windows 一键安装包,到 11-02 下载 79,354 次,Linux 26,430,Mac 12,035。

**看数据表**

| 显卡 · 系统 | 引擎包下载次数 | 占比 |
|---|---|---|
| NVIDIA · Windows | 226,819 | 59.6% |
| NVIDIA · Linux | 82,949 | 21.8% |
| AMD · Windows | 38,012 | 10.0% |
| AMD · Linux | 22,972 | 6.0% |
| Apple Mac(Metal) | 7,365 | 1.9% |
| Intel Arc · Linux | 2,505 | 0.7% |

colibri 走的是「不要 GPU、从硬盘流式读」,能跑,但每秒零点几个词;Strata 给的是一个打开就能聊、写代码、在 4090 上每秒上百个词的 Windows 程序。**第一个跑通的人拿走热度,让游戏本用户「双击就能用」的人拿走用户。** 所以窗口不是发布后那两三天,是「大家都知道它跑不动、还没人把它做成能用的东西」那几周。

**4 条长线** 累计星数,虚线竖线是大模型发布日

colibri、Strata、ds4 建库几个月后还在往上走,它们都在不停地接新模型;turbo-fieldfare 和 h3.c 只跑一个模型,发完就平了。gpu-unlock 是另一种形状,下一节说。colibri、ds4、turbo-fieldfare 在 10 月之前只有零星的存档点,建库到第一个观测点之间画成虚线(GitHub 星数,11-02)。

**看数据表**

| 库 | 建库 | 观测(日期 星数) |
|---|---|---|
| colibri | 2026-07-01 | 07-31 21,230 · 08-28 26,349 · 09-29 38,292 · 10-11 41,185 · 10-21 43,213 · 10-28 44,462 · 10-31 45,169 · 11-02 45,705 |
| Strata | 2026-09-24 | 09-28 570 · 10-09 18,382 · 10-12 21,352 · 10-15 24,397 · 10-18 26,721 · 10-21 28,994 · 10-24 31,087 · 10-27 33,488 · 10-28 34,869 · 10-30 35,905 · 11-01 37,021 · 11-02 37,608 |
| ds4(antirez) | 2026-05-06 | 07-29 19,373 · 08-27 21,849 · 10-02 22,863 · 10-13 23,828 · 10-24 24,051 · 10-28 24,121 · 11-02 24,184 |
| gpu-unlock | 2026-10-18 | 10-20 29 · 10-22 71 · 10-24 462 · 10-25 1,920 · 10-26 5,665 · 10-27 8,948 · 10-28 11,731 · 10-29 12,450 · 10-30 12,957 · 10-31 13,429 · 11-01 13,819 · 11-02 14,102 |
| turbo-fieldfare | 2026-07-17 | 07-30 1,106 · 08-31 6,521 · 10-09 6,871 · 10-15 6,928 · 10-24 7,014 · 11-02 7,101 |
| h3.c(antirez) | 2026-08-09 | 09-01 2,529 · 10-09 2,854 · 10-20 2,932 · 11-02 2,998 |

## 上了 HN 首页就够了吗:HN 给分,不给星

HN 确实爱给这类硬核系统活高分,而且越来越爱。按标题粗略数一下(模型名 + 本地 / Mac / RTX / 内存 / 手机这类词,会混进少量无关的),2025 年每个月 HN 上这类故事拿到 300 分以上的只有 0 到 3 条;2026 年 3 月到 8 月,每个月 3 到 8 条,10 月 6 条。题材明显更热了。

但 HN 的分数换不换得成星,是另一回事。把 2026 年在 HN 上拿过 200 分以上、指向一个「在普通硬件上跑模型」(或解锁显卡)的开源库的 17 个项目放在一起,看它们 11-02 的星数:

**1,218** 17 个上过 HN 200 分的「本地跑模型」类开源库,星数中位数

后来变成「多模型引擎」的 解锁显卡 只跑一个模型 / 一种硬件

横轴是 HN 分数,纵轴是 11-02 的星数(对数)。同样 900 多分,colibri 4.6 万星,turbo-fieldfare 7 千;300 到 500 分那一团,从 99 星到 2.4 万星都有。过万的四个里,三个是后来不断接新模型的引擎,一个是解锁显卡。不含官方的 DeepInfer 和 2023 年就有的老库 AirLLM(Hacker News 分数、GitHub 星数,11-02)。

**看数据表**

| 库 | HN 分数 | 星数(11-02) |
|---|---|---|
| colibri | 937 | 45,705 |
| Strata | 940 | 37,608 |
| ds4 | 499 | 24,184 |
| gpu-unlock | 351 | 14,102 |
| turbo-fieldfare | 919 | 7,101 |
| flash-moe | 398 | 4,460 |
| h3.c | 440 | 2,998 |
| voxtral.c | 311 | 1,750 |
| survival-llm | 542 | 1,218 |
| PS5LM | 375 | 780 |
| hypura | 221 | 669 |
| Swiftlet | 312 | 665 |
| slotstream | 240 | 639 |
| janas | 221 | 562 |
| ntransformer | 395 | 469 |
| deepseek-v4-flash-mi300x | 382 | 158 |
| deltafin | 279 | 99 |

17 个里有 8 个到今天不到 1,000 星。比如 2 月那个「用 NVMe 直通 GPU,在一张 3090 上跑 Llama 70B」,395 分,469 星;8 月「在 4.3 GB 内存的 Mac 上跑 80B 的 Qwen」,312 分,665 星;9 月「在 MacBook Pro 上用四块 SSD 跑 2.8 万亿参数的 Kimi K3」,279 分,99 星。**HN 首页是门票,不是奖品。**

还有一个小细节:最大的几次,帖子都不是作者自己发的。Strata 是 snehesht 发的,h3.c 是 swyx 发的,gpu-unlock 是 fragebogen 发的。作者自己发的 colibri 是例外。被别人发上 HN,说明东西已经在 X 和 Reddit 上传开了——HN 是放大器,不是起点 推断 。

## 还有一种爆法:把显卡「解锁」,但热度只有一周

10 月 18 日,一个叫 Zagitta 的账号建了 gpu-unlock,简介只有一句话:「你的 GeForce 用半速在跑 AI,这个能修好。」原理是 NVIDIA 在游戏卡上把 FP16 / BF16 张量运算限成了专业卡的一半,这个 Linux 内核模块在开机时、驱动加载之前把限制去掉。HN 10-24 拿了 351 分。

**Simon(Zagitta)· 一个人 · 嵌入式老手**
GitHub 2011 年注册,77 个公开库:FPGA 仿真器 ghdl、ESP32 的 esp-hal、Crazyflie 四轴飞行器的 C# 客户端……此前最多的一个库 4 颗星。他在 HN 上说得很老实:「漏洞利用那些都不是我的主意,我只是把它包成一个不用自己打驱动补丁的东西。」

**3,745 → 283** gpu-unlock 单日涨星,10-26 峰值到 11-02

**Zagitta/gpu-unlock** 峰值 +3,745(10/26)· 11/2 +283

原版 · Linux 内核模块 · 10-18 建

**JustAResearcher/gpu-unlock-ada** 峰值 +2,110(10/26)· 11/2 +35

40 系移植 · 10-23 建

**Windows-GPU-UNLOCK** 峰值 +466(10/27)· 11/2 +63

Windows 移植 · 10-20 建

**physicsdolphin/nv-uefi-unlocker** 峰值 +411(11/2)· 11/2 +411

UEFI 层 · 10-26 建

gpu-unlock 一家四个库每天新增的星(四张图共用一个纵轴)。原版峰值后第 7 天只剩峰值的 8%;两个移植一个比一个小;唯一还在涨的是 10-26 才建的 UEFI 版,11-01、11-02 各涨 400 多(GitHub 星数)。

**看数据表**

| 库 | 10-21 | 10-22 | 10-23 | 10-24 | 10-25 | 10-26 | 10-27 | 10-28 | 10-29 | 10-30 | 10-31 | 11-01 | 11-02 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Zagitta/gpu-unlock | 15 | 27 | 152 | 239 | 1458 | 3745 | 3283 | 2783 | 719 | 507 | 472 | 390 | 283 |
| JustAResearcher/gpu-unlock-ada |  |  |  |  |  | 2110 | 1398 | 651 | 106 | 63 | 79 | 49 | 35 |
| Windows-GPU-UNLOCK |  |  |  |  | 46 | 132 | 466 | 405 | 92 | 67 | 75 | 86 | 63 |
| physicsdolphin/nv-uefi-unlocker |  |  |  |  |  |  |  |  | 31 | 21 | 56 | 410 | 411 |

一周之内长出三个跟随:威斯康星的 Tim(JustAResearcher)把它移植到 40 系,4,657 星;有人做了 Windows 版,附一份韩文的启动指南,1,471 星;清华的 physicsdolphin 用 Rust 写了 UEFI 层的版本,991 星。这和电视去广告、Mac 去 AI 那些「换设备不换套路」的簇是同一种形状:第一个拿走大头,跟随者一个比一个小。

gpu-unlock 的仓库页,右边挂着 GitHub Sponsors 和 Buy Me a Coffee。README 最后一节是「帮我买更多显卡 <3」,外加三个加密货币地址(GitHub 页面,11-02 截图)。

它的问题比 Strata 多。一是效果被说大了:README 自己的表里,LLM 读提示词快 25–55%,但生成阶段(大部分人感受到的「速度」)不变,量化过的 GGUF 模型只快 0–15%;HN 上有人在 200 瓦功耗墙下测,「真实收益 7–8%」。二是它利用的是 NVIDIA 启动固件里的一个缓冲区溢出漏洞(HN 评论原话),显卡会更热,有人建议把功耗上限拉到 450 瓦——保修和法律风险都是用户自己扛。到 11-02 还看不到 NVIDIA 的公开回应,但这一支的命运不在作者手里。

## 钱有多少:四万颗星,几百杯咖啡

这一类项目全部免费开源,没有一家公开过收入,在 TrustMRR 这类校验收入的平台上也找不到它们。看得见的钱,只有 README 里挂的打赏页:

**Strata** 370 位 Buy Me a Coffee 支持者 · 37,608 星

**gpu-unlock** 17 + 1 位 Buy Me a Coffee + GitHub Sponsors · 14,102 星

**colibri** 8 位 Buy Me a Coffee 支持者 · 45,705 星

打赏人数是 11-02 各打赏页上的数字;星数是 GitHub 11-02 的数。

按每人 5 到 15 美元算,Strata 上线五周多的打赏是两千到五千多美元 估 ,colibri 不到两百 估 。Niko 10 月 18 日还专门发推辟谣一个冒用 Strata 名义收钱的加密骗局:「我永远不会为 Strata 收你的钱,它是开源的。」

那么星换来了什么?从 Niko 的 X 上能看到两样。10-25,他转了一条「Qwen 团队要在阿姆斯特丹的云栖大会上发新东西」的消息,配文:「要多少转发和 @ 才能让 @Alibaba_Qwen 把我招进去?」10-30,有人引 Sam Altman 说「本地推理是对稀缺内存的糟糕分配」,他回:「我最近刚帮一个中型数据中心做优化,性能提升 600% 以上。」**一份工作、一单咨询——这才是这些星的兑换方式** ,只是兑换价没人公开。

做成公司的也有,但它们是反过来的:先有生意,开源是销售材料。Edge0 的 GitHub 组织 7 月底才注册,9 月开源一个「2.5 GB 内存跑 35B MoE」的框架,配一篇 arXiv 论文,8,920 星、每周还涨 1,700 多;它的官网卖的是给耳机、眼镜、AI 玩具厂商的端侧模型。antirez 则不需要兑换——他本来就是 Redis 的作者,ds4 有了自己的官网 dwarfstar.sh。

左:antirez 给 ds4 做的官网,首页第一行是「你自己机器上的巨型模型」,现在支持 DeepSeek V4、GLM 5 和 Qwen3.8。右:Edge0 的官网,开源库是门面,生意是卖给硬件厂商(11-02 截图)。

引擎上面一层倒是有人在收钱,但都很小:斯洛文尼亚的 Rok Gregorič 做的 PhoneDiffusion(iPhone 上离线生成图片),近 30 天 $3,016,正在以 $50,000 挂牌出售;ModelFit,一个「我的电脑能跑哪个模型」的程序化 SEO 站,靠联盟佣金,近 30 天 $720;Ollamac Pro,给 Ollama 套的 Mac 客户端,$49 买断,近 30 天 $147,累计 $8,797,挂牌 $20,000;LLM Hub,iPhone 离线助手,近 30 天 $394(TrustMRR,支付平台校验,11-02)。

获客也几乎不花钱。在 Meta 广告库搜「Ollama」「Strata」「local LLM」「offline AI」,在 TikTok 广告库查 Strata、edge0.ai、dwarfstar.sh、ollama.com、lmstudio.ai、unsloth.ai,都看不到这一类产品在投广告(TikTok 广告库只收投到欧洲的,所以只能说「多半没投」)。增长靠的是 HN、X 和随后的科技媒体:Strata 被 linuxcompatible、warp2search 一版一版地写,gpu-unlock 上了 TechSpot 和 Notebookcheck,colibri 上了 GIGAZINE。

## 现在进场还来得及吗:门在关

最近的一次考验就在眼前:**10 月 29 日 Mistral 放出了 Large 4 的权重** ,HN 1,701 分。两天后,10 月 31 日,colibri 发了 2.1.0 版,Mistral Large 4 的文字和图片都能跑了。到 11-02,GitHub 上 10-25 以后新建、名字或简介提到 Mistral / Large 4 的库,一个过 50 星的都没有。

DeepSeek V4.1 Flash 那次也一样:官方三天就放出了自己的推理框架,Strata 一周内接上。现在的格局是,新模型一出来,colibri、Strata、ds4 三家和官方会在几天内把空位填掉。**三个月前,「第一个在普通电脑上跑通某个新模型」是一个人能抢的位置;现在这个位置被几个专门干这件事的人占着,他们比你快。** 这个判断目前只有 Mistral Large 4 一个样本,11 月中旬还要再看 推断 。

## 那还有哪里能切进去:三家不做的地方

剩下的缝,在三家不做、或做不好的地方:

**冷门硬件。** Strata 的引擎下载里,Intel 显卡占 0.7%,Mac 占 2%。Mert Cobanov(土耳其,Refik Anadol Studio 的 AI 工程师)在越狱的 PS5 上跑 llama.cpp,HN 375 分、780 星;Niko 自己最近在做 Intel B 系列和 AMD Strix Halo。主机、掌机、手机、国产显卡——这些地方的人群小,但没人跟你抢。

**引擎上面的垂直应用。** 10 月 24 日,一个叫 Brangus 的人建了 survival-llm:断网也能用的 AI 助手加应急资料库,内置 FEMA、CDC 的指南和 93 万篇维基百科,每个回答都标出处,按你电脑的内存自动挑模型。HN 10-27 拿了 542 分,11-02 是 1,218 星,最近每天还涨一两百。它不和三家比谁快,它回答的是「跑起来以后拿来干什么」。

survival-llm 的官网。演示的问题是「停电了,冰箱里的食物还能放多久」,右边直接高亮 FEMA 指南的原句。免费开源,Mac / Windows 一键下载(11-02 截图)。

## 如果是你

E

**观望。别从零做一个通用的「在普通电脑上跑大模型」引擎:三家老手几天就能接住一个新模型,你拿不到星,更拿不到钱。** 例外有两个:你本来就会写 CUDA / Metal 内核,想要的是作品集和名声,而且去打三家没覆盖的硬件;或者你做的是引擎上面的一个垂直离线应用。真正该等的信号,是下一个「架构全新、三家一周内吃不下」的开源大模型。

适合谁

写过推理内核、做过量化、懂显存和带宽的个人开发者;目的是换工作、接咨询、给自己的付费产品引流。做成的三个人里,antirez 是 Redis 作者,Simon 的 GitHub 上是十几年的嵌入式项目,Vincenzo 没有名气但一个人啃下了 7,440 亿参数的模型——**没有一个是靠包一层 UI 起来的** 。

不适合谁

想靠它直接收钱的(四万星换来的打赏是几百杯咖啡);不会写内核、靠 vibe coding 拼的(HN 评论区已经在嫌「4 天的 vibe coded 项目」);手上只有一台 Mac 的(Strata 的用户 81% 用 N 卡,Mac 只占 2%)。

怎么做

别抢发布当天。挑一个「大家都在说好、但普通显卡跑不动」的模型,把它在主流游戏卡上跑到能用,README 第一屏放实测速度和显存表;Windows 一键安装,这是 Strata 赢 colibri 的地方;**第二个月就接第二个模型** ,只跑一个模型的项目(turbo-fieldfare、h3.c)发完就平了。不想卷引擎,就做 survival-llm 那样的垂直应用:选一个人群,解决「跑起来以后干什么」。

怎么获客

HN 标题写「模型 + 硬件 + 速度」(「RTX 4090 上 100 T/s」);但起点在 X:Niko 每天发进度,一条更新能有几十万浏览,HN 是别人替他发的。不用想广告,这一类在 Meta、TikTok 的广告库上都看不到投放。打赏页和联系邮箱第一天就挂上——那是星唯一能变现的口子。

死线

不按日历算,按「新模型发布 → 三家支持」的间隔算:Mistral Large 4 是 2 天,DeepSeek V4.1 Flash 是 3 到 7 天。进场要么赶在这个间隔之内,要么去他们不做的硬件。

什么情况算看错

11-16 前,出现一个不是这三家、也不是官方的新库,靠「在普通硬件上跑某个新模型」过 5,000 星(门没关);下一个大开源模型发布两周后三家都还没支持(窗口重开,该升到 B);Strata 或 colibri 推出收费版、公开年收入过 5 万美元;或者 Niko、Vincenzo 公开说靠这个拿到了工作、咨询合同或投资(「名声换钱」这条路就有了价格)。

最后一句给所有做产品的人:**第一个跑通的人拿走热度,接住第二个、第三个新东西的人拿走用户。** 一次爆款只是入场券;能不能留下来,看的是下一次新东西出来时,你是不是还是那个最快把它交到用户手里的人。

### 数据与出处

- 星数与曲线:GitHub 星数逐日快照,更早的点来自 Wayback 存档(colibri、ds4、turbo-fieldfare 10 月前只有零星几个点),截至 2026-11-02。

- HN 分数、评论数、发帖人:Hacker News(Algolia 接口)和 HN 页面。按月统计用的是标题关键词粗筛,会混进少量无关的。

- Strata 的下载数、版本数,colibri 的版本、贡献者数,作者资料:GitHub API 和仓库页面,11-02。下载次数包含更新,不等于用户数。

- 打赏人数:Buy Me a Coffee、GitHub Sponsors 页面,11-02;金额是按人均 5–15 美元的估算。

- 收入:TrustMRR(支付平台校验)——PhoneDiffusion、ModelFit、Ollamac Pro、LLM Hub,11-02。

- 买量:Meta 广告库(按关键词搜)、TikTok 广告库(只含投到欧洲的广告)。

- X:@coldniko 的帖子,赞数和浏览数是 11-02 的。

- 人物背景:Codemotion Magazine 对 Vincenzo Fornaro 的采访;linuxcompatible、warp2search 对 Strata 的报道;TechSpot、Notebookcheck 对 gpu-unlock 的报道;各人 GitHub 资料页。

[← 全部机会](https://stringers.io/worth/demo/list3/all.html)