TurboFieldfare:一台 8 GB 的 MacBook Air,跑起了 26B 的大模型

TurboFieldfare 是一个只为一个模型写的 Mac 推理引擎:让 Gemma 4 26B-A4B 在任何 M 系列 Mac 上只占大约 2 GB 内存,8 GB 的 M2 Air 也能跑。它 7 月 17 日建库,一条 Show HN 让它一个月涨了 5,400 星,到 11 月 6 日 7,264 星、471 个 fork。下面讲它做了什么、星从哪来、谁在跟,以及你想做一个同样能拿到 star 的项目,该怎么下手。

一条 Show HN:「内存变贵了,我就给 26B 模型只留 2 GB」

2026 年 7 月 29 日,作者 gitpusher42 在 Hacker News 发了一帖:「Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac」。正文很朴素:他一直喜欢端侧 AI,想试试「跑一个权重装不进内存的模型」;4-bit 量化后的权重约 14 GB,8 GB 甚至 16 GB 的 Mac 算上系统、应用和 KV cache,用常规工具几乎跑不起来。「我做了 100 多次实验,大多数没成,有几个成了。」

这一帖拿了 919 分、342 条评论(Hacker News,7-29)。评论区很快有人上手:一位用户在 64 GB 的 M4 Max 上测出每秒 48 个 token、常驻内存 1.9 GB;另一位在还停在 macOS 15 的 M1 Air 上删掉两行代码编译成功,也跑到每秒 5 到 6 个 token。也有人泼冷水,说 llama.cpp 开 mmap 也能用 2 GB 左右跑起来。

README 的第一句是「Memory got expensive.」2026 年内存涨价,给 Mac 加内存贵得离谱,手上是 8 GB、16 GB Mac 的人最多,也最觉得「本地大模型跟我没关系」。这句话就是冲他们说的。

它到底做了什么

一个混合专家(MoE)模型,每生成一个 token 只用到其中一小部分「专家」。Gemma 4 26B-A4B 总共 26B 参数,每个 token 只激活约 3.88B。TurboFieldfare 的做法是:

• 只把共享的核心部分(1.35 GB)和 KV cache 放在内存里;
• 每个 token 需要哪些专家,就从 SSD 上现读,配一个小的专家缓存;
• SSD 在读的同时,GPU 先算这一层的共享部分,两边重叠,不干等。

全部用 Swift 和 Metal 手写,不是套 MLX 或 llama.cpp 的壳。附带一个原生 Mac App(点「Download Model」自动下载并重新打包约 15 GB 的模型)、命令行,以及一个实验性的 OpenAI 兼容本地服务,支持流式输出和工具调用。实测速度:8 GB M2 Air 每秒 5.1 到 6.3 个 token,24 GB M5 Pro 每秒 31 到 35 个(README,11-06)。

仓库里还公开了 103 项实验的台账和一张社区跑分表,欢迎别人提交自己机器的成绩。

星是从哪来的

(GitHub 星数;7-30、8-31 是网页存档快照,10 月起是每日数。最后一次提交在 10-26,版本 0.9.4。)

主引擎是那一条 Show HN。 大约 85% 的星是发帖后一个月内拿的。作者 GitHub 上只有这一个仓库,没有粉丝基础,纯靠标题和内容。

接着是转载。 7 月 29 日到 8 月 3 日,ai-tldr、developersdigest、Towards AI、Better Stack、hyper.ai 等十几家技术媒体和聚合站跟进;r/LocalLLaMA 有帖子;YouTube 上有「Local AI On Apple Silicon uses 7X Less RAM」「Running Gemma 4 26B on a Mac With 2GB of RAM?!」这类视频(播放量未查到)。Towards AI 还专门写了一篇《……标题仍然有误导》,说 2 GB 是真的、但速度要看 SSD——争议本身又带来一轮讨论。

11 月初那一小波不是新爆发。 没有新版本,时间上对得上的是聚合站 earlysignal 11 月 4 日把它列进当日热门,以及 11 月 5 日前后冒出的几篇安装教程(推断,因果未核实)。

没出现的: GitHub 总榜没上过(爆的时候建库不满两周),只在 10 月中旬上过两次 Swift 语言榜第 15、20 名;X 上的传播情况不清楚。

谁在跟它抢

先说清楚:「从 SSD 按需读专家」这个技术不是它发明的。苹果 2023 年的论文「LLM in a flash」就是这个思路,flash-moe 早它 4 个月做了出来。它赢在定位。

(GitHub 星数,11-06 前后)

flash-moe 和 ds4 是「大模型配大 Mac」,TurboFieldfare 是「中等模型配最便宜的 Mac」。后者的人群大得多,这就是它的差异,也是它跑出来的原因。但这层护城河很浅:Edge0 把同一句话换了个数字,星拿得比它还多。

它还有哪些没做好

• 门槛不低。 没有现成安装包,要自己 swift build,要求 macOS 26 和 Swift 6.2,首次还要下 15 GB。
• 只认一个模型。 Gemma 4 26B-A4B 一旦不再是最热的中等模型,它就得重做一遍适配。
• 只在 Mac。 iPhone、Android、Windows 轻薄本这些同样内存紧张的设备,它没碰——Edge0 已经去了。
• 星不等于装机量。 实际有多少人日常在用,看不出来。

如果是你

一句话判断: 「X 参数模型跑在 Y GB 的最便宜机器上」这个公式还能再用,但同一个格子(MoE + Mac + 低内存)已经被它和 Edge0 占住;值得做的是等下一个当红模型、或者换一档没人管的硬件,用同样的公式抢先发。

适合谁: 懂 Metal、CUDA、Vulkan 或手机端推理,能沉下心做几十上百次实验、把性能数字一项项抠出来的系统向开发者。

不适合谁: 想在 Mac 上再包一个「2 GB 跑 Gemma」的人;只会调 API、不愿碰底层内核的人。

怎么做:

1. 盯模型发布。每出一个口碑好、激活参数小的 MoE 模型,就是一次新窗口——谁先在最便宜的机器上跑起来,标题就是谁的。
2. 换硬件档位。8 GB 的 Windows/Linux 轻薄本、旧款 iPhone、安卓中端机、树莓派这类设备,内存一样紧,同类专用引擎少得多(推断,未逐一查重)。
3. 补它没做好的部分:一个双击就能装的版本(签名好的 .dmg 或 Homebrew 一行装),或者把同样的读盘调度做成 llama.cpp / MLX 的插件,让已有用户直接受益。
4. 只做一个模型、一档硬件,做到极致,不要一上来就「支持所有模型」。

怎么拿到 star: 首发选 Show HN,标题里放三个数字(多大的模型、多少内存、多便宜的机器);正文讲清做法和失败过的实验;仓库里放实验台账和社区跑分表,让用户自己来贴成绩。发完之后,媒体、教程、YouTube 会自己接力;有人写文章质疑标题,也是好事。

什么时候之前: 窗口跟着模型发布走,每次大概几周——新模型出来后最先跑起来的那一两个项目拿走大部分关注。更长远看,等 llama.cpp、MLX 把 SSD 读专家做成默认功能,「专用引擎」这条路就没新闻了。

什么情况说明看错了: 新模型发布一周内,已经有人在同档硬件上发了同样的标题;或者你的 Show HN 两天内没过 100 分——说明数字不够反差,或者别人已经说过了。