一个 4,943 粉的博士生,一条 109 万浏览的推:FreeToken 的 star 是伯克利的名字带来的

FlashML-org/FreeToken 为什么能跑出来

渠道:GitHub。研究日期 2026-11-06。数据卡:16,703 star / 1,640 fork,建库 2026-07-20,近 7 天 +1,884,11-03 单日 +653,全站 daily trending 最高第 6。

一句话结论

FreeToken 是 UC Berkeley(Ion Stoica、Matei Zaharia、Kurt Keutzer、Song Han 等署名)出的「在游戏显卡上跑几百 B 的 MoE 大模型」推理引擎。它是「论文 + 开源 + 桌面客户端」一起发的:8 月 21 日一作发的 X 推文(109 万浏览)和大号转发,加上 InfoQ、MarkTechPost、YouTube 一圈测评,让它在一个月里涨到约 1.4 万 star。11 月初第二波是中英文「AI 好物」号又搬了一遍(“Your gaming PC can now run a 284B AI model”),正好赶上 v0.2 加了 GGUF 支持,于是上了 GitHub trending,trending 又带来更多 star。靠的是名校光环加上一个人人都看得懂的数字(8GB 笔记本 39 tok/s、单张 5090 跑 284B),不是没人做过这件事。这个赛道其实已经很挤:Colibri 4.8 万、Strata 4 万、AirLLM 4.2 万、ds4 2.4 万 star,FreeToken 只排第四五名。

它是什么

• 面向消费级硬件的 MoE 推理引擎(Python + CUDA,Apache-2.0)。它把 GPU、CPU、内存、PCIe 当成一个整体来调度:按带宽决定专家放在 CPU 还是 GPU 上算,专家缓存用全局 LRU,KV 和 recurrent state 在语义锚点处存检查点(agent 改上下文时不用整段重算),显存在专家缓存和 KV 之间运行时动态分配。来源:README、arXiv 2608.16157。
• 提供 Anthropic / OpenAI 兼容接口,直接对接 Claude Code、Codex、OpenCode 这类编码 agent,定位是「本地免费 token」,项目名就是这么来的。
• 有 Windows / Linux 桌面客户端(flashml.ai,v0.2.0-beta.25,也上了 Snap Store),全部免费,没有任何收费。同一作者账号 9 月又发了姊妹项目 FreeVideo(2,809 star,本地跑 MiniMax H3 视频模型)。
• 账号 FlashML-org 其实是个人账号(2026-05-20 注册),主力提交者 jason-fxz(149 次提交)。论文作者:Shuo Yang、Melissa Pan、Haocheng Xi … Kurt Keutzer、Song Han、Matei Zaharia、Chenfeng Xu、Ion Stoica,是 Berkeley Sky Lab / SGLang 那一圈的人;README 写明受 mini-sglang 启发,复用了 SGLang、vLLM、FlashInfer、llama.cpp 的代码。

增长曲线(来源:我们的 github 库 repo_snap / repo_day / trending;GitHub API)

fork/star 约 9.8%,接近同量级新库的中位数(约 11%),没有可疑标记(库里 suspect 为空)。open issues 283、提交很勤(10-28 到 11-06 每天都有合入),说明真有人在用、在提 bug。

用户从哪儿来(增长手段)

1. 一作带名校光环发推(主引擎):@Andy_ShuoYang 08-21 发布推文,3,815 赞、109 万浏览;同一串的性能对比推(「比 Ollama decode 快 3–4 倍、prefill 快 6–30 倍」)2,570 赞、47 万浏览。来源:x-radar。
2. AI 圈大号转发:@Yuchenj_UW(「UC Berkeley open-sourced FreeToken. Wild results」)3,567 赞、32 万浏览;@mark_k 1,568 赞、7.3 万浏览;@akshay_pachaar(08-22)、@HuggingPapers、@jiqizhixin(机器之心)、@peteskomoroch 都发了。来源:x-radar;akshay 推文。
3. 媒体与博客:InfoQ、MarkTechPost 08-23、MindStudio、Medium、知乎「一周狂揽…」、aimodeling、deepseek.club、CSDN、byteiota、dev.to。
4. YouTube 测评潮(08-22 到 09-01 集中):Better Stack「How They Fixed AI's Biggest Local Hardware Problem」33.4 万播放;No place like localhost 8 万;Cloud Codes 6.9 万;Digital Spaceport(单张 3090 跑 DeepSeek V4 Flash)6.4 万;Kai 4.1 万;kintu「llama.cpp is No Longer the Fastest」3.4 万;Morgans Code「FreeToken vs llama.cpp」2.8 万;另有西语、中文的教程。来源:YouTube Data API。
5. Reddit:r/LocalLLaMA「Freetokens project is impressive」;r/LocalLLM「FreeToken is beyond OP」;有人在 r/LocalLLaMA 发了 3090 上 FreeToken 对 llama.cpp 的实测(模型放得进显存时 llama.cpp 快 2–3 倍,放不进时 FreeToken 赢)。HN 几乎没起作用:最高的一帖 41 分(08-21),11-02 那帖 3 分。来源:HN Algolia。
6. 11 月第二波:内容号搬运 + trending 自我强化:
   • 11-01 中文号 @Ryrenz:「不敢信,FreeToken 能让一张游戏显卡跑起 DeepSeek-V4-Flash…上过 GitHub Trending…1.5 万 star」;
   • 11-02 @alex_verem(简介写「也叫 @alex_prompter」):「Your gaming PC can now run a 284B AI model. Researchers from Berkeley and MIT open-sourced FreeToken…」;
   • 11-04 @simplifyinAI 在 X、Threads、Instagram 同时发同一段文案,带「评论 AI 领链接」的引流套路;
   • 同期还有 coddykit「GitHub Trending November 2026」、韩文 / 日文的 trending 搬运 issue。
   • 时间对得上:11-01 +117、11-02 +338(上榜)、11-03 +653(全站第 6)。注意它上榜时已经建库 105 天,早就过了 trending 约 60 天的门槛,所以这次上榜是这波转发真把 star 带起来了,不是刚满龄被放出来。还有一点帮了忙:v0.2.0(10-21)直接支持 llama.cpp 的 GGUF 文件,v0.2.1(10-26)加了 mmproj 图像输入。用户不用再找专门的 checkpoint,手上现成的模型文件就能直接跑,门槛低了不少。
7. 没发现:付费广告、商店投放、刷星的迹象。

竞品(同一件事:在显存不够的个人电脑上跑超大 MoE)

结论:赛道里早就有人,也不是空白。2026 年 7–9 月本地超大 MoE 引擎集中冒出来(Colibri、FreeToken、Edge0、Strata),背后是同一个平台事件:DeepSeek-V4-Flash(284B)、GLM-5.2(753B)、Qwen3.8-Flash-Next 这些开源 MoE 大模型接连发布,加上编码 agent 很费 token,本地「token 自由」成了热门话题。

为什么跑出来

1. 名校署名就是分发渠道:Stoica / Zaharia / Song Han 这些名字,加上「UC Berkeley open-sourced」这个标题,大号都愿意转。发布推 109 万浏览,Yuchen Jin 一条 32 万,第一周就涨了约 9 千 star。
2. 数字好记、好传:「8GB RTX 4060 笔记本跑 35B 到 39 tok/s」「单张 5090 跑满血 284B」「一张工作站卡跑 753B」。这些数字被几十个视频和文章原样复述,11 月的搬运号用的还是同一句话。
3. 时机:正赶上 DeepSeek-V4-Flash、GLM-5.2、Qwen3.8 这些大号 MoE 开源,大家想用 Claude Code / Codex 却嫌 token 贵。项目名「FreeToken」直接说出了这个需求,还提供 Anthropic / OpenAI 兼容接口,能直接接进这些 agent。
4. 工程上真能用、一直在更新:有 PyPI 包、桌面客户端,支持 20 多个模型,GGUF 也能跑,10 月底以后几乎每天都有合入。所以它没在发布后一个月就沉下去,有了 GGUF 支持以后又被人重新提起。
5. 11 月第二波主要靠搬运号和 trending:这次没有新论文,也没有官方发布会,是中英文 AI 好物号把旧闻重发了一遍,加上 trending 互相推高。这波很短,11-05 就降回 100 出头。

差异化

• 别人走的是两条路:「不要 GPU,从 SSD 硬塞」(Colibri、Edge0、AirLLM、ds4),或者「专为一个模型手搓」(Strata、ds4)。FreeToken 是通用的 GPU+CPU 协同 MoE 服务引擎,出自 SGLang / vLLM 那一套系统做法:按带宽自适应调度、服务级的缓存设计、给 agent 多轮对话做 KV 检查点,而且有正式论文和基准。
• 差异化部分是它跑出来的原因:「比 Ollama / llama.cpp 快 2–4 倍」这个对比是传播里最常被引用的话。但更主要的原因是署名和名校标签,不是技术本身:同期的 Strata 只做一个模型、没有名校背书,靠一键安装涨得更快;Colibri 也比它多三倍 star。说明这个赛道里用户最认的是「能不能一键在我这台机器上跑起来」,技术路线是次要的。
• 短板:只支持 NVIDIA(AMD、Apple Silicon 还在路线图上,见 issue #79);模型放得进显存时比 llama.cpp 慢。

被多少人看见

已经被广泛讨论:InfoQ、MarkTechPost 写过;发布推 109 万浏览;Better Stack 视频 33 万播放;知乎、机器之心、CSDN 都有;HF Papers 收录。没有收入,也没有商业化。

跟风者

• 同一定位的(时间上不全是抄,但已经挤满了):Strata(09-24,4 万 star)及其衍生 PolyStrata(10-06,863 star)、MoMoE;Edge0(09-08,9k);一堆小库,如 yalun753/moe-l2、andyzpb/localMoE、ferrumox/rabbit、giannisanni/pulsar、prayangshuuu/hummingbird(都在 7 月以后);paiml/aprender 开了一个「CRUX vs FreeToken」的发版 EPIC,对着它做对标。
• 蹭名的:AIPMAndy/FreeToken(免费 API 额度清单,和这个项目无关)。

别人能借鉴的

• 「论文 + 开源 + 桌面客户端」一起发,让大佬作者亲自发推,再准备一张一句话能讲清的硬件对比图(什么卡、多少 tok/s、对比 Ollama 快几倍)。YouTube 测评作者会自己找上门。
• 起名直接说出用户的痛点(Free + Token),再给 agent 兼容接口,把自己挂到 Claude Code / Codex 的热度上。
• 发布后两个月补上大家最想要的兼容性(GGUF 直接加载),让搬运号有新的由头;过了 60 天以后的一波转发就能把项目推上 trending。

不确定的

• 7-20 建库到 8-19 论文发布之间的 star 曲线没有数据(stargazer 时间接口 404,Wayback 只有 08-28、09-28 两个点)。
• 11 月第二波具体哪条帖子带量最多未核实:x-radar 本地语料里没有 11 月的帖子,@alex_verem、@simplifyinAI 的浏览量没拿到。
• 桌面客户端的实际下载量、留存未知;以后会不会商业化(FlashML 是不是要做公司)未核实。