什么值得做
GitHub 开源项目 · 11-6 写
Niko1221/Strata · Niko1221

一张 12GB 游戏显卡跑 125B 大模型:Strata 43 天拿下 4 万星,靠的是押中一个模型、抢在第一个

它是什么 一个开源的本地大模型推理引擎:专门优化一个 125B 的 MoE 模型,让 12GB 显卡加 64GB 内存的普通电脑也能跑得很快,带一键安装包、桌面 App 和能接 Claude Code 的本地接口。

为什么火了 当时最火的开源模型普通人跑不动,它在模型发布四周后第一个给出「12GB 显卡 65 tok/s」这种谁都能复现、截图的数字,用户在 Reddit 和 HN 自发晒跑分,作者之后几乎每天在 X 上发版、扩模型,热度一直没断。

B你可以怎么跟 别跟 Strata 本身,跟它的时机:等下一个「开源最强但跑不动」的大模型发布,两到四周内做出单模型专用引擎 + 一键安装 + 兼容 API,第一帖只发一个硬件配置和一个 tok/s 数字;或者专做它没顾上的人群(8GB 显卡、AMD/Intel、Mac)和它被骂最多的精度问题。

B 级:跟法清楚、回报以万星计,但这一个模型已经被 Strata、FreeToken、ds4 和十几个 fork 占满、也被广泛报道;要跟只能赌下一个模型的发布时机并抢第一,还得有 C++/CUDA 和多台显卡的真功夫,门槛和运气都不小。 已公开 / 被广泛讨论
数据(每天更新) · 建库 2026-09-24 · 41,439 星 · 7 天 +4,418
GitHub · 星数
020k40k09-2810-1610-2410-3111-0841k
数据 2026-09-28 → 2026-11-08(42 天,32 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有

Strata 是斯洛文尼亚一个人(GitHub Niko1221,X @coldniko)写的本地推理引擎,只为一个模型做到最快:Qwen 8 月底发布的 Qwen3.8-Flash-Next。它让普通游戏电脑跑出每秒 50 到 100 多个 token,还能直接接进 Claude Code、Codex 当免费的编程模型。9 月 24 日建库,11 月 6 日 40,493 星。底层思路好几家都有,它赢在模型押对了、上线够早、普通人也装得上。这套打法可以等下一个模型再用一次,但这一个模型上的位置已经被它和一堆 fork 占满了。

一条 Reddit 帖子,一个跑分截图

2026 年 9 月 24 日,r/LocalLLaMA 上一个叫 KnownAd4832 的账号发了帖,标题就是一个数字:《Qwen3.8-Flash-Next on 12GB VRAM - 65 tokens per second》。正文开头一句:「之前我发过 15 tok/s 的输出、100–120 tok/s 的读入」,接着列配置:64GB DDR5-5600 内存,一张 12GB 的 RTX 5070 SFF,128K 上下文。帖子拿了 362 票、336 条评论;三天后转到 r/Qwen_AI,又是 977 票、420 条评论。

发帖的人多半就是作者推断:几周前 r/LocalLLaMA 上那条《Qwen3.8 Flash on 12GB VRAM - 15 tokens/s》对得上「之前发过」;Strata README 里的跑分表第一行也正好是「RTX 5070 12 GB,64 GB RAM」。

同一天,Strata 在 GitHub 建库。评论区里最典型的一条:

「我终于能在笔记本上跑 qwen3.8 flash next 了,12GB 显存、64GB 内存、Windows,输出 50 t/s、读入 500 t/s。别的引擎都到不了这个速度,同一个量化 llama.cpp 只有 23 t/s。」

这就是 Strata 的全部卖点:一个任何有游戏电脑的人都能自己复现、截图、发帖的数字。

它是什么

Qwen3.8-Flash-Next 是 8 月 26 日发布的开源模型,1250 亿参数的 MoE(每次只激活约 60 亿),发布当天 Hacker News 704 分。能力是开源第一梯队,但普通人跑不动:整个模型塞不进游戏显卡,通用工具(Ollama、llama.cpp)在显存放不下时会慢到没法用。

Strata 只解决这一个模型。做法三层:最常用的「专家」放显存,而且跟着对话自适应;全部专家放内存,CPU 和 GPU 同时算;放不下的从 SSD 读。再加上推测解码,一次猜 3 个 token。结果是 12GB 显卡 + 64GB 内存跑出 50–65 tok/s,4090 跑到 100 以上。

光有引擎不会火,它还把门槛做到了游戏玩家能用:

  • Windows / Linux / Mac 各一个安装包,装完选模型就能聊天;首次启动按你的显卡自动下载对应引擎。
  • 终端里一句 strata launch,带实时监控显存、速度。
  • 本机开 OpenAI / Anthropic 兼容接口,strata connect 一键接 Claude Code、Codex、OpenCode。
  • 一份 AI_SETUP.md:把「按这个仓库的 docs/AI_SETUP.md 帮我装好」贴给你的 AI,让它替你装。
  • README 有中、日、德、法、西、葡、波兰 7 种语言。

MIT 协议,免费,没有账号。钱只有 GitHub Sponsors 和 Buy Me a Coffee 两个按钮,README 里公开的支持者只有 1 个。

星是从哪来的

时间发生了什么星数
8-26Qwen3.8-Flash-Next 发布,HN 704 分;接下来一个月 Reddit 上全是「12GB 能不能跑」「32GB 内存够不够」还没建库
9-24建库;r/LocalLLaMA 首帖 65 tok/s,362 票—
9-27转到 r/Qwen_AI,977 票570(9-28,网页存档)
10-01作者在 X 发「旧 DDR3 机器 + 8GB 显卡跑 70 tps」,约 2,900 赞—
10-03r/LocalLLaMA 有人发帖《Yes bots we get it, Strata is good now please stop》,版面被刷屏—
10-04一个用户(不是作者)发 HN:《在 4090 上以 100T/s 跑 Qwen 3.8 Flash Next (125B)》,940 分、420 评论—
10-09第一波过去18,382
10-14 / 10-24加 Qwen3.6-35B;加 DeepSeek V4.1 Flash,X 上 3,150 赞31,087(10-24)
10-28单日最高,+1,38134,869
11-02X 帖「今天是 8GB 显卡用户的大日子」,4,513 赞、84 万次浏览37,608
11-06近 7 天 +4,588,前 7 天 +5,470,在慢慢减速40,493,4,425 个 fork

星数来自 GitHub 每日记录;赞和浏览来自 X,11-06 前后。

第一波是 Reddit 加 HN 一周之内把 570 推到 1.8 万。之后没有掉下来,靠的是作者的节奏:43 天发了 60 多个版本,每个版本都在 X 上发,还会预告下一个目标(比如「DeepSeek 在 5070 上要做到 30–35 tps」)。每加一个模型、每降一档显卡门槛,就是又一次发布。

转述也跟着来:Mario Nawfal 的号 11-05 发「你为什么还在按 token 付钱?」;QwenAIFans 一条 2,201 赞;日本、中文、俄语(Habr)圈都有人写;Unsloth 的 Daniel Han 11-05 说他们的新量化「在 Strata 里直接能用」。Hugging Face 上已经有人专门发「…-Strata」后缀的量化版本。

没找到它投广告、上 Product Hunt 的痕迹。GitHub Trending 不收不满约 60 天的库,所以它从来没在那上过。

质疑也不少

HN 那 420 条评论里,夸速度的多,但质疑集中在三件事:

  • 量化太狠。为了塞进 12GB,推荐的是 2 到 3 比特的量化,编程专用版还砍掉了一半专家。最直接的一条:「Q2 量化,不感兴趣。」
  • 快,但不一定准。有人在 50 张图的视觉定位测试上对比:同样的权重,Strata 中位误差 154.8 像素,llama.cpp 是 46.5。
  • 刷屏和 AI 味。「全世界的 LLM 讨论区都被 Strata 链接刷屏了,蜜月期过后还剩多少热度不好说。」也有人吐槽「让 AI 帮你装」比 curl | bash 还吓人。

「是不是水军」查不到实据;fork 数、真实硬件跑分帖、PR 数量都说明用户主体是真的。反而是另一句评论说出了这个品类的现状:「现在本地模型有一大堆 AI 写出来的专用推理引擎,每个都更窄,但全都比 llama.cpp 快。」

谁在跟它抢

项目星数和 Strata 比
Ollama18.6 万什么模型都能跑,大 MoE 放不下显存就很慢
llama.cpp13.3 万通用底座(Strata 用了它的 ggml),CPU/GPU 混合要手调
antirez/ds42.42 万Redis 作者的 DeepSeek 4 专用引擎,同样「单模型专用」,主打 Mac,Qwen3.8 是后加的
ktransformers1.97 万2024 年就在做 GPU+CPU 跑大 MoE,偏服务器、难装,没跟上 Qwen3.8,近 7 天 +8
FreeToken1.67 万7 月就上线、也能跑 Flash-Next,近 7 天 +1,884,最直接的对手
slotstream652只做 Mac,从 SSD 流式读,约 12 tok/s

星数为 11-06 前后。

技术路线谈不上独家:Strata 自己在致谢里列了 splash、ninfer、HyperQwen 几个 Qwen 专用优化项目当思路来源,它们各只有两三千星,都没做成普通人能装的东西。差别就是两件事:只押当下最火的那一个模型,和把安装做到游戏玩家级。

跟风已经很满:PolyStrata(863 星,再加一个引擎跑 GLM、Gemma)、Xolotl、XeStrata、strata-mlx、Strata-V100、Strata-DualGPU 等十几个 fork,还有蹭名字的 SEO 站,作者 10-19 还得在 X 上辟谣有人借 Strata 的名字发币。

如果是你

B 可以试,但别跟 Strata 本身,跟的是它的时机。Qwen3.8-Flash-Next 这个位置已经被 Strata、FreeToken、ds4 和十几个 fork 占满了;值得做的是等下一个「开源最强、但普通人跑不动」的模型发布,抢第一个把它做成能装、能晒数字的东西。

  • 适合谁:能写 C++/CUDA(或 Metal、ROCm)、读得懂 llama.cpp / ggml 代码、自己有一两台不同档次显卡的开发者;平常就在 r/LocalLLaMA 和 X 上混,知道大家缺哪种硬件的跑法。
  • 不适合谁:只会写上层应用、指望套个壳拿星的;没有真实硬件测试条件的(这一行一切靠能复现的数字,数字不准一帖就被拆穿);想靠它赚钱的,4 万星的 Strata 公开支持者也只有 1 个。
  • 怎么做:三条路。① 下一个大模型(Qwen 下一代、DeepSeek、GLM 的大 MoE)发布后两到四周内,出一个单模型专用引擎,一键安装 + OpenAI/Anthropic 兼容接口 + 接编程工具。② 做 Strata 没做好的人群:8GB 显卡和轻薄本(HN 上有人说「比起大模型,我更想知道 8GB 内存的 Chromebook 能跑什么最好」)、AMD 和 Intel 核显、Mac。③ 做它最被诟病的那块:同样塞进小显存但精度不掉太多,拿公开基准逐项对比 llama.cpp 的结果。
  • 怎么拿星:第一帖只发一个数字和一份配置(「12GB 显卡,X tok/s」),发在 r/LocalLLaMA;让用户自己去晒跑分;HN 等别人替你发。之后每个版本都在 X 上发,公开下一个目标;和量化作者(Unsloth、ISTA-DASLab 这类)互相推荐;README 一开始就做多语种。
  • 什么时候之前:以模型发布日算,第 2 到第 4 周是黄金期。Qwen3.8 发布到 Strata 建库正好四周,这一个月里 Reddit 上「能不能跑」的帖子攒够了需求;晚两个月,位置就已经有人了。
  • 什么情况说明看错了:① llama.cpp 或 Ollama 把专家缓存、CPU/GPU 同时算做成默认功能(Strata 作者已经转过「vLLM 采用了 Strata 用的一个技巧」),专用引擎就没有速度优势了;② 下一个热门大模型发布后,Strata 自己一周内就支持上,而且照样最快,那后来者连时机都抢不到;③ Strata 每周涨星掉到几百、讨论区开始集中吐槽精度,说明「快但不准」的单模型引擎这条路本身到头了。

GitHub 仓库 ↗

研究底稿:竞品表、获客证据、完整研究报告
竞品
名字在哪上线规模它和这家不同在哪
Ollama开源2023-0618.6 万 star通用,什么模型都能跑;大 MoE 模型显存放不下时很慢,没有专家缓存和 CPU/GPU 同时计算
llama.cpp开源2023-0313.3 万 star通用底座(Strata 用了它的 ggml 部分),CPU/GPU 混合要手调,速度明显低于专用引擎
LM Studio其他2023闭源桌面 App,用户量大通用 GUI,底层是 llama.cpp/MLX,没有针对单个模型做优化
ktransformers开源2024-071.97 万 star,近 7 天 +8同样是 GPU+CPU 跑大 MoE,但偏研究/服务器,安装门槛高,没跟上 Qwen3.8
FreeToken(FlashML-org)开源2026-07-201.67 万 star,近 7 天 +1,884最直接的对手,比 Strata 早,也能跑 Flash-Next;不只押一个模型,势头小于 Strata
antirez/ds4(Dwarfstar)开源2026-052.42 万 star同样是单模型专用引擎,但主打 DeepSeek 4 和 Metal/Mac,Qwen3.8 是后来加的
slotstream开源2026-08-28652 star,Show HN 240 分只做 Mac,从 SSD 流式读取,约 12 tok/s,慢得多
vLLM / SGLang开源2023–20249.6 万 / 3.9 万 star面向数据中心,要求整个模型放进显存,消费级硬件跑不了
用户从哪来
  • 查实 Reddit r/LocalLLaMA / r/LocalLLM 首发和用户晒跑分:建库当天 2026-09-24 有帖《Qwen3.8-Flash-Next on 12GB VRAM - 65 tokens per second》;9-30 到 10-31 持续有用户跑分帖;10-03 有帖抱怨被 Strata 刷屏(Brave 搜索)
  • 查实 Hacker News:2026-10-04 用户 snehesht 发帖,940 分、420 评论(hackernews 库 id 49953495)
  • 查实 作者在 X 高频发版:@coldniko 11-02 帖 4,513 赞、84 万曝光;10-24 帖 3,150 赞;10-01 帖 2,900 赞;10-06 发帖求转发(x live)
  • 查实 X 大号和多语种博主转述:@RoundtableSpace 432 赞《WHY ARE YOU STILL PAYING PER TOKEN?》、@QwenAIFans 2,201 赞,日本博主(murasametech 等)、Habr、Unsloth 的 Daniel Han 也有转述(x live、x 库)
  • 查实 媒体、博客、YouTube 长尾:aiweekly.co、Medium、dev.to、smartscope、note.com,多个 YouTube 讲解视频;作者说上了 @gospaceport 的视频(Jina 搜索、X)
  • 查实 借模型发布的东风:Qwen3.8-Flash-Next 2026-08-26 发布,HN 704 分;Strata 约 4 周后上线(hackernews 库)
  • 查实 和量化作者生态绑定:README 首推 ISTA-DASLab,支持 Unsloth、Gyro 等量化;HF 上有专门的 -Strata 量化
  • 推断 疑似水军/小号推广:只有 r/LocalLLaMA 10-03 帖《Yes bots we get it…》的质疑,没有直接证据

Niko1221/Strata 为什么能跑出来

研究日期 2026-11-06。数据来自:github 库(repo_day / repo_profile)、hackernews 库、x 库与 x live(TikHub)、GitHub API、Jina/Brave/Exa 搜索。Reddit 正文抓不到(403),Reddit 部分只用了搜索摘要。

一句话

Strata 是斯洛文尼亚个人开发者 Niko Veit(GitHub Niko1221,X @coldniko)做的 C++/CUDA/HIP 本地推理引擎,只为一个模型优化:Qwen3.8-Flash-Next(125B 总参、约 6B 激活的 MoE,2026-08-26 发布)。它把常用专家放显存、全部专家放内存由 CPU 同时算、n-gram 表放 SSD,再加 MTP 推测解码,让 12GB 游戏显卡 + 64GB 内存跑出 50–100+ tok/s;配一键安装的桌面 App、strata launch 终端、localhost 上的 OpenAI/Anthropic 兼容接口,直接接 Claude Code / Codex / OpenCode。

结论:时机加单模型极致优化,再加作者在 X 上几乎每天发版刷存在感。 Qwen 刚发了一个"开源最强但普通人跑不动"的大 MoE 模型,Strata 第一个让游戏玩家级硬件跑出可用速度,还能直接替代付费编程 API。用户在 r/LocalLLaMA 晒跑分,HN 一帖 940 分,之后作者靠高频发版(43 天发了 60 多个版本)加扩模型(Qwen3.6、DeepSeek V4.1 Flash)让热度一直不掉。

数据

指标数值来源
建库2026-09-24GitHub
star2026-09-28 为 570(wayback)→ 10-09 为 18,382 → 11-06 为 40,493(实时 40,874)github 库 repo_day
近 7 天涨星+4,588(前 7 天 +5,470),日均 500–900,单日最高 1,381(10-28)github 库
fork4,425(fork/star 约 11%,本地推理圈正常偏高,大量人 fork 去适配自己的硬件)github 库
Release 资产下载v0.1.5–v0.2.11 合计约 270 万次(v0.2.9、v0.2.10 各约 39 万)GitHub releases API。注意 App 首次启动会再下一次 GPU 引擎,下载数偏高
作者账号建于 2021,GitHub 上只有这一个公开库,942 粉丝;位置斯洛文尼亚GitHub users API
suspect只命中"新号单库暴涨"(这条规则对新库爆款本来就会命中),没命中"几乎零 fork"之类的刷星信号github 库

竞品

产品类型上线规模和 Strata 的区别
ollama/ollama开源 / 桌面2023-0618.6 万 star通用的一键跑模型工具,基于 llama.cpp。大 MoE 模型显存放不下时退化严重,没有专门的专家缓存
ggml-org/llama.cpp开源2023-0313.3 万 star通用底座,Strata 用了它的 ggml 部分。能做 CPU/GPU 混合(-ot 卸载),但要手调、速度低。HN 评论:"一堆 AI 写的专用引擎都比 llama.cpp 快"
LM Studio桌面 App2023闭源,用户量大通用 GUI,底层同样是 llama.cpp/MLX,没有针对单个模型的极致优化
kvcache-ai/ktransformers开源2024-071.97 万 star(近 7 天 +8)同样是 GPU+CPU 跑大 MoE 的思路,更早做出来,但偏研究/服务器,安装门槛高,没跟上 Qwen3.8
antirez/ds4(Dwarfstar)开源2026-052.42 万 starRedis 作者做的 DeepSeek 4 专用引擎,也加了 Qwen3.8 支持。思路相同(单模型专用),但主打 Metal/Mac 和 DeepSeek
FlashML-org/FreeToken开源2026-07-201.67 万 star(近 7 天 +1,884)最直接的对手,"把数据中心级 serving 搬到桌面"。HN 有人说一个月前就用它跑通了 Flash-Next。比 Strata 早,规模和势头都更小
carloslfu/slotstream开源2026-08-28652 star只做 Mac,从 SSD 流式读取,Show HN 240 分,速度约 12 tok/s
incoai/splash、Neroued/ninfer、syv-ai/HyperQwen开源2026-06 至 092–3k starStrata 致谢里写的"思路来源",都是 Qwen 专用的推理优化,但都没做成普通人能装的产品
vLLM / SGLang开源2023 至 249.6 万 / 3.9 万面向数据中心,要求整个模型放进显存
MiaAI-Lab 系列、club-3090 等开源教程/配方2026-08 至 09几百到 2.5k都是"某硬件跑 Qwen3.8 的配方",不是引擎

结论:"消费级硬件跑大 MoE"不是空白赛道,ktransformers、FreeToken、ds4 都在 Strata 之前。Strata 赢在两点:只押 Qwen3.8-Flash-Next 这一个当红模型,以及把安装做到游戏玩家也能用(Windows 一键安装包、桌面 App、AI_SETUP.md 让你的 AI 帮你装)。

增长手段(证据)

  1. Reddit r/LocalLLaMA 首发(已证实):建库当天(2026-09-24 17:40 UTC)有帖《Qwen3.8-Flash-Next on 12GB VRAM - 65 tokens per second》。之后 9-30、10-01、10-08、10-10、10-12、10-17、10-21、10-31 在 r/LocalLLaMA 和 r/LocalLLM 连续有用户晒跑分、晒硬件,r/StableDiffusion 和 r/IntelArc 也有。来源:Brave 搜索结果的标题与日期。
  2. "像水军"的争议(已证实存在争议,水军本身没证实):2026-10-03 r/LocalLLaMA 有帖《Yes bots we get it, Strata is good now please stop》,摘要里说 "have you all heard the good news about Strata? is a pamphlet line"。说明首周版面被 Strata 帖刷屏,有人怀疑是机器人推广。查不到作者买量或用小号的直接证据。从 fork 数、PR 数(#1274 等)、大量真实硬件跑分来看,用户主体是真的。
  3. HN 爆帖(已证实):2026-10-04,一位用户(snehesht,不是作者)发《Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s》,940 分、420 评论(hackernews 库 id 49953495)。star 从 9-28 的 570 涨到 10-09 的 18,382,主要就是这一周(Reddit + HN + X 叠加)。评论里也有质疑:Q2 量化太狠、README 全是 AI 写的。
  4. 作者自己在 X 高频发版(已证实):@coldniko 近 45 天几十条帖,单帖最高:11-02《Today is a big day for 8GB GPU users》4,513 赞、84 万曝光;10-24《DeepSeek-V4.1-Flash now runs on 64GB of RAM》3,150 赞;10-01《People still dont fully grasp Strata … 旧 DDR3 机器 + 8GB 显卡跑 70tps》2,900 赞。10-06 还发过《Please share this to support Strata development》求转发。来源:x live。
  5. "不用再按 token 付费"的大号转述(已证实):@RoundtableSpace(Mario Nawfal)11-05 发"WHY ARE YOU STILL PAYING PER TOKEN?",432 赞;@QwenAIFans 10-15 2,201 赞;日本圈(@murasametech 491 赞、@NolmerPortion、@remote_komusou 669 赞)、中文圈(@MinLiBuilds)、Habr 都有转述。Unsloth 的 Daniel Han 11-05 公开说新量化"在 Strata 里直接能用"。
  6. 媒体、博客、YouTube 长尾(已证实):aiweekly.co、Medium(xhinker、Data Science in your Pocket)、dev.to、smartscope.blog、note.com、thomaswildetech、多个 YouTube 讲解视频;作者 10-10 说自己上了 @gospaceport 的视频。
  7. 生态绑定(已证实):README 首推 ISTA-DASLab 的 GSQ-RCO 量化,也支持 Unsloth、Gyro、Swift 1.5 等社区量化。量化作者和 Strata 互相导流:HF 上已有专门的 "…-Strata" 量化(如 Maximilian228/…-NVFP4-GPTQ-Strata)。
  8. 借模型发布的东风(时机):Qwen3.8-Flash-Next 8-26 发布,HN 704 分,发布预告也有 336 分;Qwen3.8-Max 和 2.4T 的消息在 HN 上都是几百到上千分。Strata 上线时,"想跑但跑不动"的需求已经被积累了一个月。
  9. 扩模型续命:10-14 加 Qwen3.6-35B-A3B,10-24 加 DeepSeek V4.1 Flash(3,150 赞),11-03 支持 8GB 显卡、加 DeepSeek Coder。每次扩展都是一次新的发布,所以第二波、第三波涨星没有断(10-28 单日 1,381 是最高)。

没找到投广告、Product Hunt 上榜、GitHub trending 的证据。trending 对建库不满约 60 天的库不收,所以不算反证。

为什么跑出来

  • 时机:当时最热的开源模型(125B MoE)没有一个普通人能用的跑法,Strata 上线时间正好卡在模型发布后约 4 周、需求最集中的时候。
  • 数字能直接晒:"12GB 显卡 65 tok/s""4090 100+ tok/s"这类说法任何有游戏 PC 的人都能自己复现、截图发帖,Reddit 和 X 上是一波波用户自发晒跑分。
  • 单模型专用,所以真的快:24,576 个专家里,显存放最常用的(还会随对话自适应)、CPU 同时在内存里算其余的、MTP 一次猜 3 个 token。HN 上有人说"这些专用引擎都比 llama.cpp 快"。代价是要用很狠的量化(Q2/IQ3),这也是主要的批评点。
  • 产品化做到普通人能装:Windows/Linux/Mac 安装包、桌面聊天 App、终端监控、strata connect 一键接 Claude Code/Codex,还有 AI_SETUP.md("让你的 AI 帮你装")。同类大多只有命令行加编译步骤。
  • "本地替代付费编程 API"的叙事:兼容 Anthropic/OpenAI 接口,直接接入 Claude Code 等工具,大号的转述角度都是"为什么还按 token 付钱"。
  • 作者的节奏:43 天 60 多个 release、每次都在 X 上发、给出下一个目标(比如"5070 上跑 DeepSeek 要到 30–35 tps"),社区很难把注意力移走。

差异化

和 ollama、LM Studio 比:不追求什么模型都能跑,把一个当红大 MoE 优化到极致(专家分层缓存 + CPU/GPU 同时算 + MTP)。和 ktransformers、FreeToken、ds4 比:思路差不多,但 Strata 押对了模型、上线时间刚好,还把安装、App、编程工具接入做成了消费级产品。这个差异化就是它跑出来的原因。其中"单模型、马上能用、数字好晒"比底层技术本身更关键:底层思路好几家都有,但只有它把"游戏显卡跑 125B"做成了一个能复现、能截图的结果。风险在于离不开这一个模型,Qwen 下一代或者 llama.cpp/vLLM 吸收这些技巧(作者自己转了"vLLM adopted a trick Strata uses"),护城河就会变薄。

能见度与跟风

  • 已经被广泛讨论:HN 940 分;r/LocalLLaMA 刷屏到有人发帖抱怨;Mario Nawfal、QwenAIFans 等大号转述;多篇 Medium/dev.to/Habr 文章;YouTube 讲解视频;Unsloth 官方点名支持。
  • 跟风者很多:
    • 衍生 fork:PolyStrata(863 star,用 Strata 引擎再加第二引擎跑 GLM/DeepSeek/Gemma)、Xolotl(原名 Strata-DSV4.1)、XeStrata(多厂商 GPU)、strata-nvfp4、strata-mlx(Mac)、Strata-V100、Strata-DualGPU、eddoursul/Lamina、momoe、talus-public(Strix Halo)、FastStrata 等
    • 蹭名 SEO 站:stratallm.org(非官方)
    • 骗局:作者 10-19 在 X 上辟谣有人借 Strata 名义发币("Crypto Scam … I would never charge you for Strata")
  • 变现:GitHub Sponsors 加 Buy Me a Coffee,README 里公开的支持者只有 1 人,看不出在赚钱。

别人能借鉴的

  1. 大模型刚发布、需求集中但没有好的跑法时,做"单模型专用 + 一键安装",上线越早越好。
  2. 给用户一个能复现、能截图的硬数字(某款显卡跑出多少 tok/s),让用户替你在 Reddit 和 X 上传播。
  3. 高频发版,每次都在 X 发,同时公开下一个目标。
  4. 兼容 Anthropic/OpenAI 接口,接入主流编程 agent,讲"不再按 token 付费"。
  5. 和量化作者(Unsloth、ISTA-DASLab)结盟,互相导流。

不确定

  • 9-24 到 9-28 的冷启动帖是谁发的(作者本人还是用户),Reddit 正文抓不到,没核实。
  • "bots"质疑有没有实据,没核实。
  • 270 万下载里真实安装数有多少(引擎是按显卡二次下载的)。
  • 作者背景(个人还是有团队、有没有资金)不清楚。README 和代码很可能大量由 AI 生成(HN 评论这么说),没核实。
  • 拿不到 stargazer 时间分布(API 返回 404),首周涨星的精确时间线只能从 wayback 和 deeply 的快照推。

文章由 AI 根据公开数据和我们每天采集的数据写成,数字带出处,推断已标明