
一张 RTX 2060 跑 35B:一个反诈博主的推理引擎,一条 Threads 帖子一天涨了 171 star
它是什么 一个 3.8MB 的 Windows 本地大模型推理程序,把大 MoE 模型里常用的专家缓存到显卡上,让 8GB 的老 N 卡跑 35B 模型,自称比 llama.cpp 快一倍,还带一个能干活、能语音聊天的桌面 agent。
为什么火了 作者靠反诈机器人 PenipuMY 在 Threads 上攒了约 3,900 个粉丝,大版本发布第二天发了一条「Claude-distilled 35B on RTX 2060 8GB, 70 tok/s」的录屏,12.8 万浏览,当天 +171 star;Reddit、HN、X 上都没人提。
C你可以怎么跟 别再写一个「比 llama.cpp 快 2 倍」的引擎,抄它的发帖方法:老硬件 + 具体数字 + 不剪的录屏,踩在大版本之后发,并且发到 r/LocalLLaMA 和 Show HN 这些它没去的地方;要做产品,可以补它没做的 Linux、A 卡,或一个「你的卡能跑什么模型」的小工具。
- 数据(每天更新) · 建库 2026-10-27 · 243 星 · 7 天 +197
GitHub · 星数 数据 2026-11-05 → 2026-11-20(16 天,16 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有
马来西亚开发者 Apiz Pudin 用 Rust 写了一个只认 N 卡、只跑 Windows 的本地大模型推理引擎 ghost-infer,11-14 在 Threads 上发了一条录屏,仓库一天从 46 star 涨到 217。代码确实有东西,但这两百来个 star 几乎全是他自己的社交号带来的,第二天就落回每天个位数。下面说清楚它是什么、star 从哪来、这条赛道有多挤,以及你想做一个同样拿 star 的项目,该学哪一步。
一条「本地跑 Claude」的录屏
11 月 13 日 22:08(UTC,马来西亚已是 14 日早上六点),ghost-infer 发了 v0.4.0,README 里的速度从约 45 tok/s 提到 80。几个小时后,作者在 Threads(@apizpudin)发了一条视频帖,标题一句话:
Running Claude-distilled 35B on RTX 2060 8GB GPU, at 70 tok/s.
视频是真实时长的屏幕录制,一张六年前的游戏卡在本地吐字。这条帖子拿到 12.8 万浏览、1.1K 赞、145 条评论、268 次分享(Threads 页面,11-15)。仓库链接放在作者自己的第一条回复里,那条回复也有 82 赞。
当天仓库从 46 star 涨到 217,fork 从 3 个变成 13 个,新 fork 的账号名大多像东南亚真人,第一个出现在帖子发出后不久(GitHub,11-15)。v0.4.0 的安装包下载了 159 次,前一版 v0.3.0 只有 9 次。11-15 又只涨了 2 个。
评论区最多的问题有两类。一类是「claude?? what do you mean」「这能在本地跑 Claude 吗」,作者回得很老实:「Claude by looks, Qwen is the content」——跑的其实是社区用 Claude Opus 蒸馏过的 Qwen3.5-35B-A3B,演示里用的还是去审查版。另一类是「我的 4050 6GB 能跑吗」「RX 5700XT 呢」,他用印尼语、俄语、意大利语逐条回。
它到底是什么
一个 3.8MB 的 Rust 单文件,读 GGUF 模型,不要 Python、Docker、CUDA toolkit,对外是兼容 OpenAI 的接口,自带一个有小幽灵形象的聊天页。只支持 NVIDIA 显卡,目前只有 Windows 版。
它快在一件事上:大的 MoE 模型(总参数 35B,每次只激活 3B 左右)塞不进 8GB 显存时,注意力层放 GPU,专家权重放内存,一段回复里反复用到的「热专家」缓存到 GPU 上,其余的同时在 CPU 上算;每层跑成一个 CUDA graph,让 GPU 自己挑专家。README 给的对比(RTX 2060 SUPER 8GB + 24GB 内存,11-14,附了复现脚本):
| 模型 | ghost-infer | llama.cpp | Ollama |
|---|---|---|---|
| Qwen3.6-35B-A3B | 80.5 | 39.5 | 34.7 |
| Qwen3-30B-A3B | 68.7 | 29.5 | 26.9 |
| Qwen3 8B | 75.3 | 64.7 | 65.8 |
单位 tok/s。拉开两倍差距的只有「模型比显存大」的 MoE 场景,装得下的 8B 只快 15% 左右。这些数只在作者一台机器上测过,没有第三方复测,llama.cpp 的参数是否调到最好也不知道。
引擎外面还包了一个桌面应用:能读写文件、跑命令的 agent,和一个叫 Maya 的陪伴角色语音通话(作者自己微调的声音),以及一个实验功能「睡眠训练」,每晚把当天聊过的事实训进一个小模型。界面有中英双语,中文是一位贡献者翻的。
仓库 10-27 建,作者一个人提交了 138 次,半个月发了 10 个版本。他的 GitHub 账号只有 2 个粉丝,这是第一个公开的大项目。
star 是从哪来的
他自己的号,而且这个号不是做技术攒起来的。 @apizpudin 的身份写的是「Anti-Scam Activist」,置顶帖是他做的马来西亚查诈骗 Telegram 机器人 PenipuMY,那条有 1.18 万赞,11-02 他还发帖说 PenipuMY 上了报纸。约 3,900 个粉丝,以马来语和东南亚受众为主。两次涨 star 各对应他发的一条帖子:11-03 第一条「Running 35B model locally on 8GB VRAM & 16GB RAM」386 赞,仓库到 46 star 停了一周;11-14 第二条就是上面那条。
标题里挂了「Claude」。 两条帖子讲的是同一件事,带 Claude 字样的那条赞数是前一条的约 3 倍。很多点进来的人以为能在本地跑 Claude,这一点作者自己也在回复里认了。
数字选得准。 RTX 2060、8GB、35B、70 tok/s,每个数都是普通玩家能对上号的:老卡、小显存、大模型、够快。比 README 里的跑分表好传得多。
发帖踩在大版本之后。 先把速度从 45 做到 80,第二天带着新数字发,流量全落在新版安装包上。
接得住。 Windows 安装包不要管理员权限,首次启动帮你下模型,东南亚用游戏本的人点开就能装。11-14 当天就有人提了一个崩溃 issue,还有人(nullbyte61)开了一个 Linux 移植的 issue,说已经在 Arch + RTX 3070 上跑通了引擎和服务端,问作者要不要合。
它没去的地方也很说明问题:Reddit 的 r/LocalLLaMA 找不到帖子,Hacker News 没有,X 上 30 天没人提,没有媒体报道,也没进 GitHub Trending 和 Trendshift 的榜(Trendshift 记的是 11-14 +179、11-15 +2)。这两百多个 star 来自 Threads 上马来西亚和东南亚的 AI 圈子,开源圈本身几乎不知道它。
这条赛道有多挤
「让小显卡跑大 MoE」是 2026 年最拥挤的开源方向之一,光今年新起的、规模比它大的就一串:
| 项目 | star | 和它的区别 |
|---|---|---|
| Ollama | 18.7 万 | 一键易用,底层是 llama.cpp;ghost-infer 自测快一倍 |
llama.cpp(--n-cpu-moe) | 13.5 万 | 事实标准,专家按层固定放,没有动态热专家缓存 |
| colibri | 5.1 万 | 纯 C,专家从磁盘流式读,跑更大的前沿 MoE |
| Strata | 4.4 万 | 同样主打「一键装、消费级硬件跑大 MoE」,Windows / Linux 都有,7 天还在涨 2,700 |
| ktransformers | 1.97 万 | 同样是专家放 CPU、注意力放 GPU,面向大内存工作站 |
| Edge0 | 1.14 万 | 从 SSD 流式读、预测路由,35B 只占约 2.5GB 内存,含手机 |
| magnitude | 7,802 | 「比 Ollama 快 2 倍」,话术几乎一样 |
| MoE4All | 361 | 最像它:Windows 便携版、游戏卡跑超显存 MoE,但用 Vulkan,A 卡、N 卡、I 卡都行 |
| glm-flash-lite | 351 | 同一套弹性 GPU 专家缓存 + CPU 层,目标是 3090 |
star 数来自 GitHub,截至 11 月中。热专家缓存这个点也不是它独有的,llama.cpp 社区已经有 PR 在做同样的事。它真正少见的是组合:老款 8GB N 卡 + Windows 一键安装 + 引擎和 agent、语音陪伴打成一个包 + 对标 llama.cpp 和 Ollama 的可复现跑分。可头部的 Strata、colibri 比它大两个量级。
跟风者目前没有,唯一的 fork 版本是那位中文译者的。
如果是你
C:能学到东西,跟进不太划算。 这条赛道已经挤满了几万 star 的项目,ghost-infer 的两百多个 star 也不是靠技术挤出来的,是靠一个反诈博主现成的号和一条挂着 Claude 的录屏。照着再做一个「8GB 卡跑 35B」的引擎,大概率拿不到 star;值得拿走的是它的发帖方法。
适合谁: 已经在某个平台(Threads、X、小红书、B 站、抖音都行)有几千个粉丝的开发者,哪怕粉丝不是冲技术来的;手里有一个能用一个数字说清楚的项目——老硬件跑新东西、一个命令替掉一套流程。
不适合谁: 没有任何分发渠道、打算再写一个「比 llama.cpp 快 2 倍」引擎的人(magnitude 用的就是这句话,规模比它大几十倍);只做 Windows + N 卡、想靠细分硬件出圈的人(一个人接不住各家显卡的问题,Strata 和 MoE4All 已经占了「全平台」和「全显卡」)。
怎么做: 抄三步。① 选一台大家都有的旧机器,把你的项目跑到一个具体的、能对上号的数字,录一段真实时长的屏,不剪。② 先把版本做出来,发帖踩在大版本之后,让下载量集中到新版;仓库链接放在第一条回复里。③ 安装要短到「点开就装」,评论区用对方的语言回「你的卡能不能跑」。要换着做,比较空的是它没做好的部分:Linux 版(已经有人在移植,可以去合)、A 卡和 Mac、或者一个只做「帮你选模型、告诉你这张卡能跑什么」的小工具,这个问题在它评论区里最多。
怎么获客: 渠道就是你自己的号,外加它没去的开源主场。它的教训是只发了 Threads,一条帖子一次脉冲;同样的录屏换成英文标题发 r/LocalLLaMA 和 Show HN,才有机会持续涨。标题挂热门模型的名字确实管用,但要准备好在评论区解释「不是真 Claude」。
什么时候之前: 「小卡跑大 MoE」这个钩子还能用,但每个月都在贬值,头部项目把门槛一路往下压(Edge0 已经说 35B 只占 2.5GB)。想借这个话题,按月算;发帖方法本身不过期。
什么情况说明看错了: ① 一个月内有人在 r/LocalLLaMA 复测了它的跑分、帖子火了、star 涨到几千,说明技术本身就能吸 star,这一篇把作者的号看得太重了;② 它合进 Linux 版、去了 HN 之后持续每天涨几十,说明换渠道就够,这个位置并没有被挤满;③ 反过来,复测发现对 llama.cpp 的参数没调好、两倍优势缩到一两成,那它连「数字够硬」这一条也站不住。
研究底稿:竞品表、获客证据、完整研究报告
- 竞品
名字 在哪 上线 规模 它和这家不同在哪 llama.cpp(--n-cpu-moe) 开源 2023-03 13.5 万 star 通用标准,专家按层固定放置、没有动态热专家缓存;ghost-infer 在超显存 MoE 上自测快约 2 倍 Ollama 开源 2023-06 18.7 万 star 一键易用,底层是 llama.cpp,自测慢一半;ghost-infer 也一键安装,还自带 agent 和语音 LM Studio 其他 2023 大量桌面用户(闭源) 全平台多后端;ghost-infer 只做 Windows + N 卡,专门调优 ktransformers 开源 2024-07 1.97 万 star 同样是专家在 CPU、注意力在 GPU,但面向大内存工作站和 Python 栈;ghost-infer 面向 8GB 游戏卡、单文件 Niko1221/Strata 开源 2026-09 4.4 万 star,7 天 +2,709 同样主打一键装、消费级硬件跑大 MoE,规模大两个量级 JustVugg/colibri 开源 2026-07 5.1 万 star 纯 C、从磁盘流式读专家,跑更大的前沿 MoE Edge0-AI/Edge0 开源 2026-09 1.14 万 star 从 SSD 流式读、用路由预测,全平台含手机,35B 只占 2.5GB 内存 magnitudedev/magnitude 开源 2026-06 7,802 star 同样的「比 Ollama 快 2 倍」话术,按硬件自动调 kernel、多平台 Headmaster218/MoE4All 开源 2026-08 361 star 最像它:Windows 便携应用、游戏卡跑超显存 MoE,但走 Vulkan,支持 A/N/I 三家显卡 sybil-solutions/glm-flash-lite 开源 2026-10 351 star 同样的弹性 GPU 专家缓存 + CPU 层,目标是 3090 跑 GLM neurall/llama.cpp(PR #27861 热专家缓存) 开源 2026 小 在 llama.cpp 里做同一个热专家缓存,主打多卡;ghost-infer 是从零重写、单卡 - 用户从哪来
- 查实 作者自己的 Threads 号(录屏视频帖 + 回复里贴仓库):11-03 帖「Running 35B model locally on 8GB VRAM」386 赞,对应 0→46 star;11-14 帖「Running Claude-distilled 35B on RTX 2060 8GB GPU, at 70 tok/s」12.8 万浏览 / 1.1K 赞 / 268 分享,当天 +171 star、+10 fork(threads.com/@apizpudin/post/Dfsp6_pgKKD)
- 查实 先前攒下的号(反诈机器人 PenipuMY):@apizpudin 简介是 Anti-Scam Activist,约 3,937 粉丝;置顶的 PenipuMY 帖 1.18 万赞,11-02 上过报纸
- 查实 蹭 Claude 的名:爆帖标题写 Claude-distilled,实际是 Qwen3.5-35B 蒸馏版;评论问「能在本地跑 Claude 吗」,作者回「Claude by looks, Qwen is the content」;赞数约是上一条不带 Claude 帖子的 3 倍
- 查实 自动聚合站:speqai、everylocalai、upstar.dev、hdatf 自动收录,作用很小
- 推断 Reddit / HN / X:r/LocalLLaMA 搜不到;HN 库 0 条;x-radar 30 天 0 条
ghost-infer(affifuddin-hazam/ghost-infer)为什么能跑出来
研究日期 2026-11-15(任务设定 2026-11-07,数据卡刷新到 11-15)。数据来源:我们的 github 库 repo_day / repo_profile、hackernews 库,GitHub API,Trendshift,Threads 网页(Jina 读),Exa / Brave / Jina 搜索,x-radar。
结论先说
ghost-infer 是马来西亚一个人(Apiz Pudin,Threads @apizpudin)用 Rust + CUDA 写的 Windows 本地大模型推理引擎,带桌面 agent 应用。卖点是 8GB 显卡跑 35B 的 MoE 模型能到 80 tok/s,README 说是 llama.cpp 的 2 倍。 star 几乎全部来自作者自己发的两条 Threads 视频帖。 11-14 那条「Running Claude-distilled 35B on RTX 2060 8GB GPU, at 70 tok/s」有 12.8 万浏览、1.1K 赞,当天仓库从 46 涨到 217。作者原本就有一个反诈骗 Telegram 机器人 PenipuMY 在 Threads 上火过(单帖 1.18 万赞,还上过马来西亚报纸),攒下约 3,900 个粉丝,这次的流量就是从这个号来的。
这次涨星是一次性的:11-15 只涨了 2 个,没进 Trendshift 前 25,Reddit、HN、X 上都搜不到它。它的差异化是真的(只盯一张 N 卡、单用户;MoE 专家缓存在 GPU 上;一键装的 Windows 应用;速度对标 llama.cpp 和 Ollama,给了可复现的基准脚本),但同一条赛道上 2026 年已经挤满了几千到几万 star 的项目。它能拿到这两百多个 star,靠的是「8GB 老卡 + 35B + Claude 字样 + 录屏视频」这个钩子,加上作者有现成的社交号,不是靠技术在开源圈里出圈。
1. 它是什么
- 一个 3.8MB 的 Rust 程序(只依赖两个库,不用 Python 和 Docker),读 GGUF 文件,只支持 NVIDIA 显卡,目前只有 Windows 版。提供兼容 OpenAI 的
/v1/chat/completions接口,还有一个自带小幽灵形象的聊天页面。 - 核心技术:MoE 模型的注意力层放在 GPU,专家权重放在内存,一段回复反复用到的「热专家」缓存到 GPU,其余专家同时在 CPU 上算。每层跑成一个 CUDA graph,由 GPU 自己选专家。另外有 tensor core 注意力(长上下文)、精确的投机解码、4-bit KV 缓存、LoRA。
- 桌面应用 GhostSetup:能读写文件、跑命令的 agent(带权限模式);和陪伴角色 Maya 语音通话(作者自己微调的 maya1 声音,放在 Hugging Face 的 affifuddin-hazam/ghost-voice);「睡眠训练」,每晚把当天聊天里的事实训进 Qwen3-4B 的 LoRA,目前是实验功能;界面有中英双语。
- README 的速度表(RTX 2060 SUPER 8GB + 24GB 内存,2026-11-14,脚本
scripts/bench-all.ps1):
| 模型 | ghost-infer | llama.cpp | Ollama |
|---|---|---|---|
| Qwen3.6-35B-A3B | 80.5 | 39.5 | 34.7 |
| Qwen3-30B-A3B | 68.7 | 29.5 | 26.9 |
| Qwen3 8B | 75.3 | 64.7 | 65.8 |
这组数没有第三方复测过。模型装得进显存时(8B)只比对手快约 15%,真正拉开差距的是模型比显存大的 MoE 场景。
- 仓库:2026-10-27 建库,作者提交 138 次,另有 1 个贡献者 2424830124(做中文翻译,v0.2.5 致谢)。0 个 issue,0 个合并 PR。v0.1.0(10-31)到 v0.4.0(11-13)一共发了 10 个版本。作者账号建于 2023 年,只有 2 个粉丝,简介写着「Private projects, no code will be provided」,这是他第一个公开的大项目。
2. 增长数据
| 日期 | star | fork | 事件 |
|---|---|---|---|
| 10-27 | 0 | 建库 | |
| 10-31 | v0.1.0 安装包 | ||
| 11-03 | 第一条 Threads 视频帖:「Running 35B model locally on 8GB VRAM & 16GB RAM with custom inference engine.」386 赞 / 79 评论;回复里贴了仓库链接,写着「Still new, please expect bugs」 | ||
| 11-04 | 2 个 SEA 用户 fork | v0.2.0~0.2.2 | |
| 11-05 | 35 | 2 | (github 库首次观测) |
| 11-06~07 | 44→46 | 3 | |
| 11-08~13 | 46 不动 | 3 | 11-10 v0.3.0(只有 9 次下载) |
| 11-13 22:08 UTC | v0.4.0 发布(速度从约 45 提到 80 tok/s) | ||
| 11-14 | 46→217(+171) | 13 | 第二条 Threads 视频帖:「Running Claude-distilled 35B on RTX 2060 8GB GPU, at 70 tok/s.」12.8 万浏览、1.1K 赞、145 评论、61 转发、268 分享;作者在回复里贴仓库,这条回复 82 赞 |
| 11-15 | +2 | Trendshift 记录 11-14 +179、11-15 +2,未进前 25 |
来源:github 库 repo_day;GitHub API 的 releases 和 forks;Trendshift(trendshift.io/repositories/351446);Threads 帖子页面 threads.com/@apizpudin/post/Dfsp6_pgKKD 和 /DfTRYBLgNTW。
几条旁证:
- v0.4.0 安装包下载了 159 次,v0.3.0 只有 9 次,和 11-14 的流量对得上。
- 11-14 新增的 10 个 fork,账号名看着是东南亚真人(StephenLovino、arvinmirafuentes21、wh-sugiharto、danielaniq28、vitou-vitou、labkita7 等),第一个 fork 出现在 01:28 UTC,紧跟在帖子之后。
- 帖子评论区有印尼语、俄语、乌克兰语、意大利语,说明 Threads 推荐把它推到了马来西亚以外。作者用对方的语言逐条回复。
- star 列表 GitHub 不再公开(REST 返回 404,GraphQL 返回空),没法逐个查 star 账号。不过时间线、下载量和 fork 账号都对得上一条真实的爆帖,判断是自然流量,不是买的 star。
3. 用户从哪来(增长手段)
- 作者自己的 Threads 号(确认)。 两次涨星各对应一条作者自发的录屏视频帖,仓库链接放在第一条回复里。Threads 上的 AI 圈子(#AI Threads、#Local LLM 标签)把它推了出去。
- 作者此前攒下的号(确认)。 @apizpudin 主页的身份是「Anti-Scam Activist」,置顶的 PenipuMY(马来西亚查诈骗的 Telegram 机器人,同名 Google Play App 10 月上架)帖子有 1.18 万赞,11-02 发帖说 PenipuMY 上了报纸。约 3,937 个粉丝,是马来语和东南亚的受众。
- 蹭「Claude」的名(确认)。 爆帖标题写的是「Claude-distilled 35B」,其实跑的是社区用 Claude Opus 4.6 蒸馏的 Qwen3.5-35B-A3B,演示视频里还用了 Huihui 的 abliterated(去审查)版。有评论问「claude?? what do you mean」「这能在本地跑 Claude 吗」,作者自己也回「Claude by looks, Qwen is the content」「at least it got Opus-style thinking and no restrictions」。上一条不带 Claude 字样的帖子只有 386 赞。
- 戳中「老卡 + 大模型」的痛点(确认)。 标题里是 RTX 2060、8GB、35B、70 tok/s 这几个数字。评论区的问题基本都是「我的 4050 6GB / RX 5700XT 能跑吗」。
- 自动聚合站(确认,作用很小)。 speqai、everylocalai、upstar.dev、hdatf、thebestapplications 收录了它,都是机器生成的页面。
- 没找到的渠道: Reddit r/LocalLLaMA 搜不到帖子;HN 库里 ghost-infer 是 0 条;x-radar 30 天内 0 条;没有媒体报道;没进 GitHub Trending 或 Trendshift 榜。
4. 竞品
2026 年「大 MoE 跑在小硬件上」是一条非常拥挤的赛道,我们的 github 库里同类项目一抓一大把:
| 名字 | 在哪 | 上线 | 规模 | 和 ghost-infer 的不同 |
|---|---|---|---|---|
llama.cpp(--n-cpu-moe) | 开源 | 2023-03 | 13.5 万 star | 通用的事实标准,专家按层固定放在 CPU 或 GPU,没有动态热专家缓存;ghost-infer 拿它当对标基准,在超显存 MoE 上快约 2 倍(自测) |
| Ollama | 开源/桌面 | 2023-06 | 18.7 万 star | 一键易用,底层是 llama.cpp,自测慢一半;ghost-infer 也走一键安装,但更快、自带 agent |
| LM Studio | 桌面 | 2023 | 大量用户(闭源) | 全平台、多后端;ghost-infer 只有 Windows + N 卡 |
| ktransformers | 开源 | 2024-07 | 1.97 万 star | 同样是专家放 CPU、注意力放 GPU,但面向大内存工作站跑 DeepSeek,Python 栈;ghost-infer 面向 8GB 游戏卡 |
| PowerInfer | 开源 | 2023-12 | 9,887 star | 冷热神经元拆分的思路相近,偏研究;ghost-infer 是成品应用 |
| ik_llama.cpp | 开源 | 2024-06 | 3,393 star | llama.cpp 性能分支,命令行;ghost-infer 有安装包和 GUI |
| neurall/llama.cpp(基于 PR #27861 的 MoE 热专家缓存) | 开源 | 2026 | 小 | 同一个热专家缓存思路做在 llama.cpp 里,主打多卡;ghost-infer 是从零重写、单卡 |
| Niko1221/Strata | 开源 | 2026-09 | 4.4 万 star,7 天 +2,709 | 同样主打「一键装、任何消费级硬件跑 Qwen3.8-Flash-Next」、Windows/Linux,规模大两个量级 |
| JustVugg/colibri | 开源 | 2026-07 | 5.1 万 star | 纯 C、专家从磁盘流式读取,跑前沿 MoE;更极端的「小机器跑大模型」 |
| Edge0-AI/Edge0 | 开源 | 2026-09 | 1.14 万 star | 35B MoE 只占约 2.5GB 内存,从 SSD 流式读、用路由预测,全平台含手机 |
| magnitudedev/magnitude | 开源 | 2026-06 | 7,802 star | 「比 Ollama 快 2 倍」,按硬件自动调 kernel,话术几乎一样 |
| wici-ai/inferssd、Helldez/BigMoeOnEdge | 开源 | 2026-10 / 2026-07 | 1,098 / 850 star | 基于 llama.cpp 从 SSD 流式读专家 |
| prabanta-dev/janas | 开源 | 2026-09 | 712 star | 「比 llama.cpp 快」,纯 C 跑超内存模型 |
| Headmaster218/MoE4All | 开源 | 2026-08 | 361 star | 最像它:Windows 便携应用,游戏显卡跑超显存 MoE,但用 Vulkan 支持 A/N/I 三家显卡 |
| sybil-solutions/glm-flash-lite | 开源 | 2026-10 | 351 star | 弹性 GPU 专家缓存 + AVX2 CPU 层,同一套机制,目标是 3090 |
| Indras-Mirror/Xolotl | 开源 | 2026-10 | 519 star | 专家分层放在显存、内存、NVMe,4090 跑 552B 的本地编程 agent |
来源:github 库 repo_profile(created_at > 2026-03,按 star 排序)、GitHub API、llama.cpp discussion #29429 / issue #29949、Trendshift 的「相似仓库」。
结论: 「GPU 缓存热专家、CPU 算其余」这个技术点不是它独有的,llama.cpp 社区 PR、glm-flash-lite、ktransformers 都在做。真正少见的是组合:老款 8GB N 卡 + Windows 一键安装 + 引擎和桌面 agent、语音陪伴打包 + 对标 llama.cpp 和 Ollama 的可复现基准。可同赛道的头部项目(Strata、colibri、Edge0)都比它大两个量级。
5. 为什么跑出来(这两百来个 star)
- 有一个现成的社交号。 作者靠 PenipuMY 反诈机器人在马来西亚 Threads 上有过 1.18 万赞的爆帖、约 3,900 个粉丝;两条 LLM 帖子都发在这个号上,第二条拿到 12.8 万浏览。
- 钩子写得准。 「Claude-distilled」+「RTX 2060 8GB」+「35B」+「70 tok/s」,外加真实时长的录屏。Claude 这个名字让非技术用户以为能在本地跑 Claude,赞数是上一条不带 Claude 帖子的约 3 倍。
- 发帖时机挑在大版本之后。 v0.4.0 在 11-13 晚上发布,速度从约 45 翻到 80 tok/s;第二天配上新数字再发帖,v0.4.0 的 159 次下载和 11-14 的流量一致。
- 产品能接住流量。 Windows 安装包不要管理员权限、首次启动帮你下模型,东南亚用游戏本、老 N 卡的人能直接装;作者用多种语言逐条回复「我的卡能不能跑」。
它没能持续:没有进入 Reddit、HN、X 这些开源主场,第二天就回到每天 +2,也没有其他大号转发。
6. 差异化,以及是不是它跑出来的原因
差异化有三层:①单用户、单张消费级 N 卡的专门优化(热专家缓存加每层一个 CUDA graph),在超显存 MoE 上自测是 llama.cpp 的 2 倍;②零依赖的 3.8MB 单文件加 Windows 安装包,不要 Python、Docker、CUDA toolkit;③引擎和桌面 agent、语音陪伴、睡眠训练打包成一个「有灵魂的小幽灵」应用。
这些差异化让演示视频有说服力(数字够硬),但不是它拿到 star 的主要原因。star 的分布完全跟着作者的 Threads 帖子走,而不是跟着技术圈的传播走。同样技术的项目在 Reddit 和 HN 上能拿几千 star,它没去那些地方发,所以也没拿到。
7. 能见度与跟风
- 能见度:还没什么人知道。X(x-radar)0 条,HN 0 条,Reddit 没找到,没有媒体报道;只在 Threads 的马来西亚、东南亚 AI 圈子里火过一次。
- 跟风者:无。2424830124/ghost-infer 是中文译者的 fork,不是抄袭。反过来,它自己是在一条已经很拥挤的赛道上跟进。
8. 别人能借鉴的
- 拿老款大众硬件(2060 / 8GB)配上大模型(35B)、具体速度和录屏,做成一条短视频帖。这比 README 里的跑分表有传播力得多。
- 标题挂当下最热的模型品牌(Claude),哪怕实际是蒸馏模型;要接受评论区出现「是不是真 Claude」的质疑。
- 先在别的领域(反诈工具)攒社交号,再发技术项目,冷启动就不是零。
- 大版本发布第二天配新数字发帖,把下载量集中到新版。
- 这条路的局限也很清楚:一个号一条帖只能带来一次脉冲。要持续涨,还得进 r/LocalLLaMA、HN 这些开源主场。
9. 还不确定的
- 基准有没有夸大(llama.cpp 的参数是不是调到最好,只在作者一台 2060S 上测过),没有第三方复测。
- star 列表不公开,没法逐个核对 star 账号;判断「不是买的」靠的是时间线、下载量和 fork 账号这些旁证。
- 爆帖的发布时间是从 Threads 显示的「1d」倒推的(约 11-14 UTC),没拿到精确时间戳。
- 作者以后会不会去 Reddit 或 HN 发,或者出 Linux 版,扩大受众。