什么值得做
GitHub 开源项目 · 11-14 写
affifuddin-hazam/ghost-infer · affifuddin-hazam

一张 RTX 2060 跑 35B:一个反诈博主的推理引擎,一条 Threads 帖子一天涨了 171 star

它是什么 一个 3.8MB 的 Windows 本地大模型推理程序,把大 MoE 模型里常用的专家缓存到显卡上,让 8GB 的老 N 卡跑 35B 模型,自称比 llama.cpp 快一倍,还带一个能干活、能语音聊天的桌面 agent。

为什么火了 作者靠反诈机器人 PenipuMY 在 Threads 上攒了约 3,900 个粉丝,大版本发布第二天发了一条「Claude-distilled 35B on RTX 2060 8GB, 70 tok/s」的录屏,12.8 万浏览,当天 +171 star;Reddit、HN、X 上都没人提。

C你可以怎么跟 别再写一个「比 llama.cpp 快 2 倍」的引擎,抄它的发帖方法:老硬件 + 具体数字 + 不剪的录屏,踩在大版本之后发,并且发到 r/LocalLLaMA 和 Show HN 这些它没去的地方;要做产品,可以补它没做的 Linux、A 卡,或一个「你的卡能跑什么模型」的小工具。

C 级:「小显卡跑大 MoE」赛道已经挤满几万 star 的项目,它的两百多个 star 来自作者现成的社交号和蹭 Claude 名字的标题,技术上照着做拿不到同样的结果;能学的是发帖方法。 还没什么人知道
数据(每天更新) · 建库 2026-10-27 · 243 星 · 7 天 +197
GitHub · 星数
010020011-0511-0911-1311-1611-20243
数据 2026-11-05 → 2026-11-20(16 天,16 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有

马来西亚开发者 Apiz Pudin 用 Rust 写了一个只认 N 卡、只跑 Windows 的本地大模型推理引擎 ghost-infer,11-14 在 Threads 上发了一条录屏,仓库一天从 46 star 涨到 217。代码确实有东西,但这两百来个 star 几乎全是他自己的社交号带来的,第二天就落回每天个位数。下面说清楚它是什么、star 从哪来、这条赛道有多挤,以及你想做一个同样拿 star 的项目,该学哪一步。

一条「本地跑 Claude」的录屏

11 月 13 日 22:08(UTC,马来西亚已是 14 日早上六点),ghost-infer 发了 v0.4.0,README 里的速度从约 45 tok/s 提到 80。几个小时后,作者在 Threads(@apizpudin)发了一条视频帖,标题一句话:

Running Claude-distilled 35B on RTX 2060 8GB GPU, at 70 tok/s.

视频是真实时长的屏幕录制,一张六年前的游戏卡在本地吐字。这条帖子拿到 12.8 万浏览、1.1K 赞、145 条评论、268 次分享(Threads 页面,11-15)。仓库链接放在作者自己的第一条回复里,那条回复也有 82 赞。

当天仓库从 46 star 涨到 217,fork 从 3 个变成 13 个,新 fork 的账号名大多像东南亚真人,第一个出现在帖子发出后不久(GitHub,11-15)。v0.4.0 的安装包下载了 159 次,前一版 v0.3.0 只有 9 次。11-15 又只涨了 2 个。

评论区最多的问题有两类。一类是「claude?? what do you mean」「这能在本地跑 Claude 吗」,作者回得很老实:「Claude by looks, Qwen is the content」——跑的其实是社区用 Claude Opus 蒸馏过的 Qwen3.5-35B-A3B,演示里用的还是去审查版。另一类是「我的 4050 6GB 能跑吗」「RX 5700XT 呢」,他用印尼语、俄语、意大利语逐条回。

它到底是什么

一个 3.8MB 的 Rust 单文件,读 GGUF 模型,不要 Python、Docker、CUDA toolkit,对外是兼容 OpenAI 的接口,自带一个有小幽灵形象的聊天页。只支持 NVIDIA 显卡,目前只有 Windows 版。

它快在一件事上:大的 MoE 模型(总参数 35B,每次只激活 3B 左右)塞不进 8GB 显存时,注意力层放 GPU,专家权重放内存,一段回复里反复用到的「热专家」缓存到 GPU 上,其余的同时在 CPU 上算;每层跑成一个 CUDA graph,让 GPU 自己挑专家。README 给的对比(RTX 2060 SUPER 8GB + 24GB 内存,11-14,附了复现脚本):

模型ghost-inferllama.cppOllama
Qwen3.6-35B-A3B80.539.534.7
Qwen3-30B-A3B68.729.526.9
Qwen3 8B75.364.765.8

单位 tok/s。拉开两倍差距的只有「模型比显存大」的 MoE 场景,装得下的 8B 只快 15% 左右。这些数只在作者一台机器上测过,没有第三方复测,llama.cpp 的参数是否调到最好也不知道。

引擎外面还包了一个桌面应用:能读写文件、跑命令的 agent,和一个叫 Maya 的陪伴角色语音通话(作者自己微调的声音),以及一个实验功能「睡眠训练」,每晚把当天聊过的事实训进一个小模型。界面有中英双语,中文是一位贡献者翻的。

仓库 10-27 建,作者一个人提交了 138 次,半个月发了 10 个版本。他的 GitHub 账号只有 2 个粉丝,这是第一个公开的大项目。

star 是从哪来的

他自己的号,而且这个号不是做技术攒起来的。 @apizpudin 的身份写的是「Anti-Scam Activist」,置顶帖是他做的马来西亚查诈骗 Telegram 机器人 PenipuMY,那条有 1.18 万赞,11-02 他还发帖说 PenipuMY 上了报纸。约 3,900 个粉丝,以马来语和东南亚受众为主。两次涨 star 各对应他发的一条帖子:11-03 第一条「Running 35B model locally on 8GB VRAM & 16GB RAM」386 赞,仓库到 46 star 停了一周;11-14 第二条就是上面那条。

标题里挂了「Claude」。 两条帖子讲的是同一件事,带 Claude 字样的那条赞数是前一条的约 3 倍。很多点进来的人以为能在本地跑 Claude,这一点作者自己也在回复里认了。

数字选得准。 RTX 2060、8GB、35B、70 tok/s,每个数都是普通玩家能对上号的:老卡、小显存、大模型、够快。比 README 里的跑分表好传得多。

发帖踩在大版本之后。 先把速度从 45 做到 80,第二天带着新数字发,流量全落在新版安装包上。

接得住。 Windows 安装包不要管理员权限,首次启动帮你下模型,东南亚用游戏本的人点开就能装。11-14 当天就有人提了一个崩溃 issue,还有人(nullbyte61)开了一个 Linux 移植的 issue,说已经在 Arch + RTX 3070 上跑通了引擎和服务端,问作者要不要合。

它没去的地方也很说明问题:Reddit 的 r/LocalLLaMA 找不到帖子,Hacker News 没有,X 上 30 天没人提,没有媒体报道,也没进 GitHub Trending 和 Trendshift 的榜(Trendshift 记的是 11-14 +179、11-15 +2)。这两百多个 star 来自 Threads 上马来西亚和东南亚的 AI 圈子,开源圈本身几乎不知道它。

这条赛道有多挤

「让小显卡跑大 MoE」是 2026 年最拥挤的开源方向之一,光今年新起的、规模比它大的就一串:

项目star和它的区别
Ollama18.7 万一键易用,底层是 llama.cpp;ghost-infer 自测快一倍
llama.cpp(--n-cpu-moe)13.5 万事实标准,专家按层固定放,没有动态热专家缓存
colibri5.1 万纯 C,专家从磁盘流式读,跑更大的前沿 MoE
Strata4.4 万同样主打「一键装、消费级硬件跑大 MoE」,Windows / Linux 都有,7 天还在涨 2,700
ktransformers1.97 万同样是专家放 CPU、注意力放 GPU,面向大内存工作站
Edge01.14 万从 SSD 流式读、预测路由,35B 只占约 2.5GB 内存,含手机
magnitude7,802「比 Ollama 快 2 倍」,话术几乎一样
MoE4All361最像它:Windows 便携版、游戏卡跑超显存 MoE,但用 Vulkan,A 卡、N 卡、I 卡都行
glm-flash-lite351同一套弹性 GPU 专家缓存 + CPU 层,目标是 3090

star 数来自 GitHub,截至 11 月中。热专家缓存这个点也不是它独有的,llama.cpp 社区已经有 PR 在做同样的事。它真正少见的是组合:老款 8GB N 卡 + Windows 一键安装 + 引擎和 agent、语音陪伴打成一个包 + 对标 llama.cpp 和 Ollama 的可复现跑分。可头部的 Strata、colibri 比它大两个量级。

跟风者目前没有,唯一的 fork 版本是那位中文译者的。

如果是你

C:能学到东西,跟进不太划算。 这条赛道已经挤满了几万 star 的项目,ghost-infer 的两百多个 star 也不是靠技术挤出来的,是靠一个反诈博主现成的号和一条挂着 Claude 的录屏。照着再做一个「8GB 卡跑 35B」的引擎,大概率拿不到 star;值得拿走的是它的发帖方法。

适合谁: 已经在某个平台(Threads、X、小红书、B 站、抖音都行)有几千个粉丝的开发者,哪怕粉丝不是冲技术来的;手里有一个能用一个数字说清楚的项目——老硬件跑新东西、一个命令替掉一套流程。

不适合谁: 没有任何分发渠道、打算再写一个「比 llama.cpp 快 2 倍」引擎的人(magnitude 用的就是这句话,规模比它大几十倍);只做 Windows + N 卡、想靠细分硬件出圈的人(一个人接不住各家显卡的问题,Strata 和 MoE4All 已经占了「全平台」和「全显卡」)。

怎么做: 抄三步。① 选一台大家都有的旧机器,把你的项目跑到一个具体的、能对上号的数字,录一段真实时长的屏,不剪。② 先把版本做出来,发帖踩在大版本之后,让下载量集中到新版;仓库链接放在第一条回复里。③ 安装要短到「点开就装」,评论区用对方的语言回「你的卡能不能跑」。要换着做,比较空的是它没做好的部分:Linux 版(已经有人在移植,可以去合)、A 卡和 Mac、或者一个只做「帮你选模型、告诉你这张卡能跑什么」的小工具,这个问题在它评论区里最多。

怎么获客: 渠道就是你自己的号,外加它没去的开源主场。它的教训是只发了 Threads,一条帖子一次脉冲;同样的录屏换成英文标题发 r/LocalLLaMA 和 Show HN,才有机会持续涨。标题挂热门模型的名字确实管用,但要准备好在评论区解释「不是真 Claude」。

什么时候之前: 「小卡跑大 MoE」这个钩子还能用,但每个月都在贬值,头部项目把门槛一路往下压(Edge0 已经说 35B 只占 2.5GB)。想借这个话题,按月算;发帖方法本身不过期。

什么情况说明看错了: ① 一个月内有人在 r/LocalLLaMA 复测了它的跑分、帖子火了、star 涨到几千,说明技术本身就能吸 star,这一篇把作者的号看得太重了;② 它合进 Linux 版、去了 HN 之后持续每天涨几十,说明换渠道就够,这个位置并没有被挤满;③ 反过来,复测发现对 llama.cpp 的参数没调好、两倍优势缩到一两成,那它连「数字够硬」这一条也站不住。

GitHub 仓库 ↗

研究底稿:竞品表、获客证据、完整研究报告
竞品
名字在哪上线规模它和这家不同在哪
llama.cpp(--n-cpu-moe)开源2023-0313.5 万 star通用标准,专家按层固定放置、没有动态热专家缓存;ghost-infer 在超显存 MoE 上自测快约 2 倍
Ollama开源2023-0618.7 万 star一键易用,底层是 llama.cpp,自测慢一半;ghost-infer 也一键安装,还自带 agent 和语音
LM Studio其他2023大量桌面用户(闭源)全平台多后端;ghost-infer 只做 Windows + N 卡,专门调优
ktransformers开源2024-071.97 万 star同样是专家在 CPU、注意力在 GPU,但面向大内存工作站和 Python 栈;ghost-infer 面向 8GB 游戏卡、单文件
Niko1221/Strata开源2026-094.4 万 star,7 天 +2,709同样主打一键装、消费级硬件跑大 MoE,规模大两个量级
JustVugg/colibri开源2026-075.1 万 star纯 C、从磁盘流式读专家,跑更大的前沿 MoE
Edge0-AI/Edge0开源2026-091.14 万 star从 SSD 流式读、用路由预测,全平台含手机,35B 只占 2.5GB 内存
magnitudedev/magnitude开源2026-067,802 star同样的「比 Ollama 快 2 倍」话术,按硬件自动调 kernel、多平台
Headmaster218/MoE4All开源2026-08361 star最像它:Windows 便携应用、游戏卡跑超显存 MoE,但走 Vulkan,支持 A/N/I 三家显卡
sybil-solutions/glm-flash-lite开源2026-10351 star同样的弹性 GPU 专家缓存 + CPU 层,目标是 3090 跑 GLM
neurall/llama.cpp(PR #27861 热专家缓存)开源2026小在 llama.cpp 里做同一个热专家缓存,主打多卡;ghost-infer 是从零重写、单卡
用户从哪来
  • 查实 作者自己的 Threads 号(录屏视频帖 + 回复里贴仓库):11-03 帖「Running 35B model locally on 8GB VRAM」386 赞,对应 0→46 star;11-14 帖「Running Claude-distilled 35B on RTX 2060 8GB GPU, at 70 tok/s」12.8 万浏览 / 1.1K 赞 / 268 分享,当天 +171 star、+10 fork(threads.com/@apizpudin/post/Dfsp6_pgKKD)
  • 查实 先前攒下的号(反诈机器人 PenipuMY):@apizpudin 简介是 Anti-Scam Activist,约 3,937 粉丝;置顶的 PenipuMY 帖 1.18 万赞,11-02 上过报纸
  • 查实 蹭 Claude 的名:爆帖标题写 Claude-distilled,实际是 Qwen3.5-35B 蒸馏版;评论问「能在本地跑 Claude 吗」,作者回「Claude by looks, Qwen is the content」;赞数约是上一条不带 Claude 帖子的 3 倍
  • 查实 自动聚合站:speqai、everylocalai、upstar.dev、hdatf 自动收录,作用很小
  • 推断 Reddit / HN / X:r/LocalLLaMA 搜不到;HN 库 0 条;x-radar 30 天 0 条

ghost-infer(affifuddin-hazam/ghost-infer)为什么能跑出来

研究日期 2026-11-15(任务设定 2026-11-07,数据卡刷新到 11-15)。数据来源:我们的 github 库 repo_day / repo_profile、hackernews 库,GitHub API,Trendshift,Threads 网页(Jina 读),Exa / Brave / Jina 搜索,x-radar。

结论先说

ghost-infer 是马来西亚一个人(Apiz Pudin,Threads @apizpudin)用 Rust + CUDA 写的 Windows 本地大模型推理引擎,带桌面 agent 应用。卖点是 8GB 显卡跑 35B 的 MoE 模型能到 80 tok/s,README 说是 llama.cpp 的 2 倍。 star 几乎全部来自作者自己发的两条 Threads 视频帖。 11-14 那条「Running Claude-distilled 35B on RTX 2060 8GB GPU, at 70 tok/s」有 12.8 万浏览、1.1K 赞,当天仓库从 46 涨到 217。作者原本就有一个反诈骗 Telegram 机器人 PenipuMY 在 Threads 上火过(单帖 1.18 万赞,还上过马来西亚报纸),攒下约 3,900 个粉丝,这次的流量就是从这个号来的。

这次涨星是一次性的:11-15 只涨了 2 个,没进 Trendshift 前 25,Reddit、HN、X 上都搜不到它。它的差异化是真的(只盯一张 N 卡、单用户;MoE 专家缓存在 GPU 上;一键装的 Windows 应用;速度对标 llama.cpp 和 Ollama,给了可复现的基准脚本),但同一条赛道上 2026 年已经挤满了几千到几万 star 的项目。它能拿到这两百多个 star,靠的是「8GB 老卡 + 35B + Claude 字样 + 录屏视频」这个钩子,加上作者有现成的社交号,不是靠技术在开源圈里出圈。

1. 它是什么

  • 一个 3.8MB 的 Rust 程序(只依赖两个库,不用 Python 和 Docker),读 GGUF 文件,只支持 NVIDIA 显卡,目前只有 Windows 版。提供兼容 OpenAI 的 /v1/chat/completions 接口,还有一个自带小幽灵形象的聊天页面。
  • 核心技术:MoE 模型的注意力层放在 GPU,专家权重放在内存,一段回复反复用到的「热专家」缓存到 GPU,其余专家同时在 CPU 上算。每层跑成一个 CUDA graph,由 GPU 自己选专家。另外有 tensor core 注意力(长上下文)、精确的投机解码、4-bit KV 缓存、LoRA。
  • 桌面应用 GhostSetup:能读写文件、跑命令的 agent(带权限模式);和陪伴角色 Maya 语音通话(作者自己微调的 maya1 声音,放在 Hugging Face 的 affifuddin-hazam/ghost-voice);「睡眠训练」,每晚把当天聊天里的事实训进 Qwen3-4B 的 LoRA,目前是实验功能;界面有中英双语。
  • README 的速度表(RTX 2060 SUPER 8GB + 24GB 内存,2026-11-14,脚本 scripts/bench-all.ps1):
模型ghost-inferllama.cppOllama
Qwen3.6-35B-A3B80.539.534.7
Qwen3-30B-A3B68.729.526.9
Qwen3 8B75.364.765.8

这组数没有第三方复测过。模型装得进显存时(8B)只比对手快约 15%,真正拉开差距的是模型比显存大的 MoE 场景。

  • 仓库:2026-10-27 建库,作者提交 138 次,另有 1 个贡献者 2424830124(做中文翻译,v0.2.5 致谢)。0 个 issue,0 个合并 PR。v0.1.0(10-31)到 v0.4.0(11-13)一共发了 10 个版本。作者账号建于 2023 年,只有 2 个粉丝,简介写着「Private projects, no code will be provided」,这是他第一个公开的大项目。

2. 增长数据

日期starfork事件
10-270建库
10-31v0.1.0 安装包
11-03第一条 Threads 视频帖:「Running 35B model locally on 8GB VRAM & 16GB RAM with custom inference engine.」386 赞 / 79 评论;回复里贴了仓库链接,写着「Still new, please expect bugs」
11-042 个 SEA 用户 forkv0.2.0~0.2.2
11-05352(github 库首次观测)
11-06~0744→463
11-08~1346 不动311-10 v0.3.0(只有 9 次下载)
11-13 22:08 UTCv0.4.0 发布(速度从约 45 提到 80 tok/s)
11-1446→217(+171)13第二条 Threads 视频帖:「Running Claude-distilled 35B on RTX 2060 8GB GPU, at 70 tok/s.」12.8 万浏览、1.1K 赞、145 评论、61 转发、268 分享;作者在回复里贴仓库,这条回复 82 赞
11-15+2Trendshift 记录 11-14 +179、11-15 +2,未进前 25

来源:github 库 repo_day;GitHub API 的 releases 和 forks;Trendshift(trendshift.io/repositories/351446);Threads 帖子页面 threads.com/@apizpudin/post/Dfsp6_pgKKD 和 /DfTRYBLgNTW。

几条旁证:

  • v0.4.0 安装包下载了 159 次,v0.3.0 只有 9 次,和 11-14 的流量对得上。
  • 11-14 新增的 10 个 fork,账号名看着是东南亚真人(StephenLovino、arvinmirafuentes21、wh-sugiharto、danielaniq28、vitou-vitou、labkita7 等),第一个 fork 出现在 01:28 UTC,紧跟在帖子之后。
  • 帖子评论区有印尼语、俄语、乌克兰语、意大利语,说明 Threads 推荐把它推到了马来西亚以外。作者用对方的语言逐条回复。
  • star 列表 GitHub 不再公开(REST 返回 404,GraphQL 返回空),没法逐个查 star 账号。不过时间线、下载量和 fork 账号都对得上一条真实的爆帖,判断是自然流量,不是买的 star。

3. 用户从哪来(增长手段)

  1. 作者自己的 Threads 号(确认)。 两次涨星各对应一条作者自发的录屏视频帖,仓库链接放在第一条回复里。Threads 上的 AI 圈子(#AI Threads、#Local LLM 标签)把它推了出去。
  2. 作者此前攒下的号(确认)。 @apizpudin 主页的身份是「Anti-Scam Activist」,置顶的 PenipuMY(马来西亚查诈骗的 Telegram 机器人,同名 Google Play App 10 月上架)帖子有 1.18 万赞,11-02 发帖说 PenipuMY 上了报纸。约 3,937 个粉丝,是马来语和东南亚的受众。
  3. 蹭「Claude」的名(确认)。 爆帖标题写的是「Claude-distilled 35B」,其实跑的是社区用 Claude Opus 4.6 蒸馏的 Qwen3.5-35B-A3B,演示视频里还用了 Huihui 的 abliterated(去审查)版。有评论问「claude?? what do you mean」「这能在本地跑 Claude 吗」,作者自己也回「Claude by looks, Qwen is the content」「at least it got Opus-style thinking and no restrictions」。上一条不带 Claude 字样的帖子只有 386 赞。
  4. 戳中「老卡 + 大模型」的痛点(确认)。 标题里是 RTX 2060、8GB、35B、70 tok/s 这几个数字。评论区的问题基本都是「我的 4050 6GB / RX 5700XT 能跑吗」。
  5. 自动聚合站(确认,作用很小)。 speqai、everylocalai、upstar.dev、hdatf、thebestapplications 收录了它,都是机器生成的页面。
  6. 没找到的渠道: Reddit r/LocalLLaMA 搜不到帖子;HN 库里 ghost-infer 是 0 条;x-radar 30 天内 0 条;没有媒体报道;没进 GitHub Trending 或 Trendshift 榜。

4. 竞品

2026 年「大 MoE 跑在小硬件上」是一条非常拥挤的赛道,我们的 github 库里同类项目一抓一大把:

名字在哪上线规模和 ghost-infer 的不同
llama.cpp(--n-cpu-moe)开源2023-0313.5 万 star通用的事实标准,专家按层固定放在 CPU 或 GPU,没有动态热专家缓存;ghost-infer 拿它当对标基准,在超显存 MoE 上快约 2 倍(自测)
Ollama开源/桌面2023-0618.7 万 star一键易用,底层是 llama.cpp,自测慢一半;ghost-infer 也走一键安装,但更快、自带 agent
LM Studio桌面2023大量用户(闭源)全平台、多后端;ghost-infer 只有 Windows + N 卡
ktransformers开源2024-071.97 万 star同样是专家放 CPU、注意力放 GPU,但面向大内存工作站跑 DeepSeek,Python 栈;ghost-infer 面向 8GB 游戏卡
PowerInfer开源2023-129,887 star冷热神经元拆分的思路相近,偏研究;ghost-infer 是成品应用
ik_llama.cpp开源2024-063,393 starllama.cpp 性能分支,命令行;ghost-infer 有安装包和 GUI
neurall/llama.cpp(基于 PR #27861 的 MoE 热专家缓存)开源2026小同一个热专家缓存思路做在 llama.cpp 里,主打多卡;ghost-infer 是从零重写、单卡
Niko1221/Strata开源2026-094.4 万 star,7 天 +2,709同样主打「一键装、任何消费级硬件跑 Qwen3.8-Flash-Next」、Windows/Linux,规模大两个量级
JustVugg/colibri开源2026-075.1 万 star纯 C、专家从磁盘流式读取,跑前沿 MoE;更极端的「小机器跑大模型」
Edge0-AI/Edge0开源2026-091.14 万 star35B MoE 只占约 2.5GB 内存,从 SSD 流式读、用路由预测,全平台含手机
magnitudedev/magnitude开源2026-067,802 star「比 Ollama 快 2 倍」,按硬件自动调 kernel,话术几乎一样
wici-ai/inferssd、Helldez/BigMoeOnEdge开源2026-10 / 2026-071,098 / 850 star基于 llama.cpp 从 SSD 流式读专家
prabanta-dev/janas开源2026-09712 star「比 llama.cpp 快」,纯 C 跑超内存模型
Headmaster218/MoE4All开源2026-08361 star最像它:Windows 便携应用,游戏显卡跑超显存 MoE,但用 Vulkan 支持 A/N/I 三家显卡
sybil-solutions/glm-flash-lite开源2026-10351 star弹性 GPU 专家缓存 + AVX2 CPU 层,同一套机制,目标是 3090
Indras-Mirror/Xolotl开源2026-10519 star专家分层放在显存、内存、NVMe,4090 跑 552B 的本地编程 agent

来源:github 库 repo_profile(created_at > 2026-03,按 star 排序)、GitHub API、llama.cpp discussion #29429 / issue #29949、Trendshift 的「相似仓库」。

结论: 「GPU 缓存热专家、CPU 算其余」这个技术点不是它独有的,llama.cpp 社区 PR、glm-flash-lite、ktransformers 都在做。真正少见的是组合:老款 8GB N 卡 + Windows 一键安装 + 引擎和桌面 agent、语音陪伴打包 + 对标 llama.cpp 和 Ollama 的可复现基准。可同赛道的头部项目(Strata、colibri、Edge0)都比它大两个量级。

5. 为什么跑出来(这两百来个 star)

  1. 有一个现成的社交号。 作者靠 PenipuMY 反诈机器人在马来西亚 Threads 上有过 1.18 万赞的爆帖、约 3,900 个粉丝;两条 LLM 帖子都发在这个号上,第二条拿到 12.8 万浏览。
  2. 钩子写得准。 「Claude-distilled」+「RTX 2060 8GB」+「35B」+「70 tok/s」,外加真实时长的录屏。Claude 这个名字让非技术用户以为能在本地跑 Claude,赞数是上一条不带 Claude 帖子的约 3 倍。
  3. 发帖时机挑在大版本之后。 v0.4.0 在 11-13 晚上发布,速度从约 45 翻到 80 tok/s;第二天配上新数字再发帖,v0.4.0 的 159 次下载和 11-14 的流量一致。
  4. 产品能接住流量。 Windows 安装包不要管理员权限、首次启动帮你下模型,东南亚用游戏本、老 N 卡的人能直接装;作者用多种语言逐条回复「我的卡能不能跑」。

它没能持续:没有进入 Reddit、HN、X 这些开源主场,第二天就回到每天 +2,也没有其他大号转发。

6. 差异化,以及是不是它跑出来的原因

差异化有三层:①单用户、单张消费级 N 卡的专门优化(热专家缓存加每层一个 CUDA graph),在超显存 MoE 上自测是 llama.cpp 的 2 倍;②零依赖的 3.8MB 单文件加 Windows 安装包,不要 Python、Docker、CUDA toolkit;③引擎和桌面 agent、语音陪伴、睡眠训练打包成一个「有灵魂的小幽灵」应用。

这些差异化让演示视频有说服力(数字够硬),但不是它拿到 star 的主要原因。star 的分布完全跟着作者的 Threads 帖子走,而不是跟着技术圈的传播走。同样技术的项目在 Reddit 和 HN 上能拿几千 star,它没去那些地方发,所以也没拿到。

7. 能见度与跟风

  • 能见度:还没什么人知道。X(x-radar)0 条,HN 0 条,Reddit 没找到,没有媒体报道;只在 Threads 的马来西亚、东南亚 AI 圈子里火过一次。
  • 跟风者:无。2424830124/ghost-infer 是中文译者的 fork,不是抄袭。反过来,它自己是在一条已经很拥挤的赛道上跟进。

8. 别人能借鉴的

  • 拿老款大众硬件(2060 / 8GB)配上大模型(35B)、具体速度和录屏,做成一条短视频帖。这比 README 里的跑分表有传播力得多。
  • 标题挂当下最热的模型品牌(Claude),哪怕实际是蒸馏模型;要接受评论区出现「是不是真 Claude」的质疑。
  • 先在别的领域(反诈工具)攒社交号,再发技术项目,冷启动就不是零。
  • 大版本发布第二天配新数字发帖,把下载量集中到新版。
  • 这条路的局限也很清楚:一个号一条帖只能带来一次脉冲。要持续涨,还得进 r/LocalLLaMA、HN 这些开源主场。

9. 还不确定的

  • 基准有没有夸大(llama.cpp 的参数是不是调到最好,只在作者一台 2060S 上测过),没有第三方复测。
  • star 列表不公开,没法逐个核对 star 账号;判断「不是买的」靠的是时间线、下载量和 fork 账号这些旁证。
  • 爆帖的发布时间是从 Threads 显示的「1d」倒推的(约 11-14 UTC),没拿到精确时间戳。
  • 作者以后会不会去 Reddit 或 HN 发,或者出 Linux 版,扩大受众。

文章由 AI 根据公开数据和我们每天采集的数据写成,数字带出处,推断已标明