一个 1100 星的显卡混搭实验库:选题是真的,星是买的
它是什么 一个异构显卡推理的实验记录库:拿 3080、6000D 这类独显去帮 395、DGX Spark 等大内存主机分担大模型推理,公开测速,关键补丁不公开。
为什么火了 选题踩中了 2026 年统一内存主机「放得下、跑不快」的痛点,内容包装像样;但星数主要是付费账号按天刷出来的,不是被社区转起来的。
C你可以怎么跟 做它故意没做的部分:全部公开、一条命令能跑的混搭配置,从 3060/3080 + 395 这一档切入,发 r/LocalLLaMA 和 B 站,能并进 llama.cpp 或 exo 更好。
- 数据(每天更新) · 建库 2026-09-01 · 1,137 星 · 7 天 +101
GitHub · 星数 数据 2026-10-09 → 2026-11-08(31 天,30 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有
Soulmate-Halo/heterogeneous-gpu-pd-lab 是一个中文开发者的实验记录:拿 RTX 3080、RTX 6000D 这类算力强的独显,去给 AI Max+ 395、DGX Spark 这类显存大、算力弱的主机分担活,让本地大模型跑得快一点。它 66 天拿了 1,112 颗星,看上去像是本地大模型圈的一个小爆款。但这些星的来路很可疑,站外几乎没人讨论,库本身更像作者一个算力租赁站的门面。选题有真需求,值得了解;照着它的增长方式做,不值得。
一条没人回的 issue
2026 年 10 月 27 日,一个叫 tokamaktt 的用户在这个库下面开了第 6 个 issue。他说自己细读了 DeepSeek-V4.1-Flash V10 那份中文部署文档的第 2、3、4、7、12 节,一口气问了五件事:文档里提到的那个 dsv41-pd-package-20261013 交付包是哪家提供的、fp4h96 这个模型格式怎么从官方权重生成、「P21 的 35 个 vLLM 补丁是否计划公开」、SGLang 那一侧的完整源码和 Dockerfile 能不能给、实在不能给的话有没有技术说明。
到 11 月 6 日,作者没有回复。唯一的跟帖是另一个账号写的一句英文:「我也想要上面这些信息,谢谢!」
前一天,10 月 26 日,另一个用户 Lwan12 问的是:「我们打算按 README 推荐的方案复现:4 台 DGX Spark 负责 Decode,2 张 RTX 6000D 负责 Prefill」,想知道该买什么交换机、RoCE 要开哪些配置。也没有回复。
这两条是这个库里最有分量的东西:真有人想照着做,而且是准备花几万块买硬件的人。卡住他们的,正是 README 里写明「保持私有」的那部分。
它到底是什么
大模型推理分两步:先把你的输入整段读一遍(prefill),再一个字一个字往外吐(decode)。2026 年大家手里多了一批 128GB 统一内存的机器,AI Max+ 395 的迷你主机、NVIDIA 的 DGX Spark、512G 的 Mac。它们放得下大模型,但读长输入很慢。这个库的思路是:插一张独显专门负责「读」,大内存主机负责「吐」,或者把模型里常用的部分放独显、冷门的部分放主机。
README 首屏是一段 12 分 22 秒的科普视频(中文配音、英文配音各一版),下面是一张接一张的实测表。几个最显眼的数(作者自测,README,11-06):
| 搭法 | 模型 | 结果 |
|---|---|---|
| RTX 3080 20GB + AI Max 395 | Qwen3.8 Flash-Next | prefill 从 273 提到 844 tok/s,约 3.1 倍;decode 基本不变 |
| RTX 3080 + DGX Spark | Qwen3.8 Flash-Next | 单流 decode 从 22.3 提到 62 tok/s |
| 2×RTX 6000D + 4×DGX Spark | DeepSeek-V4.1-Flash | 32K 输入 prefill 16,000+ tok/s |
每节都配了 Docker 镜像和部署说明,看起来很严肃。但细读就会发现,镜像里「不含权重,也不含私有角色镜像」,130GB 的厂商包和那 35 个补丁都不在仓库里。252 次提交全是作者一个人。
1100 颗星从哪来
先看曲线。10 月 16 日 794 星,11 月 6 日 1,112 星,每天涨 10 到 22 颗,几乎是一条直线,单日最多 22 颗(10-10),近 7 天 +107,前 7 天 +123。fork 也一样:9 月 84 个、10 月 76 个、11 月头 5 天 15 个,匀速滴灌。它从没上过 GitHub Trending。
真正被人转起来的库不长这样。被一个大号转一次,曲线会有一个尖。这个库一个尖都没有。
再看站外。X 上近 60 天搜仓库名和作者名,零条;Reddit、Hacker News、知乎、V2EX 都搜不到。能搜到的只有几个自动抓 GitHub 的聚合站。B 站上有一条同题材的视频,「AI观模者」9 月 26 日发的《高端显卡涨疯了?统一内存+独显异构加速来袭!》,1.29 万播放,但页面上找不到它链到这个库(未核实视频里有没有提)。
最后看 fork 它的人。175 个账号里,161 个是 2025 年以前注册的老号,107 个粉丝不超过 3 个,一个典型账号的公开库里 96% 是 fork 来的(中位数)。把前 80 个账号最近 fork 过什么拉出来看,它们一起 fork 了一批互不相干的中文项目:hyperai/tvm-cn(17 个账号都 fork 了)、TJU-DRL-LAB/AI-Optimizer(14)、dataelement/bisheng(12)、HKUDS/LightRAG(12)……排前 30 的里面,没有一个是 llama.cpp、vLLM、exo 这类本地推理的库。
拿同题材的两个库对照:strix-halo-llamacpp 和 ik_llama.cpp 的 fork 账号,一起 fork 的是 llama.cpp、exllamav3、BitNet,这才是真玩本地推理的人会 fork 的东西。
所以结论是:fork 来自一批付费账号,按天匀速投放,星大概率也是(推断,把握大;星的账号列表没能直接核对)。
那它图什么
作者账号 2026 年 8 月 15 日注册,简介一句话:「我想青史留名」。他只有两个库,另一个是桌面客户端「器灵 Soulmate」,139 星、2 个 fork。
真正的落点在 qlsoulmate.com,叫「器灵算力站」:首页是 DGX Spark、RTX PRO 6000 的「租用」按钮,有 Token 商城(人民币结算的模型 API)、二手 GPU 市场、硬件图鉴,还排着「租还是买计算器」等「第二期」功能。首页挂着这个库的入口和「模型搭建交流群」的二维码。热租榜、热门模型榜 11 月 6 日打开还是「正在读取…」,租用量和收入从外面看不到。
把这几件事放在一起,路线很清楚:公开的部分把「混搭加速很香」讲明白,关键补丁留着不放;想复现的人只能进群、租机器、或者找作者部署。1100 颗星的作用是撑场面:在 GitHub 搜索和聚合站里显得可信。
谁早就在做这件事
| 项目 | 星数 | 和它比 |
|---|---|---|
| exo | 4.8 万 | 2025 年 10 月就发了博客「DGX Spark + M3 Ultra Mac Studio 快 4 倍」,Spark 读、Mac 吐,做成了自动功能,是能直接用的软件 |
| llama.cpp | 13.3 万 | 原生支持多卡、多机切层;这个库的补丁就打在它上面 |
| ktransformers | 1.97 万 | CPU 内存放专家、GPU 算注意力,面向服务器 |
| ik_llama.cpp | 3,400 | MoE 的 CPU/GPU 混合卸载 |
| Mooncake / NVIDIA Dynamo | 7,000 / 8,500 | 数据中心级的读写分离,同构集群 |
| gpustack / distributed-llama | 6,000 / 3,100 | 异构设备集群管理、多机推理 |
| strix-halo-llamacpp | 224 | 只调 395 单机 |
再加上 NVIDIA 论坛和 r/LocalLLaMA 上大量免费、可复现的方案帖:双 Spark 跑 DeepSeek、Spark 加 Mac 等等,讨论量远比这个库大。它真正不一样的地方只有一点:中文,面向国内能买到的卡(二手 3060/3080、国内特供的 6000D)和 395、Spark 混搭,实测表格多。
如果是你
一句判断: 选题可以借,打法别学。「便宜独显 + 大内存主机」是 2026 年本地大模型玩家的真问题,但这个库的星是买来的,它证明不了这个题目能自然拿到 1000 星;同题材的 exo 早一年、做成了软件、有大号背书。
适合谁: 手上真有 395、Spark 或 Mac 大内存机器,还有一两张独显,愿意把每一步都公开的人;想在中文本地推理圈攒名气的人。
不适合谁: 没有硬件、只能写写文档的人;想靠买星做门面引流的人,刷出来的星带不来 Trending,也带不来讨论,这个库 66 天只换来 3 个外部 issue。
怎么做: 做它故意没做的那部分,全部公开、一条命令能跑。最小的切口是 3060/3080 + 395 这一档,硬件几千块,买得起的人最多:给 llama.cpp 写好现成的层分配脚本和配置,一个硬件组合一页,附可复现的测速脚本和原始日志。如果能把「独显读、主机吐」做成 llama.cpp 或 exo 的一个插件或 PR,比自己另起一个库更容易被看见。
怎么获客: 第一篇发 r/LocalLLaMA 和 NVIDIA 开发者论坛的 Spark 版块,标题直接写硬件组合和倍数(「一张 3080 让 395 的 prefill 快 3 倍,全开源」);中文发 V2EX、知乎和 B 站,找「AI观模者」这类已经在讲这个话题的 UP 主。把成果提到 llama.cpp 的讨论区,被主仓库的人引用一次,胜过一百颗买的星。
什么时候之前: 395 和 Spark 的这一波还在铺量,新一代统一内存机器出来之前做完,估计是半年左右的窗口(推断)。
什么情况说明看错了: 帖子发出去两周,Reddit 上没人回、星停在两位数,说明会去折腾混搭硬件的人比想的还少;或者 exo、llama.cpp 官方先把这类混搭做成了一键功能,单独的配置库就没有意义了。
研究底稿:竞品表、获客证据、完整研究报告
- 竞品
名字 在哪 上线 规模 它和这家不同在哪 exo 开源 2024-06(PD 分离 2025-10 博客) 48.2k star exo 已经把「Spark 做 prefill、Mac 做 decode」做成 EXO 1.0 的自动功能,还有大号背书;本库只是实测记录 + 部分补丁,面向中文和消费级混搭 llama.cpp(RPC/tensor split) 开源 2023 133k star 通用多卡、多机切层;本库是在其上针对独显 + 统一内存主机做 PD 分工的补丁和调参 ktransformers 开源 2024-07 19.7k star CPU 内存放专家、GPU 算 attention,面向服务器;本库面向 395/Spark ik_llama.cpp 开源 2024-06 3.4k star MoE 的 CPU/GPU 混合卸载优化,没有跨设备 PD 分离 Mooncake / NVIDIA Dynamo(配合 vLLM/SGLang) 开源 2024-06 / 2025-03 7.0k / 8.5k star 数据中心同构集群的 PD 分离,不针对家用混搭 gpustack / distributed-llama 开源 2024-05 / 2023-12 6.0k / 3.1k star 做异构设备集群管理和分布式推理,不做 prefill/decode 分工调优 NVIDIA 论坛、Reddit r/LocalLLaMA 方案帖 其他 2026 大量免费帖子 双 Spark 跑 DS4 Flash、Spark+Mac 等方案,免费可复现,讨论量远大于本库 - 用户从哪来
- 推断 付费刷 star/fork(账号池):175 个 fork 账号:161 个是 2025 年前注册的老号,fork 占比中位数 96%;前 80 个账号大量共同 fork 一批无关的中文项目(hyperai/tvm-cn 17 个、AI-Optimizer 14、bisheng 12、zhnt/loushang 10、kpleo/pyraimd 7),前 30 名里没有一个 llama.cpp 生态库;对照组 strix-halo-llamacpp、ik_llama.cpp 的 fork 账号共同 fork 的是 llama.cpp、exllamav3 等;star/fork 按天匀速增长、无尖峰
- 查实 自家商业站导流:qlsoulmate.com(器灵算力站:GPU 租用、Token 商城、二手 GPU 市场)首页挂本库入口和「模型搭建交流群」二维码
- 查实 内容包装(双语 README + 12 分钟科普视频 + 实测表格):README 内嵌 v24 中/英配音视频,releases 有 1080p 原片;252 次提交勤更新
- 推断 B 站同题材视频:「AI观模者」(1.57 万粉)2026-09-26《统一内存+独显异构加速来袭》1.29 万播放,页面没找到链接本库
Soulmate-Halo/heterogeneous-gpu-pd-lab 研究报告
研究日期 2026-11-06。数据来源:数据卡(github 库,2026-10-16 至 11-06 每日 star/fork)、GitHub REST/GraphQL API(当天实时)、Jina/Exa 网页搜索、x-radar(X 语料)。
一句话结论
这是一个中文独立开发者「Halo / Halo-lab 光环实验室」的异构 GPU 推理实验记录库:用 RTX 3060/3080/6000D 这类算力强的独显,去给 AI Max+ 395、DGX Spark、M3 512G 这类显存大、算力弱的主机做 prefill/decode 分工加速。题目本身踩在 2026 年本地大模型玩家的真实痛点上,但它的 1100+ star 基本不是被社区「转起来」的:站外几乎找不到任何讨论,fork 它的 175 个账号呈现出明显的「刷量账号池」特征。这个库更像是作者商业站点 qlsoulmate.com(器灵算力站:租 GPU、卖 token、卖二手卡)和桌面客户端「器灵 Soulmate」的获客门面。
1. 基本数据
- 创建 2026-09-01,66 天;star 1112(数据卡)/1120(API 当天),fork 175,watchers 113,issue 只有 5 个(其中 2 个是作者自己发的视频帖)。
- 增长曲线:10-16 时 794 → 11-06 时 1112,每天 +10~+22,非常平滑的直线,单日最高 22(10-10),近 7 天 +107、前 7 天 +123;从未上 GitHub Trending(trending_days_any=0)。第三方聚合站 ai427.com 在早期抓到「796 Star」。
- fork 时间分布:9 月 84 个、10 月 76 个、11 月前 5 天 15 个——同样是匀速滴灌,没有任何「某天被大号转发」的尖峰。
- 仓库内容:README 中英双语,一段 12 分钟的科普视频(中/英配音),大量 benchmark 表格(3060+395 在 9B 模型上 prefill +34%/+120%、DS4.1 Flash 用 2×6000D + 4×DGX Spark 做 PD 分离 16000+ tok/s prefill 等);2026-10-06 后放出了 qwen38-flash-spark-3080 的可复现包(511 个文件)。但 README 明说「部署命令、补丁、端点、层分配策略保持私有」。252 次提交全部来自作者一人。
- 作者账号 Soulmate-Halo:2026-08-15 注册,bio「我想青史留名」,160 followers,只有 2 个库,另一个是 qiling-soulmate(器灵 Soulmate,多 AI CLI 编排桌面客户端,139 star,仅 2 fork)。
2. 竞品
| 竞品 | 形态 | 上线 | 规模 | 和它的区别 |
|---|---|---|---|---|
| exo(exo-explore/exo) | 开源 | 2024-06 | 48.2k star | 2025-10 发博客「DGX Spark + M3 Ultra Mac Studio = 4x faster」,把 PD 分离(Spark 做 prefill、Mac 做 decode)做成 EXO 1.0 的自动功能。这正是本库的核心思路,exo 早一年、且是可用软件;本库是实测记录 + 部分补丁 |
| llama.cpp(RPC / tensor split / override-tensor) | 开源 | 2023 | 133k star | 原生支持多卡、多机切层,但没有针对「独显 + 统一内存主机」的 prefill/decode 分工调优;本库是在其上打补丁 |
| ktransformers | 开源 | 2024-07 | 19.7k star | CPU 内存放 MoE 专家、GPU 算 attention 的异构推理,针对服务器内存而非 395/Spark |
| ik_llama.cpp | 开源 | 2024-06 | 3.4k star | llama.cpp 分支,MoE 混合 CPU/GPU 卸载优化 |
| vLLM/SGLang + Mooncake / NVIDIA Dynamo | 开源 | 2024-2025 | Mooncake 7.0k、Dynamo 8.5k star | 数据中心级 PD 分离,同构集群为主 |
| gpustack、distributed-llama | 开源 | 2023-2024 | 6.0k / 3.1k star | 异构设备集群管理 / 多机分布式推理 |
| Nathanw1014/strix-halo-llamacpp | 开源 | 2026-07 | 224 star | 只调 Strix Halo 单机,不做异构 |
| NVIDIA 论坛、Reddit r/LocalLLaMA 帖子 | 社区 | 2026 | 大量 | 双 Spark 跑 DS4 Flash、Spark+Mac Studio 等方案帖,免费、可复现 |
结论:这件事不是没人做,exo 已经把同一个点子做成产品并拿到大号背书;本库的不同在于中文、面向消费级混搭(3060/3080 这类二手卡 + 395/Spark)、带大量实测表格和科普视频。
3. 增长手段:star 从哪来
3.1 站外几乎没有自然传播(已查)
- x-radar 搜「heterogeneous-gpu-pd-lab」「Soulmate-Halo」近 60 天:0 条。
- Jina/Exa 搜仓库名:命中的除 GitHub 本身外只有 ai427.com、papers.ananclaw.com、agentlenshq.com、beeknoee.com 等自动抓 GitHub 的聚合站;Reddit、HN、知乎、V2EX 均未找到提及。
- B 站:「AI观模者」(1.57 万粉)2026-09-26 发过《高端显卡涨疯了?统一内存+独显异构加速来袭!》(1.29 万播放),话题高度相关,但页面文字里没找到链接本库的证据(未核实是否在视频里提到)。
- 作者在自家站点 qlsoulmate.com 首页挂了本库入口和「模型搭建交流群」二维码。
3.2 fork 账号呈现刷量账号池特征(已查,强证据)
- 175 个 fork 账号中 161 个注册于 2025 年前(老号),107 个 followers ≤3,公开库中 fork 的占比中位数 96%,starred 数中位数 220。
- 共同 fork 分析(取前 80 个 fork 账号,看它们最近 50 个 fork 的来源):除本库外,它们大量共同 fork 一批互不相关的中文项目——hyperai/tvm-cn(17 个账号)、TJU-DRL-LAB/AI-Optimizer(14)、qualcomm/GenieX(13)、hyperai/awesome-ai4s(13)、OpenDCAI/DataFlow(13)、yikart/AiToEarn(12)、dataelement/bisheng(12)、HKUDS/LightRAG(12)、zhnt/loushang(10)、kpleo/pyraimd(7)……前 30 名里一个 llama.cpp / vLLM / exo 生态的库都没有。
- 对照组(strix-halo-llamacpp 与 ik_llama.cpp 的 55 个 fork 账号):共同 fork 的是 ggml-org/llama.cpp(12)、exllamav3、BitNet、amd-strix-halo-vllm-toolboxes 等,符合「真玩本地推理的人」的画像。
- 抽查个人主页:Vision33r、FeoNeo、petshit、widowmalay、Kempingski、HYCooNG 等账号的库 100% 是 fork、0 star,而且它们 fork 的时间线高度重合(都在几周内 fork loom、loushang、pyraimd 和本库)。
- 判断:fork(以及大概率 star)来自同一批付费刷量账号,按天匀速投放,这和「每天 +10~20、无尖峰、不上 trending」的曲线吻合。star 列表接口对我们的 token 不可用,所以 star 账号本身没能直接核对。
3.3 真实需求是有的,但很小
- 有 3 个外部 issue 在问具体硬件方案(4×Spark+2×6000D 用什么交换机、1~2 张 Pro6000 + 2 台 Spark 怎么配、V10 原始交付包能不能复现),说明确实有少量真玩家在看。
3.4 钱从哪回来
- qlsoulmate.com「器灵算力站」:租用 DGX Spark / RTX PRO 6000 等机器(「肉身选择」「控制台/部署」)、Token 商城(人民币结算的模型 API 转售)、二手 GPU 市场、硬件图鉴和「租还是买计算器」;首页挂着本库链接和交流群二维码。
- qiling.swcbg.com「器灵 Soulmate」桌面客户端:多 CLI 编排、强模型带弱模型省钱。
- 本库把「异构加速很香」讲清楚,却把关键的部署命令和补丁留在私有——这正好把想复现的人导向租机器、进群和付费部署。star 数是给这个门面「撑场面」的。
4. 它凭什么起来(why)
- 时机对:2026 年 AI Max+ 395、DGX Spark 这类 128GB 统一内存主机普及,大家都发现它们「放得下、跑不快」(prefill 慢),用便宜独显补 prefill 是真实痛点(Reddit 和 Medium 上大量 395 vs 3060 的对比帖)。
- 内容做得像样:中英双语 README、12 分钟科普视频、大量带 CSV 的实测表格、版本号和更新日志很勤(252 次提交),看起来像一个严肃的实验室。
- 星数主要靠刷量:fork 账号池证据强,曲线是匀速滴灌,站外零讨论。高 star 本身是增长手段,用来给商业站引流、在聚合站和 GitHub 搜索里显得可信。
5. 差异化
- 和 exo 等相比:不是做通用软件,而是做「消费级混搭硬件的实测 + 补丁」,并且是中文社区视角(6000D 这种国内特供卡、二手 3060/3080)。
- 这个差异化有一定内容价值,但不是它拿到 1100 star 的原因——同题材的 exo 博客、Reddit 帖子流量远大于它,它在站外没被讨论;star 主要来自刷量。
6. 可见度与跟风
- 可见度:还没什么人知道。站外只有自动聚合站收录,X / Reddit / HN 零提及;没有媒体、没有大号转发。
- 跟风者:没找到专门照抄它的库。同题材的老牌项目(exo)反而更早。
7. 可借鉴
- 「公开实测数据 + 科普视频 + 私有关键补丁」这种开源门面,能把硬核话题变成租机器、卖 token、拉群的入口。
- 抢在硬件新品周期(395、Spark、6000D)上做中文的「怎么搭」内容,有真实搜索需求。
- 反面教训:刷出来的 star 不会带来 trending,也没有站外讨论,真实转化大概只有个位数 issue。
8. 还不确定的
- star 账号本身没法直接核对(stargazers 接口对我们的 token 返回空),刷量判断基于 fork 账号池加曲线形态,属于强推断。
- B 站「AI观模者」那条视频是否提到本库,没有核实。
- qlsoulmate.com 的实际租用量和收入不可见(页面上的榜单都还是「读取中」或「待上线」)。
- benchmark 数据本身是否可复现,没有核实。