什么值得做
GitHub 开源项目 · 11-6 写
prabanta-dev/janas · prabanta-dev

32GB 笔记本跑 48GB 的模型:一个意大利人用纯 C 写的推理引擎,靠一行对比数字上了 HN,也只拿到 645 星

它是什么 一个纯 C 写的本地大模型推理引擎:MoE 模型放在固态盘上,每一步用到哪部分就读哪部分,32GB 内存的笔记本也能跑 48GB 的模型。

为什么火了 简介第一行就是「32GB 笔记本跑 48GB 模型,24 对 llama.cpp 的 2.8 tok/s」,别人把它发上 HN 拿了 221 分,二十多家 AI 新闻站照着转载;作者之前在 HF 论坛用一键测试脚本招测试员,攒下一批真去跑的硬件玩家。

C你可以怎么跟 别再做一个从 SSD 读专家的引擎;做这批引擎之间缺的东西,比如一个同机对比 llama.cpp、Strata、ds4、Janas 的开源基准,收用户提交的结果,冷启动照抄它的「招测试员 + 一键脚本」。

C 级:赛道 2026 年已经挤了十几个同类项目,头部 Strata 4 万星、ds4 靠作者名气,Janas 做得很扎实也只到中下游;能学的是标题写法和冷启动打法,照着做引擎不划算。 小圈子里在传
数据(每天更新) · 建库 2026-09-20 · 663 星 · 7 天 +114
GitHub · 星数
025050075010-0910-1610-2411-0111-08663
数据 2026-10-09 → 2026-11-08(31 天,30 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有

Janas 是意大利独立开发者 Maurizio Cammalleri 一个人写的本地大模型推理引擎:模型比内存大也能跑,用不到的那部分留在 SSD 上,要用时现读。9 月 20 日建库,到 11 月 6 日 645 星(GitHub)。它值得看的地方不在星多,而在那几步做得很干净:一行能被原样转载的对比数字,一个把早期用户变成测试员的脚本。它的问题也很典型:同一个月、同一个点子,隔壁项目拿了 4 万星。

9 月 25 日,一封「招测试员」的信

2026 年 9 月 25 日,作者在 Hugging Face 论坛发了一帖,标题是「Call for testers」。开头一句:「我在找愿意花半小时、或者一个安静的晚上,在自己的 Linux 机器上跑一下 Janas 的人。」

理由说得很老实:引擎会根据测出来的东西自己调参数,「但它只量过一台机器」——他自己那台 Core Ultra 9、32GB 内存的笔记本。他点名最想要的是 AMD 的 CPU、16GB 以下内存的机器、SATA 固态盘、Debian 以外的发行版。

测试只要两条命令:clone 下来,跑 tools/janas-try.sh。脚本会自己编译、跑测试、下模型、校验 SHA-256、测速度,最后写一份报告先给你看,你说可以,它才帮你在 GitHub 上开 issue。模型分三档,最小的 2.5GB,大约十五分钟跑完。

两天后就有人在 Colab 上跑了一遍回帖。到 11 月初,issue 区里陆续有 30 多份 AMD、Intel、NVIDIA 用户交来的硬件报告和 PR。

它是什么

现在很多开源大模型是 MoE 结构:模型很大,但每生成一个字只用到其中一小部分「专家」。Janas 就利用这一点:整个模型放在 NVMe 固态盘上,每一步用到哪几个专家就现读哪几个,常用的留在内存里。

它的 GitHub 简介就是一行数字:「Qwen3-Next-80B(48GB)在 32GB 笔记本上跑到 37 tok/s,不用草稿 24,llama.cpp 是 2.8」。纯 C,除了 C 库什么都不依赖,GPL 许可,有终端聊天、兼容 OpenAI 的接口,11 月 3 日又加上了 Ollama 和 Anthropic 接口,可以直接接 Claude Code、Cline 这类编码工具。

星是怎么来的

日期发生了什么star
09-20建库—
09-25作者在 HF 论坛招测试员—
10-11作者在 HF 论坛 Show and Tell 发「37 vs 2.8 tok/s」—
10-12别人(不是作者)把它发上 Hacker News,221 分、95 条评论几十
10-12 到 10-16二十多家 AI 新闻站、聚合站几乎同时转载10-14 约 326(iMasters 报道里的截图)
10-16 到 10-30没新动静,每天涨 0 到 10412 → 471
10-29发版,支持当时最热的 Qwen3.8-Flash-Next471
10-31 起又开始涨,10-31 +27、11-01 +51,之后每天十几二十11-06 645

真正的一跳只有一次:HN 首页。发帖的人和作者没有关系,标题是「Janas: Run LLMs larger than RAM by streaming experts from SSD」。

接下来几天,aiweekly、dev.to、daily.dev、巴西的 iMasters、意大利的 ilsoftware(标题强调「意大利人的点子」)、日本和韩国的科技站,都写了差不多的内容,开头都是那组数字。Instagram 上有 AI 新闻号做了短视频,作者名还被写成了「Prabanta Dey」——这些站多半是自动盯着 HN 首页写稿的,不是作者找的。

10 月底那第二波,时间上正好接在支持新热门模型的那次发版后面,但没找到具体是哪个帖子带来的(推断)。X 上没有大号提过它;11 月 3 日 Reddit r/LocalLLaMA 有人写了一篇「GPU+内存+SSD 推理引擎汇总」,也没列它。

为什么能起来

一行能被照抄的数字。「32GB 笔记本跑 48GB 模型」谁都听得懂,「24 对 2.8」谁都看得出差距。聚合站不用理解技术,把简介翻译一下就是一篇稿子。

HN 首页那一下。这是星数唯一能对上的触发点。

测试做得罕见地认真。结果跨机器、跨线程数逐位一致,模型附校验值,README 把测量条件和局限写得很满。HN 评论区有人专门替它说话,说 llama.cpp 短期内做不到这样读 SSD。留下来的那批人,是真去跑测试、交报告的硬件玩家。

几乎天天发版。10 月 11 日到 11 月 4 日一共 20 个版本。

为什么只有 645 星

HN 评论区里,另一条回复只有一句:「Qwen 3?现在是哪一年?……Strata 已经用 Qwen3.8-Flash-Next 做到了。」

Strata 比 Janas 晚 4 天建库,做的是同一件事,但它押的是当时最热的模型、面向独立显卡、一键安装。它 10 月 4 日上 HN 拿了 940 分,到 11 月 6 日 40,493 星,最近 7 天又涨了 4,588。Janas 一开始只支持 Qwen3 这类上一代模型,只在一台 Intel 笔记本上测过,而且作者不合并外人的代码——贡献指南里写着要等成立一个非营利基金会持有版权之后再合,ARM、macOS 的 PR 一直挂着。

这条赛道也早就挤了。同一个评论区的原话:「Every few weeks, someone stumbles on what llama.cpp has had for years again」,还有「There are many of these stream-experts-from-SSD projects now」。

项目规模(GitHub,11-06)和 Janas 比
Strata40.5k 星,7 天 +4.6k同一周建库,押最热模型 + 独显 + 一键安装
antirez/ds424k 星Redis 作者做的 DeepSeek 4 引擎,同样从 SSD 读专家,靠作者名气
jundot/omlx23k 星苹果芯片上的 SSD 缓存推理
ktransformers19.7k 星CPU/GPU 混合卸载,面向工作站
Edge09.1k 星用训练出来的路由器提前预取,ModelScope 官号站过台
flash-moe4.5k 星笔记本跑 397B,只支持 Mac
inferssd、BigMoeOnEdge、pulsar 等十几个100 到 700 星同一个点子,7 到 10 月一起冒出来
llama.cpp133k 星被所有人拿来做对照的通用引擎

它的独到之处是真的:纯 C 零依赖、能用 Intel 笔记本的 NPU 读提示词、自定义格式让每个专家一次读完。但这些决定的是「被认真对待」,不是星数。有独立测试在 31GB 内存的机器上跑出了 9.5 到 16.2 tok/s,能跑;简介里那个「快将近十倍」的对比,还没人复现。

如果是你

C。它的冷启动和标题写法值得照抄,但「再做一个从 SSD 读专家的引擎」不值得跟。这条赛道 2026 年已经有十几个同样的项目,头部是 4 万星的 Strata 和靠作者名气的 ds4;Janas 做得这么扎实,也只到中下游。

适合谁:本来就懂 C/C++、内存和 IO 优化,想在本地大模型圈子里攒一份硬核履历的开发者;或者手里已经有一个推理相关的小项目,想学怎么冷启动的人。

不适合谁:想挑个热门方向几周拿几千星的人。这个方向的星跟着「当周最热的模型」走,你追不上头部的发版速度,也没有 antirez 的名字。

怎么做:别做第 N 个引擎,做这群引擎之间缺的东西。HN 那条帖子底下有人说得很直接:「需要一份把这些项目都对比一遍的指南」。一个开源的对比基准就是现成的空位:同一份脚本,在同一台机器上把 llama.cpp、Strata、ds4、Janas、Edge0 这些跑一遍,按内存大小、显卡有无、SSD 类型出一张表,收用户提交的结果——Janas 的 janas-try.sh 就是这个思路的单项目版本。另一条路是补它们都不管的平台,比如 Windows 或 ARM 笔记本上的一键版本(推断:Janas 只支持 x86 Linux,Strata 面向独显)。

怎么获客:照 Janas 的顺序。简介第一行写「我 X,对手 Y」的数字加一个日常场景;先去 HF 论坛、r/LocalLLaMA 招测试员,给一个一条命令就能跑完、自动生成报告的脚本,让早期用户替你覆盖硬件;等数字站得住了,再找人发 HN。每次有新的热门模型出来,当周就支持,发版说明里写清楚。

什么时候之前:对比基准这件事,越早越好。现在是这类项目刚冒出来、还没人整理的时候;等 llama.cpp 或 Ollama 官方把 SSD 读专家做进去,或者 Strata 一家独大,大家就不需要对比了(推断)。

什么情况说明看错了:① 已经有人做出了一份被 r/LocalLLaMA 置顶或常被引用的对比表,这个空位就没了;② llama.cpp 主干支持了类似的流式读取并且速度接近,整个赛道会一起降温;③ Janas 这类中下游项目在 11 月中以后日增掉回个位数,说明这一波的星主要跟着单个热门模型走,给它们做周边也不会有人看。

---

数据与出处:GitHub 仓库、发版记录与 issue(11-06),每日 star 数(10-16 至 11-06);Hacker News 帖子 50063717(10-12)及评论;Hugging Face 论坛帖 180740(09-25)、190340(10-11);iMasters(10-14)、aiweekly、ilsoftware、ReviewRamble 的报道与评测;Strata 的 HN 帖与竞品 star 数(GitHub,11-06)。写「推断」的地方是估计。

GitHub 仓库 ↗

研究底稿:竞品表、获客证据、完整研究报告
竞品
名字在哪上线规模它和这家不同在哪
Niko1221/Strata开源2026-09-2440.5k 星,7 天 +4.6k;HN 940 分押注当时最热的 Qwen3.8-Flash-Next,面向独显,一键安装;Janas 面向纯 CPU 笔记本,一开始只支持老模型
ggml-org/llama.cpp开源2023-03133k 星通用引擎,模型超出内存时靠 mmap,速度慢;Janas 是 Janas 拿来比速度的对象
Edge0-AI/Edge0开源2026-09-089.1k 星用训练出来的路由器提前预取,35B 模型只要 2.5GB 内存;有 ModelScope 官号站台
antirez/ds4开源2026-0524k 星Redis 作者做的 DeepSeek 4 引擎,支持 Metal / CUDA / ROCm,靠作者本人的名气
danveloper/flash-moe开源2026-034.5k 星;HN 398 分只支持 Mac,笔记本跑 397B
kvcache-ai/ktransformers开源2024-0719.7k 星CPU/GPU 异构的 MoE 卸载,面向工作站和服务器
Ollama / LM Studio其他2023Ollama 186k 星一键体验的入口,不专门优化超出内存的 MoE
用户从哪来
  • 查实 Hacker News:2026-10-12 第三方账号 khalidkhair 发帖,221 分 / 95 评(hackernews 库 id 50063717),星数随后涨到 300+
  • 查实 AI 新闻聚合站 / 自动生成内容站转载:10-12 到 10-16 之间 aiweekly、ai-tldr、byteiota、dev.to、daily.dev、iMasters、ilsoftware、oflight、braindetox 等二十多家同步转载,另有 Instagram @gradientai.news 和 YouTube Shorts 的短视频
  • 查实 作者在 HF 论坛冷启动:09-25 发 Call for testers(附一键测试脚本),10-11 在 Show and Tell 发了 37 vs 2.8 tok/s 的帖
  • 推断 Reddit r/LocalLLM:有一帖 1xivl25,日期和热度抓不到
  • 推断 跟进热门模型的发版:10-29 发版支持 Qwen3.8-Flash-Next / Nemotron,11-03 支持 Ollama 和 Anthropic API;10-31、11-01 星数各涨 +27、+51,时间吻合但没找到具体是哪个帖子带来的

prabanta-dev/janas(Janas-LLM)为什么能跑出来

渠道:GitHub|研究日 2026-11-06|数据:我们的 github / hackernews 库、GitHub API、Jina/Exa/Brave 网页搜索

一句话

意大利独立开发者 Maurizio "camauri" Cammalleri 用纯 C(只依赖 C 库)写的本地推理引擎:MoE 模型权重留在 NVMe 上,每个 token 用到的 expert 用 O_DIRECT + io_uring 现读、热的留在内存里。卖点是一组很好传播的对比数字:「32GB 笔记本跑 48GB 的 Qwen3-Next-80B,24 tok/s(加 MTP 草稿 37),llama.cpp 只有 2.8」。

结论:它是「SSD 流式加载 expert」这一波里的小玩家,不是领头的。起量靠的是 2026-10-12 第三方发上 HN(221 分 / 95 评)后,一大批 AI 新闻聚合站和自动生成内容的站点照着 README 的标题数字转了一轮;10-31 之后又加速,时间上正好接在 10-29 那次发版之后(那版支持了当下最热的 Qwen3.8-Flash-Next)。同一个月里,同赛道的 Strata 拿了 4 万星,Janas 才 645。所以「凭什么起来」的答案是:标题数字很能打 + HN 上了首页 + 聚合站转载,外加文档和测试的诚意罕见,吸来了一批真去跑测试的硬件玩家。它本身没有破圈。

1. 数据

  • 星数:2026-09-20 建库;10-14 iMasters 截图里是 326 星 / 20 fork;10-16 到 412(我们的 github 库 repo_day);10-16 到 10-30 每天只涨 0–10,到 471;10-31 +27、11-01 +51,之后每天 +11~26;11-06 卡片上 630,GitHub API 实时 645 星 / 62 fork。gain_7d 159,前一周 14(github 库)。
  • 卡片上 max_day_gain 258 记在 10-14,对应的是 HN 那一波(我们的每日记录 10-28 才开始,这个数是两次观测之间的差)。
  • 作者账号 camauri:2015 年注册,24 个粉丝,另有两个复古 BASIC / SID 音频的小项目(Substack 有记录)。没有任何流量底子。
  • 96 个提交全是作者一个人的;HF 上有 14 个预转换的 JNS 模型仓库(huggingface.co/prabanta-dev)。

2. 竞品(同一件事:让超出内存/显存的 MoE 模型在消费级硬件上跑)

产品形态上线规模(github 库,2026-11-06)和 Janas 的区别
llama.cpp开源2023-03133k 星通用引擎,mmap 也能跑超内存的模型但很慢;Janas 拿它做对照,宣称 2.8→24 tok/s
Ollama / LM Studio开源 / 应用2023Ollama 186k 星一键体验的入口,不专门优化超内存的 MoE
Niko1221/Strata开源 C++2026-09-24(比 Janas 晚 4 天)40,493 星,7 天 +4,588主打当时最热的 Qwen3.8-Flash-Next(125B),RTX 4090 跑 100 T/s,一键安装,OpenAI/Anthropic API;HN 10-04 拿了 940 分 / 420 评;Reddit 上被叫作「current belle of the ball」
Edge0-AI/Edge0开源 Python2026-09-089,088 星「35B MoE 只要 2.5GB 内存」,用训练出来的路由器提前预取;ModelScope 官号发推站台
antirez/ds4开源 C2026-0524k 星Redis 作者做的 DeepSeek 4 本地引擎,同样用 SSD 流式 expert 缓存,靠作者本人的名气
jundot/omlx开源2026-0223k 星Apple Silicon 上的 SSD 缓存推理服务
danveloper/flash-moe开源2026-034.5k 星笔记本跑 397B,只支持 Mac;HN 398 分
ktransformers开源2024-0719.7k 星CPU/GPU 异构的 MoE 卸载,面向工作站和服务器
Helldez/BigMoeOnEdge、wici-ai/inferssd、giannisanni/pulsar、Xolotl、moe-l2、hummingbird 等开源2026-07~10100~700 星同一个点子的不同实现,多数基于 llama.cpp 或只盯一个模型

HN 评论区原话:"There are many of these stream-experts-from-SSD projects now"、"Every few weeks, someone stumbles on what llama.cpp has had for years again"。这条赛道 2026 年已经挤满了人,Janas 在里面排中下游。

3. 用户从哪来(增长手段)

  1. 作者自己在 HF 论坛冷启动:09-25 发「Call for testers」,附一键测试脚本 tools/janas-try.sh,跑完自动生成报告、可以直接开 GitHub issue;10-11 又在 HF Show and Tell 发了「37 vs 2.8 tok/s」。(discuss.huggingface.co 帖子 180740、190340)
  2. HN 首页:10-12 22:05 UTC,第三方账号 khalidkhair 发了「Janas: Run LLMs larger than RAM by streaming experts from SSD」,221 分 / 95 评(hackernews 库,id 50063717)。这是唯一一次大爆发,星数从几十涨到 300+。
  3. 聚合站 / AI 生成新闻站转载:10-12 到 10-16 之间,至少 20 个站点几乎同一时间写了这件事,包括 aiweekly、ai-tldr、byteiota、dev.to(2 篇)、daily.dev、iMasters(巴西)、ilsoftware.it(意大利,标题强调「意大利人的点子」)、oflight(日本)、braindetox(韩国)、9to5ai、top10.dev 等;Instagram 上的 @gradientai.news 和 YouTube Shorts 做了短视频,作者名还被写错成「Prabanta Dey」。这些多半是自动跟踪 HN 的内容站,不是作者买来的。
  4. Reddit r/LocalLLM:有一帖「Janas: a C inference engine that runs MoE models bigger than your RAM」(帖子 1xivl25),具体日期和热度抓不到(Reddit 403)。不过在 11-03 r/LocalLLaMA「GPU+RAM+SSD 推理引擎汇总」那篇里,主角是 Strata,没提到 Janas。
  5. 10-31 起再次加速:10-29 发版加了 Qwen3.8-Flash-Next、NVIDIA Nemotron 3.5 Bolt、图片和 Whisper 支持;11-03 加了 Ollama 和 Anthropic API,可以接 Claude Code、Cline 这类编码 agent;11-04 加了 AVX-512。10-31、11-01 各涨 +27、+51,和发版时间吻合,但没找到具体是哪个帖子带来的(未核实)。ReviewRamble 10-31 出了多语种评测页,sdad.pro 11-02 写了 SATA 盘实测。
  6. X 上:x-radar 语料近 60 天搜不到任何讨论 Janas 的推。没有大号转发。

4. 为什么能起来

  • 标题就是一组对比数字:GitHub 简介直接写「37 tok/s… vs 2.8 for llama.cpp」,又挑了「32GB 笔记本跑 48GB 模型」这个人人都懂的场景,方便聚合站原样照搬。
  • HN 首页 221 分:这是唯一能对上星数大跳的事件(10-12 到 10-14,iMasters 截图 326 星)。
  • 测试的诚意罕见,吸来了贡献报告的用户:有一键测试脚本、结果在不同机器上逐位一致、HF 上有预转换模型并附 SHA-256、README 写满了测量条件和局限。10-13 之后陆续有 30 多份 AMD / Intel / NVIDIA 用户的硬件报告和 PR(issues 列表)。这批人是留下来的人。
  • 持续快速发版:10-11 到 11-04 一共 20 个 release,几乎每天一个;10-29 跟上了最热的 Qwen3.8-Flash-Next,之后增长又回来了。

5. 差异化,以及是不是它跑出来的原因

  • 纯 C、零依赖、GPL;定位是「普通笔记本的 CPU」,iGPU / NPU 可选,用到 Intel Core Ultra 的 NPU 读 prompt,这点同类里少见;自定义 JNS 格式让每个 expert 一次对齐读完;有 cache-conditional routing(没缓存到的轻权重 expert 直接跳过);用 MTP 草稿做投机解码;测试和文档非常严谨。
  • 这些差异是它被 HN 认可的原因(有评论专门替它辩护说「读 SSD 的速度 llama.cpp 短期做不到」),但不足以让它跑赢同类。Strata 抓住了「最热的模型 + 独显 + 一键安装」,4 万星;Janas 一开始只支持 Qwen3 / Qwen3-Next 这类「老模型」,被 HN 嘲讽「Qwen 3? What year is it」,只在单台 Intel 笔记本上测过,作者还不收外部代码(CONTRIBUTING 写明要等成立非营利基金会持有版权之后才合并,ARM64 / macOS / AVX-512 的 PR 一直挂着,ReviewRamble 也点了这一条)。
  • 独立第三方测试:31GiB 内存的机器上 80B 模型跑到 9.5–16.2 tok/s,说明能跑;但 26.4 对 3.0 这个对比没人复现(ReviewRamble)。

6. 能见度

小圈子里在传:上过一次 HN 首页,被一批聚合站转载过;X 上没有大号提到,Reddit 上的汇总帖也没列它。和 Strata 比,几乎没人知道。有一次性的媒体曝光,但没形成口碑。

7. 跟风者

不算跟风。同一时期同一点子的项目有十几个(inferssd 10-22、Betelgeuse 10-31、Infernix 10-08 等),是一起涌出来的,不是在抄 Janas。

8. 可借鉴

  • GitHub 简介直接写「我 X、对手 Y」的硬数字,外加一个日常场景(32GB 笔记本),聚合站会照搬。
  • 「Call for testers + 一键测试脚本 + 自动生成 issue」:把冷启动用户变成硬件覆盖测试,也给 issue 区带来了活跃度。
  • 赶上当周最热的模型很关键:Strata 和 Janas 是同一周建库,一个押了最热模型,一个跑的是老模型,星数差了 60 倍。

9. 不确定

  • 10-31 / 11-01 加速的具体来源(Reddit 帖子?发版公告?)没查到。
  • Reddit r/LocalLLM 帖子的日期和热度。
  • 10-12 之前的逐日星数(GitHub 的 stargazers 接口对这个库返回 404)。

出处

文章由 AI 根据公开数据和我们每天采集的数据写成,数字带出处,推断已标明