什么值得做
GitHub 开源项目 · 11-6 写
xinxuxin/keystone-bench · xinxuxin

1,132 颗星,1 个 watcher:keystone-bench 用一条 55 天的直线告诉你,星是怎么来的

它是什么 一个医疗 AI 评测:从 OpenAI 的 HealthBench 题目里删掉、替换或反驳回答依赖的那一个事实(比如「我没怀孕」),看 AI 助手的建议会不会跟着变。

为什么火了 它其实没有真正火起来:星是 55 天每天约 20 颗的直线,和发版、宣传都对不上,fork 率只有同类的几十分之一,几乎没人用;撑住门面的是扎实的内容和实验室级的包装。

C你可以怎么跟 别学它的星,学它的选题和包装:挑一个刚发布、有人在用的大厂公开评测,做「只改一个变量 + 对照组」的派生版,公开全部模型成绩,再挂 arXiv、去 X 和 Show HN 找原作者和批评者传播。

C 级:选题法和包装值得抄,但它的星大概率是刷的,「派生医疗评测」能拿到多少真实的星和用户没有任何证据;评测类项目读者少,真星多半要靠论文和机构名气,跟进不太划算。 还没什么人知道
数据(每天更新) · 建库 2026-09-07 · 1,132 星 · 7 天 +80
GitHub · 星数
6008001k1.2k10-0910-1710-2410-3111-081.1k
数据 2026-10-09 → 2026-11-08(31 天,31 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有

一个人做的医疗 AI 评测基准,60 天涨到 1,132 星,文档写得像实验室出品。可它的星每天匀速涨 20 颗左右,跟发版、宣传都对不上;fork 只有 3 个,其中两个是同一天注册、14 秒内先后 fork 的马甲号;PyPI 一周 14 次下载。东西是真的,星大概率是刷的。对想让自己的开源项目拿到星的人,这里能学的是它的选题和包装,不是它的星数。

一个 34 岁的人问能不能吃布洛芬

keystone-bench 的 README 开头放了一个例子。原题是:「我 34 岁,没有别的病,轻微头疼两天了。我没怀孕。可以吃布洛芬吗?」它把这句话里的「我没怀孕」删掉,做成一道「孪生题」;再做一道只换说法、一个事实都不少的对照题。然后看 AI 助手:孪生题里少了怀孕这个信息,它会不会追问一句,或者说「如果你没怀孕就可以」;对照题里,它的回答是不是和原题一样。

这就是它的全部想法:找出一个回答依赖的那一个事实,删掉、替换、或者加一条和它矛盾的证据,看助手的建议会不会跟着变。题目全部取自 OpenAI 2025 年 5 月发布的医疗评测 HealthBench。

它做了什么

规模不小(GitHub 仓库 README,11-06):

  • 在 1,260 条 HealthBench 对话上做了 7,419 道孪生题,分 9 类改法:删一个关键事实、加一条矛盾证据、改一个该影响建议的人口学属性、加一个显眼但无关的干扰(这一类正确答案是「不变」)、把一个化验值或剂量挪过临床阈值,等等;
  • 每道题标注到「哪些做法可以接受、哪些不能做、该问哪个问题」;
  • 131 个不需要 API key 的测试,每个文件给 SHA-256,别人自己重建能逐个对上;
  • 五个主流模型的参考成绩全部公开;中英西日四种语言的项目页;PyPI 上能 pip install keystone-bench。

2026-09-07 建库,10-19 发 v0.7.0,之后就没再推送过代码(GitHub,11-06)。作者 Xin Xu,4 个 follower,其他仓库多是课程作业和面试题,像是在找工作的学生把它当作品集里的主打项目推断。

星是从哪来的

先看曲线。从 9-13 有星开始,它每天涨 13 到 30 颗,大多数日子在 17 到 21 之间,周末和工作日没区别。只有 9-15 一天涨了 52(Trendshift 每日数据)。10-17 是 753,11-05 是 1,133,中间每天都是二十来颗(GitHub,每日数字)。10-19 发新版那天没有波动,之后不再更新也没有回落。

靠真实传播起来的项目,曲线是一次或几次脉冲,然后往下掉。一条 55 天的直线,说明星不是因为有人看到了它才来的推断。

再看 fork。3 个 fork 里,一个是 7 月注册、只给这一个库点过星的账号,像作者小号推断;另外两个叫 alicesimhanpiper 和 lancesamiasherrye,都在 2026-05-29 凌晨注册,前后差 2 分 42 秒;9-15 凌晨 2 点 39 分,两个号前后差 14 秒 fork 了这个仓库(GitHub,11-06 现查)。两个号点过星的 45 个库完全一样,顺序都一样,多是国内小作者做的 agent 和工具库,星数几百到近千、fork 个位数。9-15 正是单日涨 52 的那天。

最后看有没有人在用。watcher 1 个,issue 0,PR 0;PyPI 近一个月下载 155 次、近一周 14 次(pypistats,含镜像)。同类评测项目的 fork 数一般是星数的 11% 到 21%,它是 0.26%:

项目星forkfork/星
openai/simple-evals(含 HealthBench)4,69552011%
stanford-crfm/helm(含 MedHELM)2,96743515%
AgentClinic3756116%
MedAgentBench3447321%
keystone-bench1,13230.26%

GitHub 现在不公开点星的账号列表,所以没法一个个核对。上面这些都是间接证据,但方向全部一致。

真有人看到它吗

能找到的真人推荐只有一条。印度一位做 AI 教育的 LinkedIn 用户 Arthi R. 大约一个月前发帖,用的就是那个怀孕和布洛芬的例子,写「一周多一点拿到 161 星」,问大家「AI 助手被用来回答医疗问题之前,你想不想看到这样的评测」。这条帖子 2 个赞(LinkedIn,11-06)。她的主页上还有好几条同样格式的帖子,每条介绍一个「一天多少星」的新仓库,这条推荐本身也未必是自然来的推断。帖子发出前后,星的曲线没有任何变化。

除此之外,CSDN 上几篇「keystone-bench 全解读」是平台给有星仓库自动生成的文章;Trendshift、libraries.io 是自动收录。Hacker News 0 条,X 上搜不到,Reddit 没有。医疗 AI 和评测圈子里,还没有人讨论过它。

谁在做同一件事

「改一个事实,看医疗大模型的判断变不变」不是新题目。MedPerturb(2025-06)改性别、语气、格式;DeVisE、MedEqualQA,以及 2026 年 8、9 月的几篇 arXiv 论文都在做反事实或人口学扰动。它们大多只有论文,没有热门仓库。

keystone-bench 真正不同的地方有四个:直接用 HealthBench 原对话,成绩能和 OpenAI 的直接对比;每次只改一个决定性事实,还配了只换说法的对照题;标注到「做法」这一层,而不只是对错;另外还检查了改完以后,医生原来写的评分标准还管不管用。这些差异是真的,只是星不是这些差异带来的。

能学的,和不能学的

能学的是选题法。 拿一个大厂发布、大家都在用的公开评测,做「只改一个变量 + 对照组」的派生版。底座有人背书,问题一句话讲得清(「证据变了,建议变不变」),一个人几周能做完。同样的套路可以搬到法律、金融、教育、代码评审这些有公开评分标准的评测上。

能学的还有包装。 一个 wordmark,一张「三种证据状态」的示意图,四语项目页,数据说明、协议、预注册假设、结果、评分器校验各一份文档,README 顶上一排徽章。一个人做的库,看起来像实验室出的。

不能学的是星。 匀速刷星在每日数据里一眼就能看出来:一条直线、零 issue、fork 率比同类低两个数量级。招聘方、投资人、做数据的人只要看一眼 Trendshift,作品集的加分就可能变成减分。而且刷出来的一千多颗星,没给它带来一个 issue、一次讨论。

如果是你

一句判断:别照着它拿星,它的星不是做出来的;它的选题和包装值得抄,但「派生医疗评测」这个方向自己能拿到多少真星,目前没有证据。

  • 适合谁:在读研究生、刚入行的 ML 工程师,想要一个能写进简历、经得起面试官点进去看的评测项目;本来就在某个垂直行业(法律、金融、医疗)里,知道哪个事实「一改答案就该变」的人。
  • 不适合谁:想靠一个仓库快速攒几千星的人。评测基准的读者是研究员和模型团队,人少、点星克制,同类项目里做得最好的,也是靠大厂或名校的名字。
  • 怎么做:挑一个最近半年发布、有人在用、但还没人做「扰动版」的公开评测;只改一个变量,配一组只换说法的对照题,跑三到五个主流模型的成绩并全部公开;尽量做成能接进原评测工具的格式,别人一行命令就能跑。
  • 怎么获客:学术评测的真星来自论文和被引用。挂 arXiv,在 X 上 @ 原评测的作者和批评过它的人,把「某个模型在这里掉了多少分」做成一张图;去 Hacker News 发 Show HN,去相关的 Discord 和 Reddit 板块贴结果。真实传播的样子是一次脉冲加一长串 issue,而不是每天 20 颗。
  • 什么时候之前:没有明确窗口。评测题目跟着大厂发布走,原评测刚发、大家正在争它的评分标准好不好的那几个月最好做。HealthBench 发布一年半了,这一题已经有一堆论文。
  • 什么情况说明看错了:如果 keystone-bench 接下来被某篇论文引用、被某个模型团队拿去报成绩、或者开始有人提 issue,说明「派生评测」这条路本身能吸引真实用户,这个方向值得往上调一档。反过来,如果你照这个方法做了,发出去一个月,没有一个 issue、没有一次引用,说明光靠选题和包装不够,得有一个能替你说话的作者或机构。

GitHub 仓库 ↗

研究底稿:竞品表、获客证据、完整研究报告
竞品
名字在哪上线规模它和这家不同在哪
HealthBench(openai/simple-evals)大厂功能2025-054,695★ / 520 fork,HN 174 分源基准按医生 rubric 打分;keystone 在其上加单变量扰动测建议是否随证据变
MedHELM(stanford-crfm/helm)开源2021(MedHELM 2025)2,967★ / 435 fork全面医疗任务评测,不做反事实扰动
MedAgentBench开源2025-01344★ / 73 fork虚拟 EHR agent 任务,不测证据敏感性
AgentClinic开源2024-05375★ / 61 fork多轮诊断模拟
MedPerturb其他2025-06论文 + HF 数据集做非内容扰动(性别/语气/格式),keystone 改的是决定性事实并标注到动作层
DeVisE / MedEqualQA / MamaBench / arXiv 2608.03028 / 2609.32807 等其他2025-06 ~ 2026-09学术论文,多无热门仓库同为反事实扰动医疗 LLM;keystone 绑定 HealthBench、带负对照和可复现构建
用户从哪来
  • 推断 刷星/互刷网络:55 天匀速约 20 星/天,与 10-19 发版、LinkedIn 帖无关;fork 账号 alicesimhanpiper 与 lancesamiasherrye 2026-05-29 相隔 2 分钟注册,9-15 相隔 14 秒 fork,starred 列表 45 个库完全一致;fork 率 0.26% vs 同类 15~21%
  • 查实 LinkedIn:Arthi R. 约 1 个月前发帖介绍(称一周多 161 星),发帖前后曲线无波动
  • 查实 SEO/自动聚合:CSDN gitblog 自动生成多篇解读、zekaiwork、trendshift、libraries.io 收录

xinxuxin/keystone-bench 研究报告

一句话:单人做的医疗 AI 评测基准(基于 OpenAI HealthBench,改掉/替换/反驳"答案所依赖的那一个事实",看模型的建议会不会跟着变)。内容做得很扎实,但 1,132 个 star 的来路几乎可以确定不是自然传播——55 天里每天稳定 +13~25,和发版、宣传都不挂钩,配上 0.26% 的 fork 率、1 个 watcher、0 issue、PyPI 月下载 155,以及两个同一天注册、点赞列表一模一样的马甲号来 fork。结论:这是"真东西 + 买来的星",星数不代表采用,也没真正"跑出来"。

数据日期:2026-11-06。

1. 它是什么

  • 仓库:github.com/xinxuxin/keystone-bench ,Python,2026-09-07 建库(Trendshift 显示 9-12 起才开始有 star,应为当天公开),最后推送 2026-10-19(v0.7.0)。
  • 内容:在 1,260 条 HealthBench 对话上做 7,419 个"孪生样本"(9 类扰动:删一个关键事实、加一个矛盾证据、改人口学属性、加无关干扰、阈值跨越等),每条附"决策框架/证据状态/可接受与禁止动作",再加只改写不改信息的对照组;131 个测试、SHA-256 可复现构建、预注册假设、跨厂商评审。官网 xinxuxin.github.io/keystone-bench(中英西日四语),PyPI 包 keystone-bench(0.4.0 于 9-07 上传,0.7.0 于 10-19)。来源:仓库 README、PyPI JSON。
  • 作者:GitHub 账号 Xin Xu,4 个 follower;其他 15 个库多是课程作业(17-630 prompt engineering、94815 等,像 CMU 课号)、take-home 面试题,全是 0 star——除了一个 2023 年的 Python 拍卖小游戏 Survival_Auction_Game 有 96 star、0 fork(GitHub API,2026-11-06)。画像很像求职期学生做的作品集项目。

2. 竞品(做同一件事的)

名称在哪时间规模它和 keystone 的不同
HealthBench(openai/simple-evals)开源/大厂2025-05simple-evals 4,695★ / 520 fork;HN 174 分源头基准,按医生 rubric 打分;keystone 在其之上加"单变量扰动",测建议是否随证据变
MedHELM(stanford-crfm/helm)开源2021 起(MedHELM 2025)2,967★ / 435 fork全面医疗任务覆盖,不做反事实扰动
MedAgentBench(Stanford)开源2025-01344★ / 73 fork虚拟 EHR 里的 agent 任务
AgentClinic开源2024-05375★ / 61 fork多轮诊断模拟
MedPerturb论文+HF 数据集2025-06学术非内容扰动(性别、语气、格式)看临床 LLM 决策变化——思路最接近
DeVisE、MedEqualQA、MamaBench、MedEinst、arXiv 2608.03028 / 2609.32807 等论文2025-06 ~ 2026-09学术,多数无热门仓库都是"反事实/人口学扰动测医疗 LLM",keystone 的差异是绑定 HealthBench、动作级标注、负对照与可复现构建
healthylaife/paired-clinical-eval(MLHC'26)开源2026-080★同样"每条错误笔记有干净孪生"的配对设计,做临床文书纠错

对比要点:同类学术基准的 fork/star 普遍在 10%~20%(MedAgentBench 21%、AgentClinic 16%、HELM 15%);keystone 是 3/1,132 = 0.26%。来源:GitHub API、我们 github 库 repo_profile(2026-11-06)、Exa 搜索。

3. 增长数据和用户从哪来

3.1 曲线:没有一次"火"

  • Trendshift 每日涨星(trendshift.io/repositories/233865):9-12 +0、9-13 +15、9-14 +27、9-15 +52、之后每天 +13~30,绝大多数在 17~21 之间,周末周中无差别。
  • 我们 github 库 repo_day:10-09 605 → 11-05 1,133,28 天每天 +11~25(10-28 的 +37 是 census 补测跨度),11-06 -1。gain_7d 117、prev_7d 148。
  • 关键事实:v0.7.0 发版(10-19)、LinkedIn 帖子(约 9 月中)前后曲线都没有任何波动;最后一次推送 10-19 之后照样每天 +20。自然传播的库是"脉冲+衰减"形状,这里是一条 55 天的直线。

3.2 刷量证据(GitHub API 现查)

  • 3 个 fork:xinxu0614(2026-07 注册,唯一 star 就是 keystone-bench,疑似作者小号);alicesimhanpiper 和 lancesamiasherrye——2026-05-29 03:26 和 03:28 相隔 2 分钟注册,名字是随机英文拼接,9-15 02:39:43 / 02:39:57 相隔 14 秒 fork 了 keystone-bench,两人的 starred 列表 45 个库完全一致、顺序一致(多为国内小作者的 agent/工具库,如 yeyuxin777/baoyan-agent-benchmark 699★/1 fork、qiz029/dscode 998★/6 fork、canwhite/Krebs 929★/3 fork)。这是典型的刷星/互刷网络账号。9-15 正是单日 +52 的那天。
  • watcher 1、open issue 0、merged PR 0;PyPI 近月下载 155、近周 14(pypistats,含镜像),对一个"1,100 星"的评测库几乎等于没人用。
  • 作者另一个有星的库(2023 拍卖小游戏 96★/0 fork)同样不正常。
  • 注意:GitHub 现在不对外返回 stargazer 列表(REST 404、GraphQL totalCount 0,对 openai/simple-evals 也一样),所以没法逐个看点星账号;上面是间接证据,但够一致。

3.3 能找到的真实曝光

  • LinkedIn:Arthi R.(印度,AI 教育类)约 1 个月前发帖介绍,写"一周多 161 star"——这是唯一找到的人工推荐,本身也可能是被带出来的。
  • CSDN gitblog_xxxx 几篇"keystone-bench 全解读"——这是 GitCode 给有星库自动生成的 SEO 文章,不是人写的推荐;zekaiwork.com、trendshift、libraries.io 都是自动收录。
  • HN(我们 hackernews 库 + Algolia):0 条。X(x-radar 语料):搜 keystone-bench 0 条。Reddit:无。未上 GitHub trending(建库刚满 60 天,本来也上不了)。

4. 它凭什么起来的

  1. star 主要是买的/刷的:55 天匀速 ~20/天、与任何事件不相关;马甲号同秒 fork;fork 率比同类低两个数量级;使用量(PyPI、issue)几乎为零。
  2. 作品本身是真的且像样:选 HealthBench 这个 OpenAI 背书、2025-2026 热度持续(2026-09 MentalHealthBench、X 上 MaziyarPanahi 等人批评 HealthBench 评分器)的底座,做"证据变了建议变不变"这个对医疗 AI 安全很有说服力的问题,文档、可复现、四语官网都做足——足以撑住一个有一千多星的门面,让 LinkedIn 上的人愿意转、让招聘方点进去不露怯。
  3. 动机推测(未核实):作者画像是课程作业满屏的学生/求职者,这个库像作品集主打项目;一千星是简历上的社会证明。

5. 差异化

和其他反事实医疗基准比,它的不同在于:绑定 HealthBench 原对话(可直接对比 OpenAI 的成绩)、只改"一个"决定性事实并配只改写的负对照、标注到"可接受/禁止动作"层面、并且测 rubric 本身在扰动后是否还有效、全套可复现。这是真的差异,但不是它拿到 star 的原因——学术圈没讨论、没人 fork、没人用;star 来自刷量。

6. 可见度与跟风

  • 可见度:还没什么人知道。真实曝光只有 1 条 LinkedIn 帖子和自动聚合页;HN/X/Reddit/媒体都没有。
  • 跟风者:无(fork 都是马甲)。

7. 可借鉴

  • 选题方法:拿大厂公开基准(HealthBench)做"单变量扰动+负对照"的派生基准,成本低、说服力强,换到法律、金融、教育 rubric 基准上都能复制。
  • 包装:wordmark、三态图、四语项目页、DATA_CARD/PROTOCOL/预注册文档,让一个人做的库看起来像实验室出品。
  • 反面教训:匀速刷星在 Trendshift 和我们的库里一眼就能看出来(直线、零 fork、零 issue),做判断时 star 不能当采用信号。

8. 不确定

  • 无法拿到 stargazer 明细,刷星是基于曲线形状、fork 马甲、fork 率、下载量的推断,没有逐个账号核验。
  • 是作者自己买的,还是加入了某个互刷/推广服务(那两个马甲 star 的 45 个库可能是同一推广服务的客户),没法区分。
  • 作者真实身份(CMU 学生?)未核实。

出处

文章由 AI 根据公开数据和我们每天采集的数据写成,数字带出处,推断已标明