一个没人转发的 400 星仓库:rsi_eval 和「把热门方法接到一起」的打法

一个只有 6 个关注者的开发者,10 月 12 日建了一个仓库,把 2026 年最热的四个「agent 自我改进」方法和 24 套基准接到同一个函数下面。25 天后它有了 399 个 star,X、HN、Reddit、知乎上却找不到一条提到它的帖子。这篇讲它占住的是什么位置、star 从哪来、哪部分值得学、哪部分别信。

10 月 18 日,一行记录

10 月 18 日夜里,一个专门追踪「递归自我改进」(RSI)研究的个人仓库 nanoRSI 照例更新了它的雷达日志,其中一行是:「rsi_eval 70→86 stars, no release」。这是能找到的、最早认真看过这个仓库的人——不是媒体,不是大号,是一个每天自动扫这个领域所有仓库的小雷达。

那时 rsi_eval 建库才 6 天。到 11 月 6 日,它是 399 星(GitHub 页面实时约 410),作者账号下只有这一个仓库有星。

它是什么

README 第一句写得很直白:「A lightweight Python SDK and CLI for evaluating recursive self-improvement (RSI) methods across agent benchmarks.」下面一行是它的整个世界观:

candidate -> evaluate() -> task feedback -> your next candidate

大白话:你做了一个「让 agent 自己改自己」的方法,每改出一版,就要拿去跑基准、拿分数、决定下一步怎么改。rsi_eval 不管你怎么改,只管「跑基准、给反馈」这一段。它底下用的是 Harbor(一个 6,800 星的 agent 评测框架)加 Docker,候选 agent 默认是 Codex CLI;上面挂了 24 套评测配置,从 Terminal-Bench、SWE-bench、Aider Polyglot 到 MMLU、GPQA、ARC-AGI,再到 Harvey LAB 这类法律工作流。

它最会说的卖点有两个。一是四个热门方法——Stanford 的 Meta-Harness、Google 的 RRSI、AHE、HarnessX——都做成了「一键跑」;二是做研究的人在意的细节都照顾到了:任务和结果钉死版本、每次评测给候选拍快照、断了能续跑,preview 命令不用 Docker、不登录、不花一分钱模型额度。

作者 Danielxu0208,2018 年注册,bio 写着「Be Lucky.」,另外几个原创仓库是一个 ECCV 2026 的多模态检索基准(3 星)和一份 RSI 综述,还给 OpenCompass 提过十来个评测修复 PR。看得出是做评测的学术背景,没有机构背书(单位未核实)。

为什么是现在

RSI 是 2026 年的显学。Meta-Harness、AHE、HarnessX 都是 4 月前后放出来的,Google 的 RRSI 9 月开源,每个都有一千到两千星;国内 36 氪、新浪这些也在集中写「当 AI 开始造 AI」。

问题是这四个方法各带各的评测脚本,跑的任务、版本、打分口径都不一样,谁也没法跟谁比。rsi_eval 抢到的就是这道缝:不做方法,也不做基准,只做两者中间那一层。找了一圈,做这件事的目前只有它一个——Scale AI 的 RSI Bench 测的是「agent 能不能做 AI 研发」,是另一回事;inspect_ai、openai/evals 这些通用评测框架,都不是围着「候选→反馈→下一轮」这个循环设计的。

空位是真的,但很窄:会用它的只有做 RSI 或 harness 进化研究的人。

star 是从哪来的

把每天的数字排出来(GitHub,10-16 起逐日):

近 7 天 +181,前 7 天 +67,单日最多 +39(11-01)。这是一条几乎笔直的斜线,中间只有 10 月 26、27 两天停过。它从没上过 GitHub 总榜 Trending,只在 10 月 15–19 日出现在 python 和 ai-agents 两个 topic 页的列表里。

能确认的流量来源有三个:

• topic 页和搜索:仓库打了 6 个 topic(ai-agents、rsi、recursive-self-improvement……),正好是这个领域的人会点进去的词。
• 自动聚合站:ossradar(「+142 stars this week」)、aiagents.directory、蝶动 AI 导航(11-05)、一份 awesome-infra-for-ai 清单,还有 AI 生成的「用 Rsi Eval 预览基准任务」使用场景页。但这些都是看到 star 涨了才收录的,是结果,不是起因。
• RSI 圈子的雷达:就是开头那个 nanoRSI。圈子很小。

能确认没有的:X 上 30 天里搜仓库名、作者名都是 0 条,HN 0 条,中文社区也没找到作者自己发的帖。

剩下那部分,得说难听一点。15 个 fork 账号几乎全是 0 粉丝、二十来个仓库全是 fork、名字像机器生成的(noupher-bronra、mimsalicia2w-76、hcevelpe……);它们还一起 fork 同一批不相干的小仓库,其中有一个 0 星却有 26 个 fork,还有几个 ChatGPT 代充仓库。fork 的时间大约每一两天一个,匀得像排了班。再加上 0 个 issue、3 个 watcher、10 月 30 日以后没再提交过代码——399 星里很可能有相当一部分是刷出来的,或者来自互刷网络(推断;star 账号列表拿不到,没法逐个核对)。

所以「为什么跑出来」的诚实答案是:热词 + 一个真实的空位 + 一份非常工整的 README,带来了一些真实关注;剩下的斜率,大概率不是自然长出来的。

真正值得学的:README 怎么写

撇开 star 的水分,它的 README 是一份好教材。顺序是:

1. 一张横幅图,一句话说清是什么,一行循环示意;
2. 「Why rsi-eval?」四条,每条加粗一句、解释一句;
3. 一张按领域分的覆盖表——「Terminal and software engineering / Code generation / Reasoning / Engineering / Domain workflows」,每行列出基准名和对应文档;
4. Quick Start 只要五行命令,最后一行 rsi-eval preview 不花钱、不装 Docker;
5. 然后才是安装、SDK 用法、自定义方法、自定义基准。

这种结构对人友好,对聚合站和 AI 摘要站更友好——它们几乎能原样抓走改写,于是你在十几个导航站上都有了一个条目。

如果是你

C。 「给热门研究方向做统一评测层」这招能学,但照着 rsi_eval 跟不太划算:它证明的那条 star 曲线本身就不太可信,真实受众只有几百个 RSI 研究员,天花板大概几百到一两千星。

适合谁:本来就在某个研究方向里做实验、手上已经有一套跨方法的评测脚本的研究生或工程师——你只是把自己天天在用的东西整理成仓库,成本很低,攒的是这个圈子里的名声。

不适合谁:想靠一个开源项目快速攒几千星、攒关注者的人。这类胶水层的用户只有圈内人,而且四个方法一更新你就得跟着改,作者本人 10 月 30 日之后就停了。

怎么做:挑一个正在爆、但几种方法各自为政的方向(RSI 之外,agent 记忆、长上下文压缩、多 agent 编排都有这个特征),做「N 个热门方法 × M 个基准、同一个接口、钉死版本」的那一层。比 rsi_eval 多做一步:放出一张排行榜——四个方法在同一套任务上谁强谁弱。评测层没人转,排行榜有人转,方法的作者自己也会转。

怎么获客:topic 打满热词,README 照上面那个顺序写;再把排行榜结果发给被比较的那几个方法的作者和 X 上做这个方向的人,在对应论文的 issue 区留一句「我们在统一任务上复现了你的结果」。这一步正是 rsi_eval 没做的。

死线:这类空位的窗口跟着热度走。RSI 这一轮,大约在下一个大厂方法发布、并自带跨方法对比之前——估计还有一两个季度。

算看错:① rsi_eval 在接下来一个月里出现真实的 issue、外部 PR,或者被某篇 RSI 论文拿来当评测工具——说明它的 star 比看上去更实,这个位置的真实需求也比估计的大,等级该往上调;② 反过来,如果 Meta-Harness、RRSI 这些方法的官方仓库自己合并出一个统一评测,这道缝就关了。

数据与出处

• 仓库与 README:github.com/Danielxu0208/rsi_eval(11-06);逐日 star / fork 为 10-16 至 11-06 的 GitHub 记录;作者资料、fork 账号来自 GitHub 公开页面与接口(11-06)。
• topic 页收录:encoreshao/github-trending 的 topic 存档(10-15 至 10-19)。
• 圈内追踪:xxwtiancai/nanoRSI 的 RADAR.md(10-18 条目)。
• 聚合站:ossradar.net、aiagents.directory、diedong.com(11-05)、dedupedai.com。
• 竞品与被集成方法的 star:GitHub,11-06。
• 社交平台:X 近 30 天、HN 全站搜索,均为 0 条。刷星比例是推断,未逐个核实。