8,200 万张企业页面,2.5 亿次 AI 爬虫来读:一个排名冲进全球 13 万名、却几乎没有真人访客的网站

2026 年 5 月 5 日,纽约的连续创业者 Gregory Pellitteri 在 Hacker News 发了一条「Show HN: Is your brand invisible to AI? We built a free visibility score」,1 分,0 条评论;第二天上 Product Hunt,2 票,日榜第 250。半年后,他的 engagemii.com 给 8,212 万个网站打了分,全球排名从 8 月之前的百万名开外爬到 12.9 万名(Tranco,11-05)。但爬上来的主要不是人,是 ChatGPT、Claude、Meta 的爬虫。这是一个关于「程序化页面喂 AI 爬虫」的案例:排名可以这样冲上去,用户和钱却不会跟着来。

一条没人点的 Show HN

Engagemii 这个域名 2024 年就在线,那时是一个「AI 品牌发现 / 对话销售」平台,子域名上至今还挂着「前 250 个 Shopify 品牌 $250/年」的创始人价。2026 年 5 月它转了方向,改做 AEO(answer engine optimization,让品牌在 ChatGPT 这类 AI 答案里被提到),第一步就是那条没人点的 Show HN:输入你的网址,免费拿一个 0–10 分的「AI 可见度」分数。

之后 6 月他又在 HN 发了两篇数据文——「AI 机器人引用牙医多于财富 500 强」「三分之二的网站对 AI 机器人不可见」,各 3 分。X 上过去半年找不到一条提到它的帖子,也没有媒体报道。从人的渠道看,它几乎没被看见。

它做了什么:先给全世界打分

别家 AEO 工具是「你输入品牌,我去问 ChatGPT,告诉你被提到几次」。Engagemii 反过来:不等你来,先把所有公司都打了分。

• 首页 11-07 写着:跟踪网站 82,129,732 个,每天重打分约 17 万家,其中核实过的美国企业 1,742 万家。
• 每家一张公开的品牌页。首页滚动的是这样一些名字:Southern Pines Bathtubs(浴缸,3.6 分)、Shuman's Auto Clinic(汽修,3.9 分)、Emy Ray Bakes(烘焙,3.8 分)、Fat Cat Pottery(陶艺,4.1 分)——大多是小商家,分数普遍不及格。
• 分数主要是静态评估:网站对 AI 好不好读(6 个站内子分)加上外链、新闻、社媒这些站外信号(6 个),不是真去问模型。只有首页一个「Live」板每 30 分钟问一次 ChatGPT「买什么最好」,展示它推荐了谁。
• 免费端还有:按你自己网站生成的「修复包」(llms.txt、结构化数据之类 9 个文件)、Chrome 扩展、WordPress 插件(7 月上架,累计下载 583 次,wordpress.org)、MCP server。

钱打算从哪来:按条卖数据

它不卖订阅为主,卖的是这份 8,200 万条的名单。数据页(11-07)的价目:

买家设想的是营销代理商(「每个低分都是一个可以卖修复服务的潜在客户」)、数据公司和投资人——更像 BuiltWith、ZoomInfo 这类公司数据商,多加了一个 AEO 分。有没有人真买过、卖了多少,外面一点都看不到:没有公开收入,没有客户案例,没有评论。

排名为什么冲上去了:读它的是爬虫

Engagemii 自己在 9 月发了一篇研究文「250.1 million AI crawler reads」,按各家公布的 IP 段核对,统计 AI 爬虫读了它多少次:

再对照它的全球排名(Tranco):8 月 20 日第一次进前 100 万(86.8 万名),8 月 27 日 43 万名,9 月 10 日 20.5 万名;10 月初掉回 28.6 万名,10 月中又涨,11 月 1 日最好到 12.1 万名。8 月爬虫读取翻了 5 倍,排名正好在 8 月下旬冲进榜单;9 月 ClaudeBot 读取涨约 5 倍、Applebot 涨约 10 倍,随后排名第二轮爬升。时间几乎一一对上。

截至 11-07,它首页的累计数是 2.52 亿次:Meta 9,810 万、Claude 6,290 万、Apple 2,690 万、GPTBot 2,610 万、Perplexity 1,410 万——而 Google 的普通搜索爬虫只有 33.4 万次。

判断「这些排名不是人带来的」,还有三条旁证:

• 真人 Chrome 用户里没有它。 Google 按真实 Chrome 用户统计的网站分档(CrUX),8、9 月全球前 100 万里都没有 engagemii.com。对照:排名几乎一样的 peec.ai(Tranco 13 万名,同类 AEO 工具)9 月进了这一档。
• 页面是写给爬虫的。 普通抓取打开它的品牌页会撞上 Cloudflare 人机验证,AI 爬虫按 IP 段放行。
• Google 几乎没收录。 33 万次 Googlebot 对 8,200 万张页面,说明这些页在 Google 搜索里带不来多少人。

Tranco 是几家数据源的综合,其中好几家看的是 DNS 和网络层的请求量,大规模爬虫访问能把名次推上去(推断;具体是哪一家贡献最大,没有核实)。10 月初的回落和中旬的再涨,最可能是爬虫按批次来读(推断)。

它把「被爬」本身做成了卖点

这一步是它最聪明的地方。8,200 万张页面引来 AI 爬虫 → 爬虫日志变成只有它有的数据(「AI 在读谁」)→ 这份数据既写进每条记录卖(「AI 爬虫读取次数」这一列 2¢/条),又写成研究文去发 HN、Medium、LinkedIn(「Meta 占了所有 AI 读取的 39%」「ClaudeBot 读得是 GPTBot 的 2.4 倍」)。页面越多,爬虫越多,数据越独家,自己转起来。

问题是这个循环里没有人。它证明了 AI 爬虫会大量读程序化页面,没证明有人因此注册、付钱。

谁在跟它抢

AEO 是 2026 年最热的营销技术赛道之一,「免费查你在 AI 里隐不隐形」这个钩子,大厂已经免费给了。Engagemii 唯一和别人不一样的,是「先给所有公司打分、每家一张公开页」——这恰恰是它排名起来的原因,不是用户起来的原因。

如果是你

C:能学到东西,跟进不划算。 它跑出来的是排名,不是生意:看不到真人用户、看不到收入。照着做,你得到的大概率也是一个被爬虫读得很勤、没人付钱的站;而「免费 AEO 查分」这个入口,HubSpot、Semrush、Ahrefs 已经免费在做,Profound、Peec 有钱有用户。

适合谁: 手里本来就有一份大名单(某个行业的全部商家、全部 App、全部开源项目)、有现成销售渠道能把数据卖给代理商或数据公司的小团队;或者想做一个「AI 爬虫读取量」这类新数据源的人。

不适合谁: 想靠程序化页面拿 Google 自然流量的——它的 Googlebot 读取只有 33 万次;想做 AEO 订阅 SaaS 的——那里已经是融资几亿美元的公司在打。

怎么做: 别抄「给全世界打 AEO 分」。可以借三样东西:① 给一个垂直领域的全部对象预先建页、打分(比如某国全部牙科诊所、全部律所),页面写给人看、能进 Google,而不只是给爬虫;② 把自己站的爬虫日志做成内容和数据——这是只有你有的东西,写成「哪个 AI 在读哪个行业」的研究文,比空口的营销文更容易被转;③ 把「低分名单」包装成代理商的销售线索,按条卖,先找三五个付费代理商验证有人买,再铺量。

怎么获客: 它试过的 HN、Product Hunt、WordPress 插件、Chrome 扩展都几乎没带来人,别指望首发平台。更现实的是直接找垂直领域的营销代理商卖线索,以及让被打分的商家来「认领」自己的页面(它有这个机制,用量不明)。

什么时候之前: 不赶时间。如果真要做「预建页 + 爬虫日志」这套,在模型方开始给这类程序化页面降权之前做;目前还没有公开迹象。

什么情况说明看错了: ① Engagemii 公布了付费客户或收入、或拿到融资——说明「按条卖 AEO 数据」是有人买的,值得重看;② engagemii.com 出现在 Chrome 真实用户的前 100 万档里——说明真人在来;③ 反过来,如果它的排名在 AI 爬虫读取放缓后一路掉回百万名外,就证实了排名只是爬虫推的。

一句话留给所有做产品的人:AI 爬虫会读你铺出去的每一张页面,所以全球排名可以被它们推上去;看一个网站是不是真起来了,要看真人用户和付费,别只看排名。

数据与出处

• 全球排名:Tranco 每日名次(2026-08-20 到 11-05);CrUX 全球分档(2026-08、09)。
• AI 爬虫读取:engagemii.com/research/ai-crawler-reads-2026(2026-09-19 发布)与首页实时计数(11-07),均为它自报,口径未核实。
• 产品与价格:engagemii.com 首页、/aeo/data、/about(11-07)。
• 首发:Hacker News 48026866(2026-05-05,1 分);Product Hunt(2026-05-06,2 票);WordPress 插件页(累计 583 次下载)。
• 竞品:TechCrunch / Bloomberg(2026-09-15,Profound);Peec AI 年收入为公司自报;其余名次来自 Tranco(11 月初)。