研究 / 2026-11-10
87 个中小企业网站的 AI 爬虫可访问性实测
从 20 个「行业 + 城市」搜索结果里收集了 99 个中小企业域名，其中 87 个能正常返回 robots.txt。79.3% 对我们测试的全部 AI 爬虫放行；17.2% 把训练爬虫和搜索爬虫一起挡掉；只有 3.4% 区分了这两件事。
采样时间：2026 年 11 月 10 日。原始数据：CSV，87 行。
为什么做这个
AI 答案引擎只引用它被允许读取的页面。如果站点挡住了建立引用索引的那个爬虫，结果不是排名下降，而是**完全不出现在答案里**。
而且这件事在统计里看不到——访问从未发生，所以没有记录。
大站点会公开讨论这个议题并有意识地配置。中小企业很少。我想知道这两者的差距有多大。
方法
样本。用 20 组「行业 + 城市」查询（Austin 的牙医、Charlotte 的暖通、Denver 的律所等）取本地商家结果， 剔除目录站、点评平台、政府域名和全国性连锁。剩余 99 个域名，87 个返回了有效的 robots.txt。
测试的爬虫。6 个搜索类（OAI-SearchBot、ChatGPT-User、PerplexityBot、Perplexity-User、Claude-SearchBot、Claude-User） 和 10 个训练类（GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Bytespider、 meta-externalagent、anthropic-ai、Diffbot、cohere-ai）。
匹配规则。按 RFC 9309 的思路解析：连续的 User-agent 行共享同一组规则；专属规则优先于通配规则；Disallow: / 视为屏蔽，除非同组内有Allow: / 覆盖。
什么算「挡」。只有全站范围内完全排除该爬虫才记为屏蔽。仅仅排除某些路径不计入。
结果
| 行为 | 站点数 | 占比 |
|---|---|---|
| 全部 AI 爬虫放行 | 69 | 79.3% |
| 挡训练，保留 AI 搜索 | 3 | 3.4% |
| 训练和搜索都挡 | 15 | 17.2% |
| 只挡搜索 | 0 | 0.0% |
16 个站点（18.4%）在根目录提供了 llms.txt。没有提供的站点全部是真实的 404，不是被前端路由拦截后返回的 HTML。
发现：要么全放，要么全挡
关键数字不是 17.2%，是 3.4%。
18 个挡住训练爬虫的站里，有 15 个同时挡住了建立 AI 引用索引的搜索爬虫。只有 3 个把这两个决定分开处理。
对比 Tranco 前 10,000 名的数据（来自 Scout Radar，采样于 2026 年 10 月 20 日）： 20.2% 至少挡一个训练爬虫，其中 9.1% 挡住训练但保留 AI 搜索——也就是说，顶级站的屏蔽者中约 45% 做了区分。 本次样本里这个比例是 17%（3/18）。
18 个屏蔽样本的置信区间很宽，所以这应该理解为方向性信号而不是精确测量。但方向和机制吻合： 大站有人专门负责区分这两件事，小站要么抄模板，要么接受默认配置。
实际后果是：一个本想「不被拿去训练」的小企业，很可能连「被 AI 引用」也一起关掉了。 这两个决定用的是同一个文件里的不同 user-agent 字符串，而界面从不解释这件事。
按行业
| 行业 | 站点 | 挡搜索 | 挡训练 | llms.txt |
|---|---|---|---|---|
| 暖通空调 | 8 | 2 | 2 | 0 |
| 家事法律 | 7 | 3 | 3 | 2 |
| 物理治疗 | 7 | 2 | 3 | 0 |
| 搬家 | 7 | 1 | 2 | 4 |
| 综合性律所 | 6 | 1 | 2 | 1 |
| 会计事务所 | 6 | 2 | 2 | 2 |
| 屋顶工程 | 6 | 0 | 0 | 1 |
| 牙科 | 5 | 2 | 2 | 1 |
| 园林景观 | 5 | 1 | 1 | 0 |
| 兽医 | 5 | 0 | 0 | 1 |
| 汽修 | 5 | 0 | 0 | 3 |
| 个人牙医诊所 | 4 | 0 | 0 | 0 |
| 电工 | 4 | 0 | 0 | 1 |
| 脊椎按摩 | 4 | 1 | 1 | 0 |
| 验光 | 4 | 0 | 0 | 0 |
没有一个行业是干净的。法律和牙科（受监管内容较多）挡得更频繁，但每个格子只有 4–7 个样本，不足以支持任何关于行业的结论。
局限
- 87 个样本偏小。在 20% 这个量级上，95% 置信区间的误差约为 ±5 到 ±8 个百分点。小于这个幅度的差异无法与本底噪声区分。
- 不是随机抽样。域名来自搜索结果。能排上来被看到的企业可能维护得更好，这会让问题看起来更轻，而不是更重。
- 混入了连锁品牌。部分结果是加盟店或多门店品牌而非独立小店。保留它们是因为页面仍属本地服务，但它们不代表单店经营者。
- 单日单次快照。robots.txt 会变。这是 2026 年 11 月 10 日的一次读取，不是趋势。
- 只看 robots.txt。WAF 规则、CDN 的 bot 管理、服务端拦截都无法通过这个方法看到。被记为「放行」的站点，仍可能在边缘被拦截。
- 不能外推到「中小企业」这个类别。这 87 个站就是这 87 个站。它们不构成任何行业、地区或细分市场的比率。
原始数据
CSV 包含每一行：域名、行业标签、robots.txt 状态、各类爬虫的屏蔽数量、是否有 llms.txt。 没有评分，没有派生指数，只有测量值。
采集脚本通过 HTTPS 以具名 User-Agent 抓取 robots.txt，按 RFC 9309 解析规则组， 再逐个评估 16 个爬虫标识。同样的逻辑运行在免费的AI 爬虫检查器里。
如何引用
圣灯在线（2026）。《87 个中小企业网站的 AI 爬虫可访问性实测》。 https://sacredlantern.online/research/ai-crawler-access-2026 数据采集于 2026 年 11 月 10 日。
修订记录
- 2026-11-10 — 首次发布。收集 99 个域名，87 个可达，结果如上。
作者：圣灯在线，苏州。联系：SSSkairos@outlook.com。 关于 Tranco 前 10,000 名的对比数字来自 Scout Radar（AI Crawler Check）， 采集于 2026 年 10 月 20 日，引用的是他们的测量结果，不是我们的。