免费工具
批量 AI 可访问性检查
一次检查最多 10 个网站：AI 爬虫访问、llms.txt、sitemap、结构化数据，并排对比。结果可导出 CSV，用于客户报告或竞品分析。
谁需要批量检查
| 场景 | 输入什么 | 看什么 |
|---|---|---|
| 代理机构 | 所有客户域名 | 哪个客户把 OAI-SearchBot 或 PerplexityBot 挡住了 |
| 竞品研究 | 自己 + 四个对手 | 谁让 AI 搜索进来，谁没有 |
| 多站点品牌 | 各门店 / 子域 | 同一品牌下策略不一致（robots.txt 是按主机生效的） |
| 迁移验收 | 旧域名 + 新域名 | 新站丢失了原来的规则组 |
| 月度巡检 | 关键资产 | CDN 或插件改动后分数下降 |
怎么准备列表
- 一行一个主机。www.example.com 和 shop.example.com 是两份 robots.txt，分开填。
- 填用户实际访问的地址。如果裸域会跳到 www，就填 www，因为爬虫读的是那个。
- 同组对比更有意义。五个同行放在一起比二十个不相关的站清楚得多。
- 超过 10 个就分批。先跑一批看格式，再决定要不要继续。
这个检查和单个检查有什么区别
分数算法完全一致：爬虫访问 70 分、AI 基础设施 15 分、技术就绪 15 分。区别只是批量版不逐条列出 16 个爬虫，只给数量和汇总，方便横向对比。
需要看具体哪个爬虫被挡，点对应的域名用单项检查跑一次。
限制
- 一次 10 个域名。这不是技术限制，是响应时间的折中——再多就会超时。
- 每站 4 个请求。不抓正文，所以内容质量、结构、可读性都不在结果里。
- 每分钟 4 次批量请求。防止被当成压测工具。
- 看不到 WAF 层拦截。robots.txt 写着放行，防火墙仍可能在更前面拒绝。