Free Tool · 免费工具
AI 爬虫检查
查一下你的网站允许哪些 AI 爬虫进来。搜索引擎引用你,和拿你的内容去训练模型,是两件事——很多人一起挡掉了,结果在 ChatGPT 和 Perplexity 里彻底消失。
只读取 robots.txt 和首页响应头,不抓取其他内容。
Free Tool · 免费工具
查一下你的网站允许哪些 AI 爬虫进来。搜索引擎引用你,和拿你的内容去训练模型,是两件事——很多人一起挡掉了,结果在 ChatGPT 和 Perplexity 里彻底消失。
只读取 robots.txt 和首页响应头,不抓取其他内容。