圣灯在线

免费工具

llms.txt 检查器

输入域名,检查站点有没有 llms.txt、格式对不对、内容够不够 AI 系统理解。同时看 robots.txt 有没有把该放行的 AI 爬虫挡住。

只读取 /llms.txt 和 /robots.txt 两个文件,不抓取正文。

llms.txt 是什么

一个放在站点根目录的纯文本文件,用 Markdown 写,作用是告诉 AI 系统:这个站是什么、哪些页面重要、内容怎么组织。

它解决的是理解成本问题。一个 AI 系统抓完页面,还要自己推断「这是公司站还是博客」「哪几页是核心」。llms.txt 把这些直接写清楚,省掉那一步。

一份好的 llms.txt 有什么

结构和 README 类似,六件事:

  • 一级标题:站点名(# Your Site Name)
  • 一段引用摘要:一两句说清定位(> …)
  • 分节标题:把内容分组(## Main pages / ## Key content)
  • Markdown 链接:每条的标题 + 一句话说明
  • 可选段落:联系方式、许可说明等
  • 纯文本,不要 HTML

长度没有硬性要求,但 200 词以下通常说明信息不够。链接也不要贪多,十到二十个核心页面比全站链接列表有用。

手动检查的三条命令

# 1. 文件在不在
curl -sI https://example.com/llms.txt | head -1

# 2. 内容是什么
curl -s https://example.com/llms.txt | head -20

# 3. Content-Type 对不对
curl -sI https://example.com/llms.txt | grep -i content-type

第三条常被忽略。如果返回 text/html,说明服务器把不存在的文件交给了前端路由,返回的是一个 200 的 HTML 错误页——看起来「有」,实际上没有。

四个常见错误

1. 用 HTML 写

llms.txt 是给机器读的纯文本,不是网页。带 <div>、<p> 的文件会让解析失败。

2. 返回 200 但内容是首页 HTML

SPA 或带 catch-all 路由的框架,会把 /llms.txt 交给前端渲染,返回一个 200 的页面。必须在服务器层显式处理这个路径。

3. 只写品牌介绍,不写链接

「我们是一家专业的……」这种句子对机器没有信息量。列出具体页面和它们讲什么,才有用。

4. 把它当成人看的落地页

它不会被人类访客看到。写的时候想的是「一个程序要在这里快速建立对站点的理解」,而不是「读起来有感染力」。

怎么把它托管出去

三种常见部署方式,选你手头已有的那个。关键只有一条:这个路径必须返回纯文本,不能落到前端路由上。

静态站点 / Next.js

把文件放进 public/ 目录(Next.js)或站点根目录,部署后即可访问。Next.js 的 public/llms.txt 会自动映射到 /llms.txt。

Caddy

example.com {
    handle /llms.txt {
        root * /var/www/llms
        file_server
    }
}

Nginx

location = /llms.txt {
    root /var/www/llms;
    default_type text/plain;
    charset utf-8;
}

用 = 做精确匹配很重要。用 location /llms.txt 的前缀匹配,可能被其他规则抢先处理,最后返回一个 200 的 HTML 页面。

服务型站点该怎么写

大多数 llms.txt 模板按博客写:目录、文章、作者。但服务型站点的关键信息不一样,重点是「能做什么、多少钱、怎么联系」。

缺了三样东西,AI 回答「这家能做什么」时就只能靠猜:

  • 服务范围的边界:明确写「不做什么」,比写「做什么」更有信息量
  • 价格区间:不需要精确,但要有量级,否则 AI 只能说「需要咨询」
  • 交付形态:方案文档还是能跑的系统,这个区别客户非常在意

还有一点:写完要自己跑一遍检查。格式错、编码乱、链接失效,这些问题人眼看不出,工具一跑就出来。

一个诚实的判断

llms.txt 目前的实际采用率很低。大站点大多没做,主流 AI 系统也没有公开确认会读。所以它现在的价值更接近「低成本保险」——如果哪天读取成为常态,你已经准备好了;如果没有,损失只是一个静态文件。

真正影响 AI 是否引用你的,还是内容本身:有没有明确的问题、方法、数据、限制。llms.txt 只是让这些东西更容易被找到。

检查之后该做什么

分数不是终点,它只是告诉你从哪一项开始改。按影响排序,通常是这个顺序:

  • 先修格式问题:HTML 标签、编码错误。这类问题会让整份文件解析失败,其他项都白算。
  • 补摘要和分节:没有摘要的文件,系统读完仍不知道站点是做什么的。
  • 补链接:这是最常见的问题,包括我们自己站点最初也是 0 个链接。
  • 最后看字数:内容太少说明信息本身不够,不是格式问题。

同时看下面的 AI 爬虫规则。如果 llms.txt 做到了一百分,但 PerplexityBot 被挡住,那文件写得再好也不会被读到。这两件事必须一起看。

最后一点:改完隔一个月再测。格式问题立刻可见,但「AI 有没有真的读它」没有直接指标,只能靠时间观察。

常见问题

llms.txt 是官方标准吗?

不是。它是 2024 年提出的提案,用 Markdown 写一份站点摘要给 AI 系统看。没有 W3C 或 IETF 背书,也没有搜索引擎公开承诺会读取它。

加了 llms.txt 会有排名吗?

不会直接带来排名。它不是排名因素,作用是在 AI 系统读取时减少理解成本。把它当成基础设施,不是流量开关。

llms.txt 和 robots.txt 有什么区别?

robots.txt 说「能不能抓」,llms.txt 说「抓到了这是什么」。前者被广泛遵守,后者没有强制力。

文件应该放在哪?

站点根目录:https://example.com/llms.txt。Content-Type 用 text/plain 或 text/markdown。

一定要写英文吗?

不一定要,但英文覆盖面更广。中英混排也可以,结构清楚比语言重要。

检查结果是 404,说明我网站有问题吗?

不是。大多数网站都还没有 llms.txt,这只是一项可选的优化,不影响正常收录。