免费 · 无需注册 · 无需登录

AI 到底读到了你网站的什么?

多数检查工具看到状态码就停了。我们用 16 个真实爬虫 UA 逐个发出请求,再测量返回的内容 —— 因为一个页面完全可以返回 200,却几乎没有给爬虫留下任何可读内容。

大约需要 15 秒。不记录你的任何信息,也无需注册。

本次会请求:用 16 个爬虫 UA 和 1 个浏览器 UA 各取一次首页,再取 robots.txt、llms.txt、sitemap.xml,以及从 sitemap 中抽取的 3 个内页。

常见问题

返回 200 是不是就说明 AI 能读到我的网站?
不是。人机验证页可以返回 200,里面只有一段 JavaScript 质询;单页应用可以返回 200,里面是一页空壳。在只看状态码的检查工具看来,这两种与正常页面完全相同 —— 所以这个工具直接测量响应体。
拦掉 GPTBot 对我有害吗?
不一定。GPTBot 采集的是训练语料,真正为带引用的答案供料的是 OAI-SearchBot。拦前者、放后者是一个自洽的立场,所以这项检查把它当作立场处理,而不是一律标红。
为什么还要检查我首页之外的页面?
因为首页和内页出问题的方式通常不同。首页围绕版式构建,正文常常在浏览器里拼装;内页围绕内容构建,正文本来就在 HTML 中。只测其中一种,只能得到一半的答案。
我需要 llms.txt 吗?
目前没有任何引擎要求它。比它重要得多的是:robots.txt 写对、正文在 HTML 里、页面有标题层级和结构化数据。
你们会保存我网站的数据吗?
报告会短暂保留,以便刷新后仍能打开,也避免同一域名连续检查时反复请求你的服务器。不需要账号、不需要邮箱,也不会附带任何可以识别你的信息。
检测 AI 爬虫能不能读到你的网站 —— 免费,无需注册