免费 · 无需注册 · 无需登录
AI 到底读到了你网站的什么?
多数检查工具看到状态码就停了。我们用 16 个真实爬虫 UA 逐个发出请求,再测量返回的内容 —— 因为一个页面完全可以返回 200,却几乎没有给爬虫留下任何可读内容。
大约需要 15 秒。不记录你的任何信息,也无需注册。
本次会请求:用 16 个爬虫 UA 和 1 个浏览器 UA 各取一次首页,再取 robots.txt、llms.txt、sitemap.xml,以及从 sitemap 中抽取的 3 个内页。
常见问题
- 返回 200 是不是就说明 AI 能读到我的网站?
- 不是。人机验证页可以返回 200,里面只有一段 JavaScript 质询;单页应用可以返回 200,里面是一页空壳。在只看状态码的检查工具看来,这两种与正常页面完全相同 —— 所以这个工具直接测量响应体。
- 拦掉 GPTBot 对我有害吗?
- 不一定。GPTBot 采集的是训练语料,真正为带引用的答案供料的是 OAI-SearchBot。拦前者、放后者是一个自洽的立场,所以这项检查把它当作立场处理,而不是一律标红。
- 为什么还要检查我首页之外的页面?
- 因为首页和内页出问题的方式通常不同。首页围绕版式构建,正文常常在浏览器里拼装;内页围绕内容构建,正文本来就在 HTML 中。只测其中一种,只能得到一半的答案。
- 我需要 llms.txt 吗?
- 目前没有任何引擎要求它。比它重要得多的是:robots.txt 写对、正文在 HTML 里、页面有标题层级和结构化数据。
- 你们会保存我网站的数据吗?
- 报告会短暂保留,以便刷新后仍能打开,也避免同一域名连续检查时反复请求你的服务器。不需要账号、不需要邮箱,也不会附带任何可以识别你的信息。
爬虫读得到之后
进得来只是第 0 步。下一个问题是:哪些搜索词你已经接近拿下,以及要改什么才能拿下。
