CheckAIBots
CheckAIBots 是什么
CheckAIBots 是一个免费的 AI 爬虫可见性检测工具，面向站长和开发者。用法很直接：输入一个网址，它就会拿你的 robots.txt 与 40 个主流 AI 爬虫规则逐一比对，告诉你 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot 等哪些能访问、哪些被挡住。官网强调 ChatGPT、Perplexity 与 Claude 只会引用它们爬得到的页面，所以被挡掉就等于在 AI 答案里消失；工具还把训练型爬虫与检索型爬虫分开解释，提醒别在屏蔽训练爬虫时误伤检索爬虫。站点标注 FREE、NO SIGNUP，检测即时出结果。
除查访问权限外，项目描述写明它还能一键生成屏蔽代码，覆盖 nginx、Apache、Cloudflare 三种常见配置，并计算屏蔽后能省下多少带宽费用。官网给出的背景数据均标注为第三方研究：SparkToro 与 Datos 的 2024 年数据显示 58.5% 的美国 Google 搜索以零点击结束；G2 的 2025 年买家调研中，把 AI 搜索当作调研来源的比例从小公司的约 35% 到大公司的 55% 以上。站内还提示爬虫规则变动频繁，检测覆盖 40 个具名爬虫，而更大生态里有远超一百个 user agent，今天没问题的 robots.txt 明天可能失效，建议定期复查。
主要功能
如何使用 CheckAIBots
使用示例
核心优势
与同类工具对比
Cloudflare 在流量入口按策略拦截；CheckAIBots 从 robots.txt 层面做可见性体检并给出配置。官网提到 Cloudflare 默认拦截 AI 训练与 Agent 爬虫后，robots.txt 已不是全部答案，两边需要配合看。
Search Console 关注传统搜索引擎的抓取与收录；CheckAIBots 聚焦 AI 爬虫与 AI 搜索引用可见性，角度不同，可以配合使用。
SEO 审计工具覆盖面更广，涉及标题、状态码、链接等，但不专门针对 AI 爬虫；CheckAIBots 只做 AI 爬虫这一件事，输入网址即出结果，上手更快。
使用方式与技巧
使用方式
- 网页版：打开 checkaibots.com 直接检测，无需注册
- 在 Checker 栏目输入 URL 检测
- 在 Crawlers 栏目查看爬虫清单
功能模式
- robots.txt 与 40 个 AI 爬虫的比对检测
- 训练型与检索型爬虫分类说明
- 屏蔽配置一键生成（nginx、Apache、Cloudflare）
- 带宽费用节省估算
- History 历史记录
使用技巧
- 屏蔽前先确认要挡的是训练型爬虫，检索型放行才有机会被 AI 引用
- 规则常变，把复查排进例程（站内也在提示 Cloudflare 默认拦截的变化）
- 官网背景数据是第三方研究，引用时注明来源为 SparkToro 与 Datos、G2
进阶玩法
客户端下载渠道
常见问题
官网标注 FREE、NO SIGNUP，免费且无需注册。
覆盖 40 个具名 AI 爬虫；官网也说明更大的生态里还有远超一百个 user agent。
项目描述写明可一键生成 nginx、Apache、Cloudflare 屏蔽代码，并估算可省下的带宽费用。
官网的解释是 ChatGPT、Perplexity、Claude 只能引用爬得到的页面，检索型爬虫被挡住就会从 AI 答案里消失。
不是。官网标注它来自 SparkToro 与 Datos 的 2024 年研究，属于第三方数据，不是对你站点的测量结果。
项目信息
CheckAIBots：免费查 40 个 AI 爬虫能不能访问你的网站，看清 AI 搜索可见性
CheckAIBots 能检测 40+ 个AI爬虫是否在爬你的网站，一键生成屏蔽代码（nginx/Apache/Cloudflare）并计算能省多少带宽费