gauto-crawlerslisted

# AI 爬虫访问分析 Skill（汽车出口版） ## 目的 本 skill 分析站点对 **AI 爬虫**（AI 公司用于发现/索引/训练网页内容的机器人）的可访问性。 **若 AI 爬虫被屏蔽，站点内容再好也无法出现在 AI 回答里**——爬虫访问是 GEO 的底层前置条件。 ## 关键认知 截至 2026 年初，大量网站因沿用旧 SEO 配置而"误伤"AI 爬虫。 一项 2025 年研究发现，Top 1000 网站中 35%+ 至少屏蔽了一个主流 AI 爬虫，5–10% 屏蔽了全部。 对中国汽车出口站而言，**屏蔽 AI 爬虫 = 把海外买家的 AI 询盘通道直接关掉**。 --- ## AI 爬虫完整参考 ### 一级：AI 搜索可见性必需（建议：全部放行） 这些爬虫驱动用户主动找答案的 AI 搜索产品，屏蔽它们会直接降低你的可见性。 | 爬虫 | 运营方 | 作用 | 屏蔽后果 | 建议 | |---|---|---|---|---| | **GPTBot** | OpenAI | ChatGPT 联网/搜索/训练 | 不进 ChatGPT 搜索 | **放行** | | **OAI-SearchBot** | OpenAI | 仅 ChatGPT 搜索（不用于训练） | 不进 ChatGPT 搜索结果 | **放行** | | **ChatGPT-User** | OpenAI | 用户主动让 ChatGPT 访问 URL | 用户无法让你家页被读取 | **放行** | | **ClaudeBot** | Anthropic | Claude 联网/引用 | Claude 无法引用 | **放行** | | **PerplexityBot** | Perplexity | Perplexity AI 搜索 | 不进 Perplexity；且其**外链引流质量高** | **放行** | ### 二级：AI 生态重要（建议：放行） | 爬虫 | 运营方 | 作用 | 建议 | |---|---|---|---| | **Google-Extended** | Google | Gemini 训练与 AIO 改进（**不影响 Google 搜索排名**） | **放行** | | **GoogleOther** | Google | Google 研究与 AI 相关采集 | **放行** | | **Applebot-Extended** | Apple | Apple Intelligence / Siri | **放行** | | **Amazonbot** | Amazon | Alexa / 亚马逊 AI | **放行** | | **FacebookBot** | Meta | Meta AI（FB/IG/WhatsApp） | **放行** | ### 三级：仅训练类（按策略取舍） | 爬虫 | 运营方 | 作用 | 建议 | |---|---|---|---| | **CCBot** | Common Crawl | 构建公共训练集（被多家 AI 使用） | 视策略 | | **anthropic-ai** | Anthropic | Claude 训练（≠ ClaudeBot 实时功能） | 视策略 | | **Bytespider** | 字节跳动 | 豆包/TikTok AI | **出海站建议屏蔽**（爬取激进、对海外搜索增益低）；若在中国市场经营则放行 | | **cohere-ai**