# 通用爬虫
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /ads
Disallow: /links
Disallow: /disclaimer
Disallow: /privacy

# 百度爬虫
User-agent: Baiduspider
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /ads
Disallow: /links
Disallow: /disclaimer
Disallow: /privacy
Crawl-delay: 1

# Google 爬虫
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /ads

# Bing 爬虫
User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /ads

# 360 爬虫
User-agent: 360Spider
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /ads

# 搜狗爬虫
User-agent: Sogou web spider
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /ads

# 神马爬虫（移动端）
User-agent: YisouSpider
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /ads

# ========== GEO 爬虫规则 ==========

# AI 搜索引擎（允许抓取，用于 AI 搜索展示）
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Bytespider
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot-Extended
Allow: /

# AI 训练爬虫（禁止抓取，防止内容用于模型训练）
User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# 主动推送 sitemap
Sitemap: https://docs.skillxm.cn/sitemap.xml
Sitemap: https://docs.skillxm.cn/sitemap-index.xml
Sitemap: https://docs.skillxm.cn/ai-sitemap.xml

# LLM 站点概览
llms.txt: https://docs.skillxm.cn/llms.txt