# =============================================================================
# 小课通官网 robots.txt
# 维护人：小课通官网运营（联系邮箱 service@chaodaigan.cn，待确认）
# 最近更新：2026-11-09
# 站点性质：响应式静态站点（HTML 直出，内容不依赖 JavaScript 渲染）
# 期望：全站用户端页面希望被搜索引擎与 AI 检索类爬虫抓取；
#       管理后台位于 /admin/，云函数 URL 化接口位于 /api/，两者不希望被抓取。
#
# 【重要说明，请运营与开发同时阅读】
# 1. robots.txt 是「抓取意愿的声明」，不是访问控制，也不是安全边界。
#    它不能阻止访问，也不应被用来隐藏任何敏感路径；真正的权限必须由
#    /admin/ 与 /api/ 自身的鉴权与 uniCloud 云函数校验来保证。
# 2. 本文件不使用 Disallow: / 之类的默认拒绝策略。`User-agent: *` 已默认
#    放行全部遵守协议的搜索引擎与 AI 检索爬虫；下面显式列出各厂商 UA 并
#    重复 Allow: / 只是为了「表达意图 + 便于分组核验」，不改变抓取范围。
# 3. 国内各 AI 平台的 User-agent 会随版本变化（改名、拆分、增加变体），
#    本清单以撰写日各厂商公开文档为准。上线后必须用访问日志（Nginx /
#    CDN / uniCloud 日志）核验：实际出现的 UA 字符串是否在名单内、是否
#    有新增厂商 UA 需要补录、是否有厂商已废弃旧 UA。建议每月复查一次。
# 4. 忽略 robots 协议的抓取器不受本文件约束；如发现异常高频抓取，应在
#    CDN / 网关层用限速与 WAF 规则处理，而不是仅依赖 robots.txt。
# 5. 修改本文件后请在搜索引擎控制台（搜索资源平台 / Search Console /
#    Bing Webmaster）重新提交，并确认无 404、无重定向。
# =============================================================================


# ---------- 通用规则：默认放行全部合规爬虫 ----------
User-agent: *
Allow: /
# 运营后台（登录页与所有管理路径不抓取）
Disallow: /admin/
# 云函数 URL 化接口与静态站点的数据接口，非文档页面
Disallow: /api/
# 站内搜索结果页：内容为参数组合，避免抓取到大量近重复页（页面自身另有 noindex）
Disallow: /search.html?
# 打印视图参数（如后续实现 ?print= 排版）
Disallow: /*?print=
# 常见内部技术路径，若将来出现则一并屏蔽
Disallow: /uni_modules/
Disallow: /.git/
Disallow: /*.json$


# ---------- 国内搜索引擎 ----------
# 百度：网页快照与移动搜索索引
User-agent: Baiduspider
Allow: /
User-agent: Baiduspider-image
Allow: /

# 搜狗（微信搜一搜生态相关，对小程序类内容重要）
User-agent: Sogou web spider
Allow: /

# 360 搜索
User-agent: 360Spider
Allow: /


# ---------- 海外搜索引擎 ----------
# Google：主搜索与移动版
User-agent: Googlebot
Allow: /
# Google 图片抓取（本站图片均为本地 assets，允许）
User-agent: Googlebot-Image
Allow: /

# Microsoft Bing
User-agent: Bingbot
Allow: /


# ---------- 国内 AI 平台（检索与问答引用） ----------
# 字节跳动 / 豆包系
User-agent: Bytespider
Allow: /

# DeepSeek
User-agent: DeepSeekBot
Allow: /

# 阿里云 / 通义千问
User-agent: QwenBot
Allow: /

# 百度文心一言
User-agent: ErnieBot
Allow: /

# 腾讯元宝
User-agent: YuanbaoBot
Allow: /

# 月之暗面 Kimi
User-agent: MoonshotBot
Allow: /


# ---------- 海外 AI 检索与对话产品 ----------
# OpenAI 搜索抓取器（内容进入检索索引）
User-agent: OAI-SearchBot
Allow: /
# ChatGPT 实时抓取（用户点击链接时的取回行为）
User-agent: ChatGPT-User
Allow: /
# Anthropic Claude
User-agent: ClaudeBot
Allow: /
# Perplexity
User-agent: PerplexityBot
Allow: /

# =============================================================================
# 配套文件说明：
# - llms.txt / llms-full.txt 为面向大语言模型的站点摘要，与 sitemap.xml 并列，
#   位于站点根目录，允许任意 UA 抓取；内容更新须与页面同步。
# - 本站不使用 meta robots 屏蔽用户端页面；仅 search.html 使用 noindex,follow、
#   404.html 使用 noindex，属于页面级指令，优先级高于本文件。
# - 如某个 AI 厂商后续公布带 "AI-Status" / "ContentSignal" 等新的选择退出标识，
#   本站默认保持允许抓取（业务目标是让机构能搜到产品说明）。
# =============================================================================

Sitemap: https://www.chaodaigan.cn/sitemap.xml