robots.txt 常见误配：整站被挡与误开放后台

robots 文件很小，误配代价却很大。整站被禁抓、静态资源被误伤、后台路径被写进允许列表，都是真实事故里反复出现的模式。

五分钟自检

1. 浏览器打开站点根路径下的 robots 文件，确认不是仓库里那份旧稿；
2. 核对 User-agent 与 Disallow 是否过宽；
3. 打开 Sitemap 地址，确认是正式域名且可访问；
4. 抽查后台、草稿、隐私接口是否被正确禁止；
5. 对比测试环境与正式环境配置，避免串用。

误配一：Disallow 过宽

• 整站禁止导致无法收录；
• 误伤样式与脚本路径影响渲染；
• 只禁后台、草稿与敏感接口。

误配二：Sitemap 写错

• 写成内网或测试域；
• 路径过期未随发布更新；
• 发布流水线应自动刷新并校验。

误配三：环境配置串用

• 测试全禁规则同步到正式；
• 正式全开规则覆盖到含隐私的环境；
• 用环境变量区分，发布前做 diff。

示例：最小可用骨架

User-agent: *
Disallow: /admin
Disallow: /api/private
Sitemap: https://www.ynzfnet.com/sitemap.xml

按业务增删路径，不要照抄无关站点的长黑名单。

发布门禁

• 根路径可访问；
• 规则与业务一致；
• Sitemap 可打开；
• 关键页未被误挡；
• 变更有人复核。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。

再补一节可执行动作

• 把本节检查项抄进发布清单；
• 指定一名负责人本周内跑完；
• 结果截图存到项目文档；
• 下周例会复盘未通过项。