掌握robots.txt规则，精准避免抓取不必要页面

在网站运营中,合理配置 robots.txt能有效引导搜索引擎爬虫避开无价值或重复页面（如后台、筛选参数页、分页标签等），提升抓取效率，本文以简明步骤教你写出有效的 robots.txt。

基础语法

robots.txt必须放在网站根目录（如 https：//example.com/robots.txt），核心指令：

• User-agent：*—— 针对所有爬虫
• Disallow：/路径/—— 禁止抓取该路径
• Allow：/路径/—— 允许抓取（用于覆盖Disallow中的子路径）

关键写法示例

User-agent：*  Disallow：/admin/  Disallow：/cart/  Disallow：/search/  Disallow：/tag/  Sitemap： https：//example.com/sitemap.xml  

如何确定“不必要页面”

• 后台与隐私部分：/admin/、/user/、/login/
• 动态筛选与排序：/products/?color=red或 /category/page/2/
• ：打印版页面（如 /print/）、无意义标签云
• 资源文件：若CDN已处理，可禁止抓取 /images/、/css/

高级技巧

• 用 Allow指令开放子目录：

  Disallow：/files/  Allow：/files/public/  

• 针对特定爬虫：
  User-agent： Googlebot后单独写规则
• 测试：使用Google Search Console的“robots.txt测试工具”验证

注意事项

• robots.txt是“协议”而非强制命令，恶意爬虫可能无视
• 禁止抓取不等于页面不会被索引（如外部链接仍可进入）——此时建议结合 noindex标签
• 修改后需清除缓存并观察爬虫行为日志

写好 robots.txt的核心是识别“低价值、高重复”的URL模式，配合Sitemap引导爬虫到核心内容，定期根据网站结构调整规则，才能有效保护服务器资源并优先收录优质页面。