robots.txt 详解：正确配置与常见错误

📍 WDQWDWQD987AAAAA:216.73.216.146
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /89d25c776414.html
📄

robots.txt 是搜索引擎抓取网站时首先查看的协议文件，正确配置它直接影响网站的收录效率与安全。本文围绕 robots.txt 的核心规则、常见误区和优化建议展开，帮助站长少走弯路。

robots.txt 的基本作用

robots.txt 是一个放在网站根目录下的纯文本文件，用于告诉搜索引擎蜘蛛哪些页面可以抓取、哪些页面应当避开。它并非强制指令，而是一种君子协定，主流搜索引擎都会遵守，但恶意爬虫可能无视。

常见配置指令

• User-agent：指定规则适用的爬虫名称，如 Baiduspider 或 Googlebot，星号表示所有爬虫。
• Disallow：禁止抓取的路径，路径为空表示允许所有抓取。
• Allow：在禁止目录中开辟例外，允许抓取特定路径。
• Sitemap：声明网站地图地址，方便爬虫发现重要页面。

五大常见错误

1. 误用 Disallow: / 导致整站被屏蔽，收录量骤降。
2. 把 robots.txt 放在子目录，爬虫只认根目录文件。
3. 在文件中写注释说明敏感目录，反而泄露信息。
4. 用 robots.txt 阻止收录，却忘记页面仍可能被外链索引。
5. 规则冲突时未考虑优先级，Allow 与 Disallow 匹配长度决定结果。

最佳实践建议

建议对后台、购物车、搜索结果页等无价值页面进行屏蔽，同时保留 CSS 与 JS 资源，避免影响渲染抓取。配置完成后，使用搜索引擎官方工具验证文件可访问性，并定期检查日志中爬虫的抓取行为。对于需要彻底移除的页面，应配合 noindex 标签与站长平台删除工具，而非仅依赖 robots.txt。

总之，robots.txt 是 SEO 基础工作中不可忽视的一环，做到规则清晰、路径准确、定期复核，才能让爬虫高效抓取真正重要的内容。