robot txt 详解：robots.txt 写法、作用与常见错误

📍 WDQWDWQD987AAAAA:216.73.216.232
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7493594f4403.html
📄

robot txt（常写作 robots.txt）是网站根目录下的纯文本协议文件，用来告诉搜索引擎爬虫哪些页面可以抓取、哪些应当回避。它虽然不是强制标准，但主流搜索引擎都会优先参考，是站点 SEO 的基础配置之一。

robots.txt 的基本作用

爬虫访问网站时，会先请求 /robots.txt 文件，读取其中的 User-agent、Allow、Disallow、Sitemap 等指令，再决定抓取范围。合理配置可以减少无效抓取、保护后台目录，并帮助搜索引擎更快发现重要页面。

常见写法示例

• User-agent: * 表示规则适用于所有爬虫。
• Disallow: /admin/ 用于禁止抓取后台目录。
• Allow: /public/ 可在整体禁止时开放特定路径。
• Sitemap: https://example.com/sitemap.xml 用于声明站点地图。

配置时的注意事项

1. 文件必须放在域名根目录，文件名全小写为 robots.txt。
2. 规则按最长匹配优先，Allow 与 Disallow 冲突时通常以更具体规则为准。
3. 不要用 robots.txt 屏蔽敏感数据，它只能限制爬虫，不能阻止直接访问。
4. 禁止抓取 CSS、JS 可能影响搜索引擎渲染判断，需谨慎设置。

常见错误与排查

很多站点因误写 Disallow: / 导致整站无法被收录，或拼写错误使文件返回 404。建议上线前用搜索引擎官方工具测试抓取状态，并定期检查 robots.txt 是否可正常访问、规则是否符合预期。

总之，robot txt 是爬虫与网站之间的沟通协议，配置得当能提升抓取效率，配置不当则可能直接影响收录与排名。