WordPress robots.txt最佳实践

1. 先整明白robots.txt是干啥的——它像你家门口的“请勿打扰”牌子，告诉搜索引擎哪些房间能进、哪些得绕道。WordPress自己会生成基础规则，但咱得手动优化才能避免内容重复或私密页面被爬虫扒拉。

2. 默认规则长这样，放在网站根目录（比如www.yoursite.com/robots.txt）：

   User-agent: *
   Disallow: /wp-admin/
   Allow: /wp-admin/admin-ajax.php

   这段意思是：所有爬虫（*代表全体）别进后台（/wp-admin/），但允许抓取Ajax接口（不然部分功能会崩）。

3. 咱得追加些关键限制。比如屏蔽低价值路径、保护隐私文件：

   Disallow: /wp-includes/
   Disallow: /?s=  #屏蔽搜索页
   Disallow: /comments/feed
   Disallow: /*?replytocom  #防评论爬取

   注意用通配符*拦动态参数——WordPress的查询字符串特多，不管住容易内容重复。

4. 站点地图（sitemap）必须声明！不然搜索引擎找不着北。加在文件末尾：

   Sitemap: https://yoursite.com/wp-sitemap.xml

   WordPress 5.5以上会自动生成这个XML，老版本就用插件搞。

5. 特殊爬虫得区别对待。比如屏蔽百度抓图片（假如你不想省流量）：

   User-agent: Baiduspider-image
   Disallow: /

6. 最后验货：用Google Search Console的robots测试工具，模拟爬虫视角看规则是否生效。别写反了把整站屏蔽——比如手滑写成Allow: /反而全站开放。

总之，robots.txt是SEO和隐私的守门员。WordPress动态内容多，按需调整规则比默认设置靠谱多了。

Tags：

文章版权声明：除非注明，否则均为WP集市原创文章，转载或复制请以超链接形式并注明出处。