robots.txt设置：抓取规则

robots.txt是网站的”门卫条例”：告诉搜索引擎蜘蛛哪些能抓、哪些别碰。配置得当，抓取效率提升；配置错误，可能把整个网站”关在门外”。

基本语法

User-agent: * 表示适用于所有蜘蛛；Disallow: /wp-admin/ 禁止抓取后台；Allow: /wp-admin/admin-ajax.php 允许抓取；Sitemap: 你的sitemap地址 声明站点地图位置；空Disallow（Disallow:）表示全部允许。

每行一个规则，结尾要留空行，语法错误会导致整文件失效（等同全部允许）。

推荐配置

常见做法：禁止后台、临时文件、重复内容目录（如标签归档若质量低）；允许正文、栏目、图片；不要禁止CSS/JS（会影响搜索引擎渲染页面）；声明Sitemap。

WordPress站建议：Disallow /wp-admin/、/feed/、/trackback/，其余放行。

误伤风险

最常见的错误：Disallow: / 直接封死全站（新站长常犯）；改robots后要立刻用站长平台”robots测试/抓取诊断”验证；删除robots.txt后搜索引擎默认全抓，别靠它”隐藏”不想被收录的页面——该用noindex标签。

robots.txt设置总结：只拦垃圾、放行主体、声明Sitemap、改后测试；门卫条例写对了，蜘蛛才能顺畅进出。

相关阅读：网站收录提升技巧、sitemap站点地图