标签: 站点地图

  • Sitemap站点地图:给爬虫的“路线图”

    Sitemap站点地图:给爬虫的“路线图”

    “Sitemap(站’‘点’‘地’‘图’)——‘XML’‘文’‘件’——‘列’‘出’‘网’‘站’‘的’‘页’‘面’——‘给’‘爬’‘虫’‘的’‘路’‘线’‘图’”——“Sitemap‘做’‘好’——‘收’‘录’‘更’‘快’‘更’‘全’——“’Sitemap’‘的’‘生’‘成’‘与’‘提’‘交’”。

    Sitemap站点地图:给爬虫的“路线图”配图

    Sitemap“是什么”与“为什么”重要

    “是什么(“XML’‘文’‘件’——‘列’‘出’‘URL’‘+’‘元’‘数’‘据’(更新‘时’‘间’/频‘率’/优‘先’‘级’)”;“作用(“帮’‘爬’‘虫’‘发’‘现’‘页’‘面’——‘尤’‘其’‘是’‘内’‘链’‘少’‘的’‘深’‘层’‘页’——‘收’‘录’‘更’‘全’‘更’‘快’);“不是‘万’‘能’(“Sitemap’‘不’‘保’‘证’‘收’‘录’——‘但’‘帮’‘助’‘发’‘现’)。Sitemap——“‘路’‘线’‘图’,‘不’‘是’‘保’‘证’‘书’”。

    “生成”Sitemap

    “WordPress插件(“Rank’‘Math/Yoast——‘自’‘动’‘生’‘成’‘——’‘含’‘文’‘章’‘/栏’‘目’‘/页’‘面’);“在线‘工’‘具’(“生’‘成’‘器’——‘输’‘入’‘网’‘址’——‘生’‘成’‘XML’);“手动(“小’‘站’——‘手’‘写’‘/维’‘护’)。生成——“‘插’‘件’‘最’‘省’‘心’”。

    “提交”与“更新”

    “提交(“必’‘应’‘/谷’‘歌’‘/百’‘度’‘站’‘长’‘工’‘具’——‘提’‘交’‘Sitemap’‘地’‘址’);“更新(“新’‘文’‘章’——‘Sitemap’‘自’‘动’‘更’‘新’——‘爬’‘虫’‘发’‘现’‘新’‘链’‘接’);“robots(“在’‘robots.txt’‘中’‘指’‘引’‘Sitemap’‘地’‘址’)。提交——“‘主’‘动’‘告’‘知’”。

    “优化”Sitemap

    “只‘含’‘重’‘要’‘页’(“别’‘把’‘标’‘签’‘页’‘/分’‘页’‘/无’‘价’‘值’‘页’‘全’‘塞’‘进’‘去’);“别‘含’‘死’‘链’(“404’‘从’‘Sitemap’‘移’‘除’);“更‘新’‘时’‘间’(“正’‘确’‘标’‘注’‘lastmod’——‘帮’‘爬’‘虫’‘判’‘断’);“分‘类’‘Sitemap’(“大’‘站’——‘文’‘章/图片/视频’‘分’‘类’)。优化——“‘精’‘简’‘有’‘效’”。

    “常见”问题

    “Sitemap‘空’(“插’‘件’‘配’‘置’——‘检’‘查’);“URL‘错’‘误’(‘404’‘/错’‘链’——‘修’‘正’);“提交‘不’‘成’‘功’(“地’‘址’‘错’‘误’——‘检’‘查’‘格’‘式’);“索引‘不’‘变’(“等’‘待’‘/查’‘内’‘容’‘质’‘量’)。问题——“‘检’‘查’‘+’‘等’‘待’”。

    Sitemap的“一句话”

    “插件‘生’‘成’、站长‘工’‘具’‘提’‘交’、精简‘有’‘效’、定期‘更’‘新’——“‘Sitemap’‘是’‘给’‘爬’‘虫’‘的’‘路’‘线’‘图’——“‘做’‘好’‘它’,‘收’‘录’‘更’‘顺’”。Sitemap:“路线图清晰,爬虫少走弯路”。

    Sitemap站点地图:给爬虫的“路线图” 示例图

    一句话总结:Sitemap“插件自动生成、站长工具提交、robots引用、只含重要页、标注lastmod、剔除死链”;分类Sitemap大站用、更新自动——路线图清晰爬虫少走弯路。