“爬‘虫’‘每’‘天’‘能’‘爬’‘的’‘页’‘面’‘数’‘量’——‘有’‘限’——‘叫’‘抓’‘取’‘预’‘算’”——“大‘站’‘页’‘面’‘多’——‘爬’‘虫’‘爬’‘不’‘完’——‘要’‘优’‘化’——“’让’‘爬’‘虫’‘爬’‘重’‘点’‘页’‘面’——‘抓’‘取’‘预’‘算’‘优’‘化’”。
什么是“抓取预算”
“抓取预算（“爬’‘虫’‘在’‘你’‘站’‘点’‘花’‘的’‘时’‘间/资’‘源’——‘由’‘站’‘点’‘规’‘模’‘/权’‘重’‘/更’‘新’‘决’‘定’）；“影响（“预’‘算’‘不’‘够’——‘爬’‘虫’‘爬’‘不’‘完’——‘重’‘要’‘页’‘面’‘可’‘能’‘没’‘被’‘爬’）；“大站‘重’‘点’（“页’‘面’‘多’‘的’‘站’——‘优’‘化’‘抓’‘取’‘预’‘算’‘更’‘重’‘要’）。预算——“‘爬’‘虫’‘的’‘精’‘力’‘有’‘限’”。
“浪费”预算的“地方”
“低‘价’‘值’‘页’（“标’‘签’‘页’‘/分’‘页’‘/筛’‘选’‘页’——‘爬’‘了’‘没’‘用’）；“重’‘复’‘页’‘面’（“相’‘似’‘URL’——‘重’‘复’‘抓’）；“死‘链’‘/错’‘误’‘页’（“浪’‘费’‘抓’‘取’）；“动态‘参’‘数’‘无’‘限’（“无’‘穷’‘URL’——‘爬’‘虫’‘陷’‘入’）。浪费——“‘别’‘让’‘爬’‘虫’‘白’‘跑’”。
“优化”方法：noindex与robots
“noindex（“低’‘价’‘值’‘页’——‘noindex’‘标’‘记’——‘不’‘索’‘引’‘（但’‘可’‘爬’‘或’‘不’‘爬’）”；“robots’‘Disallow’（“不’‘需’‘要’‘爬’‘的’‘目’‘录’——‘Disallow’——‘省’‘预’‘算’）；“注意（“重’‘要’‘页’‘别’‘误’‘拦’——‘Disallow’‘要’‘谨’‘慎’）。优化——“‘该’‘挡’‘的’‘挡’‘住’”。
“优化”方法：内链与Sitemap
“内链‘聚’‘焦’（“重’‘要’‘页’‘面’——‘首’‘页’‘/栏’‘目’‘可’‘达’——‘爬’‘虫’‘优’‘先’）；“Sitemap（“只’‘列’‘重’‘要’‘页’——‘引’‘导’‘爬’‘虫’）；“canonical（“重’‘复’‘页’——‘指’‘向’‘主’‘版’‘本’——‘不’‘重’‘复’‘抓’）。聚焦——“‘让’‘爬’‘虫’‘知’‘道’‘重’‘点’”。
“监控”抓取预算
“站长工具（“必’‘应’‘/谷’‘歌’‘的’‘抓’‘取’‘统’‘计’——‘爬’‘了’‘多’‘少’‘页’‘/哪’‘些’‘页’）；“日志（“服’‘务’‘器’‘日’‘志’——‘爬’‘虫’‘访’‘问’‘记’‘录’）；“异’‘常’（“爬’‘虫’‘突’‘然’‘少’‘了’——‘检’‘查’‘服’‘务’‘器’‘/robots’）。监控——“‘看’‘爬’‘虫’‘的’‘脚’‘步’”。
抓取预算优化的“一句话”
“noindex‘挡’‘低’‘价’‘值’‘页’、robots‘拦’‘不’‘用’‘目’‘录’、内链‘聚’‘焦’、Sitemap‘精’‘简’——“‘让’‘爬’‘虫’‘爬’‘重’‘点’——‘抓’‘取’‘预’‘算’‘花’‘在’‘刀’‘刃’‘上’”。抓取预算：“爬虫精力有限，花在刀刃上”。
一句话总结：抓取预算“低价值页noindex、无用目录robots Disallow、重要页面内链聚焦Sitemap精简、canonical去重”；监控站长工具和日志——爬虫精力有限花在刀刃上。