蜘蛛只抓无效URL的处理流程

日志显示蜘蛛天天来，抓的却全是翻页、参数、历史死链，有效内容页反而没被抓。这是典型的抓取预算分配错乱，需要主动引导。

统计无效抓取占比

分析蜘蛛日志中无效URL（翻页、参数、已删除页面）的抓取占比，超过30%即需处理。

切断无效URL的入口

站内翻页链接加nofollow、参数URL统一规范化、已删除页面的站内残留引用清理。入口没了，蜘蛛自然减少无效抓取。

主动推送有效URL

对核心内容页执行API推送，把蜘蛛的注意力拉回到有效内容上。

无效路径robots封禁

确认无价值的路径（如搜索结果页）在robots中Disallow，从规则层面禁止。

判断标准与参考数据

两周内有效内容页的抓取占比提升至70%以上；无效URL抓取量下降60%以上。

注意事项

robots封禁的路径如果已大量收录，会以无摘要形式留在结果里，正确顺序是先清理收录再封禁。