当页面数量、栏目层级和更新频率同时上升,最先失控的通常不是排名,而是手工流程本身:手工改标题、手工查收录、手工记内链、手工盯死链。判断标准很简单——某项工作是否需要逐页重复、是否依赖个人记忆、是否在出错后才被发现。只要三条同时成立,就应转为规则化或批量化处理;如果页面之间差异极大、改动会直接影响转化路径,手工反而更稳。
条件一:同一类改动在多页重复出现,且判断标准可以写成一句话。例如全站栏目页的标题模板、分页的翻页链接、已下线内容的跳转规则。这类工作继续手工做,代价不是慢,而是漏改和改错,后续排查成本远高于一次配置。
条件二:改动涉及页面之间的语义差异,或会改变用户下一步动作。例如把某个栏目页从产品介绍改成选型指南、把一篇旧文的核心段落重组、决定某批页面是否合并。这类判断依赖对业务和用户意图的理解,批量脚本只能执行统一规则,无法替代取舍。
选择依据可以落到一个动作上:先取二十个同类页面,手工改其中十个,另外十个写成规则批量处理,观察两类页面在后续抓取和点击行为上的差异。如果手工组出现明显不一致,说明该工作不适合继续手工;如果批量组出现大量语义错位,说明规则还不够细,应先补判断标准再扩大范围。
页面少时,手工在搜索资源平台逐条提交或查询是可行的。规模扩大后,逐页操作既无法覆盖新增页面,也无法及时发现已收录页面被替换或失效。更合理的做法是按目录或模板分组,用站点地图和日志中的抓取记录交叉核对,把异常集中在少数几类路径上。
注意,抓取量下降或某目录索引数归零,不能单独证明处理正确或错误。常见解释还包括服务器响应变慢、页面被合并、站点结构调整、抓取预算被其他路径占用。先区分这些原因,再决定是改规则还是改内容。
内链手工添加在几十页规模内可控,上千页后会出现两个问题:新页面缺少入口,旧链接指向已改版页面。替代动作是建立栏目级内链规则,例如文章页自动关联同栏目最新内容,专题页按标签聚合。规则上线后,下一步应检查链接是否落在有效页面上,而不是只看链接数量。
如果标题和描述由人工逐页填写,规模越大越容易出现重复和遗漏。可以按模板生成基础版本,再对重点页面做人工覆盖。这里的例外是:涉及品牌名、价格、服务范围的表述不能由模板随意拼接,必须保留人工确认环节。
死链在页面数量增加后必然出现,人工点击无法覆盖。应定期按链接来源分组检查,优先处理有外部入口和站内高频路径指向的失效地址。修复后要观察这些路径是否恢复可访问,而不是以“已经替换”作为结束。
假设一个站点从两百页扩展到两千页,其中产品页占一半,新闻页占三成,帮助页占两成。产品页标题需要体现型号差异,适合保留人工审核;新闻页标题可按栏目加日期规则生成;帮助页若长期不变,可批量检查失效链接和跳转。若把产品页也交给统一模板,可能短期减少工作量,但用户搜索具体型号时更难判断页面是否匹配,后续还要返工。
完成这三步后,再根据试运行结果决定扩大范围还是回退。规模扩大后的重点不是把所有工作都自动化,而是把重复判断交给规则,把影响用户选择的判断留给人。这样既能减少遗漏,也不会因为批量处理而牺牲页面之间的差异。