用友链检测工具判断采集是否遗漏,核心不是看它“抓到了多少”,而是看它能否证明“目标范围内该抓的都抓到了”。如果工具只给出一个数量,没有给出发现路径、失败记录和边界样本,这个数量就不能作为验收依据。多人协作时,更稳妥的做法是先约定采集范围,再用工具输出与人工抽查交叉比对,确认遗漏发生在哪一段,而不是直接重跑全部任务。
遗漏必须相对一个明确范围才有意义。开始检测前,至少写清三件事:
如果范围没定,工具报告里的“已采集 800 条”无法判断是完整还是遗漏。多人协作时,这一步应写进交接说明,避免不同人用不同口径验收。
先准备一份可核对的目标清单,再与工具输出逐项比对。例如假设目标是 5 个友链页,工具只返回 4 个页面的数据,缺少的那一页就是优先检查对象。比对时不要只看总数,要看到页面级别和链接级别的对应关系。
可执行的检查步骤:
判断结果:如果目标页面在结果中完全缺失,且该页面可正常访问,通常说明采集范围或分页处理存在遗漏;如果页面存在但字段为空,则要检查字段解析规则,而不是直接归因于漏采。
只展示成功结果的工具,很难判断遗漏。需要看它是否保留失败项,例如超时、状态码异常、解析失败、被限制访问等。失败记录越具体,越容易定位遗漏发生在哪一步。
检查时重点看:
如果工具只给一个“失败数量”而不给明细,验收时应要求补充可复查的失败清单,否则无法区分“确实没有”和“没有抓到”。
遗漏常出现在边界位置。检查时优先抽查第一页、最后一页、分页参数变化处,以及没有友链的空页面。以分页为例,假设某友链列表有 3 页,工具只返回前 2 页,第 3 页就是边界遗漏。此时应检查分页规则是否被正确识别,而不是只看总数是否接近预期。
适用条件:这种方法适合目标范围有限、页面结构相对稳定的采集任务。如果目标范围本身在持续变化,边界样本只能作为参考,不能单独作为完整结论。
为了减少返工,交付物里应包含三样东西:目标清单、工具原始输出、差异说明。差异说明只写三类结论:已确认遗漏、疑似遗漏、确认无遗漏。每一条都要能指向具体页面或具体失败记录。
可用的验收信号包括:
如果以上信号缺失,先不要进入下一轮采集。把缺失项补成可核对的记录,再决定是局部重跑还是扩大检查范围。
选一个页面数量少、结构清楚的友链区域,用同一份目标清单分别跑一次工具采集和一次人工核对,把差异记下来。差异集中在哪一类页面,就优先修哪一类规则。这样比直接全量重跑更容易判断遗漏原因,也更适合多人交接。