先不要急着补数据或换工具,而是为每个解释各找一个“如果它成立,就应该出现、但实际没有出现”的观察点。反证问题的核心不是证明自己正确,而是设计一个能让某个解释失效的检验。当个别样本成立、规模化后却出现例外时,最危险的做法是把小样本里的共同点当成原因。下面用一条可操作的路径,说明怎样把模糊假设拆成可被推翻的问题。
网站诊断中常见的矛盾是:某个页面或某批页面在手工抽查时表现正常,但按目录、模板或内容类型汇总后,指标明显偏离。这里的“正常”和“偏离”必须落在同一个口径上,否则后面的反证没有意义。第三方估算流量、搜索引擎自己给出的报告、站内统计三者的统计边界不同,不能混着用。比如站内统计可能只记录到达服务器的请求,搜索引擎报告可能只覆盖已展示或已抓取的子集,第三方估算又依赖抽样和模型。若一处下降、另一处没动,不能直接说“流量没变”,只能说明不同口径对同一现象的覆盖范围不同。
固定现象时要写清三件事:观察对象是谁(哪些页面、哪个目录、哪个模板),观察窗口多长,用的是哪一套口径。只有现象被固定,后面的反证才有共同靶子。
假设你发现:某个内容模板下的页面,在收录和展示上表现分化,一部分正常,一部分长期没有起色。此时至少有两个解释成立:
这两个解释都能解释“个别样本成立、规模化后出现例外”。如果只看几个表现好的样本,很容易得出“模板没问题”;如果只看整体汇总,又容易得出“模板拖累了所有页面”。两者都不够。
反证问题要写成“如果解释成立,那么应该观察到什么;如果没有观察到,解释就被削弱”。针对上面的两个解释,可以这样构造:
这里的关键动作是构造对照组,而不是增加更多指标。动作的结果会直接决定下一步:如果模板解释被削弱,就不要继续改模板,而应转向需求与竞争分析;如果需求解释被削弱,就不要急着换选题,而应先检查模板输出和抓取可及性。
假设某站有A、B两个模板,各有一批页面。初步观察发现:A模板里表现好的样本更多,于是有人提出“把B模板全部换成A模板”。这个结论跳过了反证。可以设计一个低成本检验:从A、B模板中各选主题相近的页面,分别记录它们在站内统计和搜索引擎报告中的可见情况,并检查正文是否在初始HTML中可读。这里数字只用于说明比较方法,不构成真实收益预期。
如果B模板中正文可读的页面与A模板中正文可读的页面表现接近,而B模板中正文不可读的页面明显更差,那么“模板类型”不是主因,“正文可读性”才是更值得优先验证的解释。下一步就不是全量换模板,而是先修B模板的正文输出方式,再观察同一批页面的变化。反过来,如果正文可读性高低与表现无关,而主题需求强弱与表现高度对应,那么换模板的优先级就应下降,选题和竞争分析应提前。
反证问题最容易失败的地方,是拿不同口径的数据互相“证明”。第三方估算流量上升,不能直接推翻站内统计下降;搜索引擎报告里某个目录的展示减少,也不能单独证明模板有问题。合理的做法是:先明确每个指标能覆盖什么、不能覆盖什么,再决定它能否作为反证证据。请求量、抓取量或某项统计归零,也不能单独证明处理正确,它可能是统计延迟、口径调整、过滤规则变化或抽样波动造成的。
另外,反证结论有边界。个别样本成立,不等于规模化后仍成立;规模化后的例外,也不等于个别样本无效。真正可用的诊断结论,通常要同时说明:在什么条件下解释成立,在什么条件下解释不成立,以及下一步应该先验证哪一个条件。这样构造反证问题,才能把“我觉得可能是”变成“我知道下一步该查什么”。