这是一个年轻同学很容易被带偏的问题，我称之为「精确性陷阱」，拿最典型的 AB 实验来说吧。
AB 实验的价值本质
俞军老师曾有过一个比喻：AB 实验好比偷看答案。
仔细想想，背后其实有 2 层含义：
答案是什么，提前就知道了
提前知道了，就不用争论了
用白话说，一层是精确、一层是共识。其中前者是基础，但后者才是价值更大，节省更多组织成本的那个。
为什么这么说呢，我们且看两者无法兼得的时候，哪个会先被放弃。
无法 AB 时的价值取舍
AB 不那么奏效的场景，一般分为 2 种：
AB 测不准，如一些多变量、隐性变量、长周期变量的决策
AB 不可用，如涉及公平性的策略，或涉及线下流程，无法分组
怎么解决呢？
1. 针对 AB 测不准：扩展实验方法本身，比如分桶实验、DID 倍差法、应对携带效应的 91/28 分组法等等等等。
但稍微研究一下就会发现，这些方法都不能在根本上解决精确性问题，不过是在成本可接受的范围内打了个补丁，让测量结果更靠谱一些，来维系AB 实验的靠谱程度。
我也遇到过类似的情况，且以上补丁包均不奏效。最终的方法是准确度分级 + 观测评估分离，也就是大幅降低精确性要求，但仍然结合定性分析，守护实验工具带来的「共识」价值。
2. 针对 AB 不可用：寻找可控的、可解释的中间指标，结合 AA、用户调研、行为分析等手段分段证明。
这类情况我也遇到过不少，很折腾，不同业务情况的选择也不同，非常个性化，在此不展开了。
但背后的原则仍是：放弃对精确量化的幻想，寻找降级方案，用中间指标和指标之间丰富的逻辑关系来填充共识缝隙。
数据是一种共识工具
绕了一大个圈子，其实只是想说明一个问题：对于策略改进的评估，在精确和共识不可兼得时，精确总是被无条件放弃的那个。
这背后的本质是：
AB 实验的共识价值要远大于精确
数据的最大价值是「模糊的正确」带来的共识
即，数据是一种共识工具。
由此可知，对于任何策略改进，都要把「共识」作为第一目标，「精确」是一种手段和投入，要关注其边际收益，而不是掉入「精确性陷阱」。
思考题：把「共识」作为一种方法
「数据量化」作为一种共识工具，其初始成本 _____，复制成本 _____，生效周期 _____
「老板认同」作为一种共识工具，其初始成本 _____，复制成本 _____，生效周期 _____
「竞品做了」作为一种共识工具，其初始成本 _____，复制成本 _____，生效周期 _____
「逻辑说服」作为一种共识工具，其初始成本 _____，复制成本 _____，生效周期 _____
「情绪感染」作为一种共识工具，其初始成本 _____，复制成本 _____，生效周期 _____
……