从大数据到更好的解释
全数据的幻觉
一个美妆品牌曾向我提出了一个请求：
"我们想从社交媒体——X、TikTok、Instagram、小红书……一切平台挖掘所有数据。然后分析这些数据来指导新产品开发、基准竞争对手，并提炼卖点。"
这听起来像是圣杯：数十亿条帖子揭示顾客真正想要什么的真理。
但随后问题开始出现：
- 这在法律上可行吗？（大多数平台禁止完全爬取。）
- 成本会有多高？（每个平台需要数百万美元。）
- 数据有多新鲜？（实时？每天？每周？）
- 我们如何清理噪音——机器人、广告、虚假评价？
- 最重要的是：我们如何将所有噪音转化为真正的洞察？
那一周，我还听说了一家40人的初创公司，他们没有爬取任何数据。他们只采访了30位客户，发现了一个新兴利基市场，并在六个月内主导了这个市场。
为什么？
橙汁测试
想象两个实验室在研究橙汁。
实验室A拥有尖端的分光计。他们可以告诉你确切的化学成分：85.97%水、4.23%蔗糖……每个数字精确到小数点后两位。
实验室B只有一个目标：制造某种尝起来像鲜榨橙汁的东西。他们不断调整和测试，直到十个人中有九个说"就是这样"。
实验室A得到了什么是"真实的"——橙汁的客观成分。
实验室B得到了什么是"真的"——橙汁的主观体验。
在商业中，准确性告诉你边界（什么是安全的、合法的、可行的）。真相告诉你方向（人们会为什么付费、热爱什么、记住什么）。
我们测量每一次点击，却错过了背后的欲望。
我们追踪转化率，但忽视了其中的动机。
我们计数关键词，但忽略了它们隐藏的情感。
大数据的局限
回到美妆品牌的故事。他们的数据分析无可挑剔：
- "天然成分"提及次数增加892%
- "敏感肌肤友好"参与度上升34%
- 竞争对手定价$35–45
- 目标受众在晚上8–10点活跃于Instagram
他们推出了$39.99的天然敏感肌肤产品线，70%的广告支出投入到该时间段。
他们没有看到的是：
当25岁的艾玛说"天然护肤"时，她的意思是"更简单的生活"。她想念大学时光的轻松。
当28岁的杰西卡说"敏感肌肤"时，她的意思是"我厌倦失望了"。她的化妆台上放着17瓶半用过的产品——每一瓶都是失败的尝试。
成功的初创公司问了不同的问题：不是"你喜欢什么成分？"而是"你早上照镜子时脑子里在想什么？"
他们的文案没有说"98%天然成分"。而是"三个简单步骤的护肤。"不是"为敏感肌肤"，而是"我们测试了1000次，所以你不必这样做。"
归纳的问题
物理学家大卫·德意志在他的著作《无限的开始》中讲述了感恩节火鸡的故事：
第1–364天：食物在上午9点到达。
结论："食物总是在上午9点到达。"
置信度：99.7%。
第365天：感恩节。没有食物。
无论你有多少数据点，你都无法保证下一个。这就是归纳的缺陷。
数据可以通过三种方式误导：
- 逻辑 — 你不能从所有白天鹅推广到所有天鹅都是白色的。
- 实践 — 相关性不是因果性。冰淇淋销售和溺水事件一起增加是因为夏天，而不是因为冰淇淋致命。
- 认识论 — 知识不是从数据中提取的；它是通过猜想创造的。
科学的进步不是通过收集更多事实，而是通过大胆的猜测——爱因斯坦想象恒定光速、达尔文想象自然选择、韦格纳想象大陆漂移。
什么是好的解释？
德意志的规则，用商业语言表达：
- 难以改变 — "用户没有购买是因为价格太高"太容易改变。"千禧一代拒绝抗衰老是因为它与自我认知冲突"更难推翻。
- 可测试 — "女性为了获得控制感而购买护肤品"可以通过比较强调控制vs.护理的广告文案来测试。
- 解释深度 — "用户喜欢极简设计"很浅显。"信息过载使极简主义信号信任"解释了为什么并预测其他行为。
大数据vs.好的解释
好的解释风险很大；数据感觉很安全。"数字告诉我们……"在董事会上听起来比"我有一个理论……"更好。
数据可扩展；人类洞察不行。一位优秀的研究员可能一年产出十个强有力的假设；一个仪表板每天吐出10000张图表。
而且我们缺乏将好的解释扩展到规模的工具——直到现在。
大语言模型扩展猜想
大语言模型（LLMs）不仅可以模拟数据模式，还可以模拟行为背后的心智模型。
我们的项目从访谈或社交媒体内容构建"真实人物代理"。这些代理的思考、感受和决策方式与真实消费者的准确率达到85%。
与其只问人们怎样说，我们可以问："什么心理机制会产生那种陈述或选择？"
示例：
- 社交监听可能显示"创意包装"很受欢迎。
- 揭示某些买家是"礼物探索者"，寻求能够表现品味的物品，而迷你套装降低了送礼失败的风险——不仅仅是"提供多样性"。
换句话说：LLMs给了我们一种方式来大规模生产更好的猜想——然后测试它们。
无限的开始
正如德意志所说，每一个好的解释都会引发一个新的问题，每一个新问题都需要更好的解释。
有史以来，我们第一次拥有计算能力来大规模测试，以及认知工具来大规模猜想。
大数据可以检验我们的理论；LLMs可以生成它们。
这是一个新时代——不是更多的数字，而是更好的问题。仍是一次早期尝试……