核心结论:AI调研最大的风险不是"找不到信息",而是"找到的信息不可靠"。4类信息必须做二次核验:精确数字、排名比较、时间敏感信息、争议性观点。核验的核心方法不是"再搜一遍",而是"换一个来源类型交叉验证"——用官方数据验证媒体报道,用第三方统计验证公司自报。
先看一个真实的"假数据"案例
某团队用AI调研"中国AI人才缺口",AI返回了"中国AI人才缺口超过500万"这个数据,来源是某财经媒体的文章。
团队把这个数据写进了给董事会的报告。后来有人在复核时追查来源,发现:
- 该财经媒体的文章引用了"某研究报告"
- 但没有给出报告的具体名称和发布机构
- 用搜索引擎逆向查找"500万AI人才缺口",发现这个数字最早出现在2017年的一篇论坛演讲稿中
- 当时说的是"到2030年可能达到500万"——这是预测,不是现状
- 8年过去了,这个预测数字被反复转述,逐渐变成了"现状数据"
从"2030年预测"变成"当前缺口500万",信息在传播过程中被严重扭曲。
如果不做二次核验,这个错误数据就会进入决策链。
4类必须二次核验的信息
不是所有信息都需要核验——常识性内容(如"北京是中国的首都")不需要。但以下4类必须核验:
第1类:精确数字
包括:市场规模、增长率、市场份额、百分比、金额、数量。
为什么必须核验:
- AI可能"幻觉"出看起来很精确的数字(如"提升73.56%效率")
- 不同来源的统计口径不同,数字可能相差几倍
- 过时数据可能已经被新数据替代
核验方法:
| 场景 | 核验操作 | 正确做法 |
|---|---|---|
| 市场规模 | 找2个不同来源对比 | 艾瑞说120亿,IDC说135亿→在报告中写"约120-135亿元"并说明口径差异 |
| 增长率 | 确认计算基数和时间范围 | “同比增长50%"——是和去年Q1比还是去年全年比? |
| 市场份额 | 区分"宣称"和"实际” | 公司自己说的份额通常偏大,第三方统计更可信 |
实战案例:
AI返回"2025年中国SaaS市场规模达800亿元"。核验过程:
- 来源A(某行业报告):800亿元,但注明"含PaaS和IaaS"
- 来源B(中国信通院):SaaS市场480亿元(不含PaaS/IaaS)
- 差异原因:口径不同。A把PaaS和IaaS也算进去了
- 正确写法:在报告中注明口径,不能直接用"800亿"作为SaaS市场规模
第2类:排名和比较
包括:“行业第一"“市场领先"“主要玩家"“TOP3”。
为什么必须核验:
- “领先"的定义是什么?营收?用户数?技术能力?增长率?
- 不同维度排名可能完全不同
- “主要玩家"可能遗漏重要的长尾竞争者
核验方法:
| |
第3类:时间敏感信息
包括:政策法规、产品版本、定价、组织架构、融资情况。
为什么必须核验:
- AI训练数据有截止日期,可能不知道最新变化
- 互联网上的旧文章仍然存在,AI可能抓到过时信息
- 政策变化频繁,几个月前的信息可能已经失效
核验方法:
| 信息类型 | 核验渠道 | 核验要点 |
|---|---|---|
| 政策法规 | 政府官网原文 | 最新版本是什么?有没有修订? |
| 产品功能 | 官网产品页+更新日志 | 最新版本是否包含AI说的功能? |
| 定价信息 | 官网定价页+销售人员 | 公开价格和实际成交价可能差很多 |
| 融资情况 | IT桔子/企查查/天眼查 | 最新一轮是什么时候?金额多少? |
实战案例:
AI返回"XX产品支持语音识别功能,准确率达98%"。核验发现:
- 98%这个数据来自该产品2023年的宣传材料
- 2025年的最新版本文档中已经不再提这个数据
- 实际用户反馈准确率在90-95%之间
- 结论:98%可能是在特定测试条件下的数据,不具有代表性
第4类:争议性观点
包括:行业趋势判断、技术路线选择、政策影响评估。
为什么必须核验:
- 不同专家/机构的观点可能完全相反
- AI倾向于"和稀泥”——把对立观点都说成"各有道理”
- 你的报告需要给出明确判断,而不是罗列争议
核验方法:
- 找到至少2个立场不同的来源
- 分析各自的观点和支撑论据
- 判断哪个论据更充分
- 在报告中:如果一方明显更有道理,支持更强的一方并说明原因;如果双方势均力敌,列出两个观点并给出你的判断依据
5种核验方法
方法1:换来源类型交叉验证
最核心的核验方法——不要用同类型来源验证同类型来源。
| 错误做法 | 正确做法 |
|---|---|
| 用一篇媒体报道验证另一篇媒体报道 | 用官方数据验证媒体报道 |
| 用公司官网验证公司官网 | 用第三方数据验证公司自报 |
| 用AI的搜索结果验证AI的搜索结果 | 用原始来源验证AI的搜索结果 |
优先级:官方数据 > 行业报告 > 权威媒体 > 一般媒体 > 博客论坛
方法2:追查原始来源
当你看到一个数据被多处引用时,追查到最原始的出处。
操作步骤:
- 复制关键数据(如"中国AI市场2025年达XX亿”)
- 搜索这个精确数据
- 找到最早发布这个数据的来源
- 确认该来源的权威性和发布时间
- 检查原始语境中这个数据是否有附加条件(如"预测"“估算"“特定口径”)
方法3:反向验证
用一个你确定的事实,去验证来源的可靠性。
举例:某行业报告说"2025年中国AI市场规模为5000亿元”。你先确认自己已经知道的一个事实——比如"Gartner报告中国AI市场约为800亿美元”。两个数字差距太大(5000亿人民币≈700亿美元 vs 800亿美元),说明至少有一个来源的口径或数据有问题。进一步追查发现,5000亿是包含了AI相关硬件和服务的广义口径,800亿美元主要是软件和服务。口径不同,不是谁对谁错。
方法4:时效性检查
任何超过1年的市场数据,都要确认是否仍然有效。
操作:
- 搜索"XX 2025 2026 最新数据”
- 检查来源发布时间是否在6个月内
- 如果只能找到旧数据,在报告中注明"截至XX时间的最新公开数据为……"
方法5:AI"幻觉"检测
AI有时会生成看起来非常合理但完全编造的信息。检测方法:
| 信号 | 可能是幻觉 | 核验操作 |
|---|---|---|
| 有精确数字但无来源 | 高概率 | 搜索这个数字,看其他来源是否提到 |
| 引用了"某报告"但不给名称 | 高概率 | 要求AI给出具体报告名和链接 |
| 数据"太好看了" | 中概率 | 反向验证:是否有其他来源佐证 |
| 来源链接打开是404 | 高概率 | 换关键词重新搜索 |
核验检查清单
写完调研报告后,对以下内容逐项核验:
| # | 核验项 | 检查内容 | 状态 |
|---|---|---|---|
| 1 | 市场规模数字 | 至少2个来源确认,口径一致? | □ |
| 2 | 增长率/百分比 | 基数和时间范围明确? | □ |
| 3 | 竞品市场份额 | 不是竞品自己宣称的? | □ |
| 4 | 排名/比较声明 | 有权威来源支撑? | □ |
| 5 | 政策法规引用 | 是最新版本?来源是政府官网? | □ |
| 6 | 产品功能描述 | 和官网最新信息一致? | □ |
| 7 | 定价信息 | 多渠道确认?公开价≠成交价? | □ |
| 8 | 用户评价/案例 | 不是只展示正面案例? | □ |
| 9 | 趋势预测 | 标注了预测来源和假设? | □ |
| 10 | 争议性观点 | 列出了不同立场并给出了判断? | □ |
任何一项标注为"不通过",都要回去修改报告,不能带着不确定的信息交付。
核验不通过的3种处理方式
| 情况 | 处理方式 | 正确写法 |
|---|---|---|
| 找不到可靠来源 | 删除该数据或改为定性表述 | “目前缺乏权威公开数据确认,但多个间接指标指向XX趋势” |
| 两个来源数据冲突 | 列出两个数据,说明差异原因 | “艾瑞报告为120亿元(含PaaS),信通院为480亿元(纯SaaS),差异主要来自口径不同” |
| 数据可能过时 | 标注数据时效性 | “该数据截至2025年Q2,最新数据暂未公布” |
常见问题
Q1:二次核验会不会让调研效率大幅下降?
不会。你不需要对报告中的每一条信息都做核验——只对"4类必须核验的信息"做。一份20页的报告中,通常只有10-15个关键数字和判断需要核验,每个5-10分钟,总共1-2小时。对比一下:带着错误数据做决策的成本远大于这1-2小时。
Q2:AI能不能帮我做核验?
可以,但不能完全依赖。让AI帮你找到需要核验的信息点、搜索可能的验证来源、整理核验结果。但最终的判断(这个来源可不可信、两个冲突数据怎么处理)必须由人来做。AI的核验能力受限于它的训练数据——如果AI训练数据中就包含错误信息,它可能"验证"出错误的结论。
Q3:如果所有核验都通过了,报告就一定准确吗?
不一定。核验能大幅降低错误概率,但不能保证100%准确。某些领域(如非公开市场的商业数据)天然缺乏权威来源,只能基于有限信息做最佳判断。关键是在报告中清晰标注哪些是确认的、哪些是推测的,让决策者知道信息的不确定性在哪里。
Q4:做咨询的公司是怎么做核验的?
大型咨询公司(麦肯锡、BCG等)通常有三层核验:第一层是分析师做初步检索和整理;第二层是项目经理审核关键数据和逻辑;第三层是合伙人(行业专家)基于经验判断数据的合理性。中小企业做不到三层,但至少做到一层(分析师/负责人审核关键数据)——这已经比不做核验强太多了。
Q5:什么时候可以不做二次核验?
内部参考的快速概览式调研可以简化核验。但只要这个调研结果要用于外部汇报、决策、合同、投标,核验就不可省。一个简单的判断标准:如果这个数据是错的,会导致错误的决策吗?如果会,就核验。
希望这篇文章对你有帮助。如果你在实践中遇到问题,欢迎交流讨论,我的微信:18010612009(杨哥)。