上个月，我做了一个技术选型决策。我需要在一个新项目里选择数据库，于是我同时问了 AI 三个方案。AI 用非常自信的语气，给出了一个分析得头头是道的建议，附带了性能对比表格、使用场景、甚至推荐了具体的版本号。我差点就采纳了。
但我停顿了一下，花了两分钟查了一下文档。结果发现，AI 推荐的那个版本根本不存在。它推荐了一个"理想的"版本，自信地编造了它的特性。
这件事让我意识到一个问题：AI 的自信和它的正确性，完全是两码事。AI 的输出正在变得越来越流畅、越来越"像真的"，但"像真的"和"是真的"之间有一条巨大的鸿沟。而跨越这条鸿沟的，只能是我们自己的判断力。
AI 的"自信幻觉"
大多数人第一次用 AI 时，会被它的流畅和自信震撼。它回答任何问题都毫不犹豫，语气坚定，旁征博引。这种"自信"是 AI 的固有特性——它不是故意骗你，而是它生成文本的方式天然就是"确信"的。
但作为一个 AI 的深度使用者，我慢慢学会了一件事：AI 的自信程度和回答质量没有正相关。它有时候在完全正确的回答上显得犹豫，有时候在完全错误的回答上显得无比笃定。你不能靠"感觉"来判断 AI 说的对不对。
你需要一个判断框架。
一个简单的判断框架
经过大量使用 AI 做决策的经验，我总结出了三个维度来判断 AI 输出的可信度：
维度一：事实型回答 vs 判断型回答
事实型回答——这里有客观的、可验证的对错。比如"Python 3.11 的 str 类型有哪些方法？"这种问题，AI 通常回答得不错，因为它的训练数据里有大量的文档和代码。
判断型回答——这里没有绝对的对错，只有"更合适"和"不太合适"。比如"这个项目应该用微服务还是单体架构？"这种问题，AI 可以给出分析，但它不了解你的团队规模、技术栈历史、业务节奏。它给出的判断是基于通用知识的，而不是基于你的具体上下文。
我的经验是：事实型回答可以信任 70%，但需要验证；判断型回答只作为参考，决策权完全在自己手里。
维度二：可验证 vs 不可验证
可验证的答案——你可以立刻检验。比如 AI 给你写了一段代码，你可以运行它，看它能不能跑通。比如 AI 翻译了一段文字，你可以读一遍，看通不通顺。有验证手段的答案，可以放心用，因为你能快速发现错误。
不可验证的答案——你没办法立刻检验。比如 AI 告诉你"某个历史事件发生在 1783 年"，你没有办法当场核实。比如 AI 引用了某个"研究"来支持它的观点，但那个研究可能根本不存在。这类答案，尤其是涉及数据、事实、引用的，默认假定不可信，直到你亲自验证过。
我吃过一次亏：AI 在回答中引用了一篇论文，标题、作者、发表年份都写得像模像样。我引用了它的结论给别人看，后来才发现那篇论文根本不存在。从那以后，我给自己定了一条规则：AI 引用的任何我无法验证的来源，一律当作可疑。
维度三：低风险 vs 高风险
低风险决策——错了的代价可以承受。比如让 AI 帮你写一封邮件草稿，生成一个代码注释，建议一个配色方案。错了就错了，改一下就行，成本很低。
高风险决策——错了的代价很大。比如技术架构选型，错了整个项目要重构。比如对关键业务逻辑的修改，错了可能导致线上事故。这类决策，AI 的意见只能作为多一个参考角度，绝对不能替代你自己的判断。
什么时候信，什么时候疑
基于这个框架，我总结了一些具体场景的判断：
可以信的（但始终要验证）
- 代码生成——可运行、可验证，错了一眼就能看出来
- 翻译——可读性验证成本极低，而且 AI 的翻译质量确实很高
- 文本摘要——你可以对比原文，快速判断是否准确
- 格式转换——比如 JSON 转表格、Markdown 转 HTML，这些都是确定性操作
必须保持怀疑的
- 技术选型——AI 不了解你的组织、团队、历史包袱，它的建议是基于"通用最佳实践"的，而"通用"可能恰恰不适合你
- 架构决策——架构的本质是权衡，而权衡的依据是你的业务上下文，AI 没有这些信息
- 人事判断——这个不用解释，AI 完全不应该参与
- 任何涉及"应该"的建议——当 AI 说"你应该用 X 而不是 Y"时，停下来想一想：它为什么这么说？它有哪些我不知道的信息？它缺少哪些关键信息？
我的决策流程
现在，当我在工作中需要做决策时，我会跑一遍这个流程：
- 第一步：自己先想。在问 AI 之前，先形成自己的初步判断。如果连自己的判断都没有，你很容易被 AI 带着走。
- 第二步：问 AI，但把它的回答当作"一个同事给你的建议"。记住，它是一个经验丰富、博览群书、但不了解你的具体处境的同事。它的建议值得听，但不值得盲从。
- 第三步：验证关键信息。AI 提到的任何数字、事实、引用，只要是你没法一眼确认的，都去验证一下。
- 第四步：自己做决策。最终的决定，一定是你自己做的。AI 提供信息和分析，但承担责任的永远是你。
AI 是一个强大的参谋，但参谋不替将军做决策。把 AI 当参谋用，而不是当将军供——这是我在 AI 辅助决策上最重要的经验。