🔍 AI输出的信任与校验

课题大纲

以下为本课题的研究框架，按模块逐步展开。每完成一个模块会发布对应的文章。

一、课题背景与定位

• 1.1 为什么信任是一个系统性问题 — AI的"自信"与"准确率"是两码事；人类天生容易相信流畅的表达；AI不会告诉你它不确定。
• 1.2 课题目标 — 建立一套从"接收AI输出"到"确认可用"的校验框架；培养对AI输出的"健康怀疑"能力；让信任变成可控的技术决策，不是感性的赌博。

二、核心概念

• 2.1 "幻觉"的本质 — 不是AI在撒谎，是它的输出机制里没有"事实锚点"。理解概率输出为什么必然产生幻觉，以及什么场景下幻觉率最高。
• 2.2 置信度的幻觉 — AI的"自信"不等于准确率。为什么AI在胡说八道时看起来跟说真话一样自信，以及怎么在输出中识别不确定信号。
• 2.3 信任光谱 — 从"全盘信任"到"全盘怀疑"是一个光谱。不同的任务需要不同的信任等级，不是非黑即白。

三、方法论框架

• 3.1 校验分级体系 — 按风险等级建立不同的校验策略：快速抽查、交叉验证、事实溯源、第三方权威确认。
• 3.2 自我批判引导法 — 怎么让AI自己暴露自己的不确定性。通过追问"你有什么把握"、"如果错了会怎样"、"你的假设是什么"来获得置信度信号。
• 3.3 交叉验证法 — 同一个问题从不同角度问两次。如果两次答案矛盾，说明AI在这个问题上不可靠。什么时候用同一模型交叉，什么时候换模型交叉。
• 3.4 溯源与引用检查 — AI引用的来源怎么验证。区分"AI编的来源"和"真实的来源"。建立自己的可信源清单。

四、实战技巧库

• 4.1 快速事实核查技巧 — 关键数据、日期、名称的30秒核实法。什么值得查，什么不值得查。
• 4.2 矛盾探测技巧 — 让AI在同一个对话中自己反驳自己。通过"换个角度分析"、"反方观点是什么"来暴露逻辑漏洞。
• 4.3 边界探测技巧 — 怎么测试AI的知识边界。"这个问题你的把握有多大？"、"如果数据截止到2024年，这个结论还成立吗？"
• 4.4 多模型对照法 — 同样的问题问不同的AI。当模型间出现分歧时，通常意味着问题本身存在争议或不确定性。

五、常见陷阱与应对

• 5.1 "流畅即真实"陷阱 — 人类大脑天生被流畅的表达说服。AI的输出越流畅，你越容易忽略核查。应对：对流畅的内容反而提高警惕。
• 5.2 "第一次就对"陷阱 — AI第一次给的答案往往看起来很合理，但可能是最常见的误导。应对：追问"还有没有其他可能性"。
• 5.3 "过度怀疑"陷阱 — 什么事都查，效率比不用AI还低。应对：建立信任等级，在低风险任务上学会放手。
• 5.4 "权威幻觉"陷阱 — AI用专业术语和数据包装自己，让你不敢质疑。应对：区分"看起来专业"和"真的专业"，关注论证过程而非术语密度。

六、能力自测

• 6.1 你在哪一层？ — L1：AI说什么信什么；L2：知道AI会错但不知道怎么查；L3：会主动校验关键事实；L4：建立了自己的分级校验体系。
• 6.2 自测题 — 你能在30秒内识别AI输出中的可疑事实吗？你能通过追问让AI暴露自己的不确定性吗？你知道什么场景需要交叉验证、什么场景不需要吗？

七、延伸方向

• 从人工校验到自动化校验（AI校验AI）
• 从单次校验到长期信任追踪（记录AI在哪些领域可靠、哪些不可靠）
• 从个人校验到团队协作校验（分工校验体系）
• 从校验AI到校验"人类+AI"协同输出的整体质量