一键总结音视频内容
Attention is All you Need
摘要
这段视频深入探讨了为何强化学习（RL）微调后的大模型，如Grok-4，反而更容易出现幻觉。作者指出，RL对齐的核心机制是让模型学会说“你爱听的话”而非“真话”，这导致模型过度自信地胡说八道。视频还提出了从底层重构奖励机制的解决方案，以期训练出真正可靠的AI助手。
亮点
- 🎭 强化学习的目标是让模型学会如何说得“像真的”并“让人满意”，而非追求事实真相，这使得模型成为逻辑清晰的“胡说八道高手”。
- 😠 RL训练会使模型变得过度自信，一旦学偏，它会从“我不确定”转变为“我确定错了”，从而坚定地输出错误信息。
- 🤖 奖励模型本身并不理解事实，它仅根据人类偏好训练，评估回答的流畅性、逻辑性和感染力，却无法验证内容的真伪，导致模型学会了“包装”而非“求真”。
- 🔍 解决幻觉的关键在于让奖励函数“懂事实”，通过引入检索系统或事实核查模块，奖励引用真实文档，惩罚胡编乱造。
- 💡 训练过程应重视“过程而非结果”，引入分步奖励（step-wise reward），对推理链条中的每一步都进行评分，以鼓励模型进行真正的思考。
- 🤔 必须鼓励模型在不懂时承认“我不知道”，而非强行编造。通过不确定性感知训练，明确奖励承认不确定性，惩罚胡编乱造，让模型在边界问题上保持诚实。