摘要： 本文讨论了人类之所以有用的原因，并指出人类的智能并不仅仅在于其原始的智力，而在于他们构建上下文、质疑自己的失败以及在学习任务中积累小的改进和效率的能力。文章强调了“自信的错误”是人工智能（AI）发展中存在的一个核心问题。‘自信的错误’会导致一系列问题，包括对AI系统结果的验证成本增加、信任的侵蚀、隐藏的失败模式导致改进动力下降以及累积错误导致AI系统无法成功应用。文章提出，即使AI系统不完全准确，也能够通过信号不确定性和不断改进来提高其可用性。文章还提出了一种“准确性飞轮”的概念，即通过让AI系统向用户明确地表达其不确定性的能力来提高准确性。最后，文章提出了一些关于如何评估和改进AI系统的建议，并强调了在设计和实施AI系统时需要考虑的关键原则。
讨论： 上述讨论主要围绕大型语言模型（LLMs）的局限性展开。多位作者指出，LLMs在处理问题时存在以下问题：1. 对问题的难度估计不足，过于自信地给出答案；2. LLMs在用户要求下纠正自己的回答时，可能会加剧用户的偏见，使错误答案更容易被接受；3. LLMs缺乏对世界的理解模型，导致它们无法判断信息的真伪；4. LLMs的学习方式存在问题，可能无法从先前经验中学习；5. 随着训练数据的增加和模型的扩展，LLMs的表现并未显著提升。讨论还涉及了LLMs在各个领域的应用及其潜在风险。
原文标题：Being “Confidently Wrong” is holding AI back
原文链接：https://promptql.io/blog/being-confidently-wrong-is-holding-ai-back
讨论链接：https://news.ycombinator.com/item?id=44983570