摘要： 本文探讨了大型语言模型（LLM）的基准测试面临的挑战，包括LLM旨在生成与人类写作难以区分的文本，其成功不一定与传统的处理器性能指标相关。文章介绍了Model Evaluation & Threat Research（METR）组织的研究成果，他们提出了一种衡量LLM完成复杂任务能力的指标，并发现关键LLM的能力每七个月翻一番。到2030年，最先进的LLM应能以50%的可靠性完成人类需要一个月时间的工作量。这些LLM可能比人类更快地完成这些任务。文章还讨论了“混乱度”对LLM任务挑战的影响，以及这种快速发展可能带来的潜在风险和机遇。
讨论： 该内容主要讨论了关于大型语言模型（LLM）和人工智能（AI）的进步和挑战。其中，fendy3002提到了帕累托原则在计算领域的适用性，并认为LLM/AI的发展也将遵循这一原则。他认为，解决80%的问题并达到80%的准确性将是下一代LLM的主要挑战。timr对一篇关于AI性能的研究论文提出了批评，认为其基于的指标过于简单，并且对任务的“混乱度”问题处理不当。untitled2指出，简单地按照线性方式预测工作效率的提高是不准确的。dang则提到了一些关于AI发展的其他讨论和预测。nickpeterson引用了一个著名的科幻故事来暗示AI可能带来的风险。actuallyalys和dom96讨论了将复杂任务简化为短期目标的问题。bgwalter对IEEE推广某些技术表示了不满。donkey_brains对一篇关于AI写作小说的文章进行了批评，认为其过于乐观且缺乏科学依据。pu_pe提到了LLM性能的指数级改进，并提出了对未来持续改进的疑问。
原文标题：Measuring AI Ability to Complete Long Tasks
原文链接：https://spectrum.ieee.org/large-language-model-performance
讨论链接：https://news.ycombinator.com/item?id=44472034