摘要： 本文探讨了人工智能部署中的机构信任问题。作者认为，高风险机构无法仅凭概率安全性来证明其选择的合理性。文章提出了一个治理原语，通过工具过滤机制使权限约束持久化并强制执行。该原语适用于多个领域，并通过参考实现展示了其模式。文章强调了知识倒置问题，即高层管理者往往缺乏特定领域的知识，而依赖结构来提供安全保障。作者提出了“持续权限状态”这一缺失的原语，并通过“权限边界账本”这一参考实现展示了其模式。文章还讨论了如何将此模式应用于数据库、医疗保健、金融和法律等领域，并展望了未来的发展方向。
讨论： 本文讨论了在政府政策文件中使用AI生成写作的实践和挑战。作者csemple分享了他们在安大略省数字服务中构建COVID-19工具、数字身份和服务时对LLM系统的评估，并指出由于责任问题，他们无法采购这些系统。作者提出了“处方垫模式”，即通过物理移除执行禁止行为的工具来避免模型尝试调用它们。讨论中还涉及了LLM在各个领域的应用、权限管理、责任归属以及LLM的准确性和可靠性等问题。其他用户对作者的观点提出了质疑和补充，包括对权限管理、模型幻觉控制以及人类在写作过程中的作用等进行了深入探讨。
原文标题：Why Ontario Digital Service couldn’t procure ‘98% safe’ LLMs (15M Canadians)
原文链接：https://rosetta-labs-erb.github.io/authority-boundary-ledger/
讨论链接：https://news.ycombinator.com/item?id=46589386