摘要： 本文介绍了一个名为Coderunner的系统，旨在实现完全本地化的AI功能。该系统利用本地LLM进行聊天，通过轻量级虚拟机执行代码，并使用无头浏览器访问互联网。系统旨在保护用户隐私，避免将数据上传到云端。文章详细描述了系统的设计、使用的技术栈和实现方法，包括MacOS上的容器化、LLM的选择、代码执行和浏览器访问。文章还讨论了系统的局限性、未来改进方向以及如何获取和使用该系统。
讨论： 上述内容主要讨论了个人AI工作空间中的技术挑战和解决方案。文章中提到了几个关键点：1. 本地执行层和知识层对于构建私人AI工作空间的重要性；2. 知识层中，如何使AI了解个人数据（如电子邮件、笔记、文件）的挑战；3. 存储成为大规模应用中的瓶颈，以及如何通过技术如LEANN来优化存储；4. 硬件限制，如快速RAM的缺乏，是当前制约本地运行大型模型的主要因素；5. 训练数据不足的问题，尤其是针对原生桌面应用的训练数据稀缺；6. 硬件选择，如Mac mini和Framework的桌面设备，以及它们的价格和配置问题；7. 对Apple Foundation Models在设备上执行的性能和隐私问题的讨论；8. 使用容器化技术简化本地部署的需求。
原文标题：I want everything local – Building my offline AI workspace
原文链接：https://instavm.io/blog/building-my-offline-ai-workspace
讨论链接：https://news.ycombinator.com/item?id=44840013