摘要： CTGT公司推出了名为Mentat的API，该API允许开发者对大型语言模型（LLM）的行为进行确定性控制，包括引导推理和实时去除偏见。通过特征级干预和基于图的验证，Mentat可以修正幻觉并实施政策。该技术适用于高度监管的行业或风险较高的AI应用，例如金融服务和媒体内容生成，以确保输出的准确性和可靠性。Mentat通过干预模型的前向传播过程中的激活级别来修改行为，并结合图验证管道来提高准确性。CTGT还提供了一个演示视频和在线沙盒环境供用户测试和反馈。
讨论： 上述内容主要讨论了一个名为CTGT政策的应用，该政策用于改进现有模型的表现。用户对CTGT政策的应用方式、效果以及商业模式提出了疑问和讨论。主要问题包括：1. CTGT政策是否通过修改内部模型激活来实现，以及是否可以将其集成到模型中；2. 研究的关联出版物和来源；3. API提供的具体内容，包括是否选择了特定的功能进行抑制；4. 商业模式和信用归属问题；5. 对比测试中遇到的问题和挑战，如模型拒绝率上升等。
原文标题：Launch HN: Mentat (YC F24) – Controlling LLMs with Runtime Intervention
原文链接：https://news.ycombinator.com/item?id=46207017
讨论链接：https://news.ycombinator.com/item?id=46207017