摘要： 本文介绍了Mendral（一家YC W26的初创公司）如何通过其代理工具自动化CI系统的故障排查过程。该代理工具能够快速追踪故障原因，通过分析数月的历史数据，包括数十亿条CI日志和数百万个作业，实现秒级响应。文章详细描述了代理工具的工作原理，包括使用SQL接口查询作业元数据和原始日志行、利用ClickHouse进行数据存储和压缩、以及如何处理GitHub API的请求限制。此外，还介绍了代理工具如何有效地处理数据流量高峰和持久化执行以避免因API限制而中断。
讨论： 该内容讨论了使用LLM（大型语言模型）进行日志分析的工具和方法的优缺点。一位用户分享了一个名为log-mcp的工具，该工具使用TF-IDF分类器和BERT模型在GPU上对日志行进行分类，以减少传递给LLM模型的日志数量。其他用户对此工具的有效性提出了质疑，指出LLM在日志分析中可能会产生假象，并且处理大量日志时可能会产生大量的误报。一些用户分享了他们使用规则引擎或SQL等传统方法进行日志分析的体验，并指出这些方法在某些情况下可能比LLM更有效。讨论还涉及到了日志质量和可读性对LLM解析和问题检测能力的影响。
原文标题：We gave terabytes of CI logs to an LLM
原文链接：https://www.mendral.com/blog/llms-are-good-at-sql
讨论链接：https://news.ycombinator.com/item?id=47181801