摘要： 文章指出，阻止大型语言模型（LLMs）爬取网站内容是一种不明智的行为。作者认为，LLMs是下一代搜索层，对于网站和公司来说，能够通过LLMs展示内容可以带来大量流量。虽然有些人出于道德和反感AI的原因反对这种行为，但完全阻止LLMs可能会使网站失去快速增长的流量渠道。文章建议，提供高质量的内容供LLMs引用是适应这一趋势的关键。
讨论： 上述评论主要讨论了关于大型语言模型（LLM）被网站阻止的原因和影响。一些评论者认为，人们阻止LLM是因为担心LLM会截取读者流量，导致内容无法获得应有的关注和收益。他们提出，LLM可能会未经授权展示或使用内容，从而损害原创内容的流量和声誉。另一方面，也有评论者认为应该适应新的技术环境，而不是抵制。他们指出，LLM实际上为内容提供了新的展示渠道和流量来源。还有一些评论者质疑了文章的观点，认为其过于简化问题，没有充分考虑到LLM对内容分发、信息准确性和用户体验的影响。
原文标题：Blocking LLMs from your website cuts you off from next-generation search
原文链接：https://johnjianwang.medium.com/why-blocking-llms-from-your-website-is-dumb-3dc7c3c9097d
讨论链接：https://news.ycombinator.com/item?id=44815125