摘要： 2026年1月，Google更新了其搜索引擎的规则，指出如果网站没有robots.txt文件或者Googlebot无法访问该文件，那么该网站将无法被Google索引，从而在搜索结果中消失。这一变化可能导致许多网站管理员和开发者未能及时意识到其重要性。
讨论： 该内容主要讨论了Google搜索引擎如何处理网站上的robots.txt文件以及其对SEO的影响。一些用户引用了官方文档来解释Google爬虫如何处理4xx错误，特别是404错误，并指出如果robots.txt文件不可用，Google会假设没有爬虫限制。同时，有用户质疑了某些SEO专家的观点，并指出他们可能并不代表Google。讨论还涉及到了robots.txt文件的重要性、如何使用它来控制爬虫行为，以及缺少robots.txt文件可能带来的后果。有观点认为这可能是Google为未来可能的AI相关诉讼做准备，而其他用户则分享了他们的个人经验和观察。
原文标题：Fix your robots.txt or your site disappears from Google
原文链接：https://www.alanwsmith.com/en/37/wa/jz/s1/
讨论链接：https://news.ycombinator.com/item?id=46681454