大语言模型(LLM)不会完全取代搜索引擎，但无论如何，谷歌和必应正在向大语言模型(LLM)发展。因此，今天的“搜索引擎”与昨天的搜索引擎已经不同了。我们将大语言模型(LLMs)出现之前的时间称为传统搜索。大语言模型(LLM)优先的产品整合了传统搜索的一些方面。而传统搜索则添加了大语言模型(LLM)的答案。

传统搜索对于交易、产品、实时和行动导向的查询仍然非常有用。此外，它还可以发现本身具有价值且无法通过大语言模型(LLM)重新表述的教育/娱乐内容。

你假设大语言模型（LLMs）会取代搜索引擎。为什么会这样？

在我看来，要实现这一点，需要进行大量的优化，因此不太可能。大语言模型(LLM)的答案速度慢且不可靠。根据我的经验，即使使用像困惑度这样的东西，也比使用常规搜索引擎没有多大价值。

人工智能提供商已经收集并将继续收集互联网上所有已发布的信息，或几乎所有信息。由于“信息”是无限的，人工智能无法在完全意义上包含“所有信息”。但它肯定可以回答任何可爬网网页曾经针对过的、与现有搜索查询相关的几乎所有重要问题。

无论如何，正如现实世界中的搜索引擎优化（SEO）所表明的那样，信息查询的流量正在急剧下降，效果是一样的。这种现实世界的影响才是最重要的，无论采取何种阻止措施，都不会逆转。

>人工智能包含了所有已发布的人类信息

不，它绝对没有。它确实是在大量人类知识/互动数据上进行训练的。

一个完美呈现/压缩所有这些信息的模型，应该是一个压缩文件，而不是模型文件。

“信息”已死，但内容并未消亡。故事、同理心、社区、连接、产品、服务。此类内容正在爆炸式增长。

最大的挑战是可发现性。过去，信息套利是让你的内容被发现或赚取利润的一条途径。随着人工智能的出现，这种情况已经结束。需要新的发现方式，主要是基于网络和社区的。人工智能会给你一些骨头，但这将仅占SEO所做工作的10%。

我们正处于网络内容盗窃的Napster阶段。

> 文件中的政策没有技术强制执行，是否遵守完全取决于客户端。

那是不正确的。Cloudflare 确实会在技术层面强制执行这一点。Cloudflare 已经从事机器人检测多年，能够相当可靠地检测到机器人是否遵守 robots.txt 文件，并随后阻止它们。