什么是文件，印度電話號碼列表 它的用途是什么？

suji35

很少有一天我们不使用 Google 来搜索某些类型的信息。世界上最著名的搜索引擎为我们的生活提供了各种解决方案，因为它是  公民最容易使用的品牌之一。然而， 搜索引擎需要信息，他们天生好奇，想知道关于我们生活和网页的一切。简而言之，他们贪婪地获取知识和信息，因此了解 使用和操作非常重要。 搜索引擎有机器或机器人来爬网，以便在其数据库中对尽可能多的信息进行分类和索引。 是在网络上广泛用于索引网络内容的一类机器。例如，垃圾邮件发送者使用它们来跟踪电子邮件地址。 但请注意，它们还有许多 其他用途，例如在 XML 中定位站点 印度電話號碼列表 或阻止对代码文件和目录的访问。 的世界令人兴奋，今天我们将尝试阐明这个主题，因此我们将告诉 您 文件的工作原理、您需要了解的内容以及应该如何处理它们. 什么是 文件 当我们创建一个新网站时，我们需要 Google 能够访问我们的页面以抓取我们的信息。要执行此任务，有必要在我们的域中创建一个文本文件（扩展名为 .txt），以向搜索引擎提供我们有兴趣了解的有关我们的网站或业务的所有信息。同时， 此 .txt 文件用于防止机器人或 添加我们不希望与 Mountain View 公司共享的数据和信息。

根据 Google， .txt 文件的定义如下： “存档是位于站点根目录的文件，它指示您不希望搜索引擎爬虫访问哪些部分。该文件使用机器人排除标准，这是一个包含一小组命令的协议，可用于按部分和特定类型的网络爬虫（例如移动爬虫或桌面爬虫）指示网站访问。）»。 文件的工作原理 的操作比看起来要简单。我们需要知道的第一件事是  文件的用途以及它能够索引或不能够索引我们网站的哪些元素。 此外， 的操作是有限的，我们的网址还有其他 印度電話號碼列表 系统可以在网上找到。 网页上 文件的站点地图。 网页上的 及其文件的操作站点地图。 请注意，中的说明只是指导性的，并非确定性的。例如，名为 Googlebots 的谷歌机器人确实遵守 文件中的命令，但其他搜索引擎（Yandex、Alltheweb、ASK 或 Altavista）则不必这样做。 例如，Google 不会抓取或索引我们使用 阻止的页面上的任何类型的内容信息，但是，它会将其他元素或网页中的所有地址或 URL 编入索引，即使它们被限制在 .因此，一个重要的建议是，如果您的网页将包含敏感信息但您不想共享它，最好不要创建它。

两种类型的机器人：u ser-agents 和 robots 谷歌区分了几类机器人： 您专门用于搜索和提供说明的用户代理。为了使用这个机器人，必须添加以下命令：  User-agent: * 其余的机器人是 Googlebot： Googlebot-Mobile（专用于移动设备）和 印度電話號碼列表 -Image，用于图像和摄影。 禁止命令 如果我们想限制此类机器人的文件索引，我们必须使用“Disallow”命令。例如，如果我们想从我们的网站中删除一些内容，我们将放置以下内容： 在阻止整个站点的情况下，我们将添加一个斜杠，如下所示：Disallow: / 如果我们想阻止目录及其中的所有内容，我们将输入以下内容：Disallow: 要阻止整个页面，请将其放在 Disallow 之后，如下所示：对于图像，它们通过以下方式消除： 如果您只想删除图像：  User-agent: Googlebot-如果您想从 Google 图片中删除所有图片，请包含以下命令： 用户代理：Googlebot-Image Disallow：/ 要阻止某种类型的文件（例如 .gif），您可以包含以下命令： 用户代理：Googlebot 禁止：/*.gif$ 其他用的也很多的命令 站点地图- 指示站点地图在 XML 中的位置。