首先，我们采用了一些陈述和常用原则
Posted: Mon Jan 06, 2025 10:26 am
一个字，这都是一个阴谋 Google 已经找到了一种智能的方式来排列搜索查询的结果。但一个有趣的问题是 - 我们在哪里可以找到这种智能？许多人已经对索引过程进行了研究，甚至更多的人已经测试了排名因素的权重，但我们想知道 Googlebot 本身有多聪明。
并测试了 Googlebot 如何处理它们。有些结果是值 斯洛文尼亚 电话数据 得怀疑的，应该在几百个域上进行测试以确保无误，但它可以给你一些想法。 爬行者的速度 我们测试的第一个人是 Matt Cutts，他有以下声明：“ ...我们抓取的页面数量大致与您的 PageRank 成正比”。 这给我们带来了大型内容网站面临的挑战之一——让所有页面都被索引的问题。你可以想象一下，如果 Amazon.com 是一个新网站，Google 需要一段时间才能抓取所有 4800 万个页面，如果 Matt Cutts 的说法属实，那么没有任何传入链接就不可能实现。
为了测试它，我们取了一个没有历史记录的域名（从未注册过，没有反向链接），并创建了一个有 250 个链接的页面。这些链接指向的页面也有 250 个链接（等等）。链接和 URL 的编号从 1 到 250，与它们在源代码中出现的顺序相同。我们通过“addurl”提交了 URL，然后等待。由于该域名没有传入链接，因此它没有或至少没有可忽略的 PageRank。如果 Matt Cutts 的说法是正确的，Googlebot 很快就会停止抓取。 前 24 小时抓取的页面 从图中可以看出，Googlebot 开始以每小时大约 2500 个节点的速度抓取网站。
并测试了 Googlebot 如何处理它们。有些结果是值 斯洛文尼亚 电话数据 得怀疑的，应该在几百个域上进行测试以确保无误，但它可以给你一些想法。 爬行者的速度 我们测试的第一个人是 Matt Cutts，他有以下声明：“ ...我们抓取的页面数量大致与您的 PageRank 成正比”。 这给我们带来了大型内容网站面临的挑战之一——让所有页面都被索引的问题。你可以想象一下，如果 Amazon.com 是一个新网站，Google 需要一段时间才能抓取所有 4800 万个页面，如果 Matt Cutts 的说法属实，那么没有任何传入链接就不可能实现。
为了测试它，我们取了一个没有历史记录的域名（从未注册过，没有反向链接），并创建了一个有 250 个链接的页面。这些链接指向的页面也有 250 个链接（等等）。链接和 URL 的编号从 1 到 250，与它们在源代码中出现的顺序相同。我们通过“addurl”提交了 URL，然后等待。由于该域名没有传入链接，因此它没有或至少没有可忽略的 PageRank。如果 Matt Cutts 的说法是正确的，Googlebot 很快就会停止抓取。 前 24 小时抓取的页面 从图中可以看出，Googlebot 开始以每小时大约 2500 个节点的速度抓取网站。