相反，这就是你想为谷歌描绘的画面。是的，我们有一个包含 1,000 个页面的网站……这是这 1,000 个页面中的 475 个页面，。您可以忽略其他页面 – 它们是实用程序页面。 现在，假设 Google 抓取了这 475 个页面，并根据其指标确定其中 175 个为“A”级，200 个为“B+”，100 个为“B”或“B-”。
这是一个相当不错的总体平均值
并且可能表明这是一个可以将客户吸引到的 电话号码数据 相当可靠的网站。 将其与通过 XML 站点地图提交所有 1,000 个页面的站点进行比较。现在，Google 会查看您所说的具有良好内容的 1,000 个页面，发现超过 50% 是“D”或“F”页面。
平均而言，您的网站非常糟糕
谷歌可能不想让用户访问这样的网站。 隐藏的绒毛 请记住，Google 将使用您在 XML 站点地图中提交的内容来指示您网站上的潜在重要内容。但仅仅因为它不在您的 XML 站点地图中并不一定意味着 Google 会忽略这些页面。
您仍然会有数千个页面
其内容和链接资产几乎不足以被索引，但事实 新兴企业家拥抱灵活性 不应该如此。 网站必须做的：搜索以查看 Google 从您的网站中索引的所有页面，以找到您忘记的页面，并通过将元机器人设置为“noindex,follow”（或在 robots.txt 中阻止），将它们从 Google 将为您的网站提供的“平均排名”中清除。
通常仍然进入索引的
最弱页面将在 site:search 中最后列出。 Noindex 与 robots.txt 使用元机器人和使用 robots.txt 来防止页面索引之间存在重要但微妙的区别。元机器人使用“noindex,follow”来允许此页面的链接权转到它链接到的页面。
如果您用 屏蔽某个页面
您只是将其冲进马桶。 在上面的示例中 学生手机清单 我阻止了不是真实页面的页面（它们正在跟踪脚本），因此我不会失去链接资产，因为这些页面没有带有主菜单链接等的标题。 将页面想象为“联系我们”页面或“隐私政策”页面 – 可能通过主菜单或页脚菜单链接到网站上的每个页面。
因此这些页面有大量的链接
你想把它扔掉吗？或者您会让该链接资产进入主菜单中的所有内容吗？这个问题很容易回答，不是吗？ 抓取带宽管理 您什么时候真正想要使用 robots.txt？也许如果您遇到抓取带宽问题，并且 Googlebot 花费了太多时间来获取实用程序页面，结果却发现其中的元机器人“noindex，follow”并退出。