想要索引的页面上发现该

[mstakh.i.mom.i]

如果您在标签，请将其删除。 还有许多工具可以帮助解决这个问题——例如，Ahrefs SEO Toolbar扩展。 被 Robots.txt 屏蔽 虽然 noindex 标签很容易排除故障，因为它们存在于单个页面上，但有时您的页面会被网站的robots.txt文件阻止。 robots.txt 文件与 sitemap.xml 文件非常相似，因为它位于您网站的根目录中，目的是向搜索引擎爬虫提供信息。


也可以指定抓取工具，例如 Googlebot。接下来，该文件指定了许多允许和 保加利亚 whatsapp 电话号码 禁止行，其中一些行禁止特定页面（例如 /team-new），而其他行禁止整个目录（例如 /site-explorer/*）。这是您需要小心的地方。 您可能很想写 Disallow: /blog/ 以避免您的博客文章摘录出现在博客概览页面上而导致“重复”内容。但是，这种语法最终会阻止任何以 /blog/ 开头的 URL。您可以通过完全删除该行或向 robots.txt 文件添加 Allow: /blog/* 规则来解决这个问题。


但是，对于单个页面，建议您改用上一节中提到的 noindex 标记。 重定向页面 重定向是让 URL 保持有效的绝佳方式，即使您对网站结构进行了更改也是如此。例如，您可能已将博客文章的 URL 从 /2023/05/03/sitemap/overview 更新为 /blog/sitemaps，这样，原始链接就不会导致 404 页面，而是会301 重定向到新 URL。 但是，错误使用重定向可能会产生严重后果。