通过 robots.txt 关闭。
从某种意义上说，文本文件robots.txt可以称为为搜索引擎索引资源的指令。借助它的帮助，您可以轻松禁止对各类官方文档建立索引并识别重复项。
填写指令时，需要小心，不要向搜索引擎隐藏主要部分或向搜索引擎隐藏整个网站。
机器人会乖乖地绕过“禁止”中指定的页面，但每个 ios 数据库 机器人都会以自己的方式对其存在做出反应。随着时间的推移，Yandex 只会从索引中删除所有禁止的目录，如果链接配置到特定文档，Google 就可以绕过禁令。
301重定向。对于那些没有很多重复项，但由于某种原因他们不希望被阻止建立索引的人来说，此方法很方便，例如，由于外部链接。在这种情况下如何删除网站上的重复页面？设置从副本到主页的 301 重定向。
该标签以编程方式实现到每个这样的帖子中，然后，即使它有 100 个 URL，搜索引擎也只会使用代码中编写的一个。并且它不会注意到那些其自己的 URL 与链接 rel =“canonical”中指示的 URL 不同的文档。
谷歌搜索控制台。这不是一种流行的技术，但效果很好。您可以在 Google Search Console 的“抓取”-“URL 选项”部分中使用它。
有关此主题的推荐文章：
逐步的网站推广
搜索引擎优化
唯一网站访客
该表包含必要的 URL 参数。通过添加其他内容，我们告诉搜索机器人带有附加数据的页面不会更改该部分的内容，因此没有必要对它们建立索引。确实，当一个新参数添加到地址时，该部分的内容也可能会被打乱，保持其组成不变。例如，这可以按受欢迎程度对帖子进行分类。
通过向搜索引擎提供必要的信息，资源所有者可以帮助Google在抓取网站的过程中更准确地分析网站。但是，通过在 URL 中添加参数来索引文档的问题的解决方案最好由 Googlebot&rauqo 机器人自行决定。
