用noindex，nofollow严禁爬虫收录特定网页
我们不希望网站的一些页面展现很多。有些页面是不必要被百度收录的，也不需要出现在搜索结果中供用户看到。此时，我们可以使用它noindex或nofollow严禁搜索引擎检索语法。
为什么严禁检索网页？
网页中的一些功能不需要被搜索，也不需要被爬虫抓住来寻找结果页面，如未完成的网站、后台管理页面、购物车、会员信息、版权声明、登录或用户留下的信息…没有必要让用户通过搜索等待关键页面，所以我们会使用它noindex，nofollow严禁用这种语法检索爬虫。
严禁爬虫检索和检索应用语法，其目的不仅是让用户看不到这些图片，还告诉爬虫不要检索，不要影响SEO优化评分，因为这些页面对用户和网站没有成正比，也没有帮助寻找目的。如果爬虫搜索这些内容，网站的权重就会降低。
用noindex严禁搜索网页
Noindex是html meta当爬虫看到元素上的值时noindex不会搜索网页，包含在结果页面中。
简单来说就是告诉爬虫，一个网站有这个东西，但是没有必要把它作为搜索结果发给用户查看更多，因为它对寻找意图和目的没有帮助。比如购物车和结账图片，会员登录和材料，隐私政策，版权声明…等。
想象一下，每个人都通过百度搜索引擎搜索「伴手礼」，点击结果后，场景不是产品，而是其他图片或会员登录。你不觉得无缘无故吗？当然，大多数用户肯定也这么认为。
避免大多数搜索引擎编入索引：
＜meta name="robots"content="noindex＞
避免将特定的搜索引擎编入索引(例如)百度)：
＜meta name="baidu bot"content="noindex"＞
这个命令需要一些，单页设置，比如网站有5个地方不需要检索，需要设置5次，5页。详情请参考百度搜索中心：中继标识
有些人可能会发现它不能使用robots.txt告诉爬虫什么页面不需要检索吗？这两个功能还是有些不同的。
Noindex与robots.txt
noindex
在网站的某些页面上，爬虫可以被告知「这个页面」不要检索和检索。
robots.txt
在网站的根目录中，告诉爬虫不要检索这个「整个」网站，比如网站管理后台，特定资料内的档案和测试网站。
不过，由于robots.txt不是强制命令，也不是所有搜索引擎都会遵循，所以应用程序robots.txt严禁爬虫爬网站内容，仍有可能未经检索，不小心将网站编入索引。
延伸阅读：
robots.txt用途是什么？爬虫听话的秘密是什么？
用nofollow无关连结的声明网站
Nofollow也是html meta元素上的一个值，用来告诉搜索模块不要跟踪特定的网站连结，也就是爬虫看到nofollow网站上的任何内链都不会跟踪。
这通常用于网站上的评论和评论区，或者用户可以自由发布评论类网站，如论坛、社区媒体或留言板…等。
有了这个类别的网站，很容易吸引很多垃圾评论，广告及其站无关。当一个网站充斥着这种不必要的链接时，很容易降低网站的排名和质量，所以我们可以使用它nofollow告诉爬虫这些联系和我们没关系。
避免搜索引擎检索：
＜metaname="robots"content="nofollow"＞
不过百度现已将nofollow请将用户自制内容(评论或论坛)的链接标识改为爬虫的参考标准，而不是关键指标。ugc，语法体现如下：「rel="ugc"」。详情请查看：表示链接限制
网页上的隐私内容
为了改善网站的一些页面的隐私，不仅要结合语法限制使用，还要适度增加验证系统。例如，设置会员账户、添加验证系统、选择可锁工具或添加功能来阻止，这些都是改善隐私的方法。
声明本文内容来自网络,若涉及侵权,请联系我们删除! 投稿需知:请以word形式发送至邮箱18067275213@163.com
关于西藏，我作为一个在广东打工的人，当我亲身体验，而且看过不记其数的事，我们万分警惕，但是90%的人还是在血汗工厂和黑心老板的陷阱里挣扎。从这个角度说西藏，我就能够明白国外为什么支持西藏独立了：很简单，一对夫妇，无论他们多么合法，结合多久，如果丈夫是个恶棍，大家都会支持妻子离婚的，你会不会支持妻子？站长，用你的良心回答？
国内抄袭现象确实很严重，因为抄袭成本低吖，又没有有效的法律约束
“链接点击率用户点击链接后在你的网站停留多长时间 ”严重支持站长的观点，本人就曾经观察到过。一篇技术文章，没刻意整啥。就是因为文章长，只是文章对浏览者有意义。每次来的IP停留时间都挺长的。结果造成此关键词直接从第三页到第一位。并且相关关键词从十几页直接到首页第十位。嘿～效果特别明显（注是在百度）“所以流量对于排名中应该没有太大关系。”这位朋友回去好好观察吧！无论是动态IP或者页面停留时间，都能有助排名的提升！看你会不会用而已！！！
老大你真早，学习下。
来关注一下。逍遥博客
来学习了，把我的联邦进货网也做成树状结构
老大又要出书了？twitter我也刚刚迷上，翻墙的感觉真好。
服务器位置应该有关系，刚好最近碰巧更换了服务器，放到了china 流量一下飞升。