为什么要禁抓自己的网页呢?这似乎有点让人不理解，因为对于自己的网站来说，显然是让百度搜索引擎抓取的越多就会越好，因为有着更多的机会暴露到互联网上。可是事实上一个网站通常有很多的内页不应该被百度抓取，因为这些网站页面不仅不利于自身的优化，甚至还会带来反作用。

　　那么通常哪些网站页面不应该被百度抓取呢?比如网站内部存在着一定的重复性内容，比如一些按照条件查询获得的结果页面，这一点在很多商城类网站表现的非常突出，比如一个产品因为颜色、大小和型号的区别，就会出现很多种类似的页面，这种页面能够对用户来说具有一定的体验度，但是对于搜索引擎，却容易因为提供的重复内容太多，而被惩罚或者降权。

　　另外网站中还存在着很多注册页面、备份的页面以及测试页面等，这些页面仅仅是为了让用户能够更好的操作网站，以及自己对网站的操作管理。而这些页面由于内容相对单调，并不符合百度对内容质量的要求，因此要尽可能的规避被百度收录和抓取。下面就来具体谈谈如何规避百度抓取内容页的方法。

　　第一，运用Flash技术来展现那些不想被百度收录的内容。通过这种方法不仅能够让用户获得更好的用户体验，同时百度也不能够抓取这些内容，从而实现更好的服务于用户，同时也不会影响到自己的内容再百度中暴露。

　　第二，采用robots脚本技术来屏蔽相应的内容。目前搜索引擎行业协会规定了对于Robots描述的内容和链接给予禁止抓取，因此对于网站上存在着隐私内容，以及管理页面和测试页面等内容，都可以设置到这个脚本文件中，这不仅能够对本网站提供很好的保护，同时也能够让那些看起来是垃圾的内容，规避被百度抓取后，反而对本网站形成巨大的负面作用。

　　第三，使用nofollow属性标签来摒弃页面中那些不想被收录的内容。这种方法使用比较常见，而且能够针对网页中某一个区域或者一段文字进行屏蔽，从而提升自己网站内容的优化效果。采用这种技术只需要对需要屏蔽的内容将nofollow属性设置为True，就能够屏蔽这些内容。比如对于网站上存在着一些精彩的内容，但是这些内容还包括了锚文本链接，那么为了防范这些锚文本外链偷走本站的权重，就可以对这些锚文本链接设置nofollow属性，这样就能够享受到这些内容带给网站的流量，同时也能够规避网站权重被分流的危险。

　　第四，使用Meta Noindex和follow标签。使用这种方式既能够实现防止被百度收录，同时还能够实现权重的传递，当然具体怎么操作还需要看站长们的需求，不过采用这种方式来屏蔽内容，往往会浪费百度蜘蛛的抓取时间，从而影响优化体验，也就是说不到万不得已时不需要采用这种模式。

　　对于有些站长采用的表单模式和Javascript技术来进行屏蔽，目前已经不能够完成这项任务了，因为随着百度蜘蛛智能化水平的提升，采用这些技术编写的内容已经能够被抓取，而且从不久的将来，Flash里面的内容一旦能够被抓取，如果想要屏蔽网站内容，这个方法也要规避使用。本文来源于dj舞曲，转载请保留作者链接，谢谢。