一、是否通过来屏蔽动态页面，减少页面的重复抓取?
其实个人建议普通网站不必要进行动态页面的屏蔽，搜索引擎一般会自动判断是否重复，普通网站内容并不是非常多，一般出现重复页面的可能性也比较低，如果是信息站和论坛站等建议屏蔽动态页面。
二、屏蔽特殊页面，隐私内容的屏蔽。
特殊文件夹一般是指，网站程序安装文件，动态功能页面，多于的文件夹，后台功能等。<文件的好处刚才也说了，就是提供搜索引擎蜘蛛看的，告诉它哪些文件你不要看，不给你的，这是它的优点，但是 robots.txt在告诉搜索引擎蜘蛛的同时，也在告诉其他人，这个网站的隐私，比如：网站后台文件夹地址，相信很多站长都会在robots.txt上面填写，如： 从这里我们可以看错应该是织梦程序，当然我们可以更改。网站屏蔽的安装文件地址，如：这一般是程序安装文件的地址，就算我们后台地址更改后一样能分析出是什么程序做出来的。