因國內大部分虛擬主機限制了每月的流量，在通過空間商提供的控制面板查看訪問流量時發現非瀏覽器瀏覽占去大量的流量，通過查看：
搜索引擎網站的機器人發現大量流量是被Unknown robot (identified by ‘spider’)、Unknown robot (identified by 'robot')消耗掉，除了百度，GOOGLE等常見搜索引擎蜘蛛外，有些不知名搜索引擎蜘蛛違規胡亂爬行我們的網站，造成流量被大量消耗和占用CPU資源，導致網站訪問速度變慢，超出流量還需要單獨再付費購買流量，給客戶造成經濟負擔。那么我們需要做一些設置將其屏蔽。為客戶快速解決這個問題。 
robots.txt爬蟲協議 對正規的搜索引擎會有效，但對一些不知名的搜索引擎可能會無效，現在GOOGLE被國內封鎖，如果你的用戶是國內客戶，可以將GOOGLE搜索引擎一起屏蔽掉。 以下代碼為：
禁止除百度、360外的一切搜索引擎索引你的網站
User-agent: Baiduspider
User-agent: 360spider
Disallow: User-agent: *
Disallow: /
 在網站根目錄下創建名為robots.txt的記事本文件，把以上代碼的紅色部份放到robots.txt內即可。
User-agent為充許某個搜索引擎索引你的網站。如要增加搜狗:Sogou web spider、有道:YoudaoBot等，增加User-agent即可。

如果對代碼不熟悉，可以通過在線生成工具操作生成。http://tool.chinaz.com/robots/