<address id="lrx17"><dfn id="lrx17"><mark id="lrx17"></mark></dfn></address>

<sub id="lrx17"><listing id="lrx17"><mark id="lrx17"></mark></listing></sub>

      <address id="lrx17"></address>
    <sub id="lrx17"></sub>

    <font id="lrx17"><var id="lrx17"><output id="lrx17"></output></var></font>

    <sub id="lrx17"><var id="lrx17"><output id="lrx17"></output></var></sub>

    <address id="lrx17"><dfn id="lrx17"></dfn></address>
      <address id="lrx17"></address>

    robots.txt使用時的注意事項

    2017/2/20 8:48:05   閱讀:1417    發布者:1417

      robots.txt文件同時也有一定的風險,里面的隱私文檔最好不要寫在里面,否則的話容易給攻擊者指明了網站的目錄結構和私密數據所在的位置。設置訪問權限,對您的隱私內容實施密碼保護,這樣,攻擊者便無從進入。

      1)robots.txt必須放置在站點的根目錄下,而且文件名必須全部小寫。

      2)不要在robots.txt文件中設置所有的文件都可以被搜索蜘蛛抓取。

      3)為安全考慮,建議很重要的文件夾不要寫在robots.txt文件中。

      常見搜索引擎蜘蛛Robots名字:

      百度Baiduspider :http://www.baidu.com

      360搜索360Spider:https://www.so.com/

      SOSOSosospider:https://www.sogou.com/

      有道YoudaoBot/YodaoBot:http://www.yodao.com/

      搜狗Sogou News Spider:https://www.sogou.com/

      MSNmsnbot/msnbot-media:http://www.msn.com/zh-cn

      谷歌Googlebot :http://www.google.com

      雅虎Inktomi Slurp :http://www.yahoo.com

      必應MSNBOT :http://search.msn.com

    欧美性开放BBW