森七

如何巧妙写robots文件,既禁止指定目录抓取又不让别人看到你的禁止目录
robots文件,一个说难不难,说易嘛,真要用到特殊情况的时候也不容易,一个让SEO又爱又恨的东西。比较最近提交r...
扫描右侧二维码阅读全文
12
2017/03

如何巧妙写robots文件,既禁止指定目录抓取又不让别人看到你的禁止目录

robots文件,一个说难不难,说易嘛,真要用到特殊情况的时候也不容易,一个让SEO又爱又恨的东西。比较最近提交robots文件,既不想让蜘蛛抓取我的指定目录,又不想被别人通过robots文件看到我的目录。常见的robots文件无非也就随便allow,disallow一下,当然今天用的这个方法也是巧妙的disallow了一下。不多说,直接上栗子:

User-agent: *
Disallow: /*admi*
Disallow: /*dat*
Disallow: /*inclu*
Disallow: /*instal*
Disallow: /*logrepor*
Disallow: /plus
Disallow: /style
Disallow: /*templet*

这里巧妙的使用了号,Disallow: /admi,意思是包含“admi”的 目录或域名 都不能被抓取,而admi*,可以是admin,admin123,admin444,admin_2baa ... 可以是无数的可能,所以几乎没人猜得出来,也就相当于禁止别人看到你的目录了,从而起到安全作用。(robots文件参考:http://zhanzhang.baidu.com/college/courseinfo?id=267&page=12#h2_article_title28
如何巧妙写robots文件,既禁止指定目录抓取又不让别人看到你的禁止目录

阿里云广告
Last modification:February 10th, 2019 at 12:10 am
If you think my article is useful to you, please feel free to appreciate

Leave a Comment

4 comments

  1. 火牛视频

    要用到特殊情况的时候也不容易。

  2. YangOne

    顶多就禁用后台吧。

  3. 久伴

    路过来看看哈

  4. 淘宝内部优惠

    学习了,马上就回去改robots