郑州郭威进SEO博客:分享搜索引擎优化心得,关注最新搜索引擎动态!专注学习 & 爱生活、爱互联网!

网站的robots 文件的详细写法(史上最全!)+视频下载

栏目:SEO基础 浏览:

robots.txt是网站seo优化中起着很重要的作用,robots.txt是搜索引擎访问网站时需要查看的第一个文件。搜索引擎蜘蛛来到一个站点,首先要检查站点根目录下是否存在robots.txt,如果有,就会按照该文件中的内容确定访问范围,如果该文件不存在就会随意抓取,可能会抓到到重复路径或错误页面。下面我就和大家说说 rotbots.txt写法 ,希望对大家有所帮助。

robots.txt写法举例:
1、阻止全部搜索引擎访问网站的任何部门,也便是是阻止全部引擎收录你的网站。
       User-agent: *
       Disallow: /
2、容许全部的搜索引擎访问你的网站的任何部门,这是通常的用法。
       User-agent: *
       Disallow: /
       User-agent: *
       Allow: /
3、要是你网站的某个目录不想被搜索引擎收录,写法如下:
       User-agent: *
       Disallow: /目录名称1/
       Disallow: /目录名称2/
       Disallow: /目录名称3/
       不能写成Disallow: /目录名称1/ /目录名称2/ 这样的形式,每个目录要单独另起一行特别阐明。
4、仅仅容许某一搜索引擎访问你的网站。
       同样百度是baiduspider
       Google是googlebot
5、仅克制某一搜索引擎访问你的网站。 Google是googlebot 百度是baiduspider
       User-agent: baiduspider
       Disallow: /
       User-agent: googlebot
       Disallow: /
6、阻止搜索引擎访问网站中全部的动态页面(动态页面便是URL中任何带有“?”的页面)
       User-agent: *
       Disallow: /*?*
7、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。
       User-agent: *
       Allow: .后缀形式(如.html、.htm、.php等等)$
       Disallow: /
8、容许搜索引擎访问特定目录中的网页
       User-agent: *
       Allow: /目录1/目录2(容许访问目录2中的网页)
       Allow: /目录3/目录4(容许访问目录4中的网页)
       Allow: /目录5/目录6(容许访问目录6中的网页)
       Disallow: /目录1/
       Disallow: /目录3/
       Disallow: /目录5/
9、限定搜索引擎访问某一特定文件后缀形式的网页。
       User-agent: *
       Disallow: /*.后缀形式(如.html、.htm、.php等等)
10、阻止搜索擎访问网站特定某一文件格式的文件(注意不是网页)
       User-agent: *
       Disallow: /*.(文件格局:如gif、jpg等等)$
       以上是一些常用的格式。具体的写法还要以各个网站需求而定。

写robots.txt还要注意以下一些问题
  1、robots.txt文件因此纯文本格式存在的txt文件。
  2、robots.txt必须放置在网站的根目录中。
  3、写robots.txt时要严格根据以上大小写形式誊写
  4、通常你的网站比较简单,那么以上的格式足够你利用的了。
  5、robots.txt通常在某个分目录中还可以存在,但是要是与顶级目录中的robots.txt有不同,则以顶级目录中robots.txt为准。
  6、仅当您的网站包括不希望被搜索引擎收录的内容时,才要利用robots.txt文件。
  7、要是你不想自己动手写robots.txt文件,那么请Google帮你写。
        User-agent: *
        Disallow: /
      这种格式不但仅是阻止抓取页面,更主要的是你的网站被收录了,然后又把robots.txt文件修改成以上格局,那么你的网站将在搜索引擎中被删除,整个地删除。
 9、元标志对一样平常的网站来说可有可无,不过你还是得认识:
    <META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>(不容许抓取该页面,不容许跟着该页面上的链连续续抓取)
    <META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>(容许抓取该页面,容许跟着该页面上的链连续续抓取)
    <META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>(容许抓取该页面,不容许跟着该页面上的链连续续抓取)
    <META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>(不容许抓取该页面,容许跟着该页面上的链连续续抓取)

robots.txt 视频教程_下载地址:链接:http://pan.baidu.com/s/1pJ1Nkan 密码:pwnk
nofollow 视频教程_下载地址: 链接:http://pan.baidu.com/s/1sjqnQaD 密码:jt8p

 
 

随机相关文章:




上一篇:静态页面、动态页面、静态url、动态url和伪静态url的区别 + 视频   下一篇:网站优化之:万网空间ECS、网站空间、服务器、VPS区别选购详解