【robots协议设置】什么是robots协议?应该如何编写robots.txt?


seo优化的伙伴应该都知道这个robots,只是对于新手来说,可能还是不太懂,所以,我就再这说说这个robots了。

Robots其实就是指Robots协议,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(RobotsExclusionProtocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

而承载这些协议的文件就是robots.txt文件,那么robots.txt文件到底有啥用途,robots协议应该怎么写,有哪些注意事项,胜达SEO优化在本文将详细跟大家介绍。


一、robots.txt文件的含义

前面有提到,这个文本文件承载着robots协议,它告诉所有搜索引擎本网站哪些页面可以被抓取,哪些页面禁止抓取。这样做有两方面的意义:

1.保护隐私。有些页面信息不想或者说不能让外界看到,单搜索引擎并不知道这些情况,它还是会照常抓取、展现。如果我们通过设置robots做了限制,搜索引擎蜘蛛就会放弃抓取,外界就不能通过搜索引擎了解到这些隐秘信息。

2.调节页面抓取量。我们都知道每个网站蜘蛛抓取的配额都是有限的,如果我们通过robots.txt文件禁止一些不重要的页面被抓取,那么就节约了配额,让那些重要的页面得到更多的抓取机会。

二、robots.txt文件的写法

robots协议针对的就是允许或者不允许,另外也可以设置具体的搜索引擎,笔者认为正常情况下不用去区分搜索引擎,统一设置即可。

1.禁止所有搜索引擎访问网站

User-agent:*

Disallow:/

2.允许所有搜索引擎访问网站

User-agent:*

Allow:/

这是最基本的用法,robots协议的用法还有很多技术,我建议大家去仔细阅读robots协议。

三、robots.txt文件相关注意事项

有朋友说我的网站没有什么要禁止抓取的,你就不要设置robots.txt文件了吧,理论上行得通。不过建议,即便全部开放也最好设置一个robots文件。

四、robots.txt文件的位置

robots一般都是需要放在网站根目录下的。在链接url的显示就如本站robots链接:

http://www.zzbaiduyouhua.cn/robots.txt

五、robots文件生成

有朋友提到有没有直接生产robots文件的工具,我认为这完全没有必要,robots文件应该手动去具体设置,这样才能发挥robots.txt文件最大的作用。

不过,现在很多SEO工具里面都是会带有这个robots设置功能,自己去勾选哪些需要屏蔽的目录,哪些需要屏蔽的链接的,也是为那些不懂得robots编写的用户提供方便。

本文只是对robots.txt文件做了大体意义上的讲解,更多robots协议各位可以百度查看百度百科资料,robots优化设置可以查看百度站长平台提供的资料。

猜你可能会喜欢

百度最新规则,随时掌握,互联网业务才能更出色

容易让新手陷入SEO误区都有哪...

很多人在SEO学习中会看到各种各样的教程,很容易让新手陷入误区,今天希望下面

SEO优化人员要特别注意的6个...

网页标题对于搜索引擎排名来说是绝对重要的第一要素,可以是没有SEO哪些工作

怎么样才能使新建设的网站快...

SEOer一般都会动手为自己搭建一个网站,一般以个人博客类为主流。对于刚刚入

【外链建设技巧】网站优化外...

网站seo优化就好比一个人练武功,注重包装宣传,忽视网站本身质量就属于&ldquo

网站优化技巧分享,我们需要注...

互联网技术的高速发展,越来越多的企业都开始重视起网站,但是想在那么多的网

做网站优化为什么有的首页没...

如何做好seo优化呢?最近出现很多优化的网站出现这样的情况:首页关键词没有

网站优化服务支持

正规的网站优化公司,丰富的网站优化案例,专业的网站优化团队

因为我们更专注,所以我们更专业!