网站SEOrobots.txt怎么写,robots规则是什么?
网站SEO
作者: 神回复
2015-10-06 11:23
[ 久闻导读 ] 我做了一个个人网站,网站没有写robots文件,今天才看到网站优化需要写robots文件,请问一下,网站如何写robots文件,另外robots文件的规则是什么。

问:我做了一个个人网站,网站没有写robots文件,今天才看到网站优化需要写robots文件,请问一下,网站如何写robots文件,另外robots文件的规则是什么。

答:如果你网站要做网站优化,那就得做robots文件,一来可以增加网站收录,二来可以屏蔽网站禁止收录的内容,比如登录注册页面、后台页面可以直接禁止,那么robots文件怎么写呢?

User-agent: *(这是robots文件的第一句话,告诉搜索引擎哪些搜索引擎被屏蔽,*号表示所有搜索引擎)

Disallow:/blog/(表示禁止blog栏目收录)

Disallow:/blog(这里少一个/,表示禁止栏目一下的内容,比如此栏目的文章页面也会被禁止)

Disallow:*?*(屏蔽所有动态页面)

Disallow:/*.php$(屏蔽所有php结尾的页面)

Allow:/123/(允许搜索引擎被收录的栏目)

Sitemap: http://www.360zimeiti.com/sitemap.xml(这是网站地图文件)

上面是robots文件写法以及规则,但是很多朋友可能不知道什么页面应该屏蔽,什么页面需要不应该屏蔽,我这里可以指出来。

登录注册:通常情况下登录和注册页面算是空白页面,为什么呢,第一这个页面不需要竞争排名,第二这个页面没有搜索价值。

公司简介联系我们:这类页面虽然不是空白页面,有文章,但是对于搜索引擎来说是没有价值的,没有用户会搜索联系我们,然后来你网站的。

后台页面:我不让其网站的后台被搜索引擎收录,可以试着屏蔽这个页面。被收录了容易暴露后台登录地址。

动态页面:搜索引擎更喜欢静态页面,因为URL和打开速度都有优势,如果你网站做了伪静态,还有部分动态的,可以直接屏蔽。

相关文章

  • 验证码: 看不清?点击更换 看不清? 点击更换
  • 意见反馈
    意见反馈
    返回顶部