衡水SEO优化将网站关键词排名推广到百度快照第1页
152-1580-3335
网站推广、网站建设专家！
专业、务实、高效
网站推广、网站建设专家！
专业、务实、高效
网站SEO利器：robots和谈标准誊写
Robots文件是网站战蜘蛛法式之间的“正人和谈”——robots文件不只仅能够节流网站的资本，借能够协助蜘蛛愈加有用的抓与网，从而进步排名。
1：只许可谷歌bot
假如要阻拦除谷歌bot以外的一切爬虫：
User-agent:*
disallow:/
Uer-agent:许可的蜘蛛名
Disallow:
2：“/folder/”战“/folder”的区分
举个例子：
User-agent:*
Disallow:/folder/
Disallow:/folder
“Disallow:folder/”暗示阻拦的是一个目次，该目次文件下的一切文件没有许可被抓与，可是许可抓与folder.hlml。
“Disallow:/folder”：对/folder/下的一切文件战folder.html皆不克不及被抓与。
3：“*”婚配随便字符
User-agent:*
暗示屏障一切的蜘蛛。当我们做了真静态处置以后，会同时又静态网页战静态网页，网页内容如出一辙，视为镜态页里，以是我们要屏障失落静态的网页，能够用*号去屏障静态的网页
User-agent:*
Disallow:/?*?/
4：$婚配网址完毕
假如要阻拦以某个字符串完毕的网址，便能够利用$，比方，要阻拦以.asp完毕的网址：
User-agent:*
Disallow:/*.asp$
也能够翻开比力优良的网站，看他们的robots文件是怎样誊写的，然后按照本人的需供停止响应的修正。Robots文件能够让蜘蛛把更多的工夫花正在要抓与的内容上，以是SEOrobots文件是很有须要的。
本文去自东阳下复：mygaofu，转载请说明链接
注：相干网站建立本领浏览请移步到建站教程频讲。
相关信息
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
