网站建设

城市: 北京 天津 湖北 广东 湖南 江西 河南 河北 陕西 吉林 辽宁 黑龙江 福建 上海 云南 贵州 四川 成都 更多
  当前位置:首页 > 网站优化 > SEO教程 >

认识robo「达内seo培训」ts.txt文件

作者:快速仿站 来源:网络整理 发布时间:2019-08-21 浏览

0

几乎每一个网站根目「外贸最好的平台」录下都有一个robots txt文件,但是对于一些新手来说却不知道这个文件是什么意思,觉得别人上传我也上传,「seo的培训学校」而并没有根据自己网站实际情况来进行编写robots txt文件,王小优就...

几乎每一个网站根目录下都有一个robots.txt文件,但是对于一些新手来说却不知道这个文件是什么意思,觉得别人上传我也上传,而并没有根据自己网站实际情况来进行编写robots.txt文件,王小优就把自己所学到的robots知识分享给大家一起参考。认识robots.txt文件网站根目录下的robots.txt是一个搜索引擎协议,robots的作用是起到处理无内容页面、死链、敏感文件、屏蔽一些其他路径的作用,搜索引擎蜘蛛第一个抓取的文件就是robots.txt文件,蜘蛛会根据robots.txt中的协议命令来进行抓取网站,但是,robots不建立索引并不代表搜索引擎蜘蛛就一定不会去爬取我们的网站,因为蜘蛛也是有自己思想的「seo优化cm」嘛。每「什么外贸平台好」一个搜索引擎对robots协议生效的时间都不一样,比如,百度对robots的生效时间官方说法是7天,而谷歌对robots的生效时间就只有24小时就可以生效。我们先一起看看织梦程序自带的robots.txt文件是怎么写的吧!认识robots.txt文件看完织梦的robots.txt文件,我们就该了解一下,这些robots协议命令都有什么、分别又都是什么意思了。①User-agent:是定义网站可被抓取的搜索引擎蜘蛛,常见的搜索引擎蜘蛛有百度蜘蛛Baiduspider、谷歌机器人Googlebot、360好搜360spider、SOSO蜘蛛Sosospider;②Disallow:是禁止搜索引擎不抓取的文件夹或某个文件;③Allow:是允许抓取的意思。另外,我们在一些别人的网站中还会见到一些其他的字符,那么这些是什么意思呢?①*代表所有,代表一个或多个,比如User-agent:*这是代表允许搜「外贸销售网站」索引擎抓取网站;②$代表结束符,比如Disallow:php?$这是代表禁止搜索引擎蜘蛛抓取路径中含有php?问号以后的链接。认识robots.txt文件下面,我们再来说一下编写robots.t「如何进行网站seo」xt「seo优化的重要任务是」文件需要注意哪些事项。1、robots协议命令的每一行首字母都必须是大写,这一点是必须要注意的;2、协议命令后的冒号必须在英文状态下的冒号,不可以使用中文状态下的冒号;3、英文冒号后面必须要打一个空格,不可以不打空格;下面,株洲建站就根据「国外网站优化」robots.txt来具体举例一下robots.txt的协议命令都是什么意思,通过举例的方式来让大家了解的更透彻一些,不然大家只知道理论不知道所代表是什么意思也是不行的,对不对?Disallow: /【这是指禁止搜索引擎蜘蛛抓取网站,斜杠是代表网站根目录的】Disallow: /baidu/【代表禁止搜索引擎蜘蛛抓取baidu这个文件夹,如果禁止搜索引擎蜘蛛抓取网站某个文件夹,需要在该文件夹名的前后都写上斜杠】Disallow: /ba「学seo去哪」idu【禁止搜索引擎蜘蛛抓取以baidu开头的链接,这一条的写法和上一条的区别仅仅只是后面少了一个斜杠,但是,作用千差万别,请注意】User-agent: *Disallow: /【禁止所有搜索引擎「seo优化都有些什么业务」抓取网站根目录,User-agent: *是允许所有搜索引擎,Disallow: /是禁止抓取网站根目录,这两条结合使用就是这个意思】User-agent: *Disallow: /文件夹名/Allow: /文件夹名/文件名/【这三条的意思是禁止所有搜索引擎蜘蛛抓取网站的某个文件夹,但是允许抓取该文件下的某个文件】Disallow: /*htm$【这是禁止抓取htm以后的路径链接,比如一些含有参数的链接,搜索引擎蜘蛛只会抓取到htm不会抓取htm以后的路径】最后要说一下的是robots协议中凡是带有?的都是是代表动态路径,另外,如果网站已经使用了伪静态,要用Disallow: /*?*进行屏蔽动态路径,小伙伴们看完我的文章,大家有没有理解robots的意思呢,如果理解了就赶快去给自己的网站进行编写robots.txt文件吧!

相关热词搜索:抓取 文件 蜘蛛 搜索引擎 网站

欢迎转载,转载请注明原文网址: https://www.seo-820.com/seojiaocheng/97359.html

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

Copyright © 2002-2018 seo-820.com 版权所有 粤ICP备15020538号-3    技术支持:优选网络

电脑版 | 移动版