聊城网站制作公司,聊城网站建设,聊城网站优化,聊城网络公司,聊城网站推广,聊城网站运营,聊城网络运营,聊城搜索引擎优化,聊城网页设计,聊城网站制作
 
 
公司拥有五年的网站建设经验,专业网站制作,推广及网站优化,有大量优秀客户案例
网站建设 | 设为首页 | 加入收藏 | 联系我们  
公告:热烈庆祝聊城精英网络2010版官方网站改版成功!
当前位置 :首页 > 网页知识  

robots 到底是个什么玩意,有何作用?

http://www.55cp1.com   2014-3-27 12:52:12   人气:
深入认识robots

搜索引擎使用spider程序自动范文互联网上的网页并获取网页信息。Spider在访问一个网站时,会首页检查该网站的根域名下是否有一个叫robots.txt的纯文本,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站上创建一个robots.txt,在文件中声明改网站中哪些目录不让搜索引擎收录。(robots.txt文件应该放置在网站根目录下。)

1、 Robots的用法

User-agent:定义进制搜索引擎名字,?#28909;?#35828;:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)?#21462;?号代表全部搜索引擎

Disallow:不?#24066;?#25910;录

Allow:?#24066;?#25910;录

案例:

User-agent: * (声明禁止所有的搜索引擎抓取以下内容)

Disallow:/blog/(禁止网站blog?#25913;?#19979;所有的页面。?#28909;?#35828;:/blog/123.html)

Disallow:/api(?#28909;?#35828;:/apifsdfds/123.html也会被屏蔽。)

Allow:/blog/12/(一般情况下不需要写Allow的,而我们在禁止的目录下面,我们需要让搜索引擎收录,那么我们就可以使用Allow,?#28909;?#35828;我们前面禁止了blog?#25913;?#19979;所有的页面,同时我们想/12/?#25913;?#19979;被收录,这个时候我们就需要通过Allow来?#24066;?#25628;索引擎的收录。)

Disallow:*?*(只要你的路径里面带有问号的路径,那么这条路径将会被屏蔽。)

Disallow:/*.php$(意思是以.php结尾的路?#24230;?#37096;屏蔽掉。)

如何使用Robots提升排名

一、屏蔽死链接

许多时候,我们网站会产生死链接,?#28909;?#35828;:网站改版、文章删除等,都很有可能会导致网站出现404页面,那么这个时候我们就需要通过robots来屏蔽这些死链接。查看死链的方法有以下两种:

1、)通过网站日志查询。

我们可以通过下载网站日志来查看我们的404页面(网站日志可以向空间商要,空间商会提供下载通道),我们用txt打开网站日志,通过搜索“404”,如果你网站有404页面,并且被访问到了,那么这个时候就会被网站日志给记录。

2、)百度站长平台查询

我们首先需要验证百度站长平台(如何验证就不说了,最基本的。)验证以后,我们通过百度站长工具的死链工具,可以清楚的看到,我们网站有哪些死链接。

二、屏蔽无价值的页面

许多网站都有一些没有价值的页面,?#28909;?#35828;SEO指导中心的用户个人中心页面,这个个人中心页面不会对网站产生价值,在百度上面的展现也不会给网站带来权重。因此我们需要利用robots来屏蔽这样的页面。又?#28909;?#35828;:一个企业网站的联系我们页面,这种页面不会给网站带来权重,用户也不会去搜索“联系我们”来找他想要的产品。因此我们需要把这种页面同时屏蔽。

三、屏蔽重复路径

当你网站出现重复路径的时候,百度将会对我们的网站进行直接降分,?#28909;?#35828;:一个网站做了?#26412;?#24577;,同时他的动态页面也可以访问,这个时候就会出现重复路径。因此我们需要通过robots屏蔽这些重复路径。

总结:也许很多人都不知道,许多细节都很有可能是你网站排名不上的原因,而这些小小的细节往往被大家给忽略了。同时希望站长在做网站优化的时候多多关注一些网站细节的问题,在这里,常德网站建设公司和大家一起分享。
专业设计团队
满足您的各种设计要求
实力程序开发团队
为您定制各种程序模块
后台管理高效安全
方便更新上传网站资料
全球高速访问
无盲区、定制异地备份
专业客服团队
解决一切使用难题
赠送大容量空间邮箱
免费优化推广
   
关于我们 | 工作机会 | 付款方式 | 网站制作 | 网页制作 | 网页设计 | 网络公司 | 联系我们 | 网站地图
版权所有:聊城精英网络科技有限公司 © 2005-2010 All Rights Reserved.
咨询专线:0635-6950368 技术专线:15192175820 在线QQ:312817927 1485871644
地址:聊城市闸口科技市场 ?#26102;?252000 苏ICP备10112026号
赖扬vs塔什干火车头比分
时时计划软件 01彩票app 张家口中奖彩票 北京时时开奖规律 五分赛计划 燕赵风采2o选5开奖 福彩时时彩走势图 pk10历史纪录 李逵劈鱼捕鱼平台 四川时时高手群 3d18年历史开奖表 广西11选5有几种玩法 北京快乐八基本走势图 足球彩票比分播报 极速时时开奖号码 福建31选七今晚开什么