索引限制文件robots.txt使用说明
索引限制文件robots.txt使用说明 robots.txt的作用就是告诉搜索引擎哪些内容不要索引,一般为了实现如下目的限制而使用: (1)禁止搜索引擎索引系统文件,后台文件,文件模板文件,用说背景图片。索引t使这样做一方面可以防止搜索引擎收录很多无关内容,限制另外可以降低搜索引擎蜘蛛抓取网站时消耗的文件资源 (2)禁止搜索引擎收录需要保密的文件,或者是用说隐私内容。不过值得注意的索引t使是,robots.txt只能告诉搜索引擎不收录这些内容,限制但是文件并不能防止这些内容被访问,如果是用说重要信息最好是设置密码。 (3)网址规范化方面的应用。启用伪静态的限制网站,一般同时存在至少两套网址,文件一套是rewrite之后的静态地址,一套是原始的动态地址,如果不限制,搜索引擎可能会收录大量的重复内容。为了方式这种情况,可以将动态格式的地址禁止索引。 User-agent: 该项的值用于描述搜索引擎蜘蛛的名字。如果该项的值设为*,则该协议对任何机器人均有效。 Disallow: 该项的值用于描述不希望被访问到的一个URL,一个目录或者整个网站。以Disallow 开头的URL 均不会被搜索引擎蜘蛛访问到。任何一条Disallow 记录为空,说明该网站的所有部分都允许被访问。 例1. 禁止所有搜索引擎访问网站的任何部分 Disallow: / 例2. 允许所有的robots访问 (或者也可以建一个空文件 “/robots.txt” file) Allow: 例3. 禁止某个搜索引擎的访问(禁止BaiDuSpider) Disallow: / 例4. 允许某个搜索引擎的访问 allow:/ 例5.禁止二个目录搜索引擎访问 Disallow: /admin/ Disallow: /install/ 例6. 仅允许Baiduspider以及Googlebot访问 例7. 禁止百度搜索引擎抓取你网站上的所有图片 (1)每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该在网站中添加一个robots.txt。 (2)网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如:大多数网站服务器都有程序储存在“htdocs”目录下,因此在 robots.txt文件中加入“Disallow: / htdocs”是个好主意,这样能够避免将所有程序文件被蜘蛛索引,可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。 Disallow: /admin/ 后台管理文件 Disallow: /require/ 程序文件 Disallow: /attachment/ 附件 Disallow: /images/ 图片 Disallow: /data/ 数据库文件 Disallow: /template/ 模板文件 Disallow: /css/ 样式表文件 Disallow: /lang/ 编码文件 Disallow: /script/ 脚本文件 (3)如果你的网站是动态网页,并且你为这些动态网页创建了静态副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引,以保证这些网页不会被视为含重复内容。 目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司,显然不在这个圈子内。这样做的好处就是,站长不用到每个搜索引擎的站长工具或者相似的站长部分,去提交自己的sitemap 文件,搜索引擎的蜘蛛自己就会抓取robots.txt文件,读取其中的sitemap路径,接着抓取其中相链接的网页。 (5)合理使用robots.txt文件还能避免访问时出错。比如,不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录,所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。 误区一:我网站上所有的文件都需要被蜘蛛抓取,那我就没必要添加robots.txt文件了。反正如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。 每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误文件(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误文件,所以你应该在网站中添加一个robots.txt。 误区二:在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取,这样可以增加网站的收录率。 网站中的脚本程序、样式表等文件即使被蜘蛛收录,也不会增加网站的收录率,还只会占用服务器存储空间。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引脚本程序、样式表等文件,具体哪些文件需要排除,在robots.txt使用技巧一文中有详细介绍。 误区三:搜索蜘蛛抓取网页太浪费服务器资源,在robots.txt文件中设置所有的搜索蜘蛛都不能抓取全部的网页。 如果这样的话,会导致整个网站不能被搜索引擎收录。 User-agent: *
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 中戏副教授张晓龙接受专访 宁可不当演员也要当老师
- DNF鸿宇天绫套怎么获得 dnf天空12金色丹霞呈祥/银色星海纷舞装扮外观一览
- DNF用数据对红眼伤害原理分析 学霸的力量
- 与英模同频共振的时代影像——致敬《守岛人》 (市检一分院 李玺英)
- 这才是妈妈辈们优雅到老的秘密:卷发洋气,穿衣显贵,惊艳了时光
- dnf称号附魔宝珠有哪些 dnf称号附魔宝珠大全
- 游戏工作室挂机游戏如何解决被封IP
- 被禁200多年性爱书籍将拍卖 曾在黑市畅销
- 黑子把《绝配》QQ音乐评论区当自己家了是吧?!
- dnf玲珑徽章属性
- dnf110级版本男漫游怎么加点 2023男漫游加点推荐
- 我的世界有哪些僵尸 僵尸种类介绍_我的世界僵尸攻略
- 嗜血总裁的妖娆
- 魔兽世界萨尔玛声望怎么刷 萨尔玛声望速刷方法
- 全球市场上常见的度数最高的几款烈酒排名
- 造梦西游3太极八卦的能力与合成前法宝的等级有关吗?
- 魔兽世界TBC狂暴战高DPS输出指南,属性配装天赋手法都在这里了
- dnf最新地图编号2020_dnf2020搬砖地图排行榜 dnf2020最佳搬砖地图
- LOL2016国庆节8款炫彩皮肤效果一览
- 《三国杀》郭淮使用说明
- 搜索
-
- 友情链接
-
- 王者荣耀同城频道怎么改定位 怎么更改同城定位
- 《DNF》心动表白季攻略 NPC奥菲利亚对话选项答案
- 泰拉瑞亚骷髅王打法攻略详解
- 如何保证宝宝智力正常发展
- lol S4赛季阿狸天赋符文及出装思路
- 《DOTA2》7.22版本被加强的英雄
- 《梦幻西游》资料片——出神入化(10)
- 绝地求生年兽模式怎么玩
- 王者荣耀同城频道怎么发言?同城频道发言方法
- 现世召唤阵图sp专用(阴阳师现世召唤阵神图分享)
- 神级预判,笑里藏刀防点杀
- 原神折箭觅踪目击地点二在哪里 折箭觅踪活动攻略
- LOL中那些一跳舞就会被对方打的英雄
- 梦幻西游海底侍女介绍 真真假假的难题
- 网易我的世界中国版花绿宝石买永久皮肤,导入自定义材质包的办法简介
- dnf租赁武器在哪
- 汉化版的单机游戏破解盒子排行榜
- DNF抉择之沼五一重现传承神器天天有
- 胡莱三国貂蝉技能(三国吧兄弟貂蝉技能搭配)
- 王者荣耀娜可露露最强出装,王者荣耀露娜最好出装
- 原神绝版道具有哪些 绝版道具获取方法
- 建议:天龙八部刷反积分攻略:如何高效获取积分,提升游戏体验
- 王者荣耀:S19新赛季开启时间确定,国服战力排名会提前锁定
- csgo第一次开箱可以开出好东西吗 csgo免费开箱一次
- 有人知道哪里洗月布吗?
- 有人知道哪里洗月布吗?
- dnf:阿修罗玩家必看!最强徽章搭配指南! (dnf阿修罗玩什么流派厉害)
- 暗黑2重置版狂战蛮BD怎么配装
- 原神雪山九天神像怎么解锁
- 征途2装备怎么签名,绿色征途装备如何签名
- 英雄联盟官方网站
- LOL2021战斗学院永恩炫彩皮肤怎么样 LOL2021永恩炫彩皮肤介绍
- 我的世界观察者模式指令是什么 我的世界怎么开观察者模式手机版
- 破解无限内购版游戏大型免内购app推荐
- #原神#关于2.1版本剧情的一点猜想
- 咕咕去哪儿?魔兽世界版荒野求生之勇闯昆莱山
- 《摩尔庄园手游》勇士技能学习方法
- 胡莱三国4最强阵容推荐2023(5套顶级阵容搭配一览)
- 打开钥匙之石任务怪的攻略,黑石深渊没有钥匙怎么走
- 倩女幽魂手游装备强化怎么转移 装备强化转移方法介绍