三分钟搞懂 SEO的《meta robots、robots.txt》

作者:码迷
作者:码迷SEO
发布时间:2020-01-25 13:20:01阅读:18点赞:6

三分钟搞懂 SEO的《meta robots、robots.txt》/

上篇文章 “认识抓取(Crawl)与索引(Index)” 我有跟各位介绍搜索引擎的运作概念

meta robots以及robots.txt的工作分别是阻止Google 抓取、索引你的页面。在这个年头,只是SEO排名/流量高是没有用的,流量必须对企业有价值、必须要能够创造转换,所以用户体验相对重要,如果你有特定页面会伤害用户体验(UX),你可以透过这些方式去阻止该页面出现在Google 搜索结果中。

  • robots.txt可以阻止搜索引擎抓取你的数据,如果你使用了robots.txt来阻挡搜索引擎,那么搜索引擎将会略过你所阻挡的页面,不去做抓取。
  • 但meta robots 就不同了,他在索引层面阻止搜索引擎索引你的页面,但Google 还是有抓取你的网站数据的,但究竟为什么我们要这样做?后面我将娓娓道来。

学习使用 Robots.txt

基本上,大多数的情况我们都不会使用robots.txt来阻止搜索引擎抓取我们网站,除非你确定这个页面对 SEO有负面影响,若你有页面不希望出现在搜索引擎中,我建议使用Meta Robots来控制索引就好,网站的数据还是一样让Google去抓取。但若你确定这些页面会影响 SEO并且你不希望Google抓取到,你就要使用Robots.txt。(比方说开发中,但还没完成的网页)

使用robots.txt文档很简单,你只要创建一个文档名为robots的txt文档,并且上传到根目录就好,并且在这个文档内写上你希望Google别抓取的页面路径。

如图,你会看到在mamioo.com下面的根目录我就上传了这个文档,并且我不希望搜索引擎抓取到我后台的登录页面,所以才会有disallow:/wp-admin/这些内容

基本上在robots.txt文档内你只要填好这些信息:

User-agent:填入搜索引擎蜘蛛的值(* 号代表全部)

Disallow:填入你希望搜索引擎别抓取的页面路径

Allow:若你禁止抓取的页面路径里面又有特定路径你希望搜索引擎抓取,则填入

学习使用Meta Robots

要用meta robots 你只要直接把它加在head底下,你必须要在“你不希望被索引的页面底下”,加入这个标签至head里。

所以如果你有六个页面不希望被索引?没错这六页你都要手动去加入meta robots。

meta robots的标签是长这样:

<head>

<meta name=”robots” content=”noindex , nofollow “>

</head>

基本上这个标签有 noindex 以及 nofollow 两个值:

index vs noindex

当你不希望搜索引擎索引此页面,就填上noindex,若希望正常索引便填上index

follow vs nofollow

至于follow这个值是指,若你希望搜索引擎在抓取此页面时,不进一步的去抓取该页面所连出去的链接,你就填上nofollow的值 。这个功能通常会用在社区论坛或是网站讨论版,是为了防止有人在你的页面上乱贴链接来意图增加他的SEO 反向链接及排名,使用nofollow的话搜索引擎的抓取会在该页面停止,不继续往其他链接前进,固可以防止乱贴链接的事情发生。

两个值的功用完全不同,我来举几个范例让你完全清楚如何使用。

1. < meta name=”robots” content=”noindex , nofollow”>

这个做法便是告诉搜索引擎,不要索引 我的网站,并且在抓取数据时该页面的相关链接也不要去抓取 。

2. < meta name=”robots” content=”index , nofollow”>

抓取数据时该页面的相关链接不要抓取。

3.< meta name=”robots” content=”noindex , follow”>

不要索引我的页面,但页面上所有的链接请正常抓取(最常用之使用方式)

4.< meta name=”robots” content=”index , follow”>

这个做法就没有任何意义,加上这段标签跟没加的道理是一样的,等于搜索引擎将正常索引及抓取。

做 SEO,何时会用robots.txt阻止Google抓取?

对于抓取(Crawl)优化的工作上,你的网站 Google必须要看得懂、并且数据也抓得到。有些动态的网页结构对网络蜘蛛的抓取来说是有问题的,这个我于上一篇文章 中有提到,毕竟最可惜的就是你的网站有优质的内容,但Google根本抓取不到数据…。Google 的网络蜘蛛基本上已经是市场上性能最好的,但相对来说像是、Bing、百度,他们的性能就未必像 Google这样优秀,所以我们要随时关注搜索引擎的抓取状况。

但,有些页面跟内容你不会希望 Google 抓取到,这时候你必须要使用Robots.txt 来阻挡Google蜘蛛的抓取,这也是我们今天文章讨论的重点。我们来看看,什么情况你会希望Google蜘蛛不要抓取你的网站

  • 未完成的页面

如果你有页面正在由技术人员开发中,但页面还需要很长的一段时间才能完成,甚至你还需要修改、测试,未完成的页面通常不会伤害SEO,但你不会希望访客在搜索引擎中搜索到未完成的页面,因为未完成的页面会给用户较差的使用体验。

  • 测试页面

我曾经有碰过工程师,为了做功能测试并开了测试用子网域,并上传与主网域完全一模一样的内容,于理解Google Panda:网站内容对 SEO的影响 这篇文章中我有提过,一模一样的网站内容,会对SEO造成伤害,若有这样的页面我会建议你将 Google蜘蛛挡在门外比较好。

  • 网站后台、其他理由

以我来说,我的网站是使用Word Press架设出来的,所以我有使用robots.txt防止搜索引擎抓取我的网站后台,搜索引擎抓取到后台的登录页面对于SEO没有伤害,但也一点帮助都没有。同时如果你压根就不希望搜索引擎抓取你的网站,我也建议你使用robots.txt来阻止搜索引擎的抓取。

做 SEO,何时会用meta robots阻止Google 创建索引?

若某些页面你不希望在搜索引擎被user搜索到,但这些页面事实上有很多对SEO排名有加分的因素,所以你会希望Google抓取这些页面的数据,但别创建进搜索引擎索引 ,这时候你需要meta robots 来阻止Google索引你的页面 。

这种情况通常是因为某些页面作为 Landing Page 会影响用户体验,但你又希望Google能抓取页面上的数据(因为这页有很多的反向链接、流量)所以你将它排除索引、维持抓取。我来举个范例让你清楚理解:

  • 范例A:

Harris老公在自己博客的 “搜索结果页” 上使用了meta robots 阻止Google索引这些页面,因为新的user如果从搜索引擎landing 到旧用户搜索过的页面,这样会对新user 造成负面的用户体验;但是我的搜索结果页有很多人分享、有很多反向链接、很多流量,这些都对我的 SEO排名有帮助,我希望 Google 来抓取这个页面,知道我的网站有很多分享、反向链接。于是我就使用了meta robots 来禁止Google索引我的搜索结果页,但是Google还是有抓取到我这页的数据,并且对我全部网站的SEO排名有帮助!

  • 范例B:

Harris 经营书店电子商务网站,User 在登录会员之前就可以使用购物车,但我不希望User 的购物车页面被Google 索引进搜索引擎,所以我用meta robots 来阻止搜索引擎进行索引。

注意 – Google 说他们是参考参考

了解meta robots以及robots.txt之后,你可以优化网站的抓取及索引状况,阻止特定页面跟被抓到或是被索引。

但有一件很重要的事要注意,Google 官方有很明确的声明,meta robots 以及 robots.txt 确实可以告诉 Google 你希望哪些页面不要被抓取以及索引,Google也会尊重你的决定(毕竟你是网站拥有者),但 Google 官方不保证 搜索引擎会完全服从meta robots以及robots.txt (我知道,你现在是不是觉得 what the fuck?),若搜索引擎认为你的网站有很多很多的反向链接、流量很高、内容很优质,是优质网站,他也有可能会执意要抓取、索引你的网站。

本文网址:https://www.mamioo.com/seo-peixun/a2318o3r48re

本站内容均为「码迷SEO」原创整理,未经授权严禁采集转载,违者必究。
评论
相关文章
  • 中小型企业必知的SEO优化观念:『网站权重』

    中小型企业必知的SEO优化观念:『网站权重』

    对于大多的企业来说,做SEO优化最重要的目的之一,就是获得最大化的『有效曝光』,你会希望当消费者产生需求并搜索时,你可以排序在搜索结果的前段来接触有消费意图的顾客....继续阅读>>

    57浏览18赞2019-11-15 09:00:01
  • 中小型电商的SEO难题:网站内容优化『基础篇』

    中小型电商的SEO难题:网站内容优化『基础篇』

    网站上的内容是Google用来判断网站是否能得到排名的重要信号之一,在过去几年我的SEO顾问经验中,几乎每一个面临到的SEO项目都会有网站内容的问题,『内容』经常是中国企业无法在搜索结果上争取到排名的主要原因之一。继续阅读>>

    56浏览11赞2019-12-04 09:40:02
  • SEO 的『关键字策略』EP.2:『搜索结果』与『关键字』类型

    SEO 的『关键字策略』EP.2:『搜索结果』与『关键字』类型

    这篇文章我想接着跟你介绍『搜索结果』与『关键字类型』,同时,在"关键字策略"系列文章中,这个议题所扮演的角色很重要,这是很重要且很基础的SEO知识,如果你刚开始学习 SEO,这篇文章会给你很大的帮助。继续阅读>>

    70浏览13赞2019-10-30 14:11:44
  • 认识SEO排名的杀手,『重复内容』非常完整攻略

    认识SEO排名的杀手,『重复内容』非常完整攻略

    Google为了给用户有价值、不同的搜索结果,你几乎看不到搜索结果页面有一样的内容。在这个条下,如果你的网站有大量重复的内容,将会伤害你的SEO继续阅读>>

    69浏览15赞2019-11-14 13:40:01
  • 认识 SEO的 Title Tag(标题标记)

    认识 SEO的 Title Tag(标题标记)

    SEO的title tag 本来是用来定义网页的标题,随着近代营销人SEO观念的养成,它也被用于SEO的搜索结果页,同时title tag所使用的关键字也会影响访客在搜索甚么样的关键字时会找到你的网站继续阅读>>

    2浏览0赞2020-02-17 11:00:02
  • 营销人必读,找 SEO顾问前你该知道的事

    营销人必读,找 SEO顾问前你该知道的事

    即便你找中国真正懂SEO的人、甚至是中国最顶尖的专家来辅导你做 SEO,你的 SEO也不一定会有效成长,因为很多企业其实并没有足够的决心来做 SEO,又或是企业在找 SEO顾问之前,并没有先透彻的了解SEO,认为做 SEO就像投资广告一样,只要拿出预算并找到专家就会有所成效,以这样的心态来做 SEO,即便跟很顶尖的专家合作,SEO也做不起来。继续阅读>>

    31浏览9赞2019-12-29 09:00:02