使用<META>标签来阻挡搜索蜘蛛检索网页

作者:码迷
作者:码迷SEO
发布时间:2019-12-31 13:20:01阅读:36点赞:8

使用<META>标签来阻挡搜索蜘蛛检索网页/

使用<META>标签来阻挡搜索蜘蛛检索网页

使用标签来阻挡搜索蜘蛛检索网页

你可以使用特定的标签去告知搜索引擎机器人,不要去检索特定的网页内容。

你也可以使用相同的标签,来命令搜索机器人不要去扫描网页以及追踪网页链接。

这是一个很好用的标签,即使你只想尝试去限制全部网站的一个网页。

在HTML代码中,'no follow, no index'是基本的:

若要复制使用请将<>改为半角。

<html> <head> <title>...</title> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> </head> </html>

当使用标签时,有三个重点部分是需要牢记的。

1.如果他们愿意,网络机器人可以忽略标签,会忽略标签大多是不良的网络机器人,他们会扫描网络安全漏洞并利用它,或者是使用电子邮件收割机,让滥发邮件者抓取E-mail。

2.NOFOLLOW 指令只是用于网页上的链接,如果搜索机器人找到其它网页的链接,并且没有使用NOFOLLOW,搜索机器人会直接到达这个网页。

3.在这里的NOFOLLOW标签,是不同于rel=”nofollow”属性,你可以设置在<a href> 标签里。

撰写给搜索机器人看的标签

像其它标签一样使用在HTML,他们应该被放置在HTML代码的

部分,就如同范例上。 <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">

让我们依照上面的例子再接再厉。

1.NAME属性是使用”ROBOTS”。

2.CONTENT属性有四种不同的参数可以设置:

逗号分开参数是允许的,但是只有某些组合是有意义的,如果没有使用标签,对搜索机器人的缺省而言,是使用INDEX,FOLLOW的,所以你不需要去指定,还是可以被抓取到。

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

如果你需要进一步的了解,如何阻挡搜索机器人检索你的网站,你可以观看这篇文章(如何使用robots.txt阻止搜索引擎爬(抓取)你的网站?)

本文网址:https://www.mamioo.com/seo-google/n4v58r26861m

本站内容均为「码迷SEO」原创整理,未经授权严禁采集转载,违者必究。
评论
相关文章
  • Google Medic Update做了那些改变? YMYL是什么?

    Google Medic Update做了那些改变? YMYL是什么?

    他所代表的意思很简单,就是“Your Money or Your Life.”,中文来就就是,生活与财产相关的网页,将来GOOGLE对于YMYL相关的内容将更为重视。继续阅读>>

    34浏览10赞2020-01-02 11:00:01
  • SEO重大更新Google 添加 Rel=sponsored, Rel=ugc 二种属性

    SEO重大更新Google 添加 Rel=sponsored, Rel=ugc 二种属性

    Google更新nofollow属性添加spons与ugc二种属性,分别针对赞助商与平台与监测检查网站外部链接做区分,使GOOGLE可以更容易判断是否为自然链接。继续阅读>>

    63浏览9赞2019-11-21 12:20:01
  • SEO的初学者教学,搞懂SEO搜索引擎优化,让你网站订单接不完

    SEO的初学者教学,搞懂SEO搜索引擎优化,让你网站订单接不完

    SEO是一种透过自然排序(无付费)的方式增加网页能见度的营销规律。SEO包含技术与创意,用以提高网页排名、流量,以及增加网页在搜索引擎的曝光度。SEO有很多方式,可从您网页上的文本,或着从其他网站链接到您的网页。有时SEO只是一种简单的方式确保您的网页架构可让搜索引擎了解。继续阅读>>

    27浏览3赞2020-01-19 11:00:02
  • 第一章:搜索引擎的运作方式

    第一章:搜索引擎的运作方式

    搜索引擎有两个主要的功能:抓取与创建索引,以及提供用户最具关联的搜索结果列表。全球的信息网络如同是大城市的地铁系统。 每个车站都是一份文档(通常是网页,但有时是PDF,JPEG,或是其它文档)。而搜索引擎需要一种方法去“检索”全部城市以及寻找各个站点的方法,最好的方法就是使用网页设计上的”链接”方式(Link)。继续阅读>>

    68浏览14赞2019-11-12 12:20:01
  • 第二章:与搜索引擎的交互

    第二章:与搜索引擎的交互

    “SEO搜索引擎最佳化”的市场策略,最重要是让您的客户有认同感。一旦掌握目标市场的需求,就更容易营销并且保留您的客户。(在网页设计时必须了解商品性质进行市场策略)继续阅读>>

    53浏览9赞2019-12-03 13:00:02
  • 第三章:为何SEO搜索引擎营销是必要的?

    第三章:为何SEO搜索引擎营销是必要的?

    “SEO搜索引擎最佳化”最重要的一个任务是让您的网站容易被用户和网络蜘蛛了解,虽然搜索引擎已经变得越来越精密,但仍然无法用人类的角度来看网页,制作”SEO搜索引擎最佳化”用意是帮助搜索引擎更容易解读每个网页,与分析网页是否能够带给用户所需要的内容。继续阅读>>

    43浏览11赞2019-12-19 13:20:01