Robots Meta 指令 - Robots Meta Directives

作者: 用户投稿 阅读:125 点赞:255

Robots Meta 指令 - Robots Meta Directives

Meta 指令 - Robots Meta Directives

Robots Meta 指令(有时也称为“Meta标签”)是一些程序语法,它们提供网页爬虫如何抓取或索引网页内容的抓取指令,虽然robots.txt文档指令也可以帮网络爬虫提供了如何抓取网站的建议,但Robots Meta指令提供了更为严格的,指导网页爬虫如何抓取和索引页面的内容。

有两种类型的Robots Meta 指令:属于HTML页面(如meta robots tag)的部分,以及Web服务器作为HTTP头部(如 x-robots-tag)发送的指令。meta robots tag和x-robots-tag都可以使用相同的参数(即Meta提供的抓取或索引指令,例如上述示例中的“noindex”和“nofollow”),不同的是这些参数如何传递给网页爬虫。

Meta指令提供抓取工具并解释,如何抓取和索引特定网页上的内容,如果这些指令是被机器人搜索到,那么参数就成为了规范爬虫行为的强有力的建议,但是与robots.txt文档相同,抓取工具不必遵循meta指令,所以可以肯定的是,一些恶意的web机器人可以忽略你的指令。

以下是搜索引擎抓取工具在robots meta指令中使用的参数,这些参数不区分大小写,但请注意,有些搜索引擎可能只遵循这些参数的子集,或者可能会略微不同地处理某些指令。

参数设置:

  • Noindex: 告诉搜索引擎不要索引该网页。

  • Index: 告诉搜索引擎索引该网页,不必特意加入此标签,因为这是缺省的。

  • Follow:即使网页没有被索引,网页爬虫也应该追踪网页上的所有链接,并将权限传递给链接的网页。

  • Nofollow: 告诉网页爬虫也不要追踪网页上的所有链接,并将不可以将权限传递给链接的网页。

  • Noimageindex: 告诉网页爬虫不要索引该网页上的任何图像。

  • None:相当于同时使用noindex和nofollow标签。

  • Noarchive:搜索引擎不应该在SERP(搜索结果页面)上显示暂存的链接到这个网页。

  • Nocache:与noarchive相同,但只用于Internet Explorer和Firefox浏览器。

  • Nosnippet:告诉搜索引擎不要在SERP(搜索结果页面)上显示该网页的一个片段(即Meta描述)。

  • Noodyp/noydir [OBSOLETE]:阻止搜索引擎使用DMOZ的网页描述作为此页面的SERP(搜索结果页面)片段说明。但是,DMOZ在2017年初关站,这个标签已经过时了。

  • Unavailable_after: 搜索引擎不应该在特定的日期之后索引该网页。

机器人Meta指令的类型

有两种主要类型的机器人Meta指令: meta robots tag和 x-robots-tag。任何可以在meta robots tag中使用的参数也可以在x-robots-tag中指定。

我们将在讨论meta robots tag和 x-robots-tag指令。

Meta robots tag

Meta robots tag(俗称“Meta标签”或“robots 标签”)是网页HTML代码的一部分,在网页的

部分以代码显示:

代码范例

<meta name="robots" content="[PARAMETER]" >

标签是标准的设置方式,也可以使用特定用户的名称来替换“robots”做为特定的搜索。 例如,要专门针对Googlebot指定某个指令,您需要使用以下代码:

<meta name="googlebot" content="[DIRECTIVE]" >

想要在网页上使用多个Meta指令?只要他们是相同的“机器人”(用户),多个指令可以包含在一个meta指令中 - 只需用逗号分隔即可。这是一个例子:

<meta name="robots" content="noimageindex," "nofollow," "nosnippet" >

这个标签会告诉机器人不要索引网页上的任何图像、任何链接,或者当网页出现在SERP(搜索结果页面)上时显示网页哦明片段。

如果您针对不同的搜索用户使用不同的元机器人标签指令,则需要为每个机器人使用不同的标签。

X-robots-tag

meta robots tag允许您在网页层级控制索引行为,但是x-robots-tag可以作为HTTP表头的一部分并包含在内,以控制全部网页的索引,以及网页的特定元素。

尽管您可以使用x-robots-tag来运行与meta robots相同的索引指令,但是x-robots-tag指令提供了更多的灵活性和X-robots-tag所不具备的功能。 具体而言,x-robots-tag允许使用正规表达式,在非HTML文档上运行爬行网页指令,并在全局层级使用参数。

要使用x-robots-tag,您需要访问您网站的header .php,.htamless或服务器文档,从那里,添加您的特定服务器配置的x-robots-tag标记,包括任何参数,提供了一些很好的示例,解说如何使用这三种方式中的其中一种,x-robots-tag的概述。

以下是可能会使用到x-robots-tag状况的范例:

  • 控制未用HTML撰写的内容的索引(如Flash或视频)。

  • 阻止网页特定元素(如图像或影片)的索引,而不是全部网页本身

  • 如果您无法访问网页的HTML(特别是

    部分),或者您的网站使用了无法更改的全局层级标题。

  • 添加规则来判断是否应将网页编入索引(例如,如果用户留言了20多次,则将网页编入索引)

SEO与robots meta指令的最佳做法

  • 所有meta指令(robots或其他)都是在抓取URL时发现的,这意味着,如果robots.txt文档不允许抓取网址,则网页上的任何meta指令(无论是在HTML还是在HTTP header)都将不会被看到,并且将被忽略。

  • 在大多数情况下,应该使用带有参数“noindex,follow”的robots meta tag来限制抓取或索引,而不是使用robots.txt文档禁止。

  • 需要注意的是,恶意爬虫很可能会完全忽略meta指令,因此这个协议并没有形成一个好的安全机制,如果您有不想公开搜索的隐私消息,请选择更安全的方法(如密码保护),以防止浏览者查看机密网页。

  • 您不需要在同一页面上同时使用Meta robots tag和X-robots-tag - 这样做是多余的。

数据源:

本站内容均为「码迷SEO」网友免费分享整理,仅用于学习交流,如有疑问,请联系我们48小时处理!!!!

标签:

  • 评论列表 (0