On-Line Библиотека www.XServer.ru - учебники, книги, статьи, документация, нормативная литература.
       Главная         В избранное         Контакты        Карта сайта   
    Навигация XServer.ru






 

Руководство для web-мастеров по мета-тэгу для роботов (Robots META tag)

Перевод с The Web Robots Pages

Robots META tag - простой способ указать посещающему Web-роботу что должна ли страница быть проиндексирована или должен ли он проследовать по ссылкам на странице.

Внимание: в данный момент не все роботы поддерживают Robots META tag!

Где размещать Robots META tag

Как и любой META tag он должен быть размещён в разделе HEAD HTML-страницы:
<html>
<head>
<meta name="robots" content="noindex,nofollow">
<meta name="description" content="Руководство для web-мастеров....">
<meta name="keywords" content = "Robots, meta, tag....">
<title>Руководство для web-мастеров...</title>
</head>
<body>
...

Что размещать в Robots META tag

Поле content для Robots META tag содержит директивы, разделяемые запятыми. В данный момент определены следующие директивы: [NO]INDEX и [NO]FOLLOW. Директива INDEX определяет, должен ли робот индекировать страницу. Директива FOLLOW должен ли робот проследовать по ссылкам на странице По умолчанию заданы INDEX и FOLLOW. Значения ALL и NONE включают или выключают директивы: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW.

Несколько примеров:
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">

Обратите внимание, что значение полей name ("robots") и content не чувствительны к регистру.

Вы не должны определять конфликтующие или дублирующие директивы, например так:

<meta name="robots" content="INDEX,NOINDEX,NOFOLLOW,FOLLOW,FOLLOW">

Формальный синтаксис поля content для the Robots META tag:

content    = all | none | directives
all        = "ALL"
none       = "NONE"
directives = directive ["," directives]
directive  = index | follow
index      = "INDEX" | "NOINDEX"
follow     = "FOLLOW" | "NOFOLLOW"


Литература по HTML