|
Robots META tag - простой способ указать посещающему
Web-роботу что должна ли страница быть проиндексирована или должен ли он
проследовать по ссылкам на странице.
В отличие от протокола исключений для
роботов (robots.txt) Вы не будете напрягать Web - администратора или
требовать от него выдачи соответствующих прав.
Внимание: в данный момент не все роботы поддерживают
Robots META tag!
Где размещать Robots META tag Как и любой META tag он должен быть
размещён в разделе HEAD HTML-страницы:
<html>
<head>
<meta name="robots" content="noindex,nofollow">
<meta name="description" content="Руководство для web-мастеров....">
<meta name="keywords" content = "Robots, meta, tag....">
<title>Руководство для web-мастеров...</title>
</head>
<body>
...
Что размещать в Robots META tag
Поле content для Robots META tag содержит директивы,
разделяемые запятыми. В данный момент определены следующие директивы: [NO]INDEX
и [NO]FOLLOW. Директива INDEX определяет, должен ли робот индекировать страницу.
Директива FOLLOW должен ли робот проследовать по ссылкам на странице По
умолчанию заданы INDEX и FOLLOW. Значения ALL и NONE включают или выключают
директивы: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW. Несколько примеров:
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
Обратите внимание, что значение полей name ("robots") и content не
чувствительны к регистру.
Вы не должны определять конфликтующие или дублирующие
директивы, например так:
<meta name="robots" content="INDEX,NOINDEX,NOFOLLOW,FOLLOW,FOLLOW">
Формальный синтаксис поля content для the Robots META tag:
content = all | none | directives
all = "ALL"
none = "NONE"
directives = directive ["," directives]
directive = index | follow
index = "INDEX" | "NOINDEX"
follow = "FOLLOW" | "NOFOLLOW"
Языки программирования: разное
| 
