CNSearch 1.5.1
Использование META-тэгов "Robots"
Помимо вышеописанного стандарта блокирования поисковых роботов в системе также представлена возможность управления поведением роботов при помощи HTML-тэга 'META'.
В отличие от файла 'robots.txt', описывающего процесс индексации сайта, как единого целого, тэг 'META' позволяет управлять процессом индексации конкретной веб-страницы. Кроме того, возможна отмена индексации не только документа в целом, но и ссылок, содержащихся в нем.
Параметры индексации следует указывать в атрибуте 'content' исходного кода каждой страницы веб-сайта. Возможно использование следующих параметров:
- NOINDEX - отменить индексацию документа;
- NOFOLLOW - отменить индексацию ссылок, найденных в документе;
- INDEX - осуществить индексацию документа;
- FOLLOW - осуществить индексацию ссылок, найденных в документе;
- ALL - аналогично INDEX, FOLLOW
- NONE - аналогично NOINDEX, NOFOLLOW
Значение по умолчанию: <meta name="Robots" content="ALL">.
Примечание: не следует перечислять значения через запятую.
Пример некорректного варианта:
<META name="ROBOTS" content="noindex, nofollow">
Правильный вариант:
<META name="ROBOTS" content="none">
В данном примере индексатор позволяет анализировать документ без последующей индексации ссылок, найденных в нем:
<META name="ROBOTS" content="nofollow">
Имя тэга, а также названия и значения полей не зависят от регистра. В действительности, индексатор проверяет наличие лишь трех значений: NOINDEX, NOFOLLOW и NONE, поскольку FOLLOW и INDEX являются значениями по умолчанию.
