CNSearch 1.5.1
Функция
Для решения проблемы необходимо создать файл, содержащий информацию об управлении поведением робота с целью блокировать запрос робота к веб-серверу либо его составляющим. Данный файл должен находиться в корневом каталоге сайта '/robots.txt'.
Суть решения заключается в предоставлении роботу возможности нахождения алгоритмов, описывающих его действия по запросу только одного файла. Файл '/robots.txt' можно создать на любом действующем веб-сервере.
Выбор подобного имени файла продиктован следующими обстоятельствами:
- Имя файла должно быть одинаковым для любой операционной системы;
- Расширение файла не должно повлечь за собой необходимость реконфигурации сервера;
- Имя файла должно быть описательным и запоминающимся;
- Возможность совпадения с существующими файлами должна быть минимальной.
