> Главная > Продукты и услуги > Купить > Компания
English / Русский

Документация

CNSearch 1.5.1

© "CN-Software" Ltd. 2002-2008
support@cn-software.com
www.cn-software.com
Назад | Оглавление  | Вперед

Примеры

Пример 1:

# robots.txt for http://www.site.com

User-Agent: *

# this is an infinite virtual URL space

Disallow: /cyberworld/map/

Disallow: /tmp/ # these will soon disappear

В данном примере содержание '/cyberworld/map/' и '/tmp/' защищено.

Пример 2:

# robots.txt for http://www.site.com

User-Agent: *

# this is an infinite virtual URL space

Disallow: /cyberworld/map/

# Cybermapper knows where to go

User-Agent: cybermapper

Disallow:

В данном примере поисковому роботу 'cybermapper' предоставлен полный доступ, тогда как остальные роботы не имеют доступа к содержимому '/cyberworld/map/'.

Пример 3:

# robots.txt for http://www.site.com

User-Agent: *

Disallow: /

В данном примере доступ к серверу запрещен любому поисковому роботу.


Назад | Оглавление  | Вперед