CNSearch 1.5.1
Примеры
Пример 1:
# robots.txt for http://www.site.com
User-Agent: *
# this is an infinite virtual URL space
Disallow: /cyberworld/map/
Disallow: /tmp/ # these will soon disappear
В данном примере содержание '/cyberworld/map/' и '/tmp/' защищено.
Пример 2:
# robots.txt for http://www.site.com
User-Agent: *
# this is an infinite virtual URL space
Disallow: /cyberworld/map/
# Cybermapper knows where to go
User-Agent: cybermapper
Disallow:
В данном примере поисковому роботу 'cybermapper' предоставлен полный доступ, тогда как остальные роботы не имеют доступа к содержимому '/cyberworld/map/'.
Пример 3:
# robots.txt for http://www.site.com
User-Agent: *
Disallow: /
В данном примере доступ к серверу запрещен любому поисковому роботу.
