|
В этом фауле можно задавать различные команды, который будет исполнять поисковый робот при индексации сайта. Например, можно запретить к индексации некоторые страницы или папки.
Более подробную информацию можно узнать тут:
http://www.yandex.ru/yandsearch?rpt=rad&text=robot.txt
|