|
Slugger, вообщем-то <Descriptor> уже сказал тебе что это и как. Но покажу тебе на примере.
С помощью файла robots.txt ты можешь указать поисковому пауку как правильно каталогизировать твой сайт. Т.е. ты выставляешь правила просмотра и разрешений на загрузку документов и папок с твоего сайта.
К примеру, у тебя есть папка на сайте Clients, которая должна остаться незамеченной для поисковика, в таком случае ты её запрещаешь путём установки примерно такого вида:
User-agent: *
Disallow: /Clients/
Таким образом запретив эту папку от индексирования для всех пауков.
__________________
Куплю инвалидную коляску и фильтры для базара. 
|