файл robots.txt

[Slugger]

Для чего нужен данный файл ? Чтоб поисковики находили сайт?
Можно ли примерчик содержания этого файла....

[<Descriptor>]

В этом фауле можно задавать различные команды, который будет исполнять поисковый робот при индексации сайта. Например, можно запретить к индексации некоторые страницы или папки.
Более подробную информацию можно узнать тут:

http://www.yandex.ru/yandsearch?rpt=rad&text=robot.txt

[Trotil]

Наоборот. Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.
http://www.webmasterpro.com.ua/pro/3/1091_1.html
http://yandex-google.ru/index.php?showtopic=50

Чтоб поисковики находили сайт, нужно заполнять спец образом метатеги в вашем html-файле. Инструкция здесь: здесь

[<Descriptor>]

Trotil:
Чтоб поисковики находили сайт, нужно заполнять спец образом метатеги в вашем html-файле.

По мета-тегам поисковики сайт не найдут :-) Чтобы они его "нашли", на этот сайт должна быть ссылка где-нибудь (прямая) или надо засубмитить сайт в поисковик самостоятельно.

[Trotil]

Ну да, логично. Мега-теги нужны всего лишь для правильной индексации сайта. Вот еще сборная солянка полезной информации на эту тему:
http://web-support.ru/adv/ps_main.shtml

[slaff]

Slugger, вообщем-то <Descriptor> уже сказал тебе что это и как. Но покажу тебе на примере.

С помощью файла robots.txt ты можешь указать поисковому пауку как правильно каталогизировать твой сайт. Т.е. ты выставляешь правила просмотра и разрешений на загрузку документов и папок с твоего сайта.

К примеру, у тебя есть папка на сайте Clients, которая должна остаться незамеченной для поисковика, в таком случае ты её запрещаешь путём установки примерно такого вида:

User-agent: *
Disallow: /Clients/

Таким образом запретив эту папку от индексирования для всех пауков.