Robots.txt
 

Как поисковому роботу в сабже явно указать что нужно индексировать , я например хочу чтобы он какой-то файл обязательно посмотрел!

Инструкции по использованию Robots.txt уже есть на форуме. Используй поиск!

robots.txt это как правило простой список ссылок на страницы, которые необходимо проиндексировать .

неа.....не такой и простой.... я вот в форуме нашел только как запретить индекс файлов и каталогов...а вот.....сабж! :idea:

Каждый робот расправляется со списком так, как ему это нравится и обычно роботы дальше поиска страниц для индексации в этом файле не уходят . Теоретически все что напишешь в таком файле - правильно, т.к. можно тут же написать робота, который это поймет .

То есть просто стоит написать там списочек файлов для индекса?

Обычно так и делают . Но честно говоря я предпочитаю грамотно написать сайт, нежели тыкать робота по страницам при помощи robots.txt .