Наоборот. Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.
http://www.webmasterpro.com.ua/pro/3/1091_1.html
http://yandex-google.ru/index.php?showtopic=50
Чтоб поисковики находили сайт, нужно заполнять спец образом метатеги в вашем html-файле. Инструкция здесь:
здесь