Robots.txt - Веб-программирование

29.11.2002, 11:48

Как поисковому роботу в сабже явно указать что нужно индексировать , я например хочу чтобы он какой-то файл обязательно посмотрел!

YAS · 29.11.2002, 20:50

Инструкции по использованию Robots.txt уже есть на форуме. Используй поиск!

RaZEr · 01.12.2002, 03:59

robots.txt это как правило простой список ссылок на страницы, которые необходимо проиндексировать .

01.12.2002, 05:22

неа.....не такой и простой.... я вот в форуме нашел только как запретить индекс файлов и каталогов...а вот.....сабж! :idea:

RaZEr · 02.12.2002, 00:25

Каждый робот расправляется со списком так, как ему это нравится и обычно роботы дальше поиска страниц для индексации в этом файле не уходят . Теоретически все что напишешь в таком файле - правильно, т.к. можно тут же написать робота, который это поймет .

04.12.2002, 09:58

То есть просто стоит написать там списочек файлов для индекса?

RaZEr · 04.12.2002, 21:56

Обычно так и делают . Но честно говоря я предпочитаю грамотно написать сайт, нежели тыкать робота по страницам при помощи robots.txt .

29.11.2002, 11:48	# 1
AleXXXSoft Guest Сообщения: n/a	Robots.txt Как поисковому роботу в сабже явно указать что нужно индексировать , я например хочу чтобы он какой-то файл обязательно посмотрел!

29.11.2002, 20:50	# 2
YAS ::VIP:: Регистрация: 18.01.2002 Адрес: Moscow Сообщения: 1 919	Инструкции по использованию Robots.txt уже есть на форуме. Используй поиск! __________________ Бороться и искать, найти и перепрятать :-)

01.12.2002, 03:59	# 3
RaZEr МОД-Оператор ЭВМ Регистрация: 18.04.2002 Адрес: Питер Сообщения: 4 343	robots.txt это как правило простой список ссылок на страницы, которые необходимо проиндексировать .

01.12.2002, 05:22	# 4
AleXXXSoft Guest Сообщения: n/a	неа.....не такой и простой.... я вот в форуме нашел только как запретить индекс файлов и каталогов...а вот.....сабж! :idea:

02.12.2002, 00:25	# 5
RaZEr МОД-Оператор ЭВМ Регистрация: 18.04.2002 Адрес: Питер Сообщения: 4 343	Каждый робот расправляется со списком так, как ему это нравится и обычно роботы дальше поиска страниц для индексации в этом файле не уходят . Теоретически все что напишешь в таком файле - правильно, т.к. можно тут же написать робота, который это поймет .

04.12.2002, 09:58	# 6
AleXXXSoft Guest Сообщения: n/a	То есть просто стоит написать там списочек файлов для индекса?

04.12.2002, 21:56	# 7
RaZEr МОД-Оператор ЭВМ Регистрация: 18.04.2002 Адрес: Питер Сообщения: 4 343	Обычно так и делают . Но честно говоря я предпочитаю грамотно написать сайт, нежели тыкать робота по страницам при помощи robots.txt .