IP's of Search Engines

Ya.ru
213.180.194.129.

Rambler.ru
81.19.66.109 ?

[Stasik]

Rambler.ru
81.19.66.131

[Aeon]

Marchello
а нафиг надо? кроме того, насколько я знаю, большинство поисковиков работает на кластере серверов, каждый со своим IP...

Aeon
Их то и надо. Для форума, что бы он згал - кто есть кто. А то они все как "гость".

А смысл? Не просто ли Юзерагента проверять?
Rambler - StackRambler 1.0.xxxx
Yandex - .....

Еще даже табличка есть целая со всеми юзерагентами всех поисковиков поищи

[RaZEr]

А что hostname из принципа не используем ?

Хостнейм??? Глупо!
Вот гугль например ходит просто с адресом ИП, и нету никакого хостнейма для него!

[RaZEr]

Ага, ну кудаж мне ...

У гугла есть хостнейм, хотя бы потому что ты его набираешь в строке. А значит и в поле реферал будет именно оно.

Ты о чем? Ты думаешь он с одного своего вебовского сервака гуляет? Он у меня на сайте скок раз был, так все ИП разные, и нету для них хоста! Вот посомтри для интереса какую-нить статистику...

http://scriptic.narod.ru/raskrytka/UserAgent.htm - вот страничка с основными ЮзерАгентами роботов в России

[RaZEr]

Все кто находит сайт через поисковые системы имеют в реферале нечто вроде "google.com" или "google.ca" или нечто подобное. Что касается роботов, то они вообще реферал могут не проставлять.

А причем тут те, кто находит, мы говорим о поисковых роботах!

[RaZEr]

Именно о роботах ... так а в чем смысл ? Сейчас робот под одним IP завтра он под другим. Какие робот пошлет заголовки это тоже на усмотрение роботов. Так что вычислить их из толпы если и можно, то весьма приблизительно. Да и зачем это делать? ...

Я с вас торчать, так причем тут АйПи - вот я и предложил способ - робота искать по ЮзерАгенту... а вы все на своем АйПи повисли
А насчет вычислить - это мания ))

[RaZEr]

Твой юзер-агент это самое ненадежное что можно было предложить. Роботы часто вообще делают вид, что они это обычные пользователи. И в заголовках пишут Mozilla, Internet Explorer и т.д.

Опера тоже делает вид, что она ИЕ...
А я имею ввиду нормальных роботов, а не тех, что емейлы воруют по сайту...

Или может к тебе на сайт приходил робот из какой-нить Новой Гвинеи? Уверен, ты бы об этом даже и не узнал.... да и проку от него, в мире всего не больше десятка нормальных поисковиков, с которыми можно работать.

[vts]

si3009.inktomisearch.com - - [12/Jun/2003:16:09:32 +0200] "GET /robots.txt HTTP/1.0" 404 317 "-" "Mozilla/5.0 (Slurp/si; slurp@inktomi.com; http://www.inktomi.com/slurp.html)"

66.77.73.66 - - [11/Jun/2003:22:23:25 +0200] "GET /robots.txt HTTP/1.0" 404 321 "-" "FAST-WebCrawler/3.8 (atw-crawler at fast dot no; http://fast.no/support/crawler.asp)"

64.68.82.12 - - [11/Jun/2003:10:35:05 +0200] "GET /robots.txt HTTP/1.0" 404 317 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

64.68.87.41 - - [11/Jun/2003:18:22:06 +0200] "GET /robots.txt HTTP/1.0" 404 321 "-" "Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)"

213.180.194.163 [06/Jun/2003:00:19:52 +0400] "GET /robots.txt HTTP/1.1" 404 1952 "-" "Yandex/1.01.001 (compatible; Win16; I)"

216.39.48.111 [08/Jun/2003:02:12:48 +0400] "GET /robots.txt HTTP/1.1" 404 1952 "-" "Scooter/3.2"




Из моих логов... потом ещё пороюсь =)

[Stasik]

опять-таки не каждый робот будет искать robots.txt

[vts]

не... это я искал роботов по запросу robots.txt ...

А вооще... вроде тока по useragent ...