определения языка сайта

Привет всем!
Профи, у меня вот такой вопрос. Как можно, например с пмощью PERL или PHP, определить язык сайта, а так же его кодировку, если его нет в мета-тэге? Возможно ли такое или нет? Например, нужно найти, открывая сокеты перлом по заданным адресам, к слову, сайты только на украинском или грузинском. А, если сайт на русском языке, то его кодировку... реально это или нет?
Заранее всем спасибо!

[dyr_farot]

делается это довольно легко ( алгоритмически )
береш словарь ( сколько языков / кодировок -- столько и словарей )
а потом выделяеш слово и ищеш его в словаре ( нашел -- знаеш язык / кодировку ( операцию повторить для увеличения вероятности ) )
как бы все

[BetDeD]

Можно и подругому. Не знаю,как в Перле, но в ПХП можно это организовать с помощью переменных окружения.
Например вот-так:_SERVER["HTTP_ACCEPT_CHARSET"]

[RaZEr]

Язык сайта определить можно, но далеко не точно и далеко не всегда. Теоретически можно проанализировать ответ сервера на предмет заголовка Content-Type. Если там windows-1251, то с большой вероятностью сайт русский. А если там UTF-8? Будем смотреть на порядковые номера символов, чтобы определить из какого они поддиапазона? А есть хитрые сайты, которые реагируют на Accept-Language, и подсталяют разные кодировки, а порой и разные языковые версии сайта. Неговоря уже о случайностях когда русские веб-мастера делают англ. сайты выводя всё в привычной им windows-1251...

Вообщем затея не из простых. Разумней зайти и посмотреть воочую какой там язык. А если речь идет о регистрации в каталоге (рейтинге, топе), то проше добавить select в форму добавления сайта.

[HoverHell]

Если сделать высоковероятное предположение что в google сделано наиболее лучшим возможным способом, то получится что в большинстве случаев язык определить можно, но чуществуют и исключения (встречались напр. немецкие сайты которые гугл признал английскими)

[RaZEr]

Гугл роется в контенте. Это ресурсоемко, но для поисковика просто неизбежно. Заполучив тысячи ключевых слов не сложно определить язык.

а в какой базе данных хранят информацию поисковики?

[RaZEr]

В разных.

в разных?... да, но не во всех. например не в MySQL и не в Oracle... честно говоря сам не знаю почему, но как-то давно прочитал что SQL базы не подходят для работы в нормальных и немаленьких поисковых системах.

[RaZEr]

Логично. MySQL не предназначен для больших баз, а Oracle довольно медлителен. Рамблер например использует PostgreSQL. Монстры вроде Google, используют свои, адаптированные под конкретные нужды.

[Al-x]

А что мешает использовать Google для выяснения языка сайта? Смотрим как формируется запрос на странице расширенного поиска (по сути нужно вынуть параметр языковых ограничений и site:www.xxx.yy), формируем таой запрос скриптом, запрашиваем Google. Если язык не угадан, имеем зелёную подпись на верху страницы. Вот только грузинского и украинского я там не нашёл Не очень быстро, зато не надо проверять по словарям, искать хитрый алгоритмический подход.

[RaZEr]

И яндекс и гугл могут пробанить подобных роботов. Прийдется использовать прикси, обновлять прокси-листы ... будет ли оно того стоить?...

посмотреть заголовки сервера или на крайний случай регулярным выражением посмотреть мета теги страницы, обычно все из вставляют

Сообщение от nemra

в разных?... да, но не во всех. например не в MySQL и не в Oracle... честно говоря сам не знаю почему, но как-то давно прочитал что SQL базы не подходят для работы в нормальных и немаленьких поисковых системах.

Здрасте, Oracle ему медленный, настраивать нужно правильно батенька, а вот Yandex как раз на Oracle крутится, причем у них очень интересная структура хранения и выдачи запросов.

Здрасте, Oracle ему медленный

я не говрил что он медленный я сказал, что я где-то, когда-то читал, для в поисковиков не очень подходят базы SQL.

А какой принцип хранения и выдачи информации в поисковой сисеме Yandex?

nemra:
для в поисковиков не очень подходят базы SQL.

Глупости, базы данных для этого и делают, чтобы структурировать информацию и иметь удобные средства для работы с данными.
Причем Oracle для этого очень неплохая база, хотя DB2 мне кажется подошла бы больше. Хотя все зависит от конкретной реализации.


На яндексе стоит несколько (точную цифру не помню, но явно больше 10) серверов с Ораклом и при каждом посещении центральная машина сама решает какой сервер будет выдавать ответ.

[RaZEr]

На яндексе стоит несколько (точную цифру не помню, но явно больше 10) серверов с Ораклом и при каждом посещении центральная машина сама решает какой сервер будет выдавать ответ.

- Яндекс имеет около 50 серверов на поиске.
- Яндекс не использует Oracle.

мне один раз попадалась информация по структуре серверов и там был оракл, а сейчас уже не нашел, хотя может я и ошибся.

ну а всё-таки, какой серевер самый удобный для работы в поисковых? А где можно почитать о хранении и выборке данных в поисковиках? кто поможет ссылочкой?

[RaZEr]

http://www.citforum.ru/database/dbguide/index.shtml

nemra:
ну а всё-таки, какой серевер самый удобный для работы в поисковых? А где можно почитать о хранении и выборке данных в поисковиках? кто поможет ссылочкой?

А всетаки лучше расскажите какая у Вас цель?