определения языка сайта

цель? вот такая:
сделать поисковую систему, но понятно что не глобальную, а для работы, так сказать в определёных сетях. так вот, сайты нахожу, релевантность определяется, одним словом всё обрабатывается и последний вопрос, как мне их получше и где хранить, чтобы их можно было быстро и правльно потом находить. То есть к слову, обработано, ну например, 100 сайтов где слово ВАСЯ счиается ключевым, то есть это релевентное слово для этих сайтов, но они имеют разный вес. Скажем так, что ВАСЯ для первого сайта релевантно на 50%, для второго 10%, для тертьего 5% и т.д. И если задан поиска слова ВАСЯ нужно выдать сайты по релевантности. Но к слову ещё в том сайте что релевантно на 50% со словом ВАСЯ, оно релевантно со словом ПЕТЯ на 3%, то есть один сайт может иметь несколько разных слов, по которым можно его находить, но просто эти солва имеют различную важность. Не могу понять, как мне их хранить в базе, в какой структуре, чтобы их можно было быстро находить и выдавать по релевантнсоти. Повторю ещё раз, что нахожу сайты, обрабтку слов и определения релевантсрти ключевых слов уже сделал, а хранить и находить по правильному не получается.
вот например так:
www.xxx.ru - ВАСЯ 20%, ПЕТЯ 3%, ДИМА 1% и т.д.
www.yyy.ru - Петя 15%, ДИМА11%, МАША 2% и т.д.
www.zzz.ru - МАША 35%б ИВАН 31%, АЛЕКСЕФ12% и.т.д.
и так далее

теперь для разных поисковых слов разная сортировка... а как это сделать не знаю...
Думаю ясно объяснил, если что-то не так, уточну.. спросите.

хочу добавить, что сайтов будет много, и ещё может быть что релевантных слов будет больше, то есть может быть что для одного сайта может быть и ВАСЯ и ПЕТЯ и ДИМА по 10%, то есть несколько слов с одинаковй значимостью.

все зависит от того какая будет логика при внесении данных.
Т.е. еслим индексы строить сразу при добавлении, то и MySQL подойдет. а если половину работы взвалить на БД то лучше DB2 или Oracle, думаю что многие вспонят еще PostgreSQL но он не долтягивает по интелектуальности до Oracle, но по простоте на одном уровне с MySQL

вот меня и интересует, какя нужна логика? я этого не знаю. Всё что я знаю и имею, это адреса и их ключевые слова с весом их значимости.. а как лучше и всё остальное для меня вопрос не пойму какую структуру это всё должно иметь в базе...

правда это уже другой вопрос..... не касающийся темы, но всё же... Вроде с базой определился

За логику нужно платить, если согласен, дам тебе свою аську, там обсудим.

А какую базу выбрал, какой сервер бдет - публичный или выделенный?

платить? пока рано платить

выбрал PostgreSQL. Почему? потому что MySQL простенький для такой задачи, с болшими базами postgre лучше раотает. оракл слишком тяжёлый для компа... PostgreSQL думаю более подходящее. Хотя вот было написано на другом форуме:

- реляционные бд НЕ используются в СЕРЬЕЗНЫХ поисковиках
- про ЛЮБЫЕ SQL СУБД забыть раз и навсегда.

не знаю почему и не знаю что тогда?

Про PosgreSQL согласен, он полегче, но и менее интелектуальный чем Oracle.

А адресочек форума не подкинете?

вот я там http://portal.sysadmins.ru/board/viewtopic.php?p=425986 тоже постюсь

Я так и думал, ничего конкретного.

[RaZEr]

но понятно что не глобальную, а для работы, так сказать в определёных сетях

В сетях ... например для сети 1.2.3.[0-255] это будет ~256 узлов. Даже если на каждом есть серьозный ресурс на 80-ом порту, то это в среднем 1000 страниц. Итого 256000 страниц. Индексируешь каждую в поле text того же MySQL и используешь встроенный fulltext search.

Я так и думал, ничего конкретного

наврено тоже денег хотят

[RaZEr]

Я так и думал, ничего конкретного.
...
наврено тоже денег хотят

На том форуме очень правильно сказали:

Вам нужна глубокая теория?
Вы не по адресу... Ее ищут не на форуме, а в книжках.
...
Поисковая система не так проста, что бы рассказать о ней в двух словах. Это не чат.
Это серьезная, научная разработка, и полное устройство своего поисковика никто Вам не откроет.

я согласен и не спорю с этим... но, как я сказал, что сейчас меня больше интеерсует не поиск, ранжировка, определение релевантности и т.д., так как всё это уже сделано, и "научная работа" выполнена и там мне помогли, я разобрался как сделать поиск и определить правильно ключевые слова и значимость слова и т.д., теперь меня просто интересует, как уже гворил, правильное хранение информации и выбор... ну ладно, думаю, что тема исчерпалась жаль что не разобрался пока... пойду на других форумах полазаю!

всем СПАСИБО и удачи!!!