Применение технологий транзакции для сохранения данных - Программирование

asdus · 30.01.2005, 00:29

Собственно сталкивался ли кто с этим? Не подскажете по реализации, а то писать все самому как-то кучеряво.
Итак, что есть: программа, с которой по сети одновременно работает 200-500 клиентов, работает активно, то есть информация меняется постойнно. Раз в 30 минут - сохранение данных (рабочих) - происходит "заморозка" всего, все объекты сереализируются и пишутся в файл, работаем дальше. Так вот, оная "заморозка" всех очень напрягает, так как занимает достаточно большое время (относительно ессно - на 2ГБ ОЗУ + 2x3Ггц Пень4, 2xHDD SATA 8Mb buf - около 60 сек, размер получаещегося файла ~1Гб(пока)), которое всех ну оччень напрягает, собственно поэтому так редко и происходит, хотелось-бы раз в 10 минут делать, или хотя-бы в 20, но тогда совсем съедят.
Посему хочется сделать следущее: всю систему сохранения информации построить по транзакционному принципу (знакомо по базам данных). То есть инициализируется начало сохранения, все как-бы заморозилось (читаем инфу по транзакциям в MySQL), идет дамп на диск, при этом, паралельно, продолжается работа, и где-то в отдельном месте накапливаются изменения от "момента начала сохранения", потом запись заканчивается, измененияприменяются, работает дальше, пауза прозрачна...
Воот такое, что написал я сверху - хочу. Как уже говорилось писать все самому - имхо долго, и тяжело, так может есть у кого некие наработки, или, быть может, советы по данному поводу.
З.Ы.: для заинтересовавшихся: http://www.innodb.com/ - база юзаемая в MySQL и поддерживающая транзакции, OpenSource.

RaZEr · 31.01.2005, 00:11

Так а во имя чего весь этот геморой? Какая поставлена задача?

asdus · 31.01.2005, 22:38

Избавить прогу от "сохранений". Очень напрягают народ.
А гемморой этот нажил в рамках проекта OpenSource - так что остерегайтесь - покупайте лекарства заранее ;-)

RaZEr · 01.02.2005, 08:32

Т.е. база регулярно сохраняется. Своего рода backup. Тогда я думаю убери это сохранение и просто периодически копируй в безопасное место файлы с данными. Это будет быстрее.

asdus · 02.02.2005, 15:48

Так "файлы с данными" из оперативной памяти еще сохранить нужно - вот оно и есть это сохранение...

Saruman · 02.02.2005, 16:20

asdus
А в твоей программе какая-то стандартная БД типа той же MySQL используется?

asdus · 02.02.2005, 17:41

нет

Drakosha · 02.02.2005, 18:29

на моем опыте очень стоит писать файлы архивируя, т.к. в основном время идет на запись на диск (т.е. процессор не важно какой из современных). Посмотри zlib например, может ускорит дело.

asdus · 02.02.2005, 19:45

Эх. Ускорить дело можно и купив сервер помощнее... Спасибо конечно, посмотрю, но вопрос остается открытым...

someone312002 · 05.02.2005, 16:31

построй алгоритм "Исключения": одни данные критичны к изменениям (в зависисости от времени), другие - нет... от этого и играй. Создай "список" пользователей с их признаками (ИД), дальше, все изменеия "шифруй" по их ИД и времени изменеия и в зависимости от алгоритма...

УДАЧИ!!!

30.01.2005, 00:29	# 1
asdus Junior Member Регистрация: 26.03.2003 Сообщения: 104	Применение технологий транзакции для сохранения данных Собственно сталкивался ли кто с этим? Не подскажете по реализации, а то писать все самому как-то кучеряво. Итак, что есть: программа, с которой по сети одновременно работает 200-500 клиентов, работает активно, то есть информация меняется постойнно. Раз в 30 минут - сохранение данных (рабочих) - происходит "заморозка" всего, все объекты сереализируются и пишутся в файл, работаем дальше. Так вот, оная "заморозка" всех очень напрягает, так как занимает достаточно большое время (относительно ессно - на 2ГБ ОЗУ + 2x3Ггц Пень4, 2xHDD SATA 8Mb buf - около 60 сек, размер получаещегося файла ~1Гб(пока)), которое всех ну оччень напрягает, собственно поэтому так редко и происходит, хотелось-бы раз в 10 минут делать, или хотя-бы в 20, но тогда совсем съедят. Посему хочется сделать следущее: всю систему сохранения информации построить по транзакционному принципу (знакомо по базам данных). То есть инициализируется начало сохранения, все как-бы заморозилось (читаем инфу по транзакциям в MySQL), идет дамп на диск, при этом, паралельно, продолжается работа, и где-то в отдельном месте накапливаются изменения от "момента начала сохранения", потом запись заканчивается, измененияприменяются, работает дальше, пауза прозрачна... Воот такое, что написал я сверху - хочу. Как уже говорилось писать все самому - имхо долго, и тяжело, так может есть у кого некие наработки, или, быть может, советы по данному поводу. З.Ы.: для заинтересовавшихся: http://www.innodb.com/ - база юзаемая в MySQL и поддерживающая транзакции, OpenSource. __________________ Секс - хорошая штука. Как ни крути...

31.01.2005, 22:38	# 3
asdus Junior Member Регистрация: 26.03.2003 Сообщения: 104	Избавить прогу от "сохранений". Очень напрягают народ. А гемморой этот нажил в рамках проекта OpenSource - так что остерегайтесь - покупайте лекарства заранее ;-) __________________ Секс - хорошая штука. Как ни крути...

02.02.2005, 15:48	# 5
asdus Junior Member Регистрация: 26.03.2003 Сообщения: 104	Так "файлы с данными" из оперативной памяти еще сохранить нужно - вот оно и есть это сохранение... __________________ Секс - хорошая штука. Как ни крути...

02.02.2005, 16:20	# 6
Saruman ::VIP:: Регистрация: 12.11.2002 Адрес: Nicosia, Cyprus Сообщения: 1 285	asdus А в твоей программе какая-то стандартная БД типа той же MySQL используется? __________________ "If people only knew how hard I work to gain my mastery, it wouldn't seem so wonderful at all." Michelangelo Buonarroti

02.02.2005, 17:41	# 7
asdus Junior Member Регистрация: 26.03.2003 Сообщения: 104	нет __________________ Секс - хорошая штука. Как ни крути...

31.01.2005, 00:11	# 2
RaZEr МОД-Оператор ЭВМ Регистрация: 18.04.2002 Адрес: Питер Сообщения: 4 343	Так а во имя чего весь этот геморой? Какая поставлена задача?

01.02.2005, 08:32	# 4
RaZEr МОД-Оператор ЭВМ Регистрация: 18.04.2002 Адрес: Питер Сообщения: 4 343	Т.е. база регулярно сохраняется. Своего рода backup. Тогда я думаю убери это сохранение и просто периодически копируй в безопасное место файлы с данными. Это будет быстрее.

02.02.2005, 18:29	# 8
Drakosha Full Member Регистрация: 16.10.2002 Адрес: ArchLinux, Internet Сообщения: 557	на моем опыте очень стоит писать файлы архивируя, т.к. в основном время идет на запись на диск (т.е. процессор не важно какой из современных). Посмотри zlib например, может ускорит дело.

02.02.2005, 19:45	# 9
asdus Junior Member Регистрация: 26.03.2003 Сообщения: 104	Эх. Ускорить дело можно и купив сервер помощнее... Спасибо конечно, посмотрю, но вопрос остается открытым... __________________ Секс - хорошая штука. Как ни крути...

05.02.2005, 16:31	# 10
someone312002 Junior Member Регистрация: 17.12.2002 Адрес: [EST], Tallinn Сообщения: 120	построй алгоритм "Исключения": одни данные критичны к изменениям (в зависисости от времени), другие - нет... от этого и играй. Создай "список" пользователей с их признаками (ИД), дальше, все изменеия "шифруй" по их ИД и времени изменеия и в зависимости от алгоритма... УДАЧИ!!! __________________ "я не волшебник - я только учусь..." (c) ...а зовут меня Олег...