Прорыв технологии архивации "без потерь". WinRar и 7-Zip.
 

Знаете, может это и не сенсация конечно, но я об этом узнао только считанные дни назад. Речь идет о 7-zip (сорри, был уже такой топик, но там имхо плохая аура - народ постил только ссылки, а так хочется обсудить :biggrin: )

Что меня так потрясло? Преамбула: в области архивирования я являюсь закоренелым педантом, т.е. мне глубоко пофиг сколько долго архивирует тот или иной метод или архиватор. Главное для меня это конечный размер.

Так вот до недавнего времени я был стойким поклонником WinRar т.к. только он обеспечивал в бльшинстве случаев максимальный ратио. А его новый метод PPMII в версии 3.1 сжимал текстовый файлы намного далеко оставляя остальные архиваторы (включая суперстаренький HA, которого до этого нельзя было переплюнуть). К любому архиватору в имени содержащим Zip относился предвзято, как к быстрому но не сильно эффективному архиватору. Пол года назад еще шокировал Ace но только до выхода WinRar 3.2.

Фишка: Совершенно случайно загрузил 7-Zip на работе (т.к. варез на работе нельзя, а этот - фриваре). Легко интегрировался даже в far. Попробовал качество, у меня, извините, глаза на лоб полезли. Впрочем после разборок оказалось что по-умолчанию стоит solid архивирование и на самом деле при обычном методе результаты немного хуже, однако в некоторых случаях обгоняет даже сам WinRar 3.2

К сожалению я тестировал немного, но в ближайшее время думаю выложу пару точных цифр.

Предлагаю всем тем у кого отношение к архиваторам схоже с моим (т.е. поклонникам rar и ace) попробовать 7-Zip (не реклама, - призыв :))

Фичи 7z формата:

• Открытая архитектура
• Гипотетическая возможность подключить любой метод компрессии/декомпрессии.
• solid компрессия.
• Компрессия шапки архива (чего давно не хватает все остальным архиваторам, попробуйте сжать "избранное" если там более 500 файлов и огромная структура каталогов)
• Полностью совместим с ZIP форматом (вы сможете разархивировать любым Zip архиватором)
• Поддержка форматов на сегодня: компресиия и декомпрессия: 7z, ZIP, GZIP, TAR, BZIP2. Только декомпресия: RAR, CAB, ARJ, CPIO, RPM, DEB, SPLIT

Интегрированные методы:

• LZMA It's based on Lempel-Ziv algorithm
• PPMD Dmitry Shkarin's PPMdH with small changes.
• BCJ2 (CALL, JUMP, JCC) converter for 32-bit x86 executables.
• BZip2 BWT algorithm.
• Deflate Lempel-Ziv and Huffman.

P.S. Прошу не устраивать споры типа "а XXX красивее и удобней, быстрее и меньше ресурсов жрет". Я так понимаю, что те кто оценивает архиваторы с точки зрения удобства или красочного интерфейса или еще каким феничкам пусть гуляют! В архиваторе главным есть метод. А если интерфейс не соответствует, то найдется много компаний готовых приобрести проект и реализовать нормальную поддержку. Не последним конечно есть скорость, но давайте разделим виды архиваторы и будем здесь обсуждать архиваторы ориентированные на результат, а не на скорость. Спасибо за внимание.

_http://www.7-zip.org

Denver
А надо ли народу предлагать архиватор, которым в инете практически
ничего не запаковано? Для дома, для семьи это прокатит, но народ
зипы и рары сейчас в основном из нета берет:( Пока это не стало стандартом,
на фига козе баян? Тем более ACE?

Gerasim
Забыл сразу написать (вверху уже обновил): 7-Zip полностью совместим с форматом ZIP.

Denver
А с RAR?

Gerasim
Хм... не понял вопроса. Если rar может разархивировать *.zip (никогда не пробовал), то сможет и *.7z разархивировать.
Сам 7-Zip может только разархивировать *.rar (сжимать извините надо покупать технологию rar, т.к. архитектура rar закрыта, да к тому же если 7zip жмет эффективнее тогда зачем нужен rar).

Denver
7-Zip архивы RAR хорошо понимает? А в *.7z WinRAR вроде не врубается?
Не знает WinRAR таких архиваторов, или я ошибаюсь?

Gerasim
Ну ты че в самом деле. *.7z имеет формат zip файла - хошь переименуй его в zip никто ничего не заметит (не надо только акцентировать на том что переименовывать неудобно, см. постскриптум первой мессаги где выделено красным). Я не знаю понимает ли WinRar структуру zip. Если понимает тогда все в порядке, на нет и суда нет.
Да, сам 7-Zip хорошо понимает файлы rar вплоть до версии Winrrar 3.2

Провел эксперимент. Брались файлы (размер в килобайтах) разных типов и сжимались с помощью WinRAR 3.20 и 7-ZIP:
txt - 108:
- RAR - 32
- 7-ZIP - 39
doc - 101:
- RAR - 19
- 7-ZIP - 20
ppt - 801:
- RAR - 732
- 7-ZIP - 732
exe - 12 497:
- RAR - 11 083
- 7-ZIP - 11 110
Выводы: Не точто 20-30% выигрыша нет, а на лицо худшие показатели. При этом на ехе файл у 7-zip ушло почти в 2 раза больше времени, чем у WinRAR.

Denver
Вот, видишь :(

Давайте не будем вот так вот брать любое файло, есть определенные наборы "типичных" файлов определенных видов (текст, бинарные и т.д.) специально подобранных для таких тестов. Возьмте например наиболее известный набор Canterbury Corpus (скачать можно с этой страницы).
К сожалению, я сейчас на работе и у меня нет возможности юзать WinRar, попробуйте кто-нибудь если есть время.

vovik
О времени мы не говорим, ок? Осуждаем максимальную степень сжатия "любой ценой".

Э-э-э, нет. Я работаю именно с "любым файлом", а не с тем, что кто-то там подготовил! И взял я файлы наугад, те, что под руку подвернулись. Это мои типичные файлы. Я с ними работаю. Мне их надо архивировать.
Ни на одном из них хоть малейшего выигрыша не наблюдалось.

PS: а что касается оптимизации под тесты это мы не так давно с видеокартами проходили.

vovik
Да, ты прав. Хотя я вчера тоже взял подвернувшееся файло и получил выигрыш 20-30%. Завтра побольше файлов возьму.
btw а какие коммандные строки ты использовал?То набор не оптимизирован, он просто представляет как раз аля "случайный" набор файлов определенного типа (например, природе любые подвернувшиеся ехешники иногда уже сжатыми бывают, тогда ты не сможешь проверить на сколько хорошо метод сжимает бинарные файлы).

Добавлено через 6 минут:
vovik
Укажи плиз какие коммандные строки ты использовал и какие версиии программ?

Читай внимательно, я писал не про набор, оптимизированый для тестов, а про софт, оптимизированый под этот набор.
Я не использовал командных строк. Обе программы имеют вполне вразумительный Win-интерфейс. Если какие-то функции не доступны через этот интерфейс это вина производителя. Компрессию использовал Ultra для 7-zip и Best для WinRAR
7-Zip уже снес. Версия - та что качается сегодня (ссылка с офсайта).

vovik
Кммандные cроки отображают ВСЕ параметры и позволяют удостоверится что ты не включил например в раре best метод + solid архив, а в 7-zip только best метод например. Ну да ладно. Ничего не слышал про эту оптимизацию раньше, читал внимательноНе вижу чтобы речь была именно о софте, соответственно неправильно понял, сорри.

Denver
Хочешь, файлы вышлю? проверишь сам. Хотя бы текстовые. (Ехешник - инсталляшка ACDSee 5.0)
А про оптимизацию с целью улучшить показатели именно в тестах, а не в реальных условиях смотри, например тут: http://www.computerra.ru/focus/coment/26684/
История вроде бы довольно известная.

vovik
Спасибо, текстовых и у меня навалом :biggrin:, сегодня дома сяду и раздуплюсь сам.
Инсталяцию архивируют по жизни не все, имхо это все равно что архивировать архивы, распределение символов в инсталяциях (и архивах) ~ равновероятно, что не позволяет развернуться методу архивирования (любому) на полную.
За ссылку сенькс.

Добавлено через 2 часа и 36 минут:
vovik
а впрочем, слушай, скинь мне плиз текстовые - сжатые раром, я тебе скину их обратно в 7z формате меньшего размера. Есть подозрение что ты в настройках 7-Zip установил параметры сжатия "zip" а не новый "7z".

Denver
У вас тут получилося 7-zip VS Rar ! Я считаю 7-zip хорошим архиватором !!!
пусть и не выигрывает он у Rara... лично я файлы .rar нелюблю !!!

inviner
Терпи пока;)

Gerasim
:biggrin:

inviner
Я их очень полюбил, когда рековернул 99,9% архивов, попортившихся после сдыхания винта. Архивы, между прочим, рабочие, стоящие денег. Дома я пишу все в rar, обязательлно с recovery record. Но в инете использую только zip.
Бинарники, кстати, в простой зип жмутся лучше, чем в рар.

Сейчас, имхо, не так важно сжатие, как надежность и сервис. Рар все это мне предоставляет, у него есть имя. Поэтому, как появилась возможность, я его купил. Pkzip и WinZip - это вооьще исторически сложившийся стандарт. А 7zip нужно очень постараться, чтобы завоевать такую же известность. Иначе его ждет удел эйсов, ха и прочих хороших, но не распространившихся дальше любителей архиваторов.

nick.ddd полностью с тобой согласен а .rar не люблю только потому что старые версии не распаковывают новые файлы а еще не у всех стоит 3.хх версия

nick.ddd
7-Zip использует тот-же "исторически сложившийся стандарт". Как вам втолковать? :confused: А жмет лучше чем эти два. Ща вот тока тесты прогоню... Обождите минут 30.

Добавлено через 41 минуту:
Результаты теста.

Сжатие текстов (набор русских html "Спецификация HTML 4.01", 1.5 метра):
Сжатие бинарных (набор exe файлов разных архиваторов, 3 метра):
Вывод: 7-Zip обгоняет всех по бинарным, по текстовым стоит на втором месте (после WinRar). Переходить конечно не стоит, но присмотреться можно, например иногда куча бинарных фалов сжатых 7-zip'ом + сам 7-zip могут занимать меньше места чем сжатые winrar'ом.

З.Ы. 7-zip (как и WinAce) по умолчанию пакует в солид архивы чем меня и смутил сразу - солиды получаются меньше чем обыкновенные rar.
Btw пробовал распаковать 7z pkzip'ом - ругается :( хотя файлы zip сделанные 7-Zip'ом, которые получаются меньше (!) чем у PkZip, распаковывает нормально.

Denver
Вот. Расшумелся :) Я же, между прочим, написал что бинарники в зип жмутся лучше.

nick.ddd
Угу, но все же не в zip, а в 7-zip, две большие разницы :)

как этот архиватор называется который юзается для рипов игрушек?
upe.. что-то в этом духе...
вот и пользуйтесь им.
там и 32 метра словаря юзается а не 1 как в раре...

В раре 3.20 словарь до 4 мегов, а для игрушек юзается Uharc. Кстати относительно недавно вроде вышла обновленная версия последнего + gui. Бинарники жмет лучше рара, только ОЧЕНЬ медленно. А еще уверен что рар сделает 7зип во всех категориях, надо просто с настройками поиграть (с теми что advanced).

Denver
Раром бинарники в зип жмутся лучше, чем в рар.

Кстати, Игорь Павлов, автор 7-zip, штампует эти архиваторы только пыль стоит. Правда, насколько я понял, так же быстро их перестает развивать.

mozarttt
уже значит 4 метра...
это есть гуд.

Denver, А какой размер словаря использовался в 7zip при тестировании?

Итак, попреки первоначальному сообщению о 20-30% выигрыше, имеем:
т.е. на ехе'шниках выигрыш всего 2,5% - что называется в пределах погрешности измерений (у меня-то и того не получилось, но пусть я не то что-то сжимал :) ),
а на текстах -(минус,т.е. хуже)почти 15%.
Ну и где тут "прорыв"?

vovik
На сегодня 1-2% это уже революция.

Надеюсь ты понимаешь что сжать любой файл до 4х килобайт например невозможно :) Поэтому для каждого типа файла есть свой ратио предел. Вопрос в том насколько близко метод архивирования подходит к этому значению. Так тут уже десятки процентов давно уже не имеют место быть. Измеряется все в долях процента.

З.Ы. А про революцию я объяснил уже, 7-zip по умлчанию солиды делает и я был очень ошарашен тем что он создает архива на порядок меньше рара. На самом деле разница между солид *.рар и солид *.7z не такая уж и большая.

З.З.Ы. Чтобы почувствовать разницу в сжатии бинарных попробуй лучше вместо инсталяшек посжимать что-нибудь из каталога Program Files (если у тебя там не текстовые файлы хранятся разумеется).

Re: Прорыв в технологии архивации "без потерь", 7-Zip
 

Именно об этом я и пишу.
Результат:
1 Тексты жмет заметно хуже, чем RAR
2 Выигрыш на ехе-файлах может составить 2-3% (с запасом беру :) ), а может и не составить, в зависимости от конкретного файла
PS: и ни слова про интерфейс или скорость. ;) (а кто старое помянет - тому глаз вон!)

vovik
Хмм... Ок. А что ты доказывал? (прочти вывод который я сделал после теста)

Вот это ты правильно сказал. А мне лично сугубо индиферентно какой интерфейс (даже потому что я все через интерфейс фара жму) и скорость (мало что у меня комп не слабый так и времени дохрена).
Открой ветвь "Самый быстрый архиватор" и/или "Самый красивый архиватор", обсуждай PkZip, WinZip, красоту WinRar и т.д. Быстрый архиватор нужен для ежедневного бэкапа и только. Меня же в данной ветви интересуют архивироваторы как реализация некоей эффективной матмодели.

А меня в данном случае интересует то, что ничего подобного описанному в заглавном посте:
"сжимает процентов на 20% лучше софт и процентов на 30% текстовые. В сравнении с rar'ом естественно..."
на практике нет и в помине.
Написал бы:
Появился новый архиватор, позволяющий получить некоторый выигрыш (или,"оптимизированый для сжатия бинарных файлов", как угодно) по сравнению с наиболее популярными WinRAR и WinZIP при наботе c ЕХЕ-файлами
Вопросов бы не было. А то сначала пишешь:
Попробовал качество, у меня, извините, глаза на лоб полезли
А потом, когда таки публикуешь результаты своих (заметь!!!) тестов, оказывается, что отдельные результаты прямо противоположны тем, что брошены "для затравки".
Попахивает недобросовестной рекламой.

PS: К сожалению по поводу "кто старое помянет..." к заглавному посту никак отнести не получится, потомучто без него и темы-то не было бы. Да и на каждой странице он дублируется, а моя фраза по поводу скорости работы где? Мало кто до нее доберется....

vovik
Сорри, понял твое негодование. Исправил начальный пост.

Любопытный сайт по этой теме _http://www.compression.ru/arctest/art/artest.htm

тут вот в теме увтерждали, что .7z совместим с .zip, но имхо это заблуждение, это 2 разных формата.
Кстати winrar 3.4 уже знает про 7z

и еще сам 7-ZIP жмеет ZIPы лучше, чем WinZip

Кстати, для всех фанатов 7-zip и Total Commander. Наконец-то появился плагин для полноценной работы с архивами 7-zip в нашем любимом TC. :) Скачать можно с сайта WinCmd.ru

Думаю 7-zip может обогнать Rar т.к. opensource. Пример: я отправил архив rar на sourceforge и очень удивился когда меня попросили (итальянец) перепаковать т.к. winrar не знают вообще ! - во-как. Когда же я написал что rar в России такой-же популярный как zip и дал ссылку он на меня чуть ли не стал ругаться :-) насколько я по английски понял. Вот пока писал еще вспомнил - только давно уже - отправил в groups.yahoo.com тоже rar архив и тоже спросили "а что это такое"

По функциональности:
У меня правда winrar 2.9 и может поэтому получалось что 7-zip жмет несколько лучше но больше меня радует что 7-zip очень быстро распаковывает solid архивы lzma - практически мгновенно - можно хранить тексты в большом архиве и доставать их почти как файл с диска.

Да, поставлю-ка я winrar последний - надо попробовать...

а вот интересно, как из методов в 7zip лучше?

* LZMA It's based on Lempel-Ziv algorithm
* PPMD Dmitry Shkarin's PPMdH with small changes.
* BZip2 BWT algorithm.
* Deflate Lempel-Ziv and Huffman.

ИМХО, при LZMA жмется лучше, но видел, что некторые используют PPMD. Может провести тестирование?