Скачивание сайта целиком - изготовление локальной копии - Обсуждение программ - Страница 3

22.11.2002, 21:55

Чем можно сохранить на локальный диск просматриваемую ВЕБ-страничку? А еще лучше не всю, а только выделенную ее часть.

Кто чем пользуется?
+++++++++++++++++++++++++++++++++++++++++++++++
Обсуждаем:
Сохранение локально сайтов целиком либо их частей
Сохранение отдельных частей (например, только картинок) с сайта
Сохранение множества вебстраниц в один файл

Дополнительно: Лучшая сайтокачалка

E.S.A. · 05.09.2003, 10:14

На первой странице Телепортовского визарда есть пункт: "Search a website for files of a certain type" - сиречь, обшарить сайт на предмет поиска файлов заданного типа. На следующей странице указываешь адрес, потом - тип файлов (Add -> User Defined). Вот и все!

29.09.2003, 14:56

Господа! Ктонибудь знает ему альтернативу, еслитребуется:
чтобы мог делать тоже самое все, при этом была возможность включать/выключать создание директорий как на сайте...

Off-line brouzers типа Teleport не подходят...

ЗЫ: нет ли у кого лекарства для NetVampire4.0 (final)

denver · 29.09.2003, 15:26

rkpd
Напиши какие функции тебе конкретно надо, а то я вот вампир не юзал и не знаю че он там делает. Разве это не такойже офлайн браузер как телепорт?

Добавлено через 2 минуты:
З.Ы. А лекарство - это в заказы. тута ве легально.

Добавлено в ту же минуту:
З.Ы. А лекарство - это в заказы. тута все легально.

29.09.2003, 15:32

Цитата:

Первоначальное сообщение от Denver
[B]rkpd
Напиши какие функции тебе конкретно надо, а то я вот вампир не юзал и не знаю че он там делает. Разве это не такойже офлайн браузер как телепорт?

Это download manager типа FlashGet,GetRight и подобных...
Больше всех понравился FlashGet, но я не нашел в нем возможность автоматически сохранять файлы в папках как на сайте ( мне нужно чтобы он сам строил деревья, а не скалыдывал все файлы в одну кучу)

30.09.2003, 04:33

Сам перелез в свое время с NetVampira 4 на FlashGet. И до сих пор жалею, что нету разброски файлов автоматом. Не строит он дерево сам.

Можно только вручную задавать куда качать. Удобно было, да. Но FlashGet лучше работает, удобнее... Поэтому и перелез.

Goryn · 30.09.2003, 15:35

Вышеупомянутый уже Teleport Pro раскидывает файлы по папкам в соответсвии со структурой серверов. Для этого в мастере при задаче закачки отмечаешь соответсвующий пункт.

denver · 30.09.2003, 15:52

Goryn
Насколько я понял прблему, teleport не поддерживает докачку, да и сама закачка идет скрытненько. Сайты качать им хорошо, но не тянет он на качальщик нормальный.

30.09.2003, 16:19

Цитата:

Первоначальное сообщение от Denver
Goryn
Насколько я понял прблему, teleport не поддерживает докачку, да и сама закачка идет скрытненько. Сайты качать им хорошо, но не тянет он на качальщик нормальный.

Ага

и по этому FlashGet много ближе к идеалу....кроме автопостроения дерева как на сайте...

Посмотрел reGet и getRight - то же самое

03.10.2003, 10:33

Да все равно надо для скачки файлов и для скачки сайтов использовать разные проги. ИМХО.

tiamax · 13.10.2003, 16:19

А ты используй wget (есть версия и под винду), там есть вариант качать рекурсивно, к примеру натравливаешь его на yahoo.com и он тебе все по папочкам прям как на яху на веник складывает

А к Net Vampire все равно очень и очень положительно отношусь, хоть и устарел он очень давно, но все равно ностальгия к самому моему первому закачщику.

Goryn · 15.10.2003, 13:39

Цитата:

Первоначальное сообщение от Denver
Насколько я понял прблему, teleport не поддерживает докачку, да и сама закачка идет скрытненько. Сайты качать им хорошо, но не тянет он на качальщик нормальный.

Teleport Pro и предназначен для закачки сайтов, а не отдельных файлов (для них используются даунлоад менеджеры, а ТР - масс-даунлоадер). Он производит докачку САЙТОВ, при этом если конкретный файл не докачен, он качает его заново.

Чтобы докачать сайт в другой сеанс, надо сохранить проект и, главное, дождаться конца сохранения (при большом количестве файлов процесс может растянуться на минуты). И когда откроешь проект в следующий раз, следи за строкой состояния. Сначала там пишет, что Download файл такой-то - докачивает сайт. Но как только начнет писать Updated файл такой-то, значит он докачал все файлы и начал перекачивать скаченные в предыдущие сеансы. Тогда надо все вырубать и ты получаешь искомый результат.

denver · 15.10.2003, 15:07

Goryn

Цитата:

Teleport Pro и предназначен для закачки сайтов, а не отдельных файлов (для них используются даунлоад менеджеры, а ТР - масс-даунлоадер). Он производит докачку САЙТОВ, при этом если конкретный файл не докачен, он качает его заново.

Ээээ.. это я сам все знаю.

Ты первый пост читал? Человеку нужен именно даунлоад менеджер (чтобы качать ФАЙЛЫ). Выше я пояснил тебе что телепорт ему не подходит. Зачем же рассказывать мне каким образом он качает САЙТЫ?

Goryn · 16.10.2003, 19:29

Denver

Если речь идет об отдельных файлах, то поясни в чем суть "создания директорий как на сайте"?

denver · 16.10.2003, 19:41

Это вопрос к rkpd. Я сам не понял

, но может он имеет в виду некий сайт со структурированным ftp?

lesha1974 · 09.11.2003, 23:29

Постоянно бываю на одном физическом форуме
У него - древовидная структура ответов.
http://www.scientific.ru/dforum/common/1067646374
Зачастую бывает не всегда успеваешь переваривать советы там предлагаемые. И хочется записать и сохранить у себя на компьютере всю дискуссию. Однако "в ручную" это делать может оказаться долго (если много ответов).И это к тому же не позволяет сохранить всю структуру диалога, т.е. древо "вопросов-ответов". Слыхал, что есть программа, которая может скачивать целые сайты: вводишь в неё страничку, а она скчивает и все ссылки, представленные на этой страничке и также ссылки в ссылках и т.п. .
Подумал, что хорошо бы использовать нечто такое для скачивания данной ветки форума. Однако подозреваю, что программа для скачивания сайтов в моём случае - не пойдёт, т.к. скачает кучу не нужного.
Может кто знает как можно выйти из этой ситуации.
Если бы была программа для скачивания сайтов, в которой были бы опции не скачивать данные ссылки и их внутреннюю структуру - то она бы вполне подошла, видимо.
Кто что скажет?

Borland · 10.11.2003, 12:07

Может, Teleport Pro ?

E.S.A. · 10.11.2003, 14:11

lesha1974
Да, Телепортом должно получиться. Ставишь в настройках:
Browsable copy of the website
Стартовым адресом указываешь адрес первого поста (например, как в твоем случае, http://www.scientific.ru/dforum/common/1067646374)
А вот с глубиной может быть сложно. Поставишь 1 - тогда, по-моему, для перехода к следующему посту придется вначале возвращаться к первому (хотя я не уверен - может, Телепорт это все повяжет как нужно). Поставишь больше - можешь за компанию скачать несколько родственных обсуждений. Проблема в том, что ветка форума физически таковой не является, это просто набор постов с различными ID, которые увязывает в одну тему движок форума.

В общем, попробуй и расскажи.

lesha1974 · 10.11.2003, 22:49

E.S.A., Borland

Прекрасно скопировалось! Просто "песня"! Очень доволен. Сначала поставил на 3 уровня скачивания, потом - на один. Резултат вроде бы оказался одним и тем же. Во всяком слчае в обоих случаях скаченные файлы вроде бы веслили одинакого.

Спасибо!

E.S.A. · 11.11.2003, 10:25

lesha1974
Результат МОЖЕТ оказаться одинаковым. Но если в каком-либо посте была бы ссылка на другую тему этого форума, то скачался бы и он.

denver · 26.11.2003, 14:04

rkpd
Совершенно случайно наткнулся на маленькую но очень мощную качалку WGet 1.9.1, по своим функциям заменяющая и телепорт и флешгеты, нетвампиры и прочее вместе взятое. Причем установки не требует, в реестре не прописывается - можно юзать паралельно с другим качальщиком.

По теме: поддерживает закачку с сортировкой в каталоги в соответствии со структурой сайта (или фтп).

Единственное НО: это консольная утилита, т.е. не имеющая графического интерфейса. Для одних это плюс (можно кучу скриптов присобачить к системе с помощью WGet чем автоматизировать систему до совершенства), для других минус (никто не хочет помогать себе автоматизировать рутинную работу). Короче немного навыков работы с консолью нужны.

Подробнее о возможностях и примеры использования можно почитать на русском неофиц. сайте http://vap.org.ru/wget/

Ссылки на файло кинул сюда http://www.imho.ws/showthread.php?s=&threadid=44390

22.11.2002, 21:55	# 1
Mr.Zan Guest Сообщения: n/a	Скачивание сайта целиком - изготовление локальной копии Чем можно сохранить на локальный диск просматриваемую ВЕБ-страничку? А еще лучше не всю, а только выделенную ее часть. Кто чем пользуется? +++++++++++++++++++++++++++++++++++++++++++++++ Обсуждаем: Сохранение локально сайтов целиком либо их частей Сохранение отдельных частей (например, только картинок) с сайта Сохранение множества вебстраниц в один файл Дополнительно: Лучшая сайтокачалка Последний раз редактировалось Borland; 09.03.2008 в 14:37. Причина: шапка

05.09.2003, 10:14	# 41
E.S.A. ::VIP:: Регистрация: 05.02.2002 Адрес: Донецк, Украина Пол: Male Сообщения: 842	На первой странице Телепортовского визарда есть пункт: "Search a website for files of a certain type" - сиречь, обшарить сайт на предмет поиска файлов заданного типа. На следующей странице указываешь адрес, потом - тип файлов (Add -> User Defined). Вот и все! __________________ Попробуйте изменить себя, и вы поймете, насколько ничтожны ваши шансы изменить других.

29.09.2003, 14:56	# 42
rkpd Guest Сообщения: n/a	Net Vampire 4.0 - альтернатива? Господа! Ктонибудь знает ему альтернативу, еслитребуется: чтобы мог делать тоже самое все, при этом была возможность включать/выключать создание директорий как на сайте... Off-line brouzers типа Teleport не подходят... ЗЫ: нет ли у кого лекарства для NetVampire4.0 (final)

29.09.2003, 15:26	# 43
denver ::VIP:: Регистрация: 02.12.2001 Адрес: Hohland Сообщения: 2 260	rkpd Напиши какие функции тебе конкретно надо, а то я вот вампир не юзал и не знаю че он там делает. Разве это не такойже офлайн браузер как телепорт? Добавлено через 2 минуты: З.Ы. А лекарство - это в заказы. тута ве легально. Добавлено в ту же минуту: З.Ы. А лекарство - это в заказы. тута все легально. __________________ sapienti sat.

30.09.2003, 15:35	# 46
Goryn ::VIP:: Регистрация: 06.03.2003 Адрес: DZ, LBP, Moscow Пол: Male Сообщения: 633	Вышеупомянутый уже Teleport Pro раскидывает файлы по папкам в соответсвии со структурой серверов. Для этого в мастере при задаче закачки отмечаешь соответсвующий пункт. __________________ Меня многие спрашивают, как я живу с тремя головами... На самом деле, я триедин, как Великие Бобы!

30.09.2003, 04:33	# 45
Zdur Guest Сообщения: n/a	Сам перелез в свое время с NetVampira 4 на FlashGet. И до сих пор жалею, что нету разброски файлов автоматом. Не строит он дерево сам. Можно только вручную задавать куда качать. Удобно было, да. Но FlashGet лучше работает, удобнее... Поэтому и перелез.

30.09.2003, 15:52	# 47
denver ::VIP:: Регистрация: 02.12.2001 Адрес: Hohland Сообщения: 2 260	Goryn Насколько я понял прблему, teleport не поддерживает докачку, да и сама закачка идет скрытненько. Сайты качать им хорошо, но не тянет он на качальщик нормальный. __________________ sapienti sat.

03.10.2003, 10:33	# 49
Zdur Guest Сообщения: n/a	Да все равно надо для скачки файлов и для скачки сайтов использовать разные проги. ИМХО.

13.10.2003, 16:19	# 50
tiamax Junior Member Регистрация: 11.11.2002 Адрес: Kyiv, Ukraine Сообщения: 168	А ты используй wget (есть версия и под винду), там есть вариант качать рекурсивно, к примеру натравливаешь его на yahoo.com и он тебе все по папочкам прям как на яху на веник складывает А к Net Vampire все равно очень и очень положительно отношусь, хоть и устарел он очень давно, но все равно ностальгия к самому моему первому закачщику. __________________ Лучше переспать, чем недоесть.

16.10.2003, 19:29	# 53
Goryn ::VIP:: Регистрация: 06.03.2003 Адрес: DZ, LBP, Moscow Пол: Male Сообщения: 633	Denver Если речь идет об отдельных файлах, то поясни в чем суть "создания директорий как на сайте"? __________________ Меня многие спрашивают, как я живу с тремя головами... На самом деле, я триедин, как Великие Бобы!

16.10.2003, 19:41	# 54
denver ::VIP:: Регистрация: 02.12.2001 Адрес: Hohland Сообщения: 2 260	Это вопрос к rkpd. Я сам не понял , но может он имеет в виду некий сайт со структурированным ftp? __________________ sapienti sat.

09.11.2003, 23:29	# 55
lesha1974 Junior Member Регистрация: 22.05.2003 Сообщения: 179	Есть ли программа, которая позволит скачать всю ветку форума. Постоянно бываю на одном физическом форуме У него - древовидная структура ответов. http://www.scientific.ru/dforum/common/1067646374 Зачастую бывает не всегда успеваешь переваривать советы там предлагаемые. И хочется записать и сохранить у себя на компьютере всю дискуссию. Однако "в ручную" это делать может оказаться долго (если много ответов).И это к тому же не позволяет сохранить всю структуру диалога, т.е. древо "вопросов-ответов". Слыхал, что есть программа, которая может скачивать целые сайты: вводишь в неё страничку, а она скчивает и все ссылки, представленные на этой страничке и также ссылки в ссылках и т.п. . Подумал, что хорошо бы использовать нечто такое для скачивания данной ветки форума. Однако подозреваю, что программа для скачивания сайтов в моём случае - не пойдёт, т.к. скачает кучу не нужного. Может кто знает как можно выйти из этой ситуации. Если бы была программа для скачивания сайтов, в которой были бы опции не скачивать данные ссылки и их внутреннюю структуру - то она бы вполне подошла, видимо. Кто что скажет?

10.11.2003, 12:07	# 56
Borland СуперМод IMHO Консультант 2005-2009 Регистрация: 14.08.2002 Адрес: Московская ПЛ, ракетный отс Пол: Male Сообщения: 14 418	Может, Teleport Pro ?

10.11.2003, 14:11	# 57
E.S.A. ::VIP:: Регистрация: 05.02.2002 Адрес: Донецк, Украина Пол: Male Сообщения: 842	lesha1974 Да, Телепортом должно получиться. Ставишь в настройках: Browsable copy of the website Стартовым адресом указываешь адрес первого поста (например, как в твоем случае, http://www.scientific.ru/dforum/common/1067646374) А вот с глубиной может быть сложно. Поставишь 1 - тогда, по-моему, для перехода к следующему посту придется вначале возвращаться к первому (хотя я не уверен - может, Телепорт это все повяжет как нужно). Поставишь больше - можешь за компанию скачать несколько родственных обсуждений. Проблема в том, что ветка форума физически таковой не является, это просто набор постов с различными ID, которые увязывает в одну тему движок форума. В общем, попробуй и расскажи. __________________ Попробуйте изменить себя, и вы поймете, насколько ничтожны ваши шансы изменить других.

10.11.2003, 22:49	# 58
lesha1974 Junior Member Регистрация: 22.05.2003 Сообщения: 179	E.S.A., Borland Прекрасно скопировалось! Просто "песня"! Очень доволен. Сначала поставил на 3 уровня скачивания, потом - на один. Резултат вроде бы оказался одним и тем же. Во всяком слчае в обоих случаях скаченные файлы вроде бы веслили одинакого. Спасибо!

11.11.2003, 10:25	# 59
E.S.A. ::VIP:: Регистрация: 05.02.2002 Адрес: Донецк, Украина Пол: Male Сообщения: 842	lesha1974 Результат МОЖЕТ оказаться одинаковым. Но если в каком-либо посте была бы ссылка на другую тему этого форума, то скачался бы и он. __________________ Попробуйте изменить себя, и вы поймете, насколько ничтожны ваши шансы изменить других.

26.11.2003, 14:04	# 60
denver ::VIP:: Регистрация: 02.12.2001 Адрес: Hohland Сообщения: 2 260	rkpd Совершенно случайно наткнулся на маленькую но очень мощную качалку WGet 1.9.1, по своим функциям заменяющая и телепорт и флешгеты, нетвампиры и прочее вместе взятое. Причем установки не требует, в реестре не прописывается - можно юзать паралельно с другим качальщиком. По теме: поддерживает закачку с сортировкой в каталоги в соответствии со структурой сайта (или фтп). Единственное НО: это консольная утилита, т.е. не имеющая графического интерфейса. Для одних это плюс (можно кучу скриптов присобачить к системе с помощью WGet чем автоматизировать систему до совершенства), для других минус (никто не хочет помогать себе автоматизировать рутинную работу). Короче немного навыков работы с консолью нужны. Подробнее о возможностях и примеры использования можно почитать на русском неофиц. сайте http://vap.org.ru/wget/ Ссылки на файло кинул сюда http://www.imho.ws/showthread.php?s=&threadid=44390 __________________ sapienti sat.