IMHO.WS

IMHO.WS (http://www.imho.ws/index.php)
-   Обсуждение программ (http://www.imho.ws/forumdisplay.php?f=3)
-   -   Скачивание сайта целиком - изготовление локальной копии (http://www.imho.ws/showthread.php?t=16333)

E.S.A. 05.09.2003 09:14

На первой странице Телепортовского визарда есть пункт: "Search a website for files of a certain type" - сиречь, обшарить сайт на предмет поиска файлов заданного типа. На следующей странице указываешь адрес, потом - тип файлов (Add -> User Defined). Вот и все!

rkpd 29.09.2003 13:56

Net Vampire 4.0 - альтернатива?
 
Господа! Ктонибудь знает ему альтернативу, еслитребуется:
чтобы мог делать тоже самое все, при этом была возможность включать/выключать создание директорий как на сайте...

Off-line brouzers типа Teleport не подходят...

ЗЫ: нет ли у кого лекарства для NetVampire4.0 (final)

denver 29.09.2003 14:26

rkpd
Напиши какие функции тебе конкретно надо, а то я вот вампир не юзал и не знаю че он там делает. Разве это не такойже офлайн браузер как телепорт?

Добавлено через 2 минуты:
З.Ы. А лекарство - это в заказы. тута ве легально.

Добавлено в ту же минуту:
З.Ы. А лекарство - это в заказы. тута все легально.

rkpd 29.09.2003 14:32

Цитата:

Первоначальное сообщение от Denver
[B]rkpd
Напиши какие функции тебе конкретно надо, а то я вот вампир не юзал и не знаю че он там делает. Разве это не такойже офлайн браузер как телепорт?
Это download manager типа FlashGet,GetRight и подобных...
Больше всех понравился FlashGet, но я не нашел в нем возможность автоматически сохранять файлы в папках как на сайте ( мне нужно чтобы он сам строил деревья, а не скалыдывал все файлы в одну кучу)

Zdur 30.09.2003 03:33

Сам перелез в свое время с NetVampira 4 на FlashGet. И до сих пор жалею, что нету разброски файлов автоматом. Не строит он дерево сам. :( Можно только вручную задавать куда качать. Удобно было, да. Но FlashGet лучше работает, удобнее... Поэтому и перелез. :)

Goryn 30.09.2003 14:35

Вышеупомянутый уже Teleport Pro раскидывает файлы по папкам в соответсвии со структурой серверов. Для этого в мастере при задаче закачки отмечаешь соответсвующий пункт.

denver 30.09.2003 14:52

Goryn
Насколько я понял прблему, teleport не поддерживает докачку, да и сама закачка идет скрытненько. Сайты качать им хорошо, но не тянет он на качальщик нормальный.

rkpd 30.09.2003 15:19

Цитата:

Первоначальное сообщение от Denver
Goryn
Насколько я понял прблему, teleport не поддерживает докачку, да и сама закачка идет скрытненько. Сайты качать им хорошо, но не тянет он на качальщик нормальный.

Ага :( и по этому FlashGet много ближе к идеалу....кроме автопостроения дерева как на сайте...

Посмотрел reGet и getRight - то же самое :(

Zdur 03.10.2003 09:33

Да все равно надо для скачки файлов и для скачки сайтов использовать разные проги. ИМХО.

tiamax 13.10.2003 15:19

А ты используй wget (есть версия и под винду), там есть вариант качать рекурсивно, к примеру натравливаешь его на yahoo.com и он тебе все по папочкам прям как на яху на веник складывает :)

А к Net Vampire все равно очень и очень положительно отношусь, хоть и устарел он очень давно, но все равно ностальгия к самому моему первому закачщику.

Goryn 15.10.2003 12:39

Цитата:

Первоначальное сообщение от Denver
Насколько я понял прблему, teleport не поддерживает докачку, да и сама закачка идет скрытненько. Сайты качать им хорошо, но не тянет он на качальщик нормальный.
Teleport Pro и предназначен для закачки сайтов, а не отдельных файлов (для них используются даунлоад менеджеры, а ТР - масс-даунлоадер). Он производит докачку САЙТОВ, при этом если конкретный файл не докачен, он качает его заново.

Чтобы докачать сайт в другой сеанс, надо сохранить проект и, главное, дождаться конца сохранения (при большом количестве файлов процесс может растянуться на минуты). И когда откроешь проект в следующий раз, следи за строкой состояния. Сначала там пишет, что Download файл такой-то - докачивает сайт. Но как только начнет писать Updated файл такой-то, значит он докачал все файлы и начал перекачивать скаченные в предыдущие сеансы. Тогда надо все вырубать и ты получаешь искомый результат.

denver 15.10.2003 14:07

Goryn
Цитата:

Teleport Pro и предназначен для закачки сайтов, а не отдельных файлов (для них используются даунлоад менеджеры, а ТР - масс-даунлоадер). Он производит докачку САЙТОВ, при этом если конкретный файл не докачен, он качает его заново.
Ээээ.. это я сам все знаю.

Ты первый пост читал? Человеку нужен именно даунлоад менеджер (чтобы качать ФАЙЛЫ). Выше я пояснил тебе что телепорт ему не подходит. Зачем же рассказывать мне каким образом он качает САЙТЫ?

Goryn 16.10.2003 18:29

Denver

Если речь идет об отдельных файлах, то поясни в чем суть "создания директорий как на сайте"?

denver 16.10.2003 18:41

Это вопрос к rkpd. Я сам не понял :), но может он имеет в виду некий сайт со структурированным ftp? :confused:

lesha1974 09.11.2003 22:29

Есть ли программа, которая позволит скачать всю ветку форума.
 
Постоянно бываю на одном физическом форуме
У него - древовидная структура ответов.
http://www.scientific.ru/dforum/common/1067646374
Зачастую бывает не всегда успеваешь переваривать советы там предлагаемые. И хочется записать и сохранить у себя на компьютере всю дискуссию. Однако "в ручную" это делать может оказаться долго (если много ответов).И это к тому же не позволяет сохранить всю структуру диалога, т.е. древо "вопросов-ответов". Слыхал, что есть программа, которая может скачивать целые сайты: вводишь в неё страничку, а она скчивает и все ссылки, представленные на этой страничке и также ссылки в ссылках и т.п. .
Подумал, что хорошо бы использовать нечто такое для скачивания данной ветки форума. Однако подозреваю, что программа для скачивания сайтов в моём случае - не пойдёт, т.к. скачает кучу не нужного.
Может кто знает как можно выйти из этой ситуации.
Если бы была программа для скачивания сайтов, в которой были бы опции не скачивать данные ссылки и их внутреннюю структуру - то она бы вполне подошла, видимо.
Кто что скажет?

Borland 10.11.2003 11:07

Может, Teleport Pro ?

E.S.A. 10.11.2003 13:11

lesha1974
Да, Телепортом должно получиться. Ставишь в настройках:
Browsable copy of the website
Стартовым адресом указываешь адрес первого поста (например, как в твоем случае, http://www.scientific.ru/dforum/common/1067646374)
А вот с глубиной может быть сложно. Поставишь 1 - тогда, по-моему, для перехода к следующему посту придется вначале возвращаться к первому (хотя я не уверен - может, Телепорт это все повяжет как нужно). Поставишь больше - можешь за компанию скачать несколько родственных обсуждений. Проблема в том, что ветка форума физически таковой не является, это просто набор постов с различными ID, которые увязывает в одну тему движок форума.

В общем, попробуй и расскажи.

lesha1974 10.11.2003 21:49

E.S.A., Borland

Прекрасно скопировалось! Просто "песня"! Очень доволен. Сначала поставил на 3 уровня скачивания, потом - на один. Резултат вроде бы оказался одним и тем же. Во всяком слчае в обоих случаях скаченные файлы вроде бы веслили одинакого.

Спасибо!

E.S.A. 11.11.2003 09:25

lesha1974
Результат МОЖЕТ оказаться одинаковым. Но если в каком-либо посте была бы ссылка на другую тему этого форума, то скачался бы и он.

denver 26.11.2003 13:04

rkpd
Совершенно случайно наткнулся на маленькую но очень мощную качалку WGet 1.9.1, по своим функциям заменяющая и телепорт и флешгеты, нетвампиры и прочее вместе взятое. Причем установки не требует, в реестре не прописывается - можно юзать паралельно с другим качальщиком.

По теме: поддерживает закачку с сортировкой в каталоги в соответствии со структурой сайта (или фтп).

Единственное НО: это консольная утилита, т.е. не имеющая графического интерфейса. Для одних это плюс (можно кучу скриптов присобачить к системе с помощью WGet чем автоматизировать систему до совершенства), для других минус (никто не хочет помогать себе автоматизировать рутинную работу). Короче немного навыков работы с консолью нужны.

Подробнее о возможностях и примеры использования можно почитать на русском неофиц. сайте http://vap.org.ru/wget/

Ссылки на файло кинул сюда http://www.imho.ws/showthread.php?s=&threadid=44390

Kostik50 09.12.2003 15:57

Скачивание сайта целиком - изготовление локальной копии
 
народ значи так. Вот тут такой сайтик http://www.soundcoder.com мне его нужно какойнебуть программой скачать полностью на мой комп и потом уже в офф лайне просматривать. Может знает ктонебуть такую программу?:confused:

Supervisor 09.12.2003 16:05

А TeleportPro, WebReaper, Offline Explorer, WebCopier, HTTP Weazel, NetGrabber, Website Extractor и т.д. и т.п. не подходят?

random73 11.12.2003 13:19

teleport pro не со всех сайтов качает, например maxxtro.ru :(

miomio 19.12.2003 12:49

Css-проблема со скачиванием
 
Подскажите,пожалуйста,каким образом(какой программой,качалкой) можно скачать страницу полностью, со всеми картинками. если ссылки на эти картинки указаны в файле css?

Например картинка фона указана вот так:

body {
font: 9pt/17pt georgia;
color: #555753;
background: #fff url(/001/blossoms.jpg) no-repeat bottom right;
margin: 0px;
padding: 0px;
}

Понятно,что адрес можно в ручную подставить,но хотелось бы автоматизировать этот процесс.

В этом деле не помогли следующие программы:
Teleport Pro
WebCopier

Counter - S 20.01.2004 20:51

Нужна прога рисунки качать.
 
Мне нужны проги которые скачивают с сайтов только рисунки. Но не маленькие как даны сразу, а их настоящий размер типа как WebCopier. Но попроще.

Zhiberya 20.01.2004 20:55

Любой офлайн браузер, WebCopier тоже подойдет, ставь чтобы качал тока рисунки- jpg, jpe,jpeg файлы и ограничение на меньший скачиваемый файл 50кб и все будет у тебя качать как надо.

Supervisor 20.01.2004 21:59

WebPictures (или WebPic)
Picture Pump
WebPictureBoss

[smart] 21.01.2004 13:32

Я бы порекомендовал Teleport Pro... Удобный и провереный временем!

Vagus 21.01.2004 13:33

PicaLoader - качает всё, даже сайты на джаве..

Counter - S 21.01.2004 15:51

Zhiberya
Cпасибо но яписал именно только рисунки. Так я тоже делаю но неудобно каждый раз в новом проекте. Заходить в настройки и ставить. Что только рис. качались

Vagus

Спасибо но мне только рис. webCopier тоже сайты целиком качает.

a.Ardvark
Appz_newS

Попробую надо вот только их достать.
------------------------------------------------------------------------

Спасибо народ.

Zhiberya 21.01.2004 16:59

Counter - S
Смотри тут .

Counter - S 21.01.2004 18:05

Посмотрю )))

hempsmoke 22.01.2004 06:39

очень удобно пользовать picture pump - подставляет инкримент вместо знака (@ не важно - любого знака).
т.е. если именна файлов пронумерованы некоторым образом, то задаем программу и:
ссылки
_www.картинки.ru/pict1.jpg
.
.
.
_www.картинки.ru/pict9.jpg
ставим в ссылку вместо числительных @ и усе... все картинке на диске...
для других целей picter pump не пригоден.

Vagus 22.01.2004 08:32

Counter - S
Я имел ввиду,что прога качает любого рода сайты,хоть на джаве..А в проектах можно спокойно выставлять что тебе трэба-хоть весь сайт,хоть картинки,хоть картинки с определённым разрешением и прочие завороты.. Мне понравилась,недавно подсел..

lesha1974 26.02.2004 11:13

Как скачть книгу 2000 стр. если сайт даёт без пароля лишь по 10 стр.. Как обхитрить?
 
Страница где лежит книга:
http://www.wolframscience.com/nksonline/
Пароль можно получить зарегистрировавшись. Однако качать громадное число страниц в ручную мне тяжко. Когда ставлю качалку teleport - скачивает лишь с десяток первых страниц. Далее надо вводить пароль. Следующие 10 страниц - без пароля и т.д. . Т.е. всё преимущество качалки - "лопается".
Но в телепорте предусмотрена возможность скачивать в случае если на скачиваемую страницу стоит пароль. Я ввел пароль, который получил при регистрации. Но не помогло.
Мне подсказали на одном форуме ( http://www.scientific.ru/dforum/common/1077616918 ) , что если удалять Cookie (что это такое мне не известно) каждые 10 страниц, то сервер не будет "зарезать" скачивание. Но вручну удалять - долго. Но подумал, что может быть это можно как-то автоматизировать? Например запустить одновременно программу качалку и какую-то программу, которая будет периодически удалять Cookie. В результате качалка будет качать. Не докачав очередные 10 траниц Cookie будет удалён "удалялкой". И поэтому качалка сможет далее благополучно качать и т.д. . Но я не знаю где такую программу - "удалялку" взять. А сам написать её не могу. И боюсь, что если "удалялка" будет делать "обычное" удаление, то возникнет конфликт между качалкой и "удалялкой". Но это лишь моя делитанская догадка.
Надеюсь на совет специалиста.

Rollers 26.02.2004 11:30

lesha1974
попробуй запретить кокки в браузере

Ghost 26.02.2004 11:39

В настройках телепорта при создании проекта есть такая штука: имя и пароль для доступа к сайту - попробуй, может поможет...

esergey 23.03.2004 23:21

как скачать сайт
 
как скачать сайт удалив из урл некоторые элементы например sid

hempsmoke 23.03.2004 23:25

немного не понял... что надо удалить из url?
может Teleport Pro - настраивай фильтр и вперед.

esergey 23.03.2004 23:37

Надо удалить например параметр сессии, то есть imho.ws?s=1212sdfsfxvcxv&view=10 - s= надо удалить


Часовой пояс GMT +4, время: 17:18.

Powered by vBulletin® Version 3.8.5
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.