IMHO.WS

IMHO.WS (http://www.imho.ws/index.php)
-   Обсуждение программ (http://www.imho.ws/forumdisplay.php?f=3)
-   -   Скачивание сайта целиком - изготовление локальной копии (http://www.imho.ws/showthread.php?t=16333)

traktorist 08.07.2006 01:15

Цитата:

ЕЖ:
Ну с другой-то стороны если одна флэшка будет грузить другую по HTTP, то сниффер типа HTTPWath ведь её увидит в траффике. И вот её уже и вставлять в любой даунлоадер.
именно это я и имел ввиду...

vovik 10.07.2006 11:52

Цитата:

ЕЖ:
Это если конечно из флэшки грузится просто другая флэшка, а не какой-то спец формат или просто контент.
То-то и оно, что может идти обращение, например, к БД или просто шифрованный контрольный запрос к сайту.

А попробовать, разумеется стоит - вдруг прокатит. Просто, имхо, вероятность невелика

renreg 19.08.2006 19:07

Программа для скачивания картинок с сайта
 
Ищу программу для скачивания картинок с сайта. Знаю, что есть такие, но не знаю названий.

Скачать нужно с yahoo.com

Спасибо.

lesha1974 09.03.2008 04:45

Программы для скачивания сайтов.
 
Когда нужно скачать сразу несколько страниц сайта очень удобно пользоваться программой, которая делает это автоматически. Т.е. не надо открывать каждую страничку в отдельности и сохранять её. Просто задаешь адрес начальной странички и программа скачивает все странички, на которые ссылается данная страничка и т.д. до уровня ветвления задаваемой глубины. Такаю штуку позволяет делать программа teleport.
Единственно что в этой схеме мне не нравится - это то, что, зачастую, скачивается много не нужной, например, рекламной информации. Потому, что когда задаешь скачивать все страницы заданной глубины, то программа, например, скачивает какую-нибудь не нужную, например, рекламную страницу, потом скачивает все страницы, на которые были даны ссылки с этой рекламной страницы и т.д. И если задаешь большую глубину, то может оказаться, что скачаешь очень много бесполезной информации, что будет и долго и не дешёво. Не знает ли кто как с этим можно "бороться"? Например, как-нибудь вводить дополнительное условие на скачивание, состоящее в том, что скачиваться будут только страницы данного сайта или, ещё лучше, только страницы, содержащие в своем адресе в качестве первых символов заданную последовательность. Или хорошо бы, если была бы возможность вводить странички, которые скачивать не надо. В телепорте что-то я потыкался, потыкался в свойствах и не нашел такой возможности. Правда, боюсь, что с моим "кривым" английским что-то упустил. Может, есть какие-то другие, аналогичные телепорту программы, позволяющие решать сформулированную проблему?

Cartman 17.03.2008 13:58

lesha1974, в принципе все зависит от программы которой пользуешься.
Мне лично по душе Offline Explorer. В нем можно задать и глубину и ресурсы с которых надо качать. Например можно задать что качать надо с русурсов: www.site.ru/pages/
pict.site.ru/images

intelfox 17.08.2008 09:17

кто имеет опыт скачивания сайтов целиком, подскажите плиз сколько уйдет трафика на сливание сайта urbandictionary.com без картинок (хотя бы примерно), и можно ли слить только раздел urbandictionary.com\iphone учитывая то что ссылок там нет, только строка поиска

Borland 17.08.2008 10:02

intelfox, около 20кбайт каждая страница
раздел "слово дня" - страниц 186
И примерно по столько же на каждую букву
И по стольку же на каждый термин (3,238,338 по счётчику)
Грубо - 64Гб (не считая разделов iphome, facebook, twitter)
Цитата:

Сообщение от intelfox (Сообщение 1581778)
можно ли слить только раздел urbandictionary.com\iphone учитывая то что ссылок там нет, только строка поиска

"Стандартными" средствами нельзя никак. Чисто технически можно написать спец. программу, которая будет загонять туда слова по словарю и сохранять ответы - но, во-первых, это само по себе задача нетривиальная, а во-вторых - где взять исходный словарь?

intelfox 19.08.2008 21:10

Цитата:

Грубо - 64Гб (не считая разделов iphome, facebook, twitter)
да уж "многовато" получается:rolleyes:...хотя если учитывать что на каждое слово нужна только первая страничка(все равно сплошной флуд), то получается намного меньше..как я посчитал, там 400+ тыщ слов, если страничка 25-30 кб то получается "всего то" гигов 10-12:)
не подскажите какой прогой лучше качать, если нужно применять правила ( как я понял правило должно запретить сливание страниц где в строке вида
(_http://www.urbandictionary.com/define.php?page=2&term=a)
цифра после "page=" больше или равна 2:confused:

Janira 01.10.2008 18:36

Цитата:

Сообщение от renreg (Сообщение 1243498)
Ищу программу для скачивания картинок с сайта. Знаю, что есть такие, но не знаю названий.

Скачать нужно с yahoo.com

Спасибо.

Попробуй старый добрый Teleport Pro, в нём отлично можно как и полностью странички грабить, так и только имеджи


Часовой пояс GMT +4, время: 11:25.

Powered by vBulletin® Version 3.8.5
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.