[FreeWare] Wget - (GNU Wget) свободная неинтерактивная консольная файлокачалка - Обсуждение программ - Страница 2

SlavUser · 07.06.2004, 02:02

Т.к такой темы не существует, предлагаю проблемы и вопросы связаные с программой WGet обсуждать здесь.

И первый вопрос: каким параметром задается каталог куда скачивается файл? Вроде все просмотрел, а толком ничего не нашел.

Ghost · 16.06.2004, 12:02

Попробуй качать, скажем, не *.mp3, а *.m&p&3, т.е. ручками менять имя файла - с большинства HTTP-серверов таким образом можно скачать файлы, наплевав на запрет прокси. Я так уже давно музыку тяну. Насчет того, чтобы WGet обходил запрет прокси, т.е. фактически подключался к инету не через проксю, а напрямую, то в твоем случае это скорее всего невозможно, так же как и у меня, во всяком случае, у себя я такого не обнаружил.

Premium · 11.09.2004, 11:12

А никто не сталкивался со скачиванием файлов, в названии которых есть квадратные скобки? Например
_ftp://195.135.232.80/Books/design/Learn.HTML4.In.a.Weekend.[by.KiN_www.netz.ru]_11,02.MB.rar
_ftp://195.135.232.80/Books/os/The.XP.Files.Hidden.Tools.[by.KiN_www.netz.ru]_3,62.MB.rar

У меня почему то wget споткнулся на них, все другие файлы с этого фтп-шника тянет нормально. Я пробовал заменить квадратные скобки на %5B и %5D (в батниках %%5D), все равно результат один - в логе пишет: No matches on pattern `Learn.HTML4.In.a.Weekend.[by.KiN_www.netz.ru]_11,02.MB.rar'.

albo · 11.09.2004, 12:13

Premium
_ftp://195.135.232.80/Books/design/Learn.HTML4.In.a.Weekend.?by.KiN_www.netz.ru?_11,02.MB.rar
А так?

Premium · 11.09.2004, 14:37

albo Спасибо большое

, сам бы не догадался про вопросительный знак, привык при случае спорные места менять на проценты-hex, вроде вместо пробела - %20

iaroslavk · 13.01.2005, 06:58

А вот подскажите, можно ли в WGet задать ограничение на размер скачиваемых файлов? Ну скажем чтоб когда сайт тянешь, он файлы более мегабайта не качал?

iaroslavk · 17.01.2005, 21:19

Ну что же все молчат??? Нельзя? Или не знает никто?

Ghost · 18.01.2005, 07:26

iaroslavk
Низя. Набери wget --help и увидишь, что там нет такой опции.

iaroslavk · 18.01.2005, 19:02

Очень жаль. Если б было можно - wget был бы действительно вне конкуренции...

Oleg · 17.02.2005, 14:27

Цитата:

Сообщение от n0n

Это цитата из неофициального русского мануала (_http://vap.org.ru/wget/05-00.shtml) меня интересует вторая возможность - работа из-зи фильтрующего брандмауэра. У нас на работе стоит прокси (кажется ISA Server) и не дает качать ничего с расширениями *.exe, *.mp3, *.zip, *.rar и т.д.

А можно ли настроить работу wget через ISA сервер, если там используется NTLM авторизация?

Ghost · 09.03.2005, 15:42

Вобщем так: нужно научить wget выковыривать имена файлов из Content-header'а. А именно, пример... Есть такой сайт - karaoke.ru и там куча песен. Я хочу их скопом стянуть. Для чего делаю файлик со ссылками и заряжаю его в wget. Все бы ничего, но этот уродец по ссылке httр://www.karaoke.ru/song/1/download/ вытягивает файл index.html, хотя заголовок HTTP-ответа сервера содержит настоящее имя файла, т.е. a_studio=belaja_reka.kar. Вот что он (уродец) пишет в логе:

Код:

--15:52:59--  http://www.karaoke.ru/song/1/download/
           => `index.html'
Connecting to *.*.*.*:*... connected.
Proxy request sent, awaiting response... 
 1 HTTP/1.0 200 OK
 2 Date: Wed, 09 Mar 2005 13:00:04 GMT
 3 Server: Apache/1.3.28 (Win32) PHP/4.3.9
 4 Cache-Control: max-age=86400
 5 Expires: Thu, 10 Mar 2005 13:00:04 GMT
 6 X-Powered-By: PHP/4.3.9
 7 Content-Disposition: attachment; filename="a_studio=belaja_reka.kar"
 8 Content-Type: application/midi
 9 Connection: close

    0K ....                                                  1.48 KB/s

15:53:29 (1.48 KB/s) - `index.html' saved [40062]


FINISHED --15:53:29--
Downloaded: 40,062 bytes in 1 files
Converted 0 files in 0.00 seconds.

Я, конечно, могу поступить согласно своей подписи, а именно: тупо стянуть кучу index.html'ей в разные папки и написать скрипт, который проанализирует лог и переименует енти html'ки должным образом. Но ведь, наверное, можно как-то сделать это и wget'ом?

Premium · 10.03.2005, 08:07

Цитата:

Ghost:
Но ведь, наверное, можно как-то сделать это и wget'ом?

Кажется нет

. В архивы рассылки sunsite.dk сейчас посмотрел - вопрос про Content-Disposition был один раз год назад http://www.mail-archive.com/wget@sun.../msg06268.html , но почему то остался без ответа, хотя там в рассылке отвечают обычно Hrvoje Niksic и иже с ним разработчики.

Oleg · 10.03.2005, 10:07

Иногда помогает сменить строку user-agent wget на другую, чтобы "обмануть" веб-сервер. Я так делал не раз, и добивался результата.

Quasar · 24.09.2005, 15:15

Цитата:

Сообщение от Oleg+

А можно ли настроить работу wget через ISA сервер, если там используется NTLM авторизация?

Да, можно.

Попробуй написать что-то вроде

Код:

wget.exe http://site.ru/ -Yon --proxy-user=USER --proxy-passwd=PASSWORD

, где USER и PASSWORD - твои учетные логин и пароль в системе Windows.

Напиши тут о результатах. Это должно сработать.

По такому принципу я забираю базы KAV5 с FTP серверов (сам KAV5 почему-то ни в какую не хочет это делать, хотя все опции там вроде есть).

Oleg · 26.09.2005, 12:00

Цитата:

MNT:
Попробуй написать что-то вроде
Код:

wget.exe http://site.ru/ -Yon --proxy-user=USER --proxy-passwd=PASSWORD

, где USER и PASSWORD - твои учетные логин и пароль в системе Windows.

Да, это работает.

А насчет KAV5 - сама Лаборатория Касперского не рекомендует использовать wget для закачки обновлений

т.к. он не проверяет контрольные суммы.

Smitis · 26.09.2005, 15:22

Oleg+

Цитата:

А насчет KAV5 - сама Лаборатория Касперского не рекомендует использовать wget для закачки обновлений

т.к. он не проверяет контрольные суммы.

Перестраховщики!

Всё нормально качается.

Oleg · 26.09.2005, 17:29

С опцией wget --mirror может возникнуть проблема, если длина файла на ftp сервере равна длине файла на диске...

ali78 · 30.08.2006, 15:33

Можно ли WGET'ом выкачать закрытую область сайта при наличии логина и пароля?

Alex8 · 30.08.2006, 18:06

Цитата:

Сообщение от ali78

Можно ли WGET'ом выкачать закрытую область сайта при наличии логина и пароля?

Цитата (с переводом) из "wget --help":

HTTP options:
--http-user=USER использовать имя юзера USER.
--http-passwd=PASS использовать пароль PASS.

ali78 · 31.08.2006, 09:02

Alex8, спасибо, я это читал и уже даже пробовал, но там немного не такая аутентификация. Там java смотрит в БД и выдаёт то, что доступно данному пользователю.
пробовал так:
wget -mr http://www.mysite.ru?login=blabla%26password=blabla
тоже ничего не качает кроме странички логина, хотя в IE логинится и показывает закрытую область.

Alex8 · 31.08.2006, 09:48

а логин через куки?
попробуй, может:
--load-cookies=FILE load cookies from FILE before session.
--save-cookies=FILE save cookies to FILE after session.

типа, сохранить сначала в файл, посмотреть, что там остаётся.
если надо - подправить, или скопировать куку из IE.
и подгрузить для полного сеанса скачивания.

а, вот ещё есть
--referer=URL include `Referer: URL' header in HTTP request.
может, этот сайт проверяет реферера?

или
-U, --user-agent=AGENT identify as AGENT instead of Wget/VERSION.
может, ожидается определённый браузер?

и еще вариант для дебага:
-s, --save-headers save the HTTP headers to file.

07.06.2004, 02:02	# 1
SlavUser Junior Member Регистрация: 18.11.2003 Сообщения: 75	Wget - (GNU Wget) свободная неинтерактивная консольная файлокачалка Т.к такой темы не существует, предлагаю проблемы и вопросы связаные с программой WGet обсуждать здесь. И первый вопрос: каким параметром задается каталог куда скачивается файл? Вроде все просмотрел, а толком ничего не нашел.

16.06.2004, 12:02	# 21
Ghost ::VIP:: Звезда первого сезона Молчун-2004 Регистрация: 24.08.2002 Сообщения: 1 575	Попробуй качать, скажем, не .mp3, а .m&p&3, т.е. ручками менять имя файла - с большинства HTTP-серверов таким образом можно скачать файлы, наплевав на запрет прокси. Я так уже давно музыку тяну. Насчет того, чтобы WGet обходил запрет прокси, т.е. фактически подключался к инету не через проксю, а напрямую, то в твоем случае это скорее всего невозможно, так же как и у меня, во всяком случае, у себя я такого не обнаружил. __________________ Действовать надо тупо и это лучшее доказательство нашей чистоты и силы!

11.09.2004, 12:13	# 23
albo Advanced Member Регистрация: 20.08.2003 Адрес: Москва Пол: Male Сообщения: 402	Premium _ftp://195.135.232.80/Books/design/Learn.HTML4.In.a.Weekend.?by.KiN_www.netz.ru?_11,02.MB.rar А так? Последний раз редактировалось albo; 11.09.2004 в 12:17.

18.01.2005, 07:26	# 27
Ghost ::VIP:: Звезда первого сезона Молчун-2004 Регистрация: 24.08.2002 Сообщения: 1 575	iaroslavk Низя. Набери wget --help и увидишь, что там нет такой опции. __________________ Действовать надо тупо и это лучшее доказательство нашей чистоты и силы!

09.03.2005, 15:42	# 30
Ghost ::VIP:: Звезда первого сезона Молчун-2004 Регистрация: 24.08.2002 Сообщения: 1 575	Вобщем так: нужно научить wget выковыривать имена файлов из Content-header'а. А именно, пример... Есть такой сайт - karaoke.ru и там куча песен. Я хочу их скопом стянуть. Для чего делаю файлик со ссылками и заряжаю его в wget. Все бы ничего, но этот уродец по ссылке httр://www.karaoke.ru/song/1/download/ вытягивает файл index.html, хотя заголовок HTTP-ответа сервера содержит настоящее имя файла, т.е. a_studio=belaja_reka.kar. Вот что он (уродец) пишет в логе: Код: --15:52:59-- http://www.karaoke.ru/song/1/download/ => `index.html' Connecting to ...:*... connected. Proxy request sent, awaiting response... 1 HTTP/1.0 200 OK 2 Date: Wed, 09 Mar 2005 13:00:04 GMT 3 Server: Apache/1.3.28 (Win32) PHP/4.3.9 4 Cache-Control: max-age=86400 5 Expires: Thu, 10 Mar 2005 13:00:04 GMT 6 X-Powered-By: PHP/4.3.9 7 Content-Disposition: attachment; filename="a_studio=belaja_reka.kar" 8 Content-Type: application/midi 9 Connection: close 0K .... 1.48 KB/s 15:53:29 (1.48 KB/s) - `index.html' saved [40062] FINISHED --15:53:29-- Downloaded: 40,062 bytes in 1 files Converted 0 files in 0.00 seconds. Я, конечно, могу поступить согласно своей подписи, а именно: тупо стянуть кучу index.html'ей в разные папки и написать скрипт, который проанализирует лог и переименует енти html'ки должным образом. Но ведь, наверное, можно как-то сделать это и wget'ом? __________________ Действовать надо тупо и это лучшее доказательство нашей чистоты и силы!

11.09.2004, 11:12	# 22
Premium Junior Member Регистрация: 04.04.2003 Сообщения: 181	А никто не сталкивался со скачиванием файлов, в названии которых есть квадратные скобки? Например _ftp://195.135.232.80/Books/design/Learn.HTML4.In.a.Weekend.[by.KiN_www.netz.ru]_11,02.MB.rar _ftp://195.135.232.80/Books/os/The.XP.Files.Hidden.Tools.[by.KiN_www.netz.ru]_3,62.MB.rar У меня почему то wget споткнулся на них, все другие файлы с этого фтп-шника тянет нормально. Я пробовал заменить квадратные скобки на %5B и %5D (в батниках %%5D), все равно результат один - в логе пишет: No matches on pattern `Learn.HTML4.In.a.Weekend.[by.KiN_www.netz.ru]_11,02.MB.rar'.

11.09.2004, 14:37	# 24
Premium Junior Member Регистрация: 04.04.2003 Сообщения: 181	albo Спасибо большое , сам бы не догадался про вопросительный знак, привык при случае спорные места менять на проценты-hex, вроде вместо пробела - %20

13.01.2005, 06:58	# 25
iaroslavk Newbie Регистрация: 29.01.2004 Адрес: Екатеринбург Сообщения: 21	А вот подскажите, можно ли в WGet задать ограничение на размер скачиваемых файлов? Ну скажем чтоб когда сайт тянешь, он файлы более мегабайта не качал?

17.01.2005, 21:19	# 26
iaroslavk Newbie Регистрация: 29.01.2004 Адрес: Екатеринбург Сообщения: 21	Ну что же все молчат??? Нельзя? Или не знает никто?

18.01.2005, 19:02	# 28
iaroslavk Newbie Регистрация: 29.01.2004 Адрес: Екатеринбург Сообщения: 21	Очень жаль. Если б было можно - wget был бы действительно вне конкуренции...

10.03.2005, 10:07	# 32
Oleg ::VIP:: Регистрация: 03.11.2004 Адрес: Москва, Россия Пол: Male Сообщения: 982	Иногда помогает сменить строку user-agent wget на другую, чтобы "обмануть" веб-сервер. Я так делал не раз, и добивался результата.

26.09.2005, 17:29	# 36
Oleg ::VIP:: Регистрация: 03.11.2004 Адрес: Москва, Россия Пол: Male Сообщения: 982	С опцией wget --mirror может возникнуть проблема, если длина файла на ftp сервере равна длине файла на диске...

30.08.2006, 15:33	# 37
ali78 Junior Member Регистрация: 18.11.2003 Адрес: 1/6 Сообщения: 95	Можно ли WGET'ом выкачать закрытую область сайта при наличии логина и пароля?

31.08.2006, 09:02	# 39
ali78 Junior Member Регистрация: 18.11.2003 Адрес: 1/6 Сообщения: 95	Alex8, спасибо, я это читал и уже даже пробовал, но там немного не такая аутентификация. Там java смотрит в БД и выдаёт то, что доступно данному пользователю. пробовал так: wget -mr http://www.mysite.ru?login=blabla%26password=blabla тоже ничего не качает кроме странички логина, хотя в IE логинится и показывает закрытую область.

31.08.2006, 09:48	# 40
Alex8 Junior Member Регистрация: 13.08.2002 Сообщения: 51	а логин через куки? попробуй, может: --load-cookies=FILE load cookies from FILE before session. --save-cookies=FILE save cookies to FILE after session. типа, сохранить сначала в файл, посмотреть, что там остаётся. если надо - подправить, или скопировать куку из IE. и подгрузить для полного сеанса скачивания. а, вот ещё есть --referer=URL include `Referer: URL' header in HTTP request. может, этот сайт проверяет реферера? или -U, --user-agent=AGENT identify as AGENT instead of Wget/VERSION. может, ожидается определённый браузер? и еще вариант для дебага: -s, --save-headers save the HTTP headers to file.