PDA

Просмотр полной версии : ProxyGrab


spleenJack
13.10.2004, 01:42
Нуу, по названию понятно, для чего прога :)

Грабилка проксей с инетовских страничек.

Кому-то надо было (Anarchist ау! :) ). Решил попробовать сделать.

Это, в принципе, пока очень сырая рабочая копия (можно так сказать). Хотелось бы просто послушать ваши идеи - что, куда и как сделать лучше. Принимаются любые советы - от функциональности, до интерфейса.
Ну и естественно, если не трудно, рассказывайте про найденные ошибки, недочеты.

Прога работает пока в ручном режиме. Т. е. сначала пишем адреса, жмем Add. Дальше Download, ждем пока в колонке Progress везде будет написано Complete. Потом Parse. Когда кнопка Save включится - жмем на нее, выбираем имя файла. Воот. Потом сделаю автоматизацию.

Пока известно, что скачивание страничек иногда глючит - из-за многопоточности. Пытаюсь избавится.

Качаем, кому трафика не жалко :)
Скачать // 216 КБ // ::: _http://proxygrab.nm.ru/ProxyGrab.v0.1a.rar

ЗЫ: Модерам - если такого рода топики тут запрещены, прошу закрыть или удалить тему.

Slanj
13.10.2004, 02:01
Ща попробуем, программа должна быть полезной, только тему надо было в разделе авторский софт разместить.

spleenJack
13.10.2004, 02:21
Slanj
Ой черт! Уже спать хоцца - тыкнул не туда. Звиняйте - перенесите пожалуйста тему.

spleenJack
27.10.2004, 16:56
ProxyGrab 0.2a

http://www.proxygrab.nm.ru/shots/shot01_small.jpg

Изменения:
-Можно ограничить максимальное кол-во потоков
-Появились настройки соединения через проксик
-Определение страны найденного проксика
-Подсчет кол-ва проксиков на странице
-Всякие иконки-красивости (типа нормального отображение процесса скачивания, парсинга итд) и вообще улучшение интерфейса

Планируется сделать в недалеком будущем:
-Изменение юзером возможностей парсинга
-Расширенные возможности парсинга (например, поиск таких записей, когда IP проксика стоит в одной колонке, а порт в другой)
-Поиск проксей в локальных файлах (типа как в Proxy List Filter - только бесплатно и без демо-лимитов %) )
-Сохранение/загрузка настроек в файл
-Сохранение/загрузка списка урлов в файл

Жду ваших пожеланий, предложений, описания найденных багов - выкладывайте все идеи и все что вы хотите увидеть в проге (в разумных пределах) сюда.

Скачать // 503 КБ // ::: _http://www.proxygrab.nm.ru/ProxyGrab.v0.2a.rar

Link
03.05.2005, 15:11
freedomfighter
нету такой страницы :)

MeLaMoRy
06.05.2005, 21:20
что-то страница открывать отказыватся....

ioka
09.05.2005, 02:36
да, 404
а посмотреть охота ...

Zueuk
09.05.2005, 16:16
Всем, кому нужно
Давайте в приват ящики, залью

spleenJack
12.05.2005, 10:40
Ребят, звиняйте, nm.ru сайты прикрывает, не знаю почему.

Вообщем пока работа идет (медленно правда :) ), но идет. Еще сессия на носу. В принципе все практически готово, только надо с инетом разобраться - а то для локальных файлов сделал, а скачивание с нета - еще нет. Могу в принципе поднапрячься, если прога кому-то действительно нужна, потому что просто так, впустую, заниматься этим не хочется :) Но если уж "народ волнуется" - постараюсь... Подождите чуток плиз.

spleenJack
16.05.2005, 12:13
ProxyGrab v0.3

На выходных поднапрягся, выкладываю.

http://proxygrab.nm.ru/shot_v03.png

Изменения :::
+ Теперь можно искать прокси и локально, в файлах
+ Загрузка и сохранение списка файлов и урлов в файл
+ Возможность останова работы
+ Появилось лог-окно
+ Счетчики проверенных и общего числа урлов и файлов, запущенных потоков, найденных прокси, найденных и принятых в общий список прокси отдельно по каждому файлу и урлу
+ Настройки: кол-во потоков на поиск в файлах и в интернете, проверка интернет-соединения, очистка списка найденных прокси перед началом работы, указание разделителя между именем хоста и порта; сброс настроек в дефолт, и их сохранение и загрузка
+ Окно About
* Изменения в интерфейсе
- Убрано определение страны проксика

Собираюсь сделать :::
+ Поиск таких записей, когда IP проксика стоит в одной колонке, а порт в другой (html-таблица)
+ Проверка на валидность урла

Естесственно, возможны глюки :)

Напишите, пожалуйста, пожелания, предложения, обнаруженные баги.

Скачать // 311 КБ // ::: _http://proxygrab.nm.ru/ProxyGrab.v0.3.rar

Link
16.05.2005, 13:17
Такая прога народу нужна полюбому! Так что знаю что есть такие для кого ты добро делаешь! Проект не закрывай - думаю у проги большое будущее.
Определение страны зря убрал - весч нужная!
AriX:
Поиск таких записей, когда IP проксика стоит в одной колонке, а порт в другой (html-таблица)
Эта фича нужна обязательно : ввел сайт в прогу и чтобы он из html все повыдирала.
Типа например samair.ru/proxy
Вобщем респект - делай прогу!

crawler
16.05.2005, 15:47
:claps: :claps: :claps:
A протестить на валидность , скорость и анонимность ;) ? Ввести фильтрацию/сортировку по портам.
- Убрано определение страны проксика Почему ? Пусть будет опционально.

Баг : Если начать вводить урл, и нажать ескейп - прога закрывается.

Link
16.05.2005, 19:54
crawler:
A протестить на валидность , скорость и анонимность :Wink: ?
Я думаю что ПроксиЧекеру конкуренцию сложно составить ;)
А вот про сортировку - это да! Очень удобно было бы!
С другой стороны определение страны есть и в ProxyChecker'e (правда по доменам :( ) так что оно тут и не нужно - это дело твое можешь добавить хуже не будет :)

spleenJack
17.05.2005, 14:30
crawler
A протестить на валидность , скорость и анонимность
:)))) Link думаю верно сказал - ПроксиЧекер не переплюну, а геморроя точно заработаю, и еще неизвестно сделаю ли нормально. Если и буду делать, то точно не скоро :)
Ввести фильтрацию/сортировку по портам.
Поподробнее? Типа, проксики только с определенными портами в список пихать, и сделать отдельную колонку Port с сортировкой?
- Убрано определение страны проксика
Почему ? Пусть будет опционально.
Хмм.. Ну не знаю :) Ладно, посмотрим
Баг : Если начать вводить урл, и нажать ескейп - прога закрывается.
Ясненько, исправим.

Link
А вот про сортировку - это да! Очень удобно было бы!
Сортировка в списке проксиков? Просто при сохранении в файл пишется сортрованный список. Окей, сделаю.

Спасибо за отзывы! Давайте еще :)))

Anarchist
17.05.2005, 15:42
AriX

Основная задача программы - грабить прокси листы из списка url
Все остальное это не важно.
Все равно полученный список потом в ПроксиЧекер заряжать.
Он и отсортирует ...

Но фиксированный размер окна программы мешает сильно.
При включенном у меня 800x600 - половинка окна программы
режется на пол-кнопки About, кнопку Save вобще не видно.
Приходится изменять разрешение экрана, что не очень удобно :(
И хотелось бы кроме Add + url еще одну кнопку заиметь - Del - url и чистить список url не выходя из программы ...

Жду следующей версии. Спасибо :yees:

spleenJack
17.05.2005, 15:47
Anarchist
При включенном у меня 800x600 - половинка окна программы
режется на пол-кнопки About, кнопку Save вобще не видно.
Ага :) Такую фишку я заметил у друга, но подумал, что никто не заметит, .т.к. 800x600 мало у кого есть :) Ладно, как-нить исправим.
И хотелось бы кроме Add + url еще одну кнопку заиметь - Del - url и чистить список url не выходя из программы ...
Хорошо, это нужно.

ЗЫ: Вот кстати, небольшой список сайтов, где есть прокси, так, для проверки :)
_http://www.aliveproxy.com/anonymous-proxy-list/
_http://www.samair.ru/proxy/index.htm
_http://www.samair.ru/proxy/proxy-02.htm
_http://www.samair.ru/proxy/proxy-03.htm
_http://www.samair.ru/proxy/proxy-04.htm
_http://www.samair.ru/proxy/proxy-05.htm
_http://www.samair.ru/proxy/proxy-06.htm
_http://www.samair.ru/proxy/proxy-07.htm

Makc
17.05.2005, 21:22
Классная программа! Очень полезная! Разрешите дать у себя ссылку на софт, разумеется с вашим авторством?

spleenJack
19.05.2005, 11:56
Makc
:) Не понял про что ты, но конечно разрешаю... В AppZ чтоли запихать? Чем больше народу будет про нее знать, тем лучше. :)

to ALL
Несколько вопросов:
- Есть какие-нить идеи по оформлению фейса, может кнопки как по другому расположить, и вообще все элементы? Просто я то с прогой не работаю, а на практике много вещей выесняется - может что-то как-то неудобно сделано.
- Делать ли попап-менюху для списков файлов и урлов?
- И подскажите плиз, где можно нормально сделать сайтик для проги. :)

Anarchist
20.05.2005, 01:45
Если бы она еще по ссылкам первого уровня сама переходила ...
Обычно все они на одной странице.

_http://www.samair.ru/proxy/index.htm
_http://www.samair.ru/proxy/proxy-02.htm
_http://www.samair.ru/proxy/proxy-03.htm
_http://www.samair.ru/proxy/proxy-04.htm
_http://www.samair.ru/proxy/proxy-05.htm
_http://www.samair.ru/proxy/proxy-06.htm
_http://www.samair.ru/proxy/proxy-07.htm

Мечта была бы а не программа http://smilies.sofrayt.com/fsc/praying.gif
Но даже в сегодняшнем виде, полезная и удобная программа - СПАСИБО!

spleenJack
20.05.2005, 15:11
Anarchist
Спасибо :)
Если бы она еще по ссылкам первого уровня сама переходила ...
Эээ, это как?

Anarchist
20.05.2005, 16:53
AriX

Когда заходишь на _http://www.samair.ru/proxy/index.htm
Там 20 ссылок на странице:
_http://www.samair.ru/proxy/proxy-02.htm
_http://www.samair.ru/proxy/proxy-03.htm
ну и так далее ...
Все ссылки идут на каталог _http://www.samair.ru/proxy/
меняются только цифры в названии htm файла.
Я натравливаю программу только на _proxy-02.htm
она сканит эту 1 страницу, обходя остальные 20 ссылок на ней стороной.
Нельзя ли добавить узнавание программой таких ссылок.
Все они ведь по маске сделаны, и ведут в один каталог.
Или это не реально ...

spleenJack
20.05.2005, 17:06
Anarchist
Добавить можно, только сложно я думаю. Потому что на этом сайте например так сделано, а где-то в другом месте по-другому. Проще просто сделать список урлов этих двадцати страничек загружать его в прогу и сканить. Так и проще, и быстрее будет работать :)

Anarchist
20.05.2005, 19:27
AriX понял, да и так нормально, это я просто к слову ... ;)

satoorn
07.06.2005, 08:37
AriX
Чёт прога не грузится. :idontnow:

Anarchist
07.06.2005, 09:42
satoorn

В посте #11 вполне рабочая ссылка, сейчас проверил.

satoorn
07.06.2005, 10:35
Сорри за флейм, вроде всё просмотрел, качаю счас будем тестить. :claps:

По поводу фейса: может пимпы настроек, описание, записи и выхода перенести на верьх к From urls и From files? И чтоб при нажетии переходила на другую вкладку, а так прога класс, особенно подключение через прокси. Я сижу на нём и половина прог для инета не работают.

spleenJack
07.06.2005, 13:43
satoorn
Сенкс :)

Про кнопки: уже перенес, сделал типа тулбар сверху, освободилось много места и стало имхо удобнее. Щас практически сделал след. версию, могу уже выложить, но лучше пока еще кое-что доделаю.

satoorn
16.06.2005, 11:11
AriX
ну что доделал, выкладывай потестим.

spleenJack
16.06.2005, 16:15
satoorn
Как сделаю - выложу :)
Просто составляю список сайтов, где можно проксики грабить, и тестю сканер.
Еще бы хотелось все-таки сайт завести на бесплатном хостинге.

satoorn
17.06.2005, 10:29
А чё agava.ru, narod.ru, pisem.net не устраивает?

ice74
17.06.2005, 21:50
отличная программа

spleenJack
28.06.2005, 13:10
Новая билд :))

ProxyGrab v0.4

http://proxygrab.nm.ru/shot_v04.png

Список изменений:

+ Добавлена возможность изменять, удалять имена урлов/файлов
+ Добавлены попап-менюхи для списков урлов/файлов/проксиков
+ Добавлены хоткеи, и теперь они корректно обрабатываются
+ Добавлена проверка на валидность урла и существование файла
+ !Теперь проксики ищутся и по IP, и по доменам
+ !Поиск хоста и порта проксика в соседних колонках html-таблицы
+ Добавлен небольшой список сайтов, где можно найти проксики
* Опять же небольшие изменения в интерфейсе :) Включена поддержка XP-тем
* Корректное выключение/включение кнопок в зависимости от того, что делает юзер
* В списке урлов последние записываются без начального 'http://'
- Исправлен (в лоб) недочет с обрезанием правого края окна при разрешении 800x600
- При добавлении пустого урла, он не удалялся
- Если начать вводить урл, и нажать Esc - прога закрывалась
- Исправлено множество мелких ошибок

Скачать // 323 КБ // ::: _http://proxygrab.nm.ru/ProxyGrab.v0.4.rar

---

Что будет дальше :::

+ Запуск отдельных источников на сканирование (т.е. не обязательно сканировать весь список)
+ Свои параметры сканирования для каждого источника
+ Поддержка скриптов (например, на Delphi) или плагинов для сканирования отдельных источников

Думается, что вариант насчет отдельных сканеров для каждого сайта лучше: и работать быстрее будет, и качество выдаваемого результата лучше. Потому что поиск проксиков в таблицах (и не только) оказался далеко не тривиальной задачей. Например, такие списки как на proxz.com (там рядом с IP стоят белые циферки для мусора, специально, чтоп автоматика не схватила :)) или на checker.freeproxy.ru (:) еще лучше, тут все скриптик делает, т.е. проксик там совсем не в открытом виде, можете посмотреть код)
Вообщем, нужно ваше мнение насчет этого :)

У меня идеи в принципе закончились (не считая всяких мелких), так что нужны ваши!

pantech
02.07.2005, 23:30
по IP ищет как? долго?

spleenJack
04.07.2005, 11:01
pantech
по IP ищет как? долго?
Ищет сразу и по IP и по домену.
Проверь :) У каждого по-разному.

<MaxteR>
04.07.2005, 20:42
Tnx 10x за такую нужную вестчь! Работай в том же направлении!

ven1999
13.07.2005, 17:43
А она из локальных файлов проксики выдирать умеет?

Неплохо было бы ее научить делать на гугл и яндекс запрос типа ""proxy list" or "список прокси" or "прокси лист" or "список proxy"" и парсить полученные ссылки...

spleenJack
14.07.2005, 09:30
ven1999
А она из локальных файлов проксики выдирать умеет?
Да, умеет.
Неплохо было бы ее научить делать на гугл и яндекс запрос типа ""proxy list" or "список прокси" or "прокси лист" or "список proxy"" и парсить полученные ссылки...
Это уже из разряда фантастики =)

Link
14.07.2005, 14:44
AriX:
Это уже из разряда фантастики =)
Теоретически возможно...
Впринципе я думаю это не так уж и сложно для человека хорошо разбирающегося...
Чето я слышал про такое помоему Acces Diver называлась , а может и нет

spleenJack
14.07.2005, 16:49
Link
Я не имею ввиду, что это невозможно, я имею ввиду, что бесполезно и сложно сделать :)
Access Diver по-моему действует обычным образом - указываешь ее ссылку и она начинает с этой страницы лазить по всем ссылкам и искать там проксики. По-моему такой подход неоправдан, потому как, например, мыла собирать так можно, т.к. их везде можно найти. А страничек с проксиками совсем мало, и просто перебирать миллионы страниц, чтобы может быть и найти хоть один прокси - плохо.
Насчет предложения ven1999 - лучше самому набрать в поисковике такой запрос, понаходить сайты где эти списки есть и записать их в ProxyGrab - так и быстрее, т.к. не надо проге каждый раз пытаться искать сайты, т.к. и удобнее - один раз нашел, сделал список и все.
Вообщем не нужно это, совсем :)))))

to ALL
Люди!!! Я так понимаю, что проект этот нужен не больше, чем 10 человекам :-|. Хотелось бы услышать от вас идеи, критику и т.д. и т.п.

Link
14.07.2005, 22:26
AriX
Тебе расширяться надо - другие форумы и т.д.
AriX:
Люди!!! Я так понимаю, что проект этот нужен не больше, чем 10 человекам :-|. Хотелось бы услышать от вас идеи, критику и т.д. и т.п.
А что ты хотел прога то специфичного характера вот и пользуют люди которым это надо!

ExtinctSun
18.07.2005, 14:17
а нет ли файла с линками на листы проксей?

spleenJack
18.07.2005, 16:15
ExtinctSun
:)) в архиве файл urls_for_parse.txt

Zueuk
23.07.2005, 12:46
Имеется подборочка линков на списки проксей разной масти. Подкинуть?

Mega_GnoM
23.07.2005, 13:24
Zueuk
выложи где нибудь .

Zueuk
23.07.2005, 19:07
Держите.
Кстати, AriX, ты тоже можешь обратить внимание на этот списочек, может что и пригодится.

http://www.samair.ru/proxy/fresh-proxy-list.htm
http://www.samair.ru/proxy/socks.htm
http://www.proxyblind.org/list.shtml
http://www.stayinvisible.com/index.pl/proxy_list
http://www.samair.ru/
http://www.multiproxy.org/anon_list.htm
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=100
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=800
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=700
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=600
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=500
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=400
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=300
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=200
http://www.proxy4free.com/page1.html
http://www.proxy4free.com/page2.html
http://www.proxy4free.com/page3.html
http://www.proxy4free.com/page4.html
http://www.proxy4free.com/page5.html
http://www.proxy4free.com/page6.html
http://www.proxy4free.com/page7.html
http://www.proxy4free.com/page8.html
http://www.proxy4free.com/page9.html
http://www.proxy4free.com/page10.html
http://www.publicproxyservers.com/page1.html
http://www.publicproxyservers.com/page2.html
http://www.publicproxyservers.com/page3.html
http://www.publicproxyservers.com/page4.html
http://www.publicproxyservers.com/page5.html
http://www.steganos.com/?area=updateproxylist
http://www.cybersyndrome.net/plr.html
http://bismark.extracon.it/proxylist/index.php
http://bismark.extracon.it/proxylist/proxy2.php
http://bismark.extracon.it/proxylist/sock.php
http://bismark.extracon.it/proxylist/sock2.php
http://bismark.extracon.it/proxylist/sock5.php
http://bismark.extracon.it/proxylist/high.php
http://bismark.extracon.it/proxylist/italia.php
http://bismark.extracon.it/proxylist/sock-IT.php
http://bismark.extracon.it/proxylist/fast.php
http://theproxyconnection.com/proxylist1.html
http://theproxyconnection.com/proxylist2.html
http://www.cybersyndrome.net/pla.html
http://www.aliveproxy.com/socks-list/socks5.aspx/Russian_Federation-ru
http://www.proxylists.net/http_highanon.txt
http://www.proxylists.net/socks4.txt
http://www.proxylists.net/socks5.txt
http://www.digitalcybersoft.com/ProxyList/
http://www.proxydrom.com/index.php?menu=1
http://www.proxydrom.com/index.php?menu=2
http://www.samair.ru/proxy/socks.htm
http://www.samair.ru/proxy/socks2.htm
http://www.samair.ru/proxy/socks3.htm
http://www.samair.ru/proxy/socks4.htm
http://www.samair.ru/proxy/socks5.htm
http://geocities.com/mike_rico2003/
http://www.theone.ru/proxy/?0
http://www.theone.ru/proxy/?25,
http://www.theone.ru/proxy/?50,
http://www.theone.ru/proxy/?75,
http://www.theone.ru/proxy/?100,
http://www.theone.ru/proxy/?125,
http://vpteam.net/?proxy
http://www.denchecker.freeproxy.ru/ru/free_proxy_lists.php
http://proxybase.net/proxylist.htm
http://www.samair.ru/proxy/index.htm
http://www.samair.ru/proxy/101-200.htm
http://www.samair.ru/proxy/201-300.htm
http://www.samair.ru/proxy/301-400.htm
http://www.samair.ru/proxy/401-500.htm
http://www.samair.ru/proxy/501-600.htm
http://www.samair.ru/proxy/601-700.htm
http://www.samair.ru/proxy/701-800.htm
http://www.samair.ru/proxy/801-900.htm
http://www.samair.ru/proxy/901-1000.htm
http://www.astalavista.com/privacy/proxy/
http://www.multiproxy.org/txt_all/proxy.txt
http://www.freeproxy.ru/download/lists/rusproxy.txt
http://www.proxyblind.org/list.shtml
http://www.atomintersoft.com/products/alive-proxy/proxy-list/80/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/81/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/3128/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/8000/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/8080/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/high-anonymity/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/anonymous/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/transparent/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/com/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/net/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/org/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/edu/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/us/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/jp/
http://www.atomintersoft.com/products/alive-proxy/proxy-list/bess/
http://www.cybersyndrome.net/plr.html
http://www.cybersyndrome.net/pla.html
http://www.cybersyndrome.net/plb.html
http://www.cybersyndrome.net/plc.html
http://www.cybersyndrome.net/pld.html
http://www.cybersyndrome.net/plf.html
http://www.cybersyndrome.net/pls.html
http://www.cybersyndrome.net/country.html
http://spy.pp.ru/list1.php
http://spy.pp.ru/list2.php
http://spy.pp.ru/list3.php
http://spy.pp.ru/list4.php
http://netspy.ukrpack.net/
http://netspy.ukrpack.net/cgi-bin/proxy/pr_show.cgi?View=Min&From=10&Top=10&TopH=&BotF=&NextHF=2
http://www.cyberarmy.com/lists/proxy/
http://www.cyberarmy.com/lists/proxy/older.html
http://mazafaka.ru/proxy/
http://mazafaka.ru/proxy/?page=2
http://mazafaka.ru/proxy/?page=3
http://mazafaka.ru/proxy/?page=4
http://mazafaka.ru/proxy/?page=5
http://mazafaka.ru/proxy/?page=6
http://mazafaka.ru/proxy/?page=7
http://mazafaka.ru/proxy/?page=8
http://mazafaka.ru/proxy/?page=9
http://mazafaka.ru/proxy/?page=10
http://mazafaka.ru/proxy/?page=11
http://mazafaka.ru/proxy/?page=12
http://mazafaka.ru/proxy/?page=13
http://mazafaka.ru/proxy/?page=14
http://mazafaka.ru/proxy/?page=15
http://mazafaka.ru/proxy/?page=16
http://mazafaka.ru/proxy/?page=17
http://mazafaka.ru/proxy/?page=18
http://mazafaka.ru/proxy/?page=19
http://mazafaka.ru/proxy/?page=20
http://mazafaka.ru/proxy/?page=21
http://mazafaka.ru/proxy/?page=22
http://mazafaka.ru/proxy/?page=23
http://mazafaka.ru/proxy/?page=24
http://mazafaka.ru/proxy/?page=25
http://mazafaka.ru/proxy/?page=26
http://mazafaka.ru/proxy/?page=27
http://mazafaka.ru/proxy/?page=28
http://mazafaka.ru/proxy/?page=29
http://mazafaka.ru/proxy/?page=30
http://www.madalf.ru/proxylist.shtm
http://www.openproxies.com/
http://www.findproxy.com/index.html
http://www.findproxy.com/page2.html
http://www.findproxy.com/page3.html
http://www.findproxy.com/page4.html
http://www.findproxy.com/page5.html
http://www.findproxy.com/page6.html
http://www.findproxy.com/page7.html
http://www.findproxy.com/page8.html
http://www.findproxy.com/page9.html
http://www.findproxy.com/page10.html
http://www.proxy4free.com/page1.html
http://www.proxy4free.com/page2.html
http://www.proxy4free.com/page3.html
http://www.proxy4free.com/page4.html
http://www.proxy4free.com/page5.html
http://www.proxy4free.com/page6.html
http://www.proxy4free.com/page7.html
http://www.proxy4free.com/page8.html
http://www.proxy4free.com/page9.html
http://www.proxy4free.com/page10.html
http://www.proxymania.com/page1.html
http://www.proxymania.com/page2.html
http://www.proxymania.com/page3.html
http://www.proxymania.com/page4.html
http://www.proxymania.com/page5.html
http://www.proxymania.com/page6.html
http://www.proxymania.com/page7.html
http://www.proxymania.com/page8.html
http://www.anonymitychecker.com/page1.html
http://www.anonymitychecker.com/page2.html
http://www.anonymitychecker.com/page3.html
http://www.anonymitychecker.com/page4.html
http://www.anonymitychecker.com/page5.html
http://www.anonymitychecker.com/page6.html
http://www.anonymitychecker.com/page7.html
http://www.anonymitychecker.com/page8.html
http://www.stayinvisible.com/index.pl/proxy_list
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=100
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=200
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=300
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=400
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=500
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=600
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=700
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=800
http://www.stayinvisible.com/index.pl/proxy_list?order=&offset=900
http://www.proxytester.com/page1.html
http://www.proxytester.com/page2.html
http://www.proxytester.com/page3.html
http://www.proxytester.com/page4.html
http://www.proxytester.com/page5.html
http://www.proxytester.com/page6.html
http://www.proxytester.com/page7.html
http://www.proxytester.com/page8.html
http://www.publicproxyservers.com/page1.html
http://www.publicproxyservers.com/page2.html
http://www.publicproxyservers.com/page3.html
http://www.publicproxyservers.com/page4.html
http://www.publicproxyservers.com/page5.html
http://www.publicproxyservers.com/page6.html
http://www.publicproxyservers.com/page7.html
http://www.publicproxyservers.com/page8.html
http://www.freepublicproxies.com/page1.html
http://www.freepublicproxies.com/page2.html
http://www.freepublicproxies.com/page3.html
http://www.freepublicproxies.com/page4.html
http://www.freepublicproxies.com/page5.html
http://www.freepublicproxies.com/page6.html
http://www.freepublicproxies.com/page7.html
http://www.freepublicproxies.com/page8.html
http://www.proxymatrix.com/page1.html
http://www.proxymatrix.com/page2.html
http://www.proxymatrix.com/page3.html
http://www.proxymatrix.com/page4.html
http://www.proxymatrix.com/page5.html
http://www.allproxies.com/page1.html
http://www.allproxies.com/page2.html
http://www.allproxies.com/page3.html
http://www.allproxies.com/page4.html
http://www.allproxies.com/page5.html
http://www.allproxies.com/page6.html
http://www.allproxies.com/page7.html
http://www.allproxies.com/page8.html
http://www.allproxies.com/page9.html
http://www.allproxies.com/page10.html
http://theproxyconnection.com/httplist.html
http://www.atomintersoft.com/products/alive-proxy/socks4-list/
http://www.atomintersoft.com/products/alive-proxy/socks5-list/
http://smsreklama.ru/proxy/

Garik_Alba
24.07.2005, 22:57
Полезная программа. :yees: Напишу о ней на своем форуме. ;)

spleenJack
25.07.2005, 14:30
Zueuk
Спасибо! Посмотрю.
Правда там вроде есть сайты на которых проксики повторяются. Но и куча новых есть :) :yees:

ildar
17.08.2005, 00:55
AriX
было бы неплохо сделать возможность сортировки проксей в поле результатов (например по портам)

Makc
17.08.2005, 10:37
Интересно, а проверка самих проексей будет?

spleenJack
17.08.2005, 16:57
ildar
было бы неплохо сделать возможность сортировки проксей в поле результатов (например по портам)
С след. версии будет. Делаю фильтры, сортировку...
Makc
Интересно, а проверка самих проексей будет?
Скорее всего, нет :cool:

spleenJack
21.09.2005, 16:04
Обновились

ProxyGrab v0.5

Изменений не особо много, но они полезные :)
+ !Определение страны проксика (только по IP) (по базе Maxmind GeoIP)
+ Грамотная сортировка в списке проксей
+ Возможность фильтрации по портам и странам

Наконец-то сделал сайт :) - заходим и качаем - _http://proxygrab.msk.ru/

Юзаем, тестим и пишем свои комментарии ;)

Zueuk
22.09.2005, 09:09
Хороший сайт, мне понравился. Всё просто и без наворотов.

+ !Определение страны проксика (только по IP) (по базе Maxmind GeoIP)
Вот это полезно.

Теперь остаётся потестировать... :)

Потестировал и сразу про проблемки.
При нажатии на Старт в окне статуса соединения пишет

8:39:08 Added 52 urls
8:39:10 Checking internet connection
8:39:10 Connection is failed

При этом соединение установлено.
При повторном нажатии многократном (мышью щелкаю кучу раз), выдаёт:

8:39:08 Added 52 urls
8:39:10 Checking internet connection
8:39:10 Connection is failed
8:39:11 Checking internet connection
8:39:11 Connection is failed
8:39:11 Checking internet connection
8:39:11 Connection is failed
8:39:11 Checking internet connection
8:39:11 Connection is failed
8:39:11 Checking internet connection
8:39:12 Connection is failed
8:39:12 Checking internet connection
8:39:12 Connection is failed
8:39:12 Checking internet connection
8:39:12 Connection is failed
8:39:12 Checking internet connection
8:39:12 Connection is failed
8:39:12 Checking internet connection
8:39:13 Connection is established
8:39:13 Work start
8:39:17 Work end
Проксики, в итоге собирает.
Не знаю, в чём может быть дело...

PS Соединение GPRS и через локальный прокси.

С извлечением проксиков из текстовых файлов проблемка.
Если включаю режим Из файлов, Добавить лист, выбирао одиночный текстовый файл, то не добавляет. А если добавляю этот текстовик (Плюсом) в список, то проксики извлекаются нормально. Так и должно быть?

spleenJack
23.09.2005, 17:33
Zueuk
Про проверку соединения:
Странно. Вообще, проверяется обычной отправкой заголовка на ya.ru - если ответ приходит, то пишется, что все в порядке... Может проксик через раз работает :-/ Ну, в принципе, можешь отключить проверку соединения.

Про списки:
Добавить лист - это функция добавления файла, в котором сохранен список файлов, в которых находятся проксики.
А уже обычный плюс (Добавить файл) - добавляет файл в список, в котором есть проксики.
:) Т.е. все в порядке

ЗЫ: Я это :) Твой список выложил на сайт, хорошо?

Zueuk
24.09.2005, 09:47
С отключенной проверкой соединения работает с первого раза. Значит оставлю так.

Про списки не особо понял, но тоже хорошо, ведь работает :) .

AriX:
ЗЫ: Я это :) Твой список выложил на сайт, хорошо?
Нормально. Стал живым классиком, цитируют, ссылаются... :biggrin:

ioka
26.09.2005, 05:22
AriX:
+ Грамотная сортировка в списке проксей
+ Возможность фильтрации по портам и странам
очень потребные фичи, особенно вторая :yees: :yees: :yees:
AriX:
Про проверку соединения:
пока не отваливалось ни разу

Zueuk
26.09.2005, 19:58
Есть маленькое пожелание:
было бы удобно, если можно при клике на списке добытых прокси (правый или левый клик) копировать один или несколько прокси на выбор.
Т.е., например, выделить русские прокси и скопировать в буфер, или сохранить в файл.
Или что-то подобное. Надеюсь, смысл понятен :)

spleenJack
26.09.2005, 20:23
Zueuk
Ага, харошая идея :)
Сделаю и это, и то, что хотел - динамическая фильтрация (ну т.е. нормальная, а не такая кривая какая есть :) ) - проксики сохраняются все, но можно на ходу ставить фильтр, менять его, выбирать проксики, менять местами - а потом сохранять в таком порядке, каком нужно.

ildar
27.09.2005, 00:43
AriX
ещё пожелания :yees: :
Возможность очистки поля результатов (а то левое поле очистить можно, а правое нет)
и вот еще что, окно программы нельзя ли увеличить , а еще лучше чтоб была возможность его максимизировать (даже незнаю как это слово по русски то сказать :rolleyes:, распахнуть наверно )

Zueuk
27.09.2005, 08:51
ildar:
и вот еще что, окно программы нельзя ли увеличить , а еще лучше чтоб была возможность его максимизировать (даже незнаю как это слово по русски то сказать :rolleyes:, распахнуть наверно )
Поддерживаю, т.к. при работе всё время возникают позывы для распахивания :)

spleenJack
27.09.2005, 10:34
ildar
Возможность очистки поля результатов
Будет.
и вот еще что, окно программы нельзя ли увеличить , а еще лучше чтоб была возможность его максимизировать (даже незнаю как это слово по русски то сказать , распахнуть наверно )
Тоже будет :) Я начинал это делать, но не поняв, как это нормально безглючно реализовать, забил на время :)

spleenJack
03.05.2006, 17:47
Вышла новая версия программы для собирания списков прокси-серверов - ProxyGrab v0.6.

Скриншот (50 кб) (http://proxygrab.msk.ru/screenshots/main_v06.png)
Изменения:
Общие:
* Код программы полностью переписан (убраны старые баги, добавлены новые :))
* Исправлено неправильное включение/выключение кнопок при сканировнии
* Сохранения результатов сканирования всех сканов (т.е. если был запущен скан для одного источника, а потом для другого, то результат скана первого источника не сбрасывается)
Список источников:
+ Список источников теперь древовидный (т.е. источники можно обьединять в группы, подгруппы и т.д.)
+ Добавление группы урлов с изменяющимися цифрами в адресе
+ Сканирование для выделенных и отмеченных галочкой источников
+ Хранение списка источников в xml
+ Импорт/экспорт списка источников
Список прокси:
* Фильтр по IP, домену, порту и стране
+ Возможность применения фильтра после сканирования
* Отфильтрованные прокси не удаляются, а просто не показываются в списке
* Список прокси можно сохранять и во время сканирования
+ Сохранение только выделенных прокси
+ Копирование списка выделенных прокси в буфер обмена
Вид окна:
+ Изменяемый размер окна и элементов внутри него
* Лог-окно теперь отдельно от основного (видимое/невидимое - опционально)
Настройки:
* Максимальное количество потоков теперь и для файлов и для урлов
* Возможность установки приоритета потоков
* Настройка таймаутов соединения/чтения странички и количества повторов при таймауте

Скачать ProxyGrab v0.6 (http://proxygrab.msk.ru/download.php?file=proxygrab.v0.6.rar)
Скачать базу для определения страны прокси (http://proxygrab.msk.ru/download.php?file=geoip-01.04.06.rar)

PS:
И хочу сообщить о том, что я замораживаю проект :-/ Пропал и интерес, и, самое главное, время. Его просто нет, к сожалению.
Приношу свои извинения всем, кто пользуется прогой, и тем, кто хотел и ждал, что она станет лучше-быстрее-сильнее.
Сайт работать будет, я надеюсь. Так что свои вопросы можно задавать на форуме (http://proxygrab.msk.ru/forum/)