Автоматическая обработка форм, скачивание онформации(+++) - Веб-программирование

27.05.2004, 00:09

Здравсвуйте.
Есть такая проблема
нужно сливать данные с сайта
http://swdcwww.kugi.kyoto-u.ac.jp/a...Rae.981201.html

981201.html - это год-месяц-день
год от 98 до 2000 меняется инфа за каждый день нужна

там форма, отправляется она нажатием энтер, надо типа каждый раз вводить е-мейл.

Подскажите пожалуйста как можно в автоматическом режиме слить все данные???
я просто не оч представляю как можно форму постом отослать

RaZEr · 27.05.2004, 00:45

Цитата:

Подскажите пожалуйста как можно в автоматическом режиме слить все данные???

Написать скрипт, который либо создаст список ссылок для качалки сайтов, либо сам откроет страницы и сохранит их в нужном формате. Чтобы написать скрипт необходимо пойти в ближайший магазин и купить книжку по понравившемуся языку программирования. Сейчас модно Php.

Hubbitus · 27.05.2004, 14:07

Могу предложить свои услуги по написанию скрипта (аська 345211) ... или бесплатные советы...
Скорее всего это нужно будет делать с помощью Curl...
Ты бы полную ссылку дал посмотреть! Почему бы так просто не сохранить? Ограничения какие-то нужно преодолевать?

aoxyz_30330 · 27.05.2004, 16:26

вабще не курл а сокет, намнога проще

Hubbitus · 27.05.2004, 17:17

Цитата:

aoxyz_30330:
вабще не курл а сокет, намнога проще

Я бы поспорил с этим утверждением, но не об этом топик неправда ли????

Stasik · 27.05.2004, 19:20

да можно и через сокeт проэмулировать и пост и куки

но curl удобнее

aoxyz_30330 · 27.05.2004, 19:59

Stasik, а что, может деййтвителна топик открыть.... тема таки интересная

nibl · 27.05.2004, 21:31

Алгоритм:

Формируешь список URL'ов (хоть вручную, хоть на BASICe)
Натравливаешь на этот список консольную качалку wget.
Примерно так:
Код:
```
wget -i urllist.txt --post-data '...'
```

Mood:

Курлы, сокеты, куки... Забыли старика Оккама.

aoxyz_30330 · 27.05.2004, 21:58

нафика качалка? еси скрипт может автоматом каждый день скачивать новую версию ... нет, наверна я уже так бы не смог ... лениво

nibl · 27.05.2004, 23:37

Цитата:

Сообщение от aoxyz_30330

нафика качалка? еси скрипт может автоматом каждый день скачивать новую версию ... нет, наверна я уже так бы не смог ... лениво

Цитата:

год от 98 до 2000 меняется инфа за каждый день нужна

Вывод: требуется 1 раз скачать архивные данные (365*3 файлов)
В крайнем случае wget можно вызывать из скрипта.
mood:

курлы, сокеты ...

wget

BGPasha, огласите полный URL.

aoxyz_30330 · 27.05.2004, 23:54

а блин, точна, если один раз качать, то нет вопросов ....

ну а если потом каждый день тоже ...?

27.05.2004, 00:09	# 1
BGPasha Guest Сообщения: n/a	Автоматическая обработка форм, скачивание онформации(+++) Здравсвуйте. Есть такая проблема нужно сливать данные с сайта http://swdcwww.kugi.kyoto-u.ac.jp/a...Rae.981201.html 981201.html - это год-месяц-день год от 98 до 2000 меняется инфа за каждый день нужна там форма, отправляется она нажатием энтер, надо типа каждый раз вводить е-мейл. Подскажите пожалуйста как можно в автоматическом режиме слить все данные??? я просто не оч представляю как можно форму постом отослать

27.05.2004, 14:07	# 3
Hubbitus мод IMHO Кодер-200(6,7,8) Регистрация: 29.03.2003 Адрес: Saint-Petersburg, Russia Пол: Male Сообщения: 2 734	Могу предложить свои услуги по написанию скрипта (аська 345211) ... или бесплатные советы... Скорее всего это нужно будет делать с помощью Curl... Ты бы полную ссылку дал посмотреть! Почему бы так просто не сохранить? Ограничения какие-то нужно преодолевать? __________________ Я делаю Линукс! Присоединяйтесь к свободным людям! Связаться со мной всегда можно по джабберу: Hubbitus@jabber.ru Pahan-Hubbitus.

27.05.2004, 19:20	# 6
Stasik Registered User Регистрация: 27.03.2002 Адрес: дома Сообщения: 1 660	да можно и через сокeт проэмулировать и пост и куки но curl удобнее __________________ Всё будет хорошо!

27.05.2004, 21:31	# 8
nibl Junior Member Регистрация: 14.09.2003 Адрес: тут Сообщения: 60	Алгоритм: Формируешь список URL'ов (хоть вручную, хоть на BASICe) Натравливаешь на этот список консольную качалку wget. Примерно так: Код: wget -i urllist.txt --post-data '...' Mood: Курлы, сокеты, куки... Забыли старика Оккама. __________________ Часто истина ... зависит от твоей точки зрения. © Оби Ван Кеноби. Последний раз редактировалось nibl; 29.05.2004 в 23:05.

27.05.2004, 16:26	# 4
aoxyz_30330 Junior Member Регистрация: 22.05.2004 Сообщения: 112	вабще не курл а сокет, намнога проще

27.05.2004, 19:59	# 7
aoxyz_30330 Junior Member Регистрация: 22.05.2004 Сообщения: 112	Stasik, а что, может деййтвителна топик открыть.... тема таки интересная

27.05.2004, 21:58	# 9
aoxyz_30330 Junior Member Регистрация: 22.05.2004 Сообщения: 112	нафика качалка? еси скрипт может автоматом каждый день скачивать новую версию ... нет, наверна я уже так бы не смог ... лениво

27.05.2004, 23:54	# 11
aoxyz_30330 Junior Member Регистрация: 22.05.2004 Сообщения: 112	а блин, точна, если один раз качать, то нет вопросов .... ну а если потом каждый день тоже ...?