IMHO.WS

IMHO.WS (http://www.imho.ws/index.php)
-   Веб-программирование (http://www.imho.ws/forumdisplay.php?f=29)
-   -   Автоматическая обработка форм, скачивание онформации(+++) (http://www.imho.ws/showthread.php?t=59927)

BGPasha 27.05.2004 00:09

Автоматическая обработка форм, скачивание онформации(+++)
 
Здравсвуйте.
Есть такая проблема
нужно сливать данные с сайта
http://swdcwww.kugi.kyoto-u.ac.jp/a...Rae.981201.html

981201.html - это год-месяц-день
год от 98 до 2000 меняется инфа за каждый день нужна

там форма, отправляется она нажатием энтер, надо типа каждый раз вводить е-мейл.

Подскажите пожалуйста как можно в автоматическом режиме слить все данные???
я просто не оч представляю как можно форму постом отослать

RaZEr 27.05.2004 00:45

Цитата:

Подскажите пожалуйста как можно в автоматическом режиме слить все данные???
Написать скрипт, который либо создаст список ссылок для качалки сайтов, либо сам откроет страницы и сохранит их в нужном формате. Чтобы написать скрипт необходимо пойти в ближайший магазин и купить книжку по понравившемуся языку программирования. Сейчас модно Php.

Hubbitus 27.05.2004 14:07

Могу предложить свои услуги по написанию скрипта (аська 345211) ... или бесплатные советы...
Скорее всего это нужно будет делать с помощью Curl...
Ты бы полную ссылку дал посмотреть! Почему бы так просто не сохранить? Ограничения какие-то нужно преодолевать?

aoxyz_30330 27.05.2004 16:26

вабще не курл а сокет, намнога проще

Hubbitus 27.05.2004 17:17

Цитата:

aoxyz_30330:
вабще не курл а сокет, намнога проще
Я бы поспорил с этим утверждением, но не об этом топик неправда ли???? :)

Stasik 27.05.2004 19:20

да можно и через сокeт проэмулировать и пост и куки :) но curl удобнее

aoxyz_30330 27.05.2004 19:59

Stasik, а что, может деййтвителна топик открыть.... тема таки интересная :yees:

nibl 27.05.2004 21:31

:imho: Алгоритм:
  1. Формируешь список URL'ов (хоть вручную, хоть на BASICe)
  2. Натравливаешь на этот список консольную качалку wget.
    Примерно так:
    Код:

    wget -i urllist.txt --post-data '...'
  3. :beer:
Mood: :winkgrin: Курлы, сокеты, куки... Забыли старика Оккама.

aoxyz_30330 27.05.2004 21:58

нафика качалка? еси скрипт может автоматом каждый день скачивать новую версию ... нет, наверна я уже так бы не смог ... лениво ;)

nibl 27.05.2004 23:37

Цитата:

Сообщение от aoxyz_30330
нафика качалка? еси скрипт может автоматом каждый день скачивать новую версию ... нет, наверна я уже так бы не смог ... лениво ;)

:yees:
Цитата:

год от 98 до 2000 меняется инфа за каждый день нужна
Вывод: требуется 1 раз скачать архивные данные (365*3 файлов)
В крайнем случае wget можно вызывать из скрипта.
mood: :imho: курлы, сокеты ...:молись: :kill: wget :biggrin: :biggrin: :biggrin:

BGPasha, огласите полный URL.

aoxyz_30330 27.05.2004 23:54

а блин, точна, если один раз качать, то нет вопросов ....

ну а если потом каждый день тоже ...?


Часовой пояс GMT +4, время: 00:28.

Powered by vBulletin® Version 3.8.5
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.