BatchURLScraper - Извлечение данных методами XPath, CSSPath, XQuery и RegExp

[Chaser]

Всем привет!

Представляю вашему вниманию бесплатную программу BatchURLScraper, предназначенную для извлечения данных со страниц сайтов используя XPath, CSS-селекторы, XQuery и RegExp.







Возможности программы BatchURLScraper:

• парсинг и извлечение данных по списку URL
• гибкая настройка парсинга используя XPath, CSSPath, XQuery и RegExp
• модуль для тестирования правил парсинга
• экспорт отчетов в Excel (CSV-формат)

Страница скачивания (5 Мб): https://site-analyzer.ru/soft/batch-url-scraper/

Буду рад любым отзывам и пожеланиям по работе программы.

[Borland]

Программе явственно не хватает руковводства по эксплуатации, хотя бы онлайнового.
Несколько примеров построения правил, объяснение что такое "XPath, CSSPath, XQuery и RegExp" в принципе и отсылка к более подробному мануалу по перечисленным технологиям.
Понятно, что практически вся информация ищется в интернете, а программу можно освоить "методом тыка", просто удобнее когда есть хоть какой-то мануал...

[Chaser]

Сообщение от Borland

Программе явственно не хватает руковводства по эксплуатации, хотя бы онлайнового.
Несколько примеров построения правил, объяснение что такое "XPath, CSSPath, XQuery и RegExp" в принципе и отсылка к более подробному мануалу по перечисленным технологиям.
Понятно, что практически вся информация ищется в интернете, а программу можно освоить "методом тыка", просто удобнее когда есть хоть какой-то мануал...

Да, вы правы, чуть позже выложим статью с примерами использования правил. А пока:

Новая версия BatchURLScraper 1.3







Что нового:

• расширено число страниц для парсинга с 1000 до 5000 URL
• добавлена возможность скрапинга через HTML templates
• добавлена возможность извлечения данных через атрибуты CSS
• добавлена возможность скрапинга через внешний и внутренний HTML
• добавлена возможность использования списков Proxy
• исправлен баг некорректного сохранения User-Agent

Страница скачивания: https://site-analyzer.ru/soft/batch-url-scraper/

[Chaser]

Новая версия BatchURLScraper 1.4 (build 27), 08.12.2020:

• исправлена ошибка с валидацией HTML-темплейтов
• оптимизирована работа с регулярными выражениями
• добавлена возможность неучета повторений при скрейпинге
• исправлена проблема с учетом пауз между запросами
• диапазон пауз между запросами расширен до полутора минут
• доработан и улучшен перевод программы
• устранены утечки памяти