BatchURLScraper - Извлечение данных методами XPath, CSSPath, XQuery и RegExp
 

Всем привет!

Представляю вашему вниманию бесплатную программу BatchURLScraper, предназначенную для извлечения данных со страниц сайтов используя XPath, CSS-селекторы, XQuery и RegExp.

https://site-analyzer.ru/pages/soft/buscr/buscr.png

https://site-analyzer.ru/pages/soft/...rape-rules.png

https://site-analyzer.ru/pages/soft/...uscr-debug.png

Возможности программы BatchURLScraper:

• парсинг и извлечение данных по списку URL
• гибкая настройка парсинга используя XPath, CSSPath, XQuery и RegExp
• модуль для тестирования правил парсинга
• экспорт отчетов в Excel (CSV-формат)

Страница скачивания (5 Мб): https://site-analyzer.ru/soft/batch-url-scraper/

Буду рад любым отзывам и пожеланиям по работе программы.

Программе явственно не хватает руковводства по эксплуатации, хотя бы онлайнового.
Несколько примеров построения правил, объяснение что такое "XPath, CSSPath, XQuery и RegExp" в принципе и отсылка к более подробному мануалу по перечисленным технологиям.
Понятно, что практически вся информация ищется в интернете, а программу можно освоить "методом тыка", просто удобнее когда есть хоть какой-то мануал...

Да, вы правы, чуть позже выложим статью с примерами использования правил. А пока:

Новая версия BatchURLScraper 1.3

https://site-analyzer.ru/pages/artic...scr/get-ga.png

https://site-analyzer.ru/pages/artic...es-counter.png

https://site-analyzer.ru/pages/artic...r-settings.png

Что нового:

• расширено число страниц для парсинга с 1000 до 5000 URL
• добавлена возможность скрапинга через HTML templates
• добавлена возможность извлечения данных через атрибуты CSS
• добавлена возможность скрапинга через внешний и внутренний HTML
• добавлена возможность использования списков Proxy
• исправлен баг некорректного сохранения User-Agent

Страница скачивания: https://site-analyzer.ru/soft/batch-url-scraper/