Парсер цен. Документация.

1. Установка/запуск/активация парсера цен конкурентов
2. Загрузка данных в программу
3. Настройки
     3.1 Антикапча
4. Настройка внешних источников
5. Активнаяработа парсера / сбор данных / визуализация данных
6. Алгорит работы программы
7. Отчет

Установка / запуск / активация

Запустите установочный файл и установите программу.
После завершения установки запустите файл "ECommercePrice.exe" или ярлык на рабочем столе, если Вы его отмечали создать.

Активация.

Зайдите в Меню Помощь-О программе. Кликните на кнопку "Активировать". Программа предложит ввести логин и пароль - это логин и пароль от личного кабинета магазина Catalogloader.com/shop, где Вы оплачивали программу.

При введении корректного логина и пароля будет произведена активация. В противном случае программа будет продолжать работать в демо-режиме.

Загрузка данных в программу

Загрузить свои данные в программу можно двумя способами (Excel и YML):
1. Для загрузки Из Excel-файла кликните по меню "Файл-Загрузить прайс из Excel" или на иконку под меню программы. Выберите xls файл, далее определите колонки где определены Артикул, Наименование, Цены:

После того как определены столбцы, то кликните на кнопку "Загрузить данные", после чего данные из вашего прайса будут загружены в программу.

2. Для загрузки YML-файла (локального или по ссылке) кликните по меню "Файл-Загрузить прайс из YML-файла". После этого укажите или локальный yml-файл или укажите http ссылку на файл. После того как определена ссылка на yml-файл - кликните на кнопку "Загрузить" - данные из вашего yml будут загружены в программу.

Настройки

Окно с выбором источников парсера цен. В полной версии ПО доступны источники, которые оплачены в магазине CatalogLoader.
Пользователь может выбирать источники с которых будут извлекаться цены. В демо версии доступны все источники. В полной версии (активированной) доступны пользователю только оплаченные источники.

Фильтры (черный и белые списки)
Список магазинов для включения в отчет - список магазинов, которые должны быть в отчете.
Список магазинов для исключения из отчета - список магазинов, которые не должны быть в отчете.
Сеть и прокси
В этом окне доступна возможность Редактировать прокси. Можно добавить/изменить/удалить/импортировать прокси. Прокси необходимы для работы с парсером в ситуации, когда необходимо работать в режиме БАНА сайта источника. Например, такое часто случается с парсером цен из Яндекс.Маркет. Также режим работы с прокси позволяет скрыть реальный IP пользователя программы от сайта-источника.

Специальные настройки для источника. Например, для парсера цен Яндекс.Маркет сделаны следующие специальные настройки:

Регион - укажите регион, цены которого Вам интересны.
Парсить цены только "местных" магазинов - в результаты не попадут магазины из других регионов, которые предлагают доставку в Ваш регион.
Искать точное совпадение (обрамить запрос кавычками) - запрос, который будет отправлен в поиск я.маркета, будет обрамлен кавычками.

Антикапча - не используется с декабря 2014 г., капчу нужно вводить пользователю в программе через встроенный браузер.

Настройка внешних источников

Данная функциональность предназначена для извлечения цен из интернет-магазинов, которые не располагаются на прайс-агрегаторах ,например, как Яндекс.Маркет.

Чтобы собирать цены из такого интернет-магазина необходимо сделать следующее:
1) Сделать настройку для извлечения цены.
2) В Excel-прайс, вставить ссылку на карточку товара.

Рассмотрим подробнее на конкретном примере. В качестве источника возьмем сайт enter.ru.
Настройка извлечения цены.
Перейдите в область настроек "Внешние источники".
Кликните в Меню на кнопку "Добавить". Определите название источника и Домен сайта-источника. Домен источника будет использоваться для определения какую настройку применять программе ссылки на сайт-источник из Excel файла.
Для извлечения цены выберите Xpath выражение и если необходимо RegEx (регулярное выражение).

После добавления в списке внешний источников будет отображаться только что добавленный источник.

Добавление ссылки на карточку товара сайта-источника
В Excel прайс, который вы загружаете в программу, добавьте ссылку на карточку товара из интернет-магазина-источника цен.

Если вам необходимо задать ссылки на два и более интернет-магазина, то ссылки на второй сайт необходимо ставить в новой колонке. Пример для enter и citilink показан на следующем изображении.

Во время загрузки Excel-прайса в программу определять колонку их Excel "ссылкой на карточку товара" не нужно.

Активная работа парсера / сбор данных / визуализация данных

После того, как исходные данные загружены и выполнены настройки, можно приступить к запуску программы. Меню: Парсер->Запустить.
Процесс сбора цен запущен и мы можем наблюдать это в предварительном просмотре результатов:

Цены, выделенные зеленым цветом - больше Вашей цены, цены красного цвета - меньше Вашей цены. В низу окна отображается прогресс работы парсера.

Алгоритм

Алгоритм работы следующий.
Парсер ищет товары через поисковую систему сайта-источника. Парсер эмулирует ввод в поисковое поле сайта-источника содержимое поля находящегося в столбце "Имя товара". После чего парсер эмулирует нажатие на кнопку поиска на сайте источника. В действительности пользователь может ввести в столбец "Имя товара" любой текст, например, артикул производителя. Это необходимо на некоторых сайтах для улучшения качества поиска на сайте-источнике.

Сайт-источник может вернуть 3 варианта выдачи.
1 - перенаправить на карточку товара. в этом случае парсер извлечет цены из предложенной карточки товара и отобразит их в отчете.
2 - дать выдачу с несколькими карточками товара. в этом случае парсер возьмет первую ссылку из выдачи. перейдет на карточку товара по этой ссылке и извлечет цены из предложенной карточки товара и отобразит их в отчете.
3 - дать ссылки на предложения от продавцов. Это так назызываемые офферы продавцов из их прайсов. Программа соберет цены продавцов из первой страницы выдачи (если иное не определено настройками). Цены и названия продавцов будут отображены в отчете.

Отчет

После того, как парсинг завершится, Вам будет предложено сохранить данные в отчет.

Диалог экспорта отчета можно вызвать из меню: Отчет->Сохранить
Внимание! После закрытия программы данные, полученные за текущий сеанс, выгрузить будет невозможно.

Купить парсер цен или скачать демо можно в магазине.

Обновлено: описанная выше программа для мониторинга цен интернет-магазинов морально и технически устарела. Чтобы протестировать актуальную версия мониторинга цен, переходите и регистрируйте здесь: