CatalogLoader

Парсер товаров "V4". Документация.

1. Установка и запуск программы
2. Демо-парсеры
3. Мои парсеры
4. Экспорт
5. Скачивание фото
6. Сравнить выгрузки
7. Прокси и антикапча
8. Редактировать каталог
9. Обновить/перестроить каталог
10. Изменение цен (Наценка)
11. Видео-демонстрация

1. Установка и запуск программы

После скачивания запускаем установочный файл и, следуя инструкциям, устанавливаем программу.
Когда парсер товаров установлен, запускаем CatalogLoaderV4.exe или ярлык на рабочем столе.

Первый раз программа запускается в демо-режиме.

Если Вы оплачивали какой-либо парсер в магазине, тогда нужно активировать программу в меню Помощь ->> О программе ->> Активировать:

Вводим свой логин и пароль (аналогичный для входа в магазин, где Вы оплачивали программу) и нажимаем Ок:

После активации Вам будут доступны все ее возможности согласно режиму работы.

Активировать одновременно парсер (1 источник) можно на 2 ПК.

2. Демо-парсеры

После запуска программа предлагает список из источников во вкладке Демо-парсеры - это парсеры товаров, которые можно посмотреть в работе, сделав реальный запуск и получив реальные данные.

Для демо парсеров действует ограничение по количеству скачиваемых товаров и доступных категорий для парсинга. При оплате парсера эти ограничения снимаются.

Чтобы запустить демо любого парсера:

- выбираем необходимый парсер;

- справа в этой же строке наживаем кнопку Запустить парсер или наживаем кнопку Запустить парсер:

После запуска программа предупредит Вас что работает в демо-режиме и есть ограничения:

Нажимаем Ок, после чего откроется список категорий, которые доступны для парсинга:

Выбираем галочками категории для парсинга и нажимаем кнопку Запустить. После запуска начнется процесс парсинга, статус процесса можно наблюдать во вкладке События (Лог):

Когда процесс завершился, переходим во вкладку "Мои запуски и данные", где видим нашу базу товаров, которая сформировалась в результате запуска парсинга.

Из этой базы нужно сделать экспорт товаров в файл, и скачать картинки (см. документацию далее).

3. Мои парсеры

Во вкладке "Мои парсеры" отображаются продукты (парсеры), которые Вы оплачивали, которыми Вы можете полноценно пользоваться:

Перед первым запуском Вам будет продложено пройти активацию, и будет выведено соответствующее сообщение, которое в дальнейшем появляться не будет.

В остальном порядок работы с этими парсерами аналогичен Демо-парсерам, которые описаны выше.

4. Экспорт

Чтобы сделать экспорт товаров, нужно выбрать базу товаров для парсера, и нажать кнопку "Запустить экспорт":

далее появится диалоговое окно, в котором нужно выбрать категории для экспорта и шаблон, в который нужно сделать экспорт:

После выполнения экспорта файлы можно найти в директории ExportFiles или воспользоваться кнопкой "Открыть папку с файлами экспорта":

Каждый экспорт помещается в отдельную директорию внутри директории ExportFiles, в названии которой указаны дата экспорта, название проекта, название шаблона.

5. Скачивание фото

Для скачивания фото выбираем нашу базу товаров и нажимаем кнопку "Скачать картинки":

Если нужны фото другого размера (иконки) и имени (зависит от cms) - генерируем их, установив галочку "Генерировать иконки", указав шаблон нового имени и задав размеры.

Если имя иконки не нужно менять - пишем в поле шаблона {0}. Если нужно например из фото catalogloader.jpg сделать catalogloader_small.jpg, тогда в шаблон пишем {0}_small, все фото нового размера будут иметь оригинальное имя+_small.

Скачанные фото можно увидеть здесь:

6. Сравнить выгрузки

Модуль предназначен для выявления изменений на сайте - товаров, которые добавились или изменились и товаров, которые отсутствуют на источнике.

Для работы с модулем выбираем в меню Сравнить выгрузки:

После этого появится меню модуля, где нужно выбрать два clp файла (базы товаров), которые нам нужно сравнить и выявить новые и старые товары:

Выбираем файлы (базы товаров) и нажимаем Ок.

В результате действий, описанных в предыдущем пункте, мы получаем два новых clp файла с именами …_compare_deleted.clp и …_compare_new.clp:

На рисунке выше выделены файлы, которые мы получили, сравнив два файла выше.

Далее обычным способом работаем с полученными clp-файлами, экспортируя из них данные. (см. п.Экспорт)

7. Прокси

Для работы с некоторыми сайтами есть необходимость прибегать к использованию прокси. Программа работает с http прокси, с авторизацией или без нее.

Добавить их можно в меню Настройки:

Выбираем, открывается окно, в которое можно вводить по 1 прокси руками, можно сделать импорт множества прокси из файла:

Антикапча (только для яндекс маркет) - не используется с декабря 2014 г., капчу нужно вводить пользователю в программе.

8. Редактировать каталог

Категории сайта-источника (донора) и Вашего сайта зачастую не совпадают, что требует редактирования категорий.

Для решения этой проблемы предусмотрена возможность редактирования каталога, которая позволяет переименовать, добавить, удалить, переместить категории до парсинга, и парсить уже данные согласно структуре Ваших категорий.

Для начала редактирования каталога нужно на соответствующем парсере нажать правой кнопкой мыши и выбрать "Редактировать каталог":

После этого список категорий откроется в блокноте для редактирования. Файл категорий сохранен на Ваш компьютер и находится в директории LocalSettings (c:\Users\ПОльзователь\AppData\Roaming\CatalogLoader\V4\LocalSettings) и имеет название название_парсера.grabCatalog, его можно в любое время открыть и редактировать.

Как редактировать категории:

Для редактирования списка/уровня категорий нужно открыть файл *.grabCatalog в блокноте или другом текстовом редакторе, где:
# - уровень вложенности категории.
далее идет название категории до [path], после [path] идет ссылка на категорию источника, далее после @@ идет id категории (любое уникальное число, может не проставляться, если нету для др. категорий).
Можно добавить новые категории или создать свою структуру по такому же шаблону.

#Все для офиса[path]http://market.yandex.ru/catalog.xml?hid=90722@@1008 - категория 1-го уровня
##Оборудование для презентаций[path]http://market.yandex.ru/catalog.xml?hid=90729@@12418 - категория 2-го уровня
###Мультимедиа-проекторы[path]http://market.yandex.ru/catalog.xml?hid=191219@@12420 - категория 3-го уровня

Выше описанные действия позволяют создавать/адаптировать/подгонять категории и их структуру сайта-источника под свою.

Чтобы парсить товары по конкретным ссылкам:

#Название категории[path]http://market.yandex.ru

http://market.yandex.ru/model.xml?modelid=8454905&hid=91491&int_lnk=p-goods-img

http://market.yandex.ru/model.xml?modelid=8474674&hid=91491&int_lnk=p-goods-img

#Название категории2[path]http://market.yandex.ru

http://market.yandex.ru/model.xml?modelid=8454905&hid=91491&int_lnk=p-goods-img

http://market.yandex.ru/model.xml?modelid=8474674&hid=91491&int_lnk=p-goods-img

Чтобы использовать дерево категорий источника, нужно удалить этот файл из директории LocalSettings (c:\Users\ПОльзователь\AppData\Roaming\CatalogLoader\V4\LocalSettings) и перезапустить парсер.

9. Обновить/перестроить каталог

В большинстве проектов есть возможность автоматического обновления/перестроения каталога.

Для этого нужно выбрать Редактировать каталог:

список категорий откроется в блокноте, закрываем его и нажимаем в том же меню (на парсере правый клик) Перестроить каталог из источника:

Начнется парсинг нового дерева категорий из источника, когда процесс завершится, будет в логе написано 100%. Закрываем окно лога и работаем уже с новой версий категорий.

Если Вы получили не корректные результаты перестроения, значит автоматическая генерация для Вашего проекта не возможна.
В этом случае редактирование производится руками согласно предыдущему пункту.
Чтобы получить дерево категорий с сервера (в случае неудачной генерации, или невозможности генерации нового, или по другим причинам), нужно удалить файл с названием проекта и расширением .grabCatalog из директории LocalSettings (c:\Users\ПОльзователь\AppData\Roaming\CatalogLoader\V4\LocalSettings), которая находится в директории парсера.

10. Изменение цен (Наценка)

В парсере товаров v4 есть возможность задавать наценку.

Сделать это можно перед запуском парсера во время выбора категорий для парсинг:

Есть несколько способов наценки:

- наценка на какой-то процент всех цен: (все цены будут умножены на 1.5, т.е. увеличены на 50%)

- наценка по категориям: (цена на товары из категории Misc будет увеличена на 50%)

- наценка в зависимости от цены товара: (товары с ценой от 0 до 100 будут увеличены на 50%)

Кроме перечисленных основных способов изменения цен возможны их комбинации.