Парсеры цен - что имеем на сегодня

Парсеры цен - это вещь сама по себе новая и появилась сравнительно недавно. Скажем, что лет 10 назад никто даже не задумывался про это, по крайней мере у нас. Так вот что же это за процесс такой “Парсер цен”? Это программа или веб-сервис, который позволяет вам получить цены. Это могут быть цены конкурентов, цены поставщиков, или цены ваших дилеров (правда вам нужно в этом случае быть поставщиком). Собственно почему не было раньше программ для парсинга цен. Потому что источников откуда эти цены можно было бы взять не было. Т.е. сайты интерент-магазины конечно же были 10 лет назад, а вот сайты нет агрегаторы еще нет. Хотя конечно же был, тот же прайс ру содержит в подвале почтенную запись что он появился аж прямо в 1997 году, что только добавляет ему почета и уважения , но к сожалению не трафика. Самый главный источник парсеров цен всея Руси на сегодня Яндекс Маркет появился 30 ноября 2000. Конечно же главным он стал не сразу, а постепенно. Зато сегодня уже просто невозможно сделать аналитику по рынку без использования данных которые располагаются на серверах Яндекс Маркета. Собственно цены и до эпохи интернета считали. Да, есть целые агентства которые анализируют цены на товары в офлайн магазинах. Хотя конечно обычно это делают простые маркетологи, которые как бы невзначай затариваются в конкурирующих сетях. но суть собственно одна и в офлайн и в онлайн - это получить табличку в которой будет в одной колонке артикул вашего товара, в другой ваша цена, ну а в последующих будут цены ваших конкурентов, или дилеров или поставщиков. Какие проблемы существуют в этом деле. Проблем много. Например, какой программой пользоваться? Или а что потом делать с этой собственно табличкой с результатами работы. Или а как мне так хитро задать формулы изменения цены чтобы и денег заработать и конкурентам жизнь сломать. Или еще самый главный вопрос. А как мне обработать мой пятидесятитысячный прайс за 5 минут. Конечно это не все главные вопросы. Большинство программ очень непонятные. Имеется ввиду что чтобы разобраться с пользовательским интерфейсов надо читать документацию. Тратить много времени на использование, вообщем, целая морока. Самое главное, что вообще не понятно какая программа подойдет мне. Есть целы комбайны. Есть очень специализированные решения. В целом, можно найти много вариантов но вот как определиться, что подойдет и будет работать надежно - это хороший вопрос. Еще большое недоразумение - это цена за такого рода услуги. Варианты, когда надо платить за каждый товар вызывают только вопросы. История с ПО, которое оплачивается единожды тоже вызывает вопросы и я объясню почему. Потому что парсеры относятся к такому роду программ, которые ломаются. несмотря на то как хорош тот программист который разрабатывает их у него не будет шансов исправить программу которая сейчас у заказчика если поменялась верстка на том же Яндекс Маркете. Собственно все. Получается , что с оплатой за результат - это самый правильный способ. Но там же ведь и цены совсем конские. А еще особенность парсеров цен - это баны (блокировки). Особенно это видно на Яндекс Маркете. Ну просто невозможно парсить цены Яндекс Маркета с одного компьютера (это я сейчас немножко утрировал , но в целом это правда) т.е. что я имею ввиду - что если вы планируете парсить цены с одного IP адреса то у вас ничег оне получится, потому что на Яндекс Маркете стоит защита, которая вам не позволит это сделать. Возможно будет спарсить ну максимум сотню товаров. Это , кстати, среднее значение . Может бы ть и меньше. Может больше. Но будьте готовы что за активную работу парсер Маркет Вас просто попросит ввести Капчу (это циферки на картинке, которые доказывают , что вы не бот), а потом и вовсе заблокирует вам IP адрес. Кажется , что ситуация патовая, но это не так. На самом деле можно пользоваться прокси и они будут помогать вам обрабатывать большие объемы данных. Про большие я конечно тут несколько преувеличил. Почему преувеличил, да потому что если у вас 50000 товаров и их всех нужно проанализировать для Москвы, то вы знаете это вообще-то большая задача по времени. А прокси еще сильнее замедляют процесс, да и плюс к тому разгадывание капчи тоже не очень быстрое занятие. Все эти моменты накладываются друг на друга и мы получаем ситуацию которая решается как есть сегодня. Т.е. если вы хотите программу, за которую нужно заплатить один раз. Убедитесь что те люди которые продают эту программу - они еще дополнительно оказывают поддержку. Под поддержкой я понимаю, что они оперативно выпускают новые версии программы , когда меняется верста на маркете или любом другом источнике. Плюс чтобы в программе “парсер цен” была поддержка прокси и антикапчи, если это требуется.