Россия (Москва)

+7(499)703-14-58

Беларусь (Минск)

+375(29)730-92-33

Украина (Киев)

+380(44)392-28-19

Заказать услугу

Максимальная скорость парсинга. Наше достижение в 2021 году.

https://catalogloader.com в этом году сделал значимое достижение по скорости парсинга. Кто не знает что такое парсинг - это извлечение информации из сайтов и сохранение ее в структурированном виде, например, в Excel файл или CSV/JSON файлы. Так вот достижение заключается в том, что смогли развить скорость парсинга на 1 сервере до 12 тысяч запросов в минуту. Если в начале года мы очень радовались новой цифре в 2 тысячи запросов в минуту, то в августе 2021 смогли уже преодолеть 12 тысяч. Только представьте: 12000 успешных скачиваний страниц в минуту. Еще год назад представить, что такое возможно было бы сложно, хотя мы теме парсинга очень давно. Но оказалось, что пару предположений и идей, которые были всегда где-то рядом и несколько месяцев разработки позволили получить вот такой результат. Что дает такой инструмент? Первое - это огромную экономию на серверах. Если раньше надо было 20-40 серверов для решения подобной задачи, то теперь достаточно 1 сервера. Плюс еще , конечно же, то что мы можем делать задачи по парсингу сайтвто, которые раньше даже не взялись бы оценивать.

Так выглядит код парсера CatalogLoader: