Двигун скрапінгу
Розробили алгоритми для автоматичного збору даних про товари з маркетплейсів — продавців, цін, описів і зображень.
Задача
BackFour розробляє рішення для захисту брендів і моніторингу інтернет-простору. Компанія звернулася до нас за створенням CounterAttack — непублічного інструменту для скрапінгу маркетплейсів і виявлення підробленої продукції.
Потрібен був потужний двигун скрапінгу, зручний інтерфейс для пошуку й класифікації підробок, а також спеціалізовані функції — Whitelisting і Blacklisting продавців, шаблони запитів до них, архівування знайдених випадків і статистика.
Окремим викликом було забезпечити стабільну роботу скрапера в умовах, коли маркетплейси активно протидіють автоматизованому збору даних.
Що зробили
Ми побудували CounterAttack — інструмент, що знаходить і класифікує підробки на маркетплейсах та автоматизує комунікацію з продавцями.
Захист від блокувань
Впровадили механізми, що запобігають блокуванню скрапера маркетплейсами і забезпечують стабільний доступ до даних.
Пошук і класифікація підробок
Створили панель керування для пошуку, сортування й класифікації знайдених підробок за різними критеріями.
Whitelisting і Blacklisting
Додали можливість заносити продавців до білого чи чорного списку — для автоматичного пріоритезування або ігнорування пропозицій.
Редактор шаблонів запитів
Реалізували інструмент для створення й редагування шаблонів звернень до продавців з підозрілими товарами.
Архів і статистика
Побудували систему архівування знайдених підробок та аналітику по відправлених запитах і отриманих відповідях.
Візуалізація даних
Додали панель з графіками й звітами, що показують ключові показники ефективності моніторингу.
Ключові технічні рішення
Інструмент розроблявся під конкретне вузьке коло користувачів BackFour, а не як публічний масовий продукт.
Непублічний доступ
Інструмент розроблений для обмеженого кола користувачів компанії — без публічної реєстрації чи відкритого API.
Стійкість скрапера
Архітектура двигуна розрахована на роботу з великими обсягами даних і протидію блокуванням з боку маркетплейсів.
Автоматизація комунікації з продавцями
Шаблони запитів дозволяють масово звертатися до продавців підробок без ручного написання кожного повідомлення.
Безпека даних
Впровадили заходи захисту від зовнішніх загроз і несанкціонованого доступу до зібраної інформації.
Результат
BackFour отримала CounterAttack — інструмент, що дозволяє ефективно скраптити маркетплейси, швидко класифікувати підробки та автоматизувати взаємодію з продавцями контрафакту.
Функції Whitelisting, Blacklisting, архівування та статистики спростили управління процесом моніторингу і підвищили ефективність боротьби з підробками.
Проєкт демонструє наш досвід у створенні спеціалізованих непублічних інструментів для моніторингу та захисту брендів у цифровому просторі.
— Наші статті
