Платформа парсеров аптечных сетей

Альфа Живика

asyncio

clickhouse

docker

fastapi

python

rabbitmq

react

redis

selenium

typescript

web

Основная задача - обеспечить бизнес актуальной информацией о ценах на лекарственные средства, собирая и обновляя данные в течение суток.

Основные особенности:

  •  Платформа позволяет произвести параллельный запуск парсеров для сбора данных с нескольких веб-сайтов одновременно, и использовать множество клиентов для обработки каждого сайта. Это обеспечивает более эффективный сбор данных и повышает производительность.

  •  Решение использует ClickHouse для сбора статистики о процессе парсинга и мониторинга его работы. ClickHouse обеспечивает эффективное хранение и анализ данных, что позволяет оперативно отслеживать процесс сбора информации и принимать соответствующие меры в случае необходимости.

  •  Результаты парсинга сохраняются в PostgreSQL для дальнейшего использования.

  •  Для кеширования на платформе используется Redis.

  •  Админ-панель написана на React. Она предоставляет удобный интерфейс для мониторинга работы парсеров, с возможностью просмотра статистики сбора данных.

  •  Реализована отправка периодических уведомлений в Telegram, показывающих краткое состояние работы и сигнализирующее о проблемах или сбоях в процессе парсинга.

Каждый парсер в системе имеет одну и ту же архитектуру, но существуют три различных варианта, как разработчик может его написать, адаптируя его под конкретный сайт.

Для получения данных система применяет следующие методы:

  •  Отправка запросов на API и последующая обработка JSON-ответов.

  •  Получение данных путем запросов к HTML-страницам и извлечение необходимой информации оттуда.

  •  Использование запросов к мобильному API и обработка полученных JSON-данных. К примеру, пришли к использованию реверс-инжиниринга пропатченых мобильных приложений, включая анализ трафика через fiddler/mitmproxy, для получения необходимых данных.

Для обхода защиты CloudFlare, применяется методика имитации TLS-fingerprint.

Система является надежным и эффективным инструментом для бизнеса, дающая возможность получать современные данные о ценах на лекарственные средства и позволяющая принимать обоснованные решения о ценообразовании на основе достоверной информации.

Контакты

АДРЕС
г. Тула, ул Жуковского, д 13, оф 403
ТЕЛЕГРАМ
@officerelabs
logo