Один из крупнейших проектов по сбору контактов — Clutch.
Если ориентироваться на данные официального каталога, на платформе сейчас более 350 000 организаций. При этом исторически их число было еще выше, а сам сервис постоянно меняет механики доступа и отображения карточек компаний — поэтому фактическая “вилка” по численности зависит от периода.
Во время интеграции и работы с данными наши разработчики упирались в ограничения со стороны сервиса: антибот-защита, блокировки на подозрительную активность и ограничение на частоту запросов. Чтобы стабилизировать сбор, мы выстроили распределенную схему работы: нагрузка распределялась между несколькими машинами, а обращения были организованы так, чтобы снизить риск блокировок и обеспечить устойчивость выгрузки.
Наша задача была широкой: интересовали как крупные клиенты (с большим объемом проектов и высокой заметностью), так и небольшие компании, где часто находятся “нишевые” подрядчики и свежие кейсы.