до 300  

параллельных потоков

1TB

данных в сутки

до 600  

URL в секунду

Решения

Сервис может быть использован для широкого круга задач:

Анализ контента страниц для использования в решениях для таргетированой и контекстной рекламы.

Осуществление мониторинга медийного пространства, сбор информации об упоминаниях компании/бренда/человека.

Сбор статических данных из открытых источников, таких как товарные позиции/объявления/документы для использования в автоматизированных системах.

Что мы делаем?

Краулинг (от англ. crawling - ползущий) – процедура анализа веб-страниц; общий процесс загрузки страниц, просмотра текстов и ссылок.

Облачный сервис

SaaS-модель делает использование сервиса экономически выгодным – для обеспечения высокой производительности краулинга нет необходимости приобретать и сопровождать дорогую инфраструктуру, воспитывать собственную экспертизу и поддерживать собственное решение. Экономия и эффективность достигается путем максимальной утилизации инфраструктуры сервиса всеми клиентами, что обеспечивает не только низкую стоимость, но и максимально высокую скорость работы сервиса.

Гибкая настройка

Сервис осуществляет обработку контента и выделение из него только значимой и нужной для дальнейшего использования информации, путем поддержки механизма скрапинга и создания шаблонов. Компонент краулинга поддерживает различные режимы работы: сбора данных по заданному списку url, сбор данных на регулярной основе по заданному списку источников и т.д. Поддерживает различные механизмы задания выбора источников и обмена данными с другими системами.

Эффективность

Сервис имеет возможность сбора данных с использованием различных стратегий обращения к внешним источникам для предотвращения их чрезмерной нагрузки. Имеет различные механизмы работы через прокси, подстановки различных User-Agent (сигнатур браузера), запросов к одному хосту/IP и т.п.

Как это работает?

Жизненный цикл данных.

GUI
API
WebDAV, SSH, FTP
IPhone
Классификация
Скраппинг
Обогащение
Начать пользоваться сервисом.

Есть вопросы? Напишите нам