14 мая 2015
Командой реализованы сотни парсеров сайтов. Для защиты от спамеров онлайн-ресурсы ограничивают или осложняют доступ на считывание данных: лимитируют количество запросов за период, отслеживают IP-адреса, выдают сложную разметку и регулярно изменяют структуру сайта. Разработчики парсеров в ответ используют прокси-серверы, эвристические и адаптирующиеся алгоритмы. Проекты разработки парсеров проводятся на базе повременной оплаты.
Веб-приложение для немецкого интернет-магазина одежды. Торговые площадки содержат неоднородные данные. Применен алгоритм для автоматической сортировки товаров по категориям. По просьбе заказчика созданы функциональные блоки и панели администрирования. Использована технология кэширования для увеличения скорости обработки в максимально загруженных частях портала.
Разработка универсального агрегатора контента из сети Интернет под нужды рекламных и аналитических агентств, специализированных поисковых систем, отделов продаж. Приложение отслеживает упоминания, цитаты, собирает и обновляет цены, списки товаров и услуг. Сервис функционирует по расписанию. Собирает информацию с определенным интервалом и по шаблонам. Данные поступают через коннекторы: RSS, блог, XML, веб-страница. Агрегатор анализирует контент по настройкам правил, являющихся сложными фильтрами. Результаты выводятся списком. Возможность автоматической рассылки по электронной почте. На основе разработки построен сервис мониторинга СМИ и Интернет. В нашем подразделении продаж приложение применяется для ежедневного сбора информации о конкурсах и вывода итогов в удобном формате.
Ежедневный сбор более 20 тысяч сообщений о торгах. Систематизация базы по отраслям и регионам. Пользователям предлагаются средства поиска информации, подписка на тендеры по заданным фильтрам. Осуществляется техническое сопровождение сайта. Разрабатываются и поддерживаются парсеры для сбора тендеров из дополнительных источников. Алгоритм автомодерации названий конкурсов на основе правил редактирования заголовков. Разработано кроссплатформенное приложение Skiper для взаимодействия с порталом в режиме офлайн.
Приложение для быстрого доступа к тендерам и аукционам. Система рассчитана на одновременное обращение нескольких тысяч пользователей локальной сети и Интернета. Разработка включает следующие компоненты:
2002–2024