Все Портфолио

Harvester: Распределенная вычислительная система

Краткий обзор

Создать приложение для сбора и анализа информации о веб-сайтов и документах. Приложение должно быть частью поисковой системы Toweya для расширения внутренней базы данных индекса.

Решение

Мы разработали кросс-платформенное приложение под Windows и Linux, которое работает как служба в фоновом режиме. Оно выполняет две основные функции:

  • наполнение базы данных индекса поисковой системы информацией о веб-сайтах и документах
  • распределение вычислительных мощностей на компьютеры пользователей, снижая нагрузку на основные серверы
Технологии

Python, Big Data, Интеллектуальный анализ данных

Ссылки
https://harvester.toweya.net/