ИСИНТЕЛ

Платформа работает на рынках: Display banners, Mobile banners, Video ads, Native ads.

Используемый стек технологий: С++, Apache, Nginx, Postgree SQL, Golang, PHP, JavaScript.

Обработка больших данных полностью написана на С++. Реализованы технологии:

– библиотеки обработки входящих запросов на рекламные показы;

– параллельная запись данных в долговременное хранилище и обработка (обогащение, классификация, кластеризация);

– создан блок для использования нативных команд графических сопроцессоров для параллельной обработки данных.

В результате такого подхода была получена производительность, которая в тесте дает следующие показатели.

Расчет подсчета числа строк в файле с логами истории посещений, в котором 1 309 252 903 строк, происходит:

Конфигурация 1: несжатые данные, 56 ядер, процессор – Intel Xeon CPU E5-2660 v4 2.00GHz. Spark решает задачу 7,2 мин.

Конфигурация 2: несжатые данные, 24 ядра, процессор – Intel Xeon CPU E5-2620 v3 2.00GHz. МедиаСнайпер решает задачу 2,2 мин.

Конфигурация 3: несжатые данные, 24 ядра, процессор – Intel Xeon CPU E5-2660 v4 2.00GHz. МедиаСнайпер решает задачу 1,2 мин.