RU / День 2 / 17:30 / Зал 1

Комментарий Программного комитета:

Serverless — это не только про легковесный код. С этим подходом можно организовать и обработку огромных объемов данных, главное, правильно организовать архитектуру. Технические детали и реальные подходы в решении нетривиальных задач — вы можете с таким не столкнуться, но это определенно интересный опыт.

Мы рассмотрим процесс обработки озера данных с помощью облачных функций AWS Lambda на Node.js: от выбора применяемых архитектурных облачных паттернов до углубления в оптимизации лямбда-функций на Node.js. Выявим и используем сильные стороны Node.js для ускорения обработки данных. Исследуем увеличение пропускной способности с помощью масштабирования функций и используемых сервисов (стримов, очередей и баз данных), тюнинга и оптимизаций лямбда-функций на Node.js и выбора оптимальных протоколов передачи данных. Рассмотрим особенности профилирования функций, логирования и мониторинга системы в облачной инфраструктуре.

Николай Матвиенко

Сейчас Николай работает в городе Санкт-Петербург, штат Флорида. Совместно с командой разработчиков и консультантов Amazon он делает облачную вычислительную платформу для проекта по управлению цепочкой поставок изделий для одной из самых крупных компаний в США по производству электроники. Их клиентами являются все известные крупные компании, производящие самые разные продукты — от мобильных телефонов до электрокаров.

В компании имеется два озера данных. Ежедневно обрабатываются сотни гигабайт данных, которые трансформируются в сотни миллионов сообщений, каждое из которых составляет информацию по спросу каждой детали (например, touchID для телефона) для аналитики всех данных. Для этого используются разные типы баз данных, очереди, стримы. Данные для озера данных формируются с помощью PySpark и обрабатываются 7 тысячами экземпляров лямбда-функций на Node.js.