Data Visualization in Cloud Service for Scientific Computations
Authors: Balashov N.A. , Kutovskiy N.A. , Sokolov I.A. 
Published: December 2024

The saas.jinr.ru service is an attempt to simplify the usage of the JINR Multifunctional Information and Computing Complex (MICC) of the Joint Institute for Nuclear Research (JINR). It aims at providing a simple problem-oriented web-interface to help students and beginner researchers in the physics domain to abstract away the complexity of the computing infrastructure and to focus on the actual research. In this paper we show our approach to one of the problems within the scope of the project: interactive data visualization in a web-browser. When approaching this problem, we considered two major requirements to the system: first, users may not have any programming skills, so any interaction should be performed using simple visual components; second, the system must be horizontally scalable to cope with irregular user work-sessions. The paper describes how we used Bokeh and Dask for integrating our data visualization solution within the Django framework to deal with the first requirement, and the JINR cloud for service scaling. Application of cloud technologies facilitates dynamic distribution of workload across virtual machines, thus making it possible for us to control the balance between efficient hardware utilization and end-user experience. Shared in this work resulting software architecture and applied solutions, as well as some performance considerations, can be used as an example when designing other cloud-native scientific applications.

Сервис saas.jinr.ru является попыткой упростить использование Многофункционального информационно-вычислительного комплекса Объединенного института ядерных исследований. Сервис saas.jinr.ru - это попытка упростить использование Многофункционального информационно-вычислительного комплекса (МИВК) Объединенного института ядерных исследований (ОИЯИ). Его цель - предоставить простой проблемно-ориентированный веб-интерфейс, который поможет студентам и начинающим исследователям в области физики абстрагироваться от сложности вычислительной инфраструктуры и сосредоточиться на реальных исследованиях. В этой статье мы показываем наш подход к одной из задач в рамках проекта: интерактивная визуализация данных в веб-браузере. Подходя к этой проблеме, мы учли два основных требования к системе: во-первых, пользователи могут не обладать какими-либо навыками программирования, поэтому любое взаимодействие должно происходить с использованием простых визуальных компонентов; во-вторых, система должна быть масштабируемой по горизонтали, чтобы справляться с нерегулярными рабочими сессиями пользователей. В статье описывается, как были использованы Bokeh и Dask для интеграции нашего решения визуализации данных в структуру Django, чтобы удовлетворить первому требованию, и облако ОИЯИ для масштабирования сервиса. Применение облачных технологий позволяет динамически перераспределять нагрузку между виртуальными машинами, что позволяет контролировать баланс между эффективным использованием оборудования и удобством для конечных пользователей. Приведенные в этой работе итоговая архитектура программного обеспечения и прикладные решения, а также некоторые оценки производительности могут быть использованы в качестве примера при разработке других облачных научных приложений.