Application of multiGPU+CPU architecture for the direct numerical simulation of laminar-turbulent transition
Authors: Евстигнеев Н.М. , Рябков О.И. 
Published: August 2021

Обобщаются данные о применении различных параллельных вычислительных архитектур при численном моделировании задач ламинарно-турбулентного перехода (ЛТП). Обычно анализ ЛТП основан на рассмотрении статистических параметров: корреляций пульсаций скорости, энергетических спектров и др. Анализ ЛТП как
нелинейной динамической системы в дополнение к уже указанному анализу основан на анализе собственных значений якобиана, вида аттракторов систем в фазовом пространстве и собственных значений матрицы монодромии. В результате строятся бифуркационные сценарии и диаграммы. Это дает возможность проследить механизм усложнения для рассматриваемых задач при ЛТП при изменении выбранных параметров (чисел Рейнольдса, Маха, Фруда и др.). Рассмотрение процесса ЛТП с точки зрения нелинейных динамических систем накладывает требования точности и быстродействия используемых алгоритмов решения задач. Начиная с 2008 г. в наших работах используются GPU- и multiGPU-архитектуры совместно с CPU. За это время было рассмотрено восемь постановок задач ЛТП. Для численного моделирования применялись различные методы высокого порядка. В настоящей статье для каждого класса методов рассматриваются характерные вычислительные операции, приводятся использованные библиотеки и выполняется сравнение эффективности разработанных алгоритмов и примененных библиотек с CPU-версиями кода, а также между собой. Показано, что в среднем на один GPU по сравнению с CPU ускорение варьируется от 5 до 35 раз. В связи со сложностью алгоритмов при MPI CPU- и multiGPU-подходах ускорение редко бывает линейным и оно пропорционально степенной функции с показателем 0.78-0.81. Для multiGPU-анализа алгоритмы тестировались на пяти GPU. Обсуждаются результаты при гибридном применении CPU+multiGPU для одной из задач.

The use of various parallel computational architectures for the direct numerical simulation (DNS) of laminar-turbulent transition problems (LTTPs) is summarized. Usually, DNS results are analyzed on the basis of a set of statistical parameters:
pulsation velocities correlations, energy spectra, etc. When a dynamical system analysis approach is applied to DNS results, it is necessary to evaluate additional parameters: eigenvalues of Jacobi matrices, phase space attractors, and eigenvalues of monodromy matrices, etc. This allows one to present results as bifurcation scenarios and diagrams and bring up more details concerning LTTP scenario as functions of bifurcation parameters (e.g., Reynolds, Mach, and Froude numbers). This problem is computationally expensive and algorithms are complex. This brings up more demands on the hardware efficiency and software algorithm optimization. We are using GPU and multiGPU together with CPU architectures since 2008 for this kind of DNS. We considered eight different LTTPs since then. Various high-order methods were applied. In this paper we show typical computational operations for each class of problem. We illustrate the application of libraries and algorithms, perform efficiency benchmarking across GPUs and with CPU versions. It is shown that in general one GPU is 5 to 35 times faster than CPU. The acceleration is worse than linear and is proportional to a power function with an exponent between 0.78 and 0.81. We use five GPUs for multiGPU and show CPU+multiGPU efficiency for one of the problems under consideration.