Существует множество способов реализации REST-API. Большой популярностью пользуется Spring MVC на основе блокирующих вызовов, но все чаще попадаются проекты, использующие WebFlux на неблокирующих вызовах. Меня зовут Альберт Фатхудинов. Я Java-разработчик Технократии. В этой статье буду разбираться, какой из этих двух фреймворков работает лучше.  Дисклеймер, в котором перечислим технологии, которые применялись в эксперименте: Apache JMeter — для нагрузочного тестирования   VisualVm — для профилирования MongoDb — NoSql База данных PostgreSql — реляционная база данных Netty — серверная среда неблокирующего ввода/вывода для разработки сетевых приложений Apache Tomcat — контейнер сервлетов Spring MVC — Фреймворк, обеспечивает архитектуру паттерна MVC при помощи слабо связанных готовых компонентов Spring WebFlux — фреймворк, реализующий парадигму реактивного программирования, добавлен в Spring 5+   На этом дисклеймер закончился. Поехали! Представим абстрактного пингвина, которого зовут Шкипер. Он хочет узнать о своих последних штрафах, налогах и коммунальных платежах. Для этого он использует NotificationService. Но есть несколько проблем:   Время ответа БД PostgreSql и MongoDb — от 30 мс до 200 мс (специально занижал производительность БД неправильными индексами и большой вложенностью Json. Также добавил по 1 млн записей в каждую БД) Время ответа удаленного сервиса — 1 - 3 сек Шкипер будет ждать ответа от сервиса уведомления по самому медленному источнику т.е минимальное время ответа составить 1 - 3 сек Внутреннюю реализацию сервиса(MVC Tomcat) можно посмотреть здесь. Время ответа от сервиса входит в диапазон от 1 до 3 секунд. Такое время ответа не устраивает как пингвинов, так и нас. Нужно разобраться в чем же проблема. Без нагрузки Tomcat, который по умолчанию используется в starter-web Спринга, создаёт 10 потоков http exec. При нагрузке же он может масштабироваться до 200 потоков. В моем примере томкат масштабировался примерно до 170 потоков при единовременной нагрузке в 1000 пользователей. Нагрузочное тестирование показало, что 1000 одновременных запросов сервис обработал за 2 минуты 38 сек, количество ошибок составило 23.1 % от общего количества запросов при пропускной способности в 6.3 запроса в секунду. Модель Tomcat основана на блокирующих вызовах. Когда поток обращается к БД или удаленному сервису, он блокируется и, пока не будет получен ответ, так и будет находится в заблокированном состоянии.  Перейдем к другой реализации. Что за такой зверь WebFlux? Это микрофреймворк, который представляет полностью асинхронный и неблокирующий веб-стек, который позволяет обрабатывать большее количество одновременных запросов по сравнению с стандартным MVC. В основе WebFlux лежит Project reactor - project reactor это библиотека java 8, которая реализует модель reactive streams и предоставляет реактивные типы. По умолчанию WebFlux использует Netty. Возникает логичный вопрос: «Это все очень интересно, тут у нас и reactive streams, и реактивные типы, и еще Netty. Но что же это такое?» как раз на этот вопрос ответим чуть ниже. Это стандартный способ асинхронной обработки в потоковом стиле. В него входят следующие интерфейсы: subscriber, publisher, subscription и processor.  Принцип работы reactive streams: Subscriber подписывается на publisher(subscribe()), но общаться с publisher будет через subscription.  Subscription получает данные от publisher и отгружает их в подписчика (onNext(data)).  C помощью методов onError() и onComplete() Subscription принимает от Subscriber информацию о том, сколько данных он хочет получить от publisher через метод request(n). Старый добрый паттерн Наблюдатель, в лучшей реализации. Да! Мы преобразуем наш сервис уведомления о штрафах в реактивное приложение. Для начала представим реактивную архитектуру: Приложение состоит из 5 составляющих: HTTP Server. В нашем случае Netty, так как WebFlux по умолчанию предоставляет данный сервер. Реактивный адаптер. Интересно и зачем же здесь адаптер? Все очень просто. Netty и WebFlux не совместимы, поэтому здесь и нужен адаптер. Spring WebFlux. Контроллер. Репозиторий для коннекта с БД. И последнее, все элементы архитектуры начинают общаться с помощью реактивного типа FLUX Теперь подробнее про каждую часть. NETTY — асинхронная среда сетевых приложений, управляемая событиями. На входе у Netty в бесконечном цикле крутится поток. За счет каналов и селекторов он перенаправляет входящие запросы во входящие буферы и делегирует обработку запросов выделенному пулу асинхронных потоков. Есть очередь событий и event loop, который их обрабатывает и делегирует пулу асинхронных потоков. В то же время происходит регистрация Callback-а. Он вызывается для отгрузки данных, после завершения обработки асинхронным пулом потоков. Как же это выглядит в приложении? А вот как: Поток подписывается на определенное событие (выгрузка данных из БД), получает callback и идет работать дальше. После того, как данные будут готовы, поток вернется чтоб их забрать. Вернемся к реактивному адаптеру. Я упомянул, что Netty и WebFlux несовместимы. Вот тут и появляется Reactor IPC. Это расширение, позволяющее интегрироваться с различными платформами и системами. Когда запрос поступает на Netty, он обрабатывается ChannelOperations, затем вызывается цепочка вызовов, которая достигает Dispatcher handler, а затем запрос достигает контроллера.  Затем на основе publisher выстраивается поток, достигающий ChannelOperations. Следом в ChannelOperataions вызывается метод subscribe. Только в этот момент поток начинает свою работу. К реактивным типам относятся Mono и Flux. Они имплементируют интерфейс publisher, т.е являются источниками данных. Если нам нужно отгружать пользователю от 0 до N объектов используем FLUX Если же нужно отгружать от 0 до 1 элементов используем MONO Если мы ничего не хотим отгружать используем MONO<Void> Publisher делят на два вида HOT и COLD. Приведу аналогию: фильм, запущенный на Netflix с самого начала — это cold publisher, а стрим на twitch, в который мы ворвались на середине, — HOT. Cold publisher начинает отгружать данные, когда на него подписываются с самого начала, а Hot publisher отгружает данные тем, кто подписался с момента остановки отгрузки данных. Элемент Processor импелементирует интерфейс subscriber и publisher, используется для обработки данных Mono или Flux для того, чтобы не обрывать стрим. Теперь переведем сервис уведомления о штрафах из стандартного MVC в реактивный. Шкиперу должно понравиться. Начнем переводить наше приложение со стандартного MVC на WebFlux. Чтобы перейти на WebFlux, нам нужно поменять зависимость с web на webflux. Мы получим готовый к использованию реактивный сервис. Изменим контроллер так, чтобы он возвращал реактивный тип: И проведем нагрузочное тестирование(1000 единовременных пользователей): Без нагрузки создался один поток reactor-http-nio-1. Он работает постоянно. Под нагрузкой NETTY масштабировал количество потоков до 12. Мой ноутбук 6-ядерный, работает в 12 потоках, поэтому NETTY масштабировал на количество потоков процессора. Они также все время работают и не простаивают. Нагрузочное тестирование показало: обработали быстрее, но получили большее количество ошибок. Непорядок. «Что и требовалось доказать, еще не много и нас взорвут» — говорит Шкипер. Нужно разобраться, в чем причина такого количества ошибок. Если заблокируются все потоки в AsyncThreadPool, придется откидывать запросы, пока не освободится AsyncThreadPool.  Сперва сделаем БД реактивными. Для этого подключим реактивные драйверы на MongoDb и PostgreSql. Начнем с MongoDb. MongoDb предоставляет свою реализацию reactive streams. Чтобы ее использовать, нам нужно поменять зависимости. Теперь поменяем имплементацию репозитория и сменим ее на реактивную. Теперь наш репозиторий реактивный. Вместо List возвращаем реактивный тип Flux. Он возвращает нам от 0 до N элементов. Реактивный драйвер MongoDb использует под капотом Netty, а в прошлых версиях asynchronous socket channel. Если хотите разобраться в этом глубже, переходите по ссылке. Наступило время превратить нашу реляционная базу данных в реактивную.  Компания Pivotal релизнула spring-data-r2dbc (Декабрь 2019), что позволяет легко перейти на реактивный драйвер. Заменим зависимости: Изменения незначительные, репозиторий имплементирует r2dbc репозиторий и возвращает Flux.  Из интересных фактов: под капотом свою работу выполняет Netty. Для разбора закрепляю ссылку на r2dbc-driver. Перейдем к самому интересному — интеграции с удаленном сервисом. Вместо RestTemplate будем использовать более удобный и крутой WebClient. Client возвращает реактивный тип Mono. Теперь приступим к изменению сервиса и контроллера, так как они должны возвращать тоже реактивные типы. Операцией flatMapIterable преобразуем Mono<List<CommunalFineDTO>> → Flux<CommunalFineDTO>. Операцией Flux.merge соединяем несколько Flux в один общий Flux. Также меняем контроллер. MediaType.APPLICATION_STREAM_JSON_VALUE дает понять контроллеру, что мы будем стримить данные пользователю пачками. То есть, как будет готов объект NotificationDTO, он сразу отгрузится пользователю, не дожидаясь остальных. Как это выглядит в браузере: Теперь с пользователем общаемся с помощью событий. Каждое уведомление(NotificationDTO) и есть событие, которое нужно обработать. Пользователь не нужно ждать всего ответа. Осталось поменять application.yaml. Из нагрузочного тестирования видно, что мы смогли обработать 1000 одновременных запросов за 2:35, что быстрее MVC на 3 сек. Количество ошибок меньше на 9%. Реактивный сервис обработал большее количество запросов при меньшем количестве потоков. Заглянем в профилировщик. Не напрягая зрение видно, что, помимо потоков приложения(reactor-htp-nio), появились еще два вида потоков: reactor-tcp-nio — потоки для обслуживания r2dbc драйвера nioEventLoopGroup — потоки реактивного драйвера MongoDB Новая архитектура позволяет делать выводы, что сервис отвечает требованиям Reactive Manifesto: Responsive(отзывчивость) — с пользователем общаемся с помощью событий. Он получает все частями и работает с ними, даже если в процессе возникнет ошибка, пользователь получит часть данных. Elastic(Эластичность) — приложение использует минимальное количество потоков, они не простаивают и работают на максимум. Также применимо вертикальное масштабирование. Мощнее процессор, больше потоков. Message Driven — сервисы должны общаться с помощью событий. Реактивный сервис с помощью реактивных драйверов и WebClient общаются между собой именно так. То же и с пользователем: за счет MediaType.APPLICATION_STREAM_JSON_VALUE стримим событиями. Resilient(Устойчивость) — сервис должен адекватно реагировать на возникновение ошибок. В модернизированном приложении не делал никаких действий по устойчивости для чистоты эксперимента. Ну что, скажешь на это, Шкипер? Вопрос закрыт. Пингвины не справились с потоком штрафов, заказали судно и решили скрыться из страны. Миссия выполнена. WebFlux не про скорость обработки запроса, а про одновременное обслуживание большого количество запросов. Нужно правильно продумать архитектуру приложения, чтобы не было блокирующих соединений. Система должна отвечать требованиям Reactive Manifesto. Чтобы избавиться от блокировки бд и интеграции с медленными сервисами, используем реактивные драйверы и WebClient(R2dbc и Reactive MongoDb driver) WebFlux лучше всего использовать для большого количества одновременных запросов(Высоконагруженные системы) Если есть большое количество блокирующих соединений и малое количество одновременных запросов, лучше посмотреть в сторону стандартной реализаций MVC на tomcat ИТ-Компания