Тестирование — неотъемлемая составляющая разработки программного обеспечения. Независимо от того, насколько хорошо вы пишете код или насколько тщательно продуманным может быть первоначальный процесс тестирования, всегда есть вероятность, что что-то может ускользнуть. Вот почему нагрузочное тестирование так важно. Кроме коммерческих инструментов, также доступны варианты с открытым исходным кодом. В этом руководстве рассмотрим: Важность нагрузочного тестирования; Лучшие бесплатные инструменты с открытым исходным кодом для нагрузочного и стресс-тестирования; Ключевые особенности каждого из инструментов. Нагрузочное тестирование — это подсемейство тестирования производительности, которое включает одновременное взаимодействие с приложением большого количества пользователей. Это делается для того, чтобы узнать, может ли системная инфраструктура справиться с нагрузкой без ущерба для функциональности или с допустимым снижением производительности. Нагрузочное тестирование используется, чтобы определить: Является ли время отклика, возвращаемое критическими действиями в приложении, приемлемым в соответствие со спецификацией, требованиями или KPI? Правильно ли ведет себя бизнес-функционал при большой нагрузке? Рассчитана ли инфраструктура на масштабирование в условиях стресс-теста? Проведение тестирования производительности может оказать значительное влияние на степень удовлетворенности клиентов продуктом. Если производительность приложения не соответствует ожиданиям клиентов или соглашениям о гарантированном уровне обслуживания, клиенты, вполне возможно, перейдут к вашему конкуренту. И инструменты, используемые в процессе тестирования, играют здесь не последнюю роль. JMeter — пожалуй, самый популярный open-source инструмент, помогающий измерять время загрузки. Apache JMeter позиционирует себя как Java-приложение, разработанное специально для проведения нагрузочного тестирования с возможностью измерять производительность приложения и времени отклика. JMeter был создан как open-source альтернатива LoadRunner и обладает множеством сложных функций. Это Java-приложение вида «толстый клиент», которое управляется в значительной степени кликами мышки — что бывает несколько необычно, но инструмент достаточно мощный. Кроме того, в JMeter доступны все функции, необходимые для проведения нагрузочного тестирования. Преимущества Возможность проводить тестирование производительности для множества технологий с использованием ряда протоколов, таких как Java Objects, Web HTTP/HTTPS, SOAP и Rest Services, FTP, базы данных с JDBC. Хорошая IDE, которую можно использовать для записи, сборки и отладки тестов производительности. Начиная с JMeter 3.1, языком программирования по умолчанию является Groovy. Это один из самых популярных инструментов нагрузочного тестирования. Можно использовать для тестирования производительности мобильных приложений. Используя jmeter-java-dsl, можно писать тесты производительности на Java и пользоваться автодополнением IDE и встроенной документацией. В настоящее время у него более 6k звезд на GitHub. Минусы Хотя JMeter является одним из наиболее популярных инструментов нагрузочного тестирования, у него есть и слабые места. Например, JMeter может быть немного сложно масштабировать для большого распределенного теста, особенно если нужно настроить для взаимодействия друг с другом много машин. Также имеется ряд проблем с организацией больших тестов. Вот где вам может помочь инструмент с открытым исходным кодом от BlazeMeter — Taurus. Технически Taurus не относится к инструментам нагрузочного тестирования, он действует скорее как оболочка для других решений, которая скрывает сложность выполнения тестов производительности. Сила Taurus заключается в том, что он позволяет писать тесты в YAML. На самом деле вы можете описать полноценный сценарий примерно в десяти строках текста, что позволит коллегам описывать тесты в файле YAML или JSON. YAML — это человекочитабельный формат, который позволяет описать тест в простом текстовом файле. Это большой шаг вперед по сравнению с тем, как раньше приходилось использовать множество специфичных инструментов для измерения времени загрузки. Преимущества Вышеописанная особенность также должна позволить участвовать в тестах производительности большему количеству специалистов. Кроме того, поскольку тестовые примеры написаны на YAML, тесты становятся намного читабельнее, что упрощает проверку кода. Taurus гораздо эффективнее встраивает тестирование производительности в пайплайн CI/CD. Taurus предоставляет уровень абстракции поверх JMeter и некоторых других инструментов, таких как Locust, Gatling, Grinder и Selenium. В настоящее время у него 1.7k звезд на GitHub. Locust — это простой в использовании распределенный инструмент для нагрузочного тестирования, который помогает фиксировать время отклика. Итак, какие скриптовые языки он использует? Лучший — это Python. Он используется для тестирования производительности веб-сайтов и других приложений. Такие инструменты, как JMeter, основаны на архитектуре на основе потоков, которая потребляет много ресурсов. С другой стороны, Locust использует подход, основанный на событиях, который использует меньше ресурсов. Рахул Соланки (Rahul Solanki), технический руководитель BlueConch Technologies, как-то в нашем разговоре упомянул, что он сравнивал Locust с JMeter и обнаружил, что Locust отнимает примерно на 70 процентов меньше ресурсов. Если вы знакомы с термином «генераторы нагрузки», Locust использует термин «рой» — в том смысле как если бы вы насылали рой саранчи для того, чтобы нагрузить сайт (прим. переводчика: игра слов, в англ. “swarm of locusts”). Для каждого из экземпляров Locust можно определить желаемое поведение. Это также дает возможность отслеживать процесс нагрузки в веб-интерфейсе в реальном времени. Преимущества Возможность создавать тестовые сценарии с использованием Python Можно легко масштабировать количество пользователей, которых нужно эмулировать Приятный интерфейс Расширяемый Подходит для тестирования API Минусы Поскольку это относительно новый инструмент, у него гораздо меньше плагинов, чем у JMeter. В настоящее время у него 15.7k звезд на GitHub. В списке инструментов повышения производительности веб-сайта это может показаться странной комбинацией. Но эксперт по производительности Тодд ДеКапуа (Todd DeCapua) на предыдущей конференции PerfGuild рекомендовал использовать Fiddler с Watcher и BlackWidow для создания решения быстрого запуска автоматизированного тестирования производительности. Fiddler предоставляет множество возможностей, но, вероятно, лучше всего его следует описать как средство захвата сетевых пакетов. Хотя Fiddler нельзя отнести к решениям для нагрузочного тестирования, с его помощью можно отлаживать проблемы с веб-сайтом, а с помощью одного из его многочисленных расширений можно сделать еще больше. Преимущества Устранение неполадок с веб-приложением Тестирование безопасности Оценка производительности Отладка веб-трафика с большинства компьютеров и устройств Множество функций интеграции Удобен для поиска узких мест производительности Fiddler уже является довольно популярным инструментом среди разработчиков. Многие используют его для отладки, чтобы просмотреть HTTP-запросы, которые их компьютер отправляет сервису или веб-сайту. Watcher — это надстройка безопасности для Fiddler, которая позволяет быстро получить результаты тестирования на уязвимости в безопасности. BlackWidow — это веб-краулер, который дает возможность направить его на веб-адрес, а затем детализировать результаты. Эти три инструмента, работая вместе, могут помочь получить новый взгляд на приложение, а также дать результаты, которые иначе невозможно было бы получить быстро. Тодд продемонстрировал этот подход на прошлой онлайн-конференции PerfGuild. На странице nGrinder на GitHub написано, что он был разработан как решение для повышения производительности на уровне предприятия. Он был разработан, чтобы упростить процесс стресс-тестирования и предоставить тестировщикам платформу, позволяющую создавать, выполнять и отслеживать тесты. Преимущества Можно писать свои тесты, используя Jython или Groovy, чтобы создать тестовые сценарии и создать нагрузку на JVM с помощью нескольких агентов. Он может расширять тесты с помощью клиентских библиотек, таких как jar и py. Позволяет отслеживать состояние генерации нагрузки агентов производительности. Заботится об автоматическом сборе результатов тестов с распределенных агентов после тестов В настоящее время у него 1.3k звезд на GitHub. The Grinder — это фреймворк на основе Java. Он предоставляет простые в создании и использовании распределенные решения для тестирования, использующие множество машин-генераторов нагрузки для регистрации времени отклика конечных пользователей, что позволяет не беспокоиться о каких-либо ограничениях виртуальных пользователей. Преимущества Можно выполнять нагрузочное тестирование в любой системе с Java API Хорошая консоль с графическим интерфейсом Автоматически обрабатывает управление клиентскими подключениями и файлами cookie Gatling — это инструмент для стресс-тестирования, разработанный на Scala, Akka и Netty. Этот современный подход к архитектуре позволяет тестировать и измерять комплексную эффективность приложения и легко масштабировать сквозную производительность виртуальных пользователей, а также с легкостью масштабировать виртуальных пользователей. Преимущества: У него простой, но мощный DSL Его легко расширить Если вы знакомы со Scala, то это лучший инструмент для нагрузочного тестирования. Есть инструмент для записи сценариев. Позволяет использовать стратегию shift left в тестировании производительности. В настоящее время у него 5.1k звезд на GitHub. Чтобы узнать больше о Gatling, ознакомьтесь с докладом основателя Gatling Стефана Ланделла (Stephane Landelle) PerfGuildsession. k6 — это open-source инструмент нагрузочного тестирования для проверки производительности серверной инфраструктуры. k6 подходит для использования, когда нужно начать включать тестирование производительности в пайплайны непрерывной интеграции. k6 создан с использованием Go и JavaScript и хорошо интегрируется в рабочий процесс. Преимущества Простой и понятный api для сценариев Обеспечивает распределенное и облачное исполнение Отличная возможность оркестрации REST API В настоящее время у него 11.7k звезд на GitHub. Tsung — это многопротокольный инструмент распределенного нагрузочного тестирования с открытым исходным кодом. Преимущества: Может контролировать CPU, память и сетевой трафик клиента Имеет HTTP-рекордер Включает HTML-отчеты и графики Имеет поддержку таких протоколов, как HTTP, XMPP, LDAP и т. д. В настоящее время у него 2.1k звезд на GitHub. Siege — это утилита командной строки для нагрузочного тестирования и измерения скорости работы для http. Он был разработан, чтобы помочь разработчикам измерять производительность работы своего кода. Преимущества Поддерживает базовую аутентификацию, файлы cookie, протоколы HTTP, HTTPS и FTP. Позволяет пользователям подключаться к серверу с настраиваемым количеством имитируемых клиентов. Эти клиенты ставят сервер «в осаду» (прим переводчика: игра слов от англ. “under siege”). Отлично подходит в качестве простого инструмента «грубой силы» для тестирования производительности. В настоящее время у него 4k звезд на GitHub. Созданный командой разработчиков чикагского медиа Chicago Tribune, это, вероятно, один из самых крутых инструментов тестирования производительности в этом списке. Bees with Machine Guns описывает себя как утилиту для вооружения (создания) множества пчел (микроэкземпляров Amazon EC2) для атаки (нагрузочного теста) целей (веб-приложений). Этот инструмент нагрузочного или объемного тестирования может помочь быстро протестировать сайт под нагрузкой, чтобы проверить его способность справляться с высоким трафиком. В настоящее время у него 6k звезд на GitHub. LoadRunner, как правило, является одним из наиболее распространенных инструментов нагрузочного тестирования, но многие из этих open-source инструментов могут предоставить большую часть необходимой функциональности. Кроме того, большинство протоколов этих инструментов можно использовать для тестирования производительности как веб-приложений, так и веб-сервисов. Fortio — классная библиотека для нагрузочного тестирования, инструмент командной строки, продвинутый эхо-сервер и веб-интерфейс на go (golang). Этот инструмент позволяет указать заданную загрузку в запросах в секунду и записывать гистограммы задержки и другую полезную статистику. Плюсы Быстрый Небольшой размер (Docker-образ 3 МБ, минимум зависимостей) Многократно используемый Встраиваемая библиотека go Может записывать гистограммы задержки и другую ценную статистику. В настоящее время у него 1.8k звезд на GitHub. В большинстве современных приложений, использующих тяжеловесные интерфейсы на JavaScript, потребность в измерении производительности на стороне клиента как никогда высока. Не игнорируйте производительность интерфейса. Можно использовать Puppeteer WebPerf для сбора статистики веб-производительности, такой как трассировка загрузки страницы, получение трассировки инструментов разработчика со снимками экрана, получение показателей производительности во время выполнения и многое другое. Чтобы узнать об этом больше, ознакомьтесь с моим полным руководством по тестированию производительности фронтенда. В настоящее время у Puppeteer WebPerf 1.4k звезд на GitHub. Хотите проверить реальную загрузку браузера? The Flood создал это open-source решение, чтобы дать возможность имитировать поведение пользователей с помощью нагрузочного тестирования с настоящим браузером.  Element — это Playwright с открытым исходным кодом, который использует инструмент нагрузочного тестирования на основе браузера. Тестовые сценарии создаются с помощью Typescript. Плюсы Можно использовать его для проверки  веб-приложения с включением таких же действий, какие совершают пользователи, когда открывают браузер и взаимодействуют с элементами страниц. Такой подход может помочь найти проблемы с производительностью, с которыми сталкиваются пользователи. Он написан как сценарий для функционального тестирования, но с помощью Flood можно быстро запускать сценарии нагрузочного тестирования на любом количестве узлов в облаке. Это один из немногих open-source инструментов, который позволяет проводить тестирование производительности с использованием реальных браузеров, чтобы более точно имитировать взаимодействие реальных пользователей с приложением. Читайте об этом в моей статье «Тестирование производительности на уровне браузера с использованием Element». В настоящее время у него 204 звезды на GitHub. Artillery.io — это open-source приложение для создания нагрузочных тестов, премиум-версия которого предлагает возможность имитации нагрузки от тысяч пользователей. задержка запросы в секунду параллелизм фиксация среднего времени отклика и пропускная способность. Преимущества: Позволяет создавать пиковые нагрузки для бэкенда для проверки стабильности и надежности. Имеет возможность добавлять собственную логику, публиковать и предварительно тестировать сценарии с использованием JavaScript, который может добавить в свою очередь широкий спектр модулей NPM. Поддерживает несколько протоколов, включая HTTP, Web Socket, Socket.IO, Kinesis и HLS. Всех желающих приглашаем на открытое занятие «Стенды для нагрузочного тестирования». На этом вебинаре обсудим, какие стенды можно использовать для нагрузочного тестирования и их особенности. Регистрация открыта по ссылке. Переводчик, редактор