Все любят алерты.  Конечно, гораздо лучше получить уведомление когда что-то произошло (или починилось), чем сидеть, смотреть на графики и искать аномалии.  И инструментов для для этого создано немало. Alertmanager из экосистемы Prometheus и vmalert из группы продуктов VictoriaMetrics. Уведомления zabbix и алерты в Grafana. Самописные скрипты на bash и Telegram боты, которые периодически дергают какой-то URL и говорят, если что-то не так. Много всего.    Мы, в нашей компании, тоже использовали разные решения, пока не уперлись в сложность, или, скорее, невозможность создания сложных, составных алертов. Чего нам хотелось и что в итоге сделали - под катом. TLDR: Так появился open source проект Balerter Довольно долго мы неплохо жили с алертами, настроенными в Grafana. Да, это не лучший путь. Всегда рекомендуется использовать какие-то специализированные решения, типа Alertmanager. И мы тоже не один раз смотрели в сторону переезда. А затем, потихоньку, нам захотелось большего.  Сказать, когда некий график упал/вырос на XX% и находится там уже N минут по сравнению с предыдущим периодом в M часов? Это, кажется, можно попробовать реализовать с Grafana или Alertmanager, но довольно не просто. (А может и нельзя, я сейчас и не скажу) Все становится еще сложнее, когда решение об алерте надо принять на основе данных из разных источников. Живой пример:  Проверяем данные из двух баз Clickhouse, далее сравниваем с некоторыми данными из Postgres, и принимаем решение об алерте. Сигнализировать либо отменить Подобных хотелок у нас накопилось достаточно много, чтобы мы задумались о своем решении. И тогда попробовали составить первый список требований/возможностей этого, не созданного пока, сервиса обращаться к разным источникам данных. Например, Prometheus, Clickhouse, Postgres отправлять алерты в различные каналы - telegram, slack и т.д. в процессе обдумывания стало понятно, что хочется не декларативного описания, а возможности писать скрипты запуск скриптов по расписанию легкое обновление скриптов без перезапуска сервиса возможность как-то расширять функционал без пересборки сервиса из исходных кодов Это список примерный и, скорее всего, не очень точный. Какие-то пункты видоизменялись, какие-то умирали. Все как обычно. Собственно, именно так началась история Balerter. Попробую описать коротко, что в итоге получилось и как это работает. (Да, конечно, это не финал. Много планов для развития продукта. Я просто остановлюсь на сегодняшнем дне) Вы пишите скрипт на Lua, где явно отправляете запросы (в Prometheus, Clickhouse и т.д). Получаете ответы и как-то их обрабатываете и сравниваете. После чего включаете/выключаете какой-то алерт. Balerter сам отправит уведомление в каналы, которые вы настроили (Email, telegram, slack и т.д.). Скрипт выполняется с заданной периодичностью. И… в общем-то это все) Лучше всего показать на примере: Что тут происходит: указываем, что данный скрипт должен выполняться каждые 10 секунд указываем имя скрипта (для API, для отображения в логах, для использования в тестах) подключаем модуль для вывода логов подключаем модуль для доступа к кликхаусу с именем ch1 (само подкчлючение настраивается в конфиге) отправляем запрос в кликхаус в случае ошибки - выводим сообщение в лог и выходим сравниваем результат запроса с константой (в живом примере мы могли бы это значение получать, например, из базы Postgres) включаем или выключаем алерт с ID rps-min-limit вы получите уведомление, если статус алерта изменился Пример довольно простой и понятный. Однако, разумеется, в реальной жизни скрипты могут быть довольно развесистыми и сложными. В них легко запутаться и наделать ошибок. Поэтому созрело логичное желание - иметь возможность напистать тесты для своих скриптов. И в версии v0.4.0 это появилось. Пример теста для нашего скрипта из примера выше: По шагам: указываем имя скрипта, для которого написан тест имя теста (для логов) подключаем модуль тестирования говорим, какой результат надо вернуть при определенном запросе к кликхаусу ch1 проверяем, что был вызван алерт (error) rps-min-limit с указанным сообщением проверяем, что алерт rps-min-limit не был отключен (success) Я попробую коснуться самых важных, по поему мнению, умениях Balerter. Подробно все посмотреть можно на официальном сайте https://balerter.com получать данные из clickhouse postgres mysql prometheus loki отправлять уведомления к каналы slack telegram syslog notiify (UI уведомления на вашем компьютере) email discord строить графики по вашим данным, загружать изображение в S3 совместимое хранилище и прикреплять к уведомлениям (Пример с картинками) позволяет обмениваться данными между скриптами - глобальное Key/Value хранилище писать свои библитеки на Lua и использовать их в скриптах (по-умолчанию поставляются lua-библиотеки для работы с json, csv) отправлять HTTP запросы из ваших скриптов (ну и получать ответы, разумеется) предоставляет API (пока еще не такое функциональное, как хотелось бы) экспортирует метрики в формате Prometheus Уже понятно, что пользователи и мы хотим возможность управлять запуском скриптов с помощью синтаксиса cron. Это будет сделано до версии v1.0.0 Хочется поддержать больше источников данных и каналов доставки уведомлений. Например, кому-то точно не будет хватать MongoDB. Кому-то Elastic Search. Отправлять SMS и/или делать дозвон на мобильный. Хотим уметь получать скрипты не только из файлов, но и, например, из базы данных. В конце концов хотим для проекта более удобный сайт и более хорошую документацию. Всегда кому-то чего-то не хватает) Здесь мы надеемся на запрос сообщества, чтобы правильно выстроить приоритеты. И на помощь сообщества, чтобы все реализовать  Мы используем Balerter у себя уже довольно давно. Десятки скриптов стоят на страже нашего спокойствия. Надеюсь, эта работа станет полезна кому-то еще.  И добро пожаловать с вашими Issue и PR. Developer