Автор: DevOps компании Hostkey Никита Зубарев Инфраструктура нашей компании поддерживается на высоких уровнях SLA, что требует от нас измерять, наблюдать и отправлять отчеты, которые фиксируют метрики производительности систем. В одной из прошлых статей мы рассмотрели варианты установки федерации Prometheus, Alertmanager и Node Exporter, но у нас также есть задача мониторинга задержки производительности наших приложений и точного выявления проблемных конечных точек. Мы отслеживали время отклика всех конечных точек, которые использовались в потоке приложения, и с помощью BlackBox Exporter обнаружили наши конечные точки, вызывающие задержку. Соответственно, перед нами возникла задача наладить мониторинг статус-кодов ответов наших web-сервисов, а также сроков действия SSL-сертификатов. Мониторинг конечных точек позволяет обнаруживать и анализировать подозрительную активность на устройствах, такую как несанкционированные попытки доступа к системе, внедрение вредоносного ПО, изменение настроек без разрешения пользователя и другие аномальные действия.  Такой мониторинг позволяет обеспечить безопасность информации, защитить конфиденциальные данные, предотвратить утечки информации и другие кибератаки. Он также помогает управлять рисками и повышать эффективность работы сети, используя данные о конечных точках для оптимизации настроек и процессов.  В целом, мониторинг конечных точек — важный инструмент информационной безопасности, который позволяет обнаруживать и предотвращать угрозы, связанные с конечными точками в сети. В контексте нашей статьи мониторинг конечных точек относится к мониторингу внутренних и внешних конечных точек (HTTP/S, DNS, TCP и ICMP) для различных параметров, включая задержки HTTP, задержки поиска DNS, информацию об истечении срока действия сертификата SSL, версию TLS. Мониторинг белого ящика (white-box testing) относится к мониторингу внутренних компонентов системы, включая журналы приложений, метрики от обработчиков. Мониторинг черного ящика, с другой стороны, включает в себя отслеживание поведения извне, которое влияет на пользователей, такое как сбои в работе сервера, снижение производительности сайта или отдельных страниц. Blackbox Exporter для Prometheus позволяет реализовать мониторинг внешних сервисов через HTTP, HTTPS, DNS, TCP, ICMP. Каким образом следить за истечением срока действия SSL-сертификата? Самый распространенный способ — blackbox_exporter в сочетании с Prometheus. Мы собрали rpm-пакет из исходников кода и с помощью Ansible доставили его на хост мониторинга, запустили через Jenkins. Общий алгоритм мониторинга представлен ниже. Собранный бинарник помещаем в /usr/local/bin/, создаем сервис и конфигурацию (с помощью Ansible): В конфигурации blackbox.yml сразу добавляем модули http_2xx, ssh, icmp: Затем подключаемся к web-интерфейсу Blackbox Exporter через web-браузер по адресу localhost:9115 При переходе по адресу http://localhost:9115/probe?module=http_2xx&target=“your_ip”.com можно увидеть результат проверки указанного URL https://“your_ip”.com: probe_ssl_earliest_cert_expiry — время до окончания действия цепочки сертификатов. Об этом автоматически сообщается для любых конечных точек SSL. Мы можем исследовать определенные статические цели из Prometheus с помощью Blackbox Exporter, используя static_configs. Static_configs позволяет определить список адресов для мониторинга, а также настроить параметры запросов и интервалы мониторинга. Эти настройки могут быть заданы в конфигурационном файле Prometheus в формате YAML.  В нашем случае метка param_target указывает Prometheus установить target для параметра запроса заданного значения, которое в данном случае является адресом цели, то есть hostkey.com. Аналогично для http: После применения изменений и развертывания ресурсов для Blackbox Exporter мы можем проверить статус целей в Prometheus: работает ли экспортер с зарегистрированными целями. Для этого необходимо перейти на вкладку «Статус» и выбрать «Цели» в пользовательском интерфейсе Prometheus. Здесь можно увидеть, что мы используем https://hostkey.com — внешнюю цель для ссылки с ее состоянием UP. Мы также можем проверить, заполняются ли метрики, выполнив поиск метрик, начинающихся с “probe_…”: Метрика probe_ssl_earliest_cert_expiry возвращает самый ранний срок действия SSL-сертификата в unixtime. В promethus.yml добавляем файл правил алерта: Согласно формуле, получим предупреждение за 10 дней до истечения сертификата. И увидим предупреждения в дашборде Alermanager: В канале Rocket.Chat мы можем получить как уведомления об истечении сертификата, так и об иных ошибках, например, уведомления о проблемах работы сайта: В приведенном выше примере панели мониторинга видно, что теперь мы можем отслеживать производительность сайта, измеряя время отклика с помощью метрик probe_http_duration_seconds, сгенерированных  Blackbox Exporter. В этом сценарии мы сосредоточимся на проблеме, связанной с истечением срока действия сертификата. Если мы хотим отслеживать, когда истечет срок действия сертификата нашего домена, мы можем добиться этого, используя метрику probe_ssl_earliest_cert_expiry, созданную экспортером для наших входных ресурсов. Мы также можем использовать его для мониторинга работы разрешения DNS или при наличии каких-либо задержек/проблем со стороны балансировщика нагрузки. Мы можем проверять модули и создавать панель мониторинга работоспособности для наших приложений. В приведенном выше примере мы видим, что мы проверяем модуль на конечной точке /health, используя метрики probe_http_status_code, сгенерированные Blackbox Exporter. Измерение времени отклика — самая важная функция Blackbox Exporter, в таких случаях его можно рассматривать как отличный инструмент для анализа задержки/доступности конечных точек, включая наши конечные точки, с которыми сталкиваются пользователи и сторонние службы. Blackbox Exporter можно использовать для обнаружения сбоев конечных точек и проверки работоспособности, его можно интегрировать с Alertmanager (мы можем добавить правила оповещения в Prometheus, чтобы получать оповещения о Blackbox Exporter). Мы всегда можем оставаться в курсе, отслеживая дату истечения срока действия сертификатов конечных точек с помощью Blackbox Exporter. В этой статье мы рассмотрели следующие моменты: Что такое Blackbox Exporter, зачем он нужен. Как установить и использовать Blackbox Exporter и отслеживать его с помощью Grafana. Каковы некоторые важные варианты использования/преимущества Blackbox Exporter. Мониторинг HTTP и SSL через Prometheus blackbox_exporter может быть полезен для различных целей и для разных типов пользователей. Владельцам сайтов и администраторам web-серверов мониторинг HTTP и SSL может помочь отслеживать доступность web-ресурсов и быстро обнаруживать любые проблемы, такие как ошибки 404, 500 и другие. Он также может помочь определить проблемы с SSL-сертификатами и другие проблемы безопасности, которые могут повлиять на пользователей. Разработчикам и инженерам, занимающимся разработкой web-приложений, мониторинг HTTP и SSL может помочь отслеживать производительность и доступность своих приложений, а также обнаруживать и устранять проблемы с кодом и инфраструктурой.