«Плохие» боты представляют на сегодняшний день одну из серьезнейших угроз для бизнеса. Вредоносный трафик ботов может привести к снижению производительности веб-сайта, искажению информацию о наличии товаров и услуг онлайн-площадок, нарушению конфиденциальности персональных данных и, как результат, к оттоку клиентов и потери прибыли.   Боты атакуют веб-сайты, мобильные приложения и API, вызывая целый ряд проблем для бизнеса, таких как захват учетных записей, DDoS-атаки на приложения, неправомерное использование API, веб-скрапинг, создание спама, искажение аналитики и фрод (мошенничество) с объявлениями.  В то же время хорошие боты способствуют росту трафика и аудитории веб-ресурсов. Они обходят страницы сайтов для определения ранжирование в поисковых системах и индексации обновлений в реальном времени, а также позволяют пользователям найти лучшую цену на товар или выявить украденный контент. Способность различать хороших и плохих ботов – приоритетная задача для современных компаний. Однако, согласно отчёту Radware по безопасности приложений – Web Application Security Report – 79% организаций не могут точно разграничить трафик полезных и вредоносных ботов.   Трафик ботов и угроза их разрушительного воздействия на бизнес стремительно увеличиваются. Это означает, что специализированные решения для защиты от бот-атак принципиально важны для непрерывности и успешности бизнеса. Ситуация еще больше осложнилась с появлением нового поколения вредоносных ботов (т.н. человекоподобные боты), которые могут имитировать поведение человека/реального пользователя и с легкостью обходить традиционные штатные системы информационной безопасности и защиты от ботов.   Разработка и поддержание штатного решения для противодействия ботам требует огромных ресурсов, включая постоянную настройку, корректировку политик безопасности и управление исключениями для снижения процента ложных срабатываний – усилия и расходы, которые могут себе позволить только очень крупные компании. Аналитические организации, такие как Forrester Research и Gartner, все больше акцентируют внимание на важности решений для защиты от ботов для бизнесов любого размера.  Какими критериями стоит руководствоваться при выборе и сравнении решений для противодействия ботам? Такая информация и тем более единое мнение на этот счёт практически отсутствуют. В данном материале представлен обзор ключевых свойств, которыми должно обладать эффективное решение для защиты веб-сайтов, мобильных приложений и API от атак ботов. Противодействие сложно организованным и автоматизированным атакам ботов требует глубокого анализа намерений злоумышленников и используемых тактик. Согласно исследованию Forrester «The Forrester New Wave™: Bot Management», основными факторами при оценке решений для защиты от ботов являются их способности обнаружения и реагирования на атаки, а также исследования и сбор данных по угрозам ботов. Инструменты для противодействия ботам сильно различаются по методам выявления угроз. Кроме того, многие из этих средств защиты обладают очень ограниченными – или отсутствующими – способностями автоматического реагирования на атаку. Инструменты защиты от ботов должны уметь определять назначение трафика ботов в реальном времени для разграничения трафика хороших и плохих ботов.   При выборе решения для отражения бот-атак и определении наиболее подходящего в каждом случае инструмента важно учитывать представленные далее критерии.   При рассмотрении решений важно сравнить набор возможных действий для реагирования в случае атаки: блокирование, ограничение трафика, возможность «переиграть» конкурента и предоставить фейковую информацию, а также настраиваемые действия с учетом сигнатур и типов ботов. Эффективное решение должно позволять применять различные подходы для различных секции и поддоменов сайта. Дополнительно, решение корпоративного класса должно обеспечивать возможность подключения популярных аналитических инструментов, таких как Adobe или Google Analytics для предоставления отчетов о трафике ботов.   При выборе решения для противодействия ботам полезно выяснить, какая технология используется в данном инструменте для определения и отражения изощренных атак с механизмами обхода средств защиты. К таким угрозам относятся крупномасштабные распределенные ботнет-атаки и «медленные маломощные» атаки (low and slow), обнаружить которые традиционными средства безопасности невозможно. Рассмотрим лишь несколько примеров: в случае атаки с использованием динамических IP-адресов бесполезно использовать средства отражение атак на основе списков IP-адресов;  настройка пределов скорости (rate-limiting) без использования механизмов поведенческого анализа означает нарушение работы реальных пользователей во время атаки. Некоторые брандмауэры или средства rate-limiting в составе сервисов сетей доставки контента (CDN) не способны выявлять атаки сложных ботов, имитирующих поведение человека/реального пользователя. С учетом наблюдающегося резкого роста трафика искусно организованных человекоподобных ботов, для их обнаружения и отражения нужны значительно более продвинутые технологии. Фокус при выборе и оценке решения для защиты от ботов должен быть на различных методологиях обнаружения ботов, например: создание цифровых отпечатков (fingerprinting) устройств и браузеров, анализ поведения и намерений, сбор данных по сигнатурам ботов (collective bot intelligence) и проведение собственных исследований угроз ботов, - а также другие фундаментальные технологии.  Насколько продвинута технология обнаружения ботов? Использует ли она методы создание цифровых отпечатков (fingerprinting) устройств и браузера? Используется ли анализ намерений (модели обнаружения атак на основе машинного обучения, которые устанавливают намерения каждого посетителя сайта и обеспечивают гораздо более высокую точность выявления атаки по сравнению с простым поведенческим анализом) в дополнение к анализу пользовательского поведения, сборy данных по ботам (collective bot intelligence), динамическим тестам Тьюринга и др.? Насколько продвинуты и эффективны модели цифровых отпечатков (fingerprinting) и пользовательского поведения? Используются ли в этих моделях накопленные данные (collective intelligence) по угрозам?  Любая система противодействия ботам должна выполнять перечисленным выше требованиям в дополнение к сбору сотни параметров браузеров и устройств пользователей для их идентификации и анализа их поведения. Она также должна быть способна обнаруживать ботов нового поколения, которые умеют искусно маскироваться под поведение живого человека. Нужно спросить производителей о примерах сложных автоматизированных атак, которые система смогла выявить и заблокировать.  Задержка в работе сайта и приложений снижает качество сервиса для пользователей. Решение для защиты от бот-атак должно не увеличивать эту задержку, а, напротив, выявлять причины и способствовать ее устранению.   Точность в обнаружении ботов имеет критически важное значение. Решение для отражения атак ботов должно не только отличать полезных от вредоносных ботов, но также способствовать повышению качества сервиса для пользователей и разрешать доступ авторизованным ботам партнеров и поисковым роботам. Поддержание стабильного качества сервисов для пользователей на таких сайтах как, например, розничные порталы e-commerce в пиковые часы, – задача непростая. Решение безопасности должно быть масштабируемо для работы в условиях всплесков трафика и пиковых нагрузок.   Не менее важно сохранять минимальный уровень ошибочных срабатываний (false positives), чтобы не нарушалась работа и качество сервисов для пользователей. Реальные пользователи никогда не должны решать тесты CAPTCHA или доказывать, что они не являются ботом. Механизм обнаружения ботов корпоративного класса должен обладать методами глубокого обучения и автоматической оптимизации. Это необходимые условия для выявления и блокировки непрерывно эволюционирующих ботов, которые постоянно меняют свои признаки для обхода средств обнаружения базовых систем защиты.   Серьезный подход к защите от ботов не ограничивается только защитой веб-сайта. Решение для противодействия ботам корпоративного класса должно обеспечивать безопасность всех онлайн-ресурсов, включая веб-сайт, мобильные приложения и API. Защита мобильных приложений и API имеет не меньшее значение. Также необходима возможность интеграции решения с партнерскими системами и важными партнерскими API.   Решение для защиты от атак ботов должно легко развертываться и работать совместно с существующей инфраструктурой с сервисами, такими как сети доставки контента и брандмауэры (CDN и WAF), а также различными технологическими стеками и серверами приложений. Предпочтительно решение, которое предлагает различные варианты интеграции, включая плагины для веб-серверов / сетей управления контентом (CDN) / систем управления сайтом (CMS), наборы средств разработки (SDK) для Java, PHP, .NET, Python, ColdFusion, Node.js и др., а также через теги JavaScript и виртуальные устройства.   Важным преимуществом является возможность интеграции по API – такое решение окажет минимальное воздействие на ваши онлайн-ресурсы.   Наконец, и в идеале, поставщик решения для отражения бот-атак должен иметь множество распределенных точек присутствия для обеспечения максимальной доступности сервисов и минимальной задержки.  Запросы страницы для популярных веб-сайтов могут исчисляться миллионами в минуту, а обработка информации для обнаружения ботов должна происходить в реальном времени. Это означает невозможность ручной подстройки решения – даже добавление подозрительных диапазонов IP-адресов бесполезно для выявления ботов, которые циркулируют между огромным числом адресов с целью обхода средств обнаружения. Кючевой вопрос, на который нужно получить ответ, - потребуется ли отдельная специализированная команда для управления инструментом защиты от ботов, или это решение способно работать автономно после первоначальной настройки?  Механизмы противодействия ботам, снабженные продвинутыми технологиями, такими как машинное обучение, помогают автоматизировать процесс управления ими и существенно сокращают время команды, требуемое на отслеживание трафика ботов и отражения бот-атак. Автоматическое реагирование на угрозы ботов, а также отсутствие необходимости ручной подстройки системы значительно снижают её совокупную стоимость владения.  Крупные организации обладают ресурсами для разработки собственного штатного решения для защиты от ботов, но у большинства компаний нет ни времени, ни ресурсов, ни денежных средств на эту задачу. Построение адаптивного и высокотехнологичного решения для защиты от бот-атак, которое способно противостоят непрерывно эволюционирующим ботам, может занять годы специализированной разработки.   С финансовой точки зрения, для минимизации капитальных издержек имеет смысл приобрести облачное решение для противодействия ботам на основе подписки. В данном варианте компании получают все преимущества защиты своих онлайн-ресурсов без необходимости инвестиций и предоплаты.  С целью соблюдения конфиденциальности данных и соблюдения законодательства решение должно гарантировать, что данные не покинут границы сети организации, кроме как в зашифрованном и хешированном формате. Решение для защиты от ботов должно соответствовать действующему законодательству – это поможет избежать утечки персональных данных, а также рисков финансовых и юридических последствий.  Как крупным, так и небольшим организациям для защиты их информационных ресурсов требуется специализированное решение противодействия ботам. Вне зависимости от размера компании, интенсивный рост трафика ботов и разрушительность последствий бот-атак означает, что решения для предотвращение таких сложных автоматизированных атак имеют критически важное значение для непрерывности и успешности бизнеса. Для борьбы с ботами нового поколения, имитирующими поведение человека, требуются продвинутые технологии машинного обучения, способные "распознать волка в овечьей шкуре".