Способ обнаружения мошеннического письма, относящегося к категории внутренних ВЕС-атак
METHOD OF DETECTING FRAUDULENT LETTER RELATING TO CATEGORY OF INTERNAL BEC ATTACKS

Область техники
Настоящее изобретение в целом относится к средствам компьютерной безопасности и, в частности, к средствам автоматического создания эвристических правил для обнаружения мошеннических электронных писем, относящихся к категории BEC-атак, и к средствам автоматического обнаружения указанных мошеннических электронных писем.
Уровень техники
Злоумышленники (киберпреступники, мошенники) постоянно ищут новые методы атак на организации. В последнее время они все чаще прибегают к методу атаки типа Business Email Compromise (далее BEC-атака). Такие атаки характеризуются тем, что так или иначе они связаны с компрометацией корпоративной переписки (обмена сообщениями) с использованием почтовых ящиков и электронных адресов компании. Их суть сводится к компрометации деловой переписки в целях финансового мошенничества, добычи конфиденциальной информации или подрыва репутации организации.
Под BEC-атакой подразумевают целевую атаку на организацию, в которой злоумышленники пытаются действовать следующим образом:
а) начинают новую переписку с сотрудником организации или используют уже существующую;
б) завоевывают доверие сотрудника;
в) убеждают сотрудника выполнить действия, идущие во вред интересам организации или ее клиентов.
Внутренние BEC-атаки отличается от прочих вариантов атак тем, что мошеннические письма рассылаются с легитимных адресов электронной почты внутри самой организации. То есть сначала злоумышленник тем или иным образом получает доступ к почтовому ящику сотрудника организации. Таким образом, такие технологии защиты от мошеннических атак, как механизмы e-mail-аутентификации, а именно: Domain Keys Identified Mail, Sender Policy Framework и Domain-based Message Authentication, Reporting and Conformance — не позволяют выявить такую мошенническую атаку. Кроме того, стандартные автоматические анти-фишинг и анти-спам технологии, нацеленные на поиск несоответствий в технических заголовках электронных писем или на выявление измененного написания электронных адресов, также не выявляют мошенническую атаку, так как электронное письмо поступает от правомерного адреса электронной почты, в частности, с адреса электронной почты, находящегося в том же домене.
Чаще всего в электронном письме, относящемуся к категории внутренних ВЕС-атак, содержится просьба перевести деньги клиенту (поставщику, подрядчику, налоговой) или же переслать какую-то конфиденциальную информацию. При этом текст такого письма наполняется дополнительной информацией, которая содержит различные уловки социальной инженерии и направлена на уменьшение бдительности сотрудника. Например, злоумышленники указывают на срочность - «если мы не оплатим счет сегодня, придется платить неустойку!!!», угрожают - «я просил провести платеж еще в прошлом месяце, чем вы там заняты, вам работа надоела?», имитируют приказной тон, не допускающий промедлений, или пользуются еще какой-либо из множества других уловок. В сочетании с правомерным адресом электронной почты содержание такого письма является убедительным.
Кроме того, злоумышленники могут использовать во внутренних BEC-атаках письма со ссылками на поддельный сайт, адрес которого отличается от адреса атакуемой организации (или другой заведомо доверенной страницы) одной или двумя буквами, которые легко не заметить. Например, в адресе может быть указана заглавная латинская «i» вместо строчной «L». На таком сайте может быть размещена платежная форма или, например, анкета для получения какой-то конфиденциальной информации.
В качестве примера атаки при помощи письма, относящегося к внутренней ВЕС-атаке, представим такую ситуацию. С электронного адреса руководителя сотруднику приходит письмо с текстом следующего содержания: «Мы решили послать тебя на конференцию, срочно оплати участие с нашего счета, пока остались льготные места». И далее по тексту электронная ссылка на самое престижное мероприятие в отрасли данной организации. С большой долей вероятности, такая атака будет успешной, так как сотрудник не станет внимательно изучать присланную электронную ссылку в письме, содержащем корректный адрес руководителя и его авто-подпись.
Поэтому существует потребность в создании технического решения, позволяющего обеспечить обнаружение мошеннического письма, относящегося к категории внутренних BEC-атак.
Настоящее изобретение позволяет решить указанную техническую задачу путем создания эвристических правил, позволяющих произвести проверку писем на наличие мошеннического письма, относящегося к категории внутренних BEC-атак, и последующего применения созданного эвристического правила на стороне клиента электронного почтового ящика.
Раскрытие сущности изобретения
Настоящее изобретение относится к решениям, направленным на развитие современных систем и способов, связанных с компьютерной безопасностью, а именно, к средствам создания механизма обнаружения мошенничества в сообщениях, выраженных в цифровой форме и относящихся к внутренним электронным письмам. Под внутренними понимается, что письмо было отправлено с почтового ящика, находящегося в одном домене с почтовым ящиком получателя, или который является доверенным ящиком. Указанный механизм состоит по крайней мере из одного эвристического правила для обнаружения мошеннических писем, которые относятся к категории внутренних BEC-атак.
Другими словами, заявленное изобретение позволяет выявить мошенническую атаку с помощью указанного письма на личную или корпоративную информацию при помощи скомпрометированного корпоративного почтового ящика. Входящие письма от сотрудников одной организации анализируются при помощи по крайней мере одно созданного указанного эвристического правила для выявления в сообщении информации, указывающей на финансовую угрозу или вероятность потери конфиденциальных данных. При выявлении указанной информации письма блокируются. Указанные эвристические правила создаются на основании текстовых моделей, за создание которых отвечает ансамбль (набор) классификаторов, включающих модели машинного обучения.
В рамках реализации настоящего изобретения представлено также решение, направленное на создание указанных эвристических правил. Создание эвристического правила основано на анализе потока спам-писем при помощи указанного ансамбля классификаторов, включающих модели машинного обучения. Благодаря комбинации по крайней мере двух классификаторов производится автоматическое извлечение определенных текстовых сообщений из писем, в том числе из спам-писем, и формирование из извлеченных частей текстовых сообщений определенной совокупности терминов для обнаружения мошеннических сообщений.
В одном из вариантов реализации одним классификатором является предварительно обученный для задачи классификации текста писем классификатор, содержащий языковую модель, которая основана на архитектуре Average-Stochastic Gradient Descent Weight-Dropped LSTM (AWD-LSTM), т.е. рекуррентную нейронную сеть. Указанный классификатор позволяет из потока спам-писем отфильтровать спам-письма по содержанию сообщений спам-писем. Вторым классификатором является классификатор, содержащий логистическую регрессию (англ. logit model) с L1 регуляризатором (далее - логит-модель). Указанный классификатор анализирует текст в отфильтрованных спам-письмах и извлекает наиболее релевантные термины. При этом предварительное обучение логит-модели осуществляется на n-граммах из текстов, полученных в результате первичной фильтрации писем. N-граммы формируются из частей текстовых сообщений.
При дальнейшем комбинировании и взвешивании сочетаний таких терминов создают эвристические правила для обнаружения среди входящего потока писем на почтовый ящик пользователя писем, являющихся мошенническими и относящихся к категории внутренних BEC-атак. При этом указанные эвристические правила содержат дополнительное условие, содержащее признаки, позволяющие отделить внутренние письма от остальных. Примером такого условия является проверка домена отправителя в получаемых письмах на схожесть с доменом получателя.
Обнаружение писем, относящихся к категории внутренних BEC-атак, осуществляется путем анализа содержимого сообщения в теле письма с помощью созданных эвристических правил. Эвристические правила позволяют обнаружить определенную совокупность терминов в тексте письма, которая указывает на внутреннюю BEC-атаку. В одном из вариантов реализации изобретения совокупность терминов представляют в виде n-грамм. Эвристическое правило включает определенную взвешенную комбинацию по крайней мере одной категории терминов, выраженных в виде n-грамм и позволяющих определить мошенническое сообщение и отнести его к категории внутренних ВЕС-атак. Такое эвристическое правило позволяет улучшить качество обнаружения мошеннических писем, относящихся к категории ВЕС-атак.
Реализация заявленного изобретения осуществляется при помощи любого современного вычислительного цифрового устройства. Примерами такого устройства являются сервер, в том числе почтовый сервер, персональный компьютер, ноутбук и мобильное устройство, такое как планшетный компьютер и смартфон. В предпочтительном варианте реализации применение заявленного изобретения осуществляется на внутреннем почтовом сервере организации или непосредственно на почтовом клиенте компьютера пользователя.
Один технический результат настоящего изобретения заключается в повышении уровня обнаружения мошеннических писем, относящиеся к категории внутренних ВЕС-атак, за счет анализа сообщения в теле письма с помощью созданных эвристических правил, направленных на выявление указанной категории писем.
Второй технический результат настоящего изобретения заключается в расширении арсенала технических средств для поиска и обнаружения писем, относящиеся к категории ВЕС-атак.
В качестве одного варианта исполнения настоящего изобретения предлагается способ обнаружения мошеннического письма, относящегося к категории внутренних ВЕС-атак, при этом способ включает этапы, на которых: определяют полученное письмо как внутреннее письмо на основании заголовка письма при помощи эвристического правила; извлекают из внутреннего письма текст сообщения письма; проводят анализ извлеченного текста при помощи эвристических правил для выявления частей текстовых сообщений (терминов), соответствующих условиям, указывающим на мошенничество; в случае совпадения по крайней мере одного эвристического правила определяют полученное письмо как мошенническое письмо, относящиеся к категории внутренних ВЕС-атак.
В другом варианте исполнения способа дополнительно при определении письма как мошеннического, блокируют указанное письмо и перемещают в карантин.
В другом варианте исполнения способа дополнительно инициируют антивирусную проверку как на компьютере пользователя, получившего письмо, так и на компьютере пользователя, отправившего указанное письмо.
В еще одном варианте исполнения способа дополнительно инициируют запуск анализа инцидентов для обнаружения возможной атаки на внутреннюю сеть, по которой было передано письмо.
В другом варианте исполнения способа определяют письмо как внутреннее, если в письме отправитель и получатель по крайней мере относятся к одному домену или один из технических заголовков соответствует внутренней пересылке письма.
В еще одном варианте исполнения способа эвристическое правило, относящиеся к категории внутренних ВЕС-атак, содержит условие, позволяющее определить письмо, как относящиеся к внутреннему письму, и условия, позволяющие выявить в тексте письма признаки, относящиеся к мошенничеству.
Краткое описание чертежей
Дополнительные цели, признаки и преимущества настоящего изобретения будут очевидными из прочтения последующего описания осуществления изобретения со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1 иллюстрирует пример структурной схемы системы создания эвристических правил для обнаружения мошеннических писем, относящихся к категории внутренних ВЕС-атак.
На Фиг. 2 представлена блок-схема, иллюстрирующая способ создания эвристических правил для обнаружения мошеннических писем, относящихся к категории внутренних ВЕС-атак.
Фиг. 3 иллюстрирует пример структурной схемы системы, предназначенной для обнаружения мошеннических писем, относящихся к категории внутренних ВЕС-атак.
На Фиг. 4 представлена блок-схема, иллюстрирующая способ обнаружения мошеннических писем, относящихся к категории внутренних ВЕС-атак.
Фиг. 5 иллюстрирует пример компьютерной системы общего назначения, с помощью которой может быть реализовано заявленное изобретение.
Хотя изобретение может иметь различные модификации и альтернативные формы, характерные признаки, показанные в качестве примера на чертежах, будут описаны подробно. Следует понимать, однако, что цель описания заключается не в ограничении изобретения конкретным его воплощением. Наоборот, целью описания является охват всех изменений, модификаций, входящих в рамки данного изобретения, как это определено в приложенной формуле.
Описание вариантов осуществления изобретения
Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Приведенное описание предназначено для помощи специалисту в области техники для исчерпывающего понимания изобретения, которое определяется только в объеме приложенной формулы.
В некоторых воплощениях указанное изобретение является автоматизированной адаптивной системой, которая может защитить пользователей от мошенничества, а именно от мошенничества, совершаемого при помощи электронных писем, в частности, относящихся к категории внутренних ВЕС-атак. Под внутренними ВЕС-атаками подразумеваются действия, направленные на компрометацию деловой переписки с целью финансового мошенничества, добычи конфиденциальной информации или подрыва репутации организации, при этом действия осуществляются с правомерного адреса электронной почты. Такой адрес может являться доверенным, например, находиться в одном домене с почтовым ящиком получателя. Например, адрес электронной почты отправителя принадлежит сотруднику той же организации, в которой работает получатель такого письма.
Далее при описании используются такие понятия, как электронное письмо, сообщение, адрес электронной почты, почтовый ящик или клиент и тому подобные. Различные технологии и протоколы, направленные на использование указанных понятий, могут использоваться в сочетании с описанными здесь решениями, при этом адаптированными соответствующим образом.
Электронное письмо (далее также - письмо) имеет определенную структуру. Структура письма состоит из двух частей: заголовка (от англ. header) и тела (от англ. body) письма. Заголовок в свою очередь содержит ряд полей (от англ. field), предназначенных для заполнения, при этом каждое поле определяется своим именем (заголовок поля) и значением. Под значением поля понимается какой-то вид информации. Тело же содержит сообщение, направленное для пользователя. Сообщение, как правило, содержит текстовую информацию на различных языках, а также может дополняться ссылками (URL) на сторонние ресурсы и/или файлами, содержащими вредоносный код.
Также в рамках описания настоящего изобретения под "спамом" понимается нежелательное письмо (спам-письмо). Как правило, спам-письмо рассылается в массовом порядке. Под "мошенничеством" понимается нежелательное и потенциально опасное письмо (мошенническое письмо). При этом спам-письма могут включать и мошеннические письма. В некоторых случаях может быть сложно определить, является ли письмо спамом или мошенничеством. Описанное здесь изобретение предназначено в первую очередь для блокирования мошенничества, при этом в некоторых случаях может блокировать и спам.
В рамках реализации настоящего изобретения далее представлены решения, направленные как на создание эвристических правил для обнаружения мошеннических писем, в том числе и относящихся к категории внутренних BEC-атак, так и непосредственно для обнаружения указанных писем на почтовом клиенте, например, установленном на компьютере пользователя.
Создание указанных эвристических правил основано на анализе потока писем, в частности, спам-писем и мошеннических писем, при помощи ансамбля классификаторов, содержащих модели машинного обучения. Благодаря комбинации по крайней мере двух классификаторов производится автоматическое извлечение определенных частей текстовых сообщений из указанных писем и формирование из этих частей терминов (фраз) для обнаружения мошеннических писем. Под термином понимается как одно слово, выделенное в текстовых сообщениях, так и определенная последовательность слов, т.е. фраза.
В одном из вариантов реализации первым классификатором является предварительно обученный для задачи классификации текста писем классификатор, содержащий языковую модель, которая основана на архитектуре Average-Stochastic Gradient Descent Weight-Dropped LSTM (сокр. AWD-LSTM), т.е. рекуррентную нейронную сеть. Указанный классификатор позволяет из потока писем отфильтровать письма по содержанию сообщений писем и выделить из текста сообщения определенные части – термины. В одном из вариантов изобретения выделенные термины в дальнейшем представляются в виде n-грамм. Вторым классификатором является классификатор, содержащий логистическую регрессию (англ. logit model) с L1 регуляризатором (далее - логит-модель). Указанный классификатор анализирует текст в отфильтрованных письмах и на основании выделенных терминов (фраз) отбирает наиболее релевантные для мошеннических писем термины (фразы), которые далее объединяет в категории путем анализа сформированных n-грамм. При этом предварительное обучение логит-модели осуществляется на этих же n-граммах из текстов, полученных в результате первичной фильтрации писем при помощи первого классификатора. При дальнейшем комбинировании сочетаний отобранных терминов (фраз) в категориях создаются эвристические правила.
Таким образом, эвристическое правило – набор условий, при выполнении которого определяют полученное письмо как мошенническое письмо, в частности, относящиеся к категории внутренних ВЕС-атак, с определенной долей вероятности, при этом производится анализ текста из сообщения письма. В качестве по крайней мере одного из условий используется определенная комбинация по крайней мере из одной категории терминов (совокупности слов) или n-граммы, построенные на основании упомянутых терминов.
В еще одном варианте реализации для определения мошеннических писем, относящихся к категории внутренних BEC-атак, указанное эвристическое правило содержит дополнительное условие, на основании которого производится анализ входящего письма для определения того, является ли адрес внутренним, т.е. доверенным. Такой анализ заключается в сравнении доменов отправителя и получателя письма или определении того, является ли адрес отправителя доверенным.
В другом варианте реализации указанное дополнительное условие реализуется отдельно от эвристического правила. В этом случае анализ полученного письма с помощью указанных эвристических правил производится только после выполнения дополнительного условия.
Обнаружение мошеннических писем, относящихся к категории внутренних ВЕС-атак, производится, как правило, до предоставления писем пользователю к просмотру. Обнаружение указанных писем осуществляется путем анализа содержимого сообщения в теле письма с помощью созданных эвристических правил. Как упоминалось выше, эвристические правила позволяют обнаружить определенную совокупность терминов (фраз) в тексте сообщения письма, которая указывает на мошеннические действия. Такие эвристические правила позволяют улучшить качество обнаружения мошеннических писем, относящихся к категории внутренних ВЕС-атак.
Реализация представленных решений заявленного изобретения осуществляется при помощи любого современного вычислительного цифрового устройства, например, представленного на Фиг. 5. Примерами такого устройства являются сервер, в том числе почтовый сервер, персональный компьютер, ноутбук и мобильное устройство, такое как планшетный компьютер и смартфон. В предпочтительном варианте применения заявленного изобретения одно решение (обнаружение мошеннических писем) осуществляется на внутреннем почтовом сервере предприятия или непосредственно на почтовом клиенте, установленном на компьютере пользователя, а другое решение (создание эвристических правил для обнаружения мошеннических писем) осуществляется на стороннем устройстве, например, сервере.
Далее представлены примеры реализации заявленного изобретения.
На Фиг. 1 представлен пример структурной схемы системы формирования эвристических правил для обнаружения мошеннических писем 100, в том числе относящихся к категории внутренних ВЕС-атак. Система 100 содержит по крайней мере средство обработки писем 110, ансамбль классификаторов 115, включающий по крайней мере два классификатора 120 и 130, средство предоставления условий определения внутренних писем 140 и средство создания эвристических правил 150. Система 100 формирует эвристические правила на основании обработки и анализа потока писем 160, получаемых от устройства-ловушки для сбора и хранения писем (далее – устройство-ловушка) 170, в том числе и мошеннических писем.
Устройство-ловушка 170 в одном из вариантов реализации представляет собой «облачный» сервер, который производит сбор спам-писем, включающих в том числе и мошеннические письма. Такой сервер в одном из вариантов реализации обладает почтовым ящиком для перехвата указанных писем, при этом почтовый ящик относится к несуществующим или закрытым организациям. Так, устройство-ловушка 170 собирает миллионы спам-писем каждый день. Устройство-ловушка 170 предоставляет собранные спам-письма в виде потока писем 160 средству обработки писем 110 для первичного анализа спам-писем и определения писем, содержащих в себе признаки мошенничества. В одном из вариантов реализации предоставление потока писем 160 средству 110 осуществляется через другой «облачный» сервер, которым может являться система Kaspersky Security Network (KSN). В еще одном частном варианте реализации устройство-ловушка 170 предоставляет собранные спам-письма в виде потока писем 160 непосредственно ансамблю классификаторов 115.
В одном из вариантов реализации письма для анализа также автоматически поступают и от устройств 180А, 180Б…180N пользователей, которые дали согласие на это, или же сами передают письма для анализа. Указанные устройства могут являться как частью одной группы (предприятия, компании), так и разных. Передача писем с устройств 180А, 180Б …180N осуществляется с помощью почтовых клиентов, установленных на указанных устройствах, или почтовых серверов, связанных с указанными устройствами. Стоит отметить, что письма, передаваемые пользователями или передающиеся с согласия пользователей, могут предварительно фильтроваться. Во время фильтрации, например, производится обезличивание писем путем удаления заголовка письма и удаления части информации из текста письма, которая не требуется для последующего анализа.
Средство обработки писем 110 получает указанный поток писем 160 и производит отбор писем, содержащих в сообщении письма признаки, указывающие на мошенничество. Примерами таких признаков являются сведения, направленные на кражу денежных средств или конфиденциальной информации. Так, сведения могут содержать информацию, связанную с просьбой об оплате счета или просьбой предоставить личные данные или данные компании, которые нельзя получить с общедоступных ресурсов. Также сведения могут содержать URL (от англ. Uniform Resource Locator) адрес на сторонний ресурс (например, фишинговый сайт), архив с вредоносным кодом. Кроме того, текст писем может включать дополнительную информацию, которая содержит различные уловки социальной инженерии и направлена на уменьшение бдительности пользователя. Например, такая дополнительная информация:
• указывает на срочность выполнения требования, указанного в письме,
• содержит указания на штрафы и другие угрозы,
• связана с каким-то провалом, например, невыполнением раннего требования,
• имитируют приказной тон, не допускающий промедлений,
• содержит другую информацию с иными уловками.
При этом такие сведения указывают на их принадлежность к мошенничеству, так как эти сведения были выявлены из спам-писем.
Производимый отбор средством 110 является первичным, во время которого анализируются сообщения в текстах спам-писем для выявления писем, содержащих указанные признаки. После отбора средство 110 передает письма, содержащие указанные признаки, ансамблю классификаторов 115.
Стоит отметить, что средство 110 может быть реализовано как часть указанной системы 100, так и быть частью устройства-ловушки 170. В случае, когда средство 110 являются частью устройства-ловушки 170, в систему 100 предоставляется поток писем 160, который содержит только письма, содержащие признаки, указывающие на мошенничество.
Ансамбль классификаторов 115 получает указанные письма, которые подаются на вход первого классификатора 120.
Классификатор 120 предназначен для фильтрации полученных от средства 110 писем по содержанию сообщений в письмах с целью выделения определенных частей текстовых сообщений (терминов). Под термином понимается как одно слово, так и некое словосочетание (фраза), например, последовательность по крайней мере из двух слов. Примерами терминов являются: «счет на оплату», «счет», «ты должен», «оплатить счет», «заполнить данные компании», «отправь на почту» и так далее. Также классификатор 120 предназначен для преобразования выделенных терминов в определенный вид для последующего анализа, например, в n-граммы.
В одном из вариантов реализации в качестве классификатора 120 используется предварительно обученный для задачи классификации текста писем классификатор, включающий первую рекуррентную нейронную сеть. Рекуррентная нейронная сеть представляет собой языковую модель, которая основана на архитектуре AWD-LSTM. Предварительное обучение классификатора 120 заключается в его первичном обучении для понимания слов определенного языка и последующем дополнительном обучении на данных (письмах) из устройства-ловушки 170 для добавления дополнительных слов, которые специфичны для спам-писем, в том числе мошеннических писем, а также для адаптации классификатора 120 под стилистику указанных спам-писем.
Первичное обучение языковой модели AWD-LSTM классификатора 120 осуществляется на большом количестве текстов, полученных из открытых источников на определенном языке, например, из такого источника, как Википедия. Может быть использован любой язык обучения, зависящий от языка анализируемых писем. Кроме того, может быть использована и комбинация из двух и более языков. Например, английский и русский, китайский и немецкий, испанский и японский языки. После первичного обучения языковая модель AWD-LSTM классификатора 120 умеет распознавать/определять структуру изученных языков.
Дополнительное обучение языковой модели AWD-LSTM классификатора 120 осуществляется путем изменения последнего выходного слоя в указанной языковой модели и его обучении. Стоит отметить, что под изменением последнего слоя понимается изменение весовых коэффициентов связей между нейронами слоя. Так, в указанной модели сначала осуществляется замена последнего слоя, который после первичного обучения позволял определить с определенной математической оценкой вероятности следующие слова в сообщении из анализируемого текста, на слой, который позволяет определить, относится ли сообщение в тексте письма к мошенничеству, в частности, к категории ВЕС-атак или к категории не ВЕС-атак. Далее классификатор 120 дополнительно обучает (дообучает) языковую модель AWD-LSTM с замененным слоем на данных, например, на части писем, полученных от средства 110, с целью создания возможности определять с определенной вероятностью, относится ли выделенная совокупность терминов к категории ВЕС-атак или нет. В одном из вариантов реализации указанными данными для дообучения являются письма, полученные непосредственно от устройства-ловушки 170. Принцип дополнительного обучения представлен в статье «Universal Language Model Fine-tuning for Text Classification» (https://arxiv.org/pdf/1801.06146.pdf).
Стоит отметить, что дообучение языковой модели AWD-LSTM с измененным последним слоем происходит аналогично следующему примеру обучения человека английскому языку.
Сначала человек читает много книг на английском языке и постепенно учит его, потом ему показывают фразу «Roses are red» и предлагают выбрать из примеров ниже похожую:
- «Violets are blue»,
- «Work is over»,
- «Green Card».
Так как человек понимает, что речь идет о цветах и цвете, он выбирает первый вариант. Указанная языковая модель AWD-LSTM производит обучение последнего слоя подобным образом, только в качестве примеров слов и фраз используются фразы и слова (термины) из мошеннических писем.
В зависимости от реализации изобретения дообучение языковой модели AWD-LSTM классификатора 120 может быть произведено как заранее, так и во время формирования эвристических правил перед фильтрацией по содержанию текста в сообщениях писем с целью отбора писем, относящихся к категории ВЕС-атак. Примером заранее дообученного классификатора 120 является случай, когда требуется произвести анализ новых полученных писем для выделения новых терминов или во время переобучения уже созданных эвристических правил, на основании которых выносится ложное решение, не удовлетворяющее заданному пороговому значению.
Итак, классификатор 120 производит фильтрацию писем, полученных от средства обработки писем 110, при помощи обученной нейронной сети (языковой модели AWD-LSTM). Во время фильтрации производится разделение писем по содержанию сообщений и выделение определенных частей текстовых сообщений (терминов), относящихся к категории ВЕС-атак. Далее обученный классификатор 120 формирует из выделенных терминов n-граммы. Текст, содержащийся в сообщении, который не имеет отношения к определению мошенничества и к категории ВЕС-атак, не учитывается при создании n-грамм.
В предпочтительном варианте реализации n-граммы формируются непосредственно на основании количества слов, содержащихся в терминах. В тоже время, в частном варианте реализации, слова могут быть предварительно преобразованы в хеш-суммы, от которых затем будут сформированы n-граммы. Под n-граммой понимается количество слов, содержащихся в термине, равное длине n.
Классификатор 120 передает созданные n-граммы терминов второму классификатору 130.
В частном случае формирование n-грамм из словосочетаний слов производится только для определенных длин. Например, необходимые длины n-грамм для классификатора 130 могут быть заранее заданы на основании наибольшей их популярности по метрике TF-IDF из классификатора 130. Например, заданы длины 2, 3 и 5. Соответственно n-граммы будут строится только для терминов, которые содержат 2, 3 или 5 слов.
Классификатор 130 предназначен для формирования векторов из полученных n-грамм, обучения второй нейронной сети и определения с помощью обученной нейронной сети наиболее релевантных терминов для дальнейшего формирования эвристических правил с целью определения мошеннических писем, в частности, писем, относящихся к категории ВЕС-атак и/или писем, относящихся к категории внутренних ВЕС-атак.
В одном из вариантов реализации в качестве классификатора 130 используется классификатор, который в качестве нейронной сети содержит логистическую регрессию (англ. logit model) с L1 регуляризатором. Логит-модель – это статистическая модель, используемая для прогнозирования вероятности возникновения некоторого события по значениям множества терминов. Эта регрессия выдаёт ответ в виде вероятности бинарного события (1 или 0). Обучение логит-модели осуществляется на n-граммах, созданных из текстов, полученных в результате первичной фильтрации писем при помощи классификатора 120.
Классификатор 130 преобразовывает (формирует) полученные термины в виде n-грамм в векторное представление с помощью статистической меры TF-IDF нормализации и L2 регуляризации, чтобы значения векторов варьировались от 0 до 1. После чего классификатор 130 производит обучение логит-модели с помощью сформированных векторов. С принципом дальнейшей работы логит-модели можно ознакомиться из статьи «Lasso (statistics)» [https://en.wikipedia.org/wiki/Lasso_(statistics)].
Стоит отметить, что при обучении логит-модели классификатора 130, происходит подбор весового коэффициента для каждого термина, так чтобы потери были минимальны. В свою очередь потери считаются исходя из того, что определяет (предсказывает) на выходе логит-модель и оригинального таргета. Например, если логит-модель предсказывает класс 0, а таргет 1, то потери будут большие, и логит-модель постарается так подобрать вес, чтобы снизить потери.
После обучения, так как логит-модель линейна, у каждого термина на выходе из логит-модели определяется свой весовой коэффициент. Данные весовые коэффициенты интерпретируются как вклад термина в финальное предсказание вероятности его отнесения к категории BEC-атак. Классификатор 130 передает термины, представленные в виде n-грамм, с положительными весовыми коэффициентами средству создания эвристических правил 150.
Средство предоставления условий определения внутренних писем 140 (далее – средство 140) предназначено для создания или получения от внешних источников признаков идентификации письма как внутреннего (англ. internal) письма. Примером внешнего источника является устройство-ловушка 170 или «облачный» сервер. Примерами указанных признаков являются:
• домен в адресе отправителя письма совпадает с доменом в адресе получателя письма,
• адрес отправителя письма находится в списке доверенных адресов,
• IP-адрес отправителя письма находится в списке доверенных.
При идентификации письма как внутреннего производится анализ заголовка письма с целью выявления признака, указывающего на то, что письмо является внутренним. Средство 140 передает признаки определения письма как внутреннего средству создания эвристического правила 150.
Средство создания эвристических правил 150 (далее – средство создания 150) предназначено для создания эвристических правил на основании комбинирования сочетаний отобранных терминов (фраз), полученных от средства 130 и предварительно сгруппированных в категории. Комбинирование производится на основании весовых коэффициентов. Другими словами, производится взвешивание. Сочетание отобранных терминов, которые имеют наибольший эффект обнаружения мошеннических писем, объединяют и добавляют в эвристическое правило в качестве условия.
Стоит отметить, что эвристические правила, которые в качестве условий содержат только сочетания отобранных терминов, позволяют обнаруживать мошеннические письма, относящиеся к категории ВЕС-атак. Для формирования эвристических правил для обнаружения мошеннических писем, относящихся к категории внутренних ВЕС-атак, эвристическое правило в качестве условия дополнительно содержит признаки от средства 140 для определения письма как внутреннего письма.
В одном из вариантов реализации термины могут быть сгруппированы в категории. Каждая категория - список терминов, которые были получены классификатором 120. Объединение терминов в категории производится на основании n-грамм.
Примеры категорий.
Категория
Название категории
Термины в ней
1
…/Phishing_test/ml_lm_bec_body
account automatically
2
…/Phishing_test/ml_bec_action
I have
Таким образом, эвристическое правило включает определенную взвешенную комбинацию по крайней мере из одной категории терминов, позволяющих определить письмо как мошенническое письмо, в частности, как мошенническое письмо, относящееся к категории внутренних BEC-атак.
Примером эвристического правила, относящего то или иное письмо к категории внутренних ВЕС-атак, является правило, которое схематично имеет следующий вид:
Первая часть правила - условия:
Conditions = {
1. Проверка "внутренней" пересылки письма - адрес отправителя должен совпадать с адресом получателя:
{check.from_domain, to_domain},
2. Проверка текста сообщения письма по "составным" категориям (наличию совокупности признаков, указывающих на мошенничество):
[[
{Category, "… /Phishing_test/ml_bec_action "},
{Category, "…/Phishing_test/ml_lm_bec_body"},
]]
},
Вторая часть правила - совершаемые действия, например, выносится решение о том, что письмо относится к категории ВЕС-атак:
Actions = {
DoSetBEC
}.
В одном из вариантов реализации изобретения средство создания 150 после создания эвристического правила производит его проверку на ложное срабатывание. Проверка осуществляется на тех же письмах или части писем, которые были получены от устройства-ловушки 170.
На Фиг. 2 представлена блок-схема, иллюстрирующая способ создания эвристических правил для обнаружения мошеннических писем, относящихся к категории внутренних ВЕС-атак. Указанный способ реализуется с помощью средств из системы 100. Для создания указанных эвристических правил система 100 получает поток писем 160, содержащий в том числе и мошеннические письма, от устройства-ловушки 170.
На этапе 210 с помощью средства обработки писем 110 выбирают из получаемого потока писем 160 только письма, содержащие в тексте сообщения признаки, указывающие на мошенничество. Примеры признаков для отбора писем были представлены при описании Фиг. 1.
Стоит отметить, что этап 210 может являться вспомогательным и выполняться вне заявленного способа. В этом случае для создания указанных эвристических правил система 100 получает поток писем 160, который содержит письма, содержащие в тексте сообщения признаки, указывающие на мошенничество, т. е. мошеннические письма.
На этапе 220 при помощи первого классификатора 120 проводят фильтрацию текста в сообщениях отобранных писем, во время которой выделяют определенные части текстовых сообщений (термины), относящиеся к категории ВЕС-атак. Под термином понимается как одно слово, так и некое словосочетание (фраза), например, последовательность по крайней мере из двух слов. Стоит отметить, что для фильтрации писем классификатор 120 использует обученную нейронной сеть. Примером такой сети является упоминаемая ранее языковая модель AWD-LSTM, при этом дополнительно обученная для целей определения из писем терминов, относящихся к категории ВЕС-атак. Другими словами, дополнительное обучение позволяет при фильтрации писем определить, относится ли текст в сообщении письма к мошенничеству, в частности, к категории ВЕС-атак.
На этапе 230 при помощи первого классификатора 120 формируют n-граммы из выделенных терминов. Текст, содержащийся в сообщении писем, который не имеет отношения к определению мошенничества или к категории ВЕС-атак, не учитывается при создании n-грамм.
В частном случае, созданные n-граммы, например, на шаге 235 (не показан на Фиг. 2), объединяют в категории на основании наибольшей релевантности n-граммы к соответствующей категории.
На этапе 240 с помощью второго классификатора 130 преобразовывают (формируют) полученные термины в виде n-грамм в векторное представление с помощью статистической меры TF-IDF нормализации и L2 регуляризации, чтобы значения векторов варьировались от 0 до 1.
На этапе 250 при помощи второго классификатора 130 производят обучение нейронной сети, которую содержит второй классификатор 130, на основании сформированных векторов. В качестве нейронной сети используется логит-модель. Логит-модель – это статистическая модель, используемая для прогнозирования вероятности возникновения некоторого события по значениям множества терминов.
На этапе 260 при помощи второго классификатора 130 на выходе из логит-модели определяют весовой коэффициент для каждого термина, для которого были сформированы n-грамм и вектор. Данный весовой коэффициент интерпретируется как вклад термина в финальную возможность определить с определенной вероятностью, относится ли выделенная совокупность слов к категории ВЕС-атак или нет. Чем выше значение коэффициента, тем наиболее релевантным является термин. Кроме того, далее рассматриваются только положительные коэффициенты. Термины, представленные в виде n-грамм с положительными весовыми коэффициентами, передают средству создания эвристических правил 150.
На шаге 270 с помощью средства создания эвристических правил 150 создают по крайней мере одно эвристическое правило на основании комбинирования и взвешивания сочетаний отобранных терминов, которые могут быть предварительно сгруппированы в категории. Сочетание отобранных признаков, которые имеют наибольший эффект обнаружения мошеннических писем, объединяют и добавляют в эвристическое правило в качестве условия. При использовании в создании эвристических правил только сочетания отобранных терминов такие правила позволяют обнаруживать письма, относящиеся к категории ВЕС-атак. Для формирования эвристических правил для обнаружения мошеннических писем, относящихся к категории внутренних ВЕС-атак, средство создания 150 дополнительно использует признаки для определения письма, как внутреннего письма. Пример признаков для определения внутренних писем представлен при описании Фиг. 1.
В частном случае создают эвристическое правило для обнаружения письма, относящегося к категории внутренних ВЕС-атак, на основании объединения по крайней мере одной категории терминов и использования одного условия, позволяющего определить письмо как внутреннее.
В еще одном частном случае реализации получают по крайней мере одно условие, позволяющее определить письмо как внутреннее, с помощью средства предоставления условий определения внутренних писем 140.
В другом частном случае реализации с помощью средства предоставления условий определения внутренних писем 140 создают или получают от внешних источников признаки идентификации письма как внутреннего письма.
В еще одном частном случае реализации признаками определения письма как внутреннего письма являются:
• домен в адресе отправителя письма совпадает с доменом в адресе получателя письма,
• адрес отправителя письма находится в списке доверенных адресов,
• IP-адрес отправителя письма находится в списке доверенных.
В одном из вариантов реализации изобретения средство создания 150 после создания эвристического правила, относящегося к категории ВЕС-атак или к категории внутренних ВЕС-атак, производит его проверку на ложное срабатывание. Проверка осуществляется на тех же письмах или части писем, которые были получены от устройства-ловушки 170 или средства обработки писем 110.
На Фиг. 3 представлен пример структурной схемы системы, предназначенной для обнаружения мошеннических писем, относящихся к категории ВЕС-атак или категории внутренних ВЕС-атак. Система также может после обнаружения указанных мошеннических писем в автоматизированном виде реагировать на них. Под реагированием понимается совершений действий, направленных на защиту данных пользователя через его устройство. Например, могут производить блокировку письма, информировать пользователя о том, что письмо было определенно как мошенническое письмо, перемещать письмо в карантинную зону и совершать другие подобные действия.
Пользователи получают электронные письма по сети, такой как Интернет или Интранет, например, на устройство 180А, с помощью почтового клиента через почтовый сервер.
В предпочтительном варианте реализации работа системы, предназначенной для обнаружения мошеннических писем, относящихся к категории ВЕС-атак или к категории внутренних ВЕС-атак (далее – система обнаружения) 300, осуществляется в рамках почтового клиента.
Стоит отметить, что почтовый клиент получает письма как из внешней сети, такой как Интернет, так и из внутренней сети, такой как Интранет. Примерами почтового клиента являются такие почтовые клиенты, как Microsoft Outlook для персонального компьютера и мобильные клиенты, например, Gmail на мобильных устройствах и т.д. В зависимости от реализации изобретения почтовый клиент может быть реализован на iOS, на Android, или может быть установлен из сервера. Примерами почтового сервера являются серверы Microsoft Exchange, серверы обмена Microsoft в режиме онлайн, серверы Gmail, SMTP-серверы и им подобные. Почтовый клиент может быть реализован при помощи программных языков C, Java, C++, PHP, Python, Perl, Ruby или любого другого подходящего языка.
Система обнаружения 300 включает по крайней мере следующие средства: средство чтения писем 320, средство анализа 330, базу данных 340 и средство обновления базы данных 350. В частных случаях реализации изобретения система обнаружения 300 включает средство принятия решения 360. В различных реализациях изобретения средства системы обнаружения 300 реализованы с использованием Java, C, C++ или любого другого подходящего языка программирования.
Средство чтения писем 320 предназначено для получения и считывания нового входящего письма, которое затем передает в средство анализа 330.
Средство анализа 330 предназначено для анализа полученного письма с помощью применения эвристических правил из базы данных 340. Во время анализа средство анализа 330 определяет, к какому типу письма (к внутреннему или внешнему) относится полученное письмо, путем анализа заголовка письма. После определения типа письма средство анализа 330 анализирует текст сообщения письма, во время которого ищет части текста (термины), указывающие на мошенничество, относящиеся к категории ВЕС-атак. Указанные термины представлены в эвристических правилах в виде условий.
Например, если письмо было определено как внутреннее, то средство анализа 330 анализирует текст сообщения письма при помощи эвристических правил, содержащих условия выявления признаков, относящихся к мошенничеству, присущему категории внутренних ВЕС- атак.
В случае срабатывания по крайней мере одного эвристического правила, средство анализа 330 определяет полученное письмо как мошенническое письмо, относящееся к категории внутренних ВЕС-атак. Дополнительно средство анализа 330 информирует об обнаружении мошеннического письма средство принятия решения 360 и передает мошенническое письмо базе данных 340 на карантин.
База данных 340 предназначена для хранения различных данных, в частности, эвристических правил двух видов:
• эвристических правил, предназначенных для обнаружения мошеннических писем, относящихся к категории ВЕС-атак;
• эвристических правил, предназначенных для обнаружения мошеннических писем, относящихся к категории внутренних ВЕС-атак.
В некоторых воплощениях база данных 340 реализуется в виде файла или любого другого соответствующего хранилища данных.
Средство обновления базы данных 350 предназначено для получения новых эвристических правил от внешних систем, таких как система 100, и передачи различных данных внешним системам. Примерами передаваемых данных являются письма, в том числе мошеннические письма, и результаты работы эвристических правил из базы данных 340. Передаваемые данные могут быть использованы для дальнейшей обработки с целью динамического обновления или обучения/создания новых эвристических правил, как раскрыто выше в описании Фиг.1.
Средство принятия решения 360 предназначено для определения дальнейших действий, направленных на защиту данных пользователя, после выявления мошеннического письма. Действия связаны с анализом мошеннического письма и его влиянием на компьютер (ПК) пользователя, в частности, почтовый клиент. Примерами таких действий являются:
• запуск антивирусной проверки как ПК пользователя, получившего письмо, так и ПК пользователя, отправившего указанное письмо, если письмо относится к внутреннему;
• запуск анализа инцидентов (англ. Endpoint Detection and Response или EDR) для обнаружения возможной атаки на внутреннюю или внешнюю сеть, по которой было передано письмо.
На Фиг. 4 представлена блок-схема, иллюстрирующая способ обнаружения мошеннических писем, относящихся к категории внутренних ВЕС-атак. Способ реализуется при помощи средств системы обнаружения 300, описанной на Фиг. 3. В частности, при помощи средства анализа 330 и с использованием эвристических правил, позволяющих обнаружить мошеннические письма, относящиеся к категории внутренних ВЕС-атак.
На этапе 410 определяют полученное письмо при помощи эвристических правил как внутреннее письмо на основании анализа заголовка письма.
На этапе 420 извлекают из указанного письма текст сообщения письма.
На этапе 430 проводят анализ извлеченного текста при помощи эвристических правил для выявления частей текста сообщения (терминов), соответствующих условиям, указывающим на мошенничество.
На этапе 440 в случае срабатывания по крайней мере одного эвристического правила определяют полученное письмо как мошенническое письмо, относящееся к категории внутренних ВЕС-атак.
На дополнительном этапе 450 при определении письма как мошеннического блокируют указанное письмо и перемещают в карантин.
Стоит отметить, что собранные письма в карантине могут быть использованы для дальнейшего анализа как на стороне почтового клиента, так и переданы в систему 100, например, через устройство-ловушку 170. Например, с целью динамического обновления или обучения/создания эвристических правил, как описано выше.
В частном случае дополнительно на этапе 450 может быть инициирована антивирусная проверка как ПК пользователя, получившего письмо, так и ПК пользователя, отправившего указанное письмо.
В еще одном частном случае реализации дополнительно на этапе 450 может быть инициирован запуск анализа инцидентов (англ. Endpoint Detection and Response или EDR) для обнаружения возможной атаки на внутреннюю сеть, по которой было передано письмо.
Фиг. 5 представляет пример компьютерной системы 20 общего назначения, которая может быть использована как компьютер клиента (например, персональный компьютер) или сервера. Компьютерная система 20 содержит центральный процессор 21, системную память 22 и системную шину 23, которая содержит разные системные компоненты, в том числе память, связанную с центральным процессором 21. Системная шина 23 реализована, как любая известная из уровня техники шинная структура, содержащая в свою очередь память шины или контроллер памяти шины, периферийную шину и локальную шину, которая способна взаимодействовать с любой другой шинной архитектурой. Системная память содержит постоянное запоминающее устройство (ПЗУ) 24, память с произвольным доступом (ОЗУ) 25. Основная система ввода/вывода (BIOS) 26, содержит основные процедуры, которые обеспечивают передачу информации между элементами компьютерной системы 20, например, в момент загрузки операционной системы с использованием ПЗУ 24.
Компьютерная система 20 в свою очередь содержит жесткий диск 27 для чтения и записи данных, привод магнитных дисков 28 для чтения и записи на сменные магнитные диски 29 и оптический привод 30 для чтения и записи на сменные оптические диски 31, такие как CD-ROM, DVD-ROM и иные оптические носители информации. Жесткий диск 27, привод магнитных дисков 28, оптический привод 30 соединены с системной шиной 23 через интерфейс жесткого диска 32, интерфейс магнитных дисков 33 и интерфейс оптического привода 34 соответственно. Приводы и соответствующие компьютерные носители информации представляют собой энергонезависимые средства хранения компьютерных инструкций, структур данных, программных модулей и прочих данных компьютерной системы 20.
Настоящее описание раскрывает реализацию системы, которая использует жесткий диск 27, сменный магнитный диск 29 и сменный оптический диск 31, но следует понимать, что возможно применение иных типов компьютерных носителей информации 56, которые способны хранить данные в доступной для чтения компьютером форме (твердотельные накопители, флеш карты памяти, цифровые диски, память с произвольным доступом (ОЗУ) и т.п.), которые подключены к системной шине 23 через контроллер 55.
Компьютер 20 имеет файловую систему 36, где хранится записанная операционная система 35, а также дополнительные программные приложения 37, другие программные модули 38 и данные программ 39. Пользователь имеет возможность вводить команды и информацию в персональный компьютер 20 посредством устройств ввода (клавиатуры 40, манипулятора «мышь» 42). Могут использоваться другие устройства ввода (не отображены): микрофон, джойстик, игровая консоль, сканнер и т.п. Подобные устройства ввода по своему обычаю подключают к компьютерной системе 20 через последовательный порт 46, который в свою очередь подсоединен к системной шине, но могут быть подключены иным способом, например, при помощи параллельного порта, игрового порта или универсальной последовательной шины (USB). Монитор 47 или иной тип устройства отображения также подсоединен к системной шине 23 через интерфейс, такой как видеоадаптер 48. В дополнение к монитору 47, персональный компьютер может быть оснащен другими периферийными устройствами вывода (не отображены), например, колонками, принтером и т.п.
Компьютерная система 20 способна работать в сетевом окружении, при этом используется сетевое соединение с другим или несколькими удаленными компьютерами 49. Удаленный компьютер (или компьютеры) 49 являются такими же персональными компьютерами или серверами, которые имеют большинство или все упомянутые элементы, отмеченные ранее при описании существа компьютерной системы 20, представленного на Фиг. 5. В вычислительной сети могут присутствовать также и другие устройства, например, маршрутизаторы, сетевые станции, пиринговые устройства или иные сетевые узлы.
Сетевые соединения могут образовывать локальную вычислительную сеть (LAN) 50 и глобальную вычислительную сеть (WAN). Такие сети применяются в корпоративных компьютерных сетях, внутренних сетях компаний и, как правило, имеют доступ к сети Интернет. В LAN- или WAN-сетях компьютерная система (персональный компьютер) 20 подключена к локальной сети 50 через сетевой адаптер или сетевой интерфейс 51. При использовании сетей персональный компьютер 20 может использовать модем 54 или иные средства обеспечения связи с глобальной вычислительной сетью, такой как Интернет. Модем 54, который является внутренним или внешним устройством, подключен к системной шине 23 посредством последовательного порта 46. Следует уточнить, что сетевые соединения являются лишь примерными и не обязаны отображать точную конфигурацию сети, т.е. в действительности существуют иные способы установления соединения техническими средствами связи одного компьютера с другим.
В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой. Специалисту в данной области становится понятным, что могут существовать и другие варианты осуществления настоящего изобретения, согласующиеся с сущностью и объемом настоящего изобретения.