МЕТОД ОТНЕСЕНИЯ РАНЕЕ НЕИЗВЕСТНОГО ФАЙЛА К КОЛЛЕКЦИИ ФАЙЛОВ В ЗАВИСИМОСТИ ОТ СТЕПЕНИ СХОЖЕСТИ

1. Способ отнесения файла к коллекции файлов, содержащий этапы, на которых
(а) получают файл, содержащий текстовые поля, который необходимо исследовать;
(б) преобразуют полученный файл в объект данных, при этом удаляя строки-исключения из текстовых полей файлов;
(в) преобразуют файлы из коллекции файлов в коллекцию объектов данных, при этом удаляя строки-исключения из текстовых полей файлов коллекции;
(г) сравнивают объект данных со всеми объектами коллекций по строкам;
(д) выявляют степень схожести объекта данных с объектами коллекций; и
(е) в зависимости от значения степени схожести и значений первого и второго порогов файл относят или добавляют в коллекции файлов или отправляют на дальнейший анализ.
2. Способ по п.1, в котором строки-исключения могут представлять собой строки упаковщиков, разархивирующие части самораспаковывающихся архивов, служебные части кода, которые добавляются компилятором, код популярных библиотек, имена импортируемых функций, другие строки, которые не отражают функционал данного файла.
3. Способ по п.1, в котором полученный файл, представленный в запакованном виде, распаковывается перед преобразованием.
4. Способ по п.1, в котором преобразование файла состоит из извлечения из файла строк, удаления строк-исключений и создания массива данных, включающего в себя, по меньшей мере, идентификатор файла и результат расчета хэш-функции от извлеченных строк, выделенных из этого файла.
5. Способ по п.4, в котором массив данных преобразуют в другой массив данных, включающий в себя, по меньшей мере, результат расчета хэш-функции от извлеченной строки и идентификаторы файлов, в которых содержится эта строка.
6. Способ по п.1, в котором полученный файл относят к существующей коллекции, если степень схожести исследуемого файла с файлами данной коллекции превышает значение первого порога.
7. Способ по п.1, в котором полученный файл добавляют в существующую коллекцию, если степень схожести полученного файла с объектом данной коллекции превышает значение второго порога.
8. Способ по п.6 или 7, в котором значения первого и второго порогов рассчитываются по статистическим данным или устанавливаются экспертом, исходя из полученного опыта.
9. Способ по п.1, в котором полученный файл отправляют на дальнейший анализ в случае, если не удалось отнести файл к какой-либо коллекции.
10. Система отнесения файла к коллекции файлов, содержащая:
блок загрузки файла;
блок преобразования файлов, которыми являются файлы из базы данных коллекции файлов или файл из блока загрузки файла, в коллекцию объектов или объект данных соответственно путем извлечения из файлов строк, удаления из них строк-исключений из базы данных строк исключений, создания массива данных, содержащего, по меньшей мере, идентификатор файла и результаты расчета хэш-функции от извлеченных строк, содержащихся в этих файлах, преобразования этого массива в другой массив, включающий в себя, по меньшей мере, значение хэш-функции от строки и идентификаторы файлов, в которых содержится эта строка, и передачи результирующей коллекции объектов или объекта данных на вход компаратора;
базу данных коллекций файлов, связанную с блоком преобразования;
базу данных строк-исключений, связанную с блоком преобразования;
компаратор, который осуществляет сравнение объекта данных со всеми объектами коллекций, содержащимися в базе данных коллекций файлов, по строкам;
анализатор, который на основе результатов сравнения, выполняемых в компараторе, выявляет степень схожести объекта данных с объектами коллекций и на основе этих результатов относит или добавляет полученный файл к существующей коллекции файлов.
11. Система по п.10, в которой база данных строк-исключений содержит, по меньшей мере, строки упаковщиков, разархивирующие части самораспаковывающихся архивов, служебные части кода, которые добавляются компилятором, код популярных библиотек, имена импортируемых функций, другие строки, которые не отражают функционал данного файла.
12. Система по п.10, в которой блок преобразования файла в объект данных распаковывает полученный файл, который представлен в запакованном виде.
13. Система по п.10, в которой анализатор относит полученный файл к существующей коллекции, если степень схожести полученного файла с файлом данной коллекции превышает значение первого порога.
14. Система по п.10, в которой анализатор добавляет полученный файл в существующую коллекцию, если степень схожести полученного файла с файлом данной коллекции превышает значение второго порога.
15. Система по п.13 или 14, в которой значения первого и второго порогов рассчитываются по статистическим данным или устанавливаются экспертом, исходя из полученного опыта.
16. Система по п.10, в которой полученный файл отправляют на дальнейший анализ в случае, если не удалось отнести файл к какой-либо коллекции.
17. Машиночитаемый носитель для отнесения файла к коллекции файлов, содержащий компьютерную программу, которая при ее реализации на компьютере выполняет следующие этапы:
(а) получают файл, содержащий текстовые поля, который необходимо исследовать;
(б) преобразуют полученный файл в объект данных, при этом удаляя строки-исключения из текстовых полей файла;
(в) преобразуют файлы из коллекции файлов в коллекцию объектов данных, при этом удаляя строки-исключения из текстовых полей файлов коллекции;
(г) сравнивают объект данных со всеми объектами коллекций по строкам;
(д) выявляют степень схожести объекта данных с объектами коллекций; и
(е) в зависимости от значения степени схожести и значений первого и второго порогов файл относят или добавляют в коллекции файлов или отправляют на дальнейший анализ.