СПОСОБ И СИСТЕМА ИЗВЛЕЧЕНИЯ ИМЕНОВАННЫХ СУЩНОСТЕЙ

1. Компьютерно-реализуемый способ извлечения именованных сущностей из текстовой информации с помощью модели машинного обучения, выполняемый с помощью по меньшей мере одного процессора и содержащий этапы, на которых:
a) получают входные текстовые данные и выполняют их обработку, причем обработка включает по меньшей мере сегментацию и токенизацию сегментированных данных;
b) выполняют векторизацию полученных токенов;
c) осуществляют обработку полученных данных с помощью модели машинного обучения на базе нейронной сети, причем в ходе указанной обработки осуществляется:
преобразование вектора каждого токена, полученного на этапе b), в вектор вероятностей принадлежности соответствующего токена заданному классу;
преобразование вектора токена, полученного на этапе b), в вектор логарифмов вероятностей принадлежности соответствующего токена по меньшей мере одному подтипу класса из заданных подтипов класса;
объединение подряд идущих токенов с одинаковым классом по меньшей мере в одну именованную сущность;
определение принадлежности по меньшей мере одной именованной сущности по меньшей мере одному подтипу класса, причем определение выполняется с помощью этапа, при котором:
векторы логарифмов вероятностей принадлежности токенов по меньшей мере одному подтипу класса суммируются и сравниваются с заданным пороговым значением (при определении подтипа класса, имеющего множество подтипов); или
векторы логарифмов вероятностей принадлежности токенов по меньшей мере одному подтипу класса суммируются и сравниваются между собой, причем в ходе сравнения выбирается подтип, имеющий максимальную вероятность (при определении подтипа класса, имеющего только один подтип).
d) извлекают по меньшей мере одну именованную сущность с определенным по меньшей мере одним подтипом класса.
2. Способ по п. 1, характеризующийся тем, что сегментация представляет собой разбиение текстовых данных по меньшей мере на одно предложение.
3. Способ по п. 1, характеризующийся тем, что токенизация сегментированных входных текстовых данных содержит этап токенизации данных на подслова.
4. Способ по п. 2, характеризующийся тем, что токенизация данных на подслова выполняется, по меньшей мере с использованием алгоритма токенизации, выбираемого из группы: алгоритм ВРЕ, алгоритм WordPiece.
5. Способ по п. 1, характеризующийся тем, что вектор каждого токена представляет собой вектор фиксированного размера.
6. Способ по п. 1, характеризующийся тем, что дополнительно содержит этап отображения по меньшей мере одной извлеченной сущности.
7. Система извлечения именованных сущностей из текстовой информации, содержащая:
по меньшей мере один процессор;
по меньшей мере одну память, соединенную с процессором, которая содержит машиночитаемые инструкции, которые при их выполнении по меньшей мере одним процессором обеспечивают выполнение способа способ по любому из пп. 1-6.