СПОСОБ И СЕРВЕР ДЛЯ ОБРАБОТКИ ТЕКСТОВОЙ ПОСЛЕДОВАТЕЛЬНОСТИ В ЗАДАЧЕ МАШИННОЙ ОБРАБОТКИ

1. Компьютерный способ обработки текстовой последовательности в задаче машинной обработки, подлежащей выполнению алгоритмом машинного обучения (MLA), выполняемый сервером и включающий в себя:
получение сервером словаря токенов, в котором хранится набор токенов из заранее заданного корпуса текстов, при этом токен из набора токенов представляет собой один символ или слитый набор токенов;
получение сервером таблицы слияний, указывающей на возможные слияния пар токенов из набора токенов, при этом токен из возможного слияния связан с частотой появления этого токена в заранее заданном корпусе текстов;
получение сервером текстовой последовательности, указывающей на по меньшей мере одно слово;
для слова из текстовой последовательности:
использование сервером словаря токенов для разделения слова на первоначальную последовательность токенов, представляющую собой отдельные символы этого слова;
итеративное сливание сервером токенов из первоначальной последовательности токенов с целью формирования окончательной последовательности токенов для этого слова, при этом итеративное сливание включает в себя:
на текущей итерации сливания:
использование сервером таблицы слияний для определения набора возможных слияний пар соседних токенов из текущей последовательности токенов для этой итерации сливания;
исключение сервером по меньшей мере одного слияния из набора возможных слияний на основе вероятности исключения и формирование таким образом сокращенного набора возможных слияний для этой итерации сливания, при этом сокращенный набор возможных слияний меньше набора возможных слияний;
использование сервером сокращенного набора возможных слияний для формирования новой последовательности токенов путем выполнения по меньшей мере одного слияния из сокращенного набора возможных слияний в текущей последовательности токенов, при этом новая последовательность токенов подлежит использованию сервером в качестве текущей последовательности токенов на следующей итерации сливания;
на другой итерации сливания после текущей итерации сливания:
определение сервером текущей последовательности токенов для другой итерации сливания в качестве окончательной последовательности токенов, подлежащей использованию в задаче машинной обработки, при отсутствии возможных слияний в текущей последовательности токенов для другой итерации сливания.
2. Способ по п. 1, отличающийся тем, что использование сокращенного набора возможных слияний включает в себя выбор сервером по меньшей мере одного подлежащего выполнению слияния из сокращенного набора возможных слияний на основе соответствующей частоты появления для сокращенного набора возможных слияний.
3. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя получение указания на заранее заданную вероятность исключения.
4. Способ по п. 1, отличающийся тем, что алгоритм MLA представляет собой алгоритм MLA для нейронного машинного перевода.
5. Способ по п. 1, отличающийся тем, что алгоритм MLA предназначен для использования с приложением поисковой системы.
6. Способ по п. 1, отличающийся тем, что алгоритм MLA предназначен для использования с приложением выбора целевой рекламы.
7. Способ по п. 1, отличающийся тем, что он до получения словаря токенов и получения таблицы слияний дополнительно включает в себя формирование словаря токенов и таблицы слияний на основе заранее заданного корпуса текстов.
8. Способ по п. 7, отличающийся тем, что корпус текстов не содержит упомянутой текстовой последовательности.
9. Способ по п. 7, отличающийся тем, что формирование словаря токенов включает в себя процедуру инициализации на основе словаря символов.
10. Способ по п. 7, отличающийся тем, что формирование таблицы слияний включает в себя процедуру инициализации с пустой таблицей.
11. Способ по п. 1, отличающийся тем, что текстовая последовательность представляет собой первую текстовую последовательность, содержащую слово, а способ дополнительно включает в себя обработку второй текстовой последовательности, содержащей это слово, при этом первая окончательная последовательность токенов слова, связанного с первой текстовой последовательностью, отличается от второй окончательной последовательности токенов этого слова, связанного со второй текстовой последовательностью.
12. Способ по п. 11, отличающийся тем, что различие между первой окончательной последовательностью токенов и второй окончательной последовательностью токенов связано с различными использованными сокращенными наборами возможных слияний.
13. Способ по п. 12, отличающийся тем, что упомянутое различие дополнительно связано с различными использованными вероятностями исключения.
14. Компьютерный способ подготовки текстовой последовательности в задаче машинной обработки, подлежащей выполнению алгоритмом MLA, выполняемый сервером и включающий в себя:
получение сервером словаря токенов, в котором хранится набор токенов из заранее заданного корпуса текстов, при этом токен из набора токенов представляет собой один символ или слитый набор токенов;
получение сервером таблицы слияний, указывающей на возможные слияния пар токенов из набора токенов, при этом токен из возможного слияния связан с соответствующей частотой появления этого токена в заранее заданном корпусе текстов;
получение сервером текстовой последовательности, указывающей на по меньшей мере одно слово;
для слова из текстовой последовательности:
использование сервером словаря токенов для разделения слова на первоначальную последовательность токенов, представляющую собой отдельные символы этого слова;
итеративное сливание сервером токенов из первоначальной последовательности токенов с целью формирования окончательной последовательности токенов для этого слова, при этом итеративное сливание включает в себя:
на текущей итерации сливания:
использование сервером таблицы слияний для определения набора возможных слияний пар соседних токенов из текущей последовательности токенов для этой итерации сливания;
использование сервером заранее заданной вероятности для выборочного включения возможных слияний из набора возможных слияний в дополненный набор возможных слияний для этой итерации сливания;
использование сервером дополненного набора возможных слияний для формирования новой последовательности токенов путем выполнения по меньшей мере одного слияния из дополненного набора возможных слияний в текущей последовательности токенов, при этом новая последовательность токенов подлежит использованию сервером в качестве текущей последовательности токенов на следующей итерации сливания;
на другой итерации сливания после текущей итерации сливания:
определение сервером текущей последовательности токенов для другой итерации сливания в качестве окончательной последовательности токенов, подлежащей использованию в задаче машинной обработки, при отсутствии возможных слияний в текущей последовательности токенов для другой итерации сливания.
15. Способ по п. 14, отличающийся тем, что дополненный набор возможных слияний меньше набора возможных слияний.
16. Способ по п. 14, отличающийся тем, что дополненный набор возможных слияний идентичен набору возможных слияний.
17. Сервер для обработки текстовой последовательности в задаче машинной обработки, подлежащей выполнению алгоритмом MLA, имеющий доступ к алгоритму MLA и выполненный с возможностью:
получения словаря токенов, в котором хранится набор токенов из заранее заданного корпуса текстов, при этом токен из набора токенов представляет собой один символ или слитый набор токенов;
получения таблицы слияний, указывающей на возможные слияния пар токенов из набора токенов, при этом токен из возможного слияния связан с частотой появления этого токена в заранее заданном корпусе текстов;
получения текстовой последовательности, указывающей на по меньшей мере одно слово;
для слова из текстовой последовательности:
использования словаря токенов для разделения слова на первоначальную последовательность токенов, представляющую собой отдельные символы этого слова;
итеративного сливания токенов из первоначальной последовательности токенов с целью формирования окончательной последовательности токенов для этого слова, при этом итеративное сливание включает в себя:
на текущей итерации сливания:
использования таблицы слияний для определения набора возможных слияний пар соседних токенов из текущей последовательности токенов для этой итерации сливания;
исключения по меньшей мере одного слияния из набора возможных слияний на основе заранее заданной вероятности исключения и формирования таким образом сокращенного набора возможных слияний для этой итерации сливания, при этом сокращенный набор возможных слияний меньше набора возможных слияний;
использования сокращенного набора возможных слияний для формирования новой последовательности токенов путем выполнения по меньшей мере одного слияния из сокращенного набора возможных слияний в текущей последовательности токенов, при этом новая последовательность токенов подлежит использованию сервером в качестве текущей последовательности токенов на следующей итерации сливания;
на другой итерации сливания после текущей итерации сливания:
определения текущей последовательности токенов для другой итерации сливания в качестве окончательной последовательности токенов, подлежащей использованию в задаче машинной обработки, при отсутствии возможных слияний в текущей последовательности токенов для другой итерации сливания.
18. Сервер по п. 17, отличающийся тем, что способность использования сервером сокращенного набора возможных слияний включает в себя способность сервера к выбору по меньшей мере одного подлежащего выполнению слияния из сокращенного набора возможных слияний на основе соответствующей частоты появления для сокращенного набора возможных слияний.
19. Сервер по п. 17, отличающийся тем, что он дополнительно способен получать указание на заранее заданную вероятность исключения.
20. Сервер по п. 17, отличающийся тем, что алгоритм MLA представляет собой алгоритм MLA для нейронного машинного перевода.
21. Сервер по п. 17, отличающийся тем, что алгоритм MLA предназначен для использования с приложением поисковой системы.
22. Сервер по п. 17, отличающийся тем, что алгоритм MLA предназначен для использования с приложением выбора целевой рекламы.
23. Сервер по п. 17, отличающийся тем, что до получения словаря токенов и получения таблицы слияний он дополнительно способен формировать словарь токенов и таблицу слияний на основе заранее заданного корпуса текстов.
24. Сервер по п. 23, отличающийся тем, что корпус текстов не содержит упомянутой текстовой последовательности.
25. Сервер по п. 23, отличающийся тем, что формирование словаря токенов включает в себя процедуру инициализации на основе словаря символов.
26. Сервер по п. 23, отличающийся тем, что формирование таблицы слияний включает в себя процедуру инициализации с пустой таблицей.
27. Сервер по п. 17, отличающийся тем, что текстовая последовательность представляет собой первую текстовую последовательность, содержащую слово, а сервер дополнительно способен обрабатывать вторую текстовую последовательность, содержащую это слово, при этом первая окончательная последовательность токенов слова, связанного с первой текстовой последовательностью, отличается от второй окончательной последовательности токенов этого слова, связанного со второй текстовой последовательностью.
28. Сервер по п. 27, отличающийся тем, что различие между первой окончательной последовательностью токенов и второй окончательной последовательностью токенов связано с различными использованными сокращенными наборами возможных слияний.
29. Сервер по п. 27, отличающийся тем, что упомянутое различие дополнительно связано с различными использованными вероятностями исключения.
30. Компьютерный способ обработки текстовой последовательности в задаче машинной обработки, подлежащей выполнению алгоритмом MLA, выполняемый сервером и включающий в себя:
получение сервером словаря токенов, в котором хранится набор токенов из заранее заданного корпуса текстов, при этом токен из набора токенов представляет собой один символ или слитый набор токенов;
получение сервером таблицы слияний, указывающей на возможные слияния пар токенов из набора токенов, при этом токен из возможного слияния связан с частотой появления этого токена в заранее заданном корпусе текстов;
получение сервером текстовой последовательности, указывающей на по меньшей мере одно слово;
для слова из текстовой последовательности:
использование сервером словаря токенов для разделения слова на первоначальную последовательность токенов, представляющую собой отдельные символы этого слова;
итеративное сливание сервером токенов из первоначальной последовательности токенов с целью формирования окончательной последовательности токенов для этого слова, при этом итеративное сливание включает в себя:
на текущей итерации сливания:
использование сервером таблицы слияний для определения набора возможных слияний пар соседних токенов из текущей последовательности токенов для этой итерации сливания;
использование сервером стохастического алгоритма для исключения по меньшей мере одного слияния из набора возможных слияний и формирование таким образом сокращенного набора возможных слияний для этой итерации сливания, при этом сокращенный набор возможных слияний меньше набора возможных слияний;
использование сервером сокращенного набора возможных слияний для формирования новой последовательности токенов путем выполнения по меньшей мере одного слияния из сокращенного набора возможных слияний в текущей последовательности токенов, при этом новая последовательность токенов подлежит использованию сервером в качестве текущей последовательности токенов на следующей итерации сливания;
на другой итерации сливания после текущей итерации сливания:
определение сервером текущей последовательности токенов для другой итерации сливания в качестве окончательной последовательности токенов, подлежащей использованию в задаче машинной обработки, при отсутствии возможных слияний в текущей последовательности токенов для другой итерации сливания.