СПОСОБ, УСТРОЙСТВО И КОМПЬЮТЕРНЫЙ ПРОГРАММНЫЙ ПРОДУКТ ДЛЯ ГИБКОЙ ИДЕНТИФИКАЦИИ ЯЗЫКА НА БАЗЕ ТЕКСТА

1. Способ определения языка на базе текста, включающий:
получение записи в читаемом компьютером текстовом формате;
определение показателя алфавита для этой записи для каждого из множества языков;
определение показателя частоты n-грамм этой записи для каждого из множества языков; и
определение, посредством процессора, языка, связанного с записью, на базе комбинации показателя алфавита и показателя частоты n-грамм.
2. Способ по п.1, в котором определение показателя алфавита включает сравнение символов, связанных с записью, с алфавитом каждого языка из множества языков и создание показателя для каждого языка из множества языков, причем этот показатель для каждого языка из множества языков основан по меньшей мере частично на отсутствии одного или более символов в соответствующем алфавите соответствующего языка из множества языков, для которого определяется показатель.
3. Способ по п.1 или 2, в котором определение показателя частоты n-грамм для каждого языка из множества языков включает сравнение записи со статистикой n-грамм для каждого из множества языков.
4. Способ по п.3, в котором запись включает n символов, причем сравнение записи со статистикой n-грамм включает определение условной вероятности появления n-го символа записи при условии наличия предыдущих n-1 символов.
5. Способ по п.3, также включающий присвоение символа начала и символа конца первому и последнему символам записи, соответственно, для использования при сопоставлении с соответствующими начальными и конечными символами, связанными с вероятностью каждой n-граммы в статистике n-грамм.
6. Способ по п.1, также включающий сравнение показателя алфавита для каждого языка из множества языков с пороговым значением.
7. Способ по п.6, в котором определение показателя частоты n-грамм выполняют только для тех языков из множества языков, для которых показатель алфавита удовлетворяет пороговому значению.
8. Способ по п.6, также включающий присвоение упомянутой записи заранее заданного значения показателя алфавита в случае, если показатель алфавита не удовлетворяет пороговому значению.
9. Способ по п.1, в котором определение языка, связанного с записью, включает выбор языка, связанного с записью, на основе заранее заданного порядка следования языков в ответ на комбинацию показателя алфавита и показателя частоты n-грамм, которая дает неопределенный результат для языка, связанного с записью.
10. Способ по п.1, в котором запись является одним из множества фрагментов, включающих входной текст, причем определение языка также включает определение языка, связанного с входным текстом, на базе совокупной комбинации показателей алфавита и показателей частоты n-грамм для каждого из множества фрагментов.
11. Читаемый компьютером носитель информации, включающий блоки читаемого компьютером программного кода, хранящиеся на этом носителе, причем читаемые компьютером блоки программного кода предназначены для выполнения способа по любому из пп.1-10.
12. Устройство для определения языка на базе текста, включающее:
средства для получения записи в читаемом компьютером текстовом формате;
средства для определения показателя алфавита записи для каждого языка из множества языков;
средства для определения показателя частоты n-грамм для каждого языка из множества языков; и
средства для определения языка, связанного с записью, на базе комбинации показателя алфавита и показателя частоты n-грамм.
13. Устройство по п.12, также содержащее средства для сравнения символов, связанных с записью, с алфавитом каждого языка из множества языков и для создания показателя для каждого из множества языков, причем показатель для каждого из множества языков основан по меньшей мере частично на отсутствии одного или более символов в соответствующем алфавите соответствующего языка из множества языков, для которого определяется показатель.
14. Устройство по п.12 или 13, также содержащее средства для сравнения записи со статисткой n-грамм для каждого из множества языков.
15. Устройство по п.14, в котором запись включает n символов, при этом элемент определения частоты n-грамм также конфигурируют для определения условной вероятности n-го символа упомянутой записи при условии наличия предшествующих n-1 символов.
16. Устройство по п.14, также содержащее средства для присвоения символа начала и символа конца первому символу и последнему символу записи, соответственно, для использования при сопоставлении с соответствующими начальными символами и конечными символами, связанными с вероятностью каждой n-граммы в статистике n-грамм.
17. Устройство по п.12, также содержащее средства для сравнения показателя алфавита для каждого языка из множества языков с пороговым значением.
18. Устройство по п.17, также содержащее средства для определения показателя частоты n-грамм только для тех языков из множества языков, для которых алфавитный показатель удовлетворяет пороговому значению.
19. Устройство по п.17 или 18, также содержащее средства для присвоения записи заранее заданного значения алфавитного показателя в случае, если алфавитный показатель не удовлетворяет пороговому значению.
20. Устройство по п.12, также содержащее средства для выбора языка, связанного с записью, на основе заранее заданного порядка следования языков в ответ на комбинацию показателя алфавита и показателя частоты n-грамм, которая дает неопределенный результат для языка, связанного с упомянутой записью.
21. Устройство по п.12, в котором запись является одним из множества фрагментов, включающих входной текст, при этом элемент для обработки также конфигурируют для определения языка, связанного с входным текстом, на базе совокупной комбинации показателей алфавита и показателей частоты n-грамм для каждого из множества фрагментов.
22. Устройство по п.12, выполненное в виде мобильного терминала.