СПОСОБ И УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, А ТАКЖЕ НОСИТЕЛЬ ДАННЫХ
INFORMATION PROCESSING METHOD AND APPARATUS, AS WELL AS DATA MEDIUM

Перекрестная ссылка на родственные заявки
[0001] По настоящей заявке испрашивается приоритет патентной заявки Китая № CN201911025249.7, поданной 25 октября 2019 г., все содержание которой включено в настоящую заявку посредством ссылки.
Область техники, к которой относится изобретение
[0002] Настоящее изобретение относится к области машинного перевода, а более конкретно - к способу и устройству обработки информации, а также к носителю данных.
Уровень техники
[0003] Машинный перевод представляет собой технологию, которая позволяет автоматически переводить с одного языка на другой посредством модели машинного перевода и является чрезвычайно полезной для академических и коммерческих применений. В целом, чем выше качество двуязычных параллельных обучающих корпусов, тем больше масштаб и шире сфера промышленного охвата, выше качество перевода модели машинного перевода, полученной на основе обучающих корпусов. Очевидно, что качество перевода модели машинного перевода главным образом зависит от качества и объема доступных двуязычных данных, но в настоящее время трудно получить большой объем высококачественных двуязычных данных.
Раскрытие сущности изобретения
[0004] Согласно настоящему изобретению, предложены способ и устройство обработки информации, а также носитель данных.
[0005] В соответствии с первым аспектом вариантов осуществления настоящего изобретения, предложен способ обработки информации, который может включать в себя следующие этапы:
[0006] получают двуязычный словарь, содержащий N исходных двуязычных словарных пар, причем каждая из N исходных двуязычных словарных пар содержит первое слово, представленное на первом языке, и второе слово, представленное на втором языке и имеющее то же значение, что и первое слово, причем N представляет собой положительное целое число;
[0007] получают исходный двуязычный обучающий набор, содержащий множество исходных двуязычных пар обучающих предложений, причем каждая из множества исходных двуязычных пар обучающих предложений содержит первое обучающее предложение, представленное на первом языке, и второе обучающее предложение, представленное на втором языке и имеющее то же значение, что и первое обучающее предложение;
[0008] выбирают по меньшей мере одну исходную двуязычную пару обучающих предложений, соответствующую любой из N исходных двуязычных словарных пар, из исходного двуязычного обучающего набора, в качестве по меньшей мере одной потенциально подходящей двуязычной пары предложений;
[0009] выполняют построение обобщенного двуязычного шаблона предложения на основе указанной по меньшей мере одной потенциально подходящей двуязычной пары предложений; и
[0010] получают дополненный двуязычный обучающий набор, содержащий множество дополненных двуязычных пар обучающих предложений, на основе двуязычного словаря и обобщенного двуязычного шаблона предложения.
[0011] Опционально, первое обучающее предложение, содержащееся в исходной двуязычной паре обучающих предложений, выбранной в качестве потенциально подходящей двуязычной пары предложений, содержит по меньшей мере: первое слово, содержащееся в любой из N исходных двуязычных словарных пар.
[0012] Второе обучающее предложение, содержащееся в исходной двуязычной паре обучающих предложений, выбранной в качестве потенциально подходящей двуязычной пары предложений, содержит по меньшей мере: второе слово, имеющее то же значение, что и первое слово, содержащееся в любой из N исходных двуязычных словарных пар.
[0013] Опционально, операция, на которой выполняют построение обобщенного двуязычного шаблона предложения на основе указанной по меньшей мере одной потенциально подходящей двуязычной пары предложений может включать в себя:
[0014] в соответствии с заданным условием, определяют M двуязычных пар предложений, подлежащих обобщению, из по меньшей мере одной потенциально подходящей двуязычной пары предложений; причем M представляет собой положительное целое число; и
[0015] генерируют M обобщенных двуязычных шаблонов предложений на основе M двуязычных пар предложений, подлежащих обобщению.
[0016] Операция, на которой получают дополненный двуязычный обучающий набор, содержащий множество дополненных двуязычных пар обучающих предложений, на основе двуязычного словаря и обобщенного двуязычного шаблона предложения, может включать в себя:
[0017] генерируют множество дополненных двуязычных пар обучающих предложений в соответствии с M обобщенными двуязычными шаблонами предложений и N исходными двуязычными словарными парами, содержащимися в двуязычном словаре; и
[0018] получают дополненный двуязычный обучающий набор на основе множества дополненных двуязычных пар обучающих предложений.
[0019] Опционально, заданное условие может включать в себя по меньшей мере одну из следующих ситуаций:
[0020] как длина первого обучающего предложения, так и длина второго обучающего предложения больше или равны заданному пороговому значению длины предложения;
[0021] отношение длины первого обучающего предложения к длине второго обучающего предложения больше или равно первому заданному отношению и меньше или равно второму заданному отношению; и
[0022] как точность перевода первого обучающего предложения, так и точность перевода второго обучающего предложения больше заданного порогового значения точности.
[0023] Опционально, операция, на которой генерируют M обобщенных двуязычных шаблонов предложений на основе M двуязычных пар предложений, подлежащий обобщению, может включать в себя:
[0024] заменяют K исходных двуязычных словарных пар, содержащихся в M двуязычных парах предложений, подлежащих обобщению, на K общих двуязычных словарных пар, и генерируют M обобщенных двуязычных шаблонов предложений, причем K представляет собой положительное целое число.
[0025] Операция, на которой генерируют множество дополненных двуязычных пар обучающих предложений в соответствии с M обобщенными двуязычными шаблонами предложений и N исходными двуязычными словарными парами, содержащимися в двуязычном словаре, может включать в себя:
[0026] заменяют каждую из K общих двуязычных словарных пар в M обобщенных двуязычных шаблонах предложений на N исходных двуязычных словарных пар, содержащихся в двуязычном словаре, и генерируют K*N*M дополненных двуязычных пар обучающих предложений.
[0027] Опционально, общее двуязычное слово может содержать: символ незавершения, причем символ незавершения предназначен для обозначения того, что предложение не завершено.
[0028] Опционально, способ может дополнительно включать в себя:
[0029] выполняют обработку слияния применительно к дополненному двуязычному обучающему набору и исходному двуязычному обучающему набору для получения целевого двуязычного обучающего набора; и
[0030] выполняют обучение модели для получения целевой модели перевода на основе целевого двуязычного обучающего набора;
[0031] при этом целевая модель перевода предназначена для перевода предложения между первым языком и вторым языком.
[0032] В соответствии со вторым аспектом вариантов осуществления настоящего изобретения, предложено устройство обработки информации, которое может содержать:
[0033] первый получающий модуль, выполненный с возможностью получения двуязычного словаря, содержащего N исходных двуязычных словарных пар, причем каждая из N исходных двуязычных словарных пар содержит первое слово, представленное на первом языке, и второе слово, представленное на втором языке и имеющее то же значение, что и первое слово, причем N представляет собой положительное целое число;
[0034] второй получающий модуль, выполненный с возможностью получения исходного двуязычного обучающего набора, содержащего множество исходных двуязычных пар обучающих предложений, причем каждая из множества исходных двуязычных пар обучающих предложений содержит первое обучающее предложение, представленное на первом языке, и второе обучающее предложение, представленное на втором языке и имеющее то же значение, что и первое обучающее предложение;
[0035] выбирающий модуль, выполненный с возможностью выбора по меньшей мере одной исходной двуязычной пары обучающих предложений, соответствующей любой из N исходных двуязычных словарных пар, из исходного двуязычного обучающего набора, в качестве по меньшей мере одной потенциально подходящей двуязычной пары предложений;
[0036] модуль построения, выполненный с возможностью построения обобщенного двуязычного шаблона предложения на основе указанной по меньшей мере одной потенциально подходящей двуязычной пары предложений; и
[0037] третий получающий модуль, выполненный с возможностью получения дополненного двуязычного обучающего набора, содержащего множество дополненных двуязычных пар обучающих предложений на основе указанного двуязычного словаря и обобщенного двуязычного шаблона предложения.
[0038] Опционально, первое обучающее предложение, содержащееся в исходной двуязычной паре обучающих предложений, выбранной в качестве потенциально подходящей двуязычной пары предложений, содержит по меньшей мере: первое слово, содержащееся в любой из N исходных двуязычных словарных пар.
[0039] второе обучающее предложение, содержащееся в исходной двуязычной паре обучающих предложений, выбранной в качестве потенциально подходящей двуязычной пары предложений, содержит по меньшей мере: второе слово, имеющее то же значение, что и первое слово, содержащееся в любой из N исходных двуязычных словарных пар.
[0040] Опционально, модуль построения может быть выполнен с возможностью:
[0041] определения, из по меньшей мере одной потенциально подходящей двуязычной пары предложений, M двуязычных пар предложений, подлежащих обобщению в соответствии с заданным условием, причем M представляет собой положительное целое число; и
[0042] генерирования M обобщенных двуязычных шаблонов предложений на основе M двуязычных пар предложений, подлежащий обобщению.
[0043] Третий получающий модуль может быть выполнен с возможностью:
[0044] генерирования множества дополненных двуязычных пар обучающих предложений в соответствии с M обобщенными двуязычными шаблонами предложений и N исходными двуязычными словарными парами, содержащимися в двуязычном словаре; и
[0045] получения дополненного двуязычного обучающего набора на основе множества дополненных двуязычных пар обучающих предложений.
[0046] Опционально, заданное условие может включать в себя по меньшей мере одну из следующих ситуаций:
[0047] как длина первого обучающего предложения, так и длина второго обучающего предложения больше или равны заданному пороговому значению длины предложения;
[0048] отношение длины первого обучающего предложения к длине второго обучающего предложения больше или равно первому заданному отношению и меньше или равно второму заданному отношению; и
[0049] как точность перевода первого обучающего предложения, так и точность перевода второго обучающего предложения больше заданного порогового значения точности.
[0050] Опционально, модуль построения может быть дополнительно выполнен с возможностью:
[0051] замены K исходных двуязычных словарных пар, содержащихся в M двуязычных парах предложений, подлежащих обобщению, на K общих двуязычных словарных пар, и генерирования M обобщенных двуязычных шаблонов предложений, причем K представляет собой положительное целое число.
[0052] Третий получающий модуль может быть дополнительно выполнен с возможностью:
[0053] замены каждой из K общих двуязычных словарных пар в M обобщенных двуязычных шаблонах предложений на N исходных двуязычных словарных пар, содержащихся в двуязычном словаре, и генерирования K*N*M дополненных двуязычных пар обучающих предложений.
[0054] Опционально, общее двуязычное слово может содержать: символ незавершения, причем символ незавершения предназначен для обозначения того, что предложение не завершено.
[0055] Опционально, устройство может дополнительно содержать:
[0056] модуль слияния, выполненный с возможностью выполнения обработки слияния применительно к дополненному двуязычному обучающему набору и исходному двуязычному обучающему набору для получения целевого двуязычного обучающего набора; и
[0057] модуль обучения, выполненный с возможностью выполнения обучения модели для получения целевой модели перевода на основе целевого двуязычного обучающего набора.
[0058] При этом целевая модель перевода предназначена для перевода предложения между первым языком и вторым языком.
[0059] В соответствии с третьим аспектом вариантов осуществления настоящего изобретения, предложено устройство обработки информации, которое может содержать:
[0060] процессор; и
[0061] память, выполненную с возможностью хранения инструкций, исполнимых для процессора,
[0062] причем процессор выполнен с возможностью осуществления операций способа обработки информации согласно первому аспекту.
[0063] В соответствии с четвертым аспектом вариантов осуществления настоящего изобретения, предложен долговременный машиночитаемый носитель данных. Инструкции в носителе данных, при их исполнении процессором устройства обработки информации, могут обеспечивать возможность выполнения устройством способа обработки информации в первом аспекте.
[0064] Технические решения, предлагаемые в вариантах осуществления настоящего изобретения, могут обладать следующими благоприятными эффектами.
[0065] Из вышеуказанный технических решений согласно настоящему изобретению можно видеть, что с помощью двуязычного словаря, содержащего исходные двуязычные пары обучающих предложений, может быть получена потенциально подходящая двуязычная пара предложений, содержащая исходные двуязычные словарные пары, из исходного двуязычного обучающего набора, содержащего множество исходных двуязычных пар обучающих предложений, может быть построен обобщенный двуязычный шаблон предложения на основе по меньшей мере одной потенциально подходящей двуязычной пары предложений, а затем может быть получен дополненный двуязычный обучающий набор, содержащий множество дополненных двуязычных пар обучающих предложений, с помощью двуязычного словаря и обобщенного двуязычного шаблона предложения. В технических решениях по настоящему изобретению двуязычный словарь содержит большое количество новых слов, и может быть сгенерировано большое количество обобщенных двуязычных шаблонов предложений, поэтому при реализации может быть достигнуто обобщение потенциально подходящей двуязычной пары предложений, чтобы дополнить исходный двуязычный обучающий набор для получения дополненного двуязычного обучающего набора с богатым содержимым, то есть могут быть получены крупномасштабные и высококачественные двуязычные корпусы текстов, и затем ресурсы корпуса в двуязычном корпусе могут быть обновлены и дополнены.
[0066] Следует понимать, что приведенное выше общее описание и приведенное ниже подробное описание являются только примерными и поясняющими и не предназначены для ограничения настоящего изобретения.
Краткое описание чертежей
[0067] На прилагаемых чертежах, которые включены в состав настоящей заявки и образуют ее часть, проиллюстрированы варианты осуществления, согласующиеся с настоящим изобретением, и, совместно с описанием, служат для пояснения принципов настоящего изобретения.
[0068] На фиг. 1 представлена первая блок-схема, иллюстрирующая способ обработки информации в соответствии с примерным вариантом осуществления.
[0069] На фиг. 2 представлена вторая блок-схема, иллюстрирующая способ обработки информации в соответствии с примерным вариантом осуществления.
[0070] На фиг. 3 показана структурная схема устройства обработки информации в соответствии с примерным вариантом осуществления.
[0071] На фиг. 4 показана структурная схема аппаратного обеспечения устройства обработки информации в соответствии с примерным вариантом осуществления.
Осуществление изобретения
[0072] Далее будут подробно рассмотрены примерные варианты осуществления, примеры которых проиллюстрированы на прилагаемых чертежах. В последующем описании упоминаются прилагаемые чертежи, на которых одни и те же номера на разных чертежах представляют одни и те же или аналогичные элементы, если не показано иное. Реализации, раскрытые в нижеследующем описании примерных вариантов осуществления, не представляют всех реализаций, совместимых с настоящим изобретением. Напротив, они представляют собой только примеры устройств и способов, совместимых с аспектами, относящимися к настоящему изобретению, изложенному в прилагаемой формуле изобретения.
[0073] На фиг. 1 представлена первая блок-схема, иллюстрирующая способ обработки информации в соответствии с примерным вариантом осуществления. Как показано на фиг. 1, способ может включать в себя следующие этапы.
[0074] На этапе 101 получают двуязычный словарь, содержащий N исходных двуязычных словарных пар, причем каждая исходная двуязычная словарная пара содержит первое слово, представленное на первом языке, и второе слово, представленное на втором языке и имеющее то же значение, что и первое слово, причем N представляет собой положительное целое число.
[0075] На этапе 102 получают исходный двуязычный обучающий набор, содержащий множество исходных двуязычных пар обучающих предложений, причем каждая исходная двуязычная пара обучающих предложений содержит первое обучающее предложение, представленное на первом языке, и второе обучающее предложение, представленное на втором языке и имеющее то же значение, что и первое обучающее предложение.
[0076] На этапе 103 выбирают по меньшей мере одну исходную двуязычную пару обучающих предложений, соответствующую любой исходной двуязычной словарной паре, из исходного двуязычного обучающего набора, в качестве по меньшей мере одной потенциально подходящей двуязычной пары предложений.
[0077] На этапе 104 выполняют построение обобщенного двуязычного шаблона предложения на основе по меньшей мере одной потенциально подходящей двуязычной пары предложений.
[0078] На этапе 105 получают дополненный двуязычный обучающий набор, содержащий множество дополненных двуязычных пар обучающих предложений, на основе двуязычного словаря и обобщенного двуязычного шаблона предложения.
[0079] При этом исходная двуязычная словарная пара может быть получена на основе категорий и областей слов с помощью маркировки вручную большого количества двуязычных слов в категориях и областях. Например, могут быть определены двуязычные словарные пары, относящиеся к именам. Исходная двуязычная словарная пара может содержать первое слово, представленное на первом языке, и второе слово, представленное на втором языке и имеющее то же значение, что и первое слово. Например, если первый язык является китайским, а первое слово - «张三», то второй язык является английским, а второе слово - «Zhang San» (паллад.: Чжан Сань).
[0080] После получения двуязычной словарной пары, может быть выполнено построение двуязычного словаря на основе исходной двуязычной словарной пары. Как показано в Таблице 1, которая представляет собой двуязычный словарь по настоящему изобретению, имеется три исходных двуязычных словарных пары; первое слово, содержащееся в первой исходной двуязычной словарной паре, представляет собой «张三», а второе слово представляет собой «Zhang San»; первое слово, содержащееся во второй исходной двуязычной словарной паре, представляет собой «李XX», а второе слово представляет собой «Li ХХ» (паллад.: Ли XX); первое слово, содержащееся в третей исходной двуязычной словарной паре, представляет собой «小红», а второе слово представляет собой «Xiao Hong» (паллад.: Сяо Хун).
Таблица 1. Двуязычный словарь
Первое слово на первом языке
Второе слово на втором языке
张三
Zhang San
李XX
Li ХХ
小红
Xiao Hong
[0081] При этом двуязычный словарь может быть получен с помощью ручной маркировки конкретной области. Двуязычный словарь может включать в себя: незарегистрированные слова, редко встречающиеся слова и часто встречающиеся слова в конкретной области. Поскольку двуязычные слова могут быть выбраны весьма свободно, часто встречающиеся слова могут главным образом использоваться для поиска большего количества двуязычных шаблонов предложений, редко встречающиеся слова могут главным образом использоваться для дополнения данных, а незарегистрированные слова могут быть словами, не представленными в двуязычном словаре. Например, если двуязычный словарь содержит слово a, слово b и слово c, то слово d представляет собой незарегистрированное слово. Незарегистрированное слово может также называться словом вне набора.
[0082] В вариантах осуществления настоящего изобретения исходная двуязычная словарная пара, содержащая любую исходную двуязычную словарную пару, может быть получена из исходного двуязычного обучающего набора, содержащего множество исходных двуязычных пар обучающих предложений, на основе исходной двуязычной словарной пары в двуязычном словаре. Например, в исходном двуязычном обучающем наборе может быть проведен поиск исходной двуязычной пары обучающих предложений, соответствующей исходной двуязычной словарной паре, на основе исходной двуязычной словарной пары в двуязычном словаре, а найденная исходная двуязычная пара обучающих предложений может быть принята в качестве потенциально подходящей двуязычной пары предложений. Например, выполняют сопоставление в отношении исходной двуязычной пары обучающих предложений, содержащейся в исходном двуязычном обучающем наборе, на основе исходной двуязычной словарной пары в двуязычном словаре, а исходная двуязычная пара обучающих предложений, содержащая исходную двуязычную словарную пару, может быть получена в соответствии с результатом сопоставления, а затем исходная двуязычная пара обучающих предложений, содержащая исходную двуязычную словарную пару, может быть принята в качестве потенциально подходящей двуязычной пары предложений.
[0083] В Таблице 2 представлен исходный двуязычный обучающий набор в соответствии с настоящим изобретением. Исходный двуязычный обучающий набор в Таблице 2 содержит три исходных двуязычных пары обучающих предложений, причем каждая из трех исходных двуязычных пар обучающих предложений содержит первое обучающее предложение, представленное на первом языке, и второе обучающее предложение, представленное на втором языке и имеющее то же значение, что и первое обучающее предложение.
Таблица 2. Исходный двуязычный обучающий набор
Первое обучающее предложение на первом языке
Второе обучающее предложение на втором языке
Русский перевод*(*отсутствует в международной заявке)
1
李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。
Li XX also stressed the importance of maintaining a stable tax policy, pointing out that China is in a critical period of economic recovery.
Ли ХХ также подчеркнул важность поддержания стабильной налоговой политики и отметил, что Китай проходит критический период экономического восстановления.
2
想知道在东莞科学馆附近怎么停车？
I'd like to know how to park near the Dongguan science museum?
Я бы хотел узнать, как припарковаться рядом с музеем науки в Дунгуане?
3
每种花都有独特的含义。
Each flower has a unique meaning.
Каждый цветок имеет уникальное значение.
[0084] В вариантах осуществления настоящего изобретения, в процессе получения потенциально подходящей двуязычной пары предложений на основе двуязычного словаря, каждая исходная двуязычная словарная пара в двуязычном словаре может сравниваться с каждой исходной двуязычной парой обучающих предложений в исходном двуязычном обучающем наборе, соответственно. В процессе сравнения первое слово на первом языке может сравниваться с первым обучающим предложением на первом языке, а второе слово на втором языке может сравниваться со вторым обучающим предложением на втором языке.
[0085] Принимая, что первое слово в Таблице 1 сравнивается с первым обучающим предложением в Таблице 2, например, «张三» в двуязычном словаре, показанном в Таблице 1, может соответственно сравниваться с «李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。", "想知道在东莞科学馆附近怎么停车？» и «每种花都有独特的含义。» в Таблице 2. Поскольку не имеется имени, соответствующего «张三» в Таблице 2, указывают, что исходная двуязычная пара обучающих предложений в исходном двуязычном обучающем наборе не содержит исходной двуязычной словарной пары.
[0086] В случае если «李XX» в двуязычном словаре, показанное в Таблице 2, принимают для сравнения с «李XX同时强调保持稳定的税收政策的重要性， 指出中国正处于经济恢复的关键时期。», «想知道在东莞科学馆附近怎么停车？» и «每种花都有独特的含义。» в Таблице 2 соответственно, поскольку имеется имя, соответствующее «李XX» в Таблице 2, указывают, что исходная двуязычная пара обучающих предложений в исходном двуязычном обучающем наборе содержит исходную двуязычную словарную пару.
[0087] Перед сравнением исходной двуязычной словарной пары в двуязычном словаре с исходной двуязычной парой обучающих предложений в исходном двуязычном обучающем наборе, необходимо выполнить разделение слов в исходной двуязычной паре обучающих предложений в исходном двуязычном обучающем наборе. Таблица 3 представляет собой таблицу разделения слов согласно настоящему изобретению. Как показано в Таблице 3, исходная двуязычная пара обучающих предложений в исходном двуязычном обучающем наборе может быть разделена в соответствии со словарными атрибутами, так что каждое разделенное слово имеет полное значение.
Таблица 3. Таблица разделения слов
Первое обучающее предложение на первом языке
Второе обучающее предложение на втором языке
Русский перевод*(*отсутствует в международной заявке)
1
李XX 同时 强调 保持 稳定 的 税收 政策 的 重要性 ， 指出 中国 正处于 经济 恢复 的 关键 时期 。
Li XX also stressed the importance of maintaining a stable tax policy, pointing out that China is in a critical period of economic recovery.
Ли ХХ также подчеркнул важность поддержания стабильной налоговой политики и отметил, что Китай проходит критический период экономического восстановления.
2
想 知道 在 东莞 科学馆 附近 怎么 停车 ？
I'd like to know how to park near the Dongguan science museum?
Я бы хотел узнать, как припарковаться рядом с музеем науки в Дунгуане?
3
每种 花 都有 独特 的 含义 。
Each flower has a unique meaning.
Каждый цветок имеет уникальное значение.
[0088] В вариантах осуществления настоящего изобретения, после выполнения разделения слов в исходной двуязычной паре обучающих предложений в исходном двуязычном обучающем наборе, в исходном двуязычном обучающем наборе выполняют поиск исходной двуязычной пары обучающих предложений путем просмотра на основе исходного двуязычного слова в двуязычном словаре, и может быть получена потенциально подходящая двуязычная пара предложений.
[0089] Например, «李XX 同时 强调 保持 稳定 的 税收 政策 的 重要性 ， 指出 中国 正处于 经济 恢复 的 关键 时期 。» может быть определено из Таблицы 3 на основе «李XX» в Таблице 1. Соответственно, на основе «Li ХХ» в Таблице 1, из Таблицы 3 может быть определено «Li XX also stressed the importance of maintaining a stable tax policy, pointing out that China is in a critical period of economic recovery.» (рус. перевод: «Ли ХХ также подчеркнул важность поддержания стабильной налоговой политики и отметил, что Китай проходит критический период экономического восстановления.»), затем указывают, что по меньшей мере одна исходная двуязычная пара обучающих предложений, соответствующая любой исходной двуязычной словарной паре, может быть выбрана из исходного двуязычного обучающего набора на основе двуязычного словаря, в качестве потенциально подходящей двуязычной пары предложений.
[0090] После определения потенциально подходящей двуязычной пары предложений, может быть выполнено построение обобщенного двуязычного шаблона предложения на основе по меньшей мере одной потенциально подходящей двуязычной пары предложений. При этом исходная двуязычная словарная пара, содержащаяся в потенциально подходящей двуязычной паре предложений, может быть заменена на общую двуязычную словарную пару для генерирования обобщенного двуязычного шаблона предложения. Например, после определения «李XX 同时 强调 保持 稳定 的 税收 政策 的 重要性 ， 指出 中国 正处于 经济 恢复 的 关键 时期 。» из Таблицы 3 в качестве предложения в потенциально подходящей двуязычной паре предложений на основе «李XX», «李XX» может быть заменена на «<X1>». <X1> может представлять собой общее двуязычное слово или любое другое личное имя. Словарный атрибут«<X1> может быть тот же, что и у «李XX». Например, <X1> и «李XX» могут быть совмещены друг с другом, таким образом, отсутствует влияние на шаблон предложения в целом.
[0091] Принимая, например, что исходную двуязычную словарную пару в потенциально подходящей двуязычной паре предложений заменяют на основе общего двуязычного слова, после выполнения замены на основе общего двуязычного слова, может быть получен соответствующий обобщенный двуязычный шаблон предложений; таким образом, могут быть получены большое количество дополненных двуязычных пар обучающих предложений и дополненный двуязычный обучающий набор, содержащий множество дополненных двуязычных пар обучающих предложений, путем замены общего двуязычного слова в обобщенном двуязычном шаблоне предложения на любое другое личное имя, и затем могут быть обогащены ресурсы корпуса в двуязычном корпусе.
[0092] В вариантах осуществления настоящего изобретения двуязычный словарь содержит большое количество новых слов, и может быть сгенерировано большое количество обобщенных двуязычных шаблонов предложений, поэтому при реализации может быть достигнуто обобщение потенциально подходящей двуязычной пары предложений, чтобы дополнить исходный двуязычный обучающий набор для получения дополненного двуязычного обучающего набора с богатым содержимым, то есть могут быть получены крупномасштабные и высококачественные двуязычные корпусы текстов, и, таким образом, ресурсы корпуса в двуязычном корпусе могут быть обновлены и дополнены.
[0093] В других опциональных вариантах осуществления первое обучающее предложение, содержащееся в исходной двуязычной паре обучающих предложений, выбранной в качестве потенциально подходящей двуязычной пары предложений, может содержать по меньшей мере: первое слово, содержащееся в любой исходной двуязычной словарной паре.
[0094] Второе обучающее предложение, содержащееся в исходной двуязычной паре обучающих предложений, выбранной в качестве потенциально подходящей двуязычной пары предложений, может содержать по меньшей мере: второе слово, имеющее то же значение, что и первое слово, содержащееся в любой исходной двуязычной словарной паре.
[0095] Например, «李XX 同时 强调 保持 稳定 的 税收 政策 的 重要性 ， 指出 中国 正处于 经济 恢复 的 关键 时期 。» может быть определено из Таблицы 3 на основе «李XX» в Таблице 1. Соответственно, «Li XX also stressed the importance of maintaining a stable tax policy, pointing out that China is in a critical period of economic recovery» (рус. перевод «Ли ХХ также подчеркнул важность поддержания стабильной налоговой политики и отметил, что Китай проходит критический период экономического восстановления.») может быть определено из Таблицы 3 на основе «Li ХХ» в Таблице 1. «李XX» представляет собой первое слово, содержащееся в любой исходной двуязычной словарной паре, а «Li ХХ» представляет собой второе слово, содержащееся в любой исходной двуязычной словарной паре. Два предложения, определенные из Таблицы 3, представляют собой соответственно первое обучающее предложение, содержащееся в потенциально подходящей двуязычной паре предложений, и второе предложение, содержащееся в потенциально подходящей двуязычной паре предложений. При этом, путем определения потенциально подходящей двуязычной пары предложений из исходного двуязычного обучающего предложения в исходном двуязычном обучающем наборе, с помощью исходной двуязычной словарной пары в двуязычном словаре, может быть точно определена потенциально подходящая двуязычная пара предложений, требуемая пользователю, и, таким образом, может быть получен точный обобщенный двуязычный шаблон предложения.
[0096] В других опциональных вариантах осуществления операция, на которой, на основе указанной по меньшей мере одной потенциально подходящей двуязычной пары предложений, выполняют построение обобщенного двуязычного шаблона предложения может включать в себя:
[0097] Определяют M двуязычных пар предложений, подлежащих обобщению, из по меньшей мере одной потенциально подходящей двуязычной пары предложений, в соответствии с заданным условием; причем M представляет собой положительное целое число; и
[0098] Генерируют M обобщенных двуязычных шаблонов предложений на основе M двуязычных пар предложений, подлежащий обобщению.
[0099] Операция, на которой получают дополненный двуязычный обучающий набор, содержащий множество дополненных двуязычных пар обучающих предложений, на основе двуязычного словаря и обобщенного двуязычного шаблона предложения, может включать в себя:
[00100] генерируют множество дополненных двуязычных пар обучающих предложений в соответствии с M обобщенными двуязычными шаблонами предложений и N исходными двуязычными словарными парами, содержащимися в двуязычном словаре; и
[00101] получают дополненный двуязычный обучающий набор на основе множества дополненных двуязычных пар обучающих предложений.
[00102] В других опциональных вариантах осуществления заданное условие может включать в себя по меньшей мере одну из следующих ситуаций:
[00103] как длина первого обучающего предложения, так и длина второго обучающего предложения больше или равны заданному пороговому значению длины предложения;
[00104] отношение длины первого обучающего предложения к длине второго обучающего предложения больше или равно первому заданному отношению и меньше или равно второму заданному отношению; и
[00105] как точность перевода первого обучающего предложения, так и точность перевода второго обучающего предложения больше заданного порогового значения точности.
[00106] Длина первого обучающего предложения и длина второго обучающего предложения могут быть равны количеству слов, содержащихся в первом обучающем предложении и втором обучающем предложении после выполнения разделения слов применительно к первому обучающему предложению и второму обучающему предложению. Например, разделение слов выполняют применительно к первому обучающему предложению, содержащемуся в потенциально подходящей двуязычной паре предложений, причем количество слов, полученное после разделения слов, может быть принято в качестве длины первого обучающего предложения.
[00107] Принимая, например, что первое обучающее предложение представляет собой «李XX同时强调保持稳定的税收政策的重要性， 指出中国正处于经济恢复的关键时期。», первое обучающее предложение после разделения слов представляет собой «李XX 同时 强调 保持 稳定 的 税收 政策 的 重要性 ， 指出 中国 正处于 经济 恢复 的 关键 时期 。», таким образом, длина первого обучающего предложения равна 20. В этом варианте реализации слова в предложении могут быть разделены с помощью разделительного знака или знака пробела.
[00108] В вариантах осуществления настоящего изобретения заданное пороговое значение длины предложения, первое заданное отношение, второе заданное отношение и заданное пороговое значение точности могут быть заданы в соответствии с потребностями. Например, заданное пороговое значение длины предложения может быть задано равным 10, первое заданное отношение может быть задано равным 1/5, второе заданное отношение может быть задано равным 5, а заданное пороговое значение точности может быть задано равным 0,25.
[00109] При этом, путем задания нижнего предела для первого обучающего предложения и второго обучающего предложения, можно гарантировать, что все предложения, содержащиеся в полученной двуязычной паре предложений, подлежащей обобщению, являются длинными предложениями, а не фразами или словами, таким образом, эффективность и производительность обработки данных могут быть повышены.
[00110] Первое обучающее предложение и второе обучающее предложение имеют одно и то же значение, и только представлены на разных языках, поэтому, когда первое обучающее предложение и второе обучающее предложение переводят одно в другое, отношение длины переведенного предложения к длине исходного предложения может находится в пределах заданного диапазона. В случае если отношение не попадает в заданный диапазон, указывают, что данные корпуса, соответствующие обучающему предложению, могут быть неточными. В вариантах осуществления настоящего изобретения путем задания диапазона отношения первого обучающего предложения ко второму обучающему предложению, может быть гарантирована точность данных корпуса. Точность данных корпуса может быть также гарантирована путем достижения точности перевода между первым обучающим предложением и вторым обучающим предложением и принятия данных корпуса, содержащих первое обучающее предложение и второе обучающее предложение, в качестве эффективных данных корпуса, только когда точность перевода выше заданного порогового значения точности.
[00111] В вариантах осуществления настоящего изобретения могут определять M двуязычных пар предложений, подлежащих обобщению, из по меньшей мере одной потенциально подходящей двуязычной пары предложений, в соответствии с заданным условием. Вероятность нахождения неточных данных может быть уменьшена путем ограничения условия фильтрации двуязычной пары предложений, подлежащей обобщению, и точность двуязычной пары предложений, подлежащей обобщению, может быть повышена.
[00112] В других опциональных вариантах осуществления операция, на которой генерируют M обобщенных двуязычных шаблонов предложений на основе M двуязычных пар предложений, подлежащих обобщению, может включать в себя:
[00113] Заменяют K исходных двуязычных словарных пар, содержащихся в M двуязычных парах предложений, подлежащих обобщению, на K общих двуязычных словарных пар, и генерируют M обобщенных двуязычных шаблонов предложений, причем K представляет собой положительное целое число.
[00114] Операция, на которой генерируют множество дополненных двуязычных пар обучающих предложений в соответствии с M обобщенными двуязычными шаблонами предложений и N исходными двуязычными словарными парами, содержащимися в двуязычном словаре, может включать в себя:
[00115] заменяют каждую из K общих двуязычных словарных пар в M обобщенных двуязычных шаблонах предложений на N исходных двуязычных словарных пар, содержащихся в двуязычном словаре, и генерируют K*N*M дополненных двуязычных пар обучающих предложений.
[00116] При этом M обобщенных двуязычных шаблонов предложений, соответственно содержащих K общих двуязычных словарных пар, могут быть обобщены путем замены K исходных двуязычных словарных пар, содержащихся в M двуязычных парах предложений, подлежащих обобщению, на K общих двуязычных словарных пар. Когда требуется заменить слова с множеством типов словарных атрибутов в M обобщенных двуязычных шаблонах предложений, также может быть достигнута совместимость. Например, могут быть сгенерированы M обобщенных двуязычных шаблонов предложений, в которых может быть заменено как имя существительное, так и глагол.
[00117] K*N*M дополненных двуязычных пар обучающих предложений могут быть сгенерированы путем замены каждой из K общих двуязычных словарных пар в M обобщенных двуязычных шаблонах предложений на N исходных двуязычных словарных пар, содержащихся в двуязычном словаре.
[00118] Таким образом, могут быть получены более обобщенные двуязычные шаблоны предложений. После того, как заменяющий символ в обобщенном двуязычном шаблоне предложения заменен на исходную двуязычную словарную пару в двуязычном словаре, может быть получено большее количество двуязычных данных корпусов, и могут быть улучшены гибкость и многообразие получаемых данных.
[00119] Когда M=1, а именно, имеется только одна двуязычная пара предложений, подлежащая обобщению, и эта двуязычная пара предложений, подлежащая обобщению, содержит K исходных двуязычных слов, K исходных двуязычных слов могут быть заменены на K общих двуязычных слов, и может быть сгенерирован обобщенный двуязычный шаблон предложения. Таким образом, каждое общее двуязычное слово в обобщенном двуязычном шаблоне предложения может быть заменено на N исходных двуязычных слов в двуязычном словаре для генерирования N*K дополненных двуязычных пар обучающих предложений.
[00120] В вариантах осуществления настоящего изобретения, путем замены исходной двуязычной словарной пары в двуязычной паре предложений, подлежащей обобщению, на общее двуязычное слово, отличающееся от других слов в двуязычной паре предложений, подлежащей обобщению, возможно быстро локализовать общее двуязычное слово и выполнить соответствующую обработку применительно к общему двуязычному слову. Например, исходная двуязычная словарная пара в двуязычной паре предложений, подлежащей обобщению, может быть заменена на общую двуязычную словарную пару, имеющую тот же словарный атрибут, что и другие слова в двуязычной паре предложений, подлежащей обобщению, затем может быть построена завершенная пара предложений на основе общей двуязычной словарной пары и других слов, уже существующих в двуязычной паре предложений, подлежащей обобщению, что может уменьшить несовместимость между добавленным общим двуязычным словом и обобщенным двуязычным шаблоном предложения, а также увеличить эффективность обработки данных.
[00121] В вариантах осуществления настоящего изобретения, путем генерирования обобщенного двуязычного шаблона предложения с помощью двуязычного словаря и двуязычной пары предложений, подлежащей обобщению, и путем обобщения и дополнения обобщенного двуязычного шаблона предложения на основе исходной двуязычной словарной пары в двуязычном словаре, может быть получена крупномасштабная дополненная двуязычная пара обучающих предложений для генерирования дополненного двуязычного обучающего набора. Качество данных дополненного двуязычного обучающего набора может быть также улучшено на основе того, что данные в двуязычном словаре и двуязычной паре предложений, подлежащей обобщению, получены с помощью точной фильтрации.
[00122] В вариантах осуществления настоящего изобретения общее двуязычное слово может представлять собой символ или комбинацию символов, не создающих помех распознаванию слов на первом языке и втором языке. Например, общее двуязычное слово может также представлять собой символ или комбинацию символов языков, отличных от первого языка и второго языка.
[00123] В других опциональных вариантах осуществления общее двуязычное слово может включать в себя символ незавершения. Символ незавершения может быть предназначен для обозначения того, что предложение не завершено.
[00124] При этом, путем задания общего двуязычного слова в качестве символа незавершения, когда первое двуязычное слово в первых двуязычных данных корпусов заменяют на общее двуязычное слово, может быть уменьшено влияние общего двуязычного слова на атрибут целого предложения, и может быть улучшена точность полученных вторых двуязычных данных корпусов.
[00125] В других опциональных вариантах осуществления способ может дополнительно включать в себя:
[00126] выполняют обработку слияния применительно к дополненному двуязычному обучающему набору и исходному двуязычному обучающему набору для получения целевого двуязычного обучающего набора; и
[00127] выполняют обучение модели для получения целевой модели перевода на основе целевого двуязычного обучающего набора;
[00128] Целевая модель перевода может быть предназначена для перевода данных корпуса между первым языком и вторым языком.
[00129] В других опциональных вариантах осуществления словарные атрибуты первого двуязычного слова и второго двуязычного слова могут представлять собой имя существительное.
[00130] При этом, после выполнения обработки слияния применительно к дополненному двуязычному обучающему набору и исходному двуязычному обучающему набору для получения целевого двуязычного обучающего набора, новая модель машинного перевода может быть обучена на основе заданной модели машинного перевода, что улучшает качество перевода модели машинного перевода.
[00131] В других опциональных вариантах осуществления словарные атрибуты первого двуязычного слова и второго двуязычного слова могут представлять собой имя существительное, имя прилагательное, глагол, наречие и т.д., не ограничиваясь конкретной частью речи.
[00132] На фиг. 2 представлена вторая блок-схема, иллюстрирующая способ обработки информации в соответствии с примерным вариантом осуществления. Как показано на фиг. 2, способ может включать в себя следующие этапы.
[00133] На этапе 201 выполняют построение двуязычного словаря.
[00134] При этом категория и область знаменательного слова могут определять в соответствии с ошибкой перевода, вызванной именованием знаменательного слова, и может быть определена двуязычная словарная пара, соответствующая знаменательному слову. Например, может быть вручную промаркировано большое количество двуязычных словарных пар  в области, а затем может быть выполнено построение двуязычного словаря в соответствии с двуязычной парой слов, причем  представляет двуязычную словарную пару, содержащуюся в двуязычном словаре,  представляет двуязычное слово 1го первого языка,  представляет двуязычное слово 1го второго языка,  представляет двуязычное слово i-го первого языка,  представляет двуязычное слово i-го второго языка,  представляет двуязычное слово n-го первого языка, а  представляет двуязычное слово n-го второго языка; i и n представляют собой положительные целые числа.
[00135] Можно принять, что знаменательное слово представляет собой, например, личное имя. Охват существующих двуязычных данных для личных имен ограничен, модель машинного перевода, обученная на основе этих двуязычных данных, не может правильно перевести введенное личное имя, и, таким образом, может быть получен некорректный результат перевода. В таком случае большое количество двуязычных личных имен может быть собрано в соответствии с ошибками перевода, полученных посредством обратной связи от пользователя, и может быть сгенерирован двуязычный справочник на основе личных имен, а именно, двуязычный словарь на основе личных имен. Как показано в Таблице 4, на которой представлен двуязычный справочник личных имен согласно настоящему изобретению, «李XX|||LiXX» являются часто встречающимися двуязычными словам, а также принадлежат к категории личных имен, «|||» представляет собой символ разделения. При построении двуязычного справочника, помимо незарегистрированных слов и редко встречающихся слов в обучающих данных, часто встречающиеся слова этой категории также могут быть добавлены в двуязычный справочник для дальнейшего проведения поиска связанного двуязычного шаблона предложения в исходном двуязычном обучающем наборе.
Таблица 4. Двуязычный справочник личных имен
Слово личного имени на первом языке
Слово личного имени на втором языке
Русская транскрипция по системе Палладия*(*отсутствует в международной заявке)
刘XX
Liu XX
Лю ХХ
蔡XX
Cai XX
Цай ХХ
张XX
Zhang XX
Чжан ХХ
林XX
Lin XX
Линь ХХ
李XX
Li XX
Ли ХХ
[00136] На этапе 202 выполняют построение обобщенного двуязычного шаблона предложения.
[00137] При этом может быть автоматически проведен поиск соответствующей потенциально подходящей двуязычной пары предложений в исходном двуязычном обучающем наборе  в соответствии с двуязычной словарной парой в конкретной области, собранной на этапе 201, а затем может быть получена двуязычная пара предложений, подлежащая обобщению, на основе потенциально подходящей двуязычной пары предложений, и может быть получен высокодоступный обобщенный двуязычный шаблон предложения с двуязычным выровненным символом незавершения путем фильтрации в соответствии с заданным правилом, при этом  представляет первое обучающее предложение на 1-м первом языке,  представляет второе обучающее предложение на 1-м втором языке,  представляет первое обучающее предложение на m-м первом языке, а  представляет второе обучающее предложение на m-м втором языке; m представляет собой положительное целое число. Ниже приведен пример.
[00138] (1) Возьмем, например, английско-китайские двуязычные данные, как показано в Таблице 5, в которой представлен исходный двуязычный обучающий набор в соответствии с настоящим изобретением; предположим, что исходный двуязычный обучающий набор D содержит 5 исходных двуязычных пар обучающих предложений, как показано ниже:
Таблица 5. Исходный двуязычный обучающий набор
Первое обучающее предложение на первом языке
Второе обучающее предложение на втором языке
Русский перевод* (*отсутствует в международной заявке)
1
李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。
Li also stressed the importance of maintaining a stable tax policy, pointing out that China is in a critical period of economic recovery.
Ли также подчеркнул важность поддержания стабильной налоговой политики и отметил, что Китай проходит критический период экономического восстановления.
2
想知道在东莞科学馆附近怎么停车？
I'd like to know how to park near the Dongguan science museum?
Я бы хотел узнать, как припарковаться рядом с музеем науки в Дунгуане?
3
每种花都有独特的含义。
Each flower has a unique meaning.
Каждый цветок имеет уникальное значение.
4
李XX将于周五晚间在澳大利亚首都堪培拉同澳大利亚总理会晤。
Li XX will meet with Australian prime minister in the Australian capital Canberra on Friday night.
Ли ХХ встретится с премьер-министром Австралии в столице Австралии Канберре в пятницу вечером.
5
为了阻止空气被污染，必须采取一些措施。
Some measures must be taken to prevent the air from being polluted.
Должны быть приняты некоторые меры для предотвращения загрязнения воздуха.
[00139] (2) Разделение слов выполняется применительно к исходному предложению на китайском языке (первое обучающее предложение) и целевому предложению на английском языке (второе обучающее предложение) в исходном двуязычном обучающем наборе D; как показано в Таблице 6, на которой представлен исходный двуязычный обучающий набор после разделения слов в соответствии с настоящим изобретением. Исходный двуязычный обучающий набор после разделения слов выглядит следующим образом:
Таблица 6. Исходный двуязычный обучающий набор после разделения
Первое обучающее предложение на первом языке
Второе обучающее предложение на втором языке
Русский перевод*(*отсутствует в международной заявке)
1
李XX 同时 强调 保持 稳定 的 税收 政策 的 重要性 , 指出 中国 正处于 经济 恢复 的 关键 时期 。
Li also stressed the importance of maintaining a stable tax policy, pointing out that China is in a critical period of economic recovery.
Ли также подчеркнул важность поддержания стабильной налоговой политики и отметил, что Китай проходит критический период экономического восстановления.
2
想 知道 在 东莞 科学馆 附近 怎么 停车 ?
I'd like to know how to park near the Dongguan science museum?
Я бы хотел узнать, как припарковаться рядом с музеем науки в Дунгуане?
3
每种 花 都有 独特 的 含义 。
Each flower has a unique meaning.
Каждый цветок имеет уникальное значение.
4
李XX 将于 周五 晚间 在 澳大利亚 首都 堪培拉同 澳大利亚 总理 会晤 。
Li XX will meet with Australian prime minister in the Australian capital Canberra on Friday night.
Ли ХХ встретится с премьер-министром Австралии в столице Австралии Канберре в пятницу вечером.
5
为了 阻止 空气 被 污染 , 必须 采取 一些 措施 。
Some measures must be taken to prevent the air from being polluted.
Должны быть приняты некоторые меры для предотвращения загрязнения воздуха.
[00140] (3) Просматривают каждое двуязычное слово  в двуязычном словаре, причем  представляет двуязычный словарь,  представляет двуязычное слово в двуязычном словаре,  представляет двуязычное слово на i-м первом языке, а  представляет двуязычное слово на i-м втором языке; проводится поиск двуязычной пары  предложений в исходном двуязычном обучающем наборе D, причем  представляет двуязычную пару предложений, найденную в исходном двуязычном обучающем наборе D,  представляет первое обучающее предложение на 1-м первом языке,  представляет второе обучающее предложение на 1-м втором языке;  представляет первое обучающее предложение на s-м первом языке, а  представляет второе обучающее предложение на s-м втором языке;  удовлетворяет заданному условию, причем заданное условие может включать в себя по меньшей мере одну из следующих ситуаций:
[00141] а) длины предложений  и  не могут быть меньше 10;
[00142] b)  содержит один , и  также содержит один ;
[00143] с) отношение длины предложения  к длине предложения  не больше 5 и не меньше 1/5;
[00144] d)  и  соответствуют самое большее одной двуязычной словарной паре;
[00145] е) в соответствии с существующей моделью машинного перевода предложения с исходного языка на целевой язык (исх→цел) и существующей моделью машинного перевода с обратного целевого языка на исходный язык (цел→исх),  переводят для получения перевода , а  переводят для получения перевода , а затем используют алгоритм оценки качества текста (англ. Bilingual Evaluation Understudy, BLEU) для оценки  и  соответственно и достижения точности перевода  и ;  и  больше 0,25.  представляет первое обучающее предложение на i-м первом языке, а  представляет второе обучающее предложение на i-м втором языке.
[00146] На основе вышеуказанного заданного условия, может быть получена подходящая двуязычная пара предложений, подлежащая обобщению, , из исходного двуязычного обучающего набора D в соответствии с двуязычным словарем. Как показано в Таблице 7, на которой представлена двуязычная пара предложений, подлежащая обобщению, в соответствии с настоящим изобретением,  может включать в себя следующие ситуации:
Таблица 7. Двуязычная пара предложений, подлежащая обобщению
Первое обучающее предложение на первом языке
Второе обучающее предложение на втором языке
Русский перевод*(*отсутствует в международной заявке)
1
李XX 将于 周五 晚间 在 澳大利亚 首都 堪培拉同 澳大利亚 总理 会晤 。
Li XX will meet with Australian prime minister Kevin Rudd in the Australian capital Canberra on Friday night.
Ли ХХ встретится с премьер-министром Австралии Кевином Раддом в столице Австралии Канберре в пятницу вечером.
[00147] (4) Для каждой двуязычной пары предложений в  слова, совпадающие в предложении на исходном языке и предложении на целевом языке могут быть соответственно заменены на символ незавершения «<X1>», так что может быть получен обобщенный двуязычный шаблон  предложения, имеющий возможность обобщения. Как показано в Таблице 8, в которой проиллюстрирован обобщенный двуязычный шаблон предложения в соответствии с настоящим изобретением,  включает в себя следующие ситуации:
Таблица 8. Обобщенный двуязычный шаблон предложения
Обобщенный двуязычный шаблон предложения на первом языке
Обобщенный двуязычный шаблон предложения на втором языке
Русский перевод*(*отсутствует в международной заявке)
1
<X1>将于 周五 晚间 在 澳大利亚 首都 堪培拉同 澳大利亚 总理 会晤 。
<X1> will meet with Australian prime minister Kevin Rudd in the Australian capital Canberra on Friday night.
<X1> встретится с премьер-министром Австралии Кевином Раддом в столице Австралии Канберре в пятницу вечером.
[00148] В других опциональных вариантах осуществления, помимо того, что двуязычный шаблон предложения автоматически извлекают в соответствии с исходным двуязычным обучающим набором, также могут быть построены данные двуязычного шаблона предложения, имеющие возможность обобщения, путем ручного маркирования с учетом той проблемы, что перевод шаблона предложения является некорректным. Как показано в Таблице 9, в которой проиллюстрирован двуязычный шаблон предложения, имеющий возможность обобщения, в соответствии с настоящим изобретением,  может включать в себя следующие ситуации:
Таблица 9. Данные двуязычного шаблона предложения, имеющие возможность обобщения
Обобщенный двуязычный шаблон предложения на первом языке
Обобщенный двуязычный шаблон предложения на втором языке
Русский перевод*(*отсутствует в международной заявке)
1
你 认识 <X1> 么 ？
Do you know <X1>?
Вы знаете <X1>?
[00149] На основе вышеуказанного способа автоматического извлечения и ручного маркирования, может быть получен высококачественный и связанный с определенной областью обобщенный двуязычный шаблон  предложения.
[00150] На этапе 203 выполняют построение дополненного двуязычного обучающего набора, связанного с дополненной областью.
[00151] При этом, в соответствии с построенным обобщенным двуязычным шаблоном предложения с двуязычным выровненным символом незавершения и соответствующим двуязычным словарем, двуязычный выровненный символ незавершения может быть заменен на каждое двуязычное слово в двуязычном словаре с помощью нумерации каждого двуязычного шаблона предложения; таким образом, может быть получено N*M высококачественных дополненных двуязычных пар  обучающих предложений, связанных с областью, на основе ограниченных M обобщенных двуязычных шаблонов предложения и N двуязычных словарей в соответствующей области.
[00152] Например, могут быть построены следующие десять дополненных двуязычных пар обучающих предложений путем принятия двух двуязычных шаблонов предложений, связанных с областью личных имен в Таблице 8 и пяти двуязычных знаменательных слов в Таблице 4. Как показано в Таблице 10, в которой проиллюстрирована дополненная двуязычная пара обучающих предложений в соответствии с настоящим изобретением,  может включать в себя следующие ситуации:
Таблица 10. Дополненные двуязычные пары обучающих предложений
Дополненное двуязычное обучающее предложение на первом языке
Дополненное двуязычное обучающее предложение на втором языке
Русский перевод*(*отсутствует в международной заявке)
1
刘XX 将于 周五 晚间 在 澳大利亚 首都 堪培拉同 澳大利亚 总理 会晤 。
Liu XX will meet with Australian prime minister Kevin Rudd in the Australian capital Canberra on Friday night.
Лю XX встретится с премьер-министром Австралии Кевином Раддом в столице Австралии Канберре в пятницу вечером.
2
张XX 将于 周五 晚间 在 澳大利亚 首都 堪培拉同 澳大利亚 总理 会晤 。
Zhang XX will meet with Australian prime minister Kevin Rudd in the Australian capital Canberra on Friday night.
Чжан XX встретится с премьер-министром Австралии Кевином Раддом в столице Австралии Канберре в пятницу вечером.
3
蔡XX 将于 周五 晚间 在 澳大利亚 首都 堪培拉同 澳大利亚 总理 会晤 。
Cai XX will meet with Australian prime minister Kevin Rudd in the Australian capital Canberra on Friday night.
Цай XX встретится с премьер-министром Австралии Кевином Раддом в столице Австралии Канберре в пятницу вечером.
4
林XX 将于 周五 晚间 在 澳大利亚 首都 堪培拉同 澳大利亚 总理 会晤 。
Lin XX will meet with Australian prime minister Kevin Rudd in the Australian capital Canberra on Friday night.
Линь XX встретится с премьер-министром Австралии Кевином Раддом в столице Австралии Канберре в пятницу вечером.
5
李XX 将于 周五 晚间 在 澳大利亚 首都 堪培拉同 澳大利亚 总理 会晤 。
Li XX will meet with Australian prime minister Kevin Rudd in the Australian capital Canberra on Friday night.
Ли ХХ встретится с премьер-министром Австралии Кевином Раддом в столице Австралии Канберре в пятницу вечером.
6
你 认识 刘XX 么 ？
do you know Liu XX?
Вы знаете Лю XX?
7
你 认识 张XX 么 ？
do you know Zhang XX?
Вы знаете Чжана (Чжан) XX?
8
你 认识 蔡XX 么 ？
do you know Cai XX?
Вы знаете Кая (Кай) XX?
9
你 认识 林XX 么 ？
do you know Lin XX?
Вы знаете Линя (Линь) XX?
10
你 认识 李XX 么 ？
do you know Li XX?
Вы знаете Ли ХХ?
[00153] На этапе 204 выполняют объединение дополненного двуязычного обучающего набора и исходного двуязычного обучающего набора, и выполняют переобучение модели машинного перевода на основе целевого двуязычного обучающего набора, полученного путем указанного слияния.
[00154] При этом, дополненный двуязычный обучающий набор , сгенерированный на этапе 203 и исходный двуязычный обучающий набор D могут быть скомбинированы для построения крупномасштабного целевого двуязычного обучающего набора , а заданная модель перевода может быть переобучена на основе  для получения новой модели машинного перевода, так что качество перевода модели машинного перевода может быть улучшено.
[00155] В вариантах осуществления настоящего изобретения, путем автоматического извлечения двуязычного шаблона предложения и ручной маркировки двуязычного шаблона предложения в данных корпуса в исходном двуязычном обучающем наборе, а также путем использования накопленных связанных с областью двуязычных данных справочника, высококачественный двуязычный шаблон предложения с информацией о слотах слов может быть извлечен из двуязычной пары предложений в соответствии со связанным с областью двуязычным словом; а дополненные двуязычные данные могут быть построены в соответствии с автоматически извлеченным и вручную промаркированным шаблоном предложения с информацией о слотах слов и связанным с областью двуязычным словом, так что может быть сгенерирован большой объем высококачественных и связанных с областью двуязычных данных корпуса для обучения модели машинного перевода.
[00156] Новые двуязычные данные корпуса могут содержать большой объем новой словарной информации или новой информации о двуязычных шаблонах предложений, а ошибка перевода, полученная посредством обратной связи от пользователя, может быть учтена в качестве поправочного коэффициента, так что могут быть эффективно улучшены качество перевода новых слов, «горячие слова» и другие знаменательные слова исходной модели машинного перевода, а также может быть улучшено качество перевода шаблона предложения, не найденного в исходных двуязычных данных корпуса модели машинного перевода, что эффективно улучшает впечатления пользователя от применения продукта машинного перевода.
[00157] На фиг. 3 показана структурная схема устройства обработки информации в соответствии с примерным вариантом осуществления. Как показано на фиг. 3, устройство 300 обработки информации может главным образом содержать:
[00158] первый получающий модуль 301, выполненный с возможностью получения двуязычного словаря, содержащего N исходных двуязычных словарных пар, причем каждая из N исходных двуязычных словарных пар содержит первое слово, представленное на первом языке, и второе слово, представленное на втором языке и имеющее то же значение, что и первое слово, причем N представляет собой положительное целое число;
[00159] второй получающий модуль 302, выполненный с возможностью получения исходного двуязычного обучающего набора, содержащего множество исходных двуязычных пар обучающих предложений, причем каждая исходная двуязычных пар обучающих предложений содержит первое обучающее предложение, представленное на первом языке, и второе обучающее предложение, представленное на втором языке и имеющее то же значение, что и первое обучающее предложение;
[00160] выбирающий модуль 303, выполненный с возможностью выбора по меньшей мере одной исходной двуязычной пары обучающих предложений, соответствующей любой из N исходных двуязычных словарных пар, из исходного двуязычного обучающего набора, в качестве по меньшей мере одной потенциально подходящей двуязычной пары предложений;
[00161] модуль 304 построения, выполненный с возможностью построения обобщенного двуязычного шаблона предложения на основе по меньшей мере одной потенциально подходящей двуязычной пары предложений; и
[00162] третий получающий модуль 305, выполненный с возможностью получения дополненного двуязычного обучающего набора, содержащего множество дополненных двуязычных пар обучающих предложений на основе двуязычного словаря и обобщенного двуязычного шаблона предложения.
[00163] В других опциональных вариантах осуществления первое обучающее предложение, содержащееся в исходной двуязычной паре обучающих предложений, выбранной в качестве потенциально подходящей двуязычной пары предложений, может содержать по меньшей мере: первое слово, содержащееся в любой из N исходных двуязычных словарных пар;
[00164] второе обучающее предложение, содержащееся в исходной двуязычной паре обучающих предложений, выбранной в качестве потенциально подходящей двуязычной пары предложений, содержит по меньшей мере: второе слово, имеющее то же значение, что и первое слово, содержащееся в любой из N исходных двуязычных словарных пар.
[00165] В других опциональных вариантах осуществления, модуль построения может быть, например, выполнен с возможностью:
[00166] определения, из по меньшей мере одной потенциально подходящей двуязычной пары предложений, M двуязычных пар предложений, подлежащих обобщению в соответствии с заданным условием, причем M представляет собой положительное целое число; и
[00167] генерирования M обобщенных двуязычных шаблонов предложений на основе M двуязычных пар предложений, подлежащий обобщению.
[00168] Третий получающий модуль может быть, например, выполнен с возможностью:
[00169] генерирования множества дополненных двуязычных пар обучающих предложений в соответствии с M обобщенными двуязычными шаблонами предложений и N исходными двуязычными словарными парами, содержащимися в двуязычном словаре; и
[00170] получения дополненного двуязычного обучающего набора на основе множества дополненных двуязычных пар обучающих предложений.
[00171] В других опциональных вариантах осуществления заданное условие может включать в себя по меньшей мере одну из следующих ситуаций:
[00172] как длина первого обучающего предложения, так и длина второго обучающего предложения больше или равны заданному пороговому значению длины предложения;
[00173] отношение длины первого обучающего предложения к длине второго обучающего предложения больше или равно первому заданному отношению и меньше или равно второму заданному отношению; и
[00174] как точность перевода первого обучающего предложения, так и точность перевода второго обучающего предложения больше заданного порогового значения точности.
[00175] В других опциональных вариантах осуществления, модуль построения может быть, например, дополнительно выполнен с возможностью:
[00176] замены K исходных двуязычных словарных пар, содержащихся в M двуязычных парах предложений, подлежащих обобщению, на K общих двуязычных словарных пар, и генерирования M обобщенных двуязычных шаблонов предложений, причем K представляет собой положительное целое число.
[00177] Третий получающий модуль может быть, например, дополнительно выполнен с возможностью:
[00178] замены каждой из K общих двуязычных словарных пар в M обобщенных двуязычных шаблонах предложений на N исходных двуязычных словарных пар, содержащихся в двуязычном словаре, и генерирования K*N*M дополненных двуязычных пар обучающих предложений.
[00179] В других опциональных вариантах осуществления общее двуязычное слово может включать в себя символ незавершения. Символ незавершения может быть предназначен для обозначения того, что предложение не завершено.
[00180] В других опциональных вариантах осуществления, устройство может дополнительно содержать:
[00181] модуль слияния, выполненный с возможностью выполнения обработки слияния применительно к дополненному двуязычному обучающему набору и исходному двуязычному обучающему набору для получения целевого двуязычного обучающего набора; и
[00182] модуль обучения, выполненный с возможностью выполнения обучения модели для получения целевой модели перевода на основе целевого двуязычного обучающего набора;
[00183] При этом целевая модель перевода предназначена для перевода предложения между первым языком и вторым языком.
[00184] В отношении устройства в вышеуказанных вариантах осуществления, конкретный режим каждого модуля, выполняющего операции, был раскрыт подробно в вариантах осуществления способа и здесь повторяться не будет.
[00185] На фиг. 4 показана структурная схема конструкции аппаратного обеспечения устройства 400 обработки информации в соответствии с примерным вариантом осуществления. Например, устройство 400 может представлять собой мобильный телефон, компьютер, цифровой широковещательный терминал, устройство обмена сообщениями, игровую консоль, планшетный компьютер, медицинское устройство, тренажерное оборудование и персональный цифровой помощник.
[00186] На фиг. 4 устройство 400 может содержать один или более из следующих компонентов: компонент 402 обработки, память 404, компонент 406 питания, мультимедийный компонент 408, аудио-компонент 410, интерфейс 412 ввода/вывода (I/O), сенсорный компонент 414 и компонент 416 связи.
[00187] Компонент 402 обработки в типичном случае выполнен с возможностью управления всеми операциями устройства 400, такими как операции, связанные с отображением, телефонными звонками, передачей данных, операциями камеры и операциями записи. Компонент 402 обработки может содержать один или более процессоров 420 для исполнения инструкций для осуществления всех или части операций вышеупомянутого способа. Кроме того, компонент 402 обработки может содержать один или более модулей, которые способствуют взаимодействию между компонентом 402 обработки и другими компонентами. Например, компонент 402 обработки может содержать мультимедийный модуль для способствования взаимодействию между мультимедийным компонентом 408 и компонентом 402 обработки.
[00188] Память 404 выполнена с возможностью хранения различных типов данных для поддержания работы устройства 400. Например, такие данные могут включать в себя инструкции для любых прикладных программ или способов, выполняемых на устройстве 400, контактных данных, данных телефонной книжки, сообщений, изображений, видео и т.д. Память 404 может быть реализована посредством любого типа временных или долговременных запоминающих устройств или их комбинации, таких как статическое запоминающее устройство с произвольной выборкой (СЗУПВ), электрически стираемое программируемое постоянное запоминающее устройство (ЭСППЗУ), стираемое программируемое постоянное запоминающее устройство (СППЗУ), программируемое постоянное запоминающее устройство (ППЗУ), постоянное запоминающее устройство (ПЗУ), магнитная память, флеш-память и магнитный или оптический диск.
[00189] Компонент 406 питания выполнен с возможностью обеспечения питанием различных компонентов устройства 400. Компонент 406 питания может содержать систему управления питанием, один или более источников питания и другие компоненты, связанные с генерированием, управлением и распределением мощности для устройства 400.
[00190] Мультимедийный компонент 408 может содержать экран для предоставления интерфейса вывода между устройством 400 и пользователем. В некоторых вариантах осуществления экран может включать в себя жидкокристаллический дисплей (LCD, от англ. Liquid Crystal Display) и сенсорную панель (TP, от англ. Touch Panel). Если экран содержит TP, экран может быть реализован в виде сенсорного экрана для приема входного сигнала от пользователя. TP может содержать один или более датчиков касания для распознавания касаний, «смахиваний» и жестов на TP. Датчики касания могут не только распознавать границы касания или смахивающих действий, но также и определять продолжительность и давление, связанное с касанием или смахивающим действием. В некоторых вариантах осуществления мультимедийный компонент 408 может содержать фронтальную камеру и/или заднюю камеру. Фронтальная камера и/или задняя камера могут принимать внешние мультимедийные данные, когда устройство 400 находится в рабочем режиме, например, режиме фотографирования или режиме видео. Каждая из фронтальной камеры и задней камеры могут представлять собой фиксированные оптические объективы или могут обладать возможностями фокусировки и оптической трансфокации.
[00191] Аудио-компонент 410 выполнен с возможностью вывода и/или ввода аудио-сигнала. Например, аудио-компонент 410 содержит микрофон (МИК), который выполнен с возможностью приема внешнего аудио сигнала, когда устройство 400 находится в рабочем режиме, таком как режим звонка, режим записи и режим распознавания голоса. Принятый аудио сигнал может быть далее сохранен в памяти 404 или отправлен через компонент 416 связи. В некоторых вариантах осуществления аудио-компонент 410 дополнительно содержит динамик, выполненный с возможностью вывода аудио сигнала.
[00192] Интерфейс 412 ввода/вывода выполнен с возможностью обеспечения интерфейса между компонентом 402 обработки и модулем периферийного интерфейса. Модуль периферийного интерфейса может представлять собой клавиатуру, нажимное колесико, кнопку и тому подобное. Кнопка может включать в себя, но не ограничиваясь: кнопка «домой», кнопка звука, кнопка включения и кнопка блокировки.
[00193] Сенсорный компонент 414 может содержать один или более датчиков, выполненных с возможностью обеспечения оценки состояния в различных аспектах устройства 400. Например, сенсорный компонент 414 может обнаруживать состояние вкл/выкл устройства 400 и относительное позиционирование компонентов, таких как дисплей и небольшая клавиатура устройства 400, причем сенсорный компонент 414 может дополнительно обнаруживать изменение положения устройства 400 или компонента устройства 400, наличие или отсутствие контакта между пользователем и устройством 400, работу или ускорение/замедление устройства 400 и изменение температуры устройства 400. Сенсорный компонент 414 может содержать бесконтактный датчик, выполненный с возможностью обнаружения присутствия находящегося поблизости объекта без какого-либо физического контакта. Сенсорный компонент 414 может также содержать светочувствительный элемент, такой как датчик изображения на основе комплементарной структуры металл-оксид-полупроводник (КМОП) или прибора с зарядовой связью (ПЗС), выполненный для использования в приложении для формирования изображения. В некоторых вариантах осуществления сенсорный компонент 414 может также содержать датчик ускорения, гироскопический датчик, магнитный датчик, датчик давления или датчик температуры.
[00194] Компонент 416 связи выполнен с возможностью обеспечения возможности проводной или беспроводной связи между устройством 400 и другим устройством. Устройство 400 может иметь доступ к беспроводной сети, основанной на стандарте связи, такой как сеть WiFi, сеть 2-го поколения (2G, от англ. 2nd-Generation) или сеть 3-го поколения (3G, от англ. 3rd-Generation) или их комбинация. В примерном варианте осуществления компонент 416 связи принимает широковещательный сигнал или информацию, связанную с широковещанием, от внешней системы управления широковещанием через широковещательный канал. В примерном варианте осуществления компонент 416 связи может дополнительно содержать модуль связи ближнего действия (NFC, от англ. Near Field Communication) для обеспечения возможности связи на коротком расстоянии. Например, модуль NFC может быть реализован на основе технологии радиочастотной идентификации (RFID, от англ. Radio Frequency Identification), технологии ассоциации инфракрасной передачи данных (IrDA, от англ. Infrared Data Association), технологии сверхширокополостной связи (UWB, от англ. Ultra-WideBand), технологии Bluetooth (BT) или другой технологии.
[00195] В примерном варианте осуществления устройство 400 может быть реализовано с помощью одной или более специализированных интегральных микросхем (ASIC, от англ. Application Specific Integrated Circuit), цифровых процессоров сигналов (DSP, от англ. Digital Signal Processor), устройств цифровой обработки сигналов (DSPD, от англ. Digital Signal Processing Device), программируемых логических устройств (PLD, от англ. Programmable Logic Device), программируемых пользователем вентильных матриц (FPGA, от англ. Field Programmable Gate Array), контроллеров, микроконтроллеров, микропроцессоров или других электронных компонентов, и выполнено с возможностью исполнения вышеупомянутого способа.
[00196] В примерном варианте осуществления также предусмотрен долговременный машиночитаемый носитель данных, содержащий инструкции, такой как память 404, содержащая инструкции, причем инструкции могут быть исполнены процессором 420 устройства 400 для реализации вышеупомянутого способа. Например, долговременный машиночитаемый носитель данных может представлять собой постоянное запоминающее устройство (ПЗУ), оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство на компакт-диске (CD-ROM), магнитную ленту, гибкий диск, оптическое запоминающее устройство и тому подобное.
[00197] Предусмотрен долговременный машиночитаемый носитель данных. При исполнении инструкций на носителе данных с помощью процессора электронного устройства, обеспечивается возможность выполнения электронным устройством способа управления информацией. Способ может включать в себя:
[00198] получают двуязычный словарь, содержащий N исходных двуязычных словарных пар, причем каждая из N исходных двуязычных словарных пар содержит первое слово, представленное на первом языке, и второе слово, представленное на втором языке и имеющее то же значение, что и первое слово, причем N представляет собой положительное целое число;
[00199] получают исходный двуязычный обучающий набор, содержащий множество исходных двуязычных пар обучающих предложений, причем каждая исходная двуязычная пара обучающих предложений содержит первое обучающее предложение, представленное на первом языке, и второе обучающее предложение, представленное на втором языке и имеющее то же значение, что и первое обучающее предложение;
[00200] выбирают по меньшей мере одну исходную двуязычную пару обучающих предложений, соответствующую любой из N исходных двуязычных словарных пар, из исходного двуязычного обучающего набора, в качестве по меньшей мере одной потенциально подходящей двуязычной пары предложений;
[00201] выполняют построение обобщенного двуязычного шаблона предложения на основе указанной по меньшей мере одной потенциально подходящей двуязычной пары предложений; и
[00202] получают дополненный двуязычный обучающий набор, содержащий множество дополненных двуязычных пар обучающих предложений, на основе двуязычного словаря и обобщенного двуязычного шаблона предложения.
[00203] Другие решения реализации настоящего изобретения будут понятны специалисту в данной области техники из рассмотрения описания и практики реализации настоящего изобретения. Предполагается, что настоящее изобретение покрывает любые вариации, варианты использования или адаптации настоящего изобретения, следуя его общим принципам, и включает в себя такие отклонения от настоящего изобретения, которые могут быть иметь место в пределах известной или привычной практики в области техники. Предполагается, что настоящее описание и примеры должны рассматриваться только в качестве примеров в рамках действительного объема и существа настоящего изобретения, указанных в нижеследующей формуле изобретения.
[00204] Следует понимать, что настоящее изобретение не ограничено точной конструкцией, раскрытой выше и проиллюстрированной на прилагаемых чертежах, и что могут быть внесены различные модификации и изменения без отступления от объема изобретения. Предполагается, что объем настоящего изобретения ограничен только прилагаемой формулой изобретения.