СПОСОБ И СЕРВЕР ДЛЯ ОБУЧЕНИЯ АЛГОРИТМА МАШИННОГО ОБУЧЕНИЯ ПЕРЕВОДУ

1. Способ обучения алгоритма машинного обучения (MLA) переводу текстовой строки на первом языке параллельной текстовой строкой на втором языке, выполняемый сервером, реализующим алгоритм MLA и имеющим доступ к парам обучающих строк, каждая из которых содержит (1) текстовую строку на первом языке и (2) параллельную текстовую строку на втором языке, при этом пары обучающих строк встречаются в соответствующих контекстах, включая основной контекст и по меньшей мере один вспомогательный контекст, алгоритм MLA обучен с использованием первого набора пар обучающих строк определению параллельной текстовой строки на втором языке в ответ на текстовую строку на первом языке, первый набор пар обучающих строк имеет естественную пропорцию пар строк каждого контекста, алгоритм MLA смещен к формированию параллельной текстовой строки в качестве перевода соответствующей текстовой строки, встречающейся в основном контексте, и способ включает в себя:
определение сервером второго набора пар обучающих строк для обучения алгоритма MLA, при этом второй набор пар обучающих строк имеет контролируемую пропорцию пар строк каждого контекста, и пары обучающих строк во втором наборе пар обучающих строк связаны с метками, указывающими на контекст соответствующих пар обучающих строк; и
повторное обучение сервером алгоритма MLA с использованием второго набора пар обучающих строк и соответствующих меток, при этом алгоритм MLA повторно обучается определению контекста этапа использования для текстовой строки этапа использования и формированию соответствующей параллельной текстовой строки этапа использования в качестве перевода текстовой строки этапа использования с учетом контекста этапа использования.
2. Способ по п. 1, в котором естественная пропорция пар строк каждого контекста соответствует пропорции пар строк каждого контекста, который может быть получен из множества сетевых ресурсов, доступных через сеть связи.
3. Способ по п. 1, в котором обучающая текстовая строка, встречающаяся в основном контексте, содержит основной контент сетевого ресурса, а другая обучающая текстовая строка, встречающаяся в по меньшей мере одном вспомогательном контексте, содержит по меньшей мере одно из следующего:
контент нижнего колонтитула сетевого ресурса;
контент верхнего колонтитула сетевого ресурса;
контент заголовка сетевого ресурса; и
контент управления навигацией сетевого ресурса.
4. Способ по п. 1, в котором естественная пропорция относится к большинству пар обучающих строк в первом наборе пар обучающих строк, встречающихся в основном контексте.
5. Способ по п. 1, в котором контролируемая пропорция содержит по существу равные пропорции пар обучающих строк, встречающихся в основном контексте и в по меньшей мере одном вспомогательном контексте.
6. Способ по п. 1, в котором алгоритм MLA содержит кодер, предназначенный для текстовых строк на первом языке, и декодер, предназначенный для текстовых строк на втором языке, при этом повторное обучение алгоритма MLA включает в себя обучение сервером кодера формированию выходных данных кодера для (1) обучающей текстовой строки на первом языке из пары обучающих строк во втором наборе пар строк и (2) соответствующей метки и обучение сервером декодера формированию выходных данных декодера для (1) обучающей параллельной текстовой строки на втором языке из пары обучающих строк во втором наборе пар строк и (2) соответствующей метки таким образом, чтобы максимально увеличить сходство между выходными данными кодера и выходными данными декодера.
7. Способ по п. 1, отличающийся тем, что включает в себя:
получение сервером первой текстовой строки этапа использования на первом языке, содержащей заданное слово;
получение сервером второй текстовой строки этапа использования на первом языке, содержащей заданное слово;
выполнение сервером алгоритма MLA для формирования первой параллельной текстовой строки этапа использования на втором языке на основе первой текстовой строки этапа использования, при этом заданное слово переводится первым параллельным словом из первой параллельной текстовой строки этапа использования;
выполнение сервером алгоритма MLA для формирования второй параллельной текстовой строки этапа использования на втором языке на основе второй текстовой строки этапа использования, при этом заданное слово переводится вторым параллельным словом из второй параллельной текстовой строки этапа использования,
при этом если алгоритм MLA определяет, что контекст первой текстовой строки этапа использования отличается от контекста второй текстовой строки этапа использования, то первое параллельное слово и второе параллельное слово являются разными переводами заданного слова.
8. Способ по п. 1, в котором повторное обучение алгоритма MLA включает в себя использование сервером функции потерь, ограничивающей адаптацию, при повторном обучении алгоритма MLA, и функция потерь, ограничивающая адаптацию, способна после обучения алгоритма MLA ограничивать адаптацию алгоритма MLA, обученного на основе первого набора пар обучающих строк.
9. Способ по п. 8, в котором ограничение адаптации алгоритма MLA включает в себя ограничение ухудшения качества перевода текстовой строки этапа использования, встречающейся в основном контексте.
10. Способ по п. 8, в котором использование функции потерь, ограничивающей адаптацию, на итерации в ходе повторного обучения алгоритма MLA включает в себя следующее:
вычисление сервером распределения «учителей» для заданного слова при переводе алгоритмом MLA согласно обучению до повторного обучения, при этом распределение «учителей» указывает на вероятность того, что соответствующие потенциальные слова являются переводом заданного слова, определенным алгоритмом MLA согласно обучению до повторного обучения;
вычисление сервером распределения «учеников» для заданного слова при переводе повторно обученным алгоритмом MLA, при этом распределение «учеников» указывает на вероятность того, что соответствующие потенциальные слова являются переводом заданного слова, определенным повторно обученным алгоритмом MLA на данной итерации;
вычисление сервером значения перекрестной энтропии, являющегося первым типом меры сходства между распределением «учеников» и фактическим распределением, указывающим на правильный перевод заданного слова, встречающегося в соответствующем контексте;
вычисление сервером значения расхождения, являющегося вторым типом меры сходства между распределением «учителей» и распределением «учеников»; и
вычисление сервером взвешенной суммы значения перекрестной энтропии и значения расхождения, являющейся значением функции потерь, ограничивающей адаптацию, для заданного слова на данной итерации.
11. Сервер для обучения алгоритма машинного обучения (MLA) переводу текстовой строки на первом языке параллельной текстовой строкой на втором языке, реализуемый сервером, имеющим доступ к парам обучающих строк, каждая из которых содержит (1) текстовую строку на первом языке и (2) параллельную текстовую строку на втором языке, при этом пары обучающих строк встречаются в соответствующих контекстах, включая основной контекст и по меньшей мере один вспомогательный контекст, алгоритм MLA обучен с использованием первого набора пар обучающих строк определению параллельной текстовой строки на втором языке в ответ на текстовую строку на первом языке, первый набор пар обучающих строк имеет естественную пропорцию пар строк каждого контекста, алгоритм MLA смещен к формированию параллельной текстовой строки в качестве перевода текстовой строки, встречающейся в основном контексте, а сервер выполнен с возможностью:
определения второго набора пар обучающих строк для обучения алгоритма MLA, при этом второй набор пар обучающих строк имеет контролируемую пропорцию пар строк каждого контекста, и пары обучающих строк во втором наборе пар обучающих строк связаны с метками, указывающими на контекст соответствующих пар обучающих строк; и
повторного обучения сервером алгоритма MLA с использованием второго набора пар обучающих строк и соответствующих меток, при этом алгоритм MLA повторно обучается определению контекста этапа использования для текстовой строки этапа использования и формированию соответствующей параллельной текстовой строки этапа использования в качестве перевода текстовой строки этапа использования с учетом соответствующего контекста этапа использования.
12. Сервер по п. 11, в котором естественная пропорция пар строк каждого контекста соответствует пропорции пар строк каждого контекста, который может быть получен из множества сетевых ресурсов, доступных через сеть связи.
13. Сервер по п. 11, в котором обучающая текстовая строка, встречающаяся в основном контексте, содержит основной контент сетевого ресурса, а другая обучающая текстовая строка, встречающаяся в по меньшей мере одном вспомогательном контексте, содержит по меньшей мере одно из следующего:
контент нижнего колонтитула сетевого ресурса;
контент верхнего колонтитула сетевого ресурса;
контент заголовка сетевого ресурса; и
контент управления навигацией сетевого ресурса.
14. Сервер по п. 11, в котором естественная пропорция относится к большинству пар обучающих строк в первом наборе пар обучающих строк, встречающихся в основном контексте.
15. Сервер по п. 11, в котором контролируемая пропорция содержит по существу равные пропорции пар обучающих строк, встречающихся в основном контексте и в по меньшей мере одном вспомогательном контексте.
16. Сервер по п. 11, в котором алгоритм MLA содержит кодер, предназначенный для текстовых строк на первом языке, и декодер, предназначенный для текстовых строк на втором языке, при этом для повторного обучения алгоритма MLA сервер выполнен с возможностью:
обучения сервером кодера формированию выходных данных кодера для (1) обучающей текстовой строки на первом языке из пары обучающих строк во втором наборе пар строк и (2) соответствующей метки;
обучения сервером декодера формированию выходных данных декодера для (1) обучающей параллельной текстовой строки на втором языке из пары обучающих строк во втором наборе пар строк и (2) соответствующей метки таким образом, чтобы максимально увеличить сходство между выходными данными кодера и выходными данными декодера.
17. Сервер по п. 11, в дополнительно выполненный с возможностью:
получения сервером первой текстовой строки этапа использования на первом языке, содержащей заданное слово;
получения сервером второй текстовой строки этапа использования на первом языке, содержащей заданное слово;
выполнения сервером алгоритма MLA для формирования первой параллельной текстовой строки этапа использования на втором языке на основе первой текстовой строки этапа использования, при этом заданное слово переводится первым параллельным словом из первой параллельной текстовой строки этапа использования;
выполнения сервером алгоритма MLA для формирования второй параллельной текстовой строки этапа использования на втором языке на основе второй текстовой строки этапа использования, при этом заданное слово переводится вторым параллельным словом из второй параллельной текстовой строки этапа использования,
при этом если алгоритм MLA определяет, что контекст первой текстовой строки этапа использования отличается от контекста второй текстовой строки этапа использования, то первое параллельное слово и второе параллельное слово являются разными переводами заданного слова.
18. Сервер по п. 11, отличающийся тем, что для повторного обучения алгоритма MLA сервер выполнен с возможностью использования сервером функции потерь, ограничивающей адаптацию, при повторном обучении алгоритма MLA, и функция потерь, ограничивающая адаптацию, способна после обучения алгоритма MLA ограничивать адаптацию алгоритма MLA, обученного на основе первого набора пар обучающих строк.
19. Сервер по п. 18, в котором ограничение адаптации алгоритма MLA включает в себя ограничение ухудшения качества перевода текстовой строки этапа использования, встречающейся в основном контексте.
20. Сервер по п. 18, отличающийся тем, что для использования функции потерь, ограничивающей адаптацию, на итерации в ходе повторного обучения алгоритма MLA сервер выполнен с возможностью:
вычисления сервером распределения «учителей» для заданного слова при переводе алгоритмом MLA согласно обучению до повторного обучения, при этом распределение «учителей» указывает на вероятность того, что соответствующие потенциальные слова являются переводом заданного слова, определенным алгоритмом MLA согласно обучению до повторного обучения;
вычисления сервером распределения «учеников» для заданного слова при переводе повторно обученным алгоритмом MLA, при этом распределение «учеников» указывает на вероятность того, что соответствующие потенциальные слова являются переводом заданного слова, определенным повторно обученным алгоритмом MLA на данной итерации;
вычисления сервером значения перекрестной энтропии, являющегося первым типом меры сходства между распределением «учеников» и фактическим распределением, указывающим на правильный перевод заданного слова, встречающегося в соответствующем контексте;
вычисления сервером значения расхождения, являющегося вторым типом меры сходства между распределением «учителей» и распределением «учеников»; и
вычисления сервером взвешенной суммы значения перекрестной энтропии и значения расхождения, являющейся значением функции потерь, ограничивающей адаптацию, для заданного слова на данной итерации.