JSTにおける英日機械翻訳システムの構築
Development of English-Japanese Machine Translation System in JST
国立研究開発法人科学技術振興機構

関根

情報企画部

基樹

文献データに関する機械処理システムの開発・運用に従事。本稿は 1、2、3 章を担当。

国立研究開発法人科学技術振興機構

菊井

情報企画部

玄一郎

NTT 研究所、岡山県立大学情報工学部、農研機構・農業情報研究センターをへて現職。自然言語処理技術の文献データへの適用検討に従事。本稿は 4 章を担当。

国立研究開発法人科学技術振興機構

水田

情報企画部

寿雄

ファンディング業務等を経て、現在情報資産の提供や企画等に従事。本稿は主に 5 章を担当。

1

はじめに特徴・強みを有していた。しかしながら、近年は民間企国立研究開発法人科学技術振興機構（以下「JST」）

業等において最新技術の導入などにより機械翻訳の性能は、国内外の科学技術や医学薬学関係の文献情報を収向上が著しく、JST においては精度向上スパンが長周集・整理・加工し、日本語で検索できる日本最大級の期化しつつあることが課題となり、強みを活かした新し

科学技術文献データファイルを作成し、J-GLOBAL[1]い機械翻訳システムを確立したいと考えた。

や JDream Ⅲ [2] などの高度な検索、分析・可視化サービスにデータ提供している。

254の文対データを対訳コーパスとして用いていることなど

このため、昨年度より、まず JST にて稼働中の機械翻訳システムについて現状認識からはじめ、問題点を洗

海外文献の科学技術文献データファイルの作成では、い出し、問題を分類して課題を設定し、課題解決の方法

2014 年より英日機械翻訳システムを導入し、2018を決定した。そして、他社サービス・エンジンを対象年にはニューラル機械翻訳エンジンに切り替え、翻訳精に、仕様等のオープン情報を調査して無料トライアルを度の向上や作成コストの削減を実現し、速報性・提供数行い、続けて有料フィジビリティスタディを実施して、の拡充を果たすことにより、科学技術情報の流通に寄与最適と考えられるエンジンとして OpenNMT[3]（以下してきた。また、JST の機械翻訳システムは、これま「ONMT」）を選定し、外注によりエンジン切り替え・で JST の業務において蓄積した数千万件の英文、和文システム開発を実施することとした。

本 稿 で は、 エ ン ジ ン 選 定 に 至 る ま で の 過 程 や、ONMT の試行等を紹介し、今後の展望について述べる。

問題提起：人による（ユーザー視点での）品質評
価が十分ではない
・品質評価が無いと何が問題となるか

2

課題解決のための検討

最初に、課題解決のための検討イメージを図 1 に示す。

→（問題）翻訳を見るのは人であり、人手評価が無いと訳質の良し悪しを判断できない、人手の評価はブレがある、時間・コストが必要だが得られる情報は限定的、都度・任意に行うことが困難→（代表的な問題）訳質向上の判断をどう行うべきか、求める訳質の目標をどうすべきか→（分類）評価手法の確立
以上の様な取り組みを進めた結果として、主要な問題を次の 5 種類に分類した。

4- 機械翻訳技術①評価手法の確立

1②翻訳の改善図1

課題解決のための検討イメージ③記事翻訳件数④サーバや運用

現状認識から解決課題の設定までを検討して課題解決⑤コーパスへ進むイメージである。
(3) 原因の特定と解決課題の設定(1)JST における機械翻訳の現状認識
まず JST の機械翻訳について現状を整理し、その現次に、分類した問題毎に、何故その問題が生じているのかという原因と、その解決策は何かという解決課題の状認識を対象にして、改善や不足事項等を洗い出し、問設定を行った。例えば、以下のようなものである。

題事項として分類した。

JST では翻訳の目的を「原文を忠実に日本語として現状認識の対象は、機械翻訳を導入してからの年度ご翻訳される。自然な翻訳 ( てにをは等 ) になっている」との機械翻訳件数の推移、人手修正作業の件数や作業時としているが、訳質として何を評価して、向上すべき間、システム改修遍歴、自動評価値（BLEU 値、RIBES 値）

目標をどう設定するか明らかではないの把握、システムの機能構成、体制、予算などである。

(2) 問題の洗い出し認識された現状に対して、システム運用・管理・利用解決の方策
解決課題の設定

翻訳目的を達成するために人手評価方法を確立する
正確性、流暢性、技術用語精度を指標として評価する

ユーザー・技術等の様々な切り口から問題提起を行い、訳質の良し悪しを簡便に判断する指標および定量的な問題や解決の類似性などを踏まえて整理した。

評価方法がない一例として、次に示す「評価手法の確立」を挙げる。

解決の方策

人手評価方法をより簡易使用できるよう自動評価との相関を向上させる
同じ評価用データに対して自動評価

解決課題の設定と人手評価を行って、自動評価値と人手評価値の相関関係を確認し、自動評価のパラメータを調整するこうした問題点や解決策の中で特に共通する重大な解決課題が「高精度の翻訳エンジンの利用」であったため、

YEAR BOOK 2O23 255

課題解決がなされる新エンジンの特定や特性設定を行う比較検証することにした。JST 内製の ONMT 試行版

とともに、新しい翻訳サービス・エンジンの調査・導入

システムの詳細は第 4 章で述べる。

を重点的に進めることとした。

フィジビリティスタディは対象を他社サービス・エ

具体的には、翻訳サービス・エンジンを対象に仕様等ンジン 3 件および JST 内製の ONMT 試行版システムのオープン情報を調査して無料トライアルを行い、続けの合計 4 件に絞って実施した。他社サービス・エンジて有料フィジビリティスタディを実施して、最適と考えンの調査にあたり、それぞれのベンダには、コーパス学られるエンジンを選定した。

習、用語登録とチューニング、JST から翻訳するための API 開発を発注し、さらに翻訳時間の計測、サーバ

3

無料トライアル・有料フィジビリティ
スタディ

十数件の翻訳サービス・エンジンを対象に、Web サ仕様または運用料金体系の提示を納品物として求めた。
出力された翻訳結果に対して JST にて次の項目を評価した。

イトに掲載されているオープン情報をもとに、仕様、料・人手評価（相対評価、絶対評価）

金、データ利用、規約などを調査・比較した。このうち、・自動評価（BLEU 値、RIBES 値）

サービス・エンジン提供ベンダ側でデータの二次利用が・文末が体言止めと用言止めで使い分けられているか行われるもの、ユーザー側でのデータの営利利用が禁止

・繰り返し文字が出力されていないかされるもの、サービスの準拠法・裁判管轄が日本国内で・用語登録された語について変換エラーが生じていないないものは除外した。

か

そして、5 件を対象に無料トライアルを実施し、評価用データを翻訳した結果について、自動評価、繰り返し

このうち、人手評価については、4 サービス・エンジ文字の検出を行ったほか、用語登録の反映が正しくなさンを対象に相対評価と絶対評価を行うこととし、相対評れているかなど確認した。同時に、JST 内製で ONMT

価は評価用データから 8 分野、絶対評価は評価用デーを用いたエンジンを調査して試行版システムを構築し、タから 1 分野を選定した。相対評価と絶対評価ともに

表1

256

人手評価による比較結果

表2

自動評価・費用評価による比較結果- 機械翻訳技術41

評価指標は正確性、流暢性、技術用語精度の 3 項目とし、相対評価では 4 サービス・エンジンを 2 種類ずつペア

4ONMT

4.1 ONMT の概要にして、どちらの翻訳結果が良いか 3 指標それぞれで

ONMT は オ ー プ ン ソ ー ス の ニ ュ ー ラ ル 機 械 翻 訳

比較して、勝っている方のサービス・エンジンに 1 点の ソ フ ト ウ エ ア で あ る。ONMT は pytorch 版 お よを加算する採点、絶対評価では 3 指標をそれぞれ 1 ～び tensorflow 版 の ２ つ の 翻 訳 ソ フ ト ウ エ ア 群 を 中5 段階（点）で採点を行った。その結果を表 1 に示す。

心 に tokenizer、 お よ び、 軽 量 な 翻 訳 実 行 系 で あ る

また、表 2 の通り、それぞれのサービス・エンジン

CTranslate2 の大きく４つのソフトウエア群から構について現行システムの自動評価値に対する比較、およ成 さ れ て い る。pytorch 版（ 以 下「pt 版 」）およびび現行システムの運用経費に対する比較を行った。

tensorflow 版（以下「tf 版」）の翻訳ソフトウエア群

い ず れ も ONMT を 採 用 し た JST ま た は ベ ン ダ のはいずれも transformer モデルを具現化した学習系とサービス・エンジンが最良の結果を示した。ONMT は翻訳実行系を持つ。両者は一方が他方の単なる移植とGPU サーバではなく CPU サーバのみで翻訳処理を実いうわけではなく細かい設計が異なっているため、翻行でき、中長期に設備的・人的費用が大きく軽減できる訳の結果の同一性は保証されない（パラメータセットといった利点もある。以上の結果から ONMT を選定しす ら 異 な る ）。Tokenizer は sentence-piece(SP) おた。

よ び byte-pair-encoding(BPE) の 両 方 が 利 用 可 能 であり、それぞれのモデルを学習する機能も含まれる。
CTranslate2（以下「CT2」）は CPU で動作する翻訳実行系であり、モデルは pt 版あるいは tf 版で学習させたものを付属の変換プログラムにより変換して利用する。

YEAR BOOK 2O23 257

4.2 検討の概要
ONMT は類似機能を持つ複数のプログラムを含み、ミー語置き換え方式」により実現を試みた。ダミー語置それぞれは多数のオプションを持つ。主な選択肢は以下

き換え方式とは、１）原言語側で対訳辞書にヒットするの通りである。

単語を「ダミー語（例 :<x_01>）」に置き換え、２）翻１）サブワード分割：方式（SP/BPE）、語彙サイズ

訳処理ではこのダミー語をそのままの文字列で訳出し、

２）翻訳学習系：実装（pt 版 /tf 版）、各種ハイパー３）出力に存在するダミー語を対訳辞書の目的言語側単パラメータ設定３）翻訳実行）：モデル学習と同じ実装（pt 版 /tf 版）、あるいは、CT2語に置き換える、という処理である。ここで問題となるのが、原文側のダミー語が目的言語の適切な位置に訳出されるか、ということである。ニューラル翻訳においてこれらの組み合わせは膨大になるため、次のような手これを保証することは難しい（制約付き翻訳そのものの順で翻訳学習・翻訳を試み、評価セットに対する自動評問題である）。我々は、学習用の対訳データの一部につ価値を指標としてスコアの高いものを選んだ。

いて、対訳関係にあると思われる単語のペアをダミー語

まず、抄録文 500 万文対を学習データとして、翻に置き換えた「追加学習用コーパス」を作成し、ダミー訳ソフトウエアを tf 版に固定し、tokenize 方式 (SP/語を含まないコーパスで訓練したベースモデルに対してBPE1)、 語 彙 サ イ ズ (32k/50k/100k, 日 英 同 サ イ

追加学習を行うことにより、この課題への対応を試みた。

ズ）を変えて実験したしたところ、BPE,SP とも語彙追加学習用コーパスは翻訳学習用のコーパスに対して既サイズ 50k がベストであり、BPE が SP より若干優存の手法により単語アラインメントを求め、１：１対応れているという結果となった。次に語彙サイズを 50kする単語対を同じダミー語に置き換えることにより自動に固定して pt 版で実験したところ、BPE,SP とも tf作成した。なお、ダミー語は tokenizer によるサブワー版 BPE,50k とほぼ同等の性能となった。SP は形態素ド分割の対象外とした。追加学習用コーパスは通常の翻解析（pre-tokenize）を必要としないため、実運用を訳にとっては「ノイズ」であるからその量や追加学習ス考えると有利である。ここまでで pt 版 -SP-50k, tf 版

テップ数を適切にコントロールすることが必要となる。

-BPE-50k の２セットが候補となった。

そこで、ダミー語への置き換えを行わない検証用セット

次に翻訳実行系について検討した。tf 版、pt 版およで自動評価値の変動とダミー語の湧き出し誤りをチェッ

び CT2 を全て CPU モードで動かして翻訳時間を調クし、対訳辞書にヒットした用語をダミー語に置き換えべた。CT2 についてはモデルの変換が伴うため、変換た検証用セットを用いて、ダミー語が過不足なく出力側前のモデルを当該モデルの学習で用いた実装（pt またに出現しているかをチェックした。その結果 tf 版と pt

は ft 版）の実行系による翻訳結果と変換後のモデルに版で若干数値が違うが予約語の消失は 0.3-0.8% 程度、よる CT2 の翻訳結果でデグレードがないかチェックし湧き出しは 0.001% 程度（いずれも文単位）発生した

た。なお翻訳実行時のパラメータセット（ビーム幅なが比率は小さく、また、これらの誤りは機械的に検出可ど）は極力揃えた。翻訳速度は CT2 が pt 版 , tf 版そ能であるため実用可能と判断した。また、1200 文程

れぞれに対しておよそ 1/3 程度となり、高速に処理で度の評価文について、対訳辞書を反映するように訳文をきることが分かった。翻訳結果についてはほぼ同じ（約書き換えて参照訳を作り、上述のダミー語置き換え方式

2600 文のうち 3 文に何らかの差が存在する以外は完により、対訳辞書を反映させた自動翻訳結果を作成して全一致）であり、自動評価値（BLEU/RIBES）もほぼ自動評価したところ、自動評価値の低下は見られなかっ一致という結果となった。

たことから、この方式を採用することとした。

4.3 対訳辞書への対応
科学技術文献の翻訳においては入力文の専門用語を特258

は現在研究段階であるため、今回の開発では単純な「ダ5システム構築と今後の展望定の用語に訳出することが必要となる。外部から対訳辞

3 章、4 章の通り、エンジンやその開発の主要事項が書を与えて、これを制約として翻訳を行う手法について定まったことをうけ、既存エンジンの切り替え・システム開発を実施することとした。約 5 年ぶりの機械翻訳の刷新の開始である。
刷新は、2023 年度の第 1 四半期の調達から始まり、第 3 四半期には本格的な開発着手、システムテストを予定している。試験稼働後は既存システムとの並行稼働を行い、新システムの運用を成熟させつつ、新たな翻訳システムに係る業務への影響把握・対策を講じる予定である。このようなシステム切り換え・開発・運用試行を経て、年度内には本格稼働の見通しを得る予定である。
これまで紹介したように、JST における新たな英日機械翻訳システムの構築は、現状認識から問題を抽出し、問題から課題を設定し、その課題解決方法を決定し、課題解決がなされる新エンジンの特定を行うことで進んで4- 機械翻訳技術いる。数年ぶりのシステム刷新ということもあり、多く1の手探りを伴う作業の結果でもあり、本出稿の機会を捉え、検討の経緯等を記録し共有することとした。今後のシステム更新において参考となれば幸いである。
また、今般の取り組みを通じて、過去から現在までの現状理解と課題、新システムの構築の見通しを得た。今後、これらを基盤として、更なる将来像・次期システムの検討を開始し、具体的な導入ロードマップを検討していきたいと考えている。

参考文献[1]J-GLOBAL
https://jglobal.jst.go.jp/[2]JDreamIII
https://jdream3.com/[3]OpenNMT
https://opennmt.net/

YEAR BOOK 2O23 259