「カスタムMT＋フルPE」現状と⾒通し医療翻訳分野の事例研究
AAMT年次⼤会
2021年12⽉9⽇
⼭⽥ 優1・早川 威⼠2
1 ⽴教⼤学2 株式会社アスカコーポレーション

ASCA Corporation

2

医薬特化型エンジンについて• 医学・医薬分野の翻訳の特徴• ⾼度な専⾨性を必要とする• 語彙の特殊性、構⽂の複雑さ• 要求品質の⾼さ• ⼈類の資産となりうる研究• 法規制に基づく新薬の承認申請• 患者の⽣命を左右する情報• 分野特化性の追求• 「医学・医療分野（メディカル分野）」という括りでは不⼗分• より細分化された分野・⽤途に応じた翻訳モデルの開発が必要

ASCA Corporation

3

特化度を重視したMTモデルの開発• 特化型MTモデルの評価• 特化のレベルが異なる2種類のMTモデルを構築し、⽐較• 訓練にはドメインアダプテーションを使⽤（基盤のモデルは同⼀）• 細分化された教師データを⽤意し、特化のレベル差を表現• 特定の⽂書種に特化した特化度の深いMT• 医学・医薬分野から広く教師データを収集した特化度の浅いMT• 教師データには公開済みデータを翻訳したものを使⽤• 教師データのクオリティの差は無視できる

ASCA Corporation

4

評価対象のMTモデル• 英→⽇• ⽂書特化型エンジン

vs• 医学論⽂のテキスト13万⽂で訓練• 医薬汎⽤型エンジン• 多様な医学・医薬分野のテキスト40万分で訓練• ⽇→英• ⽂書特化型エンジン

vs• 医薬品臨床試験の計画書から抜粋したテキスト19万⽂で訓練• 医薬汎⽤型エンジン• 多様な医学・医薬分野のテキスト40万分で訓練（英⽇と同⼀モデル）

ASCA Corporation

5

出⼒サンプル

原⽂

Randomised, double-blind, placebo-controlled and parallel dosegroup trial to investigate efficacy and safety of multiple doses of oral
XXX-12345 over 14 weeks, alone and in combination withempagliflozin, in patients with diabetic and non-diabetic chronic
kidney disease

⽂書特化型エンジン

糖尿病性及び⾮糖尿病性慢性腎疾患患者を対象として、XXX-12345の経⼝反復投与(単独投与及びエンパグリフロジンとの併⽤投与)の効果及び安全を14週間にわたり検討する、無作為化、⼆重盲検、プラセボ対照、並⾏群間⽐較試験

医薬汎⽤型

糖尿病及び⾮糖尿病性CKD患者を対象に、経⼝XXX-12345を単独⼜はエンパグリフロジンと併⽤で14週間にわたり反復投与したときの有効性及び安全性を検討する無作為化⼆重盲検プラセボ対照並⾏群試験

ASCA Corporation

研究の⽬的• カスタムMT＋フルPEの実⼒はいかに︖• 翻訳現場での使⽤時の「実⼒」• プロ翻訳者によるフルPEの実施• 効率性、満⾜度などから評価

ASCA Corporation

7

実験デザイン• プロ翻訳者（３名 x ２）、英⽇、⽇英で検証• フルポストエディット• MT1 （⽂書特化型）vs. MT2（医薬汎⽤型）• BLEUスコア• 英⽇︓ 51.11 vs. 47.56• ⽇英︓ 44.50

vs. 40.82• 評価⽤テキスト (reference付き)• ⽇英︓医学論⽂ 約50⽂
• 英⽇︓治験⽂書 約50⽂

ASCA Corporation

実験⼿順と評価指標• プロ翻訳者（３名 x ２）、英⽇、⽇英で検証• MT1 or M2を選択• 選択したMTをフルPEする• 修正箇所をエラーアノテーションする（JTF品質評価ガイドライン）• 修正理由を書く• タスク終了後にアンケート実施• 作業効率、作業負荷・疲労、満⾜度等を調査

ASCA Corporation

9実験作業環境例

ASCA Corporation

10MTの選好性（英⽇）

• MT1
• MT2
P<0.0001 (カイ⼆乗検定)

ASCA Corporation

11MTの選好性（英⽇）ASCA Corporation

12MTの選好性（英⽇）ASCA Corporation

Edit Distance Rate

EDR (英⽇)

EDR (英⽇、エディター別)0.35

0.500.29

0.30
0.25
0.20

0.40
0.30

0.21

0.27
0.10

0.10

0.10

0.18

0.16

0.20

0.15

0.43

0.41

0.00

0.05

Ed10.00
MT1Ed2MT1MT2EDRASCA Corporation

MT2Ed314

MTエラー分類（英⽇）ASCA Corporation

15

英⽇PE 主観品質評価

ASCA Corporation

効率性、認知負荷、満⾜度

ASCA Corporation

エラー分類とMTの選択の関係
GLMM= ⼀般化線形混合効果モデルで検証
⾮説明変数︓ MTの選択（MT1 or MT1）の選択
説明変数 ︓品質エラー分類
変量効果︓参加者
英⽇翻訳において、「⽤語（⽤語不統⼀）」のみに有意差を確認

ASCA Corporation

エラー分類、参加者、MT選択

ASCA Corporation

⽤語（不統⼀）、参加者、MT選択

ASCA Corporation

A20

MTの選好性 (⽇英)• MT1 = ⽂書特化型アダプテーションMT• MT2 = 医薬分野MT
P<0.0001 (カイ⼆乗検定)

ASCA Corporation

921

Edit Distance
EDR (⽇英)
0.30
0.25

0.24
0.20

0.20
0.15
0.10
0.05
0.00
MT1MT2EDR• MT1 = ⽂書特化型アダプテーションMT• MT2 = 医薬分野MTASCA Corporation

922

MTのエラー分類 (⽇英)ASCA Corporation

923

⽇英PE 主観品質評価

ASCA Corporation

924

効率性、認知負荷、満⾜度（⽇英）ASCA Corporation

25

まとめ

• カスタムMT（ドメインアダプテーション）は、翻訳品質の精度を上げる• BLEUスコアで５点程度向上する（英⽇、⽇英）• BLEUスコアの差は、英⽇のプロ翻訳者のPE作業によって確認された• カスタムMTが選ばれる⽐率が優位に多かった• ⽤語エラーの向上が寄与していることが判明した• それに伴い、修正量（EDR）も少なくなった• 品質⾯では、全般的に⽤語の正確性が向上する。他⽅で、流暢性やスタイルはあまり向上しないようである。
• 作業者の主観的な作業効率性の向上も認められた• 作業に伴う認知負荷、満⾜度の向上も確認できた• 次世代的な翻訳者は、より⾼い満⾜度を感じていることが推察された• 今回のエンジンでは、⽇英のPEにおいては同様の結果が⾒られなかった

ASCA Corporation

謝辞
本研究の⼀部は、⽇本学術振興会科研費補助⾦基盤研究(S)「翻訳規範とコンピテンスの可操作化 を通した 翻訳プロセス・モデルと統合環境の構築」(研究課題番号:19H05660)の⽀援を受けて⾏われた。

ASCA Corporation