MT Summit 2023 参加報告
AAMT理事／NICT 田中英輝
AAMT 2023 Tokyo ©田中 英輝

1

会議の概要場所

中国、マカオ Studio City ホテル

期間

9月4日 - 5日 ワークショップ４件
9月6日 - 8日 本会議

形式

ハイブリッド

参加人数

169名、内、現地参加110名程度

参加国

25カ国

スポンサー

16社

招待関連

基調講演1、招待講演2件、招待セッション2

研究発表

リサーチトラック33件
ユーザーズトラック 21件

AAMT 2023 Tokyo ©田中 英輝

2機械翻訳(MT)と大規模言語モデル（LLM）
対訳コーパス

日本語

英語

巨大

学習（翻訳の学習）

学習が大変
変更も大変

英語中心
テキスト
学習（次単語の予測）

MT

LLM

I went to the bank yesterday.

次の英語を日本語に翻訳してください
I went to the bank yesterday. ○ ○

MT

LLM

昨日、私は銀行に行きました。

昨日、私は銀行に行きました。

入力に対する「翻訳」

入力に対する「次単語」の予測
翻訳に限らない汎用システム
AAMT 2023 Tokyo ©田中 英輝

3

招待講演者のLLM翻訳へのコメント
基調講演

招待講演

Prof. Min Zhang

Dr. Ondrej Bojar

学習データが不明のため正確な評価ができない👍 ほぼ英語でしか学習していないの翻訳可能！
👎
多言語翻訳に対応
LLMにもできないことは多い
対話的に翻訳可能
文書単位での翻訳可能
受け付ける文のスタイルが多様

👎

研究の多様性確保が重要. LLM一極集中はダメ
Help ChatGPT fall slowly and gracefully

招待講演

従来手法での自動評価が困難
専門用語が苦手
計算コストが大きい
低資源言語の翻訳は苦手

Dr. Dorothy Kenny👍 目的に合わせた翻訳が可能
AAMT 2023 Tokyo ©田中 英輝

4

従来システムとの比較「単純な翻訳」の場合Comparing Chinese­English MT
Performance Involving ChatGPT and MT
Providers and the Efficacy of AI mediatedPost­Edition, Larry P Cady +AAMT 2023 Tokyo ©田中 英輝

5

研究概要
p 機械翻訳システムの中英、英中翻訳の比較評価• システム：Baidu

DeepLGoogle Translate
NiuTrans
YoudaoChatGPT3
ChatGPT4• 評価：特許（バイオ、計算機工学、電子工学）
各3,000文の翻訳をBleuで評価
AAMT 2023 Tokyo ©田中 英輝

6同一文に対するGoogleとGPT-4のBleuスコア散布図例
英→中翻訳

GPT-4

GPT-4

中→英翻訳

GoogleGoogle

すべてにおいて圧倒的なシステムはない
AAMT 2023 Tokyo ©田中 英輝

7

プロンプトの利用
専門用語翻訳
Leveraging Multilingual Knowledge Graph
to Boost Domain-specific Entity
Translation of ChatGPT, Min Zhang+

AAMT 2023 Tokyo ©田中 英輝

8MKG（対訳辞書）を利用した翻訳
原文用語抽出

対訳抽出
用語の対訳辞書
プロンプト
作成

AAMT 2023 Tokyo ©田中 英輝

9実験システム
比較提案

Google Translate
ChatGPT（gpt-3.5-turbo）
ChatGPT（gpt-3.5-turbo）+ 辞書（MKG）
バイオ

光通信

無線通信

提案

ACC 用語正解率

p 提案手法とChatGPTの比較• すべての指標で提案手法が優位
p 提案手法の用語正解率（ACC）の高さが顕著
AAMT 2023 Tokyo ©田中 英輝

10無線通信分野の実例

赤：誤り 青：正解
AAMT 2023 Tokyo ©田中 英輝

11プロンプトの利用
修正命令による個別ドメイン対応
Human-in-the-loop Machine Translation
with Large Language Mode, Xinyi Yang+

AAMT 2023 Tokyo ©田中 英輝

12

概要
p 動機
p LLMでの専門分野向けのファインチューニング（学習）は困難
p 提案手法
p LLMによる翻訳
p 誤りの人手修正 → 修正命令（プロンプト）の自動作成
p 修正命令の蓄積によるデータベースを構築
p 修正命令の検索と人手修正によって専門分野翻訳を実現
修正命令の自動作成
翻訳結果

I have a apple

正解

I have an apple .

AAMT 2023 Tokyo ©田中 英輝

修正命令
置換：aとan
挿入：appleの後に“.”13動作例（独→英翻訳）
入力による検索
置換：！を？

履歴DB

追加登録
人手修正による命令
削除：doing

5分野での独英翻訳シミュレーション実験
顕著な翻訳性能向上（Bleu）は見られなかった
AAMT 2023 Tokyo ©田中 英輝

14従来の専門分野適応化
入力
翻訳機
出力

入力

正解出力
蓄積

翻訳機の追加学習

PE Post edit
正解出力p 性能向上は顕著
p 再学習までの時間がかかる
p ピンポイントの修正は難しい
AAMT 2023 Tokyo ©田中 英輝

15本提案の専門分野適応化
入力LLM
出力

出力

正解出力

差から修正命令を作成
修正命令の適用・蓄積

PE Post edit
正解出力

p 命令の可読性は高い
p 即時性が高い
p ピンポイントの修正が可能
p 効果は今後要確認
AAMT 2023 Tokyo ©田中 英輝

16

プロンプトの利用
翻訳目的の指定
Optimizing Machine Translation throughPrompt Engineering: An Investigation into
ChatGPT’s Customizability, Yamada

AAMT 2023 Tokyo ©田中 英輝

17

概要
p 動機
• 目的に合わせた翻訳を実現したい
Ø 翻訳には目的・仕様がある（ISO17100）
p 研究の目的• プロンプトにより目的を指定した翻訳の調査• 使用システム
DeepL
比較 Google Translate
ChatGPT Plus（GPT4）（翻訳命令）
ChatGPT Plus（GPT4）（翻訳命令＋目的）1
提案 ChatGPT Plus（GPT4）（翻訳命令＋目的）2
ChatGPT Plus（GPT4）（翻訳命令＋目的）3• 目的：マーケティング、文化背景、動的等価性
AAMT 2023 Tokyo ©田中 英輝

18目的：文化的背景を考慮した慣用句
p 目的に合わせたプロンプト（下線は英語で記載）
下記の日本語[source text]を英語に翻訳してください。
このとき下記の条件を満たすよう翻訳してください。
翻訳の目的
日本の文化になじみのない英語話者が理解できる表現を使ってください。
想定読者
一般的な英語話者[source text] 私たちは同じ釜の飯を食べた仲です。

AAMT 2023 Tokyo ©田中 英輝

19翻訳結果：文化的背景を考慮した慣用句

目的プロンプトあり

v2の翻訳が最良

AAMT 2023 Tokyo ©田中 英輝

20

目的：動的等価性*の保存*Dynamic equivalence

p 目的に合わせたプロンプト（下線は英語で記載）
動的等価性とは、…（省略）…原文の「子羊」と訳文の「アザラシ」は、読者に同じ反応を引き起こすと考えられます。
[source text][target text]

Lamb of God（神の子羊）
Seal of God（神のアザラシ）

このコンセプトと例にしたがって、次の［原文］を動的等価表現を使って英訳してください。英語圏の文化圏で理解されるような訳に置き換えてください。
[source text] 彼女の歌声は美空ひばりを彷彿とさせる。

AAMT 2023 Tokyo ©田中 英輝

21翻訳結果：動的等価性の保存目的プロンプトあり

v1-v3は原文と違う歌手が出現
最適な訳は翻訳者が検討すべき

AAMT 2023 Tokyo ©田中 英輝

22

トピックス
p IAMT Award of Honor• Dr. Qun Liu, Huawei Noah’s Ark Lab.
p Mtsummit 2025
• スイス、ジュネーブで開催

AAMT 2023 Tokyo ©田中 英輝

23

まとめ
• 会議の概要• 大規模言語モデルに関する話題• 招待講演者• 従来システムとの比較 単純なLLM翻訳• 大差なし• プロンプトの利用• 専門用語翻訳• 修正命令による個別ドメイン対応• 翻訳目的の指定• トピックス• 次回開催 2025年ジュネーブ• 予稿集はACL anthology• https://aclanthology.org/events/mtsummit2023/

AAMT 2023 Tokyo ©田中 英輝

24