言語処理学会 第30回年次大会 発表論文集（2024年3月）

LLM が機械翻訳を捉えた桎梏から脱したのか―翻訳創造性について―

Huacheng Song1 Haoying Yang1 Hongzhi Xu1
1 上海外国語大学
コーパス研究院
hinayang331@gmail.com

概要
翻訳の文化的・技術的転回に伴って、翻訳創造性の重要さが高まる一方、それが自動翻訳モデルに一つの難題だと認識され、訳文における創造性の評
価研究がますます必要となる。本研究では、訳者、Google および GPT4 による日本文学の中国語訳を対象に、各翻訳方式の創造性をめぐって細粒度的かつ量的評価を行った。その結果、LLM の翻訳創造性
上の性能がニューラル機械翻訳より優れたが、この桎梏から完全に逃したというわけでもなく、翻訳者に比べれば成長の余地が多大にある。

1

はじめに

現在のニューラル機械翻訳（NMT：Neural MachineTranslation）が直面した最大な問題点は抽象性、柔軟性および多様性という言葉遣いの特徴を持った文学の翻訳と言えよう [1, 2]。近年、ChatGPT を始め、大規模言語モデル（LLM：Large Language Models）が登場し、自動翻訳を含む数多くのテキスト生成タス
クに高精度の性能を発揮したことから、世間で大きな期待が寄せられている [3, 4]。ところが、NMT とLLM による自動翻訳の翻訳創造性を覗き込む研究はまだ少なく、ましてや日本語訳を対象とした研究も管見の限り行われていない。こうした現状はモデルによる訳出精度の向上に支障を生じるだろう。
本研究は、Bayer-Hohenwarter[5] と Guerberof-Arenas
ら [6, 7] の研究を踏まえ、受容可能性（Acceptability）と新奇性（Novelty）という 2 つの側面から、訳者な
らびに Google、GPT4 による日本文学の中国語訳上の翻訳創造性を考察した。まず、原文から 8 種類の潜在的創造性単位（UCP：Unit of Creativity Potential）
を抽出し、翻訳品質評価枠組である DQF-MQM[8]および Bayer-Hohenwarter [5] と Pedersen[9, 10] が構築した翻訳ストラテジー分類体系を採用し、訳文の受容可能性スコア（AS：Acceptability Score）と新奇性スコア（NS：Novelty Score）を算出した上で、創造性スコア（CS：Creativity Score）を計算する。さらに、4 つの翻訳自動評価指標を利用し、UCP 翻訳の全体的・局所的性能を観察する。
結果として、UCP の創造的翻訳は今も自動翻訳の問題点であることが得られた。LLM は一般の NMT
より性能が上がったが、人間並みのレベルにはまだ達してないことに、本研究は以下の課題から具体的に論述する。1）UCP 翻訳は 3 つの翻訳方式にどのような支障を及ぼすか？ 2）3 つの翻訳方式による各種類の UCP 訳文にどのような性能が見られるか？ 3）LLM は翻訳創造性の難題を克服したか？

2

関連研究

「創 造 性」は、抽 象 的 な 心 理 学 の 概 念 で、適 切かつ正確な定義と測量は極めて難しい [11]。この概念を借りて、翻訳分野では創造的翻訳（Creative
Translation）という概念が生まれた。翻訳目的の実現を前提に原文と変わった表現を用いる翻訳方略を指し、受容可能性と新奇性という 2 つの性質を持っている [12, 13, 5, 11]。しかし、今のところ、翻訳創造性に関する量的研究はまだ始まったばかりで、運用可能な量的理論体系の構築が中心になっている[14, 5, 11]。コーパスで専門訳者と翻訳学習者の翻訳
創造性を比較し、翻訳教育に示唆を与える実証研究もいくつか進められている [5, 15, 16]。どちらも本研究の理論基礎の構築に役立っている。
自動翻訳の領域では、NMT に創造性があるかという課題に取り組んだのは Guerberof-Arenas ら [6, 7]のみだ。彼らは、翻訳創造性評価指標の核心である
創造的シフト（Creative Shift）[5] をめぐって、NMTが SF 小説翻訳上の性能を分析した。結果として、
文学テキストを用いて訓練されたモデルでも、期待された創造性に至らないのみならず、それに基づ― 3119 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

きポストエディットを行った専門訳者の創造性さ

断、後者は具体的な翻訳方略・手法の判断を 2 人のえ低下させたことに、翻訳創造性の研究が NMT の中国人日本語翻訳者に頼んだ。それぞれの詳しい注

更なる発展に重大な意味を持つことが裏付けられ

釈キームは表 1 と表 2 が示されている。

た。日本での NMT パフォーマンスを細粒度的に考表1察する研究は、多くが語彙・文法レベルに着目した受容可能性の注釈スキーム
側面

種類

重大度

スコア

深刻

-15

重度

-5

軽度

-1

中立

0

称賛

1

[17, 18, 19, 20]。一方、LLM 領域の最新研究は、自不可能

動翻訳の全体的性能を向上させることが主流である

受容可能性[3, 4, 21]。要するに、NMT でも LLM でも文学翻訳

可能の創造性への注目が十分に集まっていない。

研究デザイン3

表 2 新奇性の注釈スキーム
側面

種類

本研究は 2 つの段階からなっている。1）原文と新奇性がない

訳文の収集とアノテーション、２）訳文の品質と翻

翻訳方略

保持

直接訳

直接訳
定訳

定訳

訳創造性の自動評価と人手評価。

抽象化
新奇性

3.1

翻訳手法

保持

デキスト収集とアノテーション

新奇性がある

上位語
パラフレーズ
拡大化

具体化

補償
文化的・歴史的要因

デキスト収集調整

本研究では、１）代表的な現代文

コンテクスト的要因
創造的省略

学作品であること、２）創造的翻訳が必要であること、３）モデルの訓練データに包含されていないこと [7] を基準に、日本人作家村田喜代子の受賞され

特に、受容可能性、新奇性と翻訳創造性の関係は
2 つの仮設を基盤とする。

た短編小説「百のトイレ」、「蟹女」、「真夜中の自転• 受容可能性は新奇性の前提である。適切かつ正

1）を原文として選んだ。原文デキスト
車」
、
「白い山」

確（中立あるいは称賛の場合）である UCP 訳文

は合計 3114 文、93265 文字で、平均文長は 30 文字

のみ、新奇性スコアの算出を行う。

である。比較分析の対象とする中国語訳文は 3 つの• 新奇性は翻訳創造性の核心である。新奇性がな

翻訳方式：人間翻訳の訳文は 2023 年に出版された

い訳文は正しくても翻訳創造性がないとする。

中国語版2）、NMT 訳文は NMT システム Google 翻訳

3.2

3）、LLM 訳文は OpenAI GPT4 4）から入手する。

テキストアノテーション

Bayer-Hohenwarte [5] によると、翻訳創造性を測るには、その第一歩が原文の UCP 表現を抽出することである。UCP 表現とは、
特殊あるいた新奇な表現と形式を使ってある意味や目的を伝達・実現することである。本研究は、日本
語で最も使用されている 8 種類の UCP 表現5）を対象に、原文に現れた UCP 表現を 4 名の日本語母語話者に抽出・分類してもらった。クロスチェックした
結果、908 文で 1192 の UCP 表現が見つかった。
本文での翻訳創造性は、Guerberof-Arenas ら [6, 7]の研究と同様に、「受容可能性」と「新奇性」から考察が展開される。そこで、UCP 表現の訳文をアノテーションする際、前者は DFQ-MQM[8] に基づいたエラーの識別とエラーの重大度（Severity）の判
1） https://a.co/d/6Ds7zjv
2） https://a.co/d/2CCBPba3） https://translate.google.com
4） https://openai.com/gpt-45） 詳しい定義と例文は付録の表 A

指標とスコアアノテーションから得たデータを基に、本文は
1）4 つの翻訳自動評価指標 BLEU[22]、COMET[23]、COMETKIWI[24]、XCOMET-QE[25]、2) 受容可能性、
新奇性および翻訳創造性を定量化した人手評価体系
を通じて、訳者ならびに Google 翻訳、GPT4 の翻訳
創造性について全体から局所までの量的比較分析を実施した。
人手評価は 3 つの公式によって計算される。AS（公式 1）は UCP 訳文の語 彙・文法上 の正確 さと意 味 上 の 適 切 さ、NS（公 式 2）は UCP 訳 文 に おける創造性シフトの比率を測る。𝑁𝑈𝐶 𝑃𝑠 、𝑁 𝐾𝑢𝑑𝑜𝑠 、
𝑁𝐶𝑟 𝑒𝑎𝑡𝑖𝑣𝑒 𝑆ℎ𝑖 𝑓 𝑡 𝑠 はそれぞれ UCP、表 1 の称賛、表 2の「新奇性のある」カテゴリーの中に含められた翻訳方略の数で、𝐸𝑟𝑟𝑜𝑟 𝑃𝑜𝑖𝑛𝑡𝑠 は表 1 の「受容不可能」に含められたエラー重大度の総点である。CS（公式
3）は AS と NS の加重調和平均値で、本研究はβを1 とする。3 つのスコアは区間 [0,1] 内にあり、翻訳性能との関係は正の相関にある。

― 3120 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 3 8 種類の UCP 訳文の自動評価平均スコア
番号

カテゴリー

A

BLEU
人間

COMET

XCOME-QE

人間

Google GPT4

人間

Google GPT4

26.11

0.70

0.74

0.37

0.38

0.40

0.80

0.82

0.84

22.45

28.72

0.69

0.73

0.39

0.41

0.40

0.79

0.81

0.78

掛け言葉・語呂合わせ・パロディ

5.60

5.53

0.54

0.53

0.52*

0.49

0.43

0.81*

0.65

0.63

D

オノマトペ

16.77

21.95

0.62

0.65

0.36*

0.35

0.36

0.73*

0.63

0.68

E
F

口くだけた言い方・業界用語・隠語
文化・歴史用語

22.42
31.15

29.80
32.30

0.69
0.72

0.72
0.76

0.47
0.35

0.51
0.40

0.49
0.38

0.87
0.78

0.91
0.84

0.89
0.84

G

外来語・新語・流行語

55.01

55.15

0.83

0.84

0.53

0.55

0.55

0.87

0.90

0.90

H

固有名詞

38.81

48.00

0.78

0.82

0.44

0.46

0.45

0.77

0.81

0.84

GPT4

メタファー

20.56

B

イディオム・慣用語・ことわざ

C

Acceptability Score(AS) = (NKudos +

4

結果分析

4.1

自動評価

うが低いことから、UCP 翻訳に必要な創造性がどのError Points

NUCPs

Novelty Score(NS) =Creativity Score(CS) =∑人間

COMETKIWI

Google GPT4

Google+ 15)/16

NCreative Shifts
NUCPs

(1)

翻訳方式にも支障をもたらしたことが考えられる。
表 3 は各種の UCP 訳文に対する自動評価指標の(2)

平均得点を統計した。Google と GPT4 の性能につい(1 + β2 ) × Acceptability Score × Novelty Score
β2 × Acceptability Score + Novelty Score(3)て、C 類 UCP 訳文が BLEU と COMET からもっとも低い評価をもらったのに対し、COMETKIWI とXCOMET-QE のスコアは D 類 UCP が一番低い。わ
りと性能高く訳出できた UCP は G 類 UCP で、翻訳方式と評価指標にかかわらず 0.5 以上の得点を得た。
異なった翻訳方式のスコアを比較分析すると、表4 との共通点と相違点がいくつか見つかった。共通

3 つの翻訳方式から生成された UCP 表現を含む文点として、GPT4 の性能が全体的に Google 翻訳よ全体の訳文（以下 Sent）と、UCP 表現だけに対応する訳文（以下 UCP 訳文）に対する 4 つの自動評価指り優れていることがあげられる。相違点として、C標による採点は表 4 にまとめた。BLEU と COMET
は人間翻訳を参照訳とし、NMT 訳文と参照訳との

XCOMET-QE のスコアは、人間翻訳のほうが高いこと、そして、Google 翻訳は数種類の UCP に対して、一致性を測るため、人間翻訳への点付けはしない。

GPT4 と太刀打ちできる情報抽出能力を備えている

一方、COMETKIWI と XCOMET-QE は、原文と訳文ことがある。

類 UCP と D 類 UCP 訳文に対する COMETKIWI と間の意味的類似度を測るメカニズムとなっている。

自動評価指標の採点は、GPT4 による UCP 翻訳がまた、BLEU6）スコアだけが区間 [0,100] の実数で、より高い品質を持っていることを示した。ところ

残りの 3 つ7）は [0,1] の間の実数で表現される。

が、COMETKIWI と XCOMET-QE が人間翻訳への点

表4

付けが一番低いという常識外れな現象も見られ、主UCP を含む文の翻訳と UCP 訳文の自動評価スコア

翻訳方式

BLEU
Sent

UCP

COMET

COMETKIWI XCOMET-QE流となった自動評価指標は単語の埋め込みと意味特

Sent

Sent

UCP

Sent

UCP

徴によって、参考訳への依存から解放されたが、ま

0.52

0.41

0.65

0.80

UCP

人間翻訳
Google 翻訳18.11 15.79

0.77

0.72

0.55

0.43

0.71

0.79

だ十分にはならないことがわかった。そこで、本研

GPT4 翻訳

22.67 22.20

0.80

0.76

0.57

0.44

0.73

0.82

究は信頼性の高い人手評価に重きを置いた。

表 4 の 示 す と お り、GPT4 は 文 レ ベ ル に お いても句レベルにおいてもより高い性能を発揮
で き た。BLEU と COMET の ス コ ア か ら み て は、
GPT4 は Google 翻訳より人間翻訳と一致する一方、COMETKIWI と XCOMET-QE のスコアからみては、
原文に潜んだ意味をより正確に掘り出せる。そして、各指標の Sent スコアと UCP スコアを比較し、XCOMET-QE を除く 3 つの指標は前者より後者のほ6） https://github.com/mjpost/sacrebleu
7） https://github.com/Unbabel/COMET

4.2

人手評価

表 6 では、訳者、Google 翻訳、GPT4 による UCP
訳文の AS、NS および CS が表されている。どのス
コアでも人間＞ Google ＞ GPT4 という順序が観察される。CS について、GPT4 と Google 翻訳は人間翻訳に比べてそれぞれ 0.13 と 0.2 の差が見られるが、自動翻訳同士の差は 0.07 しかない。要するに、翻訳創造性の各方面において、GPT4 が Google 翻訳より優れたといえども、人並みのレベルまではかなり― 3121 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 5 8 種類の UCP 訳文の Acceptability Score、Novelty Score および Creativity Score
番号

カテゴリー

Creativity Score
人間

GoogleAcceptability Score

GPT4

人間

Google GPT4

Novelty Score
人間

Google GPT4

A

メタファー

0.80

0.54

0.55

0.94

0.86

0.90

0.70

0.39

0.40

B

イディオム・慣用語・ことわざ

0.86

0.60

0.75

0.93

0.81

0.90

0.80

0.48

0.64

C

掛け言葉・語呂合わせ・パロディ

0.49

0.00

0.48

0.94

0.71

0.85

0.33

0.00

0.33

D

オノマトペ

0.56

0.41

0.47

0.93

0.86

0.89

0.40

0.27

0.32

E
F

口くだけた言い方・業界用語・隠語
文化・歴史用語

0.48
0.68

0.30
0.48

0.41
0.53

0.95
0.92

0.86
0.85

0.85
0.88

0.32
0.54

0.18
0.34

0.27
0.38

G

外来語・新語・流行語

0.37

0.18

0.22

0.93

0.90

0.92

0.23

0.10

0.13

H

固有名詞

0.24

0.06

0.19

0.94

0.85

0.89

0.14

0.03

0.10

の距離があるので、創造性という桎梏を完全に脱し

中国語訳も定着した。そして、訓練データにも使用たというわけではない。AS における 3 つの翻訳方されたため、Google 翻訳と GPT4 に学習された。そ式間の差は 0.1 に及ばいが、新奇性における Googleの反対に、G 類 UCP と H 類 UCP 訳文の創造性は一

翻訳と GPT4 の得点はそれぞれ人間翻訳の 50 ％と段と低く、借用・直接訳・定訳という新奇性のない

70 ％となっており、翻訳方式間の創造性の差異は新

翻訳方略の使用が多くみられる。主な原因は：１）

奇性によるものとみなせるだろう。

定訳が多いこと、２）一部の H 類 UCP は漢字から

表 6 UCP 訳文の Acceptability Score、Novelty Score およびCreativity Score

なっており、中国語との意味的連合性が強いことにある。A 類 UCP の訳文においては、翻訳方式間の

人間翻訳

0.58

0.93

0.43

CS に著しい差がある一方、人間翻訳の NS は自動翻訳の 70%を超えている。我々の認知構造に深く根差

Google 翻訳

0.38

0.86

0.24

している A 類 UCP は、文化・社会・コンテクスト

GPT4 翻訳

0.45

0.90

0.30

と深く関わっているが、B 類 UCP などの言語文化

翻訳方式

Creativity Score Acceptability Score Novelty Scoreに定着された UCP とは違って、個人的的な性質を
UCP の種類を考えながら、翻訳方式間の得点を比持っており、形式的にも意味的にも柔軟性と多様性較した。表 5 によると、各種の UCP 訳文のどの得点が顕著である。専門訳者は起点言語と目標言語の文でも全体と一致した順序が現れた。人間翻訳は必ず化を熟知しているため、認知的・文化的負荷の高い

しも正しいとは言えないが、AS が 0.92 と 0.95 の間

A 類 UCP を翻訳するとき、抽象化・具象化・調整で分布している。それに比べて、GPT4 も Google 翻などの方略を使いこなせる。ところが、現時点での訳も 0.85 以上の点数を得たため、受容可能性上の性

NMT と LLM にとって、認知的に原文の意味合いを能において今の自動翻訳にはかなりの競争力がある

理解するのは今も一つ大きな課題と言える。

と考えられる。Google 翻訳による全種類の UCP 訳

おわりに

文は NS 値が人間翻訳の半分以下で、新奇性のない
翻訳方略が多用されている。GPT4 は C 類 UCP を

5

はじめ、5 種の UCP 訳文の NS が人間翻訳と 0.1 弱の差が観察されたが、残りの 3 種（A 類、B 類、F

創造性スコアの公式を改善した上で、日本文学に出た UCP 表現の中国語訳を対象に、量的アプローチ

類）訳文のパフォーマンスには改善の余地がかなりで GPT4 を代表とする LLM の性能を考察した。結大きい。

果的には、LLM の翻訳創造性および 2 つの側面「受本研究は、Guerberof-Arenas ら [7] が提唱した翻訳

UCP 全体において、B 類 UCP の CS が一番高く、容可能性」と「新奇性」における性能は Google 翻訳

どの翻訳方式にとってもこれを創造的に訳す難易を代表とする NMT より増しているが、専門訳者の度が一番低いことがわかった。図 1 によっては、Bレベルに到達するまで見過ごせない距離があると言類 UCP を訳す際、訳者のみならず、自動翻訳も直える。ゆえに、認知的・文化的要素を考慮に入れる

接訳、抽象化または調整の翻訳方略を活用できる。

ことで、LLM の文学翻訳における性能向上が期待

これは、原文に出た B 類 UCP の大半は、身体部位される。また、翻訳自動評価指標による翻訳創造性に基づいたものであることが原因だろう。このようへの評価も今後の課題として改善する必要がある。

な表現が頻ぱんに使われている間、それに対応する― 3122 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Cynthia Beatrice Costa and Igor A Lourenço da Silva. On thetranslation of literature as a human activity par excellence: ethicalimplications for literary machine translation. Aletria: Revista deEstudos de Literatura, Vol. 30, No. 4, pp. 225–248, 2020.
[2] Katherine Thai, Marzena Karpinska, Kalpesh Krishna, Bill Ray,
Moira Inghilleri, John Wieting, and Mohit Iyyer. Exploring
document-level literary machine translation with parallel paragraphs from world literature. In Proceedings of the 2022
Conference on Empirical Methods in Natural Language Processing, pp. 9882–9902, 2022.

[3] Wenhao Zhu, Hongyi Liu, Qingxiu Dong, Jingjing Xu, Lingpeng
Kong, Jiajun Chen, Lei Li, and Shujian Huang. Multilingual machine translation with large language models: Empirical results
and analysis. arXiv preprint arXiv:2304.04675, 2023.
[4] Biao Zhang, Barry Haddow, and Alexandra Birch. Prompting
large language model for machine translation: A case study. arXiv
preprint arXiv:2301.07069, 2023.
[5] Gerrit Bayer-Hohenwarter. Translational creativity: how tomeasure the unmeasurable, Vol. 37. Samfundslitteratur Copenhagen, 2009.
[6] Ana Guerberof-Arenas and Antonio Toral. The impact of postediting and machine translation on creativity and reading experience. Translation Spaces, Vol. 9, No. 2, pp. 255–282, 2020.
[7] Ana Guerberof-Arenas and Antonio Toral. Creativity in translation: Machine translation as a constraint for literary texts. Translation Spaces, Vol. 11, No. 2, pp. 184–212, 2022.
[8] Arle Lommel and Alan K Melby. Tutorial: Mqm-dqf: A good
marriage (translation quality for the 21st century). In Proceed-

計量国語学会機関誌, Vol. 24, No. 5, pp. 218–227, 2004.
[20] 毅彦吉見. 人間による翻訳文と機械翻訳文における名詞の馴染み度の計量的比較分析. Information : an international
Interdisciplinary journal, Vol. 16, No. 7, pp. 5329–5344, 07
2013.
[21] Chenyang Lyu, Jitao Xu, and Longyue Wang. New trends inmachine translation using large language models.
[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu.
Bleu: a method for automatic evaluation of machine translation. In
Proceedings of the 40th annual meeting of the Association
for Computational Linguistics, pp. 311–318, 2002.

[23] Ricardo Rei, José GC De Souza, Duarte Alves, Chrysoula Zerva,
Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, andAndré FT Martins. Comet-22: Unbabel-ist 2022 submission forthe metrics shared task. In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 578–585, 2022.
[24] Ricardo Rei, Marcos Treviso, Nuno M Guerreiro, Chrysoula Zerva,
Ana C Farinha, Christine Maroti, José GC De Souza, Taisiya
Glushkova, Duarte Alves, Luı́sa Coheur, et al. Cometkiwi: Istunbabel 2022 submission for the quality estimation shared task. In
Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 634–645, 2022.

[25] Nuno M Guerreiro, Ricardo Rei, Daan van Stigt, Luisa Coheur,
Pierre Colombo, and André FT Martins. xcomet: Transparent machine translation evaluation through ﬁne-grained error detection.
arXiv preprint arXiv:2310.10482, 2023.

ings of the 13th Conference of the Association for MachineTranslation in the Americas (Volume 2: User Track), 2018.

[9] Peter Sibson. Subtitling norms for television: an exploration focussing on extralinguistic cultural references, 2012.
[10] J. Pedersen. Subtitling Norms for Television: An Exploration
Focussing on Extralinguistic Cultural References. Benjamins translation library. John Benjamins Publishing Company,
2011.
[11] Gerrit Bayer-Hohenwarter and Paul Kussmaul. Translation, creativity and cognition. In The Routledge handbook of translation and cognition, pp. 310–325. Routledge Abingdon and New
York, 2020.
[12] Ana Rojo. The role of creativity. The handbook of translationand cognition, pp. 350–368, 2017.
[13] Paul Kussmaul. Types of creative translating. Benjamins translation library, Vol. 39, pp. 117–126, 2000.
[14] Paul Kussmaul. Creativity in the translation process: Empiricalapproaches. In Translation Studies: The state of the art, pp.
91–101. Brill, 1991.
[15] Gerrit Bayer-Hohenwarter. Comparing translational creativity scores of students and professionals: ﬂexible problemsolving and/or ﬂuent routine behaviour, Vol. 83. Samfundslit-

teratur Copenhagen, 2010.
[16] Gerrit Bayer-Hohenwarter. creative shifts as a means of measuring and promoting translational creativity. Meta, Vol. 56, No. 3,
pp. 663–692, 2011.
[17] 毅 彦 吉 見. 人 間 に よ る 翻 訳 文 と 機 械 翻 訳 文 に お け る
係 り 受 け 距 離 の 比 較 分 析. Information : an international
Interdisciplinary journal, Vol. 17, No. 6, pp. 2155–2168, 06
2014.
[18] TAKEHIKO YOSHIMI. Comparative analysis of familiarity ratingof verbs in human-translated and machine-translated sentences.
Journal of Natural Language Processing, Vol. 11, No. 2, pp.
101–113, 2004.
[19] 毅彦吉見. 人間による翻訳文と機械翻訳文における係り受
け構造の統計的性質. 計量国語学 = Mathematical linguistics :― 3123 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

８種類の UCP について

A

番号

カテゴリー

特徴

【例文】

A

メタファー

ある物事の様子や性質を言い表す場合に、ほかのより具体的な物事になぞらえて表従 姉 は【悩 み の 種】を ひ と つ現したり、ほかの物事を言い表す際に用いられる特徴的な語彙を借りて表現したり持ってきた。

すること。比喩表現の一種であるが、「まるで〜」「〜のような」などの明確な比喩表
現を使わない。
BCD

イディオム・慣用語・ イディオムにおける単語の配列が慣習的となって、字面から意味を推測できないこ

仕事上の悩みにはわたしの【首

ことわざ

とが多い。

がかかっている】。

掛 け 言 葉・語 呂 合 わ

言葉の持つ音の響きやリズムを運用することで、聞き手や読み手に同音異義語を連 【損して徳とれ】（損して得とれ）

せ・パロディ

想させ、面白さを楽しませる表現。字面上の意味と裏の意味が異なっている。

オノマトペ

物事の声を模した言葉である擬音語、事物の様態を言語音によって象徴的に表す言あたりには【ポツポツ】と夏の葉である擬態語を総称したもの。

草が噴き出ている。

口 く だ け た 言 い 方・ 格式ばらずに、より平易で日常的な言葉を用いた表現。多くの場合、俗っぽい感じや ヤクザ：【サツ】だ！！

E

業界用語・隠語

親しみやすい雰囲気を醸す。そして、ここでの業界用語も、正式名称ではない略語、F

文化・歴史用語

隠語のようなもの。
独自の文化現象や歴史典籍と深く関わっており、その文化に特有な物事を指したり、 二葉亭のお父さんは長い間江戸G

外来語・新語・流行語 新旧文化・独自文化と外来文化の相互交流において、新たに生まれ、新しい概念を取 彼氏が怒られてる姿を見て【蛙

H

固有名詞

あるいは特定の歴史意味を持っている表現のこと。

の【御家人】化していた。

り入れた語。主に外来語、新語・流行語。

化現象】した…

人名・地名・事件名・物事名。ある類に属する個物に与えられた名称を表わす語。人 【スターバックス】、ぼっち・ざ・名、地名、国名のほか、書名、会社名、学校名、年号、商号、商品名などの呼び名。 ろっく！

B

人手評価について各訳文のアノテーションの結果
翻訳方式

UCP 数

Creative Shift

Error Point Kudos

人間翻訳

1192

508

-140

41

Google 翻訳

1192

289

-1483

3

GPT4 翻訳

1192

357

-809

12

８種の UCP 訳文のアノテーションの結果
番号

カテゴリー

数

A

メタファー

B

イディオム・慣用語・ことわざC
DE

Creative Shift

Error Point

人間

Google

GPT4

132

92

52

143

115

68

掛け言葉・語呂合わせ・パロディ
オノマトペ

3
227

1
90

口くだけた言い方・業界用語・隠語

22

Kudos

人間

Google GPT4

人間

Google

GPT4

53

-6

-156

-90

14

1

4

92

-12

-283

-93

4

0

3

0
62

1
73

0
-21

-11
-280

-5
-184

0
10

0
0

1
2

7

4

6

0

-26

-31

3

0

0

F

文化・歴史用語

206

112

70

78

-49

-301

-189

5

2

1

G

外来語・新語・流行語

286

67

28

36

-47

-173

-80

4

0

1

H

固有名詞

173

24

5

18

-5

-253

-137

1

0

0

(a) 人間翻訳(b) Google 翻訳(c) GPT4 翻訳

図 1 ８種類の UCP に対する翻訳方略の分布― 3124 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).