言語処理学会 第27回年次大会 発表論文集 (2021年3月)

翻訳の主観評価で用いられる表現
西野 竜太郎グローバリゼーションデザイン研究所
nishino@globalization.co.jp
藤田 篤
情報通信研究機構
atsushi.fujita@nict.go.jp

1

大西 菜奈美関西大学

はじめに翻訳と翻訳業界が扱う「品質」という言葉とその定義は常に曖昧さを含んでいたが、近年、これを整理する動きが活発化している。2014 年以降、欧州では QTLaunchPad により翻訳品質評価の共通枠組みが策定されてきた。また Fields ら [1] は、Garvin [2]の産業品質の基本概念を参照し、翻訳品質を評価するアプローチを次の 5 つに分類した。
A.超越的：専門家による主観評価
B.ユーザーベース：最終読者による主観評価
C.プロダクトベース：客観指標による評価
D.価値ベース： 費用を考慮した相対的価値
E.生産ベース： 合意した仕様を満たす程度
図 1 は、西野 [3] による 5 分類の関係図である。

図1

新田 順也エヌ・アイ・ティー
nitta@n-i-t.jp

品質評価 5 分類の関係図

ここでは「評価対象の翻訳成果物」が左端に置かれており、それに対して「A. 超越的」、「B. ユーザーベース」、「C. プロダクトベース」の 3 つから矢印が伸びている。つまり、翻訳成果物を直接的に評価する方法はこの 3 つということである。一方で D と Eは間接評価になる。
C の下位分類の一つである「エラー評価」は、現山本 真佑花
関西大学

山田 優
関西大学
yamada@apple-eye.com

在、翻訳業界で活用される客観評価であり、具体例としては、MQM [4]、国内の JTF 翻訳品質評価ガイ
ドライン [5]、翻訳教育用の「みんなの翻訳実習」の校閲カテゴリ [6] がある。これらは翻訳成果物に含まれるエラー（文法ミス、用語違反など）に基づく評価であり、比較的客観性が高く定量評価が可能であるため、関係者間の合意形成やコミュニケーションの円滑化に寄与する。
B は最終読者やユーザーの視点からの品質評価である。具体例としてはアンケート（「この翻訳は分かりやすいですか？」といった質問）が挙げられ、最終成果物としての翻訳を評価する際に便利である。一方で時間等のコストがかかるためか、A や Cと比べると頻繁に利用されない。
A は熟練翻訳者などの言語専門家による評価である。長年の経験や専門知識に基づく評価であり、実務翻訳の現場ではよく用いられる。しかし「意訳調」や「わかりにくい」といった主観的な表現が用いられることが多いので、評価者間で結果を共有することが困難である。表現の意味が評価者や使用者によって異なるため、この A で用いられる言葉（主観評価表現）の意味や定義（使用頻度、場面、およびその言葉に対応する翻訳成果物の現象等）をある程度明らかにすることができれば、評価者間および翻訳制作工程における参与者間のコミュニケーションの向上が望めるほか、包括的な翻訳品質評価方法の確立に寄与する。
そこで筆者らは、主観評価表現に関する調査を翻訳業界の関係者に対して実施し、翻訳業界で【1】どのような主観評価表現が使われているのか、【2】それはどのような意味で用いられているのか（どのような言語現象を指し示すのか）、という 2 点の解明に取り組んでいる。本論文では【1】に関係する調― 919 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

査結果の一部を報告する。

2

表1

方法
翻訳の主観評価において用いられる表現を調べる

ため、まず一般に入手できる翻訳指南書などから主観評価表現に該当すると思われる表現を抽出し、その後で質問紙調査によって実際に使用されている表現を見つけるという方法を採用した。日本国内では和訳（日本語訳）に対する需要が高いことに鑑み、今回は和訳時に用いられる日本語の主観評価表現を対象にした（つまり英訳に用いる評価表現は除外）。
まず訳文に対する評価が掲載されている文献（付録 A.1 に記載）を参照し、そこで用いられている評価表現 169 個を抽出した。ただしエラー評価の項目（文法ミス、用語違反など）に該当する、指示が自明な表現は除外した。次に、表層的に類似する表現をまとめた。たとえば、意味的に類似すると考えられる「稚拙」と「幼稚」は別項目として残す一方、「自然」と「自然な」は内容語を共有するためまとめた。
その結果、最終的に 110 個の主観評価表現が残った（表 2）。
続いて、質問紙調査を実施した。対象は業界団体である一般社団法人日本翻訳連盟（JTF）に所属する回答者の属性

Q1. 業界年数
20 年以上10〜20 年程度
5〜10 年程度
2〜5 年程度
0〜1 年程度

数
194035192割合
17%
35%
30%
17%
2%

Q2. 職務
翻訳者
コ ー デ ィ ネ ー タ ー ／ ベ ン ダ ー・マ ネ ージャー
チェッカー／レビューアー／ QA
プロジェクト・マネージャー
経営者／部門マネージャー
営業／アカウント・マネージャー
その他

数
4721割合
41%
18%

20
1194
3

17%
10%
8%
3%3%

Q3. 所属
翻訳会社
フリーランス（自営業）
翻訳会社以外の企業（クライアントなど）
制作会社

数
684061割合
59%
35%
5%
1%

Q4. 専門的に扱う分野
A. 金融・経済・法務（ビジネス一般含む）
B. 医学・医薬C. 工業・科学技術（ソフトウェア、ハードウェア、ゲーム含む）
D. 特許・知財
E. その他（観光、教育、芸術、スポーツ、マンガなど）

数
20
1942

割合
17%
17%
37%

29
525%
4%

個人会員と、法人会員である機関や企業の構成員とした。前者はフリーランス翻訳者が大部分である一方で、後者には翻訳者のほか、品質保証担当、プロジェクト・マネージャー、コーディネーターなどさまざまな職種の人を含む。質問は次の通りである。
納品後に、翻訳成果物に対する評価（クレーム含む）が行われることがあります。また、クライアントや翻訳会社からの発注時（または仕様指定時）に「こんな感じで仕上げてほしい」と指示されることがあります。このようなとき、以下の 1〜110 で示す主観的な言葉が実際に用いられることはありますか？

す。分野を通した全体で「よくある」または「たまにある」という回答の割合（以下、使用率）が高い順に並べており、上位 20 位までは全体での使用率と、4 つの専門分野（A. 金融・経済・法務、B. 医学・医薬、C. 工業・科学技術、D. 特許・知財）の各々における使用率も記載している。なお、回答者全員がすべての項目に回答したわけではない。
表 2 より、全体の傾向として専門分野横断的に共通の主観評価表現が用いられていることが分かる。
しかし、各専門分野において、他の 3 分野よりも相各主観評価表現に対して、この質問への回答を対的に使用率が高い表現があることも観察できる。

「よくある」、「たまにある」、「ない」の 3 つの中か他の 3 分野よりも使用者の割合が有意に（有意水準

ら 1 つを選んでもらう形式とした。また、提示した5%）高かった表現を表 3 に示す。使用率の差が大き110 個以外に実際に使っている主観評価表現があれい順に左から右、上から下に並べている。なお「B.

ば自由記述欄を通じて列挙してもらった。調査は医学・医薬」分野には該当する表現は無かった。
表 4 に、回答者の所属ごとの主観評価表現全体

2020 年 7 月 1 日〜15 日に実施した。

3（質問数×人数）の使用率を示す。回答者が多かっ結果た「翻訳会社」の所属者と「フリーランス」を対象

合計で 115 名から回答を得た。回答者の属性は表とした。なお所属が「フリーランス」の全員が職務を「翻訳者」と回答した。表 4 より、翻訳会社の所

1 に示す通りである。
表 2 に調査対象とした 110 個の主観評価表現を示属者の方がフリーランスよりも主観評価表現を使用― 920 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 110 個の主観評価表現と上位 20 位までの使用率主観評価表現
全体 A. 金融・経済・法務 B. 医学・医薬 C. 工業・科学技術 D. 特許・知財
直訳（直訳的・直訳調） 90%
95%
74%
93%
97%
わかりやすい
90%
95%
84%
91%
90%
意訳（意訳的・意訳調） 86%
90%
63%
93%
89%
読みやすい
85%
80%
83%
88%
86%
自然
83%
75%
72%
88%
86%
わかりにくい
83%
85%
63%
86%
93%
簡潔
83%
75%
79%
81%
93%
不自然
78%
75%
67%
81%
86%
適切
78%
80%
67%
78%
86%
読みにくい
76%
75%
61%
81%
83%
冗長
76%
65%
72%
79%
86%
ふさわしい
75%
83%
74%
74%
74%
丁寧
74%
70%
72%
76%
79%
忠実
74%
70%
72%
71%
86%
意味が通じる
73%
74%
61%
69%
83%
不明瞭68%
55%
67%
61%
93%
かたい
68%
70%
68%
83%
41%
原文に引きずられた
68%
70%
50%
69%
79%
正しい
67%
70%
50%
67%
82%
こなれた
67%
80%
79%
81%
35%
（ここから 21 位以降。読点が区切りで、中黒は併置）
逐語訳、すっきりした、通じる、ぎこちない、明瞭、くどい、きれい、機械的、あいまい、流暢、技術的に正確な、こなれていない、一読して意味がわかる、意味不明、複雑、口語調、意味のずれた、フォーマル、難解、稚拙、うまい、適訳、無難、しっくりする・しっくりくる、くだけた、堅苦しい、やわらかい、原文に引きずられない、ぴったりの、微妙、粗い、カジュアル、完璧、話し言葉、すっきりしない、つたない、工夫の余地がある、翻訳調、思い切った意
訳、安心できる、パーフェクト、たどたどしい、端的、明快、馴染みのない・馴染みがない、筋の通った、書き言葉、理解不可能、文語調、練られた、格調ある・格調高い、読める、馴染みのある・馴染みがある、ぼかした、原文が透けて見える、頭に入らない、ピンとくる、安易、無駄のない、使えそう、通りがよい、リズムある、舌足らず、きれいでない、頭に入る、練られていない、持って回った、思考の流れを踏まえた、坐りが悪い、幼稚、原文からは思いつかない、引き締まった、切れ味がよい、悪訳、字訳、重い、超訳、翻訳くさい、パンチがある、雰囲気を損なった、味気ない、面白味を損なった・面白くない、具合が悪い、つまらない、生硬、白々しい、完全無欠、平明達意、荘重、しゃち
こばった・しゃちほこばった
表3

他の 3 分野と比較した場合の分野別による高使用率
表現
A. 金融・経済・法務（3 表現）
フォーマル、格調ある・格調高い、書き言葉
C. 工業・科学技術（21 表現）
翻訳調、ピンとくる、話し言葉、やわらかい、堅苦し
い、かたい、カジュアル、端的、こなれていない、口語調、フォーマル、格調ある・格調高い、こなれた、ぼかした、坐りが悪い、工夫の余地がある、翻訳くさい、悪訳、引き締まった、幼稚、平明達意
D. 特許・知財（6 表現）
逐語訳、字訳、不明瞭、機械的、技術的に正確な、正しい

表 4 所属ごとの使用の割合
所属
総質問数 使用割合
翻訳会社
7480 3492 46.7%
フリーランス4400 1407 32.0%

上から挙げられたのは「ニュアンス」と「機械翻訳」のみであった。前者は「ニュアンスが違う」や「ニュアンスが出せていない」、後者は「機械翻訳のようだ」や「機械翻訳っぽい」のように使われる。
これら以外を付録の表 6 にまとめた。

考察4

先述の通り、全体で上位に入る表現（表 2）は、する傾向が見られる（5%水準の有意差あり）。

専門分野にかかわらず同じような傾向が見られる。

さらに、翻訳会社とフリーランスという所属で比つまり上位の主観評価表現は共通して用いられてい較した際に、使用の割合が有意に（有意水準 5%）高い主観評価表現を抽出した。該当する表現は翻訳会る。ただし表 3 で示した通り、分野ごとに使用率の社側のみにあり、48 個あった。付録の表 5 に示す。

る特徴が浮き彫りになる。A の金融では契約書など自由記述として回答された表現のうち、2 人以法務文書の特徴を示す「フォーマル」、「格調高い」、高い表現が存在する。詳細を見るとその分野におけ― 921 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

「書き言葉」という表現が見られる。C の工業ではマニュアルやマーケティング資料なども含まれるた謝辞

めか、「話し言葉」、「やわらかい」、「堅苦しい」、「か調査に協力していただいた一般社団法人日本翻訳たい」、「カジュアル」といった硬軟に関わる表現が連盟（JTF）および回答者の皆さまに感謝申し上げ他分野よりも多く使われる。また D の特許では「逐ます。

語訳」や「字訳」、さらに技術に関わる「技術的に正確な」や「不明瞭」の使用割合が顕著に高い。

本研究の一部は、日本学術振興会科研費補助金基盤研究（S）「翻訳規範とコンピテンスの可操作化

表 4 の結果は、翻訳会社に所属する人の方がフを通した 翻訳プロセス・モデルと統合環境の構築」

リーランスよりも主観評価表現の使用者が多いこと（研究課題番号：19H05660）の支援を受けて行われを示した。これには 2 つの理由があると推測する。

ました。

まず、翻訳成果物の要求事項や品質を語る際に、翻訳会社と発注先のフリーランス翻訳者との間（すなわちプロの翻訳専門家間）では客観評価手法（エラー評価）でコミュニケーションが図られる一方で、翻訳会社と発注元のクライアント（必ずしも客観評価手法に詳しくない）との間では主観評価手法を用いざるを得ないため、翻訳会社における使用者が多くなるという点である。もう 1 つの理由は評価対象の単位あるいは粒度である。翻訳会社とフリーランスとの間では、文法ミスなどをエラー評価で具体的に細かくフィードバックすることがある。一方で翻訳会社とクライアントとの間では、ファイル一式など納品物全体の評価が伝えられる。全体評価を伝える際は抽象的な主観評価の方が便利であるため、翻訳会社における使用者が多いという理由である。

5

参考文献[1] Paul Fields, Daryl Hague, Geoﬀrey Koby, and Alan Melby.
What is quality? A management discipline and the translation industry get acquainted. Revista Tradumàtica, Vol. 12,
pp. 404–412, 2014.
[2] David Garvin. What does ’product quality’ really mean?
Sloan Management Review, 1984.
[3] 西 野 竜 太 郎. 翻 訳 品 質 の ラ ン チ ボ ッ ク ス：翻 訳 の「品質」とは（2）. 日本翻訳ジャーナル, Vol. 284, pp.
24–25, 2016.
[4] Arle Lommel, Hans Uszkoreit, and Aljoscha Burchardt.
Multidimensional Quality Metrics ( MQM ): A frameworkfor declaring and describing translation quality metrics. Revista Tradumàtica, Vol. 12, pp. 455–462, 2014.
[5] 一般社団法人日本翻訳連盟. JTF 翻訳品質評価ガイド
ライン,（2020-12-15 閲覧）. https://www.jtf.jp/tq/
pdf/jtf_translation_quality_guidelines_v1.pdf.
[6] 豊島知穂, 藤田篤, 田辺希久子, 影浦峡, Anthony Hartley.
校閲カテゴリ体系に基づく翻訳学習者の誤り傾向の分析. 通訳翻訳研究への招待, Vol. 16, pp. 47–65, 2016.

おわりに翻訳業界において主観評価は重要であり、実際に広く使われている。しかしこれらの表現は主観的であるがゆえに、使用者によって意味（指示対象）が異なる可能性が考えられる。そのため、実際にどのような主観評価表現が使われているか、各々の意味が何であるのかが分かれば、関係者間に共通のコミュニケーション基盤を構築でき、翻訳品質の向上にも資する。そこで本論文ではまず、翻訳現場で頻繁に用いられる主観評価表現について調査した。分野を通じた全体では「直訳」、「わかりやすい」、「意訳」、「読みやすい」などの表現の使用率が高かった。
また各専門分野で使用率が高い表現も判明した。
今後は、これらの主観評価表現が「どのような意味で用いられているのか（どのような言語現象を指し示すのか）」という点について調査を継続する。

― 922 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

付録

A.1

抽出時に参照した文献

主観評価表現の抽出時に参照した文献を示す。
• 安西徹雄『翻訳英文法 ― 訳し方のルール』（バベルプレス、2008 年）• 安藤進『AI 時代の翻訳に役立つ Google 活用テクニック』（丸善出版、2018 年）• 遠田和子『Google 英文ライティング』（講談社、2009 年）• 倉増一『特許翻訳の基礎と応用』（講談社、2006 年）• 駒宮俊友『翻訳スキルハンドブック』（アルク、2017 年）• 近藤哲史『トライアル現場主義！』（丸善出版、2005）• 沢井昭司・時國滋夫『特許翻訳の実務』（講談社、2014 年）• 柴田耕太郎『翻訳家になろう』（青弓社、2012 年）• 田辺希久子・光藤京子『プロが教える基礎からの翻訳スキル』（三修社、2008 年）• 中山裕木子『技術系英文ライティング』（日本工業英語協会、2009 年）

A.2

翻訳会社で使用率が高い表現

フリーランスと比較した場合に翻訳会社で有意に（有意水準 5%）使用率が高い表現 48 個を表 5 に示す。
使用率の差が大きい順に左から右、上から下に並べている。
表 5 フリーランスと比較した場合に翻訳会社で使用率が高い表現 48 個
読みにくい、機械的、冗長、つたない、稚拙、不明瞭、不自然、くどい、わかりにくい、ぎこちない、簡潔、複雑、あいまい、きれい、読みやすい、逐語訳、うまい、丁寧、忠実、たどたどしい、意味のずれた、原文に引きずられた、適切、正しい、ふさわしい、しっくりする・しっくりくる、意味不明、粗い、自然、カジュアル、直訳（直訳的・直訳調）、意味が通じる、通じる、頭に入らない、理解不可能、堅苦しい、こなれていない、難解、流暢、かたい、口語調、明瞭、話し言葉、適訳、すっきりしない、ぼかした、字訳、わかりやすいA.3

自由記述で挙げられた表現

自由記述で回答のあった主観評価表現のうち、2 人が回答した「ニュアンス」と「機械翻訳」を除き、整理した上で 6 に示す。順不同である。
表 6 自由記述で挙げられた主観評価表現（「ニュアンス」と「機械翻訳」は除く）
定訳、文脈に即した、頭でっかちな主語・主部、長い修飾節、同語反復、好み、刺さる、下手だ、分かりづらい、違和感がある、スラスラ読める、一読で理解できる・できない、意味合い、正確、不完全な、不十分な、整然とした・整然としない、文意に合わない、一般的な表現、どちらの意味にも取れる― 923 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).