「空気の読める機械翻訳」
の評価方法
（株）東芝
研究開発センター 知識メディアラボラトリー
鈴木 博和
hirokaz.suzuki@toshiba.co.jp© 2012 Toshiba Corporation

ポイント• 人手評価で出たスコアを使えば十分？
• 明確なゴール設定と現在の到達度が分かるようにしたい。
• スコアを使えば「相対評価」は可能– （例）従来は60点の翻訳品質、改良により80点の翻訳品質を実現– （例）他社は60点の翻訳品質、当社は80点の翻訳品質を実現• やりたい評価は「絶対評価（到達度評価）」– 満足する翻訳品質を得るためには何点必要なのか？
– 現在の翻訳品質はどのようなレベルなのか？
• 小学生レベル、中学生レベル、高校生レベル、大学生レベル、一般人レベル、etc.
• カタコトレベル、非ネイティブレベル、ネイティブレベル、etc.
• 使えないレベル⇔人の翻訳と区別がつかないレベル© 2012 Toshiba Corporation

2

「空気の読める機械翻訳」を作りたい© 2012 Toshiba Corporation

3

「空気が読める」とは• 「ナイフじゃこのケーブルは切れません」– シーン１「この細いケーブルは非常に丈夫です。」「どのくらい？」「ナイフじゃこのケーブルは切れません」• You cannot cut this cable with a knife.
– シーン２「ナイフじゃこのケーブルは切れません」「なぜ？」「切れが鈍くなっているからです」• You cannot cut this cable with the knife.

© 2012 Toshiba Corporation

4

「空気の読める」機械翻訳の解釈• 工学的には3種類のadaptation– Domain Adaptation• 対象のドメインに合わせて– Context Adaptation• 文脈、状況、社会的常識などに合わせて– Intention Adaptation• 発話者の意図に合わせ• 翻訳学的には– 「空気の読める」＝Equivalent Effect (Nida, 1964)© 2012 Toshiba Corporation

5

Koller(1997)のConnotative Equivalence• Speech Level– elevated/poetic/normal/colloquial/slang/vulgar• Socially determined usage– student/military/aristocratic/…

• Geographical relation or region– American English/Australian English/…

• Pompous– “I told you a million times!”• Euphemistic• Common/Uncommon• Ironic/Pejorative– ”Lovely day for a picnic!”© 2012 Toshiba Corporation

6AdaptationとEquivalence

ドメイン適応Speech Level
Socially determined usage
コンテキスト適応
Context Adaptation

Euphemistic

コンテキストに合わせて訳文が変わる

Ironic/Pejorative

Domain Adaptation
ドメインに合わせて訳文が変わる

Geographical relation
or region

Common/Uncommon

Pompous

インテンション適応
Intention Adaptation
意図(intention)に合わせて訳文が変わる© 2012 Toshiba Corporation

7

問題• このような「空気の読み具合」を評価する枠組みがない。
• どのような翻訳になればゴールなのかもわからない。

• 翻訳のプロである実務翻訳業界にヒントはあるだろうか？

© 2012 Toshiba Corporation

8

実務翻訳での評価は？

© 2012 Toshiba Corporation

9実務翻訳での品質評価• 実務翻訳での品質評価– Society of Automotive Engineers J2450• 自動車サービスに関する文書の翻訳品質の人手評価metric• 人手評価をシステマティックに行い、スコアを算出するので現実性・実用性が高い© 2012 Toshiba Corporation

10

J2450

スコアシート（採点例）© 2012 Toshiba Corporation

11

J2450© 2012 Toshiba Corporation

12

実務翻訳では• 実務翻訳では、見た目(ミススペルなど)も含めてシステマ
ティックに評価する枠組みがある。
• 実務翻訳の場合、「翻訳が正しく行われているか？」は欧
米では重視される。日本の場合「見た目」重視。
• 翻訳の品質に関する評価はない• どうやら実務翻訳の世界にも、翻訳の品質を評価する枠組
みはないようだ。

人間翻訳・機械翻訳の両方に使える評価方法の構築は可能か？

© 2012 Toshiba Corporation

13現状の人手評価の問題点を新たな観点から© 2012 Toshiba Corporation

14人手評価手法の問題点• 「空気の読める」機械翻訳を評価するためには【絶対評価（到達度評価）】が必要• 現在の人手評価手法は【相対評価】となっている。
• 例えば– Adequacy・Fluencyの５段階評価• 「Adequacy=5, Fluency＝５」≠「人間が訳したような翻訳」– 「Adequacy=4/Fluency＝４の文よりもよい」– 評価者・文脈・状況によって、評価が変わる• 評価が厳しいグループ vs 評価が優しいグループ© 2012 Toshiba Corporation

15

相対評価と絶対評価• ただ訳文のスコアリングをするだけなら「相対評価」（点差で優劣は分かる）。
• 高品質な訳文とは何か？
→高品質な訳文だと何を以て評価するか？
→何点が高品質な訳文か？
→何点を取れば合格なのかを考え、それへの到達度を評価する。

到達度によって、【目標に対し現在どのレベルにあるか】を評価できる。
人間翻訳に対し、機械翻訳がどのレベルにあるのかも分かるはず！

© 2012 Toshiba Corporation16

新しい人手評価手法の提案© 2012 Toshiba Corporation17手法において考慮すべき点• 主観的な評価をできる限り客観的に扱いたい– 「良い」「悪い」の判断基準• 評価結果の信頼性、精度、一貫性も検証したい– 評価にバラツキが少ないものがよい• 「相対評価」ではなく、「絶対評価（到達度評価）」を行
いたい

教育学・心理学・統計学的アプローチも検討。
教育、特に英語教育の評価方法にフォーカスしてみる
例えばCambridge ESOL(English for Speakers Of other Language)
Cambridge ESOLのテストはCEFR(Common European Frameworkof Reference)(*)に準拠。
CEFRは絶対評価（到達度評価）(*)日本語版はhttp://wwwsoc.nii.ac.jp/jgg/jggla/library/cef_verzeichnis.html© 2012 Toshiba Corporation18

【参考】Cambridge ESOLとCEFR

CEFRのランクと関連付けされている

出典:http://www.cambridgeesol.org/about/standards/cefr.html© 2012 Toshiba Corporation

19

CEFRとALTE ‘Can Do’ Statementsとの対応
ALTE ： Association of Language Testers in Europe
ALTE Can Do Statements: overall general ability
CEFR LEVELS
Listening/Speaking
Reading
Writing
CAN advise on or talk about
CAN understand documents,
CAN write letters on any subject
complex or sensitive issues,correspondence and reports,
and full notes of meetings orC2
understanding colloquial references
including the finer points ofseminars with good expression andand dealing confidently with hostile
complex texts.
accuracy.
questions.
CAN contribute effectively to
CAN read quickly enough to cope CAN prepare/draft professional
meetings and seminars within own
with an academic course, to read correspondence, take reasonably
area of work or keep up a casualC1
the media for information or toaccurate notes in meetings or write
conversation with a good degree ofunderstand non-standard
an essay which shows an ability tofluency, coping with abstract
correspondence.
communicate.
expressions.
CAN follow or give a talk on a
CAN scan texts for relevant
CAN make notes while someone isfamiliar topic or keep up a
B2
information, and understandtalking or write a letter including
conversation on a fairly wide range
detailed instructions or advice.
non-standard requests.
of topics.
CAN express opinions on
CAN understand routine
abstract/cultural matters in a limited
information and articles, and the
CAN write letters or make notes on
B1
way or offer advice within a known
general meaning of non-routine
familiar or predictable matters.
area, and understand instructions
information within a familiar area.
or public announcements.
CAN understand straightforward
information within a known area,
CAN complete forms and write
CAN express simple opinions or
A2such as on products and signs and short simple letters or postcards
requirements in a familiar context.
simple textbooks or reports on
related to personal information.
familiar matters.
CAN understand basic instructions
CAN complete basic forms, and
CAN understand basic notices,A1
or take part in a basic factual
write notes including times, dates
instructions or information.
conversation on a predictable topic.
and places.

© 2012 Toshiba Corporation

20

CEFRを参考にした人手評価手法の構築
教育学（言語習得）

機械翻訳

言語習得に関する評価ランクを設ける(e.g. CEFR)

機械翻訳品質に関する評価ランクを設ける

適切なcriteriaの設定(e.g. Can Do Statements)

適切なcriteriaの設定(e.g. JEIDAの”機械翻訳システム評価
基準”＋自然さ・流暢さの評価基準＋文
脈・意図理解に関する評価基準＋etc.)

問題・得点配分の策定

品質評価項目・スコアの策定

適切なstandardの設定(何点のスコアがどのランクに対応するか決定)
Validation（設定したstandardがどれくらい正確に分類できるか確認）© 2012 Toshiba Corporation

21

Step1 – Criteria Setting• Criteriaの設定– ランクを決める• CFERのCriteriaグリッドを参考にする（A1/A2/B1/B2/C1/C2の6段階）– TQをどのように定義するか？
• そもそも「翻訳」とは何なのかを考慮しなければならない。
• 翻訳学での解釈を工学的に利用できないか？

© 2012 Toshiba Corporation

22MTのためのCriteria Gridを作成• Equivalent Effectを念頭において、Criteriaを考えてみた。
（注）• 言語学・翻訳学者の意見は反映されていません。
• 私の独断と偏見で作成しました。

© 2012 Toshiba Corporation

23

Criteria Grid of MT Quality（仮）Qualitative Factors

Level

Proficient User
Level

Independent User
Level

Basic User Level

Incomprehensible
Level

Vocabulary Range& Vocabulary
ControlGrammatical Accuracy

Socio-Linguistic AppropriatenessCoherence & Cohesion

Fluency & FlexibilityC2

can convey finer
shades of meaning
precisely

maintains consistentand highly accurate
grammatical control

can express fully the sociolinguistic and socio-cultural
implications

can create coherent andcohesive texts making
full and appropriate useof a variety oforganizational patterns

uses expressions withnatural, smooth flow
(so smooth that thereader is hardly
aware of MT)C1

can translate
clearly in an
appropriate style
on a wide range

consistently maintains
a high degree ofgrammatical accuracy(occasional errors ingrammar, collocations
and idioms)

can use translation flexibly andeffectively for social purposes

can produce clear,smoothly flowing, wellstructured test

uses expressions withnatural, smooth flowB2

has a sufficient
range of language
to be able to give
clear descriptions

high degree ofgrammatical control(does not make errors
which cause
misunderstandings)

can avoid crass errors offormulation

can use a number ofcohesive devices to linksentences into coherent
text (including minor
jumpiness)

uses occasional lessappropriate
expressionsB1

has enoughlanguage to get by,with sufficient
vocabulary

uses reasonably
accurately a repertoireof frequently usedpatterns-

can link a series ofshorter discreteelements into a
connected, linear text

the texts areunderstandable but
occasional unclear
expressionsA2

uses basic
sentence patternerrors may sometimes
cause
misunderstandings-

can link groups of words
with simple connectors

texts containexpressions whichmakes the text hardto understandA
1

has a very basic
repertoire of words
and simple
phrases

limited control of a few
simple grammaticalstructures-

can link words or groups
of words with very basic
linear connectors (e.g.
and/then)text containexpressions whichmake the text very
hard or impossible tounderstand0

impossible to judge

non-grammaticalimpossible to judge

impossible to judge

impossible tounderstand© 2012 Toshiba Corporation

24

Step2 – Item Setting• TQを評価するための質問事項を決定する– 質問内容は？
• Criteria Gridを考慮した評価項目– 何段階評価にするか？
• 重要度に応じたスコア配分– 質問数をいくつにするか？
• 評価コスト• ここでも言語学者・翻訳者の意見は重要– 何を重視するか？
• 何を以って翻訳の良し悪しを判断するか？

© 2012 Toshiba Corporation

25

Step2 – Item Setting• 評価項目の検証– Concordance• 評価者同士で意見が割れていないか？
– Consistency• 同一評価者の評価一貫性(intra-rater consistency)• 評価者間の評価一貫性(inter-rater consistency)– Reliability• 評価項目が知りたいことをちゃんと反映しているか？

© 2012 Toshiba Corporation

26

Step2 – Item Setting• 仮に質問・スコアが決定できたとする– （例）7項目10点満点
Item
Q2

Q3

Q4

Q5

Q6

Q7

J1

9

8

9

7

8

10

9

J2

8

7

7

7

8

8

8

Judge

• 検証

①全体の分散
を計算

Q1

J3
8
7
8
6
6
8
7
– Concordance
J4
10
8
10
7
8
8
8
（Statistics for agreement）• Kendall’s W
J5
10
9
9
8
8
9
10
②この分散を計算• W=0.4815
J6
9
9
10
8
7
7
7
– Consistency
Avg. 9
8
8.8
7.2
7.5
8.3
8.2
• Intra-class correlation(②/①)• 0.2962（全体の分散の約70%はJudgeの評価の違いによる）– Reliability• Cronbach’s alpha (内部一貫性（質問事項が調査目的としている特性を測定できているか）を検証する)– Alpha=0.83 (一般に0.7以上が好ましいといわれる)• Speaman-Brown formula(質問数の変化に伴うreliabilityの変化を予想する)© 2012 Toshiba Corporation

27

Step3 – Standard Setting• Standardの設定– 何点のscoreでどのランクになるか– Standard決定手法
この辺がstandard?
• Body of Work method• Logistic Regression© 2012 Toshiba Corporation

28

Step4 – Agreement/Consistency• 評価者間のAgreement/Consistencyを評価• Agreement– Cohen’s Kappa(２評価者間のagreementを検証)• Kappa=0.6461– Fleiss’ Kappa（複数評価者間のagreementを検証）• Consistency– 順位相関係数• Kendall’s tau rank correlation coefficient• Speaman’s rank correlation coefficient– Spearman r=0.6731© 2012 Toshiba Corporation

29

Step5 - Validation• 設定したStandardのaccuracy/consistencyを検証
reliability• 評価手法– Livington & Lewisの手法を使う– ReliabilityをCronbach’s alphaで推定– ツール（BB-CLASS）を使う– Center for Advanced Studies in
Measurement and Assessment, Univ. of Iowa

設定したstandard

スコア
頻度© 2012 Toshiba Corporation

30

Step5 - Validation

Absolute agreement

Consistency© 2012 Toshiba Corporation

31

Step6 – Test Set• 評価用セットをどのように準備するか？
– ドメイン– 文数– 文の長さ– 含まれている言語現象• 原文の品質を考慮すると、Readabilityという観点も必要– Memphis大のCoh-Metrix© 2012 Toshiba Corporation32

【参考】Coh-Metrix• テキストの一貫性や難易度を数値化• 数理言語学(computational linguistics)と心理言語学(psycholinguistics)の観点で評価可能© 2012 Toshiba Corporation33

【参考】Coh-Metrixの出力インデックス
No.

Description

MeasureFull description

1

Title

Title

Title

2

Genre

Genre

Genre

3

SourceSourceSource4

JobCodeJobCodeJobCode5

LSASpace

LSASpace

LSASpace

6

Date

Date

Date

7

Adjacent anaphor reference

CREFP1u

Anaphor reference, adjacent, unweighted

8Anaphor reference

CREFPau

Anaphor reference, all distances, unweighted

9

Adjacent argument overlap

CREFA1uArgument Overlap, adjacent, unweighted

10Argument overlap

CREFAauArgument Overlap, all distances, unweighted

11

Adjacent stem overlap

CREFS1u

Stem Overlap, adjacent, unweighted

12

Stem overlap

CREFSau

Stem Overlap, all distances, unweighted

13

Content word overlap

CREFC1u

Proportion of content words that overlap between adjacent sentences

14

LSA sentence adjacent

LSAassa

LSA, Sentence to Sentence, adjacent, mean

15

LSA sentence all

LSApssa

LSA, sentences, all combinations, mean

16

LSA paragraph

LSAppa

LSA, Paragraph to Paragraph, mean

17

Personal pronouns

DENPRPi

Personal pronoun incidence score

18

Pronoun ratio

DENSPR2

Ratio of pronouns to noun phrases

19

Type-token ratio

TYPTOKc

Type-token ratio for all content words

20

Causal content

CAUSVP

Incidence of causal verbs, links, and particles

21

Causal cohesion

CAUSC

Ratio of causal particles to causal verbs (cp divided by cv+1)

22

Intentional content

INTEi

Incidence of intentional actions, events, and particles.

23

Intentional cohesion

INTEC

Ratio of intentional particles to intentional content© 2012 Toshiba Corporation34

【参考】Coh-Metrixの出力インデックス（続き）
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50

Syntactic structure similarity adjacent STRUTa
Syntactic structure similarity all-1
STRUTtSyntactic structure similarity all 2
STRUTpTemporal cohesion
TEMPtaSpatial cohesion
SPATC
All connectives
CONi
Conditional operators
DENCONDi
Pos. additive connectives
CONADpi
Pos. temporal connectives
CONTPpi
Pos. causal connectives
CONCSpi
Pos. logical connectives
CONLGpi
Neg. additive connectives
CONADni
Neg. temporal connectives
CONTPni
Neg. causal connectives
CONCSni
Neg.logical connectives
CONLGni
Logic operators
DENLOGi
Raw freq. content words
FRQCRacw
Log freq. content words
FRQCLacw
Min. raw freq. content words
FRQCRmcs
Log min. freq. content words
FRQCLmcs
Concreteness content words
WORDCacw
Min. concreteness content words
WORDCmcs
Noun hypernym
HYNOUNaw
Verb hypernym
HYVERBaw
Negations
DENNEGiNP incidence
DENSNP
Modifiers per NP
SYNNP

Sentence syntax similarity, adjacent
Sentence syntax similarity, all, across paragraphs
Sentence syntax similarity, sentence all, within paragraphs
Mean of tense and aspect repetition scores
Mean of location and motion ratio scores.
Incidence of all connectives
Number of conditional expressions, incidence score
Incidence of positive additive connectives
Incidence of positive temporal connectives
Incidence of positive causal connectives
Incidence of positive logical connectives
Incidence of negative additive connectives
Incidence of negative temporal connectives
Incidence of negative causal connectives
Incidence of negative logical connectives
Logical operator incidence score (and + if + or + cond + neg)
Celex, raw, mean for content words (0-1,000,000)
Celex, logarithm, mean for content words (0-6)
Celex, raw, minimum in sentence for content words (0-1,000,000)
Celex, logarithm, minimum in sentence for content words (0-6)
Concreteness, mean for content words
Concreteness, minimum in sentence for content words
Mean hypernym values of nouns
Mean hypernym values of verbs
Number of negations, incidence score
Noun Phrase Incidence Score (per thousand words)
Mean number of modifiers per noun-phrase© 2012 Toshiba Corporation35

【参考】Coh-Metrixの出力インデックス（続き）
51

Higher level
constituents

SYNHw

Mean number of higher level constituents per word

52

Words before main
verb

SYNLE

Mean number of words before the main verb of main clause in sentences

53
54
55

No. of words
No. of sentences
No. of paragraphs

READNW
READNS
READNP

Number of Words
Number of Sentences
Number of Paragraphs

56

Syllables per word

READASW

Average Syllables per Word57

Words per sentence READASL

Average Words per Sentence

58
59
60

Sentences per
paragraph
Flesch Reading
Ease
Flesch-Kincaid

READAPL

Average Sentences per Paragraph

READFRE

Flesch Ease Score (0-100)

READFKGL Flesch-Kincaid Grade Level (0-12)© 2012 Toshiba Corporation36

【参考】Coh-Metrixを実際に使ってみる© 2012 Toshiba Corporation37

【参考】Coh-Metrixを実際に使ってみる（続き）© 2012 Toshiba Corporation

38

まとめ

© 2012 Toshiba Corporation

39評価手法確立のためにやらなければならないこと• 人手評価で出たスコアを使えば十分？
• なぜ、わざわざランクを設定するのか？
• なぜ、わざわざスコアをランクを対応づけるのか？
• スコアを使えば「相対評価」は可能– （例）従来は60点の翻訳品質、改良により80点の翻訳品質を実現– （例）他社は60点の翻訳品質、当社は80点の翻訳品質を実現• やりたい評価は「絶対評価（到達度評価）」– 満足する翻訳品質を得るためには何点必要なのか？
– 現在の翻訳品質はどのようなレベルなのか？
• 小学生レベル、中学生レベル、高校生レベル、大学生レベル、一般人レベル、etc.
• カタコトレベル、非ネイティブレベル、ネイティブレベル、etc.
• 使えないレベル⇔人の翻訳と区別がつかないレベル© 2012 Toshiba Corporation40

ご清聴ありがとうございました。

© 2012 Toshiba Corporation