言語処理学会 第21回年次大会 発表論文集 (2015年3月)

多言語リアルタイム会話における日本語動詞語尾崩れの検出
鄭育昌＊, 長瀬友樹＊, 上柿稔✝, 岡田伊策✝

株式会社富士通研究所 スピーチ＆ランゲージテクノロジー研究部＊
富士通株式会社 ＳＩ技術サポート本部 システム技術統括部✝
{cheng.yuchang, nagase.tomoki, uegaki.minoru, isaac-okada} @jp.fujitsu.com

1

表 1: 社内の IM 会話ログの概要

はじめに

ユーザ数
会話単位数
総発話数
1 会話当たりの平均発話数

587
200022715
11.3

インターネットが地球規模で使えるようになり、機械翻訳のサービスとインスタントメッセンジャ（IM）を利用して、言語の壁を越えて外国語話者と発話の平均長さ19.5 (文字)のリアルタイムコミュニケーションを行う人が増え
発話間の平均応答時間40.7 (秒)ている([1],[2])。企業においてもインスタントメッセンジャを使用してリアルタイムの業務連絡を行うことも増加している。しかし、機械翻訳の品質が不十分の場合、意思疎通の齟齬で不要な会話が増加し、 2 IM を用いたリアルタイム業務連絡の会話ログの分析迅速さが損なって業務連絡に支障が出る恐れがある。
機械翻訳を用いた業務連絡における意思疎通の齟
本章では、我々が分析したIMを用いたリアルタイ齬を防ぐため、我々は企業内でインスタントメッセム業務連絡の日本語会話ログについて説明する。本ンジャを用いた業務連絡（日本語）を分析、業務連研究では、インスタントメッセンジャとして絡会話の特徴を観測し、更に日英・日中翻訳ソフト「Lync 1」を利用した。表 1 は業務連絡の会話ログを用いて業務連絡の会話ログを英語に翻訳して、業の概要を示している。587 人のユーザが 3 カ月間に務連絡会話の特徴が機械翻訳の品質に対する影響をLyncを利用した日本語会話ログ、合計 22,715 件の発観測した。その結果、図 1 の入力文「もっと買わな話を収集した。会話ログが社内の業務連絡のため、きゃだ 」のように、「日本語動詞の語尾崩れ」が機会話の開始・終了の境界が不明確である。本稿では、械翻訳の品質を低下させる重要な要素であることが2 つの発話の間隔に基づき、発話から 10 分以上の間わかった。
隔で会話を分断し、全会話ログは 2000 個の会話単
我々は上記の調査からの知見に基づき、IM 会話位に分割された。1 つの会話単位における平均発話において、機械翻訳品質の低下要因である日本語動数は 11.3 であり、発話の平均長さは 19.5 文字であ詞の語尾崩れの自動検出システムを提案、構築した。
る。業務連絡におけるインスタントメッセージの発日本語の動詞語尾崩れの修正には以下のタスクがあ
話がニュース記事や書類のようなテキストより短いると考えられる: (1) 機械翻訳の失敗を引き起こす動ことを示している[3]。
詞語尾崩れの検出； (2) 動詞語尾崩れを同じ意味を
次に、上記の会話ログの発話の特徴を観察し、発持つ一般表現での置換；しかし、(2)の処理は極めて話の特徴が日英・日中機械翻訳の品質に対する影響困難のため、本稿では、(1)の処理に焦点を絞った。
を観測した。 本稿では、機械翻訳の品質を判断する
日本語動詞語尾表現崩れの検出は、文中の動詞(語指標として「Acceptability」を採用しました[4]。ま幹と語尾表現)の検出と動詞の語尾表現が崩れたかどた、本稿では「Acceptability」を最高位の「５」かうかの検証の手順が含まれる。インスタントメッセ
ら最下位の「１」で５段階の数値で翻訳品質を評価
ージの大半は短文であるため、SVO 語順を取る日本した。機械翻訳器は、日中翻訳ソフト「J-北京 7 2」語では動詞が文の終わりに置かれているとみなせる。と日英翻訳ソフト「ATLAS V14 3」を採用した。
検出された動詞に対し、動詞語尾を一般表現で置換日英・日中翻訳を行うことで、 会話ログの特徴がと置換前との翻訳品質の変化を測ることで、動詞語異なった言語の機械翻訳に対する影響する属性を観尾表現崩れ箇所を検出する。
察できる。表 2 では分析結果を示している。会話ロ
提案手法を前記の企業内業務連絡ログに適用した
グで観測された特徴の数が多いため、表 2 では機械結果、企業内業務連絡ログの日中翻訳品質
翻訳に影響がある代表的な特徴を示している。「特(Acceptability)は本手法の適用で 3.41 から 3.48 に向上することを確認した。
1
Microsoft™ Lync: http://products.office.com/en/lync/㈱高電社 J-北京 7: http://www.kodensha.jp/soft/jb/
3㈱富士通 ATLAS V14: http://software.fujitsu.com/jp/atlas/
2― 549 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 日本語インスタントメッセージ発話特徴の出現確率と翻訳結果の Acceptability の分布
特徴

特徴の出現確率

日中翻訳の Acceptability

日英翻訳の Acceptability

顔文字
動詞語尾崩れ表現
その他の口語表現
固有表現の使用
途切れた発話
主語、目的語省略
URL、ソースコードなど
話者の共通知識
全発話平均

7%
8%23%
16%
12%
3%
2%
16%

4.29
2.65
3.58
3.50
3.36
3.30
4.16
3.52
3.62

4.33
2.41
3.26
3.62
3.10
3.0
3.81
3.62
3.43

を元に置換された表現は動詞語尾崩れ表現であるかどうかを判断する手法である。日本語動詞の語尾が崩れた表現の場合、動詞語尾部分が翻訳できないため翻訳品質が低下するが、動詞語尾部分を翻訳可能な一般語尾で置換することで翻訳品質が向上すると考えられる。そのため、動詞語尾部分を一般語尾で置換して翻訳品質の変化を評価することで動詞語尾崩れ表現を検出できる。例えば、機械翻訳ソフトが「買わねぇよ」を翻訳できないが、「買わない」が翻訳できる。
図 1 では、本稿の提案手法の処理流れおよび実行例を示している。提案手法は以下の 3 ステップを含んでいる：

動詞語幹辞書語幹 活用

入力：もっと買わなきゃだ
Step 1: 動詞の検出
もっと買わなきゃだ
語幹 語尾表現
Step 2:語尾表現の置換
置換候補文： もっと買う
Step 3:置換効果の評価
動詞語尾崩れ: もっと買わなきゃだ[v5r](ラ行五段）

返

変え [v1](ア行下一段)
買[v5w](ワ行五段)

飲[v5m](マ行五段)

……

……

動詞活用表
活用語尾表現

[v5r]

る

[v1]

る

[v5w]

う

[v5m]

む

……

……

図 1: 提案手法の処理例

ステップ 1: 動詞(語幹と語尾表現)の検出徴の出現確率」が該当特徴種類を持つ発話が会話ログに出現する割合を示す。「日中（日英）翻訳の 入力文に対し、動詞語幹辞書を用いて動詞の語幹部Acceptability」は会話ログの日中（日英）翻訳結果 分を検出する。動詞語幹辞書は形態素解析などで用いた辞書であり、動詞の語幹およびその活用形を示の平均翻訳品質を示す。
表 2 では、特徴「動詞語尾崩れ表現」の出現確率 すものである。検出された動詞語幹に続くひらがな
は 8%であるが、翻訳品質（日中: 2.65、日英: 2.41） 文字列は動詞の語尾表現とみなす。IM を用いた業が全発話平均（日中: 3.62、日英: 3.43）に比べて大 務連絡会話ログの分析により、IM 発話ログは短く、幅に低くなっていること。他の特徴と比べても、 動詞が発話の最後にあるため、動詞の語幹以降、文「動詞語尾崩れ表現」を持つ文の翻訳品質が他の特 末までの文字列は動詞の語尾表現とみなせ、動詞語尾崩れ表現の可能性があると考えられる。図 1 では、徴を持つ文の翻訳品質より低いことがわかった。
特徴「動詞語尾崩れ表現」の出現確率は 8%であ 入力文「もっと買わなきゃだ」に対し、動詞とそのるため、業務連絡会話ログ（平均発話数 11.3）では、 語尾「買わなきゃだ」が検出された。
１会話単位につき約１回の動詞語尾崩れ表現が発生 ステップ 2: 語尾表現の置換すると考えられる。そのため、機械翻訳を用いた ステップ 2 では、ステップ１で検出された動詞（語IM 会話では、動詞語尾崩れ表現の出現はユーザ間 幹と語尾表現）に対し、語尾表現の部分を動詞語幹の意思疎通に障害が生じる原因と考えられる。の活用形情報に基づき、一般表現で置換する。一般
以下では、IM 会話の翻訳における日本語動詞語 表現は動詞の活用形であるため、機械翻訳ソフトが尾崩れ表現を検出するための提案方法を説明する。
処理できる。図 1 では、「買わなきゃだ」の動詞に

3

3.1

提案手法：動詞語尾を一般表現で置換することで日本語動詞語尾崩れ表現を検出

対し、動詞語幹「買」の活用情報を用いて、一般表現「買う」で置換し、置換結果「もっと買う」を生成した。

ステップ 3: 置換効果の評価

日本語動詞語尾崩れ表現の検出

本稿の提案手法は、会話文中の日本語動詞語尾を一般表現で置換し、置換前後の翻訳品質の品質変化

ステップ 2 の置換結果とその原文（入力文）に対し、置換結果の翻訳品質が原文の翻訳品質より大幅に向― 550 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

上したかどうかを評価する。翻訳品質の自動評価方
法は 3.2 で説明する。置換結果の翻訳品質が原文の翻訳品質大幅に向上する場合、ステップ２の置換により、原文の翻訳できない部分が取り除いたと考えられ、置換された動詞語尾部分は翻訳できない語尾崩れであると判断できる。図 1 では、ステップ２で生成された置換結果「もっと買う」の翻訳品質を評価し、その評価値を原文「もっと買わなきゃだ」の翻訳品質と比較して、置換結果の翻訳品質が原文よより大幅に向上したため、置換された語尾表現「わなきゃだ」が翻訳できない部分、すなわち語尾崩れであると判定する。この検出結果（動詞語尾崩れ：買わなきゃだ）をユーザに提示することで翻訳不可の表現を防ぐことが可能である。

3.2

原文と折り返し翻訳結果の類似度による翻訳品質の自動評価提案手法のステップ 3 では、原文と折り返し翻訳結果の類似度を評価することで翻訳品質の自動評価を行う。「折り返し翻訳」は元言語から一度目標言語に翻訳し、更にその翻訳結果を元言語に翻訳する手順である[5] 。翻訳目標言語を理解できないユーザが機械翻訳ソフトを利用する際、折り返し翻訳の結果が原文と一致するかどうかを確認することで翻訳品質を推測することがよく見られる現象である。折り返し翻訳が原文と一致する場合、目標言語への翻訳品質が高いと推測できる。
提案手法は、原文と折り返し翻訳結果の類似度を図 1 で示した概念構造を比較することで評価する。
概念構造は文の意味構造を単語の概念および概念間の関係で表示する意味構造である。図 1 では、原文「もっと買う」とその（日英日）折り返し翻訳結果「それはそれをさらに買います」の概念構造を生成し、構造の要素（ノード、ノード間の関係など）に図例のように点数を付与し、図 1 で示した計算式で概念構造の類似度スコアを計算した。本事例では、原文と折り返し翻訳結果の類似度は 0.71 である。

原文（日本語）買[BUY]<PREDICATE>

折返し翻訳

It buys it more.

もっと買う< PREDICATE >[MANNER]買[BUY][MANNER][AGENT][OBJECT]
それ[IT]

もっと[MORE]

それはそれをさらに買います。

<AUX.HA><AUX.WO>

さらに[MORE]

それ[IT]

図例

意味(スコア)それ[IT]

概念ノード (20)

[MANNER]

ノードペア関係(10)<GA>

文法属性 (5)買[BUY]

ルート概念 (50)

図 2: 原文と折返し翻訳結果の類似性の計算例

3.3

翻訳品質の変化による日本語動詞語尾崩れの判断

ステップ 3 では、原文および語尾を置換した置換結果の翻訳品質評価値を求めた後、その翻訳品質評価値の変化により、動詞語尾置換の効果を評価する。
翻訳品質変化の閾値を設定し、語尾置換結果の翻訳品質の向上が閾値を超えた場合は置換された語尾表
現が翻訳できない崩れた表現と判断する。その他の場合は語尾置換が文全体の翻訳品質の向上に貢献できないと判断する。

4

動詞語尾崩れ表現の検出実験

本章では、動詞語尾崩れ自動検出の提案手法効果を検証する実験を説明する。動詞語尾崩れ表現の出現原因が多様であり、崩れた表現が表す意味を推測することが困難である。そのため、本研究は動詞語尾崩れ表現の自動検出が目的であり、語尾崩れ部分の意味に相当する一般表現の自動サジェストを行わない。
本稿の実験で使われたデータは 2 章で紹介したIM を用いた（日本語ユーザ同士の）リアルタイム業務連絡の会話ログである。まず、我々は提案手法を会話ログに適用し、日中翻訳における翻訳できない動詞語尾崩れを検出した。その後、評価作業者（ユーザ）が指摘箇所と同じ意味を持つ一般表現で置換し、手動置換前後の翻訳品質を評価した。提案
手法の検出結果が正確であれば、ユーザが検出された箇所を一般表現で書き換えることで翻訳品質が向上し、会話の意思疎通の支障が軽減する。
表 3 では動詞語尾崩れ表現の自動検出結果を示している。 会話ログは 22,715 件の発話があるが、重複発話を削除して 14,394 件の発話が残る（セル「会話ログの全発話」）。その中、提案手法が検出した
動詞語尾崩れを持つ発話は 2,229 件がある（セル「検出された動詞語尾崩れの発話」）。
次に検出された 2,229 件の動詞語尾崩れ表現に対し、ユーザが手動で原文と同義の一般語尾表現で原文の語尾を修正した。語尾の手動修正は同義表現が望まれるため、同義表現が見つからない場合、該当箇所は「手動修正不可」と記された。その後、手動修正前・後の発話文を日中翻訳ソフトで翻訳し、作業者による翻訳品質評価（Acceptability）を行う。
表 4 では上記の手動修正前・後の日中翻訳品質を示す。「検出された動詞語尾崩れの発話」は自動検出された箇所の手動修正前・後の平均翻訳品質を示し、「全発話」では会話ログの全発話の平均翻訳品質を示す。その結果、自動検出された動詞語尾崩れの平均翻訳品質が手動修正前の 3.03 から手動修正後の 3.46 に増加し、全発話の 平均翻訳品質が 3.41 から 3.48 に増加した。全発話の翻訳品質は劇的に増加― 551 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 3: 総発話数と検出された動詞語尾崩れの数
発話数2229
検出された動詞語尾崩れの発話
14394
会話ログの全発話
表 4: 検出された動詞語尾崩れの修正前/後の日中翻訳結果の平均 Acceptability
平均
説明Acceptability
検出された動詞語尾崩れの発話
3.03(2229 件)の手動修正前検出された動詞語尾崩れの発話
3.46(2229 件)の手動修正後
全発話(14394 件) の手動修正前

3.41

全発話(14394 件) の手動修正後

3.48

表 5: 提案システムの処理結果に対する手動修
正による日中翻訳品質の変化%
Acceptability
発話数
33.7%
752
増加
52.2%
1163
同様
2.7%
60減少
11.4%
254
手動修正不可2229
合計

正して動詞部分の意味が正確に翻訳できでも、未知語部分が翻訳できないため、「重要な情報は全部翻訳した」の条件に満たさなく、Acceptability の向上は引き上げができない。そのため、表 5 の翻訳品質変化は Acceptability が変更なしの発話数が最も多かった。

5まとめ

本稿では、機械翻訳を用いた IM 会話における意思疎通の障害を軽減するため、動詞語尾崩れ表現の自動検出手法を提案した。我々はまず、日本語の社内業務連絡の会話ログを分析することで動詞語尾崩れ表現が IM 会話の翻訳品質低下の重要な要因であることを明らかにした。一般動詞語尾を用いて会話文の動詞語尾表現を置換し、置換前後の翻訳品質を比較することで動詞語尾崩れ表現を自動に検出する手法を提案した。
提案手法の効果を検証するため、我々は提案手法を日本語業務連絡会話ログに適用させ、検出された動詞語尾崩れ箇所を手動修正してその翻訳品質の変化を検証した。実験結果は、検出された動詞語尾崩れ発話の平均翻訳品質が手動修正前の 3.03 から 3.46に増加したことがわかった。ユーザが提案手法の検出結果に従って指摘箇所を修正すれば、機械翻訳を用いた IM 会話の意思疎通の障害が軽減すると考えられる。今後は、本手法の適用で意思疎通の障害の軽減効果を定量に検証する方式を検討し、機械翻訳を用いた IM 会話に対する提案手法の効果を検証する予定である。

しなかったが、提案手法が翻訳できない動詞語尾崩れ表現の検出が有効であると考えられる。ユーザが提案手法の処理結果に従い、指摘された動詞語尾を修正すれば、翻訳できない発話を軽減でき、IM 会
参考文献
話の効率が向上できると考えられる。
また、本提案手法で検出された動詞語尾崩れ表現 [1] Inaba, R. Usability of multilingual communicationを持つ発話の修正前の翻訳品質が 3.03 であり、全会 tools. Springer-Verlag, City, 2007.
話ログの平均翻訳品質 3.41 より大幅に低いことがわ [2] Aiken, M. Multilingual communication in electronicmeetings. SIGGROUP Bull., 23, 1 2002), 18-19.
かった。本提案手法は正確に翻訳品質が低い発話を[3] Komine, H., Kinukawa, H. and Nakagawa, H.
検出でき、翻訳品質の自動評価の利用にも可能であ Sentence Extraction based on Document Frequency andると考えられる。
Text Length. City, 2002.
表 5 では、検出された動詞語尾崩れの発話に対す [4] Goto, I., Chow, K. P., Lu, B., Sumita, E. and Tsou, B.
る手動修正による翻訳品質の変化を示す。2,229 件 K. Overview of the patent machine translation task at theの動詞語尾崩れを持つ発話に対し、33.7%の発話が NTCIR-10 workshop. City, 2013.
手動修正により翻訳品質が向上した。手動修正によ [5] Miyabe, M., Yoshino, T. and Shigenobu, T. Effects of
り翻訳品質が低下した件数は 2.7%のみである。一方、 undertaking translation repair using back translation.
ACM, City, 2009.
52.2%の発話は翻訳品質の変化がなかった。我々は、Acceptability を 翻 訳 品 質 の 評 価指 標 とし てい る。
Acceptability での５段階の翻訳品質は明確な定義があり、定義を満たさないなら、ユーザの主観で「多少わかりやすくなった」と思っても Acceptability の段階を引き上げることができない。例えば、翻訳できない動詞語尾崩れ表現と未知語を同時に持つ発話（Acceptability: 1）に対し、動詞語尾崩れ表現を修― 552 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.