日中共通漢字の整理とこれを利用した日中機械翻訳の高度化
京都大学大学院情報学研究科

PROFILE

075-753-5346

京都大学大学院情報学研究科

Chu Chenhui

2012 年 9 月京都大学大学院情報学研究科知能情報学専攻修士課程修了。機械翻訳の研究に従事。

京都大学大学院情報学研究科教授

PROFILE敏明

2010 年京都大学大学院情報学研究科知能情報学専攻博士課程修了。博士（情報学）。機械翻訳の研究に従事。
nakazawa@nlp.ist.i.kyoto-u.ac.jp

PROFILE

中澤黒橋禎夫

1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了。博士（工学）。2006 年 4 月より京都大学大学院情報学研究科教授。自然言語処理、知識情報処理の研究に従事。

日本語の漢字と簡体字では、現在でも全く同じ形をし1 はじめにているものもあるが、部分的に相違点はあるが同じ漢字

近年、中国に出願される特許件数が著しく増加してきないものが多く存在する。たとえば【表１】に示すよおり、中国語で書かれたこれら特許の閲覧が必要な機会

うに、日本語の「雪」という漢字は中国語でも「雪」とが増えている。しかし英語文献の閲覧に比べて、中国語書くが、「愛」は少しだけ異なって「爱」、「発」は大き文献の閲覧は敷居が高い。また逆に中国語でなんらかのく異なり、「发」と書かれる。また中国語には存在しな文書を書く機会もあるだろう。このような背景から、日い日本語の漢字、いわゆる国字も存在する。

だと判断できるものや、見た目では同じかどうか判断で中機械翻訳の必要性がより一層高まっているが、高精度な日中機械翻訳システムはいまだに実現には至っていな
い。日中機械翻訳の高度化の一つの手掛かりとなるのが、漢字情報である。日本語の漢字は中国語に由来するため、

表 1：日本語漢字と簡体字の対応例

日本語
簡体字

同一
雪、安雪、安違い小愛、詞爱、词

違い大発、広发、广

国字
込、畑なし

多くの漢字を共有している。同じ漢字は同じ意味を持っている場合が多く、多くの日中自然言語処理タスクに有

本稿では、既存のさまざまなリソースを活用して日本効であり、特に機械翻訳における単語対応の自動推定（ア語漢字と簡体字のマッピングテーブルを作成し、これをライメント）の精度向上に有効であると考えられる。

用いて日中アライメントを高度化する方法を提案する。

おもに中国本土やシンガポールで使われている文字は簡体字（Simplified Chinese）と呼ばれるもので、その名の通り文字が簡略化されており、元の字体とは大きく異なるものが多い。一方で日本語の漢字に近いのは台258

2 漢字マッピングテーブル

湾、香港、マカオなどで使われている繁体字（Traditional

漢字マッピングテーブルは、日本語で使われる漢字Chinese）と呼ばれるものであり、簡体字とは大きくを基として、簡体字を対応付けることで構築する。しか異なる。以降、本稿では日本語と簡体字で書かれた中国

しどの文字を日本語の文字とするのかも難しい問題で語にのみ焦点をあてる。

ある。ここでは JIS 漢字コードの第 1、第 2 水準漢字、YEAR BOOK 2012

寄稿集

合わせて 6355 文字を日本語の漢字として用いる [2]。

る文字数の変化を【表２】に示す。Unihan database
だけでもかなりの文字の対応が発見できるが、その他二２．１

漢字マッピングテーブルの構築対応が発見できていることがわかる。

機械翻訳技術の向上

構 築 に は 以 下 の 3 つ の リ ソ ー ス を 利 用 し た。1 つ4つのリソースを追加することにより、新たにいくつかの目は Unihan database[7] である。これは UnicodeConsortium が 構 築 し て い る、CJK 統 合 漢 字 に 関 するデータベースであり、全ての Unicode 漢字について の 情 報 が 含 ま れ て い る。 そ こ に は“mappings”、“readings”、“dictionary indices”、“radical stroke

表 2：マッピングテーブル内の各カテゴリーの文字数の変化

同一

相違

対応なし

Unihan3318

2364

673+ converter3318

2401

636+ Kanconvit

3318

2413

624

counts”、“variants”など様々な情報が含まれているが、このうち日本語と中国語の漢字の関係を示している

また日中科学技術論文コーパスを用いて、構築したのは“mappings”と“variants" であるので、この二マッピングテーブルの網羅性を調査した。このコーパスつを利用した。

は、科学技術振興調整費による重点課題解決型研究「日2 つ目は中国語の繁体字を簡体字に変換するオープン中・中日言語処理技術の開発研究」において構築されたソースツール Chinese encoding converter[8] であものであり、約 68 万対訳文からなる。このコーパス内る。このツールには 6740 の対応する繁体字と簡体字の日本語文に含まれる漢字は約 1400 万文字、中国語のペアが収録されている。前述の通り、日本語の漢字は文の漢字は約 2400 万文字である。このうち、同一の繁体字に近いので、このツールを利用することにより、文字（Unicode が共通の文字）は日本語で 52.41%、

繁体字を通して間接的に日本語漢字と簡体字との対応を中国語で 30.48% であった。さらに、構築したマッピいくつか発見することができる。

ングテーブルを用いて共通漢字を考慮すると、日本語で3 つ目は Kanconvit[9] である。このツールは日本76.66%、中国語で 44.58% をカバーすることがで語の漢字と簡体字間の変換を行うことができるフリーのきた。日本語文に含まれる文字の 4 分の 3 以上は、中ツールであり、3506 の 1 対 1 対応テーブルを用いて国語に共通する漢字があるということがわかり、いかにいる。しかし実際には、漢字の対応は 1 対 1 でない場漢字情報が強力な情報源であるかがわかる。

合もある。たとえば日本語の「発」と「髪」は簡体字ではどちらも「发」である。
これら 3 つのリソースには互いに共通する情報もあるが、各リソースにしか存在しない情報もある。そこで

3 共通漢字情報のアライメ
ントでの利用我々は、これら全てを統合・整理し、網羅的な漢字マッ共通する漢字は同じ意味を持っていることが多い。こピングテーブルを構築する。マッピングテーブルは、日のため、同じ内容が書かれている日中対訳文において、本語漢字と簡体字で同一のもの、異なるもの、日本語に共通漢字が出現する可能性や割合は高いと考えられる。

しか存在しない（対応する簡体字がない）ものの 3 つ

これは前章の実験からも明らかである。そこで共通漢字のカテゴリーからなる。なお日本語にしか存在しないも情報を機械翻訳、特に対訳文内の単語対応の自動推定にのには、国字である場合と 3 つのリソースに情報がな利用することを考える [1]。

く発見できなかった場合の 2 種類がある。

３．１
２．２

マッピングテーブルの性質と網羅性構築したマッピングテーブルの各カテゴリーに含まれアライメントモデルアライメントモデルとして、単語依存構造木を利用したベイジアン部分木アライメントモデルを利用する

YEAR BOOK 2O12259

[5]。詳細は省略するが、このモデルには部分木ペアを生成する確率、言い換えれば、2 つの部分木が対応関係にある確率が使われており、共通漢字情報を利用してこ的な精度を示す指標であり、その値が低い程精度が良い。
Precision =A∩ PARecall =A∩ S| A∩ S | + | A∩ P |
AER = 1 −S| A| +| S |の確率を修正することで、正しい対応を発見しやすくす

A がシステムの出力、P と S が正解である。比較とる。具体的には、元の部分木ペア生成確率を θ T ( e, f )して、GIZA++[4] と BerkeleyAligner[3] によるアラとすると、重み w を用いて w ⋅ θ T ( e, f ) と修正する。

イメントも行った。また baseline は共通漢字情報を利重み w は各部分木に含まれる漢字のうち、共通漢字用しないモデルである。の割合を基に計算される。たとえば日本語の「実際」と実 験 結 果 を【 表 ３】 に 示 す。baseline は GIZA++

いう単語と中国語の「事实」という単語では、「実 ⇔ 实」

や BerkeleyAligner よりも低い AER を示しているが、という共通漢字があるため、割合は 2/4=0.5 となる。

共通漢字情報を利用することによりさらにアライメント

重み w は共通漢字の割合に 5000 を掛けた値を用いる。

誤りを低減することができた。【図１】にアライメント

ただし、ここで注意が必要なのは、単純に 5000 とい精度が向上した例を示す。baseline では「規準」と「规う値を掛けているため、全体として確率値ではなくなっ定」の対応が発見できていないが、「規 ⇔ 规」の共通てしまっていることである。全体を確率的なモデルにし漢字情報を利用することで、提案手法では対応を発見すたまま共通漢字情報を用いるのは今後の課題である。

ることができた。
表 3：アライメント実験結果

３．２

アライメント実験

共通漢字情報を利用することの有効性を示すために、前章と同じ日中科学技術論文コーパスを用いてアライメント実験を行った。アライメントの正解データとして、Pre.

Rec.

AER

GIZA++

83.77

75.38

20.39

Berkeley

88.43

69.77

21.60

Baseline

85.37

75.24

19.66

Proposed

85.55

76.54

18.90

人手で正解が付与された 510 文を利用した。このデー
タには Sure（必須の対応）と Possible（あっても間違いではない対応）の 2 種類の正解が付与されている。
精 度 は Precision、Recall、Alignment Error Rate(AER) を用いて評価した。AER はアライメントの総合

Baseline

Proposed
図 1：アライメントの改善例

260

YEAR BOOK 2012

翻訳実験

寄稿集

３．３

参考文献

京都大学で開発している用例ベース機械翻訳システム[1] C h e n h u i C h u , T o s h i a k i N a k a z a w a a n d

コーパスはアライメント実験のものと同じである。テスSadao Kurohashi: Japanese-Chinese

ト文は同じ論文ドメインの 1770 文を用いた。評価はPhrase Alignment Using Common Chinese

翻訳の自動評価指標である BLEU を用いた。【表４】にCharacters Information, Proceedings of MT

結果を示す。わずかではあるが、翻訳精度が向上していSummit XIII, pp. 475-482, 2011

ることがわかる。共通漢字情報によりアライメント精度[2] Chenhui Chu, Toshiaki Nakazawa and Sadaoが向上したことにより、質の高い翻訳知識を構築するこ

Kurohashi: Chinese Characters Mappingとができ、結果的に翻訳精度も向上したものと考えられTable of Japanese, Traditional Chineseる。

and Simplified Chinese, In Proceedings

4

機械翻訳技術の向上[6] を用いて翻訳実験を行った。トレーニングに用いた

of the Eighth Conference on International表 4 ：翻訳実験結果（BLEU）

日→中中→日Baseline

22.84

19.10

Proposed

23.14

19.22

Language Resources and Evaluation(LREC'12), 2012[3] John DeNero and Dan Klein: Tailoring
Word Alignments to Syntactic MachineTranslation, Proceedings of the 45th Annual

4 まとめと今後の課題

Meeting of the Association of Computational
Linguistics, Prague, pp. 17-24, 2007
[4] Philipp Koehn, Franz J. Och and Daniel

本稿では、日中共通漢字マッピングテーブルの構築おMarcu: Statistical Phrase-based Translation,

よび、これを利用した日中機械翻訳の高度化について述HLT-NAACL 2003: Main Procedings, pp.

べた。日中共通漢字情報は、機械翻訳そのものの高度化

127-133, 2003

はもちろんのこと、コンパラブルコーパスからの訳語、[5] Toshiaki Nakazawa and Sadao Kurohashi:

対訳文抽出などにも利用可能である汎用的な知識であBayesian Subtree Alignment Model Basedる。今後はこれらのタスクでの有効利用も検討する。機

on Dependency Trees. In Proceedings of械翻訳での利用に関しての課題は、1 つは前にも述べた

the 5th International Joint Conference

ように、より精錬された方法でアライメントモデルに組on Natural Language Processing

み込むことである。また、ある単語のペアが共通漢字を(IJCNLP2011), pp. 794–802, 2011.

含んでいるからといって、どんな時でも同じ意味を持っ[6] Toshiaki Nakazawa and Sadao Kurohashi:ているかといえばそうではない。このような場合は共通EBMT System of KYOTO Team in PatentMT

漢字情報が悪影響を与えることがある。この問題に対処

Task at NTCIR-9, Proceedings of the 9th

するために、文脈等を考慮して共通漢字の妥当性を判断

NTCIR Workshop Meeting on Evaluation ofすることも今後検討する。

Information Access Technologies (NTCIR-9),
2011[7] http://unicode.org/charts/unihan.html[8] http://www.mandarintools.com/zhcode.html[9] http://kanconvit.ta2o.net/YEAR BOOK 2O12261