博 士 （ 情報科 学） 彭静

学位論 文題名AcoUISITION OF TRANSLATION KNOWLEDGE
FROM THE WEB（ウェブからの翻訳知識の獲得）

学位論文内容の要旨
Although machine translation (MT) has been developed for many decades, none of the current MT
systems seems to have improved the translation quality that satisfies human's requirements. The avail‑ability of large corpora and developed automatic corpus‑based methods makes it possible to reduce one
bottleneck of MT, that is, the lack of knowledge. The recent rapid development of the Web makes it anextremely large and valuable data source. In this thesis, we are mainly focusing on the two problems
that are, whether the Web is a useful corpus and how to acquire translation knowledge from the Web.

Our work evolved from a pilot study of "Web as corpus." In the study, we investigated several
questions. They are "Is the Web a corpus?" ,"How can we obtain N‑gram counts from the Web?""How is the Web N‑gram coverage?" , "How muchis the indexed size of the Web?" and "Is the Webdata perfectly normalized?"

We knew some certain advantages of the Web. It is much larger and has

better N‑gram coverage than normal corpora. The content of the Web is constantly changing. Simple
Web counts of N‑gram have been proved to be useful for MT tasks. However, there are also several
disadvantages. There is lots of noise data on the Web and the current search engines are reported to be
not always stable and accurate. The Web datais also proved to be not perfectly normalized. Therefore,
the Web estimates are obviously useful, but should be used with caution.

In this thesis, we combined the Web with several traditional approaches to resolve three MT routinetasks. The firstis detection of the countability of English compound nouns. Knowledge of countabilityof nouns is very important in MT. Although, many approaches have been proposed for leaming thecountability of individual nouns, unti
l recently, littleattent
ion hasbeengivento thecounta
bilitydetec‑
tion of compound nouns. The number of compound nouns is so large that it is impossible to collect allof them in one dictionary. Especially relatively new words have not yet reached any current dictionary.
Thus using the Web‑scale and constantly updating data is proved be a viable alternative to avoid thesparseness problem from normal corpora. We classified compound nouns into three classes: count‑able, uncountable, plural only. To detect which class a compound noun is, we proposed some simple,
viable N‑gram models whose parameters'values (Web counts) can be obtained with the help of Web

search engine Google. Such Web‑based models as filters were proved to be useful for improving theperformance of the limited general rules of countability detection.
‑ 203 ‑

式 の 特 性 を 改 善 する 手法 を提 案し てい る． これ はACKから 得ら れる 過去 のチ ャネ ル推 定値から，実際の送信時刻におけるチ ャネルを予測することにより，送信ベクトルの決定とりソース制御を行うものである．本論 文では，チャネル予測のために3通りの方式を提案している ．第 1の方 式は ，ACKパケ ット を用 いて 推定 され たチ ャネ ルを 直線 に より外挿を行う
もの であ る， 第 2の 方式 は， 2次関 数を 適用 して 予測するものである，第3の方式は指数関数を 用い て予 測 する もの であ る， これ ら3通 りの 方式の特性を評価するため，HIPERLAN/2を想定した通信システムについて計 算機シミュレーションを行った．その結果，チャネルの予測 を行 わな い 方式 の場合には，最大ドップラ ー周波数が高くなるにっれて著しく特性が劣化 する が， 提 案し たチャネル外挿方式を用い ると誤り率特性が改善されることが確認された．特に，2次関数，あるいは，指数関数を用いたときには，高い最大ドップラー周波数においても劣化が少ないことが示され た。
一 方， 広帯 域伝送系においては，符号間干渉が発生することになる．この問題はOFDM(Orthogonal Frequency Division Multiplexing)
方 式を 用い るこ と によって回避で
き る ． 第 4章 で は ， OFDM方 式 を 用 い た 広 帯 域 系 へ の MIMOE− SDM方 式 に つ い て 論 じ ている．時変動フェージング環境に対 応するため，時間領域のチャネル（インパルス応答）を予測 し， それ ら のフ ーリエ変換により各サブキ ャリアのチャネルを求める方式を提案している ．こ のこ と を計 算機 シミ ュレ ーシ ョン を用 いて評価を行い，第3章と同じようにチャネル予測の有効性，特に，2次関数と指数関数の予測が優れていることを述べている．また，
通信 系を 簡易 化 する ために全てのサブキャリア に共通の変調方式を用いても特性の劣化は少ないことが示されている．
第 5章で は， 提案 方式 の実 験的 検証 のた め に行 った伝搬実験の概要を述べている，前章まで の評 価は Jakesモデ ルを 仮定 した 計算 機 シミ ュレーションに基づいて行ったものであるが，実際の伝搬路においては必ず しもこのモデルは成立しないため，実環境での評価が必須と なる ．こ こ では ，室内におけるMIMO
チャネ ル測定法，および，時変動伝搬環境における チ ャ ネル の自己 相関 とドッ プラ ースペ クト ルを明 らか にして いる ，
上 述 の 測 定 系 に よ り 得 ら れ た 時 変 動 MIMOチ ャ ネ ル デ ー タ を 用 い て ， 第6章で は狭 帯
域 MIMO E‑SDM方 式 に お け る チ ャ ネ ル 予 測 方 式 の 評 価 を 行 っ た ， そ の 結 果。 第3章で 提案 し た 方 式が 実 伝 搬 路に おい ても 特性改 善に 有効 であ ること が示 され た．
第 7章 で は ， 実 測 伝 搬 デ ー タ を 用 い て MIMO― OFDME― SDM系 に お け る チャ ネル 予測 ，および，全てのサブキャリアに共通 の変調方式を用いる簡易方式の評価を行った．本論文で提案 した 方式 は広帯域の実伝搬環境においても有効であることが明らかになった．
第 8章 は 結 論 で あ り ， 本 論 文 の 内 容 と 得 ら れ た 成 果 を 要 約 し て い る ．
こ れ を 要 す る に ， 著 者 は ， 周 波 数 利 用 効 率改 善が 期待 され るMIMO E‑SDMシス テム の時変 動チ ャネ ル 環境 における特性評価とその改 善法について重要な新知見を得たものであり，無線通信工学に貢献するところ大なるものがある．よって著者は北海道大学博士（工学）の学位を授与される資格あるものと 認める．
‑ 202―

Web counts have better N‑gram coverage, but can be expected to contain noise introduced by anumber of sources. On the other hand, corpus counts are much less noisy, but sparser than Webcounts. Therefore, art interpolation scheme of combining the Web and a normal corpus estimate wasproposed. This interpolation model was employed in the resolution of the second task addressed in
our work that is correction of article errors in MT. The article selection is to decide when to use a(an), the, or zero article at the beginning of a noun phrase (NP). It is a complex problemin tr
anslation
result generation in MT when source text is written in some languages, such as Chinese and Japanese,
which do not have any articles or mark the countability. In our work, we considered articles and theirheadwords together and put them int0 5 forms because determining an article is largely depended on
the singular/plural form of its headword in this phrase. We assume that the article form with largest
occurrence probability is most likely correct given a certain context. The occurrence probabilities canbe obtained using the interpolation model combining the estimates of the Web and a corpus (BNCin our work). We evaluated the performance of using the pure Web estimates, pure corpus estimates
and the interpolation model when given 4 different contexts. The interpolation model experimentally
showed the best performance when appropriate interpolation parameters were chosen* We achieveda promising result on correction of article errors with much less parameters than those used in theprevious research.
Beside the two approaches of combining the Web with rules and a corpus, we also uryestigated an‑other possible scheme that incorporated the Web as a knowledge source into machine learning frame‑work. The third task addressed in our work is the resolution of zero‑anaphora (ZA) in Chinese text. In
many naturallanguages, grammatical components that can be understood contextually by a reader arefrequently unexpressed for discourse fiuency. This phenomenon is ZA. ZA resolution is very impor‑tant in MT. Since target languages such as English that cannot be adequately generated with omitted
expressions, the antecedent of the ZA in the source language must be identified and made explicit. A
learning classi罰 er based on maximum entropy (ME) was proposed to determine whether a candidate
is the correct antecedent or not. In our original ME‑based classifier, we employed 13 regular fea‑tures motivated by previous research. From the classification error analysis, our approach was foundto suffer from semantic problems, such as semantic ambiguity and the lack of semantic knowledge,
and these problems cannot be resolved using any current semantic dictionary. Two innovative fea‑tures were constructed for extracting additional semantic information from the Web. The additionalsemantic information includes semantic consistency and the semantic relations of predicates. The val‑ues of the two features can be obtained by querying the Web using some patterns. We retrained andtested the advanced classifier with the regular features and the two additional features. The two Web‑
based features significantly improved the performance of classification. Our study showed the Webas a knowledge source could be incorporated effectively into leaming framework and significantly
improved the performance of the learning approach.

Although, the approaches proposed in this thesis are onlycrude, theyare the first attempt ofacquir‑
ing various kinds of translation knowledge from the Web. And combining the Web as a knowledge
source with supervised methods is supposed as a promising direction, which we should currently purse.

― 204学位論 文審査の要旨
主 査 教 授 荒木 健治
副 査 教 授 山本 強
副査 教授 長谷川美紀

学 位 論 文 題 名AcoUISITION OF TRANSLATION KNOWLEDGEFROIVI THE WEB（ ウ ェブ か ら の翻 訳 知 識の 獲 得 ）本研究は，機械翻訳の質を向上させるためのW
eb上の知識を用いた翻訳タスクの解決手法について提案したものである。
近年，機械翻訳の精度は徐々に向上しているが，ユーザが満足するようなレベルまで達しているとはいえない。著者は，この問題を解決するためにいくっかの機械翻訳結果を用いてその原因を考察し，文法，語彙，意味，世界知識などの知識が不足していることが主な原因であることを明らかにした。さらに関連研究を比較検討し，この知識不足問題がまだ十分に解決されていないことを明らかにした。その問題のーっは，有効な知識を獲得するためには コーパス を極め て大量に 収集す ることが 必要であるということである。Web
上のホームページは，画像のみのぺージを除いては自然言語で記述される。W
eb全体を見ればーつの 巨大ぬコ ーパス を構成し ている と考える ことができる。それらのWebデータの多くは頻繁に更新されており，新しいデータも次々と出現している。著者は，以上のことから，Webを翻訳知識を獲得するための理想的なコーパスと考え，その理想的なコーパスを利用 し て 機械 翻 訳の 性 能を 向上さ せることを 本研究の目 的としてい る。
Webをコーパスとして利用する（ Webascorpus ）際に，問題とをるのがW
eb上のデータの信頼性と有効性である。それらの問題に関するいくっかの予備実験と結論にっいて第二章で 述べられ ている 。第二章 で著者 は，5つの問題 (Webがコーパスとして利用可能か
ど うか ， We
bか ら のN‑gram出現頻 度の抽出 ，Web上でのNgramのカ バー率の 検討， 検索
エンジ ンにより 検索で きるW
めサイズの推定，Wめデータの信頼性と妥当性の検討）の解決を通し， WめascoIpus の性能の評価を行った。予備実験の結果によると，Wめは普通のコーパスより規模が大きく，カバー率も高く，単純なWめ上の単語出現頻度に基づぃて訳語候補を選択するができるという利点を持っているが，一方雑音データが多いという欠点 があ る 。 きら に Wめ上の 検索エ ンジンの 問題で Wめ（ 主にWめ上の 単語出現 頻度）から推測されたN−gramの出現頻度と共起頻度などの信頼性と妥当性が普通のコーパスより劣 っ て い る と い う 欠 点も 無 視 す るこ と が でき た い とい う こ とが 明 ら かと な っ た。
そこで，本研究においては他研究と違い，直接Wめ上の単語出現頻度を利用するという方法を取らず，以下のような3つの手法の提案を行った。
1．W
め上の単語出現頻度をフイルタとして利用し，従来のrule．basedアプローチと融合する。このようなフイルタにより，最適な候補の選択のためのルールを利用する前に可能性が低い N
Igram候補を 取り除くことができる。このよう詮フイルタは規則が足りない場合に役立っと考えられる。 ←205―

2． Web
上の単語出現頻度とコーパス上の単語出現頻度とは内挿モデルを用いて統合する。
Webと 通常のコ ーパス はそれぞ れ利点 と欠点を 有して いる。適切なパラメータを有する
内 挿 モ デ ル に よ り 両 方 の 欠 点 を あ る 程 度 解 消 す る こ と が で き る と 考 え ら れ る。
3． Webから抽出した知識は機械学習で利用される。通常の訓練コーパスから通常の特徴
パラメ ータでは なかな か得られ ない知 識はWebから抽 出し，Web上の特 徴パラ メータに変 更 す る こ と で 機 械 学 習に 導入 す るこ と がで き ると 考え ら れる 。
これらの手法を用いた翻訳知識の獲得は，多様な方法で伝統的なアプローチと統合することができ，従来のWeb上の単語出現頻度のみを用いた手法に対して，新規性を打ち出すことができたと考えられる。次に著者は，提案された手法を3っの翻訳タスク（可算性の検出，冠詞誤りの校正，ゼロ代名詞の復元）の解決手法に応用し，それらの手法の有効性の確認を行った。この3つの翻訳タスクは機械翻訳の分野で最もよく研究されているタスクである。これらの翻訳タスクは意味的及び構文的知識，分析型及び生成型問題，英語及ぴ中国語の 処理に及 んでい る。Web
上の知識を利用することによりruユe‑basedと統計的なアプローチのみを用いてこれらの翻訳タスクを解決している既存の手法に対して，新規性を有するものと考えられる。
第三章 では， 英語複合 名詞の可算性問題を扱っている。英語複合名詞に対してN‑gram
モデルと可算性規則を用いることにより，可算，不可算，複数形名詞を検出する手法を提案した。 また，N‑gramモデルではパラメータとしてすべての単語の出現頻度と共起頻度をWeb上の単語出現頻度として簡単に推測することができるということが述べられている。
第四章では，英語の冠詞誤りを扱っている。Web上の単語出現頻度とコーパス上の単語出現頻度 を統合的 に用い ることにより内挿モデルにより冠詞の誤りを校正する手法を提案した。 また，提 案され た手法が 単純We
bモデル とコー パス(BNC)モデル より有効であることを検討した。第五章では，中国文に出現するゼロ代名詞(zeroanaphora)の復元問題を扱って いる。Webから 抽出され た意味 的な一致 と述語 間の意味関係などの知識を追加の特徴パ ラメータ として 導入したM
E‑based(maximumentropy)
分類器を構築し，中国文のゼロ代名詞を復元する手法の提案を行った。さらに，その手法の応用としてゼロ代名詞の復元による機械翻訳結果の自動校正手法の開発を行った。
本研究では主に以下に示す成果が得られている。
1． We
b上のデ ータによ る推測の信頼性と妥当性を検討した。Webを用いた手法と伝統的なアプローチを結合した3つの手法の提案を行った。
2．本研究により世界で初めて英語の単名詞ではなく複合名詞の可算性問題を扱った。最新の用 語やその 使用法 が常に反映されているW
eb上のデータはdat
asparseness
問題を避けるこ とができ ，可算 性検出ル ールの 性能を向 上させ ることが できるこ とを示した。
3． 英語の冠 詞誤り の自動校正では，提案されたWeb
上の単語出現頻度とコーパス上の単語出現 頻度を統 合した 内挿モデ ルによ りWebを 用いた ものと通常のコーパスを用いたものの両方の欠点をある程度解消できることを示した。
4．中国文のゼロ代名詞の復元問題の解決には意味上の一致と述語間の意味関係など通常の訓練コーパスからではなかなか得られない知識をW
eb上から抽出することにより，より高い性 能を持つ M
E‑based分類器を生成できることを示した。この手法を用いて機械翻訳結果の自動校正を行った結果，質の高い機械翻訳システムを構築することができることを示した。
以上を要約すると，著者はWeb上のテキストデータを有効に活用することにより機械翻訳の質を画期的に向上させる手法を提案し，その性能評価実験により提案手法の有効性の確認を行った。本研究を通じて，国際社会における異言語コミュニケーション技術の確立に貢献するところ大をるものがある。よって，著者は北海道大学博士（情報科学）の学位を授与される資格あるものと認める。
― 206―