(57)【要約】【課題】中国語の文字シーケンスを適切な単語シーケンスにセグメント化する装置を提供する。【解決手段】装置は、中国語サブワードリスト６４と、サブワードに割当られたＩＯＢタグの中国語シーケンスの統計的確率モデル６６とを含む。装置はさらに、サブワードリスト６４と確率モデル６６とを用いて、最尤推定により、中国語の文８０を第１の中国語単語シーケンスにセグメント化する、サブワードを用いたＩＯＢタグ付けモジュール８８を含む。第１の中国語単語シーケンス内の複数サブワードの単語はサブワードにセグメント化され、その各々にはセグメント化に従ってＩＯＢのラベルが付される。中国語サブワードリスト６４中の単語は、中国語文８０をセグメント化する際に、サブワードを用いたＩＯＢタグ付けモジュール８８によってサブワードとして扱われる。【選択図】        図２
2008140117.tif 000002
【特許請求の範囲】
【請求項１】
中国語の文字シーケンスを中国語の単語シーケンスにセグメント化するための装置であって、
中国語の文字と中国語の複数文字の単語とを列挙する中国語サブワードリストを記憶するための第１の記憶部と、
中国語のサブワードに割当てられた第１のタグのシーケンスの統計的確率モデルを記憶するための第２の記憶部と、を含み、前記第１のタグは、独立した単語、複数文字単語の第１のサブワード、又はそれ以外を示し、前記装置はさらに、
中国語の文字シーケンスを前記サブワードリスト及び前記統計的確率モデルを用いて最尤推定により第１の中国語の単語シーケンスにセグメント化するための、サブワードを用いたセグメント化手段を含み、前記第１の中国語の単語シーケンスにおける複数サブワードの単語は、各々がセグメント化に従って前記第１のタグでラベル付けされたサブワードにセグメント化され、前記中国語のサブワードリストにおける前記単語は、前記サブワードを用いたセグメント化手段によって中国語の文字シーケンスをセグメント化する際にサブワードとして扱われる、装置。
【請求項２】
中国語の文字シーケンスを中国語の単語シーケンスにセグメント化するための装置であって、
前記サブワードを用いたセグメント化手段は前記第１のタグの各々の予め定義された信頼性の確率を出力し、前記装置はさらに、
中国語の文字と中国語の単語とを列挙する中国語文字辞書を記憶するための第３の記憶部と、
中国語の統計的言語モデルを記憶するための第４の記憶部と、
入力された中国語の文字シーケンスを、前記辞書と前記言語モデルとを用いた最尤推定で第２の中国語の単語シーケンスにセグメント化し、第２の中国語の単語シーケンス中の文字の各々に前記第２のタグを付すための、辞書を用いた単語セグメント化手段とを含み、前記第２のタグは、独立した単語として、複数文字単語の最初の文字として、又はそれ以外として機能する文字を示し、前記装置はさらに、
第１の中国語単語シーケンス中のサブワードの各々に割当てるべきタグを、ともにサブワードに割当てられた第１及び第２のタグとサブワードの信頼性確率との関数として決定するための決定手段を含む、装置。
【請求項３】
前記サブワードを用いたセグメント化手段はｉ番目の単語ｗｉの前記第１のタグｔの各々についての、予め定義された信頼性の確率ＣＭｉｏｂ（ｔ｜ｗｉ）を以下の式に従って出力し、
【数１】
2008140117.tif 000027
ここで分子は単語ｗｉがｔとしてラベル付けされた全ての観測シーケンスの和であって、Ｗはセグメント化された中国語の単語シーケンスであり、Ｔ＝ｔｏｔ１…ｔＭは単語シーケンスＷに割り当てられたタグシーケンスである、請求項２に記載の装置。
【請求項４】
前記サブワードを用いたセグメント化手段は単語ｗの第１のタグｔの各々についての、予め定義された信頼性の確率ＣＭｉｏｂ（ｔ｜ｗ）を以下の式に従って出力し、
【数２】
2008140117.tif 000028
ここでｈｉはセグメント化のｉ番目の仮説である、請求項２に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は中国語の単語セグメント化に関し、特に、サブワードタグ付けと信頼性尺度とに基づいた中国語の文のセグメント化に関する。
【背景技術】
【０００２】
この明細書では、文を単語のシーケンスにセグメント化することを「単語セグメント化」と呼ぶ。単語セグメント化は、単語と単語との間を空間で分けずに書かれる自然言語の処理の前提条件である。中国語はこのような言語の１つである。
【０００３】
最近の中国語の単語セグメント化では、文字を用いた「ＩＯＢ」タグ付けの方策が広く用いられている（非特許文献３、４、５）。このスキームでは、単語の文字の各々について、もしそれが複数文字単語の最初の文字であれば「Ｂ」、もしその文字が独立した単語として機能していれば「Ｏ」、それ以外であれば「Ｉ」のラベルが付される。例えば、「全北京市」は「全／Ｏ  北／Ｂ  京／Ｉ  市／Ｉ」となる。
【０００４】
これまで、中国語単語セグメント化の既存の実現例はいずれも、文字を用いたＩＯＢタグ付けを用いていることが分かった。
【非特許文献１】トマス  エマーソン。２００５年。「第２回国際中国語単語セグメント化コンテスト」第４回中国語言語処理ＳＩＧＨＡＮワークショップ予稿集、ジェジュ、韓国。（Thomas  Emerson.  2005.  The  second  international  Chinese  word  segmentation  bakeoff.  In  Proceedings  of  the  Fourth  SIGHAN  Workshop  on  Chinese  Language  Processing,  Jeju,  Korea.）
【非特許文献２】ジョン  ラファルティ、アンドルー  マッカラム、及びフェルナンド  ペレイラ。２００１年。「条件付き確率場：シーケンスデータのセグメント化及びラベル付けのための確率モデル」ＩＣＭＬ−２００１予稿集、５９１−５９８ページ。（John  Lafferty,  Andrew  McCallum,  and  Fernando  Pereira.  2001.  Conditional  random  fields:  probabilistic  models  for  segmenting  and  labeling  sequence  data.  In  Proc.  of  ICML-2001,  pages  591-598.）
【非特許文献３】フシュン  ペン及びアンドルー  マッカラム。２００４年。「条件付き確率場を用いた中国語セグメント化及び新単語の検出」コーリング−２００４予稿集、５６２−５６８ページ、ジュネーブ、スイス。（Fuchun  Peng  and  Andrew  McCallum.  2004.  Chinese  segmentation  and  new  word  detection  using  conditional  random  fields.  In  Proc.  of  Coling-2004,  pages  562-568,  Geneva,  Switzerland.）
【非特許文献４】ヒュシン  ツェン、ピチュアン  チャン、ガレン  アンドルー、ダニエル  ユラフスキ、及びクリストファー  マニング。２００５年。「２００５年Ｓｉｇｈａｎコンテストのための条件付き確率場による単語セグメント化」第４回中国語言語処理ＳＩＧＨＡＮワークショップ予稿集、ジェジュ、韓国。（Huihsin  Tseng,  Pichuan  Chang,  Galen  Andrew,  Daniel  Jurafsky,  and  Christopher  Manning.  2005.  A  conditional  random  field  word  segmenter  for  Sighan  bakeoff  2005.  In  Proceedings  of  the  Fourth  SIGHAN  Workshop  on  Chinese  Language  Processing,  Jeju,  Korea.）
【非特許文献５】ニアンウェン  キュー及びリビン  シェン。２００３年。「ＬＭＲタグ付けとしての中国語単語セグメント化」第２回中国語言語処理ＳＩＧＨＡＮワークショップ予稿集。（Nianwen  Xue  and  Libin  Shen.  2003.  Chinese  word  segmentation  as  LMR  tagging.  In  Proceedings  of  the  Second  SIGHAN  Workshop  on  Chinese  Language  Processing.）
【非特許文献６】フレデリック  ジェリネック、１９９８年。「音声認識の統計的方法」ＭＩＴプレス。（Frederick  Jelinek.  1998.  Statistical  methods  for  speech  recognition.  the  MIT  Press.）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ＩＯＢタグ付けの方策には明らかに弱点がある。未知語（Ｏｕｔ−ｏｆ−ｖｏｃａｂｕｌａｒｙ：ＯＯＶ）率（Ｒ−ｏｏｖ）が高くなる代わりに、既知語（Ｉｎ−ｖｏｃａｂｕｒａｒｙ：ＩＶ）率（Ｒ−ｉｖ）が非常に低くなるのである。非特許文献１で報告された２００５年のコンテストのクローズドテストの結果では、ＩＯＢタグ付けに条件付き確率場（ｃｏｎｄｉｔｉｏｎａｌ  ｒａｎｄｏｍ  ｆｉｅｌｄｓ：ＣＲＦ）を用いた非特許文献４のツェンらのものが、使用された４つのコーパス全てについて非常に高いＲ−ｏｏｖを達成したが、Ｒ−ｉｖは低かった。単語のセグメント化においてＯＯＶ認識は非常に重要であるが、高いＩＶ率もまた望まれる。
【０００６】
さらに、従来の方法では、複数文字の単語は必ずしも適切にセグメント化又はタグ付けされない。
【０００７】
従って、この発明の目的の１つは、中国語の文字シーケンスを中国語の単語シーケンスにより適切にセグメント化するための装置を提供することである。
【０００８】
この発明の別の目的は、弱点を減じ、最適なトレードオフを見出すことができるようにＲ−ｏｏｖとＲ−ｉｖとを変更できるような、中国語の文字シーケンスを中国語の単語シーケンスにより適切にセグメント化するための装置を提供することである。
【課題を解決するための手段】
【０００９】
この発明の第１の局面に従った中国語の文字シーケンスを中国語の単語シーケンスにセグメント化するための装置は、中国語の文字と中国語の複数文字の単語とを列挙する中国語サブワードリストを記憶するための第１の記憶部と、中国語のサブワードに割当てられた第１のタグのシーケンスの統計的確率モデルを記憶するための第２の記憶部と、を含む。第１のタグは、独立した単語、複数文字単語の第１のサブワード、又はそれ以外を示す。装置はさらに、中国語の文字シーケンスをサブワードリスト及び統計的確率モデルを用いて最尤推定により第１の中国語の単語シーケンスにセグメント化するための、サブワードを用いたセグメント化手段を含む。第１の中国語の単語シーケンスにおける複数サブワードの単語は、各々がセグメント化に従って第１のタグでラベルを付されたサブワードにセグメント化される。中国語のサブワードリストにおける単語は、サブワードを用いたセグメント化手段によって中国語の文字シーケンスをセグメント化する際に、サブワードとして扱われる。
【００１０】
好ましくは、サブワードを用いたセグメント化手段は第１のタグの各々の予め定義された信頼性の確率を出力し、装置はさらに、中国語の文字と中国語の単語とを列挙する中国語文字辞書を記憶するための第３の記憶部と、中国語の統計的言語モデルを記憶するための第４の記憶部と、入力された中国語の文字シーケンスを、辞書と言語モデルとを用いた最尤推定で第２の中国語の単語シーケンスにセグメント化し、第２の中国語の単語シーケンス中の文字の各々に第２のタグを付すための、辞書を用いた単語セグメント化手段とを含む。第２のタグは、独立した単語として、複数文字単語の最初の文字として、又はそれ以外として機能する文字を示す。装置はさらに、第１の中国語単語シーケンス中のサブワードの各々に割当てるべきタグを、ともにサブワードに割当てられた第１及び第２のタグとサブワードの信頼性確率との関数として決定するための決定手段を含む。
【００１１】
この構成により、タグ決定手段で用いられる関数を変化させることによってＲ−ｉｖとＲ−ｏｏｖとが最適化されることが、実験によって確認された。
【００１２】
より好ましくは、サブワードを用いたセグメント化手段はｉ番目の単語ｗｉの第１のタグｔの各々についての、予め定義された信頼性の確率ＣＭｉｏｂ（ｔ｜ｗｉ）を以下の式に従って出力し、
【００１３】
【数１】
2008140117.tif 000003
ここで分子は単語ｗｉがｔとしてラベル付けされた全ての観測シーケンスの和であって、Ｗはセグメント化された中国語の単語シーケンスであり、Ｔ＝ｔｏｔ１…ｔＭは単語シーケンスＷに割り当てられたタグシーケンスである。
【００１４】
この構成において、この装置は、文字及び単語のセグメント化に有効であることが分かっているＣＲＦ方策を用いてトレーニングされてもよい。
【００１５】
これに代えて、サブワードを用いたセグメント化手段は単語ｗの第１のタグｔの各々についての、予め定義された信頼性の確率ＣＭｉｏｂ（ｔ｜ｗ）を以下の式に従って出力し、
【００１６】
【数２】
2008140117.tif 000004
ここでｈｉはセグメント化のｉ番目の仮説である。
【００１７】
この構成において、装置は、タグ付けの正確さを改善するための多種類の特徴を組入れることができる最大エントロピー（ＭａｘＥｎｔ）方策を用いてトレーニングされてもよい。
【発明を実施するための最良の形態】
【００１８】
［第１の実施の形態］
＜構造＞
以下では、サブワードを用いたＩＯＢタグ付けを提案するが、これは、単一の中国語の文字に加えて、もっとも頻度の高い複数文字の単語からなる予め定義されたレキシコンのサブセットにもタグを割当てるものである。もし中国語の文字のみを用いるとすれば、サブワードを用いたＩＯＢタグ付けは文字を用いたものと同じになる。上と同じ例を挙げれば、「全北京市」はサブワードを用いたタグ付けでは「全／Ｏ  北京／Ｂ  市／Ｉ」となり、ここで「北京」は１つの単位としてタグ付けされる。
【００１９】
‐この実施の形態の中国語単語のセグメント化処理‐
この実施の形態の単語セグメント化処理２０を図１に例示する。これは３つの部分を含む。すなわち、入力された文３０のＩＶ単語をセグメント化するための、辞書を用いたＮ−グラム単語セグメント化（以下「辞書を用いたセグメント化」と称する）３２、辞書を用いたセグメント化の単語セグメント化におけるＯＯＶを認識するためのＣＲＦによるサブワードを用いたＩＯＢタグ付け３４、及び辞書を用いたセグメント化３２とサブワードを用いたＩＯＢタグ付け３４との両者の結果を統合し、セグメント化された中国語の単語シーケンス３８を出力するための信頼度を用いた単語セグメント化３６、である。各ステップの結果を示す例もまた図１において与えられている。
【００２０】
図２はこの実施の形態の中国語単語セグメント化装置５０を示すブロック図である。図２を参照して、中国語単語セグメント化装置５０は、セグメント化された中国語の文を含むトレーニングデータ６０と、ともに中国語単語セグメント化装置５０の単語セグメント化で用いられる、サブワードリスト６４と確率モデル６６とを生成するためのモデルトレーニングモジュール６２と、を含む。
【００２１】
中国語単語セグメント化装置５０はさらに、入力された中国語の文８０をセグメント化するための辞書を用いた単語セグメント化モジュール８６と、中国語辞書８２及び中国語統計言語モデル８４と、中国語の文８０を単語のシーケンスに再セグメント化して各単語にサブワードを用いたＩＯＢタグＴｉｏｂ及び対応の信頼性尺度ＣＭｉｏｂ（ｔｉｏｂ｜ｗ）をタグ付けするためのサブワードを用いたＩＯＢタグ付けモジュール８８と、辞書を用いた単語セグメント化モジュール８６とサブワードを用いたＩＯＢタグ付けモジュール８８との結果を用いて中国語文８０を最終的にセグメント化してセグメント化の結果９２を出力するための、信頼性尺度を用いたセグメント化モジュール９０と、を含む。
【００２２】
‐確率モデルのトレーニング‐
図３を参照して、モデルトレーニングモジュール６２は、トレーニングデータ６０内の単語の頻度を計数して単語リストを作成するための頻度カウントモジュール１１０と、単語リストを頻度の降順でソートして順序付きリストを作成するためのソートモジュール１１２と、順序付きリスト１１４を記憶するための記憶部と、順序付きリスト１１４から上位２０００個の複数文字単語と全ての一文字単語とを選択することによってサブワードリスト６４を出力するための選択モジュール１１６と、を含む。
【００２３】
モデルトレーニングモジュール６２はさらに、トレーニングデータ６０内の文をセグメント化し、セグメント化用辞書としてサブワードリスト６４を用いて各単語にＩＯＢタグをタグ付けするためのＩＯＢタグ付け及びセグメント化モジュール１２０を含む。ＩＯＢタグ付け及びセグメント化モジュール１２０の出力はサブワードトレーニングデータ１２２であり、これは記憶部に記憶される。
【００２４】
モデルトレーニングモジュール６２はさらに、サブワードトレーニングデータ１２２を用いて確率モデル６６をトレーニングするためのトレーニングモジュール１２４を含む。
【００２５】
サブワードを用いたＩＯＢタグ付けモジュール８８において用いられる確率モデル６６をトレーニングするにはいくつかのステップがある。第１に、頻度カウントモジュール１１０及びＩＯＢタグ付け及びセグメント化モジュール１２０により、トレーニングデータ中のカウントによって降順でソートされたトレーニングデータから単語リストを抽出する。選択モジュール１１６が、全ての一文字単語と上位２０００個の複数文字単語とをＩＯＢタグ付けのレキシコンサブセットとして選択する。単語はサブワードリスト６４に列挙される。
【００２６】
サブセットが単一文字の単語のみからなる場合、サブワードを用いたＩＯＢタグ付けモジュール８８は文字を用いたＩＯＢタグ付け部となる。サブセット中の単語を、サブワードを用いるＩＯＢタグ付けモジュール８８におけるＩＯＢタグ付けのためのサブワードとみなす。
【００２７】
第２に、ＩＯＢタグ付け及びセグメント化モジュール１２０はトレーニングデータ中の単語をサブセットに属するサブワードに再セグメント化し、これらにＩＯＢタグを割当てる。文字ベースのＩＯＢタグ付け部では、再セグメント化の可能性は１つあるだけである。しかしながら、この実施の形態のＩＯＢタグ付け及びセグメント化では、サブワードを用いたＩＯＢタグ付けに多数の選択肢がある。例えば、「北京市」は「北京市／Ｏ」又は「北京／Ｂ  市／Ｉ」又は「北／Ｂ  京／Ｉ  市／Ｉ」とセグメント化することが可能である。この実施の形態では、前向最大一致法（ｆｏｒｗａｒｄ  ｍａｘｉｍａｌ  ｍａｔｃｈ：ＦＭＭ）を用いて多義性を解消している。もちろん、後向最大一致法（ｂａｃｋｗａｒｄ  ｍａｘｉｍａｌ  ｍａｔｃｈ：ＢＭＭ）又は他の方策を適用することもできる。これらの方策によるわずかな相違が、サブワードを用いる方策に重大な帰結をもたらすとは思われないので、比較実験は行わなかった。
【００２８】
第３のステップでは、トレーニングモジュール１２４はＣＲＦ方策を用いてトレーニングデータ上で確率モデル６６（非特許文献２）をトレーニングする。サイトhttp://www.chasen.org/〜taku/softwareから、「ＣＲＦ＋＋」パッケージをダウンロードし、これを用いた。
【００２９】
ＣＲＦによれば、所与の単語シーケンスＷ＝ｗ０ｗ１…ｗＭのＩＯＢタグシーケンスＴ＝ｔ０ｔ１…ｔＭの確率は以下で定義される。
【００３０】
【数３】
2008140117.tif 000005
ここで
【００３１】
【数４】
2008140117.tif 000006
をバイグラム特徴関数と呼ぶこととする。なぜなら、この特徴は先の観測ｔｉ−１と現在の観測ｔｉとを同時にトリガするからである。さらに、
【００３２】
【数５】
2008140117.tif 000007
をユニグラム特徴関数と呼ぶこととする。なぜなら、これらは現在の観測ｔｉのみをトリガするからである。λｋとμｋとは、それぞれ特徴関数ｆｋ及びｇｋに対応するモデルパラメータである。
【００３３】
モデルパラメータは、Ｌ−ＢＦＧＳ（Ｌｉｍｉｔｅｄ−ｍｅｍｏｒｙ  Ｂｒｏｙｄｅｎ，  Ｆｌｅｔｃｈｅｒ，  Ｇｏｌｄｆａｒｂ，  Ｓｈａｎｎｏ）勾配降下最適化法を用いて、トレーニングデータの対数尤度を最大化することでトレーニングされる。過学習を克服するために、トレーニングにはガウス事前分布を課す。
【００３４】
この実施の形態で用いられるユニグラムの特徴量は以下の種類を含む。
【００３５】
ｗ０，ｗ−１，ｗ１，ｗ−２，ｗ２，ｗ０ｗ−１，ｗ０ｗ１，ｗ−１ｗ１，ｗ−２ｗ−１，ｗ２ｗ０
ここでｗは「単語（ｗｏｒｄ）」を表す。添え字は位置指標である。０は現在の単語を意味し、−１、−２は左側の１番目又は２番目の単語を意味し、１、２は右側の１番目又は２番目の単語を意味する。
【００３６】
バイグラムの特徴量に対しては、先の観測及び現在の観測、ｔ−１ｔ０のみを用いる。
【００３７】
特徴量の選択については、単純に、トレーニングデータ中の各特徴量の絶対的なカウントのみを用いる。各特徴量の種類について切捨て値を定義し、切捨て値を超えた発生回数の特徴量を選択する。
【００３８】
トレーニングモジュール１２４によるトレーニングでは、フォワード・バックワードアルゴリズムが用いられる。
【００３９】
‐辞書を用いた単語のセグメント化‐
辞書を用いた方策は周知の方法である。しかし、辞書を用いた方策ではより高いＲ−ｉｖ率が得られるものの、ＯＯＶ検出はできないことに注意する必要がある。これをＮグラムの言語モデル（ｌａｎｇｕａｇｅ  ｍｏｄｅｌ：ＬＭ）と組合せて、セグメント化の多義性を解決する。与えられた中国語文字シーケンスＣ＝ｃ０ｃ１ｃ２…ｃＮについて、単語セグメント化の問題は、以下を満たす単語シーケンスＷ＝ｗｔ０，ｗｔ１，ｗｔ２，…ｗｔＭを見出すこととして定式化される。
【００４０】
【数６】
2008140117.tif 000008
すなわち
【００４１】
【数７】
2008140117.tif 000009
上の式を導くにあたってはベイズ法を適用した。
【００４２】
単語シーケンスは文字シーケンスと一貫性を保たなければならないので、Ｐ（Ｃ｜Ｗ）を、引数がともに等しい場合には１に等しくそうでない場合には０に等しい、クロネッカーのデルタ関数系列（ｕ；ｖ）の乗算に拡張する。Ｐ（ｗｔ０，ｗｔ１，…ｗｔＭ）は連鎖規則によって拡張可能な言語モデルである。
【００４３】
トライグラムＬＭを用いる場合は以下のようになる。
【００４４】
【数８】
2008140117.tif 000010
ここでｗｉはｗｔｉを略記したものである。
【００４５】
式２は辞書を用いた単語セグメント化の処理を示す。レキシコン（辞書）をあたって全てのＩＶを見出し、ＬＭによって単語シーケンスを評価した。ビタビ探索に代えてビーム探索法を用い（ジェレネックの非特許文献６、１９９８年、を参照）、最適な単語シーケンスをデコードした。ビーム探索法によりデコーディングを加速できることが分かったからである。ＮグラムのＬＭを用いて全ての仮説のスコアを定め、そのうち最もＬＭのスコアが高いものを最終出力とした。
【００４６】
図４は辞書を用いた単語セグメント化モジュール８６の詳細を示す概略図である。図４を参照して、辞書を用いた単語セグメント化モジュール８６は、中国語の辞書８２を参照することによって、中国語の文８０のセグメント化に可能なセグメント化仮説全てを生成する仮説生成モジュール１４０と、仮説を記憶するための記憶部１４２と、統計的言語モデル８４を用いて記憶部１４２に記憶された仮説の各々の尤度を計算するための尤度計算モジュール１４４と、最も高い尤度（ＬＭスコア）の仮説を選択するための最尤度選択モジュール１４６とを含む。
【００４７】
図４は概略図であって、辞書を用いた単語セグメント化モジュール８６の機能を実現するソフトウェアは、ビーム探索アルゴリズムを用いてより計算量が少なく高速の動作をするためにより洗練された構造を有することに注意されたい。
【００４８】
‐サブワードを用いたＣＲＦによるＩＯＢタグ付け‐
図５を参照して、サブワードを用いたＩＯＢタグ付けモジュール８８は、サブワードリスト６４を参照することによって中国語の文８０のセグメント化に対し可能な単語セグメント化の全てを生成する仮説生成モジュール１６０と、仮説を記憶するための記憶部１６２と、確率モデル６６を用いて記憶部１６２に記憶された仮説の各々の尤度を計算するための尤度計算モジュール１６４と、最も高い尤度の仮説を選択するための最尤度選択モジュール１６６とを含む。ここではビーム探索アルゴリズムを用いる。
【００４９】
図５は概略図であって、サブワードを用いたＩＯＢタグ付けモジュール８８の機能を実現するソフトウェアは、より計算量が少なく高速の動作をするためにより洗練された構造を有することに注意されたい。
【００５０】
‐信頼度に依存する単語セグメント化‐
信頼度を用いたセグメント化３６（図１を参照）に移る前に、２つのセグメント化結果を生成した。１つは辞書を用いた方策によるものであり、１つはＩＯＢタグ付けによるものである。どちらのタグも、中国語の文８０の各単語に割当てられる。しかし、いずれも完璧ではなかった。辞書を用いたセグメント化３２の結果はＲ−ｉｖは高いもののＲ−ｏｏｖは低く、一方でＩＯＢタグ付け３４は逆の結果となった。
【００５１】
この実施の形態では、２つの結果を組合せるために、信頼性尺度の方策を導入する。辞書を用いたセグメント化３２の結果を用いて、ＩＯＢタグ付け３４で生成された結果の信頼性を測定するために、信頼性尺度ＣＭｉｏｂ（ｔ｜ｗ）を定義する。信頼性尺度は２つのソースから得られる。すなわち、ＩＯＢタグ付け３４と辞書を用いた単語セグメント化３２とである。計算は以下のように定義される。
【００５２】
【数９】
2008140117.tif 000011
ここでｔｉｏｂはＩＯＢタグ付け３４によって割当てられた単語ｗのＩＯＢタグであり、ｔｗは辞書を用いたセグメント化３２の結果により決定された先のＩＯＢタグである。辞書を用いたセグメント化３２の後、単語はＦＭＭによりサブワードを用いたＩＯＢタグ付けモジュール８８内でサブワードに再セグメント化され、その後ＩＯＢタグ付け３４に与えられる。各サブワードには先のＩＯＢタグｔｗ．ＣＭｉｏｂ（ｔ｜ｗ）が与えられており、ＩＯＢタグ付けの処理で導かれる信頼性確率は以下のように定義される。
【００５３】
【数１０】
2008140117.tif 000012
ここで分子は単語ｗｉがｔとしてラベル付けされた全ての観測シーケンスの和である。
【００５４】
【数１１】
2008140117.tif 000013
は辞書を用いたセグメント化の寄与度を示す。これは以下で定義されるクロネッカーのデルタである。
【００５５】
【数１２】
2008140117.tif 000014
式３において、αはＩＯＢタグ付け３４と辞書を用いたセグメント化３２との間の重みである。αについて経験的に０．７の値が決定された。
【００５６】
式３により、ＩＯＢタグ付けの結果が再評価される。値に基づいて決定するために、信頼性尺度のしきい値ＴＴＨが定義された。もし値がＴＴＨより低ければ、ＩＯＢタグは棄却され、辞書を用いたセグメント化が使用される。そうでなければ、ＩＯＢタグ付けセグメント化が使用される。
【００５７】
新たなＯＯＶがこうして生成される。２つの極端な事例、すなわち、ＴＴＨ＝０はＩＯＢタグ付けの場合であり、ＴＴＨ＝１は辞書を用いた方策である。実際の応用では、信頼性のしきい値をチューニングすることによって、満足のいくＲ−ｉｖとＲ−ｏｏｖのトレードオフを見出すことができる。
【００５８】
図６は信頼性尺度を用いたセグメント化モジュール９０の構成を示す。図６を参照して、信頼性尺度を用いるセグメント化モジュール９０は、中国語の文８０の単語の各々についてタグＴｉｏｂとＴｗとを比較して比較結果を出力する比較モジュール１８０と、比較モジュール１８０の出力に式３を適用して信頼性尺度を計算するための信頼性尺度計算モジュール１８４と、式３で用いられるαのための記憶部１８２と、信頼性尺度計算モジュール１８４の出力としきい値ＴＴＨとの比較に依存して、各単語についてタグＴｉｏｂ又はＴｗのいずれかを選択するタグ選択モジュール１８６と、しきい値ＴＴＨを記憶する記憶部１８８と、を含む。
【００５９】
＜動作＞
図１から図６を参照して、この実施の形態の中国語単語セグメント化装置５０は以下のように動作する。
【００６０】
中国語単語セグメント化装置５０の動作は２段階である。すなわち、トレーニングとセグメント化である。
【００６１】
‐トレーニング段階‐
トレーニング段階では、図２及び図３で示したトレーニングデータ６０が前もって準備される。頻度カウントモジュール１１０がトレーニングデータ６０中の各単語の発生頻度を計数し、単語のリストを出力する。リストの単語の各々はそれに割当てられた頻度を有する。
【００６２】
ソートモジュール１１２は単語リストを頻度の降順でソートする。結果として得られる順序付きリスト１１４は記憶部に記憶される。
【００６３】
選択モジュール１１６は全ての一文字単語と上位２０００個の複数文字単語とを選択モジュール１１６から選択し、サブワードリスト６４を生成する。
【００６４】
ＩＯＢタグ付け及びセグメント化モジュール１２０はトレーニングデータ６０中の文の各々を、サブワードリスト６４をセグメント化のためのレキシコンとして用いて再セグメント化する。結果として得られるサブワードトレーニングデータ１２２は記憶部に記憶される。トレーニングモジュール１２４はサブワードトレーニングデータ１２２を用いて確率モデル６６をトレーニングする。このトレーニングにより、確率モデル６６は、上述のとおり、Ｌ−ＢＦＧＳ勾配効果最適化法を用いてトレーニングデータの対数尤度が最大化されるようにトレーニングされる。
【００６５】
‐セグメント化段階‐
第２段階では、図２を参照して、中国語の文８０が辞書を用いた単語セグメント化モジュール８６に与えられる。図４を参照して、仮説生成モジュール１４０が中国語辞書８２をセグメント化のためのレキシコンとして用いて、中国語の文８０の可能なセグメント化仮説全てを生成する。仮説は記憶部１４２に記憶される。尤度計算モジュール１４４は統計的言語モデル８４のＮグラム確率を用いて各仮説の尤度を計算する。最尤選択モジュール１４６が尤度の最も高い仮説を選択する。尤度計算モジュール１４４と最尤選択モジュール１４６との機能はソフトウェアで実現され、実際にはビーム探索法を用いて、最も尤度の高い仮説が、全ての仮説の尤度を計算することなく選択されることに注意されたい。
【００６６】
選択された仮説はサブワードを用いたＩＯＢタグ付けモジュール８８に与えられる。ＩＯＢタグｔｗが仮説中の単語の各々に割当てられる。
【００６７】
図５を参照して、仮説生成モジュール１６０はサブワードリスト６４をセグメント化のためのレキシコンとして用いて可能な単語セグメント化仮説全てを生成する。仮説は記憶部１６２に記憶される。尤度計算モジュール１６４は確率モデル６６を用いて記憶部１６２に記憶された仮説の各々の尤度を計算する。最尤選択モジュール１６６は最も尤度の高い仮説を選択する。実際には尤度計算モジュール１６４と最尤選択モジュール１６６とはソフトウェアで実現され、ビーム探索法を用いるので、全ての仮説の尤度を計算する必要はないことに注意されたい。
【００６８】
サブワードを用いたＩＯＢタグ付けモジュール８８の動作の結果として、サブワードを用いたセグメント化が行われ、仮説が出力される。サブワードを用いたタグＴｉｏｂと信頼性尺度ＣＭｉｏｂ（ｔｉｏｂ｜ｗ）とが仮説中の各単語に割当てられる。
【００６９】
図６を参照して、比較モジュール１８０が仮説中の各単語のタグＴｉｏｂとｔｗとを比較する。比較モジュール１８０は比較結果を出力する。信頼性尺度計算モジュール１８４は、ＣＭｉｏｂ（ｔｉｏｂ｜ｗ）と、記憶部１８２内のαと、比較モジュール１８０の出力とを用いて式３により信頼性尺度ＣＭ（Ｔｉｏｂ｜ｗ）を計算する。式３の結果得られる値がタグ選択モジュール１８６に与えられる。
【００７０】
タグ選択モジュール１８６は信頼性尺度計算モジュール１８４から与えられた値を記憶部１８８に記憶されたしきい値ＴＴＨと比較する。もし式３の値がＴＴＨより低い場合には、ＩＯＢタグＴｉｏｂが拒絶され、辞書を用いたセグメント化タグｔｗが使用される。そうでなければ、ＩＯＢタグ付けセグメント化タグＴｉｏｂが使用される。
【００７１】
＜実験＞
Ｓｉｇｈａｎコンテスト２００５によって与えられたデータを用いて、前のセクションで説明したこの発明の方策をテストした。データは、異なるソースからの４つのコーパスを含む。すなわち、アカデミアシニカ（ＡＳ）、香港市立大学（ＣＩＴＹＵ）、北京大学（ＰＫＵ）及びマイクロソフトリサーチ北京（ＭＳＲ：「マイクロソフト」は登録商標）である。この課題は提案されたサブワードを用いたＩＯＢタグ付けの評価を行うことが目的であるので、クローズドテストのみを行った。セグメント化の結果評価には５つの測定指標を用いた。すなわち、再現率（ｒｅｃａｌｌ：Ｒ）、精度（ｐｒｅｃｉｓｉｏｎ：Ｐ）、Ｆ−スコア（Ｆ）、ＯＯＶ率（Ｒ−ｏｏｖ）、及びＩＶ率（Ｒ−ｉｖ）である。コーパスとこれらのスコアの詳細については非特許文献１を参照されたい。
【００７２】
辞書を用いた方策では、トレーニングデータから単語リストを語彙として抽出した。多義性解消のため、ＳＲＩＬＭツールキットを用いて、トライグラムＬＭが生成された。
【００７３】
表１は、辞書を用いたセグメント化の性能を示す。テストデータにはいくつかの一文字単語があるが、トレーニングデータにはないので、この実験ではＲ−ｏｏｖ率はゼロではない。実際、ＯＯＶの認識はなかった。従って、この方策ではＦスコアが低くなった。しかしながら、Ｒ−ｉｖはきわめて高かった。
【００７４】
【表１】
2008140117.tif 000015
‐文字を用いた、及びサブワードを用いたタグ付け部の効果‐
文字を用いるかサブワードを用いるかの主な違いは、再セグメント化のために用いられるレキシコンサブセットの内容である。文字を用いたタグ付けでは、辞書中の全ての中国語の文字を用いた。サブワードを用いたタグ付けでは、タグ付けのため、最も頻度の高い２０００個の複数文字単語をレキシコンに付加した。辞書を用いたセグメント化の結果はＦＭＭを用いて再セグメント化され、その後ＣＦＲによって「ＩＯＢ」タグでラベル付けされた。ＣＲＦタグ付けを用いたセグメント化の結果を表２に示す。ここで各スロットの上の数は文字を用いた方策で生成されたものであり、下の数はサブワードを用いたものである。提案されたサブワードを用いた方策はＣＩＴＹＵコーパスとＭＳＲコーパスでは有効であり、ＦスコアをＣＩＴＹＲでは０．９４１から０．９４６に、ＭＳＲでは０．９５９から０．９６４に向上させた。ＡＳ及びＰＫＵコーパスではＦスコアの変化はなかったが、再現率が向上した。表１と表２とを比較すると、ＣＲＦモデル化されたＩＯＢタグ付けが、辞書を用いた方策よりもよいセグメント化を生じさせたことが分かる。しかし、Ｒ−ｏｏｖ率が向上するにつれてＲ−ｉｖ率は悪化した。信頼性尺度の方策を用いてこの問題に取り組む。
【００７５】
【表２】
2008140117.tif 000016
‐信頼性尺度の効果‐
この応用では、辞書を用いたセグメント化の結果の組合せにより、ＩＯＢタグ付けの結果を再評価するために、信頼性尺度の方策を提案する。信頼性尺度の効果を表３に示す。ここで、α＝０．７を用い、信頼性しきい値ＴＴＨ＝０．８を用いた。各スロットにおいて、上の数は文字を用いた方策のものであり、下の数はサブワードを用いたものである。
【００７６】
【表３】
2008140117.tif 000017
表３の結果は表２及び表１より良いことが分かり、信頼性尺度の方策を用いることで辞書を用いたセグメント化及びＩＯＢタグ付けの方策に対し最良の性能を達成できることが証明された。信頼性尺度の働きでＲ−ｉｖとＲ−ｏｏｖとのトレードオフがなされ、表１よりも高いＲ−ｏｏｖと表２より高いＲ−ｉｖとが得られた。しきい値ＴＴＨを変化させることで、最適なＲ−ｉｖとＲ−ｏｏｖとが得られる。
【００７７】
信頼性尺度を用いた場合でも依然として、単語を用いたＩＯＢタグ付けが文字を用いたＩＯＢタグ付けより勝っていた。これは、提案されたサブワードを用いたＩＯＢタグ付けが非常に有効であることを示す。
【００７８】
‐検討及び関連の著作‐
この実施の形態で採用されたＩＯＢタグ付けの方策は、新規な思想ではない。これは非特許文献５でキュー及びシェンによって中国語の単語セグメント化で初めて用いられ、ここでは最大エントロピー法が用いられた。その後、この方策は非特許文献３でペン及びマッカラムによってＣＲＦに基づく方法で実現され、これはラベルのバイアスの問題を解決することができるため、最大エントロピー法より良好な結果を達成できることが分かった（非特許文献２を参照）。
【００７９】
我々が主に寄与するところは、ＩＯＢタグ付けの方策を、文字を用いたものからサブワードを用いたものに拡張することである。この新たな取組みにより、単語セグメント化が大いに向上することを証明した。我々の得た結果を、Ｆスコアについて、コンテスト２００５の最良の結果とともに表４に示す。
【００８０】
【表４】
2008140117.tif 000018
表４を参照して、ＣＩＴＹＵ、ＰＫＵ及びＭＳＲコーパスにおいて最高のＦスコアを達成した。この実施の形態のサブワードベースのタグ付けがこの良好な結果をもたらすのに重要な役割を果たしたものと思われる。これはクローズドテストであるため、アラビア数字、中国語の数字、アルファベット文字等のいくつかの情報は使用できない。このような情報を用いれば、表４より良好な結果が得られるであろう。例えば、アルファベットの文字が知られていれば、外国語の名前の一貫性のない誤り等を正すことができる。
【００８１】
文字を用いたものにくらべサブワードを用いたＩＯＢタグ付けが有利な別の点は、その速度である。サブワードを用いた方策は、ラベル付けされる文字数より単語数のほうが少ないため、より高速である。トレーニングでもテストでも、速度が向上した。
【００８２】
信頼性尺度を用いる思想は非特許文献３で見られ、ここではＯＯＶを認識するのに用いられた。発明の実施の形態では、これをよりきめ細かに用いる。信頼性尺度により、辞書を用いた結果とＩＯＢタグ付けを用いた結果とを組合せ、その結果、最適の性能を達成することができた。
【００８３】
この実施の形態では、中国語の単語セグメント化にサブワードを用いたＩＯＢタグ付けを提案した。ＣＲＦの方策を用いて、これが文字を用いた方法に勝ることを証明した。また、信頼度に依存する単語セグメント化を行うために、信頼性尺度を成功裏に用いた。この方策は、ユーザによるＲ−ｏｏｖとＲ−ｉｖとの要求に基づいて望ましいセグメント化を行うのに効果的である。
【００８４】
＜コンピュータによる実現＞
上述の実施の形態は、コンピュータシステムと、コンピュータシステム上で実行されるコンピュータプログラムとによって実現できる。図７はこの実施の形態で用いられるコンピュータシステム２５０の外観を示し、図８はコンピュータシステム２５０のブロック図である。ここで示されるコンピュータシステム２５０は単なる例示であって、他の構成が利用可能であることに注意されたい。
【００８５】
図７を参照して、コンピュータシステム２５０はコンピュータ２６０と、全てコンピュータ２６０に接続された、モニタ２６２、キーボード２６６、マウス２６８、スピーカ５８及びマイクロフォン２９０とを含む。さらに、コンピュータ２６０はＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：デジタル多用途ディスク読出専用メモリ）ドライブ２７０と半導体メモリポート２７２とを含む。
【００８６】
図８を参照して、コンピュータ２６０はさらに、ＤＶＤ−ＲＯＭドライブ２７０と半導体メモリポート２７２とに接続されたバス２８６と、全てバス２８６に接続された、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央処理装置）２７６、コンピュータ２６０のブートアッププログラムを記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：読出専用メモリ）２７８、ＣＰＵ２７６によって使用される作業領域を提供するとともにＣＰＵ２７６によって実行されるプログラムの記憶領域を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：ランダムアクセスメモリ）２８０、言語モデル、サブワードリスト及び辞書（レキシコン）を記憶するハードディスクドライブ２７４、サウンドボード２８８、及びコンピュータ２５０にネットワーク５２との接続を提供するネットワークインターフェース（Ｉ／Ｆ）２９６とを含む。スピーカ５８とマイクロフォン２９０とはサウンドボード２８８に接続される。
【００８７】
上述の実施の形態のシステムを実現するソフトウェアは、ＤＶＤ−ＲＯＭ２８２又は半導体メモリ２８４等の記憶媒体上に記録されたオブジェクトコードの形で分配され、ＤＶＤ−ＲＯＭドライブ２７０又は半導体メモリポート２７２等の読出装置を介してコンピュータ２６０に提供され、ハードディスクドライブ２７４に記憶される。ＣＰＵ２７６がプログラムを実行する際に、プログラムはハードディスクドライブ２７４から読出され、ＲＡＭ２８０に記憶される。図示しないプログラムカウンタによって指定されたアドレスから命令がフェッチされ、命令が実行される。ＣＰＵは処理すべきデータをハードディスクドライブ２７４から読出し、処理の結果をこれもまたハードディスクドライブ２７４に記憶する。スピーカ５８及びマイクロフォン２９０は音声認識及び音声合成のために用いられる。
【００８８】
コンピュータシステム２５０の一般的動作は周知であるので、ここではその詳細は説明しない。
【００８９】
ソフトウェアの分配の仕方については、これは必ずしも記録媒体上に固定されていなくてもよい。例えば、ソフトウェアはネットワークを介して接続された別のコンピュータから分配されてもよい。ソフトウェアの一部はハードディスクドライブ２７４に記憶されてもよく、残りの部分がネットワークを介してハードディスクに入れられ実行の際に統合されてもよい。
【００９０】
典型的には、現代のコンピュータはコンピュータのオペレーティングシステム（ＯＳ）によって提供される一般的な機能を利用し、所望の目的に応じて制御された様態で機能を実行する。従って、ＯＳによって又はサードパーティによって提供されうる一般的な機能を含まないプログラムであって単に一般的機能を実行する命令の組合せのみを指定するプログラムもまた、そのプログラムが全体として所望の目的を達成する制御構造を有する限り、この発明の範囲に含まれることは明らかである。
【００９１】
＜第２の実施の形態＞
ＣＲＦを用いた上述の実施の形態では、所与の単語シーケンスＷ＝ｗ０ｗ１…ｗＭに対するＩＯＢタグシーケンス、Ｔ＝ｔ０ｔ１…ｔＭの確率は式１で定義される。しかし、この発明の信頼性尺度はＣＲＦによって計算されるものに限定されない。ＣＲＦに代えて、最大エントロピー（ＭａｘＥｎｔ）方策を用いることもできる。
【００９２】
ＭａｘＥｎｔの方策によれば、ｔが現在の単語のタグＩ、Ｏ、Ｂであり、ｈが現在の単語の前後の単語とタグシーケンスを含む文脈であるものとして、確率ｐ（ｔ｜ｈ）の数学的表現は次のようになる。
【００９３】
【数１３】
2008140117.tif 000019
ここでｆｉはｉ番目の定義された特徴量が活性化されていれば１に等しく、そうでなければ０に等しい二値の特徴であり、Ｚは正規化系数であり、λｉはｉ番目の特徴の重みである。
【００９４】
この実施の形態でもまた、信頼性尺度は２つのソースから来る。サブワードを用いたＩＯＢタグづけと辞書を用いた単語セグメント化である。その計算は以下のように定義される。
【００９５】
【数１４】
2008140117.tif 000020
ここでｔｉｏｂはＩＯＢタグ付けによって割当てられた単語ｗのＩＯＢタグであり、ｔｗは辞書を用いたセグメント化の結果決定された先のＩＯＢタグであり、
【００９６】
【数１５】
2008140117.tif 000021
は辞書を用いたセグメント化の寄与分であり、αはサブワードを用いたＩＯＢタグ付けと辞書を用いた単語セグメント化との重みである。
【００９７】
【数１６】
2008140117.tif 000022
は上述のクロネッカーのデルタ関数である。この実施の形態では、実験的にαの値を０．８とした。
【００９８】
辞書を用いた単語セグメント化の後、単語はＦＭＭによりサブワードに再セグメント化され、その後ＩＯＢタグ付けに供される。各サブワードには、先行するＩＯＢタグ、ｔｗ、ＣＭｉｏｂ（ｔ｜ｗ）、以下で定義されるサブワードを用いたＩＯＢタグ付けの過程で導かれる信頼度確率
【００９９】
【数１７】
2008140117.tif 000023
が与えられており、ここでｈｉはビーム探索における仮説である。
【０１００】
上述のＣＭ（ｔｉｏｂ｜ｗ）を用いたタグの選択は第１の実施の形態と同じである。
【０１０１】
タグ付けの正確さを改善するために、多種類の特徴量を定義することができる。しかし、コンテスト２００５のクローズドテストの制約に従うため、統語論的情報及び数とアルファベット文字のエンコード等は許されていない。従って、提供されたトレーニングコーパスから利用可能な特徴量のみを用いた。すなわち、文脈情報、接頭辞、接尾辞及び語長である。
【０１０２】
‐文脈情報‐
ｗ０，ｔ−１，ｗ０ｔ−１，ｗ０ｔ−１ｗ１，ｔ−１ｗ１，ｔ−１ｔ−２，ｗ０ｔ−１ｔ−２，ｗ０ｗ１，ｗ０ｗ１ｗ２，ｗ−１，ｗ０ｗ−１，ｗ０ｗ−１ｗ1,ｗ-1ｗ1,ｗ-1ｗ-2,ｗ0ｗ-1ｗ-2,ｗ1,ｗ1ｗ2
ここで、ｗは単語を表し、ｔはＩＯＢタグを表す。添え字は位置指標であり、０は現在の単語／タグを意味し、−１、−２は左側の１番目又は２番目の単語／タグを意味し、１、２は右側の１番目又は２番目の単語／タグを意味する。
【０１０３】
‐接頭辞及び接尾辞‐
これらは非常に有用な特徴量である。非特許文献４と同様の方策を用いて、接頭辞を示す「Ｂ」のタグが付された最も頻度の高い単語と、接尾辞を示す「Ｉ」のタグを付された最後の単語とを抽出した。接頭辞及び接尾辞を含む特徴は、以下の組合せで他の特徴と組合せて用いられ、ここでｐは接頭辞、ｓは接尾辞を表し、ｐ０は現在の単語が接頭辞であることを意味し、ｓ１は右側の１番目の単語が接尾辞であることを意味し、以下同様である。
ｐ0，ｗ0ｐ−１，ｗ０ｐ１，ｓ０，ｗ０ｓ−１，ｗ０ｓ１，ｐ０ｗ−１，ｐ０ｗ１，ｓ０ｗ−１，ｓ０ｗ−２
‐語長‐
これは単語の文字数として定義される。中国語の単語長は単語の組立てについて特徴的な役割を有する。例えば、単一文字の単語は複数文字の単語に比べて新規な単語を形成しやすい。語長を用いた特徴量を以下に列挙する。ここでＬ０は現在の単語の語長を意味する。他のものも同様に推測できる。
Ｌ０，ｗ０Ｌ−１，ｗ０Ｌ１，ｗ０Ｌ−１Ｌ１，Ｌ０Ｌ−１，Ｌ０Ｌ１
特徴量の選択に関連して、単純にトレーニングデータ中の各特徴量の絶対カウントを測定指標として採用し、特徴量の種類の各々について切捨て値を定義した。
【０１０４】
最大エントロピーモデルをトレーニングするために、ＩＩＳ（Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｓｃａｌｉｎｇ  ａｌｇｏｒｉｔｈｍ：改良反復スケーリングアルゴリズム）を用いた。詳細は、ラファルティら、２００１年の非特許文献２を参照されたい。
【０１０５】
タグ付けアルゴリズムはビーム探索法（非特許文献６）に基づく。ＩＯＢタグ付けの後、各単語にＢ／Ｉ／Ｏのタグが付される。単語セグメント化がすぐに得られる。
【０１０６】
３種類の実験を行った。第１の実験では、サブワードリストに全ての中国語の文字を含めた。第２の実験では、サブワードリストにさらに２５００個のトレーニングコーパス中最も頻度の高い複数文字単語を含めた。第３の実験では、別の２５００個の最も頻度の高い複数文字単語を含めた。ここでα＝０．８、しきい値ＴＴＨ＝０．７を用いた。
【０１０７】
表５、６、７はコンテスト２００５のクローズドテストでの辞書を用いたセグメント化の結果、純粋にサブワードを用いたＩＯＢタグ付けの結果、及び第２の実施の形態に従った信頼性尺度を用いたセグメント化の結果を示す。これらの表において、ＡＳ、ＣＩＴＹＵ、ＰＫＵ及びＭＳＲはそれぞれ、アカデミアシニカコーパス、香港市立大学コーパス、北京大学コーパス及びマイクロソフトリサーチコーパスである（「マイクロソフト」は登録商標）。これらの表において、第１、第２、第３の実験結果を各スロット内の上、中、下の行で示す。
【０１０８】
【表５】
2008140117.tif 000024
【０１０９】
【表６】
2008140117.tif 000025
【０１１０】
【表７】
2008140117.tif 000026
結果からわかるように、サブワードを用いた方策は文字を用いたＩＯＢタグ付けに勝った。信頼性尺度を用いた場合でも、文字を用いたＩＯＢタグ付けに勝り、提案されたサブワードを用いたＩＯＢタグ付けが極めて有効であることが分かった。信頼性尺度のもとでの改善は減少したが、依然としてかなりのものである。
【０１１１】
この実施の形態でも、しきい値ＴＴＨを変化させることによって、Ｒ−ｉｖとＲ−ｏｏｖとを最適化することができる。
【０１１２】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１１３】
【図１】この発明の一実施の形態に従った中国語の単語セグメント化の全体処理を示す図である。
【図２】この発明の実施の形態の中国語単語セグメント化装置５０を示すブロック図である。
【図３】図２のモデルトレーニングモジュール６２の機能的ブロック図である。
【図４】図２に示す辞書を用いたセグメント化モジュール８６の機能的ブロック図である。
【図５】図２に示すサブワードを用いたＩＯＢタグ付けモジュール８８の機能的ブロック図である。
【図６】図２に示す信頼性尺度を用いたセグメント化モジュール９０の機能的ブロック図である。
【図７】この発明の実施の形態を実現するコンピュータシステム２５０の正面図である。
【図８】コンピュータシステム２５０のハードウェアブロック図である。
【符号の説明】
【０１１４】
３２       辞書を用いたセグメント化
３４       ＩＯＢタグ付け
３６       信頼度を用いた単語のセグメント化
５０       中国語単語セグメント化装置
６０       トレーニングデータ
６２       モデルトレーニングモジュール
６４       サブワードリスト
６６       確率モデル
８６       辞書を用いた単語セグメント化モジュール
８８       サブワードを用いたＩＯＢタグ付けモジュール
９０       信頼性尺度を用いたセグメント化モジュール
９２       セグメント化結果
１６０    仮説生成モジュール
１６４    尤度計算モジュール
１６６    最尤選択モジュール
１８０    比較モジュール
１８４    信頼性尺度計算モジュール
１８６    タグ選択モジュール
【図１】
2008140117.tif 000029
【図２】
2008140117.tif 000030
【図３】
2008140117.tif 000031
【図４】
2008140117.tif 000032
【図５】
2008140117.tif 000033
【図６】
2008140117.tif 000034
【図７】
2008140117.tif 000035
【図８】
2008140117.tif 000036
【手続補正書】
【提出日】平成19年1月15日(2007.1.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
中国語の文字シーケンスを中国語の単語シーケンスにセグメント化するための装置であって、
中国語の文字と中国語の複数文字の単語とを列挙する中国語サブワードリストを記憶するための第１の記憶部と、
中国語のサブワードに割当てられた第１のタグのシーケンスの統計的確率モデルを記憶するための第２の記憶部と、を含み、前記第１のタグは、独立した単語、複数文字単語の第１のサブワード、又はそれ以外を示し、前記装置はさらに
中国語の文字シーケンスを前記サブワードリスト及び前記統計的確率モデルを用いて最尤推定を用いて第１の中国語の単語シーケンスにセグメント化するための、サブワードを用いたセグメント化手段を含み、前記第１の中国語の単語シーケンスにおける複数サブワードの単語は、各々がセグメント化に従って前記第１のタグでラベル付けされたサブワードにセグメント化され、前記中国語のサブワードリストにおける前記単語は、前記サブワードを用いたセグメント化手段によって中国語の文字シーケンスをセグメント化する際にサブワードとして扱われる、装置。
【請求項２】
前記サブワードを用いたセグメント化手段は前記第１のタグの各々の予め定義された信頼性の確率を出力し、前記装置はさらに、
中国語の文字と中国語の単語とを列挙する中国語文字辞書を記憶するための第３の記憶部と、
中国語の統計的言語モデルを記憶するための第４の記憶部と、
入力された中国語の文字シーケンスを、前記辞書と前記言語モデルとを用いた最尤推定で第２の中国語の単語シーケンスにセグメント化し、第２の中国語の単語シーケンス中の文字の各々に前記第２のタグを付すための辞書を用いた単語セグメント化手段とを含み、前記第２のタグは、独立した単語として、複数文字単語の最初の文字として、又はそれ以外として機能する文字を示し、前記装置はさらに、
第１の中国語単語シーケンス中のサブワードの各々に割当てるべきタグを、ともにサブワードに割当てられた第１及び第２のタグとサブワードの信頼性確率との関数として決定するための決定手段を含む、請求項１に記載の装置。
【請求項３】
前記サブワードを用いたセグメント化手段はｉ番目の単語ｗｉの前記第１のタグｔの各々について、予め定義された信頼性の確率ＣＭｉｏｂ（ｔ｜ｗｉ）を以下の式に従って出力し
【数１】
2008140117.tif 000037
ここで分子は単語ｗｉがｔとしてラベル付けされた全ての観測シーケンスの和であって、Ｗはセグメント化された中国語の単語シーケンスであり、Ｔ＝ｔｏｔ１…ｔＭは単語シーケンスＷに割り当てられたタグシーケンスである、請求項２に記載の装置。
【請求項４】
前記サブワードを用いたセグメント化手段は単語ｗの第１のタグｔの各々についての、予め定義された信頼性の確率ＣＭｉｏｂ（ｔ｜ｗ）を以下の式に従って出力し
【数２】
2008140117.tif 000038
ここでｈｉはセグメント化のｉ番目の仮説である、請求項２に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
‐サブワードを用いたＣＲＦによるＩＯＢタグ付け‐
図５を参照して、サブワードを用いるＩＯＢタグ付けモジュール８８は、サブワードリスト６４を参照することによって中国語の文８０の単語セグメント化の仮説の全てを生成する仮説生成モジュール１６０と、仮説を記憶するための記憶部１６２と、確率モデル６６を用いて記憶部１６２に記憶された仮説の各々の尤度を計算するための尤度計算モジュール１６４と、最も高い尤度の仮説を選択するための最尤度選択モジュール１６６とを含む。ここではビーム探索アルゴリズムを用いる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
選択モジュール１１６は全ての一文字単語と上位２０００個の複数文字単語とを順序付きリスト１１４から選択し、サブワードリスト６４を生成する。
【外国語明細書】
2008140117000001.pdf
2008140117000002.pdf
2008140117000003.pdf
2008140117000004.pdf