"テキスト処理の方法であって、最小意味単位の辞書に基づいて、受信したテキストを分割して、中間粒度の分割結果を取得し、前記中間粒度の分割結果を結合して、前記中間粒度の分割結果よりも粗い粒度を有する粗粒度の分割結果を取得し、前記中間粒度の分割結果内のセグメントに対応するそれぞれの検索要素を前記最小意味単位の辞書内で検索し、前記それぞれの検索要素に基づいて、前記中間粒度の分割結果よりも細かい粒度を有する細粒度の分割結果を形成すること、を備える、方法。請求項1に記載の方法であって、さらに、テキストを分類するための分類子を訓練し、前記訓練は、複数の訓練サンプルエントリに基づいて行われ、前記複数の訓練サンプルエントリ内の訓練サンプルエントリは、文字数と、単独利用率と、前記訓練サンプルエントリが句構造規則に従うか否かを示す句構造規則値と、列挙エントリの所定のセットにおける前記訓練サンプルエントリの包含状態を示す意味属性値と、前記列挙エントリの所定のセット内の別のエントリと前記訓練サンプルエントリとの重複を示す重複属性値と、前記訓練サンプルエントリが複合意味単位であるか最小意味単位であるかを示す分類結果と、を含も、前記最小意味単位の辞書を構築し、前記最小意味単位の辞書の構築は、分類対象のエントリを受信し、前記訓練された分類子を用いて、分類対象の前記エントリが最小意味単位であるか複合意味単位であるかを判定し、前記エントリが最小意味単位であると判定された場合に、前記最小意味単位の辞書に前記エントリを追加することを含むこと、を備える、方法。請求項1に記載の方法であって、前記受信したテキストは、単語区切り記号のない言語である、方法。請求項2に記載の方法であって、さらに、前記エントリが複合意味単位であると判定された場合に、複合意味単位の辞書に前記エントリを追加することを備える、方法。請求項2に記載の方法であって、前記訓練された分類子を用いた前記エントリが最小意味単位であるか複合意味単位であるかの判定は、前記エントリの文字数、前記エントリの単独利用率、前記エントリが句構造規則に従うか否かを示す句構造規則インジケータ、前記列挙エントリの所定のセットにおける前記エントリの包含状態を示す意味属性、および、前記エントリの重複属性を、前記訓練された分類子に入力することを含む、方法。請求項2に記載の方法であって、さらに、前記エントリに対応する検索要素を決定し、前記最小意味単位の辞書に前記検索要素を保存すること、を備える、方法。請求項2に記載の方法であって、前記エントリに対応する検索要素の決定は、前記エントリが分割可能であるか否かを判定し、前記エントリが分割可能である場合、前記エントリに含まれる細粒度の単語に前記検索要素を設定し、前記エントリが分割不可能である場合、前記エントリに前記検索要素を設定すること、を含む、方法。請求項1に記載の方法であって、前記最小意味単位の辞書に基づいて、受信したテキストを分割して、中間粒度の分割結果を取得することは、前記中間粒度の分割結果の曖昧性を解決することを含む、方法。テキスト処理のためのシステムであって、1または複数のプロセッサであって、最小意味単位の辞書に基づいて、受信したテキストを分割して、中間粒度の分割結果を取得し、前記中間粒度の分割結果を結合して、前記中間粒度の分割結果よりも粗い粒度を有する粗粒度の分割結果を取得し、前記中間粒度の分割結果内のセグメントに対応するそれぞれの検索要素を前記最小意味単位の辞書内で検索し、前記それぞれの検索要素に基づいて、前記中間粒度の分割結果よりも細かい粒度を有する細粒度の分割結果を形成するよう構成されている1または複数のプロセッサと、前記1または複数のプロセッサに接続され、前記1または複数のプロセッサに命令を提供するよう構成されている1または複数のメモリと、を備える、システム。請求項9に記載のシステムであって、前記1または複数のプロセッサは、さらに、複数の訓練サンプルエントリに基づいて、テキストを分類するための分類子を訓練し、前記最小意味単位の辞書を構築するよう構成され、前記複数の訓練サンプルエントリ内の訓練サンプルエントリは、文字数と、単独利用率と、前記訓練サンプルエントリが句構造規則に従うか否かを示す句構造規則値と、列挙エントリの所定のセットにおける前記訓練サンプルエントリの包含状態を示す意味属性値と、前記列挙エントリの所定のセット内の別のエントリと前記訓練サンプルエントリとの重複を示す重複属性値と、前記訓練サンプルエントリが複合意味単位であるか最小意味単位であるかを示す分類結果と、を含み、前記最小意味単位の辞書の構築は、分類対象のエントリを受信し、前記訓練された分類子を用いて、分類対象の前記エントリが最小意味単位であるか複合意味単位であるかを判定し、前記エントリが最小意味単位であると判定された場合に、前記最小意味単位の辞書に前記エントリを追加することを含む、システム。請求項9に記載のシステムであって、前記テキストは、単語区切り記号のない言語である、システム。請求項10に記載のシステムであって、前記1または複数のプロセッサは、さらに、前記エントリが複合意味単位であると判定された場合に、複合意味単位の辞書に前記エントリを追加するよう構成されている、システム。請求項10に記載のシステムであって、前記訓練された分類子を用いた、前記エントリが最小意味単位であるか複合意味単位であるかの判定は、前記エントリの文字数、前記エントリの単独利用率、前記エントリが句構造規則に従うか否かを示す句構造規則インジケータ、前記列挙エントリの所定のセットにおける前記エントリの包含状態を示す意味属性、および、前記エントリの重複属性を、前記訓練された分類子に入力することを含む、システム。請求項10に記載のシステムであって、前記1または複数のプロセッサは、さらに、前記エントリに対応する検索要素を決定しと、前記最小意味単位の辞書に前記検索要素を保存するよう構成されている、システム。請求項10に記載のシステムであって、前記エントリに対応する検索要素の決定は、前記エントリが分割可能であるか否かを判定し、前記エントリが分割可能である場合、前記エントリに含まれる細粒度の単語に前記検索要素を設定し、前記エントリが分割不可能である場合、前記エントリに前記検索要素を設定すること、を含む、システム。請求項9に記載のシステムであって、前記最小意味単位の辞書に基づいて、受信したテキストを分割して、中間粒度の分割結果を取得することは、前記中間粒度の分割結果の曖昧性を解決することを含む、システム。テキスト処理ためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータ読み取り可能な記憶媒体内に具現化され、最小意味単位の辞書に基づいて、受信したテキストを分割して、中間粒度の分割結果を取得するためのコンピュータ命令と、前記中間粒度の分割結果を結合して、前記中間粒度の分割結果よりも粗い粒度を有する粗粒度の分割結果を取得するためのコンピュータ命令と、前記中間粒度の分割結果内のセグメントに対応するそれぞれの検索要素を前記最小意味単位の辞書内で検索するためのコンピュータ命令と、前記それぞれの検索要素に基づいて、前記中間粒度の分割結果よりも細かい粒度を有する細粒度の分割結果を形成するためのコンピュータ命令と、を備える、コンピュータプログラム製品。請求項17に記載のコンピュータプログラム製品であって、さらに、複数の訓練サンプルエントリに基づいて行われる、テキストを分類するための分類子を訓練するためのコンピュータ命令と、前記最小意味単位の辞書を構築するためのコンピュータ命令とを備え、前記複数の訓練サンプルエントリ内の訓練サンプルエントリは、文字数と、単独利用率と、前記訓練サンプルエントリが句構造規則に従うか否かを示す句構造規則値と、列挙エントリの所定のセットにおける前記訓練サンプルエントリの包含状態を示す意味属性値と、前記列挙エントリの所定のセット内の別のエントリと前記訓練サンプルエントリとの重複を示す重複属性値と、前記訓練サンプルエントリが複合意味単位であるか最小意味単位であるかを示す分類結果と、を含み、前記最小意味単位の辞書の構築は、分類対象のエントリを受信し、前記訓練された分類子を用いて、分類対象の前記エントリが最小意味単位であるか複合意味単位であるかを判定し、前記エントリが最小意味単位であると判定された場合に、前記最小意味単位の辞書に前記エントリを追加すること、を含む、コンピュータプログラム製品。テキスト処理のためのシステムであって、1または複数のプロセッサであって、複数の訓練サンプルエントリに基づいて行われる、テキストを分類するための分類子を訓練し、最小意味単位の辞書を構築するよう構成されている、1または複数のプロセッサと前記複数の訓練サンプルエントリ内の訓練サンプルエントリは、文字数と、単独利用率と、前記訓練サンプルエントリが句構造規則に従うか否かを示す句構造規則値と、列挙エントリの所定のセットにおける前記訓練サンプルエントリの包含状態を示す意味属性値と、前記列挙エントリの所定のセット内の別のエントリと前記訓練サンプルエントリとの重複を示す重複属性値と、前記訓練サンプルエントリが複合意味単位であるか最小意味単位であるかを示す分類結果と、を含み、最小意味単位の辞書の構築は、分類対象のエントリを受信し、前記訓練された分類子を用いて、分類対象の前記エントリが最小意味単位であるか複合意味単位であるかを判定し、前記エントリが最小意味単位であると判定された場合に、前記最小意味単位の辞書に前記エントリを追加することを含み、前記1または複数のプロセッサに接続され、前記1または複数のプロセッサに命令を提供するよう構成されている1または複数のメモリと、を備える、システム。本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および/または、プロセッサプロセッサに接続されたメモリに格納および/またはそのメモリによって提供される命令を実行するよう構成されたプロセッサを含め、様々な形態で実装されうる。本明細書では、これらの実装または本発明が取りうる任意の他の形態を、技術と呼ぶ。一般に、開示された処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、ある時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、プロセッサという用語は、1または複数のデバイス、回路、および/または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。以下では、本発明の原理を示す図面を参照しつつ、本発明の1または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術要素については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。複数の粒度のセグメントにテキストを分割することが開示されている。いくつかの実施形態において、単語分割辞書例えば、最小意味単位の辞書が構築される。最小意味単位の辞書内のエントリは、合理的な長さを有し、意味的な完全性も有する。さらに、それらのエントリに対応する検索要素が辞書に格納される。所与のエントリが単語分割を受ける時、中間粒度の分割結果を得るために、構築された最小意味単位の辞書に基づいて単語分割を受ける。中間粒度の分割結果は、より粗粒度のエントリを含む単語分割辞書を用いて結合され、それによって、より粗粒度の分割結果が得られる。最小意味単位の辞書に格納されたエントリに対応する検索要素を用いて、より細粒度の分割結果が、中間粒度の分割結果に基づいて取得される。いくつかの実施形態において、テキストは、中国語など、単語区切り記号のない言語である。図2は、テキストを分割し、複数の粒度の分割結果を提供するためのシステムの一実施形態を示す。明らかに、フォームデザインのためのコンテキスト依存のスクリプト編集を実行するために、他のコンピュータシステムアーキテクチャおよび構成が用いられてもよい。以下に述べるような様々なサブシステムを備えるコンピュータシステム100は、少なくとも1つのマイクロプロセッササブシステムプロセッサまたは中央処理装置CPUとも呼ばれる102を備える。例えば、プロセッサ102は、シングルチッププロセッサまたはマルチプロセッサによって実装できる。いくつかの実施形態において、プロセッサ102は、コンピュータシステム100の動作を制御する汎用デジタルプロセッサである。メモリ110から読み出された命令を用いて、プロセッサ102は、入力データの受信および操作、ならびに、出力デバイス例えば、ディスプレイ118上でのデータの出力および表示を制御する。いくつかの実施形態において、プロセッサ102は、テキストを分割し、複数の粒度の分割結果を提供することを含む、および/または、そのために用いられる。プロセッサ102は、メモリ110と双方向的に接続されており、メモリ110は、第1のプライマリストレージ通例は、ランダムアクセスメモリRAMおよび第2のプライマリストレージ領域通例は、読み出し専用メモリROMを含みうる。当業者に周知のように、プライマリストレージは、一般的な記憶領域として、および、スクラッチパッドメモリとして利用可能であり、また、入力データおよび処理済みデータを格納するために利用可能である。プライマリストレージは、さらに、プロセッサ102上で実行される処理のための他のデータおよび命令に加えて、データオブジェクトおよびテキストオブジェクトの形態で、プログラミング命令およびデータを格納できる。また、当業者に周知のように、プライマリストレージは、通例、機能例えば、プログラムされた命令を実行するためにプロセッサ102によって用いられる基本的な動作命令、プログラムコード、データ、および、オブジェクトを備える。例えば、メモリ110は、例えば、データアクセスが双方向である必要があるか、単方向である必要があるかに応じて、後述する任意の適切なコンピュータ読み取り可能な記憶媒体を含みうる。例えば、プロセッサ102は、頻繁に必要になるデータをキャッシュメモリ図示せずに直接的かつ非常に迅速に格納し取り出すことができる。着脱可能なマスストレージデバイス112が、コンピュータシステム100にさらなるデータ記憶容量を提供しており、プロセッサ102に対して双方向読み出し/書き込みまたは単方向読み出しのみに接続されている。例えば、ストレージ112は、磁気テープ、フラッシュメモリ、PCカード、携帯型マスストレージデバイス、ホログラフィックストレージデバイス、および、その他のストレージデバイスなどのコンピュータ読み取り可能な媒体も含みうる。固定マスストレージ120も、例えば、さらなるデータ記憶容量を提供しうる。マスストレージ120の最も一般的な例は、ハードディスクドライブである。マスストレージ112および120は、一般に、プロセッサ102によって通例はあまり利用されないさらなるプログラミング命令、データなどを格納する。当然のことながら、マスストレージ112および120に保持された情報は、必要であれば、仮想メモリとしてのメモリ110例えば、RAMの一部に標準的な方式で組み込まれてよい。プロセッサ102がストレージサブシステムにアクセスできるようにすることに加えて、バス114は、その他のサブシステムおよびデバイスへのアクセスを可能にするために用いられてもよい。図に示すように、これらは、ディスプレイモニタ118、ネットワークインターフェース116、キーボード104、および、ポインティングデバイス106、ならびに、必要に応じて、補助入力/出力デバイスインターフェース、サウンドカード、スピーカ、および、その他のサブシステムを含みうる。例えば、ポインティングデバイス106は、マウス、スタイラス、トラックボール、または、タブレットであってよく、グラフィカルユーザインターフェースと相互作用するのに有用である。ネットワークインターフェース116は、図に示すように、ネットワーク接続を用いて、別のコンピュータ、コンピュータネットワーク、または、遠隔通信ネットワークにプロセッサ102を接続することを可能にする。例えば、ネットワークインターフェース116を通して、プロセッサ102は、方法/処理ステップを実行する過程で、別のネットワークから情報例えば、データオブジェクトまたはプログラム命令を受信したり、別のネットワークに情報を出力したりすることができる。情報は、プロセッサ上で実行される一連の命令として表されることが多く、別のネットワークから受信されたり、別のネットワークへ出力されたりしうる。インターフェースカードまたは同様のデバイスと、プロセッサ102によって実装例えば、実行/実施される適切なソフトウェアとを用いて、コンピュータシステム100を外部ネットワークに接続し、標準プロトコルに従ってデータを転送することができる。例えば、本明細書に開示された様々な処理の実施形態は、プロセッサ102上で実行されてもよいし、処理の一部を共有するリモートプロセッサと共に、ネットワークインターネット、イントラネットワーク、または、ローカルエリアネットワークなど上で実行されてもよい。さらなるマスストレージデバイス図示せずが、ネットワークインターフェース116を通してプロセッサ102に接続されてもよい。補助I/Oデバイスインターフェース図示せずが、コンピュータシステム100と共に用いられてよい。補助I/Oデバイスインターフェースは、プロセッサ102がデータを送信すること、ならびに、より典型的には、他のデバイスマイクロホン、タッチセンサ方式ディスプレイ、トランスデューサカードリーダ、テープリーダ、音声または手書き認識装置、バイオメトリクスリーダ、カメラ、携帯型マスストレージデバイス、および、他のコンピュータなどからデータを受信することを可能にする汎用インターフェースおよびカスタマイズされたインターフェースを含みうる。さらに、本明細書に開示された様々な実施形態は、さらに、様々なコンピュータ実装された動作を実行するためのプログラムコードを備えたコンピュータ読み取り可能な媒体を含むコンピュータストレージ製品に関する。コンピュータ読み取り可能な媒体は、データを格納できる任意のデータストレージデバイスであり、そのデータは、後にコンピュータシステムによって読み出されうる。コンピュータ読み取り可能な媒体の例は、以下の媒体すべてを含むがそれらに限定されない。ハードディスク、フロッピーディスク、および、磁気テープなどの磁気媒体、CD-ROMディスクなどの光学媒体、光学ディスクなどの磁気光学媒体、ならびに、特定用途向け集積回路ASIC、プログラム可能論理デバイスPLD、および、ROM/RAMデバイスなど、特別に構成されたハードウェアデバイス。プログラムコードの例としては、例えば、コンパイラによって生成されるマシンコード、または、インタープリタを用いて実行できる高水準コード例えば、スクリプトを含むファイルが挙げられる。図2に示したコンピュータシステムは、本明細書に開示された様々な実施形態と共に利用するのに適切なコンピュータシステムの一例にすぎない。かかる利用に適した他のコンピュータシステムは、より多いまたは少ないサブシステムを含みうる。さらに、バス114は、サブシステムをリンクさせるよう機能する任意の相互接続スキームの例である。異なる構成のサブシステムを有する他のコンピュータアーキテクチャが利用されてもよい。図3は、単語分割辞書、特に、最小意味単位の辞書を構築するための処理の一実施形態を示すフローチャートである。処理200は、システム100など上で実行されてよい。工程201では、訓練セットに基づいて訓練される分類子が取得される。いくつかの実施形態において、訓練セットは、多くのサンプルエントリを含んでおり、訓練セット内の各訓練サンプルエントリは、単語長属性、単独利用率、句構造規則属性、意味属性、重複属性、および、分類結果を含む。単語長属性の属性値は、訓練サンプルエントリ内のテキストの文字数を含む。句構造属性の値は、訓練サンプルエントリの細粒度の単語の単独利用率値と、訓練サンプルエントリが句構造規則に従っているか否かを示すインジケータとを含む。句の単独利用率の値は、例えば、ログエントリ、アンカーテキストなどから取得された単独句など単独句のセット内での出現頻度または出現回数を単位として測られてよい。いくつかの実施形態において、システムは、様々なカテゴリの列挙エントリの所定のセット例えば、TV番組、本のタイトル、商品ブランドなどの列挙エントリのセットを提供する。意味属性の値は、サンプルエントリが列挙エントリのセットに含まれるか否かに依存する。言い換えると、意味属性値は、列挙エントリのセットにおける訓練サンプルエントリの包含状態を示す。訓練サンプルエントリが列挙エントリの所定のセットに含まれる場合、意味属性の値は、列挙エントリの対応する所定のセットのための識別子である。訓練サンプルエントリが、列挙エントリの所定のセットのいずれにも見いだされない場合、意味属性の値には、列挙エントリの任意の所定のセットの識別子とは異なる識別子が割り当てられる。重複属性の値は、訓練サンプルエントリが様々なカテゴリの列挙エントリのいずれか内の別のエントリと重複する確率と、重複部分が細粒度の単語であるか否かを示すインジケータとを含む。分類結果は、予め格付けされた訓練サンプルエントリが、複合意味単位であるか最小意味単位であるかを示すインジケータを含む。本明細書で用いられているように、複合意味単位とは、意味論的に意味を持つ例えば、人間に理解可能な部分にさらに分割できるテキストの一部のことであり、最小意味単位とは、意味を持つ部分にさらに分割できないテキストのことである。例えば、訓練サンプルエントリC2管理企業管理は、4文字である。したがって、この訓練サンプルエントリの単語長の値すなわち、文字数は4である。訓練サンプルエントリC2管理企業管理は、細粒度の単語C2企業および管理管理を含む。これら2つの細粒度の単語が単独利用エントリのセットに現れる率が決定され、最も高い率が、訓練サンプルエントリC2管理企業管理の句構造属性の値に対する細粒度の単語の単独利用率として機能するよう選択される。本明細書で用いられているように、単独利用エントリセットは、インターネットクエリログ、アンカーテキスト、または、任意の他の適切な技術によって取得されてよい。例えば、単独利用エントリセットを構築するための収集段階中に、ユーザが検索キーワードC2企業をインターネット検索エンジンに入力した場合、C2企業はクエリログに記録され、C2企業が単独で利用されうることが示される。さらに、カンマまたはスペースなどの区切りマーカによって分離されたユーザによって入力された各単語は、単独で利用された単語と見なすことができる。1,000,000件の事例で、細粒度の単語管理管理が単独利用エントリセット内で最も頻繁に出現すると仮定する。一方で、エントリが独立した細粒度の単語を欠いている例えば、その単語が他の単語から独立して検索エンジンに入力されたことがない場合、率は0である。句構造規則は、所与の言語の構文を記述する方法である。規則は、一般的に、自然言語に関する幅広い研究を通して得られる。中国語の場合、句は、一般に、形容詞名詞、名詞名詞、または、動詞名詞で構成される。句構造規則は、正規表現の形態で格納されうる。訓練サンプルエントリC2管理企業管理は、2つの細粒度の名詞で構成されている。C2企業および管理管理である。したがって、訓練サンプルエントリC2管理企業管理は、句構造規則に従っている。句構造規則に従っていることを示すインジケータが1に設定され、句構造規則に従っていないことを示すインジケータが0であると仮定する。したがって、訓練サンプルエントリ信息C9工程情報システム工学の句構造属性の値は、1,000,000,1である。いくつかの実施形態において、システムは、様々なカテゴリの列挙エントリの所定のセット例えば、映画のタイトル、本のタイトル、商品ブランドなどの列挙エントリのセットを提供する。意味属性の値は、サンプルエントリが列挙エントリのセットに含まれるか否かに依存する。例えば、TV/映画のタイトルのセットのための識別子をS21とする。映画のタイトルのカテゴリに含まれるエントリは、S21={ゴッドファーザー,シュレック,甲方乙方...}である。小説のタイトルのセットのための識別子はS22である。小説のタイトルのセットに含まれるエントリは、S22={ホビット,二都物語,紅楼夢,...}である。教科書の題材のセットのための識別子はS23である。教科書の題材のセットに含まれるエントリは、S23={情報工学,心理学,哲学,企業管理,産業,および,商業管理,...}である。都市名のセットのための識別子はS24であり、エントリは、S24={北京,上海,ニューヨーク,フフホト,...}を含む。訓練サンプルエントリC2管理企業管理は、教科書の題材のセットに含まれる。したがって、訓練サンプルエントリC2管理企業管理に対応する識別子は、S23である。訓練サンプルエントリがいずれのタイプの列挙エントリセットにも含まれない場合、この訓練サンプルエントリの句構造値は、どのタイプの列挙エントリセットのための識別子とも異なる識別子、例えば、どの列挙エントリセットにも対応しないS20になる。重複属性の値を決定するために、訓練サンプル単語が、辞書に含まれる別のエントリと、訓練テキスト内で重複する確率が計算される。本明細書で用いられているように、重複とは、訓練サンプルエントリ内のいくつかの文字が、訓練サンプルエントリを含む訓練テキスト内で前または後ろに位置するいくつかの文字と組み合わされた時に、辞書内の別のエントリを形成する状況を指す。例えば、訓練サンプルエントリがC2管理企業管理であり、訓練テキストがC10,C2管理科学C11周知の通り、企業管理科学は新たな主題であるを含むと仮定する。ここで、C2管理企業管理および管理科学管理科学は、重複するテキスト管理管理を有する。2つの単語が重複する時、重複部分は、この例における管理管理のように、意味論的に意味を持つ粒度の細かい単語でありうる。一部の例では、重複は、単一の文字であってもよい。例えば、甲方乙方FirstPartySecondParty中国映画および方才たった今は、文脈を拡張された訓練テキスト甲方乙方才上映FirstPartySecondParty、たった今劇場公開内で重複する。甲方乙方FirstPartySecondPartyにおける細粒度の単語は、甲方/乙方FirstParty/SecondPartyであり、重複部分は、文字方当事者またはちょうど、文脈によるであり、甲方乙方FirstPartySecondPartyの意味論的に意味を持つ細粒度の単語ではない。したがって、訓練サンプルエントリが訓練テキストに出現した時にその訓練サンプルエントリが辞書内の別のエントリと重複する確率が計算される。重複部分が細粒度の単語である場合、対応するインジケータは1に設定されてよく、そうでない場合、インジケータは0に設定されてよい。この実施形態において、訓練サンプルエントリC2管理企業管理が他のエントリと重複する確率が2であり、単語管理管理と重複する部分が、粒度の細かい単語であると仮定する。この場合、訓練サンプルエントリC2管理企業管理の重複値は、2,1である。この例において、訓練サンプルエントリC2管理企業管理は、複合意味要素に分類される。ここで、訓練サンプルエントリC2管理企業管理、フフホトなどの値および分類結果を、表1に示す。表1に示された訓練セット内のすべての訓練サンプルエントリの属性値および格付け分類結果に基づいて、GBDT勾配ブースト決定木、最大エントロピ、サポートベクターマシンSVM、または、分類子を訓練するための任意のその他の最適な技術などの機械学習技術が用いられてよい。本実施形態における分類子は、訓練セット内のエントリの単語長属性値、句構造属性値、意味属性値、および、重複属性値に少なくとも部分的に基づいて確立される。分類子は、分類されるエントリが、複合意味単位であるか最小意味単位であるかを判定するために用いられる。一般に、より大きい単語長属性値と、第1の要素の値が比較的高く、従来の句構造規則に従うエントリに適合する句構造属性とを有するエントリは、分類子によって複合意味単位であると判定される可能性が高い。小さい単語長属性値と、第1の要素の値が比較的低く、従来の句構造規則に従うエントリに適合しない句構造属性とを有するエントリは、分類子によって最小意味単位であると判定される可能性が高い。分類子の訓練に用いられる機械学習技術は、当業者に周知である。例えば、決定木学習技術は、ソースセットを属性値テストに基づいてサブセットに分割し、再帰的に各派生サブセットに処理を繰り返すことによって、入力変数例えば、文字数、単独利用率、句構造規則値、意味属性値、および、重複属性値に基づいて目標変数例えば、分類結果の値を予測するためのモデルを構築する。サポートベクターマシン技術は、N個のクラスの1つに属するものとして訓練セットエントリをマークし、所与の各入力値について、その入力値を含む可能性のあるクラスを予測するモデルを構築する。工程202では、分類対象のエントリが受信される。エントリは、既存の単語分割辞書、データベース、インターネットなど、様々なソースから受信されうる。この例において、分類対象のエントリは、五大C12五大連池、中国の観光地、菊花茶菊花茶、および、C3管ステンレス鋼管である。工程203では、分類対象のエントリの単語長属性、句構造属性、意味属性、および、重複属性の属性値が取得される。分類対象のエントリの単語長属性、句構造属性、意味属性、および、重複属性の属性値を決定する処理は、訓練セット内の訓練サンプルエントリについて上述の4つの属性の属性値を決定するために工程201において用いられたアプローチと同様である。分類対象のエントリの例の属性値情報を表2に示す。工程204では、分類対象のエントリの単語長属性、句構造属性、意味属性、および、重複属性の属性値が、分類対象のエントリの分類結果を取得するために、分類子に入力される。この例における五大C12五大連池、菊花茶菊花茶、および、C3管ステンレス鋼管の分類結果は、最小意味単位に対応する。C13ノートブックコンピュータバッグおよびC14ミニセダンの分類結果は、複合意味単位に対応する。複合意味単位の粒度は、最小意味単位の粒度よりも大きい。工程205では、分類対象の各エントリの分類結果に基づいて、エントリが最小意味単位か否かが判定される。エントリが最小意味単位でない場合、処理は工程207に進み、ここで、分類対象のエントリは複合意味単位の辞書に追加される。しかしながら、エントリが最小意味単位である場合、処理は工程206に進み、ここで、分類対象のエントリは最小意味単位の辞書に追加される。この例では、五大C12五大連池、菊花茶菊花茶、および、C3管ステンレス鋼管が最小意味単位の辞書に追加される。C13ノートブックコンピュータバッグおよびC14ミニセダンは、複合意味単位の辞書に追加される。最小意味単位の辞書および複合意味単位の辞書は、いくつかの実施形態において、細粒度単語のセグメント列例えば、最小意味単位を含む列を、より粗粒度の単語のセグメント列に変換するために用いられる。例えば、テキストは、最初に、最小意味単位の辞書に従って、最小意味単位を含むセグメント列に分割される換言すると、列内のセグメントは、最小意味単位の辞書に見いだされる。複合意味単位の辞書に基づいて、この最初の列内のセグメントは、複合意味単位の辞書に見いだされる粗粒度のセグメントを形成するように結合される。工程208では、分類対象のエントリの分割モードと、エントリに対応する検索要素が、決定されて格納される。分割モードは2つのタイプを含む。分割可能および分割不可能である。エントリが分割可能であるか分割不可能であるかは、以下の2つの基準に基づいて判定される。1固有名詞であるかこれは、固有名詞データベースでエントリを検索することによって判定できる。固有名詞である場合、さらなる分割は不可能であり、分割不可能となる。五大C12五大連池が一例である。2意味論的にさらに分割できるか黄金周ゴールデンウィークまたは大哥大ダゲダ、携帯電話の中国語の俗語のように、エントリが定型表現例えば、全体として具体的な意味を持つ表現である場合、分割不可能である。エントリが分割可能であるか否かは、固有名詞および定型表現の所定のデータベース内でエントリを検索することによって判定できる。固有名詞でも定型表現でもないエントリは、分割可能である。例えば、C15保湿化粧水および菊花茶菊花茶は、固有名詞でも定型表現でもないので、分割可能である。分類対象のエントリの分割モードが分割可能である場合、分類対象のエントリに対応する検索要素は、分類対象のエントリ内に含まれる細粒度の単語である。分類対象のエントリの分割モードが分割不可能である場合、分類対象のエントリに対応する検索要素は、分類対象のエントリ自体である。最小意味単位の辞書内のエントリのデータ構造例を表3に示す。処理200は、既存の単語分割辞書内のエントリまたは、他の手段によって取得されたエントリを取得して、最小意味単位の辞書または複合意味単位の辞書のために分類するものとしても理解されうる。上述のスキームによって決定された最小意味単位の辞書が含むエントリは、一般に、既存の粗粒度の単語分割辞書よりも短くて数が少ないため、単語分割辞書に基づく分割に必要な時間と、単語分割の曖昧性の可能性が低減される。したがって、単語分割処理の精度が向上し、辞書の維持の困難さが減少する。図4は、最小意味単位の辞書および複合意味単位の辞書に基づいて、複数の粒度の分割結果を取得する処理の一実施形態を示すフローチャートである。工程301では、受信されたテキストに対して分割が実行される。分割は、所与のテキストについて最小意味単位の辞書に基づいて実行される。単語分割を通して取得されたセグメント列は、分割結果の中間セットと見なされる中間粒度の分割結果ともいう。分割された列の中のセグメントは、最小意味単位を含む。次いで、処理は、同時に工程302および工程303に進む。いくつかの実施形態において、所与のテキストは、最小意味単位の辞書内のエントリとマッチングされ、既存の曖昧性除去モデルを用いて、生じうる任意の分割の曖昧性問題が解決される。例えば、所与のテキストが本C3管用C5C6C7このステンレス鋼管は1級鋼を用いて鋳造されているであり、辞書クエリが、最小意味単位の辞書に基づいて左から右へと実行されるとする。セグメント内の文字の最大数が6であると仮定すると、所与のテキスト本C3管用このステンレス鋼管用いるの最も左にある文字から始まる最初の6文字が、最小意味単位の辞書に見いだされうるか否かを判定するために評価される。言い換えると、6文字の処理窓が、処理対象の文字列を抽出するために用いられる。それらの文字が最小意味単位の辞書に見いだされた場合、これらの6文字からなるセグメントは、第1の単語分割列に記録される。見いだされなかった場合、最も右側の文字が削除され、残りの5文字本C3管このステンレス鋼管を含むセグメントが再び比較される。この処理は、すべての文字が処理されるか、最小意味単位が見いだされるまで、残りの文字に対して繰り返される。この例では、文字列本C3管用このステンレス鋼管用いるについて、マッチする最小意味単位が見いだされない。すべての6文字が処理された後、窓は1文字分移動し、処理は次の6文字C3管用一ステンレス鋼管用いる1について繰り返される。それらの文字が最小意味単位の辞書に見いだされるか否かを判定するために、評価が行われる。見いだされた場合、これら6文字のセグメントは、第1の単語分割列に記録される。見いだされなかった場合、最も右側の文字が削除され、残りの5文字C3管用ステンレス鋼管用いるが再び比較され、この処理が残りの文字に対して繰り返される。この反復において、最小意味単位C3ステンレス鋼が特定される。窓の移動および処理の反復を繰り返すことによって、所与のテキストに含まれるすべての最小意味単位が取得される。特定された最小意味単位は、複数のセグメント列複数の単語分割経路を構成して、曖昧性を生じうる。いくつかの実施形態において、単語分割の曖昧性が生じた場合、複数の列から1つのセグメント列が、条件付き確率場CRFモデル、隠れマルコフモデルHMM、最大エントロピMEモデルなどの曖昧性除去モデルに基づいて選択される。当業者に周知のように、これらの曖昧性除去モデルは、統計的情報学習を用いたコーパス分析に基づいており、ここで、単語分割は様々な文脈素性に従って実行される。セグメント列本-C3管-用-C5-C6-C7この-ステンレス鋼管-用いる-1級-鋼-鋳造が得られるまで、このように処理が続けられる。最小粒度の単語分割から取得されたセグメント列は、本-C3-管-用-C5-C6-C7この-ステンレス鋼-管-用いる-1級-鋼-鋳造である。既存の下から上への動的結合スキームは、意味項目C6管鋼管を含まない本-C3-管用-C5-C6-C7この-ステンレス鋼-有用-1級-鋼-鋳造を生成しうる。したがって、分割の曖昧性があり、後の検索の際に精度が低くなる。さらに、失われた用語があるため、C6管鋼管に関連する文書が見つからず、検索の再現率も減少する。対照的に、本願は、最小の単語粒度ではなく最小意味単位に基づいて単語分割を実行することにより、分割の曖昧性の可能性を低減し、上述の問題をより効果的に解決する。別の例として、所与のテキストが、C2管理科学C8企業管理科学技術であるとする。最小意味単位の辞書に従って単語分割から取得されるセグメント列は、C2-管理-科学-C8企業-管理-科学-技術である。既存の下から上への動的結合スキーム例えば、既存の最大粒度単語分割スキームに従った場合、最大粒度単語分割を行った際に、C2管理企業管理および管理科学管理科学の間、管理科学管理科学および科学C8科学技術の間、ならびに、管理管理および理科科学の間に、分割の曖昧性の問題が生じる。最大粒度に基づいた単語分割は、大量のエントリを必要とし、その結果、大量の不必要な分割の曖昧性が生じ、分割の精度が下がる。最小意味単位の中のエントリの方が、連結修正語combinationmodifierを有する可能性が低い。したがって、最小意味単位に基づいた単語分割は、分割の精度を高めうる。工程302では、最小意味単位よりも大きい粒度を有する単語分割辞書例えば、処理200を用いて得られた複合意味単位の辞書に基づいて、曖昧性除去モデルを用いて、中間粒度の分割結果内のセグメントが結合され、第1の粒度の分割結果が取得される。第1の粒度の分割結果は、中間粒度の分割結果よりも粗い粒度すなわち、大きい粒度であることから、粗粒度の分割結果とも呼ばれる。C2-管理-科学-C8企業-管理-科学-技術という中間粒度の分割結果を例として、より大きい粒度を有する単語分割辞書がエントリC2管理管理科学および科学C8科学技術を含むと仮定する。したがって、列C2-管理-科学-C8企業-管理-科学-技術内のセグメントは、より粗粒度のセグメントに結合されて、C2管理-科学C8企業管理-科学技術という結合後のより粗粒度の分割結果を形成しうる。工程303では、単語分割ツリー構造が任意選択的に形成される。ここで、所与のテキストが、ルートノードを形成するために用いられ、工程301において取得された中間粒度の分割結果内の各セグメントが、ルートノードのサブノードを形成するために用いられる。左から右へ順番に、セグメントに対応する各ノードがルートノードに追加される。図5は、単語分割ツリー構造の一例を示す図である。この例では、ノード552がルートノード所与のテキストに対応し、ノード554がサブノード中間の粒度の分割結果に対応する。図4に戻ると、工程304では、中間粒度の分割結果内のセグメントに対応するそれぞれの検索要素が、最小意味単位の辞書内で検索される。処理200に関連して上述したように、セグメントおよびそれらに対応する検索要素は、最小意味単位の辞書に格納される。一例として表3を参照すると、所与のテキスト本C3管用C5C6C7このステンレス鋼管は1級鋼を用いて鋳造されているについて、中間粒度の分割結果は本-C3管-用-C5-C6-C7この-ステンレス鋼管-用いる-1級-鋼-鋳造である。例えば、セグメントC3管ステンレス鋼管に対応する検索要素は、C3ステンレス鋼およびC6管鋼管である。工程305では、エントリに対応する検索要素は、単語分割結果ツリー内のリーフノードを形成するために用いられる。図5のツリーの例に示すように、リーフノードはノード556である。工程306では、第2の粒度の分割結果が、検索要素に基づいて取得される。第2の粒度の分割結果は、中間粒度の分割結果よりも細かい粒度であることから、細粒度の分割結果とも呼ばれる。いくつかの実施形態において、単語分割結果ツリー内のリーフノードは、第2の粒度の分割結果と見なされる。図5のツリーの例を参照すると、所与のテキスト本C3C6管用C5C6C7このステンレス鋼管は1級鋼を用いて鋳造されているについて取得されるより細粒度の分割結果は、本-C3-C6管-用-C5-C6-C7この-ステンレス鋼-鋼管-用いる-1級-鋼-鋳造である。処理300は、処理200で構築された最小意味単位の辞書を用いて、所与のテキストに単語分割を実行し、中間粒度の分割結果を取得する。次いで、中間粒度の分割結果よりも大きい粒度を有する第1の粒度の分割結果を取得するために、最小意味単位の辞書よりも大きい粒度を有する辞書に従って、中間粒度の分割結果に対して結合が行われる。また、中間粒度の分割結果よりも粒度の細かい第2の粒度の分割結果は、最小意味単位に格納された各エントリに対応する検索要素と、中間粒度の分割結果とに基づいて取得される。このように、所与のテキストに対応する少なくとも3つの粒度の分割結果を提供することが可能であり、単語分割の粒度に関して様々なタイプのアプリケーションが要求する異なる要件を満たすことができる。したがって、従来技術の問題、すなわち、従来技術が複数の粒度の分割結果を提供した時に意味項目が失われた結果として再現率が低くなる問題および単語分割の精度が低くなる問題を回避することができる。図6は、単語分割辞書を構築するためのシステムの一実施形態を示すブロック図である。システムは、処理200を実行するよう構成される。この例において、システム500は、分類子取得モジュール501、インターフェースモジュール502、属性値決定モジュール503、分類結果決定モジュール504、および、第1のエントリ追加モジュール505を備える。分類子取得モジュール501は、訓練セットに基づいて分類子を訓練するよう構成されており、訓練セット内の各訓練サンプルエントリは、上述のように、単語長属性、句構造属性、意味属性、重複属性、および、分類結果を有する。インターフェースモジュール502は、分類対象のエントリを受信するよう構成されている。インターフェースモジュールの例としては、ポート、ケーブル、有線または無線ネットワークインターフェースカードなどの外部接続、および、通信バスなどの内部接続が挙げられるが、これらに限定されない。属性値決定モジュール503は、分類対象エントリ取得モジュール502によって取得された分類対象のエントリの単語長属性、句構造属性、意味属性、および、重複属性の属性値を決定するよう構成されている。分類結果決定モジュール504は、分類子取得モジュール501によって取得された分類子と、属性値決定モジュール503によって決定された分類対象のエントリの単語長属性、句構造属性、意味属性、および、重複属性の属性値とに基づいて、分類対象のエントリを決定し、分類対象のエントリが最小意味単位であるか否かを判定するよう構成されている。第1のエントリ追加モジュール505は、分類対象のエントリが分類結果決定モジュール504によって最小意味単位であると判定された場合に、最小意味単位の辞書に分類対象のエントリを追加するよう構成されている。図5のデバイスは、さらに、分類対象のエントリが最小意味単位でないと第2の決定モジュール504によって判定された場合に、複合意味単位の辞書に分類対象のエントリを追加するよう構成された第2のエントリ追加モジュール506を備えることが好ましい。デバイスは、さらに、第1のエントリ追加モジュール505が分類対象のエントリを最小意味単位の辞書に追加した後に、分類対象のエントリの分割モードと、分類対象のエントリに対応する検索要素とを、最小意味単位の辞書に格納するための検索要素格納モジュール507を備えることが好ましい。図7は、複数の粒度の分割結果を提供するよう構成されたシステムの一実施形態を示すブロック図である。システム600は、単語分割辞書構築モジュール601、単語分割処理モジュール602、結合モジュール603、検索モジュール604、および、決定モジュール605を備える。システムは、処理300を実行するよう構成されている。単語分割辞書構築モジュール601は、最小意味単位の辞書を構築するよう構成されている。単語分割処理モジュール602は、辞書構築モジュール601によって構築された最小意味単位の辞書に従って所与のテキストに単語分割を実行し、中間粒度の分割結果を取得するよう構成されている。結合モジュール603は、最小意味単位の辞書よりも大きい粒度の辞書と、曖昧性除去モデルとに基づいて、単語分割処理モジュール602によって取得された中間粒度の分割結果を結合し、より粗粒度の分割結果を取得するよう構成されている。検索モジュール604は、単語分割処理モジュール602によって取得された中間粒度の分割結果内の列に含まれる各セグメントに対応する検索要素を、単語分割辞書構築モジュール601によって構築された最小意味単位の辞書内で検索するよう構成されている。決定モジュール605は、より細粒度の分割結果を決定するよう構成されている。図8は、単語分割処理モジュールの一実施形態を示すブロック図である。この例において、単語分割処理モジュール700例えば、図7の602は、単語分割サブモジュール701、第1の決定サブモジュール702、および、第2の決定サブモジュール703を備える。単語分割サブモジュール701は、単語分割辞書構築モジュール601によって構築された最小意味単位の辞書に基づいて所与のテキストに単語分割を実行するよう構成されている。第1の決定サブモジュール702は、単語分割サブモジュール701による単語分割によって取得されたセグメント列が1つだけであった場合に、中間粒度の単語分割結果としてセグメント列を形成するよう構成されている。第2の決定サブモジュール703は、単語分割サブモジュール701が複数のセグメント列を生成した場合に、曖昧性除去モデルに基づいて、中間の粒度の単語分割結果として1つのセグメント列を選択するよう構成されている。図9は、決定モジュールの一実施形態を示すブロック図である。この例において、決定モジュール800例えば、図7の605は、分割結果ツリー構築サブモジュール801および決定サブモジュール802を備える。分割結果ツリー構築サブモジュール801は、分割結果のツリーを形成するよう構成されている。いくつかの実施形態において、このモジュールは、所与のテキストを用いてルートノードを形成し、中間粒度の分割結果内の各セグメントを用いてルートノードのサブノードを形成し、セグメントに対応するノードのリーフノードとしてセグメントに対応する検索要素を用いる。決定サブモジュール802は、分割結果ツリー構築サブモジュール801によって構築された分割結果ツリーにおける各リーフノードを順番に取得し、順番に取得されたリーフノードを、より細粒度の単語分割結果と見なすよう構成されている。上述のモジュールは、1または複数の汎用プロセッサ上で実行されるソフトウェアコンポーネントとして、特定の機能を実行するよう設計されたプログラム可能論理デバイスおよび/または特定用途向け集積回路などのハードウェアとして、もしくは、それらの組み合わせとして実装することができる。いくつかの実施形態において、モジュールは、コンピュータデバイスパーソナルコンピュータ、サーバ、ネットワーク装置などに本発明の実施形態に記載された方法を実行させるための複数の命令など、不揮発性記憶媒体光学ディスク、フラッシュ記憶装置、携帯用ハードディスクなどに格納することができるソフトウェア製品の形態で具現化されてよい。モジュールは、単一のデバイス上に実装されてもよいし、複数のデバイスにわたって分散されてもよい。モジュールの機能は、互いに統合されてもよいし、複数のサブモジュールにさらに分割されてもよい。当業者であれば、適切なハードウェアにプログラムから命令させることによって、上述の実施形態の実現に関与する工程の全部または一部を実現できることを理解できる。このプログラムは、ROM/RAM、磁気ディスク、光学ディスクなどの読み取り可能な記憶媒体に格納できる。明らかに、当業者は、本発明の精神および範囲から逸脱することなく、本願を変形および変更することができる。したがって、本願のこれらの変形例および変更例が、特許請求の範囲および等価の技術の範囲内にある場合、本願は、これらの変形例および変更例をも網羅するものである。上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。"