(57)【要約】【課題】  言語モデルの学習に使用するコーパスを提供すること。【解決手段】  コーパスは、複数の文字および複数の文字列に関連付けられた複数の形態タグを含む。これら複数の形態タグは、関連する文字列の形態主型および形態副型を形成する部分の組合せを示す。【選択図】  図３
2005092883.tif 000002
【特許請求の範囲】
【請求項１】
言語モデルの学習を行うためのコンピュータ読取り可能媒体に格納されるコーパスであって、
複数の文字と、
前記複数の文字の複数の文字列に関連付けられている複数の形態タグであって、関連付けられている文字列の形態主型と形態副型を形成する部分の組合せとを示す複数の形態タグと
を備えたことを特徴とするコーパス。
【請求項２】
前記形態主型は、接辞添加、反復、分割、マージ、および見出し不変化詞のうちの１つであることを特徴とする請求項１に記載のコーパス。
【請求項３】
前記形態主型は、接辞添加であり、前記部分の組合せは、単語および接頭辞と接尾辞のうちの少なくとも一方を含むことを特徴とする請求項１に記載のコーパス。
【請求項４】
前記部分の組合せは、単語の発語の一部を示すことを特徴とする請求項１、２または３に記載のコーパス。
【請求項５】
前記形態主型は、反復であり、前記部分の組合せは、文字パターンを含むことを特徴とする請求項１に記載のコーパス。
【請求項６】
前記形態主型は、マージであり、前記部分の組合せは、文字パターンを含むことを特徴とする請求項１に記載のコーパス。
【請求項７】
文字列がファクトイドか否かを示す複数のファクトイドタグをさらに備えたことを特徴とする請求項１ないし６のいずれかに記載のコーパス。
【請求項８】
文字列が名前付きエンティティか否かを示す複数の名前付きエンティティタグをさらに備えたことを特徴とする請求項１ないし７のいずれかに記載のコーパス。
【請求項９】
文字列が語彙に含まれているか否かを示す指示をさらに備えたことを特徴とする請求項１ないし８のいずれかに記載のコーパス。
【請求項１０】
単語分割を実行する命令を格納するコンピュータ読取り可能媒体であって、前記命令は、
分かち書きされていないテキストの入力を受け取ること、
言語モデルにアクセスし、テキストの分かち書きを判別すること、
前記テキスト内の形態的派生単語を検出すること、および、
分かち書きされたテキストの出力および形態的派生単語を形成する部分の組合せを示す指示を供給すること
を備えたことを特徴とするコンピュータ読取り可能媒体。
【請求項１１】
前記命令は、前記形態的派生単語が、接辞添加、反復、分割、マージ、および見出し不変化詞のうちの１つであることを示すことをさらに備えたことを特徴とする請求項１０に記載のコンピュータ読取り可能媒体。
【請求項１２】
前記命令は、前記テキスト内の語彙を検出することをさらに備えたことを特徴とする請求項１０または１１に記載のコンピュータ読取り可能媒体。
【請求項１３】
前記命令は、前記テキスト内のファクトイドを検出することをさらに備えたことを特徴とする請求項１０、１１または１２に記載のコンピュータ読取り可能媒体。
【請求項１４】
前記命令は、前記テキスト内の名前付きエンティティを検出することをさらに備えたことを特徴とする請求項１０ないし１３のいずれかに記載のコンピュータ読取り可能媒体。
【請求項１５】
出力を供給することは、前記部分の組合せに対する発語の一部を示すことをさらに備えたことを特徴とする請求項１０ないし１４のいずれかに記載のコンピュータ読取り可能媒体。
【請求項１６】
出力を供給することは、前記部分の組合せを形成する文字パターンを示すことをさらに備えたことを特徴とする請求項１０ないし１５のいずれかに記載のコンピュータ読取り可能媒体。
【請求項１７】
言語モデルの学習を行うためのコーパスを作成する方法であって、
定義済み単語および規則と一致するコーパスから単語候補のリストを抽出すること、
前記リストが十分な数の定義済み単語および規則を含むかどうかを判別すること、
前記コーパスに注釈を付けて、単語主型の指示を供給すること、および、
関連する文字列の形態主型および形態副型を形成する部分の組合せを示すコーパス内の形態タグを供給すること
を備えたことを特徴とする方法。
【請求項１８】
注釈を付けることは、前記単語が語彙であるか、形態的派生単語であるか、ファクトイドであるか、名前付きエンティティであるかを示す指示を供給することさらに備えたことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記形態主型は、接辞添加、反復、分割、マージ、および見出し不変化詞のうちの１つであることを特徴とする請求項１７または１８に記載の方法。
【請求項２０】
形態タグを供給することは、前記部分の組合せに対する発語の一部を示すことをさらに備えたことを特徴とする請求項１７、１８または１９に記載の方法。
【請求項２１】
形態タグを供給することは、前記部分の組合せに対する文字パターンを示すことをさらに備えたことを特徴とする請求項１７ないし２０のいずれかに記載の方法。
【請求項２２】
コーパス内の形態タグを供給した後に、前記コーパスを使用してさらに大量のテキストに注釈を付けることをさらに備えたことを特徴とする請求項１７ないし２１のいずれかに記載の方法。
【請求項２３】
請求項１７ないし２２のいずれかに記載の方法を実行するように適合されていることを特徴とするコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、自然言語処理の分野に関する。より具体的には、本発明は、単語分割に関する。
【背景技術】
【０００２】
単語分割とは、テキストなどの言語の表現を構成する個々の単語を識別するプロセスのことである。単語分割は、綴りおよび文法のチェック、テキストからの音声合成、自然言語解析および理解の実行に使用され、すべて個々の単語の識別の恩恵を受ける。
【０００３】
英語テキストの単語分割実行は、いくぶん簡単であるが、それは、一般に空白と句読点によりテキスト内の個々の単語が区切られるからである。以下の表１の英文を考察してみよう。
【０００４】
［表１］
The motion was then tabled--that is, removed 
indefinitely from consideration.
【０００５】
空白および／または句読点の連続する各列を、その列の前にある単語の終わりとして識別することにより、表１の英文を、以下の表２に示されているように、容易に分割することができる。
【０００６】
［表２］
The motion was then tabled -- that is, removed 
indefinitely from consideration.
【０００７】
中国語テキストでは、単語境界は、明示的ではなく暗示的ある。以下の表３の文を考えると、これは、「委員会は、この問題について、昨日午後ブエノスアイレスで討議した」という意味である。
【０００８】
【表１】
2005092883.tif 000003
【０００９】
文に句読点および空白がなくても、中国人読者であれば、表３の文を以下の表４で下線を引いて区切られている単語からなるものと認識するであろう。
【００１０】
【表２】
2005092883.tif 000004
【発明の開示】
【発明が解決しようとする課題】
【００１１】
中国語および日本語などの言語の単語分割を行うための多くの方法およびシステムが、これまでに考案されている。いくつかのシステムでは、文節化されたテキストのコーパスに基づいてモデルの学習が行われる。これらのモデルは、様々な文節がテキスト文字列内に出現する確率を記述し、それを示す出力を行う。モデルの学習のためコーパスを作成する作業は、時間も費用もかかる。多くの場合、関連する単語分割システムの出力の品質は、モデルの学習に使用されるコーパスの品質に大きく左右される。その結果、コーパスを評価しコーパスを作成する方法があれば良質の単語分割を行う助けとなる。
【課題を解決するための手段】
【００１２】
本発明は、言語モデルの学習に使用するコーパスに関する。コーパスは、複数の文字および複数の文字列に関連付けられた複数の形態タグ（morphological tags）を含む。これら複数の形態タグは、関連する文字列の形態主型（morphological type）および形態副型（morphological subtype）を形成する部分の組合せを示す。
【００１３】
他の態様では、単語分割を実行する命令を格納するコンピュータ読取り可能媒体が提示される。命令は、分かち書きされていない（unsegmented text）の入力を受け取ること、および言語モデルにアクセスしてテキストの分かち書き（segmentation of the text）を決定することを含む。テキスト内の形態的派生単語（morphologically derived word）が検出され、文節化テキストを示す出力および形態的派生単語を形成する部分の組合せが与えられる。
【発明を実施するための最良の形態】
【００１４】
本発明について詳細に説明する前に、本発明を使用することができる例示されている環境の実施形態について説明する。図１は、本発明を実装できる好適なコンピューティングシステム環境１００の一実施例の図である。コンピューティングシステム環境１００は、適当なコンピューティング環境の一例にすぎず、本発明の用途または機能性の範囲に関する制限を示唆する意図はない。コンピューティング環境１００は、オペレーティング環境例１００に示されている１つのコンポーネントまたはその組合せに関係する依存関係または要求条件があるものと解釈すべきでない。
【００１５】
本発明は、他の数多くの汎用または専用コンピューティングシステム環境または構成で動作する。本発明とともに使用するのに好適と思われるよく知られているコンピューティングシステム、環境、および／または構成の例として、パーソナルコンピュータ、サーバコンピュータ、携帯型またはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記システムまたはデバイスを含む分散コンピューティング環境などがある。
【００１６】
本発明は、コンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的文脈において説明することができる。一般的に、プログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。当業者であれば、本明細書の説明および／または図を、後述のコンピュータ読取り可能媒体の形で具現できるコンピュータ実行可能命令として実装することができる。
【００１７】
また、本発明は、通信ネットワークを通じてリンクされているリモート処理デバイスによりタスクが実行される分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、プログラムモジュールをメモリ記憶デバイスなどのローカルとリモートの両方のコンピュータ記憶媒体に配置できる。
【００１８】
図１を参照すると、本発明を実装するシステム例は、汎用コンピューティングデバイスをコンピュータ１１０の形で備えている。コンピュータ１１０が備えるコンポーネントとしては、処理ユニット１２０、システムメモリ１３０、およびシステムメモリを備える様々なシステムコンポーネントを処理ユニット１２０に結合するシステムバス１２１などがある。システムバス１２１には、メモリバスまたはメモリコントローラ、周辺機器バス、および様々なバスアーキテクチャを使用するローカルバスを含む数種類のバス構造がある。例えば、制限するものではないが、このようなアーキテクチャとしては、ＩＳＡ（Industry Standard Architecture）バス、ＭＣＡ（Micro Channel Architecture）バス、ＥＩＳＡ（Enhanced ISA）バス、ＶＥＳＡ（Video Electronics Standards Association）ローカルバス、およびメザニンバスとも呼ばれるＰＣＩ（Peripheral Component Interconnect）バスがある。
【００１９】
コンピュータ１１０は、典型的には、様々なコンピュータ読取り可能媒体を含む。コンピュータ読取り可能媒体は、コンピュータ１１０によってアクセスできる媒体であればどのような媒体でも使用でき、揮発性および不揮発性媒体、取り外し可能および取り外し不可能媒体を含む。例えば、制限するものではないが、コンピュータ読取り可能媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ読取り可能命令、データ構造体、プログラムモジュール、またはその他のデータなどの情報を格納する方法または技術で実装される揮発性および不揮発性、取り外し可能および取り外し不可能媒体を含む。コンピュータ記憶媒体としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多目的ディスク（ＤＶＤ）またはその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置またはその他の磁気記憶デバイス、または目的の情報を格納するために使用することができコンピュータ１１０によりアクセスできるその他の媒体があるが制限はされない。通信媒体は、通常、コンピュータ読取り可能命令、データ構造体、プログラムモジュール、または搬送波もしくはその他の転送機構などの変調データ信号によるその他のデータを具現するものであり、任意の情報配信媒体を含む。「変調データ信号」という用語は、信号内の情報を符号化する方法によりその特性のうち１または複数が設定または変更された信号を意味する。例えば、制限するものではないが、通信媒体としては、有線ネットワークまたは直接配線接続などの有線媒体、および、音、ＲＦ、赤外線、およびその他の無線媒体などの無線媒体がある。上記のいずれの組合せもコンピュータ読取り可能媒体の範囲に収まらなければならない。
【００２０】
システムメモリ１３０は、読み取り専用メモリ（ＲＯＭ）１３１およびランダムアクセスメモリ（ＲＡＭ）１３２などの揮発性および／または不揮発性メモリの形態のコンピュータ記憶媒体を備える。起動時などにコンピュータ１１０内の要素間の情報伝送を助ける基本ルーチンを含む基本入出力システム１３３（ＢＩＯＳ）は、典型的には、ＲＯＭ１３１に格納される。ＲＡＭ１３２は、典型的には、処理装置１２０に直接アクセス可能な、および／または処理装置１２０によって現在操作されているデータおよび／またはプログラムモジュールを格納する。例えば、制限するものではないが、図１は、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７を例示している。
【００２１】
コンピュータ１１０は、さらに、その他の取り外し可能／取り外し不可能な揮発性／不揮発性コンピュータ記憶媒体を備えることもできる。例えば、図１は、取り外し不可能な不揮発性磁気媒体の読み書きを行うハードディスクドライブ１４１、取り外し可能な不揮発性磁気ディスク１５２の読み書きを行う磁気ディスクドライブ１５１、およびＣＤ−ＲＯＭまたはその他の光媒体などの取り外し可能な不揮発性光ディスク１５６の読み書きを行う光ディスクドライブ１５５を示している。オペレーティング環境例で使用できる他の取り外し可能／取り外し不可能な揮発性／不揮発性コンピュータ記憶媒体としては、磁気テープカセット、フラッシュメモリカード、デジタル多目的ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどがあるが制限はされない。ハードディスクドライブ１４１は、通常、インタフェース１４０などの取り外し不可能なメモリインタフェースを介してシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は、通常、インタフェース１５０などの取り外し可能なメモリインタフェースによりシステムバス１２１に接続される。
【００２２】
図１に例示されている上記のドライブおよび関連するコンピュータ記憶媒体は、コンピュータ１１０用のコンピュータ読取り可能命令、データ構造体、プログラムモジュール、およびその他のデータを格納する機能を備える。例えば、図１では、ハードディスクドライブ１４１は、オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７を格納するものとして例示されている。これらのコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７と同じである場合もあれば異なる場合もあることに注意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７に対しては、ここで、異なる番号を割り当てて、最低でも、それが異なるコピーであることを示している。
【００２３】
ユーザは、キーボード１６２、マイク１６３、およびマウス、トラックボール、またはタッチパッドなどのポインティングデバイス１６１などの入力デバイスを介してコンピュータ１１０にコマンドおよび情報を入力することができる。他の入力デバイス（図に示されていない）としては、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナなどがある。これらの入力デバイスおよびその他の入力デバイスは、システムバスに結合されているユーザ入力インタフェース１６０を介して処理ユニット１２０に接続されることが多いが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）などの他のインタフェースおよびバス構造により接続することもできる。モニタ１９１またはその他の種類の表示デバイスも、ビデオインタフェース１９０などのインタフェースを介してシステムバス１２１に接続される。モニタのほかに、コンピュータはさらにスピーカ１９７およびプリンタ１９６などの他の周辺出力デバイスも備えることができ、これらは出力周辺インタフェース１９５を介して接続することができる。
【００２４】
コンピュータ１１０は、リモートコンピュータ１８０などの１または複数のリモートコンピュータへの論理接続を使用してネットワーク環境で動作することが可能である。リモートコンピュータ１８０は、パーソナルコンピュータ、携帯型デバイス、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、またはその他の共通ネットワークノードでもよく、典型的には、コンピュータ１１０に関係する上述の要素の多くまたはすべてを含む。図１に示されている論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７１とワイドエリアネットワーク（ＷＡＮ）１７３を含むが、他のネットワークを含むこともできる。このようなネットワーキング環境は、オフィス、企業全体にわたるコンピュータネットワーク、イントラネット、およびインターネットでは一般的なものである。
【００２５】
ＬＡＮネットワーキング環境で使用する場合、コンピュータ１１０はネットワークインタフェースまたはアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用する場合、コンピュータ１１０は、典型的には、モデム１７２またはインターネットなどのＷＡＮ１７３上で通信を確立するための他の手段を備える。モデム１７２は、内蔵でも外付けでもよいが、ユーザ入力インタフェース１６０またはその他の適切なメカニズムを介してシステムバス１２１に接続できる。ネットワーク環境では、コンピュータ１１０またはその一部に関して述べたプログラムモジュールを、リモートメモリ記憶デバイスに格納することができる。例えば、制限するものではないが、図１には、リモートアプリケーションプログラム１８５がリモートコンピュータ１８０に常駐しているように示されている。図に示されているネットワーク接続は一例であり、コンピュータ間に通信リンクを確立するための他の手段を使用できることは理解されるであろう。
【００２６】
図２は、言語出力２０４を行う言語入力２０２を受け取る言語処理システム２００を全体として例示している。例えば、言語処理システム２００は、言語入力２０２として分かち書きされていないテキストを受け取る単語分割システムまたはモジュールとして具現できる。言語処理システム２００は、分かち書きされていないテキストを処理し、文節化されたテキストを示し、文節化されたテキストに関係する情報を伴う出力２０４を供給する。
【００２７】
処理中、言語処理システム２００は、言語モデル２０６にアクセスして、入力テキスト２０２の文節を判別することができる。言語モデル２０６は、様々な種類の単語を定義する注釈付きコーパスだけでなく特定の種類の指示から構成することができる。当業者であれば理解するであろうが、言語処理システム２００は、例えば、綴りチェック、文法チェック、テキスト音声合成、音声認識、情報検索、および自然言語解析および理解の実行など様々な状況で使用することができる。さらに、言語モデル２０６は、言語処理システム２００が使用される特定のアプリケーションに基づいて作成することもできる。
【００２８】
システム２００は、さらに、分かち書きを行うほかに、分割された各単語のそれぞれの単語主型（word type）の指示を行う。一実施形態では、中国語の単語は、（１）所定の辞書内のエントリ（これ以降、辞書単語またはＬＷｓと呼ぶ）、（２）形態的派生単語（ＭＤＷｓ）、（３）日付、時刻、パーセンテージ、金額などのファクトイド（factoids）、および（４）人名（ＰＮｓ）、地名（ＬＮｓ）、および組織名（ＯＮｓ）などの名前付きエンティティ（ＮＥｓ）の４種類のうちの１つとして定義される。様々な副型も定義可能である。これらの種類の単語の定義が与えられると、システム２００は、分割および単語主型を示す出力を供給することができる。例えば、以下の表５の分かち書きされていない文を考察すると、これは、「友人は幸せなことにLi Junsheng教授の自宅に伺い１２時３０分に昼食をいただく」という意味である。
【００２９】
【表３】
2005092883.tif 000005
【００３０】
システム２００の出力例は、以下の表６に示されている。角括弧は、単語境界を示し、「＋」は形態素境界を示す。角括弧内に、文内の単語の様々な主型および副型を示すタグが入れられている。
【００３１】
【表４】
2005092883.tif 000006
【００３２】
分かち書きを行うために、言語モデル２０６は、入力テキスト２０２内の単語主型を検出する。辞書単語については、単語が辞書内にあれば単語境界が検出される。形態的派生単語では、形態的パターンが検出され、例えば、
【００３３】
【表５】
2005092883.tif 000007
【００３４】
接辞添加することにより派生され（ＭＡ＿Ｓは、接尾辞添加パターンを示すタグである）、
【００３５】
【表６】
2005092883.tif 000008
【００３６】
反復である（ＭＲ＿ＡＡＢＢは、ＡＡＢＢ反復パターンを示すタグである）。
【００３７】
ファクトイドの場合、その主型および正規化された形式が検出され、例えば、１２：３０は、
【００３８】
【表７】
2005092883.tif 000009
【００３９】
の正規化された形式である（ＴＩＭＥは、時刻表現を示すタグである）。名前付きエンティティについては、副型が検出され、例えば、
【００４０】
【表８】
2005092883.tif 000010
【００４１】
は、人名である（ＰＮは、人名を示すタグである）。
【００４２】
言語モデル２０６は、注釈付きコーパスから作成できる。図３は、システム２００の言語モデル２０６などの単語分割システムの言語モデルを作成するのに使用される注釈付きコーパスを作成する方法２５０を例示している。ステップ２５２において、単語と単語分割に関係する規則を定義する。例えば、注釈付きコーパスの作成のため、中国語の単語分割用の辞書、中国語形態的派生単語の規則集合、中国語ファクトイドおよび名前付きエンティティのガイドライン、および／またはそれらの組合せを定義できる。ステップ２５４において、大量のテキストだけでなく様々なテキストをも収める拡張コーパスを用意する。拡張コーパスは、新聞および雑誌など各種テキストソースから選ぶことができる。次に、ステップ２５６において、拡張コーパスからステップ２５２で定義されている単語および規則と一致するリストを抽出し、単語候補のリストを作成する。
【００４３】
ステップ２５８において、必要ならば抽出されたリストを手動でチェックし、リスト内のノイズまたはエラーを除去することができる。その後、ステップ２６０において、そのリストが定義されている単語および規則を十分に含んでいるか否かが判定される。一実施形態では、リストは、様々な分野およびスタイルを含むバランスのとれた独立のテストコーパスと比較することができる。例えば、分野およびスタイルには、文化、経済、文学、軍隊、政治、科学技術、社会、スポーツ、コンピュータ、および法律などを含めることができる。代替的に、特定のアプリケーションを広い範囲にわたって対象とするアプリケーション固有のコーパスを使用することもできる。そのリストの対象範囲が十分であると判定された場合、ステップ２６２において、コーパスにタグを付ける。コーパスのタグ付けは、後述のように実行できる。ステップ２６４において、タグ付きコーパスをチェックし、エラーを訂正することができる。ステップ２６６において、その結果得られるコーパスをシードコーパスとして使用し、さらに多くのテキストを学習またはテストコーパスとしてタグ付けする。その結果、図４の方法２８０を使用して評価することができる注釈付きコーパスが作成される。
【００４４】
図４は、単語分割を改善するため、言語モデル２０６を作成し評価するための方法２８０を例示している。ステップ２８２において、注釈付きコーパスが作成されるが、そのプロセスは図３に関して上述されている。注釈付きコーパスが与えられると、ステップ２８４において、注釈付きコーパスに基づき学習またはテストモデルが作成される。ステップ２８６において、モデルとあらかじめ定義されているテストコーパスまたは他のモデルとを比較することにより、作成されたモデルを評価する。ステップ２８６において評価が実行されると、言語モデル２０６の有効性を判定することができる。
【００４５】
言語モデルを評価するために、そのモデルを使用する単語分割システムの出力と、分割システムの標準出力として使用される標準注釈付きテストコーパスとを比較することができる。信頼できる評価を得るために、独立した、バランスのとれた、適切なサイズの生の（注釈なしの）テストコーパスを選択することができる。独立したテストコーパスは、言語モデルを学習するために使用される注釈付きコーパスとの重なりが比較的小さい。バランスのとれたコーパスは、様々な分野、スタイル、および時刻を有する文章を含む。十分に大きなものとするために、テストコーパスの一実施形態では、約１００万字の中国語文字を含む。テストコーパスを作成した後、そのコーパスに対し手動で注釈を付け、テストコーパスが与えられたときに、中国語単語分割システムの標準出力として使用されるようにする。テストコーパスに注釈を付けるには、後述のタグ付け指定または他のタグ付け指定を使用する。
【００４６】
注釈付きテストコーパスが与えられた場合、定量的評価を使用して、言語モデルのパフォーマンスを評価することができる。標準テストセット内の単語トークンの総数が「Ｓ」であれば、このテストセットに適用される評価すべき単語分割システムの出力の単語トークンの総数は「Ｅ」であり、標準テストセットの中の単語トークンと正確に一致した出力内の単語トークンの数は「Ｍ」であり、定量値を計算して、言語モデルのパフォーマンスを評価することができる。以下の式１〜３は、精度、リコール、およびＦスコアに対する値を示している。  
精度＝Ｍ／Ｅ                                    （１）  
リコール＝Ｍ／Ｓ                                （２）  
Ｆ＝２×精度×リコール／（精度＋リコール）      （３）  
【００４７】
さらに、上の式１〜３に従って様々な副型に対し評価を実行することができる。例えば、人名のパフォーマンス評価は、ＳＰＮが標準テストコーパス内の人名トークンの総数である場合に実施することができる。ＥＰＮは、評価すべき単語分割システムの出力内の人名トークンの総数であり、ＭＰＮは、標準テストセット内の人名と正確に一致した出力内の人名トークンの数である。その結果、パフォーマンスの式は、以下のようになる。  
PrecisionPN = MPN/EPN                                      （４）
RecallPN = MPN/SPN                                         （５）
FPN = 2×PrecisionPN×RecallPN/(PrecisionPN + RecallPN)      （６）
【００４８】
さらに、言語モデルのパフォーマンスを評価する際に他のシステム結果を比較するのも有効である。例えば、（１）人名、（２）地名、（３）組織名、（４）オーバーラップするあいまいな文字列、および（５）カバーするあいまいな文字列などの異なる単語分割システムの出力の様々な部分のみを比較するのも有益であろう。分割システムの出力の部分集合を評価することだけで、分割においてエラーがどこで発生したかをうまく突き止めることができる。
【００４９】
注釈付きコーパスを作成するために、タグ付け指定を使用し、上述の中国語単語主型の定義が与えられたコーパスに一貫性のあるタグ付けをする。辞書を持つ辞書単語は、追加タグ付けなしで角括弧により区切られる。他の主型も後述のようにタグ付けされる。
【００５０】
図５は、コーパスにタグ付けするための形態的分類の図を例示している。形態的分類は、接辞添加、反復、分割、マージ、および見出し不変化詞を含む。それぞれの形態的分類または主型は、タグ付けプロセスの際にタグ付けすることができる様々な副型を含む。図５の形式は、カテゴリ、単語を形成する部分、およびその単語の発話のその結果の一部を示している。図５において、「ＭＰ」は形態的接頭辞（morphological prefix）を表し、「ＭＳ」は形態的接尾辞（morphological suffix）を表す。「ＭＲ」は反復、「ＭＬ」は分割、「ＭＭ」はマージンを表し、「ＭＨＰ」は形態的見出し不変化詞（morphological head particle）である。下線（＿）と（−）との間の部分は、形態的派生単語を形成する部分の組合せである。反復およびマージについては、文字Ａ、Ｂ、およびＣは、中国語文字を表す。
【００５１】
図５の形式は、形態的変化を表しており、他のタグ付け形式を使用して変化を表すことができることは理解されるであろう。接辞添加は、他の文字の列に１文字追加して元の文字によって表されている単語を形態的に変化させる、部分カテゴリ接頭辞および接尾辞を含む。接頭辞は７個の副型を含み、接尾辞は１３個の副型を含む。反復は、文字のパターンからなる元の単語が文字の組合せからなる他の単語に変換される場合に出現し、１３種類の副型を含む。反復は、さらに、動詞を表す「Ｖ」を含み、「Ｏ」は目的語、「ｌ」、「ｌｅ」、および「ｌｉａｏｚｈｉ」は不変化詞である。
【００５２】
分割は、構文レベルで別々の単語であるが、意味レベルでは単一の単語である、表現の集まりを含む。例えば、文字列ＡＢＣは、句「already ate」を表すが、ただし２文字単語ＡＣは「ate」を表し、単語「already」を表す不変化詞文字Ｂによって分割される。分割は、２つの副型を含む。一方の副型は、動詞と目的語との間に１文字または複数の文字を挿入することを伴い、他方の副型では、句「qilai」の間に目的語を挿入する。２つの文字からなる一方の単語と２つの文字からなる他方の単語を組み合わせて単一の単語を組み合わせる場合にマージが行われ、これは、３つの副型を含む。見出し不変化詞は、動詞文字と他の文字とを組み合わせて１つの単語を形成する場合に出現し、これは、形容詞と方向および動詞と方向を組み合わせる２つの副型を含む。
【００５３】
名前付きエンティティおよびファクトイドのタグ付け形式を以下の表７にまとめた。形式−１は、人間が素早くおよび容易にタグ付けできるように様々な主型および副型の単純なタグを含む。例えば、人名、地名、組織の名前エンティティは、単に、それぞれＰ、Ｌ、およびＯとしてタグ付けされる。形式−２では、ＭＥＴ−２（Second Multilingual Entity Task Evaluation）に従って、ＳＧＭＬ（Standard General Mark-up Language）を使用するタグ付けを表している。必要ならば、適当な変換プログラムを使って形式−１と形式−２との間の変換を実現することができる。
【００５４】
【表９】
2005092883.tif 000011
【００５５】
表７のタグ付け形式が与えられた場合、コーパス内の名前付きエンティティおよびファクトイドに、タグを付けて注釈付きコーパスを得ることは容易である。形式−１および形式−２のタグ付けの例を以下に示す。  
形式−１のタグ：
例：on the morning of October 9th ---> on the [tim morning] of [dat October 9th]
形式−２のタグ付け形式：
例：on the morning of October 9th ---> on the <TIMEX TYPE=TIME>morning </TIMEX> of <TIMEX TYPE=DATE> October 9th </TIMEX>
【００５６】
一貫性と精度を保証するためコーパスのタグ付けをする際の一般ガイドラインを用意すると有益である。以下では、これらのガイドラインについて説明する。
【００５７】
（一般ガイドライン）
（１）改行を行うのにオリジナルの（生）テキストに「Enter」を置くのは避けるべきである。  
（２）「−ｍｓ」とマークされているタグ付けについて以下で説明する。例えば、
【００５８】
【表１０】
2005092883.tif 000012
である。  
【００５９】
（３）文字列は、多重タグ付けすることができる。注釈者に、そのような文字列に対する単一タグ付けを決定するだけの十分な情報がない場合、多重タグ付けに「／」を導入する。  
【００６０】
【表１１】
2005092883.tif 000013
【００６１】
（４）ＯＰＴ：ある文字列がタグ付けされるべきかどうか注釈者が確信を持てない場合、マークＯＰＴを導入して、このタグ付けには議論の余地のあることを示す。  
【００６２】
【表１２】
2005092883.tif 000014
【００６３】
（すべての名前付きエンティティ（人名、地名、組織）に関するガイドライン）
１．固有名詞は、目的語および特定の意味を持つＮＥｓであるが、抽象的で一般的な意味を持つＮＥｓは含まれない。
【００６４】
【表１３】
2005092883.tif 000015
【００６５】
は固有名詞ではない。  
２．複合固有名詞については、埋め込みタグ付けは許されない。つまり、文字数最大の分割された単語が使用される最大一致アプローチが使用される。  
３．人名、地名、および組織名に埋め込まれるＴＩＭＥＳ、ＮＵＭＥＸ、ＭＥＡＳＵＲＥＸ、およびＡＤＤＲＥＳＳは、タグ付けしない。  
【００６６】
【表１４】
2005092883.tif 000016
【００６７】
４．エンティティ表現に英語と中国語の両方のいくつかの文字列が含まれ、その一方で英語文字列は、エンティティに全体として関連付けられている場合、その表現全体がエンティティとしてタグ付けされる。
【００６８】
【表１５】
2005092883.tif 000017
【００６９】
５．所有構文では、所有者と被所有ＮＥ部分文字列は別々にタグ付けされなければならない。中国語の綴り字法では、指示詞
【００７０】
【表１６】
2005092883.tif 000018
【００７１】
【表１７】
2005092883.tif 000019
【００７２】
は、指示詞として機能しない場合には、エンティティの一部とみなさなければならないことに注意されたい。  
【００７３】
【表１８】
2005092883.tif 000020
【００７４】
６．引用符は、エンティティの名前の中に現れる場合にタグに入れるが、エンティティの名前を束縛していた場合にはタグに入れない。中国語のテキストでは、タイトルマークも同様に扱われる。  
【００７５】
【表１９】
2005092883.tif 000021
【００７６】
７．非分解可能複合句（Non-decomposable complex phrase）。複合表現は全体としてエンティティではないが、その表現の中にエンティティを含む場合、その表現の中のエンティティは「Ｐ−ｍｓ」、「Ｌ−ｍｓ」、または「Ｏ−ｍｓ」のタグが付けられる。
【００７７】
表現が分解可能であるか否か注釈者が確信を持てない場合、その表現は分解可能として取り扱われ、その中のエンティティはタグ付けされるべきである。例えば、
【００７８】
【表２０】
2005092883.tif 000022
【００７９】
は運動選手の足と同じ意味である。この表現全体は、非分解可能である。ガイドラインによれば、「ホンコン」という単語は、地名「Ｌ＿ｍｓ」としてタグ付けすることができる。例えば、
【００８０】
【表２１】
2005092883.tif 000023
【００８１】
という表現は、ガイドラインでは、分解可能として扱われる。  
【００８２】
【表２２】
2005092883.tif 000024
【００８３】
表現「人名＋思考（または：理論、法律、思想）」については、表現全体に「ｐ−ｍｓ」というタグが付けられる。
【００８４】
【表２３】
2005092883.tif 000025
【００８５】
【表２４】
2005092883.tif 000026
【００８６】
【表２５】
2005092883.tif 000027
【００８７】
【表２６】
2005092883.tif 000028
【００８８】
一般に、末尾に
【００８９】
【表２７】
2005092883.tif 000029
【００９０】
が付く用語は、組織を示すタグを付けない。
【００９１】
【表２８】
2005092883.tif 000030
【００９２】
は、組織ではなく、場所としてタグ付けする。
【００９３】
【表２９】
2005092883.tif 000031
【００９４】
９．名前エンティティ（人名、地名、組織名）については、ある種のマルチメディア（ＴＶ＆ラジオショー、映画、および本）、製品、または条約の場合、「−ｍｓ」タグでタグ付けする。
【００９５】
【表３０】
2005092883.tif 000032
【００９６】
「Deng Xiaoping(CL-for-film)の公開」、つまり、映画「Deng Xiaoping」の公開。
【００９７】
【表３１】
2005092883.tif 000033
【００９８】
は、テレビ番組のタイトルだからである。ガイドラインによれば、「Ding Xiao Ping」は、地名「Ｐ＿ｍｓ」としてタグ付けすべきである。
【００９９】
【表３２】
2005092883.tif 000034
【０１００】
１０．エンティティの別名、ニックネーム、頭字語にタグを付ける。
【０１０１】
【表３３】
2005092883.tif 000035
【０１０２】
名前エンティティがエンティティの頭字語に埋め込まれている場合は、タグ付けしない。
【０１０３】
【表３４】
2005092883.tif 000036
【０１０４】
を意味し、「中」に対するマークアップはない。
【０１０５】
（人にのみ関係するガイドライン）
１．人の称号
称号および役割名称は、人の名前の一部とみなさない。  
【０１０６】
【表３５】
2005092883.tif 000037
【０１０７】
ただし、世代指示詞（generational designators）
【０１０８】
【表３６】
2005092883.tif 000038
【０１０９】
人の称号が姓と名の間に入る場合には、称号を含める。  
【０１１０】
【表３７】
2005092883.tif 000039
【０１１１】
２．家名は、人としてタグ付けされる。
【０１１２】
【表３８】
2005092883.tif 000040
【０１１３】
３．動物の名前は、人としてタグ付けされる。
【０１１４】
４．聖人およびその他の宗教上の人物の名前、固有名詞は、人としてタグ付けされる。
【０１１５】
【表３９】
2005092883.tif 000041
【０１１６】
５．架空の人物は、人としてタグ付けされる。
【０１１７】
６．架空の動物および人間でない人物は、人としてタグ付けされる。
【０１１８】
７．人の称号または王朝称号が特定の人を指す場合は、人としてタグ付けされる。
【０１１９】
【表４０】
2005092883.tif 000042
【０１２０】
８．人に関する様々な、タグ付けできないもの
人の名がマルチメディア（ＴＶおよびラジオショー、映画、および本）、製品、および条約のタイトルとして現れた場合、それらの名前は、「ｐ＿ｍｓ」とタグ付けされる。
【０１２１】
【表４１】
2005092883.tif 000043
【０１２２】
は、絵画の題（または本の書名）として、「Ｐ＿ｍｓ」とタグ付けされる。
【０１２３】
人にちなんだ名称の法律、人にちなんだ名称の訴訟、名付けられた天気、人にちなんだ名称の疾病、人にちなんだ名称の賞の５つのケースでは、固有名詞は、人としてタグ付けされない。
【０１２４】
【表４２】
2005092883.tif 000044
【０１２５】
９．中国語名の通常のパターン
一般に、人名は、姓（ＦＮ）と名（ＧＮ）の２つの部分からなる。
【０１２６】
【表４３】
2005092883.tif 000045
【０１２７】
（ＬＯＣＡＴＩＯＮにのみ関係するガイドライン）
ＬＯＣＡＴＩＯＮとしてタグ付けされる文字列には、大洋、大陸、国、省または州、郡、市、区、通り、村、町、空港、軍用基地、道路、鉄道、橋、河川、海、海峡、入り江、港、小さな海峡、砂丘、湖、公園、山、平野、草地、鉱山、展覧会など、架空のまたは神話上の場所、およびエッフェル塔およびリンカーン記念塔などの特定の構造物がある。
【０１２８】
【表４４】
2005092883.tif 000046
【０１２９】
では、「朝鮮」にタグが付いているが、「南北」にはついていない。
【０１３０】
【表４５】
2005092883.tif 000047
【０１３１】
では、「イスラエル」にタグが付いているが、「アラブ」には付いておらず、これは特定の国を指していないからである。
【０１３２】
【表４６】
2005092883.tif 000048
【０１３３】
１．場所エンティティが他の場所エンティティに埋め込まれている場合は、エンティティ全体をタグ付けする。
【０１３４】
【表４７】
2005092883.tif 000049
【０１３５】
【表４８】
2005092883.tif 000050
【０１３６】
【表４９】
2005092883.tif 000051
【０１３７】
地名に埋め込まれた組織名では、組織名にタグを付けない。
【０１３８】
【表５０】
2005092883.tif 000052
【０１３９】
では、「ホワイトハウス」にタグは付かない。
【０１４０】
２．場所の指示詞は、場所の一部としてタグ付けされる。
【０１４１】
【表５１】
2005092883.tif 000053
【０１４２】
場所名が続けて列挙されている複合表現は、場所の別々のインスタンスとしてタグ付けされる。
【０１４３】
【表５２】
2005092883.tif 000054
【０１４４】
３．国境を越える場所エンティティ表現
【０１４５】
【表５３】
2005092883.tif 000055
【０１４６】
は、１つのエンティティとしてタグ付けされ、
【０１４７】
【表５４】
2005092883.tif 000056
【０１４８】
マークアップなし。
【０１４９】
地方の名前：
【０１５０】
【表５５】
2005092883.tif 000057
【０１５１】
は、固定された参照
【０１５２】
【表５６】
2005092883.tif 000058
【０１５３】
を持たないため「南西」にマークアップはなく、ここでは、南中国に固定参照がある。
【０１５４】
４．場所エンティティ表現の時間修飾詞
歴史的−時間修飾詞（「前」）はタグ付けされた表現の中に入れない。
【０１５５】
【表５７】
2005092883.tif 000059
【０１５６】
５．場所エンティティ表現の空間修飾詞
【０１５７】
【表５８】
2005092883.tif 000060
【０１５８】
この表現は２つの場所エンティティ「中米」と「南米」を含み、したがって、別々にタグ付けされる。
【０１５９】
６．場所に関する様々な、タグ付けできないもの：
ｘを場所とした場合に
【０１６０】
【表５９】
2005092883.tif 000061
【０１６１】
【表６０】
2005092883.tif 000062
【０１６２】
名称の一部である地名にはタグを付けない。
【０１６３】
【表６１】
2005092883.tif 000063
【０１６４】
「目的は、キプロスのギリシャ民族とトルコ民族との間の平和と理解を推進することであった」。
【０１６５】
【表６２】
2005092883.tif 000064
【０１６６】
では場所としてタグ付けされない。しかし表現
【０１６７】
【表６３】
2005092883.tif 000065
【０１６８】
では場所としてタグ付けされる。
【０１６９】
８．場所の通常のパターン
【０１７０】
【表６４】
2005092883.tif 000066
【０１７１】
（ＯＲＧＡＮＩＺＡＴＩＯＮにのみ関係するガイドライン）
組織としてタグ付けすべき固有名詞には、株式取引所、多国籍組織、企業、テレビまたはラジオ局、政党、宗教団体、オーケストラ、バンド、または音楽グループ、労働組合、「議会」、または「代理政府」などの非総称的政府関係組織名、スポーツチーム、および軍隊（場所としてタグ付けされる、国名によってのみ指定されていない限り）、さらに架空の組織がある。
【０１７２】
企業または組織指示詞は、組織名の一部として考えられる。場所タグ付けの基本原理として、最大一致アプローチを使用する。
【０１７３】
【表６５】
2005092883.tif 000067
【０１７４】
【表６６】
2005092883.tif 000068
【０１７５】
１．国内の（または国際的な）立法機関および省庁は組織としてタグ付けする。
【０１７６】
【表６７】
2005092883.tif 000069
【０１７７】
２．組織名の直前に付く地名の取扱い。一般に、場所と組織との間には２種類の関係がある。１つは、進行
【０１７８】
【表６８】
2005092883.tif 000070
【０１７９】
２．１．地名で始まる組織エンティティの場合、場所を取り除くことで特定の参照のない場所が得られる場合、地名を組織の一部としてタグ付けする。
【０１８０】
【表６９】
2005092883.tif 000071
【０１８１】
２．２．上述の組織表現では、その表現の前に地名が１つ（または複数の名前）が付いている場合、地名および組織表現は、別々にタグ付けする。
【０１８２】
【表７０】
2005092883.tif 000072
【０１８３】
２．３．場所でない文字列で始まる組織エンティティ
【０１８４】
【表７１】
2005092883.tif 000073
【０１８５】
では、前に１つの場所（または複数の場所）が付いている場合、その直前の場所のみが組織の一部としてタグ付けされる。
【０１８６】
【表７２】
2005092883.tif 000074
【０１８７】
２．４．２つまたはそれ以上の並列的な場所で始まる組織エンティティの場合、それらの場所はすべて、組織の一部としてタグ付けし、組織全体から離れて別に場所がある場合は、場所と組織が別々にタグ付けされる。
【０１８８】
【表７３】
2005092883.tif 000075
【０１８９】
２．５．ある程度複雑なケースについては、組織が１つまたは２つの場所から始まるのかどうか不明であり、タグ付けは規則２．１と２．２に従って行う必要がある。
【０１９０】
例：
【０１９１】
【表７４】
2005092883.tif 000076
【０１９２】
この場合、タグ付けＡがデフォルトで選択される。
【０１９３】
２．６．組織が場所で始まっているかどうか決定するだけの十分な知識が注釈者側にない場合。
【０１９４】
【表７５】
2005092883.tif 000077
【０１９５】
が地名であるかどうかはっきりしない。しかし、この文字列を取り除いた後、残っている文字列には特定の参照がないことは明確である。したがって、２．１により、この表現は、
【０１９６】
【表７６】
2005092883.tif 000078
【０１９７】
としてタグ付けられる。
【０１９８】
２．７．場所エンティティが組織の直後にあるが、それらの間に修飾関係が存在しない場合、別々にタグ付けする。
【０１９９】
【表７７】
2005092883.tif 000079
【０２００】
【表７８】
2005092883.tif 000080
【０２０１】
では、イベントを参照し、組織としてタグ付けられない。しかし、制度上の組織自体−−運営委員会など−−は、ＯＲＧＡＮＩＺＡＴＩＯＮとしてタグ付けしなければならない。
【０２０２】
【表７９】
2005092883.tif 000081
【０２０３】
が「議会」または「代理内閣」を指す場合、これらは組織としてタグ付けされる。議会の分科会（または代理内閣）は、イベントであるため、組織としてタグ付けされないことに注意されたい。
【０２０４】
【表８０】
2005092883.tif 000082
【０２０５】
４．一人称代名詞
【０２０６】
【表８１】
2005092883.tif 000083
【０２０７】
が組織エンティティの前に付く修飾詞として機能した場合、その代名詞は組織の一部としてタグ付けされない。
【０２０８】
【表８２】
2005092883.tif 000084
【０２０９】
５．大使館および領事館
大使館、領事館、およびその他の在外公館の名称は、それらが代表する国とその場所の両方をマークアップに含めることができる場合にのみ組織としてマークしなければならない。
【０２１０】
【表８３】
2005092883.tif 000085
【０２１１】
大使館記述子がそれが表す国／地区と隣接している場合、国／地区は、組織としてタグ付けされる。
【０２１２】
【表８４】
2005092883.tif 000086
【０２１３】
大使館記述子が地理的場所と隣接している場合、どの場所も場所として別々にマークし、大使館を組織としてタグ付けしない。
【０２１４】
【表８５】
2005092883.tif 000087
【０２１５】
６．製造および製品
製造および製品に名前を付ける場合、製造は、組織としてタグ付けし、製品はタグ付けしない。製品は、製造された製品（例えば、車両）だけでなく、計算製品（例えば、株価指数）およびメディア製品（例えば、テレビショー）をも含むように緩く定義されなければならない。
【０２１６】
【表８６】
2005092883.tif 000088
【０２１７】
７．ニュースソース（新聞、ラジオおよびテレビ局、およびニュースジャーナル）は組織としてタグを付ける。出版社と刊行物は両方とも、組織としてタグ付けする。テレビ局はテレビのショーと異なり、後者はタグ付け可能でないことに注意されたい。
【０２１８】
【表８７】
2005092883.tif 000089
【０２１９】
８．組織のようなタグ付けできないもの
「政府」などの総称的エンティティ名は、タグ付けしない。
【０２２０】
【表８８】
2005092883.tif 000090
【０２２１】
【表８９】
2005092883.tif 000091
【０２２２】
【表９０】
2005092883.tif 000092
【０２２３】
を組織としてタグ付けしない。
【０２２４】
【表９１】
2005092883.tif 000093
【０２２５】
９．複数の特別な名称のエンティティにタグ付けする。
【０２２６】
【表９２】
2005092883.tif 000094
【０２２７】
（ＴＩＭＥＸのタグ付け方法）
ＴＩＭＥ型は、「秒、分、または時」など、まる１日よりも短い時刻単位として定義される。ＤＡＴＥ副型は、「日、週、月、四半期、年、世紀」など、まる１日以上長い時間単位である。ＤＵＲＡＴＩＯＮ副型は、時間を捕捉する。
【０２２８】
１．ＤＡＴＥ
形式文字列
【０２２９】
【表９３】
2005092883.tif 000095
【０２３０】
持続時間については、持続時間はタグ付けされないようにＤＡＴ内に埋め込まれるため語句全体にｄａｔ＿ＭＥＴというタグを付ける。
【０２３１】
【表９４】
2005092883.tif 000096
【０２３２】
【表９５】
2005092883.tif 000097
【０２３３】
という単語または語句としてタグ付けられ、「約」または「頃」はタグ付けされない。
【０２３４】
【表９６】
2005092883.tif 000098
【０２３５】
２．時刻
【０２３６】
【表９７】
2005092883.tif 000099
【０２３７】
【表９８】
2005092883.tif 000100
【０２３８】
この語句では、文字列「頃」は２つの時間で束縛され、分解不可能であるため、タグ付けする。
【０２３９】
【表９９】
2005092883.tif 000101
【０２４０】
この語句では、文字列
【０２４１】
【表１００】
2005092883.tif 000102
【０２４２】
は、日付と時刻で束縛され、分解可能である。
【０２４３】
３．ＤＵＲＡＴＩＯＮ
【０２４４】
【表１０１】
2005092883.tif 000103
【０２４５】
【表１０２】
2005092883.tif 000104
【０２４６】
は、含めても含めなくても大差ないため持続時間タグに含めない。
【０２４７】
【表１０３】
2005092883.tif 000105
【０２４８】
では、「９」と「１０」は、場合によっては両方とも仮想的な数であるためマークアップしない。
【０２４９】
４．タグ付けできないもの：
「たった今、近ごろ、交渉以来、ちょっとの間」など、絶対的時間尺度を持たない時間表現は、タグ付けしない。
【０２５０】
祭り表現は、絶対的時間を含む場合には、タグ付けされない。
【０２５１】
【表１０４】
2005092883.tif 000106
【０２５２】
では、「独立記念日」はイベントと密接な関係があるため独立記念日をマークアップしない。
【０２５３】
【表１０５】
2005092883.tif 000107
【０２５４】
にはタグを付けない。
【０２５５】
５．特殊なケース：
２つの時間表現が異なる副型の場合、別々にタグ付けする。２つの表現が分解不可能な場合、いっしょにまとめてタグ付けする。
【０２５６】
【表１０６】
2005092883.tif 000108
【０２５７】
場所エンティティが時間表現の中に埋め込まれる場合、ＭＥＴ−２ガイドラインを参照するためマーク「＿ＭＥＴ」が導入される。「ＥＲ９９」を使用すると、他の指定に従ってタグ付けすることができる。
【０２５８】
【表１０７】
2005092883.tif 000109
【０２５９】
「去年」、「昨日」、「今朝」などの表現は、ＭＥＴ−２に従ってタグ付けされ、注釈者は違いに注目する必要があり、また付加的なマークを使用する。
【０２６０】
【表１０８】
2005092883.tif 000110
【０２６１】
【表１０９】
2005092883.tif 000111
【０２６２】
については、ＥＲ−９９では、それを相対的時間エンティティとして扱い、ＭＥＴ−２では、相対的時間にタグ付けする。
【０２６３】
【表１１０】
2005092883.tif 000112
【０２６４】
【表１１１】
2005092883.tif 000113
【０２６５】
【表１１２】
2005092883.tif 000114
【０２６６】
は、持続時間としてタグ付けする。
【０２６７】
【表１１３】
2005092883.tif 000115
【０２６８】
【表１１４】
2005092883.tif 000116
【０２６９】
（ＮＵＭＥＸのタグ付け方法）
１．パーセンテージ
【０２７０】
【表１１５】
2005092883.tif 000117
【０２７１】
２．金額
【０２７２】
【表１１６】
2005092883.tif 000118
【０２７３】
・同じ口座金額を異なる通貨を使って綴る場合は、別々にタグ付けする。金額に埋め込まれる場所名は、タグ付けしない。
【０２７４】
【表１１７】
2005092883.tif 000119
【０２７５】
【表１１８】
2005092883.tif 000120
【０２７６】
は、絶対的概念を持たず、したがってタグ付けされない。
【０２７７】
【表１１９】
2005092883.tif 000121
【０２７８】
・文字列「几複数」は、特定の数で置き換えることができ、絶対的勘定を表現するので、タグ付けする。
【０２７９】
【表１２０】
2005092883.tif 000122
【０２８０】
【表１２１】
2005092883.tif 000123
【０２８１】
は、一般にはタグ付けしないが、以下の場合、表現全体が分解不可能なので、タグ付けする。
【０２８２】
【表１２２】
2005092883.tif 000124
【０２８３】
・このガイドラインでは、通貨に埋め込まれた地名については、略号で綴られた場合は、タグ付けせず、そうでなければ、「−ｍｓ」をタグとして付ける。
【０２８４】
【表１２３】
2005092883.tif 000125
【０２８５】
３．頻度／整数／分数／小数／順序数
【０２８６】
【表１２４】
2005092883.tif 000126
【０２８７】
整数／分数／小数が修飾詞として数値単位を持つ場合、その数値単位は、タグ付けする。
【０２８８】
【表１２５】
2005092883.tif 000127
【０２８９】
４．特殊なケース
・タブ番号は、タグ付けしない。
【０２９０】
【表１２６】
2005092883.tif 000128
【０２９１】
【表１２７】
2005092883.tif 000129
【０２９２】
などいくつかのイディオムに含まれる数値は、タグ付けしない。
【０２９３】
・人名、地名、または組織名に埋め込まれている数は、タグ付けしない。
【０２９４】
【表１２８】
2005092883.tif 000130
【０２９５】
【表１２９】
2005092883.tif 000131
【０２９６】
【表１３０】
2005092883.tif 000132
【０２９７】
（ＭＥＡＳＵＲＥＸのタグ付け方法）
ＭＥＡＳＵＲＥＸには、年齢、重量、長さ、温度、角度、面積、容積、速度、および率がある。
【０２９８】
【表１３１】
2005092883.tif 000133
【０２９９】
物理学および化学における重量および尺度の他の単位については、「ｍｅａ」のタグを付ける。
【０３００】
【表１３２】
2005092883.tif 000134
【０３０１】
（ＡＤＤＲＥＳＳＸのタグ付け方法）
ＡＤＤＲＥＳＸには、電子メール、電話、ファクス、テレックス、ＷＷＷが含まれる。
【０３０２】
［ｅｍａ  ｅｘｐ＠ｅｍａｉｌ．ｃｏｍ．ｃｎ］
電話：［ｐｈｏ  ８６−１０−６６６６５５５５］
【０３０３】
【表１３３】
2005092883.tif 000135
【０３０４】
ＦＡＸ：［ｆａｘ  ８６−１０−６６６６５５５５］
テレックス：［ｔｅｌ  ８６−１０−６６６６５５５５］
［ｗｗｗ  ｈｔｔｐ：−−−−ｗｗｗ．ｈｏｔｍａｉｌ．ｃｏｍ］
電話またはファクスの番号については、
【０３０５】
【表１３４】
2005092883.tif 000136
【０３０６】
などの指示詞がある場合のみタグ付けする。
【０３０７】
本発明は、特定の実施形態を参照しながら説明したが、当業者は本発明の精神と範囲を逸脱することなく形式と詳細に変更を加えられることを理解するであろう。
【図面の簡単な説明】
【０３０８】
【図１】本発明を使用することができる一般的コンピューティング環境のブロック図である。
【図２】言語処理システムのブロック図である。
【図３】注釈付きコーパスを作成する方法の流れ図である。
【図４】言語モデルを作成し、言語モデルのパフォーマンスを評価する流れ図である。
【図５】形態的派生単語の主型および副型のブロック図である。
【符号の説明】
【０３０９】
２０２  入力
２００  言語処理システム
２０６  言語モデル
２０４  出力
【図１】
2005092883.tif 000137
【図２】
2005092883.tif 000138
【図３】
2005092883.tif 000139
【図４】
2005092883.tif 000140
【図５】
2005092883.tif 000141