(57)【特許請求の範囲】
【請求項１】
コンピュータによって実行されるターゲット単語認識方法であって、
候補単語集合および対応する特性計算データを取得し、前記候補単語集合はテキストデータを備え、前記特性計算データは前記候補単語集合に関連付けられており、
複数のテキストセグメントを生成するために前記特性計算データのセグメント化を実行し、
テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせ、
前記候補単語集合と前記テキストデータ組合せ集合との共通集合を決定し、前記共通集合は複数のテキストデータ組合せを含み、
前記複数のテキストデータ組合せに関して複数の指定特性値を決定し、
基準を決定し、前記基準の決定は、
訓練サンプル単語集合およびサンプル特性計算データを取得し、前記サンプル特性計算データは、前記複数のサンプル単語と、前記複数のサンプル単語の指定特性値とを含み、
前記複数のサンプル単語に基づいて、サンプルテキストデータ組合せ集合を取得し、
前記サンプルテキストデータ組合せ集合と前記訓練サンプル単語集合との共通集合内のサンプルテキストデータ組合せの複数の指定特性値を決定し、
前記基準の一部として、前記共通集合内のサンプルテキストデータ組合せの指定特性値のしきい値を設定すること、を含み、
少なくとも一部は前記複数の指定特性値に基づいて、かつ少なくとも１つの前記基準に従って、前記複数のテキストデータ組合せの中から、特性値が前記基準を満たすターゲット単語を認識すること、
を備えるターゲット単語認識方法。
【請求項２】
前記候補単語集合は、ウェブサイトへのユーザ入力クエリキーワードに基づく請求項１に記載の方法。
【請求項３】
前記特性計算データは、ウェブサイトへのユーザ入力クエリキーワードに応答したサーチ結果の記述から取得される請求項１に記載の方法。
【請求項４】
前記ターゲット単語の少なくともいくつかは、辞書に登録されていない単語であり、前記方法は、さらに、前記登録されていない単語を前記辞書に追加することを備える請求項１に記載の方法。
【請求項５】
前記指定特性値は相互情報を含む請求項１に記載の方法。
【請求項６】
前記指定特性値は対数尤度を含む請求項１に記載の方法。
【請求項７】
前記指定特性値は文脈エントロピーを含む請求項１に記載の方法。
【請求項８】
前記指定特性値は位置ベースの単語内出現確率を含む請求項１に記載の方法。
【請求項９】
前記複数のサンプルセグメントを組み合わせは、前記複数のサンプルセグメントにｎ−ｇｒａｍ言語モデルを適用することを含む、請求項１に記載の方法。
【請求項１０】
前記しきい値を設定は、
前記共通集合内の前記訓練サンプル単語がターゲット単語であるか否かを判断するために、前記しきい値を使用して前記共通集合内の訓練サンプル単語をソートし、
前記判断を既知の結果と比較し、
前記判断が前記既知の結果と一致しない場合に、前記しきい値を調節することを含む、請求項１に記載の方法。
【請求項１１】
テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせることは、
ｎ−ｇｒａｍ窓に基づくｎ−ｇｒａｍモデルを採用し、所定の順序に従って前記ｎ−ｇｒａｍ窓をシフトさせ、組合せ後のテキストデータ組合せを得るために前記窓に含まれる前記単語セグメントの単語セグメント組合せを実行すること
を含む請求項１に記載の方法。
【請求項１２】
１つまたは複数のプロセッサを備えるターゲット単語認識システムであって、
候補単語集合および対応する特性計算データを取得し、前記候補単語集合はテキストデータを備え、前記特性計算データは前記候補単語集合に関連付けられており、
複数のテキストセグメントを生成するために前記特性計算データのセグメント化を実行し、
テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせ、
前記候補単語集合と前記テキストデータ組合せ集合との共通集合を決定し、前記共通集合は複数のテキストデータ組合せを含み、
前記複数のテキストデータ組合せに関して複数の指定特性値を決定し、
基準を決定し、前記基準の決定は、
訓練サンプル単語集合およびサンプル特性計算データを取得し、前記サンプル特性計算データは、前記複数のサンプル単語と、前記複数のサンプル単語の指定特性値とを含み、
前記複数のサンプル単語に基づいて、サンプルテキストデータ組合せ集合を取得し、
前記サンプルテキストデータ組合せ集合と前記訓練サンプル単語集合との共通集合内のサンプルテキストデータ組合せの複数の指定特性値を決定し、
前記基準の一部として、前記共通集合内のサンプルテキストデータ組合せの指定特性値のしきい値を設定すること、を含み、
少なくとも一部は前記複数の指定特性値に基づいて、かつ少なくとも１つの前記基準に従って、前記複数のテキストデータ組合せの中から、特性値が前記基準を満たすターゲット単語を認識するように構成されている１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに結合され、前記１つまたは複数のプロセッサに命令を提供するように構成されている１つまたは複数のメモリを備える
ターゲット単語認識システム。
【請求項１３】
前記候補単語集合は、ウェブサイトへのユーザ入力クエリキーワードに基づく請求項１２記載のシステム。
【請求項１４】
前記特性計算データは、ウェブサイトへのユーザ入力クエリキーワードに応答したサーチ結果の記述から取得される請求項１２に記載のシステム。
【請求項１５】
前記複数のサンプルセグメントを組み合わせは、前記複数のサンプルセグメントにｎ−ｇｒａｍ言語モデルを適用することを含む請求項１２に記載のシステム。
【請求項１６】
前記しきい値の設定は、
前記共通集合内の前記訓練サンプル単語がターゲット単語であるか否かを判断するために、前記しきい値を使用して前記共通集合内の訓練サンプル単語をソートし、
前記判断を既知の結果と比較し、
前記判断が前記既知の結果と一致しない場合に、前記しきい値を調節すること
を含む、請求項１２に記載のシステム。
【請求項１７】
テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせることは、
ｎ−ｇｒａｍ窓に基づくｎ−ｇｒａｍモデルを採用し、所定の順序に従って前記ｎ−ｇｒａｍ窓をシフトさせ、組合せ後のテキストデータ組合せを得るために前記窓に含まれる前記単語セグメントの単語セグメント組合せを実行すること
を含む、請求項１２に記載のシステム。
【請求項１８】
ターゲット単語認識用のコンピュータプログラムであって、
候補単語集合および対応する特性計算データを取得するための機能と、前記候補単語集合はテキストデータを備え、前記特性計算データは前記候補単語集合に関連付けられており、
複数のテキストセグメントを生成するために前記特性計算データのセグメント化を実行するための機能と、
テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせるための機能と、
前記候補単語集合と前記テキストデータ組合せ集合との共通集合を決定するための機能と、前記共通集合は複数のテキストデータ組合せを含み、
前記複数のテキストデータ組合せに関して複数の指定特性値を決定するための機能と、
基準を決定するための機能であって、
訓練サンプル単語集合およびサンプル特性計算データを取得し、前記サンプル特性計算データは、前記複数のサンプル単語と、前記複数のサンプル単語の指定特性値とを含み、
前記複数のサンプル単語に基づいて、サンプルテキストデータ組合せ集合を取得し、
前記サンプルテキストデータ組合せ集合と前記訓練サンプル単語集合との共通集合内のサンプルテキストデータ組合せの複数の指定特性値を決定し、
前記基準の一部として、前記共通集合内のサンプルテキストデータ組合せの指定特性値のしきい値を設定すること、を含む、基準を決定するための機能と、
少なくとも一部は前記複数の指定特性値に基づいて、かつ少なくとも１つの前記基準に従って、前記複数のテキストデータ組合せの中から、特性値が前記基準を満たすターゲット単語を認識するための機能とを含むコンピュータプログラム。
【請求項１９】
コンピュータによって実行されるターゲット単語認識方法であって、
候補単語集合および対応する特性計算データを取得し、前記候補単語集合はテキストデータを備え、特性計算データは前記候補単語集合に関連付けられており、
複数のテキストセグメントを生成するために前記特性計算データのセグメント化を実行し、
テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせ、
前記候補単語集合と前記テキストデータ組合せ集合との共通集合を決定し、前記共通集合は複数のテキストデータ組合せを含み、
前記複数のテキストデータ組合せに関して複数の指定特性値を決定し、
基準を決定し、前記基準の決定は、
訓練サンプル単語集合およびサンプル特性計算データを取得し、前記訓練サンプル単語集合は複数のサンプル単語を備え、ソートの結果は前記複数のサンプル単語がそれぞれターゲット単語であるか否かを示し、前記サンプル特性計算データは、前記複数のサンプル単語と、前記複数のサンプル単語の指定特性値とを含み、
最小粒度の複数のサンプルセグメントを得るために前記複数のサンプル単語のセグメント化を実行し、
サンプルテキストデータ組合せ集合を得るために前記複数のサンプルセグメントを組み合わせ、
前記サンプルテキストデータ組合せ集合と前記訓練サンプル単語集合との共通集合を決定し、
前記共通集合内のサンプルテキストデータ組合せの複数の指定特性値を決定し、
前記基準の一部として、前記共通集合内のサンプルテキストデータ組合せの指定特性値のしきい値を設定することを含み、
少なくとも一部は前記複数の指定特性値に基づいて、かつ少なくとも１つの前記基準に従って、前記複数のテキストデータ組合せの中から、特性値が前記基準を満たすターゲット単語を認識すること、
を備えるターゲット単語認識方法。
【請求項２０】
１つまたは複数のプロセッサを備えるターゲット単語認識システムであって、
候補単語集合および対応する特性計算データを取得し、前記候補単語集合はテキストデータを備え、特性計算データは前記候補単語集合に関連付けられており、
複数のテキストセグメントを生成するために前記特性計算データのセグメント化を実行し、
テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせ、
前記候補単語集合と前記テキストデータ組合せ集合との共通集合を決定し、前記共通集合は複数のテキストデータ組合せを含み、
前記複数のテキストデータ組合せに関して複数の指定特性値を決定し、
基準を決定し、前記基準の決定は、
訓練サンプル単語集合およびサンプル特性計算データを取得し、前記訓練サンプル単語集合は複数のサンプル単語を備え、ソートの結果は前記複数のサンプル単語がそれぞれターゲット単語であるか否かを示し、前記サンプル特性計算データは、前記複数のサンプル単語と、前記複数のサンプル単語の指定特性値とを含み、
最小粒度の複数のサンプルセグメントを得るために前記複数のサンプル単語のセグメント化を実行し、
サンプルテキストデータ組合せ集合を得るために前記複数のサンプルセグメントを組み合わせ、
前記サンプルテキストデータ組合せ集合と前記訓練サンプル単語集合との共通集合を決定し、
前記共通集合内のサンプルテキストデータ組合せの複数の指定特性値を決定し、
前記基準の一部として、前記共通集合内のサンプルテキストデータ組合せの指定特性値のしきい値を設定することを含み、
少なくとも一部は前記複数の指定特性値に基づいて、かつ少なくとも１つの前記基準に従って、前記複数のテキストデータ組合せの中から、特性値が前記基準を満たすターゲット単語を認識するように構成されている１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに結合され、前記１つまたは複数のプロセッサに命令を提供するように構成されている１つまたは複数のメモリを備える
ターゲット単語認識システム。
【請求項２１】
ターゲット単語認識用のコンピュータプログラムであって、
候補単語集合および対応する特性計算データを取得するための機能と、前記候補単語集合はテキストデータを備え、特性計算データは前記候補単語集合に関連付けられており、
複数のテキストセグメントを生成するために前記特性計算データのセグメント化を実行するための機能と、
テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせるための機能と、
前記候補単語集合と前記テキストデータ組合せ集合との共通集合を決定するための機能と、前記共通集合は複数のテキストデータ組合せを含み、
前記複数のテキストデータ組合せに関して複数の指定特性値を決定するための機能と、
基準を決定するための機能であって、
訓練サンプル単語集合およびサンプル特性計算データを取得し、前記訓練サンプル単語集合は複数のサンプル単語を備え、ソートの結果は前記複数のサンプル単語がそれぞれターゲット単語であるか否かを示し、前記サンプル特性計算データは、前記複数のサンプル単語と、前記複数のサンプル単語の指定特性値とを含み、
最小粒度の複数のサンプルセグメントを得るために前記複数のサンプル単語のセグメント化を実行し、
サンプルテキストデータ組合せ集合を得るために前記複数のサンプルセグメントを組み合わせ、
前記サンプルテキストデータ組合せ集合と前記訓練サンプル単語集合との共通集合を決定し、
前記共通集合内のサンプルテキストデータ組合せの複数の指定特性値を決定し、
前記基準の一部として、前記共通集合内のサンプルテキストデータ組合せの指定特性値のしきい値を設定することを含む、基準を決定するための機能と、
少なくとも一部は前記複数の指定特性値に基づいて、かつ少なくとも１つの前記基準に従って、前記複数のテキストデータ組合せの中から、特性値が前記基準を満たすターゲット単語を認識するための機能とを含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、参照により本明細書に組み込まれる、発明の名称を「Ａ  ＭＥＴＨＯＤ，  ＤＥＶＩＣＥ  ＡＮＤ  ＳＹＳＴＥＭ  ＦＯＲ  ＴＨＥ  ＲＥＣＯＧＮＩＴＩＯＮ  ＯＦ  ＴＡＲＧＥＴ  ＷＯＲＤＳ（ターゲット単語を認識するための方法、装置およびシステム）」とする２０１０年９月２６日出願の中華人民共和国特許出願第２０１０１０２９５０５４．７号に基づく優先権を主張する。
【０００２】
本開示は、コンピュータの分野に関する。特に、本開示は、ターゲット単語認識技術に関する。
【背景技術】
【０００３】
インターネット技術の出現以来、情報の増大は爆発的である。情報検索、情報分析、および機械翻訳は、情報を有効に利用するための重要な技術である。自動中国語単語セグメント化は、中国語情報の処理のための根本的な技法である。自動単語セグメント化の効果に影響を及ぼす１つの難点は、前もって登録されていない単語の認識である。登録されていない単語とは、単語セグメント化辞書にまだ記録されていない単語を示す。登録されていない単語は、２つのタイプに分けることができる。一方のタイプは、全体として辞書に登録することはできないが、パターンを集約することは可能な単語である（例えば、個人名や組織名など）。他方のタイプは、辞書に登録すべきであるが、まだ登録されていない新たな単語である。これらの新たな単語の中には、セグメント化辞書に登録すべきターゲット（対象）単語もあれば、単語でない、すなわち辞書に登録すべきでない非ターゲット単語もある。
【０００４】
新出の単語を認識するとき、まず、これらの新出の単語が単語であるか否か、特に、新出の単語がターゲット単語であるか否かに関して判断をしなければならない。現在、この判断を行うために３つの典型的な手法がある。すなわち、規則ベースの方法、統計ベースの方法、および規則と統計を組み合わせた方法である。最も一般的な統計ベースの方法は、一般に、大規模テキストデータに基づいて、かつ統計結果に基づいて、認識すべき単語の１つまたは複数の特性値に関して統計を収集し、しきい値を手動で設定することである。認識すべき単語が、設定されたしきい値を超えるとき、その単語はターゲット単語であると判断される。
【０００５】
しかし、インターネットの広範な普及によって、かつインターネット上に現れるテキストデータのボリュームが非常に大きい状況において、いくつかのキーワードの累積のためでさえも、完全な意味論的文型が欠けている。例えば、電子商取引ウェブサイト上、特に消費者対消費者または顧客対顧客（Ｃ２Ｃ）電子商取引ウェブサイト上には、大量の製品ヘッダが存在することがある。これらのキーワードのうちの多くは、新出の単語である。しかし、このとき、これらの新出の単語に関する統計分布は、非線形である傾向がある。認識が行われるとき、特性値に関して単一のしきい値を設定し、次いで、その単一のしきい値に従って新出の単語がターゲット単語であるか否かを判断することによって得られる結果は、不正確であることが多い。したがって、認識対象の単語がターゲット単語であるか否かを決定する従来の統計ベースの方法は、現在のネットワークアプリケーションにおけるターゲット単語認識にはよく適していないことが多い。
【０００６】
本発明の様々な実施形態を、以下の詳細な説明および添付図面に開示する。
【図面の簡単な説明】
【０００７】
【図１】いくつかの実施形態によるターゲット単語認識用のプログラムされたコンピュータシステムを例示する機能図である。
【０００８】
【図２Ａ】ターゲット単語認識システムの一実施形態を示すシステム図である。
【０００９】
【図２Ｂ】ターゲット単語認識モジュールの一実施形態を示すシステム図である。
【００１０】
【図３】スクリーニング基準を得るプロセスの一実施形態を示す流れ図である。
【００１１】
【図４】ターゲット単語認識のプロセスの別の実施形態を示す流れ図である。
【発明を実施するための形態】
【００１２】
本発明は、プロセス、装置、システム、物質の組成、コンピュータ可読記憶媒体上で具現化されるコンピュータプログラム製品、および／またはプロセッサ、例えば、そこに記憶されている命令および／またはプロセッサに結合されたメモリによって提供される命令を実行するように構成されたプロセッサを含めた多くの形で実装することができる。本明細書では、これらの実装形態、または本発明が取ることができる任意の他の形態を、技法と呼ぶことがある。一般に、開示するプロセスのステップの順序は、本発明の範囲内で変更することができる。特に指示のない限り、タスクを実施するように構成されているものとして述べるプロセッサまたはメモリなどの構成要素は、所与の時間にタスクを実施するように一時的に構成された汎用構成要素、またはタスクを実施するように製造された専用構成要素として実装することができる。本明細書で使用するとき、用語「プロセッサ」は、コンピュータプログラム命令などのデータを処理するように構成された１つまたは複数のデバイス、回路、および／または処理コアを表す。
【００１３】
以下、本発明の原理を例示する添付図面と共に、本発明の１つまたは複数の実施形態の詳細な説明を行う。そのような実施形態に関連付けて本発明を説明するが、本発明は、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲のみによって限定され、本発明は、多数の変形形態、修正形態、および均等形態を包含する。本発明を完全に理解できるように、以下の説明では多数の具体的な詳細を述べる。これらの詳細は例示の目的で提供するものであり、本発明は、これらの具体的な詳細のいくつかまたはすべてを含まずに、特許請求の範囲に従って実施することができる。分かりやすくするために、本発明を不要に曖昧にしないように、本発明に関係する技術分野において既知の技術要素は詳細には説明していない。
【００１４】
ターゲット単語認識技法を開示する。この技法は、既存の統計ベースのテキストデータ認識法の限界を克服する。すなわち、それらの既存の方法は、典型的には、比較的少数の特性値しか使用することができず、また、典型的には、線形分布を示すために統計的な結果を必要とし、さらに、手動で調節される特性値の重み付けおよび手動で設定されるしきい値に起因する誤差および不安定性が生じる。任意の次元の特性値を使用することができるターゲット単語認識技法であって、特性値分布傾向が非線形（例えば時間にわたって非線形の分布）であるときに、それでも人の介入を必要とせずにターゲット単語を正確に決定することができ、それによりターゲット単語認識の精度およびリコール率を高めるターゲット単語認識技法のいくつかの実施形態を開示する。
【００１５】
図１は、いくつかの実施形態によるターゲット単語認識用のプログラムされたコンピュータシステムを例示する機能図である。図示されているように、図１は、いくつかの実施形態に従ってターゲット単語認識を実施するようにプログラムされた汎用コンピュータシステムの機能図を示す。明らかになるように、フォームデザインのための文脈依存スクリプト編集を行うために、他のコンピュータシステムアーキテクチャおよび構成を使用することもできる。以下に述べるような様々なサブシステムを含むコンピュータシステム１００は、少なくとも１つのマイクロプロセッササブシステム（プロセッサまたは中央処理装置（ＣＰＵ）とも呼ぶ）１０２を含む。例えば、プロセッサ１０２は、ワンチップのプロセッサによって、または複数のプロセッサによって実装することができる。いくつかの実施形態では、プロセッサ１０２は、コンピュータシステム１００の動作を制御する汎用デジタルプロセッサである。プロセッサ１０２は、メモリ１１０から検索された命令を使用して、入力データの受信および操作、ならびに出力デバイス（例えば、ディスプレイ１１８）上へのデータの出力および表示を制御する。いくつかの実施形態では、プロセッサ１０２は、図２Ａに関して以下に述べるターゲットデータ提供モジュール、ターゲット単語認識モジュール、および／またはターゲット単語登録モジュールを含み、および／またはそれらのモジュールを提供するために使用され、および／または図３〜図４に関して以下に説明するプロセスを実行／実施する。
【００１６】
プロセッサ１０２は、メモリ１１０と双方向的に結合され、メモリ１１０は、第１の主記憶領域、典型的にはランダムアクセスメモリ（ＲＡＭ）と、第２の主記憶領域、典型的には読み出し専用メモリ（ＲＯＭ）とを含むことができる。当技術分野でよく知られているように、主記憶装置は、汎用記憶領域として、およびスクラッチパッドメモリとして使用することができ、また、入力データおよび処理済みのデータを記憶するために使用することもできる。また、主記憶装置は、データオブジェクトおよびテキストオブジェクトの形態でのプログラミング命令およびデータ、さらには、プロセッサ１０２上で動作するプロセスのための他のデータおよび命令を記憶することもできる。また、当技術分野でよく知られているように、主記憶装置は、典型的には、プロセッサ１０２がその機能（例えばプログラムされた命令）を実施するために使用する基本動作命令、プログラムコード、データ、およびオブジェクトを含む。例えば、主記憶デバイス１１０は、例えば、データアクセスを双方向にする必要があるか、それとも単方向にする必要があるかに応じて、以下に述べる任意の適切なコンピュータ可読記憶媒体を含むことができる。また、例えば、プロセッサ１０２は、キャッシュメモリ（図示せず）から、頻繁に必要とされるデータを直接かつ非常に高速で読み出し、または、格納することもできる。
【００１７】
リムーバブル大容量記憶デバイス１１２は、コンピュータシステム１００のための追加のデータ記憶容量を提供し、プロセッサ１０２に双方向的に（読み出し／書き込み）または単方向的に（読み出し専用）結合される。また、例えば、記憶装置１１２は、磁気テープ、フラッシュメモリ、ＰＣカード、ポータブル大容量記憶デバイス、ホログラフィ記憶デバイス、および他の記憶デバイスなど、コンピュータ可読媒体を含むこともできる。また、例えば、固定大容量記憶装置１２０も、追加のデータ記憶容量を提供することができる。大容量記憶装置１２０の最も一般的な例は、ハードディスクドライブである。大容量記憶装置１１２および１２０は、一般に、典型的にはプロセッサ１０２によって能動的に使用されない追加のプログラミング命令やデータなどを記憶する。情報を保持する大容量記憶装置１１２および１２０は、必要であれば、仮想メモリとして、主記憶装置１１０（例えば、ＲＡＭ）の一部として標準の様式で組み込むことができることを理解されよう。
【００１８】
プロセッサ１０２が記憶サブシステムにアクセスできるようにすることに加えて、バス１１４を使用して、他のサブシステムおよびデバイスへのアクセスも可能にすることができる。図示されるように、これらのサブシステムおよびデバイスは、ディスプレイモニタ１１８、ネットワークインターフェース１１６、キーボード１０４、およびポインティングデバイス１０６を含むことができ、さらに、必要に応じて、補助入出力デバイスインターフェース、サウンドカード、スピーカ、および他のサブシステムを含むことができる。例えば、ポインティングデバイス１０６は、マウス、スタイラス、トラックボール、またはタブレットでよく、グラフィカルユーザインターフェースと対話するために有用である。
【００１９】
図示されるように、ネットワークインターフェース１１６は、ネットワーク接続を使用して、プロセッサ１０２を別のコンピュータ、コンピュータネットワーク、または電気通信網に結合させることができるようにする。例えば、ネットワークインターフェース１１６を介して、プロセッサ１０２は、方法／プロセスステップを実施する過程で、別のネットワークから情報（例えば、データオブジェクトまたはプログラム命令）を検索することができ、または別のネットワークに情報を出力することができる。情報（しばしば、プロセッサ上で実行すべき命令のシーケンスとも表される）は、別のネットワークから検索することができ、また別のネットワークに出力することもできる。インターフェースカードまたは同様のデバイスと、プロセッサ１０２によって実装される（例えばプロセッサ１０２上で実行／実施される）適切なソフトウェアとを使用して、コンピュータシステム１００を外部ネットワークに接続して、標準プロトコルに従ってデータを転送することができる。例えば、本明細書で開示する様々なプロセス実施形態は、プロセッサ１０２上で実行することができ、または、インターネット、イントラネットネットワーク、またはローカルエリアネットワークなどのネットワークを介して、処理の一部を共有する遠隔処理装置と連動させて実施することができる。また、追加の大容量記憶デバイス（図示せず）を、ネットワークインターフェース１１６を介してプロセッサ１０２に接続することもできる。
【００２０】
補助入出力デバイスインターフェース（図示せず）を、コンピュータシステム１００に関連付けて使用することができる。補助入出力デバイスインターフェースは、汎用インターフェースおよびカスタマイズされたインターフェースを含むことができ、そのようなインターフェースにより、プロセッサ１０２が、マイクロホン、タッチセンサ式ディスプレイ、トランスデューサカードリーダ、テープリーダ、音声または手書き認識装置、バイオメトリクスリーダ、カメラ、ポータブル大容量記憶デバイス、および他のコンピュータなど他のデバイスにデータを送信できるようになり、また、より典型的には、それらのデバイスからデータを受信できるようになる。
【００２１】
さらにまた、本明細書で開示する様々な実施形態は、様々なコンピュータ実装操作を行うためのプログラムコードを含むコンピュータ可読媒体を備えるコンピュータ記憶製品に関する。コンピュータ可読媒体は、データを記憶することができる任意のデータ記憶デバイスであり、それらのデータは、コンピュータシステムが後で読み出すことができる。コンピュータ可読媒体の例としては、限定はしないが、上述したすべての媒体が挙げられる。すなわち、例えば、ハードディスク、フロッピーディスク、および磁気テープなどの磁気媒体、ＣＤ−ＲＯＭディスクなどの光学媒体、光ディスクなどの磁気媒体、および専用に構成されたハードウェアデバイス、例えば特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、ならびにＲＯＭおよびＲＡＭデバイスである。プログラムコードの例には、例えばコンパイラによって生成されるような機械コードと、インタープリタを使用して実行することができるより高レベルのコード（例えばスクリプト）を含むファイルとのどちらも含まれる。
【００２２】
図１に示されるコンピュータシステムは、本明細書で開示する様々な実施形態と共に使用するのに適しているコンピュータシステムの一例にすぎない。そのような使用に適した他のコンピュータシステムは、さらなるサブシステムを含むことも、より少数のサブシステムを含むこともある。さらに、バス１１４は、サブシステムをリンクする働きをする任意の相互接続方式の例示である。サブシステムの様々な構成を有する他のコンピュータアーキテクチャを利用することもできる。
【００２３】
本明細書で使用するとき、単語とは、単語および句（語句）を表す。いくつかの実施形態では、ターゲット単語認識は、テキストデータを備える候補単語集合と、候補単語集合に関連付けられる対応する特性計算データとを取得するステップを含む。さらに、ターゲット単語認識は、複数のテキストセグメントを生成するために特性計算データをセグメント化するステップと、テキストデータ組合せ集合を生成するために複数のテキストセグメントを組み合わせるステップと、候補単語集合とテキストデータ組合せ集合との共通集合を求めるステップとを含む。複数のテキストデータ組合せに関する複数の指定特性値が決定される。少なくとも一部は複数の指定特性値に基づいて、かつ少なくとも１つの基準に従って、複数のテキストデータ組合せの中から、特性値が基準を満たすターゲット単語が認識される。
【００２４】
本明細書で使用するとき、候補単語が、辞書に収集されるという要件を満たす一般的な用語（通常の意味での用語とも呼ぶ）であるとき、候補単語はターゲット単語である。そうでなく、候補単語が通常の意味での用語ではないとき、候補単語はターゲット単語でない。候補単語がターゲット単語であるかどうか判断する方法の詳細を、以下により詳しく説明する。
【００２５】
例えば、候補単語集合が、「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅｓ」（バットウィングスリーブ；女性用衣服でしばしば見られる大きな袖ぐりの一種）と「ｓｌｅｅｖｅｓ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」を含むと仮定する。これらの用語のうち、「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅｓ」は、一般的に受け入れられる特定の意味を有するので、辞書に収集されるという要件を満たす通常の意味での用語であり、一方、「ｓｌｅｅｖｅｓ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」は、一般に受け入れられる意味を有さず、したがって、通常の意味での用語ではなく、辞書に含まれない。
【００２６】
候補単語集合は任意のテキストデータで良く、その対応する特性計算データも任意のテキストデータで良い。本開示のいくつかの実施形態では、ユーザ入力クエリキーワードが使用され、候補単語集合はユーザ入力クエリキーワードに基づき、特性計算データは、ユーザ入力クエリキーワードに応答したサーチ結果の記述から抽出される。例えば、電子商取引ウェブサイト上で、製品に関するクエリの際に、ユーザ入力キーワードが使用される。候補単語集合は、クエリキーワードから抽出され、特性計算データは、電子商取引ウェブサイト上の製品ヘッダおよび製品情報などの記述情報から抽出される。別の例として、ニュースウェブサイト上で、ニュースに関するクエリの際にユーザが入力したクエリキーワードが収集されて記憶され、候補単語集合は、クエリキーワードから抽出され、特性計算データは、ニュースウェブサイト上のニュースヘッドラインやニュースコンテンツなどの記述情報から抽出される。
【００２７】
上記の候補単語集合および特性計算情報の抽出は、定期的または定量的方法を使用して行うことができる。例えば、候補単語集合は、ユーザ入力キーワードから定期的に抽出される。それに従って、特性計算データが定期的に抽出される。別の方法は、候補集合抽出のために使用されるユーザ入力クエリキーワードが特定数に達すると、対応する特性計算情報が抽出され、本開示の実施形態によるターゲット単語認識が実行されるというものである。
【００２８】
本明細書で使用するとき、精度は、ターゲット単語として識別された単語の数に対する、ターゲット単語として識別された単語セグメントのうち正しく認識された単語セグメントの数の比率を表す。本明細書で使用するとき、リコール率は、候補単語のうち実際にターゲット単語である単語セグメントの数に対する、候補単語のうち正しく認識されたターゲット単語の数の比率を表す。
【００２９】
図２Ａは、ターゲット単語認識システムの一実施形態を示すシステム図である。この例では、システム２００は、ターゲット単語認識モジュール２１０と、訓練データ提供モジュール２１１と、ターゲット単語登録モジュール２１２とを含む。各モジュールまたはすべてのモジュールを、コンピュータシステム１００など１つまたは複数のコンピュータシステムを使用して実装することができる。
【００３０】
ターゲット単語認識モジュール２１０を使用して、候補単語集合および特性計算データを取得し、最小粒度（最小細度）のテキストデータに基づいて、特性計算データの単語セグメント化を行い、単語セグメント化によって得られた単語セグメントに対して単語セグメント組合せ処理を行い、処理の対象となるテキストデータ組合せ集合を得て、候補単語集合とテキストデータ組合せ集合との共通集合を求め、共通集合に含まれる各テキストデータ組合せの指定特性値を計算し、上記の共通集合に含まれる各テキストデータ組合せの複数の指定特性値に基づいて、上記の共通集合に含まれるテキストデータ組合せのスクリーニングを、複数の指定特性値に基づいて予め決定されたスクリーニング基準に従って行い、ターゲット単語であるというスクリーニング基準を特性値が満たすテキストデータ組合せに対応する候補単語を決定する。
【００３１】
訓練データ提供モジュール２１１を使用して、訓練サンプル単語集合と、それに対応するサンプル特性計算データとを、ターゲット単語認識モジュールに提供する。サンプル特性計算データは、スクリーニング基準を得るのに必要とされる。
【００３２】
ターゲット単語登録モジュール２１２を使用して、ターゲット単語認識モジュール２１０によって認識されたターゲット単語を受信し、以前に登録されていないターゲット単語を単語セグメント辞書に入力する。
【００３３】
図２Ｂは、ターゲット単語認識モジュールの一実施形態を示すシステム図である。図示される実施形態では、ターゲット単語認識モジュールは、候補単語集合および特性計算データを受信するために使用される受信モジュール２１０１と、最小粒度のテキストデータに基づいて計算データの単語セグメント分離を行うために使用されるセグメント化モジュール２１０２と、セグメント化によって得られた単語セグメントに関して単語セグメント組合せ処理を行い、処理の対象となるテキストデータ組合せ集合を得るために使用される単語セグメント組合せモジュール２０１３と、上記の候補単語集合と上記のテキストデータ組合せ集合との共通集合を求めるために使用される共通集合決定モジュール２１０４と、共通集合に含まれる各テキストデータ組合せの複数の指定特性値を計算するために使用される割当て特性値計算モジュール２１０５と、上記の共通集合に含まれる各テキストデータ組合せの複数の指定特性値に基づいて、上記の共通集合に含まれるテキストデータ組合せのスクリーニングを、複数の指定特性値に基づいて予め設定されたスクリーニング基準に従って行い、ターゲット単語であるというスクリーニング基準を特性値が満たすテキストデータ組合せに対応する候補単語を決定するために使用されるスクリーニングモジュール２１０６とを含む。
【００３４】
いくつかの実施形態では、複数の指定特性値に基づくスクリーニング基準は、訓練サンプル単語集合に関してソート技法を訓練することによって得られる。複数の指定特性値に基づいてスクリーニング基準を得るために勾配ブースティングおよび決定木（ＧＢＤＴ）ソート技法などのソート技法を使用する一例を、以下により詳しく説明する。スクリーニング基準が得られると、ターゲット単語認識モジュール２１０の受信モジュール２１０１を使用して、訓練サンプル単語集合およびサンプル特性計算データを受信する。セグメント化モジュール２１０２を使用して、最小粒度のテキストデータに基づいて上記のサンプル特性計算データに関して単語セグメント化を行う。単語セグメント組合せモジュール２１０３を使用して、特性計算データに対して単語セグメント組合せ処理を行い、処理の対象となるサンプルテキストデータ組合せ集合を得る。共通集合決定モジュール２１０４を使用して、上記のサンプルテキストデータ組合せ集合と上記の訓練サンプル単語集合との共通集合を求める。割当て特性値計算モジュール２１０５を使用して、上記の共通集合に含まれる各サンプルテキストデータ組合せの複数の指定特性値を計算する。スクリーニングモジュール２１０６を使用して、上記の共通集合に含まれる各サンプルテキストデータ組合せの複数の指定特性値に基づいて、かつ既知のソート結果に基づいて、上記の複数の指定特性値のしきい値を設定し、それらのしきい値に基づいて、対応するスクリーニング基準を得る。
【００３５】
上述したモジュールは、特定の関数またはそれらの組合せを実施するように設計されたプログラマブル論理デバイスおよび／または特定用途向け集積回路などのハードウェアとしての１つまたは複数の汎用プロセッサ上で実行されるソフトウェアコンポーネントとして実装することができる。いくつかの実施形態では、モジュールは、本発明の実施形態で述べる方法をコンピュータデバイス（例えば、パーソナルコンピュータ、サーバ、ネットワーク機器など）に実施させるためのいくつかの命令を含む、不揮発性記憶媒体（例えば、光ディスク、フラッシュ記憶デバイス、モバイルハードディスクなど）に記憶することができるソフトウェア製品の形態で具現化することができる。モジュールは、単一のデバイス上に実装することができ、または複数のデバイスにわたって分散させることができる。モジュールの機能は、互いに併合されることも、あるいは複数のサブモジュールにさらに分割されることもある。
【００３６】
本開示の実施形態では、指定特性値は、相互情報、対数尤度比、文脈エントロピー（左エントロピー、右エントロピー）、文字の位置ベースの単語内出現確率を含むことができ、さらに、ダイスマトリックスやχなどを含むこともある。スクリーニング基準を得て、ターゲット単語を認識するために、必要な指定特性値は、上述した指定特性値のうちの任意の２つ以上のタイプの組合せであることがある。
【００３７】
いくつかの実施形態では、相互情報（ＭＩ）を計算するための式は、以下のようなものである。
【数１】
0005608817.tif 000002
【００３８】
式［１］において、「ａ」と「ｂ」は、それぞれ、最小粒度の単一の単語セグメントを表し、「ａｂ」は、２つの単語セグメントの組合せから得られるテキストデータ組合せを表す。ｐaとｐbは、それぞれ、単語セグメント「ａ」と単語セグメント「ｂ」が特性計算データ内に出現する確率を表し、ｐabは、「ａｂ」が特性計算データ内に出現する確率を表す。ｃabは、特性計算データ内に「ａｂ」が出現する回数を表し、ｃaは、「ａ」が特性計算データ内に出現する回数を表し、ｃbは、「ｂ」が特性計算データ内に出現する回数を表す。ｎは、最小粒度のテキストデータに基づいて、特性計算データの単語セグメント化を行うことにより得られる単語セグメントの数を表す。単語セグメント「ａ」と単語セグメント「ｂ」の相互情報の計算において、ｐabは、ｐaおよびｐbに逆相関する。
【００３９】
例えば、特性計算データが、「ｒｏｕｎｄ  ｃｏｌｌａｒ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ，  ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」であると仮定すると、単語セグメント「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」の相互情報を計算するとき、単語セグメント「ａ」は「ｂａｔｗｉｎｇ」であり、単語セグメント「ｂ」は「ｓｌｅｅｖｅ」であり、単語セグメント「ａｂ」は「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」である。ｐaは、単語セグメント「ｂａｔｗｉｎｇ」が特性計算データ内に出現する確率を表し、ｐbは、単語セグメント「ｓｌｅｅｖｅ」が特性計算データ内に出現する確率を表す。ｐabは、「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」が特性計算データ内に出現する確率を表す。ｃaは、「ｂａｔｗｉｎｇ」が特性計算データ内に出現する回数を表し、ｃbは、「ｓｌｅｅｖｅ」が特性計算データ内に出現する回数を表す。ｎは、最小粒度のテキストデータに基づいて、特性計算データを単語セグメントに分離することにより得られる単語セグメントの数を表す。ここでは、特性計算データは、５つの単語セグメント「ｒｏｕｎｄ  ｃｏｌｌａｒ」、「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」、「ｂａｔｗｉｎｇ」、「ｓｌｅｅｖｅ」、および「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」に分離することができる。したがって、「ｂａｔｗｉｎｇ」をａとし、「ｓｌｅｅｖｅ」をｂとすると、ｃabは１、ｃaは１、ｃbは１、ｎは５である。
【００４０】
いくつかの実施形態では、対数尤度を使用して、個々の単語セグメント間のつながりの密接性を求める。対数尤度を計算するための式は、以下のようなものである。
【数２】
0005608817.tif 000003
【００４１】
式［２］において、「ａ」と「ｂ」は、それぞれ、最小粒度の単一の単語セグメントを表す。ｋ1は、「ａｂ」が特性計算データ内に出現する回数を表す。ｎ1は、最小粒度のテキストデータを使用した特性計算データの単語セグメント化により得られる複数のテキストデータ組合せにおいて、テキストデータ組合せ中で「ａ」が左側に出現する回数を表す。ｋ2は、上述した言語モデルを使用した逐次組合せにより得られる複数のテキストデータ組合せにおいて、「ｂ」が右側に出現し、かつ左側にあるものが「ａ」でないようなテキストデータ組合せの数を表す。ｎ2は、上述した言語モデルを使用した逐次組合せにより得られる複数のテキストデータ組合せのうち、左側にあるものが「ａ」でないようなテキストデータ組合せの数を表す。
【００４２】
上の例での特性計算データに基づくと、特性計算データは、５つの単語セグメント「ｒｏｕｎｄ  ｃｏｌｌａｒ」、「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」、「ｂａｔｗｉｎｇ」、「ｓｌｅｅｖｅ」、および「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」に分けられる。上述した単語セグメントに関して、２つの要素の組合せが実施され、テキストデータの４つの組合せ「ｒｏｕｎｄ  ｃｏｌｌａｒ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」、「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ  ｂａｔｗｉｎｇ」、「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」、および「ｓｌｅｅｖｅ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」が得られる。「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」の対数尤度が計算されるとき、ｋ1は、「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」が特性計算データ内に出現する回数であり、ｎ1は、テキストデータの上述した４つの組合せのうち、「ｂａｔｗｉｎｇ」が左側に出現するテキストデータの組合せの数であり、ｋ2は、テキストデータの上述した４つの組合せのうち、「ｓｌｅｅｖｅ」が右側に現れ、かつ左側が「ｂａｔｗｉｎｇ」でないテキストデータの組合せの数であり、ｎ2は、上述した４つのテキストデータ組合せのうち、右側が「ｂａｔｗｉｎｇ」でないテキストデータの組合せの数である。
【００４３】
複数の単語セグメント表現の使用の自由度を表現するために、文脈エントロピーを使用する。エントロピーは、不確かさの度合いの表現であり、エントロピーが大きければ大きいほど、不確かな無作為事象が多くなる。決まった文脈でのみ使用することができる文字列は、小さい文脈エントロピー値を有し、多くの異なる文脈で使用することができる文字列は、高い文脈エントロピー値を有する。文脈エントロピーは、左エントロピーと右エントロピーを含む。いくつかの実施形態では、左エントロピー（ＬＥ）を計算するための式は、以下のようなものである。
【数３】
0005608817.tif 000004
【００４４】
式［３］で、「ａ」と「ｂ」はそれぞれ、最小粒度の単一の単語セグメントを表す。「ａｂ」は、２つの単語セグメントの組合せから得られるテキストデータを表す。ｐ（ｘ｜ａｂ）は、「ａｂ」が特性計算データ内に出現すると仮定して、単語セグメント「ｘ」が左側に出現する確率を表す。「Ｌｅｆｔ」は、「ａｂ」の左側に出現する単語セグメント集合を表し、ｃxabは、単語セグメント「ｘ」が「ａｂ」の左側に出現する回数を表す。ｃabは、「ａｂ」が出現する回数を表す。左エントロピーの計算において、ｐ（ｘ｜ａｂ）とｌｏｇ2ｐ（ｘ｜ａｂ）には正の相関がある。
【００４５】
いくつかの実施形態では、右エントロピー（ＲＥ）を計算するための式は、以下のようなものである。
【数４】
0005608817.tif 000005
【００４６】
式［４］で、「ａ」と「ｂ」はそれぞれ、最小粒度の単一の単語セグメントを表す。「ａｂ」は、２つの単語セグメントの組合せから得られるテキストデータを表す。ｐ（ｙ｜ａｂ）は、「ａｂ」が特性計算データ内に出現すると仮定して、単語セグメント「ｙ」が右側に出現する確率を表す。「Ｒｉｇｈｔ」は、「ａｂ」の右側に出現する単語セグメント集合を表し、ｃabyは、単語セグメント「ｙ」が「ａｂ」の右側に出現する回数を表す。ｃabは、「ａｂ」が出現する回数を表す。右エントロピーの計算において、ｐ（ｙ｜ａｂ）とｌｏｇ2ｐ（ｙ｜ａｂ）には正の相関がある。
【００４７】
例えば、特性計算データが「ｒｏｕｎｄ  ｃｏｌｌａｒ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ，  ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ  Ｔ−ｓｈｉｒｔ，  ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ  ｏｎｅ−ｐｉｅｃｅ  ｄｒｅｓｓ」である場合、最小粒度のテキストデータを使用して特性計算データのセグメント化を行った後、「ｒｏｕｎｄ  ｃｏｌｌａｒ」、「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」、「ｂａｔｗｉｎｇ」、「ｓｌｅｅｖｅ」、「Ｔ−ｓｈｉｒｔ」、「ｂａｔｗｉｎｇ」、「ｓｌｅｅｖｅ」、「ｏｎｅ−ｐｉｅｃｅ  ｄｒｅｓｓ」が得られる。２つのセグメントの組合せ「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」に関して左エントロピーが計算されるとき、「ａ」は「ｂａｔｗｉｎｇ」であり、「ｂ」は「ｓｌｅｅｖｅ」である。特性計算データ内で「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」の左側に出現する単語セグメントは、「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌｓ」および「Ｔ−ｓｈｉｒｔ」である。したがって、「ｘ」の数は２であり、それぞれ「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌｓ」および「Ｔ−ｓｈｉｒｔ」である。「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」が出現する回数（ｃab）は２である。「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」に関して右エントロピーが計算されるとき、「ａ」は「ｂａｔｗｉｎｇ」であり、「ｂ」は「ｓｌｅｅｖｅ」である。「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」の右側に出現する単語セグメント「ｙ」は、「Ｔ−ｓｈｉｒｔ」および「ｏｎｅ−ｐｉｅｃｅ  ｄｒｅｓｓ」である。
【００４８】
いくつかの実施形態では、文字の位置ベースの単語内出現確率を計算するための式は、以下のようなものである。
【数５】
0005608817.tif 000006
【００４９】
式［５］において、「ｓ」は、計算対象の単語セグメントを表す。ＩＰ（ｃ，１）は、単語セグメント辞書が中国語など文字ベース言語におけるものである場合には、単語セグメント辞書に基づいて統計的に計算される、「ｓ」での最初の文字が単語セグメント辞書内の単語セグメントの最初に出現する確率を表し、または、単語セグメント辞書が英語など単語ベース言語に基づく場合には、「ｓ」での最初の単語が単語セグメント辞書内の単語セグメントの最初に出現する確率を表す。以下の論述では、中国語など文字ベース言語に基づく単語セグメント辞書について述べる。ＩＰ（ｃ，２）は、単語セグメント辞書に基づいて統計的に計算される、「ｓ」の中央位置にある文字／単語が単語セグメント辞書内の単語セグメントの中央位置に出現する確率を表す。「ｓ」の中央位置に複数の文字がある場合、各文字が単語セグメント辞書内の単語セグメントの中央位置に出現する確率を計算し、次いで、これらのうちの最小の確率をＩＰmin（ｃ，２）とみなして、文字の位置ベースの単語内出現確率を計算する。ＩＰ（ｃ，０）は、単語セグメント辞書に基づいて統計的に計算される、単語セグメント辞書に統計的に基づいて「ｓ」の最後の文字が単語セグメント辞書内の単語セグメントの最後に出現する確率を表す。文字の位置ベースの単語内出現確率を計算するとき、ＩＰ（ｃ，１）、ＩＰmin（ｃ，２）、およびＩＰ（ｃ，０）には正の相関がある。いくつかの実施形態では、スクリーニング基準を得るプロセスにおいて、計算対象の単語セグメントは、サンプル単語を表し、ターゲット単語認識のプロセスでは、計算対象の単語セグメントは、候補単語を表す。
【００５０】
例えば、計算対象の単語セグメントが、「阿里淘宝」（架空の商標名）であると仮定する。ＩＰ（ｃ，１）は、単語セグメント辞書統計に基づいて、最初の文字が「阿」であるすべての単語セグメントの出現の確率を表す。ＩＰ（ｃ，０）は、単語セグメント辞書統計に基づいて、最後の文字が「宝」であるすべての単語セグメントの出現の確率を表す。ＩＰ（ｃ，２）に関しては、２つの値がある。すなわち、１つは、単語セグメント辞書統計に基づいて、中央の文字が「里」であるすべての単語セグメントの出現の確率であり、他方は、単語セグメント辞書統計に基づいて、中央の文字が「淘」であるすべての単語セグメントの出現の確率である。文字の位置ベースの単語内出現確率を計算するとき、２つのＩＰ（ｃ，２）値のうちの小さいほうが、ＩＰ（ｃ，２）として選択される。
【００５１】
いくつかの実施形態では、スクリーニング基準は、ターゲット単語認識を行う前に得られる。いくつかの実装形態では、スクリーニング基準を設定するプロセスは、機械学習のプロセスである。図３は、スクリーニング基準を得るプロセスの一実施形態を示す流れ図である。プロセス３００は、システム２００などのシステム上で実行される。
【００５２】
ステップ３０１では、訓練サンプル単語集合およびサンプル特性計算データが取得される。この例では、訓練サンプル単語集合は、１組の既知のソート結果を含む。訓練サンプル単語集合において、任意の単語が辞書にあるターゲット単語であるか否かが既に分かっている。ターゲット単語として認識される単語が１つのタイプとしてソートされ、ターゲット単語として認識されない単語が別のタイプとしてソートされる。対応する単語がターゲット単語であるかどうかを示すために、訓練サンプル単語集合にマーカー、フラグ、または他の同様のデータ構造が含まれることがある。
【００５３】
訓練サンプル単語集合は、肯定標本単語集合と否定標本単語集合を含む。肯定標本単語とは、単語がターゲット単語であることを意味し、否定標本単語とは、単語がターゲット単語でないこと（ノイズ単語とも呼ぶ）を意味する。この場合、肯定標本単語集合は、単語セグメント辞書から直接検索することができ、否定標本単語集合は、単語セグメント辞書を構築するプロセス中の人為検査および検定によって得られたノイズ単語に基づく。
【００５４】
例えば、「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」が単語セグメント辞書にある場合、それは、訓練サンプル単語集合内の既知の肯定標本であり、ターゲット単語である。「ｓｌｅｅｖｅ  Ｔ−ｓｈｉｒｔ」が単語セグメント辞書にない場合、それは、訓練サンプル単語集合内の既知の否定標本／ノイズ単語である。
【００５５】
ここで、サンプル特性計算データは、訓練サンプル単語集合内の訓練サンプル単語と、訓練サンプル単語集合内の単語の指定特性値とを含む。
【００５６】
ステップ３０２では、最小粒度の複数のサンプルセグメントを得るためにサンプル特性計算データをセグメント化される。
【００５７】
いくつかの実施形態では、最小粒度のテキストデータは、単一の文字である。単位として文字を使用して、サンプル特性計算データのセグメント化を行い、サンプル特性計算データを複数の文字にセグメント化する。しかし、サンプル特性計算データを複数の単語セグメントに分離するための最小粒度として機能する、言語的意味を表現することができる最も簡潔な用語を含むテキストデータを採用することが好ましい。言語的意味を表現することが可能な最も簡潔な用語が最小粒度となるテキストデータを使用することは、単一の文字が最小粒度のテキストデータとなる方法に比べて、計算時間を短縮し、効率を高めることができる。
【００５８】
例えば、言語的意味を表現することが可能な最も簡潔な用語を最小粒度のテキストデータとして使用して、サンプル特性データ「ｒｏｕｎｄ  ｃｏｌｌａｒ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ，  ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」をセグメント化すると、５つのセグメント「ｒｏｕｎｄ  ｃｏｌｌａｒ」、「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」、「ｂａｔｗｉｎｇ」、「ｓｌｅｅｖｅ」、「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」が得られる。
【００５９】
ステップ３０３では、サンプルテキストデータ組合せ集合を得るためにサンプルセグメントを組み合わせられる。
【００６０】
いくつかの実施形態では、サンプルセグメントを組み合わせるために言語モデルを使用する。いくつかの実施形態では、ｎ−ｇｒａｍ言語モデル（ｎ階マルコフ連鎖とも呼ばれる）を使用して、サンプルセグメントを組み合わせて、さらなる処理のためのサンプルテキストデータ組合せ集合を決定する。特に、基本単位としてサンプルセグメントを用いて、ｎ−ｇｒａｍモデルに基づくｎ−ｇｒａｍ窓を使用し、設定された順序に従ってｎ−ｇｒａｍ窓をシフトさせ、窓に含まれる単語セグメントの組合せ処理を行って、複数のサンプルテキストデータ組合せを得る。
【００６１】
いくつかの実施形態では、ｎ−ｇｒａｍモデルにおけるｎの値は、２または３である。ｎ＝２は、２つの要素の組合せのために２−ｇｒａｍ窓が使用されたことを示し、すなわち、窓がシフトするときに、サンプルセグメントは、それぞれ、隣接する単語構成要素と２つ１組に組み合わされる。ｎ＝３は、３つの要素の組合せのために３−ｇｒａｍ窓が使用されたことを示し、すなわち、窓がシフトするときに、サンプルセグメントは、それぞれ、隣接する単語構成要素と３つ１組に組み合わされる。
【００６２】
上述した例からサンプルセグメントを組み合わせるためにｎ−ｇｒａｍモデルが使用される場合、ｎが２であるときには、以下のテキストデータ組合せ集合を得ることができる。「ｒｏｕｎｄ  ｃｏｌｌａｒ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」、「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ  ｂａｔｗｉｎｇ」、「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」、「ｓｌｅｅｖｅ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」。ｎが３であるとき、以下のテキストデータ組合せ集合を得ることができる。「ｒｏｕｎｄ  ｃｏｌｌａｒ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ  ｂａｔｗｉｎｇ」、「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ  ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ」、「ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」。
【００６３】
ステップ３０４では、サンプルテキストデータ組合せ集合と訓練サンプル単語集合との共通集合が決定される（求められる）。
【００６４】
ステップ３０５では、共通集合に含まれるサンプルテキストデータ組合せの指定特性値が算出される。
【００６５】
最小粒度の上述したテキストデータに基づいてサンプル特性計算データを分離した後に得られた単語セグメント集合と、上述した処理の対象となるサンプルテキストデータ組合せ集合とに基づいて、上述した共通集合に含まれるサンプルテキストデータ組合せに関して複数の指定特性値が計算され、これらの特性値は、相互情報値、対数尤度比値、文脈エントロピー（左エントロピー、右エントロピー）値、上述したような文字の位置ベースの単語内出現確率の値、およびダイスマトリックス値やχ値などを含むことができる。
【００６６】
ここで、共通集合に含まれるサンプルテキストデータ組合せに関して指定特性値が計算されるとき、サンプルテキストデータ組合せ集合内の各サンプルテキストデータ組合せの指定特性値の計算により、上述した共通集合内の各サンプルテキストデータ組合せの指定特性値をさらに得ることができる。また、上述した共通集合に含まれる各サンプルテキストデータ組合せの指定特性値を直接計算することもできる。
【００６７】
ステップ３０６では、しきい値に基づく対応するスクリーニング基準を得るために、共通集合内の各サンプルテキストデータ組合せの指定特性値と、サンプル単語集合での既知のソート結果とに基づいて、指定特性値のしきい値が設定される。
【００６８】
サンプルテキストデータ組合せ集合と訓練サンプル単語集合との共通集合を求めることによって、訓練サンプル単語集合内の各単語に対応する指定特性値が得られる。上述した共通集合に含まれる単語は、サンプルテキストデータ組合せと訓練サンプル単語との両方である。訓練サンプル単語に関するソート結果は既知である。すなわち、訓練サンプル単語がターゲット単語であるか否かは既知である。共通集合内の訓練サンプル単語のソートを行うためにソート技法が使用されるとき、ターゲット単語に属する単語が１つのタイプとしてソートされ、ターゲット単語に属さない単語が別のタイプとしてソートされる。
【００６９】
訓練サンプル単語をソートするためにソート技法が使用されるとき、ソート技法は、訓練サンプル単語および対応する特性値に基づいて訓練サンプル単語のソートを行う。得られたソート結果を、訓練サンプル単語の既知のソート結果と比較する。特性値は、任意の２つ以上の指定特性値の組合せである。比較により、２つの結果が一致しないことが分かった場合、ソート技法は、個々の指定特性値について設定されたしきい値に関して調節され、訓練サンプル単語のソートがもう一度行われる。上のプロセスは、ソート技法が訓練サンプルデータを正確にソートすることができるまで繰り返される。上記のプロセスは、機械学習プロセスおよび訓練プロセスである。すなわち、大量の訓練サンプルデータを使用し、上述した訓練プロセスを繰り返した後、得られた、個々の特性値に関して確立されたしきい値が、個々の特性値に関して設定された、しきい値からの対応するスクリーニング基準を生成する。
【００７０】
ここで、得られるスクリーニング基準は、特定の知識に基づいた表現である。様々な実施形態において、これらの表現は、木構造、ダイアグラム、ネットワーク、規則、数式、または他の適切なデータ構造などの離散構造でよい。
【００７１】
例えば、勾配ブースティングおよび決定木（ＧＢＤＴ）ソート技法が使用されるとき、訓練サンプル単語集合を使用してソート技法の訓練が行われ、得られるスクリーニング基準は、木構造を有するソート規則である。ＧＢＤＴソート技法は、特定数の決定木を採用する。決定木は、以下のように表現することができる。
【数６】
0005608817.tif 000007
ここで、Ｒiは、１つの区間を表す（例えば、Ｒi＝｛ｘ｜ｘi＜０．２，  ０．３≦ｘ2＜０．７｝）。
【００７２】
決定木に基づいて、ＧＢＤＴソート技法は、以下のように表現することができる。
【数７】
0005608817.tif 000008
ここで、Ｆm（ｘ）は、最小二乗法および最大エントロピーを使用して推定することができる関数である。
【００７３】
ＧＢＤＴソート技法の訓練は、訓練サンプル単語集合を使用して行われる。例えば、訓練サンプル単語集合内の肯定標本単語は、「ｓｏｏｔｈｉｎｇ  ｈｅｒｂａｌ  ｔｅａ」、「ｔａｇｇｉｎｇ  ｇｕｎ」、および「ａｐｐｌｅ  ｃｉｄｅｒ  ｖｉｎｅｇａｒ」を含み、否定標本単語は、「ｕｐｒｉｇｈｔ  ｅｄｉｔｉｏｎ」および「ｃｌａｓｓ  ｃｌａｓｓ  ｔｒａｉｎ」を含む。各訓練サンプル単語のサンプル特性計算データおよび特性値は個別に計算されると仮定する。「ｓｏｏｔｈｉｎｇ  ｈｅｒｂａｌ  ｔｅａ」の計算された相互情報は３．０３であり、その左エントロピーは２．５２である。「ｔａｇｇｉｎｇ  ｇｕｎ」の相互情報は３．９３であり、その左エントロピーは０である。「ａｐｐｌｅ  ｃｉｄｅｒ  ｖｉｎｅｇａｒ」の相互情報は１．３９であり、その左エントロピーは３．８８である。「ｕｐｒｉｇｈｔ  ｅｄｉｔｉｏｎ」の相互情報は０．６６であり、その左エントロピーは１．８８である。「ｃｌａｓｓ  ｃｌａｓｓ  ｔｒａｉｎ」の相互情報は１３．６８であり、その左エントロピーは２．８８である。したがって、各サンプルの訓練サンプル単語集合および特性値に基づいて、得られるスクリーニング基準は以下のようになる。
【００７４】
指定特性値からの相互情報値が属する区間を求める。相互情報値が１．０よりも大きいが８．０よりも小さい場合には、１を返す。そうでない場合には、指定特性値からの左エントロピーの値が属する区間を求める。左エントロピーの値が０．９未満である、または２．２よりも大きいが２．６５未満である、または３．３よりも大きい場合には、１を返す。そうでない場合には、０を返す。
【００７５】
ここで、１が返されるとき、これは、入力が肯定標本単語／ターゲット単語であることを意味する。０が返されるとき、これは、戻り値が否定標本単語／非ターゲット単語であることを意味する。
【００７６】
例では、少数の訓練サンプル単語、および各訓練サンプル単語の少数の特性値のみに基づいてスクリーニング基準を得る。実用の際には、多数の訓練サンプル単語を使用してソート技法を訓練し、ターゲット単語を正しく認識するスクリーニング基準を得ることができる。
【００７７】
図４は、ターゲット単語認識のプロセスの別の実施形態を示す流れ図である。プロセス４００は、システム２００などのシステム上で実行され得る。
【００７８】
ステップ４０１では、候補単語集合および特性計算データを検索される。
【００７９】
例えば、候補単語集合は、ユーザが入力したクエリキーワードを記憶するＣ２Ｃウェブサイトクエリログから検索することができる。クエリは、候補データを検索するために、ノイズをフィルタして、余剰な情報を消去（または他の適切な方法で処理）することができる。Ｃ２Ｃウェブサイトベンダが最近書き込んだ製品ヘッダが、特性計算データとなる。
【００８０】
ステップ４０２では、複数のテキストセグメントを得るために特性計算データに対してセグメント化が実行される。ここで、セグメント化は、最小粒度のテキストデータに基づく。
【００８１】
いくつかの実施形態では、最小粒度のテキストデータは、単一の文字である。単位として文字を使用して、特性計算データのセグメント化を行い、特性計算データを複数の文字にセグメント化する。しかし、サンプル特性計算データを複数のセグメントに分離するための最小粒度として機能する、言語的意味を表現することができる最も簡潔な用語を含むテキストデータを採用することが好ましい。言語的意味を表現することが可能な最も簡潔な用語が最小粒度となるテキストデータを使用することは、単一の文字が最小粒度のテキストデータとなる方法に比べて、計算時間を短縮し、効率を高めることができる。
【００８２】
例えば、言語的意味を表現することが可能な最も簡潔な用語を最小粒度のテキストデータとして使用して、特性計算データ「ｒｏｕｎｄ  ｃｏｌｌａｒ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ，  ｂａｔｗｉｎｇ  ｓｌｅｅｖｅ  ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」に関して、サンプル特性計算データを単語セグメントにセグメント化することによって、５つのセグメント「ｒｏｕｎｄ  ｃｏｌｌａｒ」、「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」、「ｂａｔｗｉｎｇ」、「ｓｌｅｅｖｅ」、「ｗｏｍｅｎ’ｓ  ａｐｐａｒｅｌ」を得ることができる。
【００８３】
ステップ４０３では、テキストデータ組合せ集合を得るためにテキストセグメントを組み合わせられる。
【００８４】
テキストセグメントの単語セグメント組合せ処理を行うために言語モデルを使用する。いくつかの実施形態では、ｎ−ｇｒａｍモデルを使用して組合せを実施し、処理の対象となるテキストデータ組合せ集合を決定する。特に、ｎ−ｇｒａｍ窓に基づくｎ−ｇｒａｍモデルを使用して、得られたセグメントを基本単位に分離し、設定された順序に従ってｎ−ｇｒａｍ窓をシフトさせ、窓に含まれる単語セグメントに関して組合せ処理を行う。いくつかの実施形態では、ｎ−ｇｒａｍモデルにおけるｎの値は、２または３である。ｎが２であるとき、これは、２つの要素の組合せのために２−ｇｒａｍ窓が使用されたことを示し、すなわち、窓がシフトするときに、分離によって得られる単語セグメントは、それぞれ、隣接する単語構成要素と２つ１組に組み合わされる。同様に、ｎが３であるとき、これは、３つの要素の組合せのために３−ｇｒａｍ窓が使用されたことを示し、すなわち、窓がシフトするときに、分離によって得られる単語セグメントは、それぞれ、隣接する単語構成要素と３つ１組に組み合わされる。
【００８５】
例えば、特性計算データは、「Ａｄｉｄａｓ  ｂｒａｎｄ  ｓｎｅａｋｅｒｓ  ｆｒｅｅ  ｓｈｉｐｐｉｎｇ」である。言語的意味を表現することが可能な最も簡潔な用語が最小粒度となるテキストデータを採用し、複数のテキストセグメントへの特性計算データのセグメント化を行って、テキストセグメント「Ａｄｉｄａｓ」、「ｂｒａｎｄ」、「ｓｎｅａｋｅｒｓ」、および「ｆｒｅｅ  ｓｈｉｐｐｉｎｇ」を得ることができる。ｎ−ｇｒａｍモデルを使用し、２つの要素の組合せ（すなわち、ｎ＝２）を実施して、「Ａｄｉｄａｓ  ｂｒａｎｄ」、「ｂｒａｎｄ  ｓｎｅａｋｅｒｓ」、および「ｓｎｅａｋｅｒｓ  ｆｒｅｅ  ｓｈｉｐｐｉｎｇ」というテキストデータ組合せが得られる。同じテキストセグメント「Ａｄｉｄａｓ」、「ｂｒａｎｄ」、「ｓｎｅａｋｅｒｓ」、および「ｆｒｅｅ  ｓｈｉｐｐｉｎｇ」に関して、ｎ−ｇｒａｍモデルが使用され、３つの要素の組合せが実施される場合（すなわち、ｎ＝３）には、「Ａｄｉｄａｓ  ｂｒａｎｄ  ｓｎｅａｋｅｒｓ」と「ｂｒａｎｄ  ｓｎｅａｋｅｒｓ  ｆｒｅｅ  ｓｈｉｐｐｉｎｇ」のテキストデータ組合せが得られる。
【００８６】
ステップ４０４では、候補単語集合とテキストデータ組合せ集合との共通集合が決定される。
【００８７】
ステップ４０５では、上述した共通集合に含まれるテキストデータ組合せに関して指定特性値が算出される。
【００８８】
指定特性値は、以下の値のうちの任意の２種類以上の組合せを含むことができる。相互情報値、対数尤度比値、文脈エントロピー（左エントロピー、右エントロピー）値、文字の位置ベースの単語内出現確率の値、およびダイスマトリックス値やχ値など。
【００８９】
いくつかの実施形態では、指定特性値を計算するとき、式での単語「ａ」と単語「ｂ」を、複数のテキストセグメントの組合せから得られるテキストデータとみなすことができる。上述した式に従って個々の特性値を計算する。
【００９０】
例えば、テキストデータ「ａｂｃ」に関する相互情報を計算するとき、テキストデータを「ａｂ」と「ｃ」、または「ａ」と「ｂｃ」に分割することができる。相互情報は、上述した得られる２つのテキストデータグループに関して個別に計算され、２つの計算結果の大きい方が、テキストデータ「ａｂｃ」の相互情報であるとみなされる。同様に、対数尤度比を計算するときにも、「ａｂｃ」を「ａｂ」と「ｃ」、または「ａ」と「ｂｃ」に分割することができる。対数尤度比は、上述した得られる２つのテキストデータグループに関して個別に計算され、２つの計算結果の大きい方が、テキストデータ「ａｂｃ」の対数尤度比であるとみなされる。
【００９１】
ステップ４０６では、上述した共通集合に含まれるテキストデータ組合せの指定特性値に基づいて、所定のスクリーニング基準に従って、テキストデータ組合せのスクリーニングが実行される。ターゲット単語であるというスクリーニング基準を特性値が満たすテキストデータ組合せに対応する候補単語が認識される。スクリーニング基準は、複数の指定特性値に基づいて予め決定される。
【００９２】
ここでも、共通集合内のテキストデータ組合せが候補単語となり、共通集合内のテキストデータ組合せの指定特性値が計算されるとき、テキストデータ組合せ集合でのテキストデータ組合せの指定特性値の計算によって、上述した共通集合内のテキストデータ組合せの指定特性値をさらに得ることができる。また、上述した共通集合に含まれる各テキストデータ組合せの複数の指定特性値を直接計算することもできる。計算によって得られる上述した共通集合に含まれるテキストデータ組合せの個々の特性値は、同時に、候補単語に対応する個々の特性値となる。
【００９３】
複数の指定特性値に基づくスクリーニング基準は、スクリーニング基準を設定するプロセス（すなわち訓練プロセス）によって得られる。使用される様々なソート技法に応じて、これらの所定のスクリーニング基準の表現の形式も変わる。すなわち、それらは、木構造、ダイアグラム、ネットワーク、または規則など離散構造でよい。また、数式でもよい。例えば、所定のスクリーニング基準は、以下のような数式を使用して表現することができる。
【数８】
0005608817.tif 000009
【００９４】
上の式において、指定特性値の計算に基づいて得られたｐ1がｐ2よりも大きいとき、候補単語は、ターゲット単語であると判断される。そうでない場合、候補単語は、ターゲット単語でないと判断することができる。
【００９５】
所定のスクリーニング基準に従って候補単語がスクリーニングされるとき、上述した共通集合に含まれるテキストデータ組合せの指定特性値が、所定のスクリーニング基準に基づいて決定された、上述した指定特性値に対応するしきい値と比較され、スクリーニング基準を特性値が満たすテキストデータ組合せに対応する候補単語がターゲット単語であると判断される。ここで、上述した共通集合に含まれるテキストデータ組合せの指定特性値を、所定のスクリーニング基準に基づいて決定された、上述した指定特性値に対応するしきい値と比較するとき、上述した共通集合に含まれるテキストデータ組合せの指定特性値を、所定のスクリーニング基準に基づいて決定された、上述した指定特性値に対応するしきい値と比較することができ、または、上述した共通集合に含まれるテキストデータ組合せの指定特性値を、スクリーニング基準を決定する式に入力し、その後、計算された値を、スクリーニング基準によって決定されるしきい値と比較することができる。
【００９６】
いくつかの実施形態では、候補単語に関する認識が行われた後、候補単語がターゲット単語であるときには、既知の単語セグメントの辞書内でそのターゲット単語が検索され、ターゲット単語が既知の単語セグメントの辞書に含まれていないときには、前に登録されていない単語であると判断され、そのターゲット単語が単語セグメント辞書に追加されることが分かる。
【００９７】
好ましくは、候補単語に関する認識を行う前に、候補単語を、既知の単語セグメントの辞書と突き合わせて比較することができる。単語セグメントが既知の単語セグメントの辞書に含まれていないときには、候補単語に関して認識が行われる。候補単語がターゲット単語であると判断されると、それらは、既知の単語セグメント辞書に追加される。候補単語を既知の単語セグメント辞書と比較して、候補単語が単語セグメント辞書に既に存在することが分かった場合、これは、候補単語が登録済みの単語であり、すなわち候補単語がターゲット単語であることを意味し、さらに、それらが単語セグメント辞書に登録されており、認識プロセスを行う必要はない。
【００９８】
上述した実施形態に基づいて、特性計算データのセグメント化により、特性計算データを最小粒度のセグメントに分離する。次いで、言語モデルを使用して、セグメント組合せを実施する。組み合わされたテキストデータに基づいて、候補単語の指定特性値を計算する。所定のスクリーニング基準に従って候補単語のスクリーニングを行い、それにより、複数の指定特性値を利用して候補単語の認識を行う。さらに、手動で設定したしきい値ではなく、訓練データを使用したソート技法訓練の実施によりスクリーニング基準が得られ、それにより、手動設定により生じる誤差を回避し、精度および安定性を高める。さらに、候補単語の認識を行うために、ソート技法訓練を使用してスクリーニング基準を設定するとき、候補単語の個々の指定特性値が線形分布を示す必要はなく、個々の指定特性値が非線形分布を示すときにも候補単語を正しく認識して、認識精度およびリコール率を高めることができる。
【００９９】
明らかに、本発明の精神および範囲から逸脱することなく、当業者は本出願を修正および変更することができる。したがって、本出願のこれらの修正および変形が本出願の特許請求の範囲および均等技術の範囲内にある場合、本出願は、これらの修正および変形も網羅するものとする。
【０１００】
理解しやすくするために、前述の実施形態をいくぶん詳細に説明してきたが、本発明は、提示した詳細に限定されない。本発明を実施する多くの代替方法がある。開示した実施形態は例示であり、限定ではない。
適用例１：候補単語集合および対応する特性計算データを取得し、前記候補単語集合はテキストデータを備え、特性計算データは前記候補単語集合に関連付けられており、複数のテキストセグメントを生成するために前記特性計算データのセグメント化を実行し、テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせ、前記候補単語集合と前記テキストデータ組合せ集合との共通集合を決定し、前記共通集合は複数のテキストデータ組合せを含み、前記複数のテキストデータ組合せに関して複数の指定特性値を決定し、少なくとも一部は前記複数の指定特性値に基づいて、かつ少なくとも１つの基準に従って、前記複数のテキストデータ組合せの中から、特性値が前記基準を満たすターゲット単語を認識することを備えるターゲット単語認識方法。
適用例２：前記候補単語集合は、ウェブサイトへのユーザ入力クエリキーワードに基づく適用例１に記載の方法。
適用例３：前記特性計算データは、ウェブサイトへのユーザ入力クエリキーワードに応答したサーチ結果の記述から取得される適用例１に記載の方法。
適用例４：前記ターゲット単語の少なくともいくつかは、辞書に登録されていない単語であり、前記方法は、さらに、前記登録されていない単語を前記辞書に追加することを備える適用例１に記載の方法。
適用例５：前記指定特性値は相互情報を含む適用例１に記載の方法。
適用例６：前記指定特性値は対数尤度を含む適用例１に記載の方法。
適用例７：前記指定特性値は文脈エントロピーを含む適用例１に記載の方法。
適用例８：前記指定特性値は位置ベースの単語内出現確率を含む適用例１に記載の方法。
適用例９：適用例１に記載の方法はさらに、前記基準を決定することを備え、前記基準の決定は、訓練サンプル単語集合およびサンプル特性計算データを取得し、前記訓練サンプル単語集合は複数のサンプル単語を備え、ソートの結果は前記複数のサンプル単語がそれぞれターゲット単語であるか否かを示し、前記サンプル特性計算は、前記複数のサンプル単語と、前記複数のサンプル単語の指定特性値とを含み、最小粒度の複数のサンプルセグメントを得るために前記複数のサンプル単語のセグメント化を実行し、サンプルテキストデータ組合せ集合を得るために前記複数のサンプルセグメントを組み合わせ、前記サンプルテキストデータ組合せ集合と前記訓練サンプル単語集合との共通集合を決定し、前記共通集合内のサンプルテキストデータ組合せの複数の指定特性値を決定し、前記基準の一部として、前記共通集合内のサンプルテキストデータ組合せの指定特性値のしきい値を設定することを含む、方法。
適用例１０：前記複数のサンプルセグメントを組み合わせは、前記複数のサンプルセグメントにｎ−ｇｒａｍ言語モデルを適用することを含む、適用例１０に記載の方法。
適用例１１：前記しきい値を設定は、前記共通集合内の前記訓練サンプル単語がターゲット単語であるか否かを判断するために、前記しきい値を使用して前記共通集合内の訓練サンプル単語をソートし、前記判断を既知の結果と比較し、前記判断が前記既知の結果と一致しない場合に、前記しきい値を調節することを含む、適用例１０に記載の方法。
適用例１２：テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせることは、ｎ−ｇｒａｍ窓に基づくｎ−ｇｒａｍモデルを採用し、所定の順序に従って前記ｎ−ｇｒａｍ窓をシフトさせ、組合せ後のテキストデータ組合せを得るために前記窓に含まれる前記単語セグメントの単語セグメント組合せを実行すること
を含む適用例１に記載の方法。
適用例１３：１つまたは複数のプロセッサを備えるターゲット単語認識システムであって、候補単語集合および対応する特性計算データを取得し、前記候補単語集合はテキストデータを備え、特性計算データは前記候補単語集合に関連付けられており、複数のテキストセグメントを生成するために前記特性計算データのセグメント化を実行し、テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせ、前記候補単語集合と前記テキストデータ組合せ集合との共通集合を決定し、前記共通集合は複数のテキストデータ組合せを含み、前記複数のテキストデータ組合せに関して複数の指定特性値を決定し、少なくとも一部は前記複数の指定特性値に基づいて、かつ少なくとも１つの基準に従って、前記複数のテキストデータ組合せの中から、特性値が前記基準を満たすターゲット単語を認識するように構成されている１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサに結合され、前記１つまたは複数のプロセッサに命令を提供するように構成されている１つまたは複数のメモリを備えるターゲット単語認識システム。
適用例１４：前記候補単語集合は、ウェブサイトへのユーザ入力クエリキーワードに基づく適用例１３に記載のシステム。
適用例１５：前記特性計算データは、ウェブサイトへのユーザ入力クエリキーワードに応答したサーチ結果の記述から取得される適用例１３に記載のシステム。
適用例１６：前記１つまたは複数のプロセッサは、さらに、前記基準を決定するように構成され、前記決定は、訓練サンプル単語集合およびサンプル特性計算データを取得し、前記訓練サンプル単語集合は複数のサンプル単語を備え、ソートの結果は前記複数のサンプル単語がそれぞれターゲット単語であるか否かを示し、前記サンプル特性計算は、前記複数のサンプル単語と、前記複数のサンプル単語の指定特性値とを含み、最小粒度の複数のサンプルセグメントを得るために前記複数のサンプル単語のセグメント化を実行し、サンプルテキストデータ組合せ集合を得るために前記複数のサンプルセグメントを組み合わせ、前記サンプルテキストデータ組合せ集合と前記訓練サンプル単語集合との共通集合を決定し、前記共通集合内のサンプルテキストデータ組合せの複数の指定特性値を決定し、前記基準の一部として、前記共通集合内のサンプルテキストデータ組合せの指定特性値のしきい値を設定することを含む、適用例１３に記載のシステム。
適用例１７：前記複数のサンプルセグメントを組み合わせは、前記複数のサンプルセグメントにｎ−ｇｒａｍ言語モデルを適用することを含む適用例１６に記載のシステム。
適用例１８：前記しきい値の設定は、前記共通集合内の前記訓練サンプル単語がターゲット単語であるか否かを判断するために、前記しきい値を使用して前記共通集合内の訓練サンプル単語をソートし、前記判断を既知の結果と比較し、前記判断が前記既知の結果と一致しない場合に、前記しきい値を調節することを含む、適用例１６に記載のシステム。
適用例１９：テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせることは、ｎ−ｇｒａｍ窓に基づくｎ−ｇｒａｍモデルを採用し、所定の順序に従って前記ｎ−ｇｒａｍ窓をシフトさせ、組合せ後のテキストデータ組合せを得るために前記窓に含まれる前記単語セグメントの単語セグメント組合せを実行することを含む、適用例１３に記載のシステム。
適用例２０：ターゲット単語認識用のコンピュータプログラム製品であって、有形のコンピュータ可読記憶媒体で具現化され、コンピュータ命令を備え、前記コンピュータ命令は、候補単語集合および対応する特性計算データを取得するためのコンピュータ命令と、前記候補単語集合はテキストデータを備え、特性計算データは前記候補単語集合に関連付けられており、複数のテキストセグメントを生成するために前記特性計算データのセグメント化を実行するためのコンピュータと、テキストデータ組合せ集合を生成するために前記複数のテキストセグメントを組み合わせるためのコンピュータ命令と、前記候補単語集合と前記テキストデータ組合せ集合との共通集合を決定するためのコンピュータ命令と、前記共通集合は複数のテキストデータ組合せを含み、前記複数のテキストデータ組合せに関して複数の指定特性値を決定するためのコンピュータ命令と、少なくとも一部は前記複数の指定特性値に基づいて、かつ少なくとも１つの基準に従って、前記複数のテキストデータ組合せの中から、特性値が前記基準を満たすターゲット単語を認識するためのコンピュータ命令とを含むコンピュータプログラム製品。
【図１】
0005608817.tif 000010
【図２Ａ】
0005608817.tif 000011
【図２Ｂ】
0005608817.tif 000012
【図３】
0005608817.tif 000013
【図４】
0005608817.tif 000014