(57)【要約】【課題】入力されたデータに、複数の異種の補助データセットからの知識を組み込み、データの分類を容易にする。【解決手段】本発明は、入力テキストデータを受け取った後、ラベル付けされたデータセット及びラベル付けされていないデータセットのような複数の異種の補助データセットにアクセスし、異種の補助データセットからの特徴を、分類対象の入力テキストデータに組み込む方法を提供する。複数の異種の補助データセットのそれぞれから複数の特徴が抽出される。複数の特徴は、入力テキストデータと組み合わされて、入力テキストデータを群類するために使用され得る特徴のセットを生成する。分類特徴が特徴のセットから抽出され、入力テキストデータを分類するために使用される。ある実施形態においては、特徴のセット内の各特徴に関連付けられた相互情報値を計算し、閾値を超える相互情報値を有する特徴を識別することによって、分類特徴が抽出される。【選択図】図１
2011501275.tif 000002
【特許請求の範囲】
【請求項１】
複数のデータセットから情報を入手することによって入力テキストデータを分類するコンピュータを用いた方法であって、
前記方法は、
前記入力テキストデータを受け付け、
それぞれがテキストデータを含む複数の異種のデータセットにアクセスし、
前記複数の異種のデータセットからの特徴のセットであって、前記複数の異種のデータセットのそれぞれからの１又は複数の特徴を含む特徴のセットを生成し、
前記特徴のセットから１又は複数の分類特徴を選択し、
前記入力テキストデータ及び前記１又は複数の分類特徴を組み合わせることによって、増やされた入力テキストデータを生成し、
前記増やされた入力テキストデータに対して分類器を適用し、前記入力テキストデータをカテゴリに関連付けること、
を特徴とする方法。
【請求項２】
前記複数の異種のデータセットは、
ラベル付けされたデータセット及びラベル付けされていないデータセットを有すること、
を特徴とする請求項１に記載の方法。
【請求項３】
前記複数の異種のデータセットからの特徴のセットを生成することは、
データセットがラベル付けされたデータセットであるかラベル付けされていないデータセットであるかを決定し、
前記データセットがラベル付けされたデータセットである場合は、前記データセットのカテゴリのベクトル表示を生成し、
前記データセットの前記カテゴリの前記ベクトル表示を切り詰めることによって減縮ベクトル表示を生成し、
前記減縮ベクトル表示と前記入力テキストデータとの間の類似度を決定し、
前記類似度が閾値を超える場合は、前記減縮ベクトル表示を前記特徴のセットに含めること、を含むこと、
を特徴とする請求項１に記載の方法。
【請求項４】
前記データセットの前記カテゴリの前記ベクトル表示は、
単語出現頻度−逆出現頻度ベクトルを有すること、
を特徴とする請求項３に記載の方法。
【請求項５】
前記減縮ベクトル表示を生成することは、
前記データセットの前記カテゴリのベクトル表示の重心を選択し、
前記カテゴリのベクトル表示の前記重心を、予め決定された数の単語に切り詰めることを含むこと、
を特徴とする請求項３に記載の方法。
【請求項６】
前記減縮ベクトル表示と前記入力テキストデータとの間の類似度を決定することは、
前記減縮ベクトル表示と前記入力テキストデータとの間の余弦類似度を計算することを含むこと、
を特徴とする請求項３に記載の方法。
【請求項７】
前記複数の異種のデータセットからの特徴のセットを生成することは、
データセットがラベル付けされたデータセットであるかラベル付けされていないデータセットであるかを決定し、
前記データセットがラベル付けされていないデータセットであると決定した場合は、前記データセットから複数のクラスタを生成し、
クラスタのベクトル表示を生成し、
前記クラスタの前記ベクトル表示のサブセットを生成し、
前記ベクトル表示のサブセットと前記入力テキストデータとの間の類似度を決定し、
前記類似度が閾値を超える場合は、前記減縮ベクトル表示を前記特徴のセットに含めること、を含むこと、
を特徴とする請求項１に記載の方法。
【請求項８】
前記データセットから複数のクラスタを生成することは、
教師なし凝集クラスタリングを使用して定義された数のクラスタを生成することを含むこと、
を特徴とする請求項７に記載の方法。
【請求項９】
前記クラスタの前記ベクトル表示は、
単語出現頻度−逆出現頻度ベクトルを有すること
を特徴とする請求項７に記載の方法。
【請求項１０】
前記クラスタの前記ベクトル表示の前記サブセットを生成することは、
前記クラスタの前記ベクトル表示から予め決定された数の単語を選択すること、を含むこと、
を特徴とする請求項７に記載の方法。
【請求項１１】
前記ベクトル表示のサブセットと前記入力テキストデータとの間の類似度を決定することは、
前記ベクトル表示のサブセットと前記入力テキストデータとの間の余弦類似度を計算することを含むこと、
を特徴とする請求項７に記載の方法。
【請求項１２】
前記特徴のセットから１又は複数の分類特徴を選択することは、
前記特徴のセットからの特徴及び前記入力テキストデータに関連付けられた相互情報スコアを決定し、
前記相互情報スコアが閾値を超える場合は、前記特徴のセットに前記特徴を含めること、を含むこと、
を特徴とする請求項１に記載の方法。
【請求項１３】
複数のデータセットから情報を入手することによって入力テキストデータを分類するコンピュータ実行可能なコードを記録したコンピュータ読取可能な記録媒体を有するコンピュータプログラム製品であって、
前記コンピュータ実行可能なコードは、
前記入力テキストデータを受け付け、
それぞれがテキストデータを含む複数の異種のデータセットにアクセスし、
前記複数の異種のデータセットからの特徴のセットであって、前記複数の異種のデータセットのそれぞれからの１又は複数の特徴を含む特徴のセットを生成し、
前記特徴のセットから、１又は複数の分類特徴を選択し、
前記入力テキストデータ及び前記１又は複数の分類特徴を組み合わせることによって、増やされた入力テキストデータを生成し、
前記増やされた入力テキストデータに対して分類器を適用し、前記入力テキストデータをカテゴリに関連付けるステップを実行すること、
を特徴とするコンピュータプログラム製品。
【請求項１５】
前記複数の異種のデータセットは、
ラベル付けされたデータセット及びラベル付けされていないデータセットを有すること、
を特徴とする請求項１３に記載のコンピュータプログラム製品。
【請求項１６】
前記複数の異種のデータセットからの特徴のセットを生成することは、
データセットがラベル付けされたデータセットであるかラベル付けされていないデータセットであるかを決定し、
前記データセットがラベル付けされたデータセットである場合は、前記データセットのカテゴリのベクトル表示を生成し、
前記データセットの前記カテゴリの前記ベクトル表示を切り詰めることによって減縮ベクトル表示を生成し、
前記減縮ベクトル表示と前記入力テキストデータとの間の類似度を決定し、
前記類似度が閾値を超える場合は、前記減縮ベクトル表示を前記特徴のセットに含めること、を含むこと、
を特徴とする請求項１３に記載のコンピュータプログラム製品。
【請求項１７】
前記データセットの前記カテゴリの前記ベクトル表示は、
単語出現頻度−逆出現頻度ベクトルを有すること、
を特徴とする請求項１６に記載のコンピュータプログラム製品。
【請求項１８】
前記減縮ベクトル表示を生成することは、
前記データセットの前記カテゴリのベクトル表示の重心を選択し、
前記カテゴリのベクトル表示の前記重心を、予め決定された数の単語に切り詰めることを含むこと、
を特徴とする請求項１６に記載のコンピュータプログラム製品。
【請求項１９】
前記減縮ベクトル表示と前記入力テキストデータとの間の類似度を決定することは、
前記減縮ベクトル表示と前記入力テキストデータとの間の余弦類似度を計算することを含むこと、
を特徴とする請求項１６に記載のコンピュータプログラム製品。
【請求項２０】
前記複数の異種のデータセットからの特徴のセットを生成することは、
データセットがラベル付けされたデータセットであるかラベル付けされていないデータセットであるかを決定し、
前記データセットがラベル付けされていないデータセットであると決定した場合は、前記データセットから複数のクラスタを生成し、
クラスタのベクトル表示を生成し、
前記クラスタの前記ベクトル表示のサブセットを生成し、
前記ベクトル表示のサブセットと前記入力テキストデータとの間の類似度を決定し、
前記類似度が閾値を超える場合は、前記減縮ベクトル表示を前記特徴のセットに含めること、を含むこと、
を特徴とする請求項１３に記載のコンピュータプログラム製品。
【請求項２１】
前記データセットから複数のクラスタを生成することは、
教師なし凝集クラスタリングを使用して定義された数のクラスタを生成することを含むこと、
を特徴とする請求項２０に記載のコンピュータプログラム製品。
【請求項２２】
前記クラスタの前記ベクトル表示は、
単語出現頻度−逆出現頻度ベクトルを有すること
を特徴とする請求項２０に記載のコンピュータプログラム製品。
【請求項２３】
前記クラスタの前記ベクトル表示の前記サブセットを生成することは、
前記クラスタの前記ベクトル表示から予め決定された数の単語を選択すること、を含むこと、
を特徴とする請求項２０に記載のコンピュータプログラム製品。
【請求項２４】
前記ベクトル表示のサブセットと前記入力テキストデータとの間の類似度を決定することは、
前記ベクトル表示のサブセットと前記入力テキストデータとの間の余弦類似度を計算することを含むこと、
を特徴とする請求項２０に記載のコンピュータプログラム製品。
【請求項２５】
前記特徴のセットから１又は複数の分類特徴を選択することは、
前記特徴のセットからの特徴及び前記入力テキストデータに関連付けられた相互情報スコアを決定し、
前記相互情報スコアが閾値を超える場合は、前記特徴のセットに前記特徴を含めること、を含むこと、
を特徴とする請求項１３に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の参照）
本出願は、２００７年１０月１１日付けの米国特許仮出願第６０／９７９，２３１号を基礎とする優先権を米国特許法１１９条（ｅ）に基づき主張し、これらの出願はその全体がここに引用される。
【０００２】
本発明は、一般的にはデータ分類に関する。より具体的には、複数のデータソースからの情報を用いてデータを分類するシステム及び方法に関する。
【背景技術】
【０００３】
複数カテゴリデータ分類は、一般的には人間によって実行される。例えば、顧客質問を担当者に割り当てるとき、顧客サービスオペレータは、担当者がサポートする多くのカテゴリのうちの１つに顧客質問を分類する。一般的に、対応するカテゴリを識別するには顧客質問に含まれる情報だけでは不充分であり、顧客サービスオペレータは、自らの背景知識を活用して顧客質問を正確に分類する必要がある。例えば、“私のfocusが始動しない”という質問を分類するには、“focus”とは自動車の車種名である、という背景知識が必要である。したがって、質問又は他のデータを正確に分類するには、当該質問又はデータによって提供される情報の欠陥を補う、外部知識からの知識が必要となることがある。
【０００４】
データ分類に使用される外部知識は、構造化されているデータセット、構造化されていないデータセット、ラベル付けされているデータセット又はラベル付けされていないデータセットのような多くの形式を有する様々なソースから入手可能である。ラベル付けされたデータセットの一例として、カテゴリ及びサブカテゴリによって体系化された、質問と回答との組合せを含む“ＹＡＨＯＯ（登録商標）ＡＮＳＷＥＲＳ”オンラインデータリポジトリがある。外部データセットの他の一例として、タイトルによって体系化され、カテゴリによって大まかに体系化された複数の記事を含む“ＷＩＫＩＰＥＤＩＡ”がある。外部知識ソースすなわち“補助データセット”の数が指数関数的に増加するにつれて、半教師付学習、複数タスク学習、移転学習及び領域適応のような分野における検索も増加し、数が増加しつつある補助データセットを使用する方法をよりよく識別できるようになっている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来から、補助データセットからの知識を分類データに組み込むために、“bag of words”アプローチが使用されている。しかしながらこのアプローチは、外部データセットからの単なる追加的単語以外の知識を分類データに組み込むものではない。したがって、この“bag of words”アプローチは、異なるカテゴリに跨る複数の意味を有する単語を正確に分類できないことが多い。補助データセットからのデータを分類に組み込む他の従来の方法には限界がある。なぜならば、データセットが異なればその特性も異なるからである。特性が異なるために、移転学習、複数タスク学習又は自己教師学習のような従来の知識移転方法を複数タイプの補助データセットに適用することができなくなる。したがって、従来の知識移転方法は、単に１つの補助データセットからのデータを分類データに組み込むことができるに留まり、分類を行う間に使用され得る外部データの量を制限してしまう。
【０００６】
そこで、入力されたデータの分類に、複数の異種の補助データセットからの知識を組み込むシステム及び方法が必要となる。
【課題を解決するための手段】
【０００７】
（発明の要約）
本発明は、分類されるべき入力テキストデータに対して、異種の補助データセットからの特徴を組み込む方法を提供する。入力データを受け取った後、複数の異種の補助データセットにアクセスがなされ、複数の特徴が複数の異種の補助データセットのそれぞれから抽出される。ある実施形態においては、異種の補助データセットのサブセットは、ラベル付けされたデータセットであり、異種の補助データセットの第２のサブセットは、ラベル付けされていないデータセットである。複数の特徴は、入力テキストデータと組み合わされて、特徴のセットを生成する。分類特徴が特徴のセットから抽出され、入力テキストデータを分類するために使用される。ある実施形態においては、特徴のセット内の各特徴に関連付けられた相互情報値を計算し、ある閾値を超える相互情報値を有する特徴を識別することによって、分類特徴が抽出される。
【０００８】
本明細書に記述されている特徴及び利点は、限定的なものではなく、図面、明細書及び特許請求の範囲を見れば、当業者には、追加的な特徴及び利点が明らかになる。さらに、本明細書中で使用される用語は、主として意味の取りやすさ及び教示目的から選択されており、本発明の主旨を限定するために選択されているものではないことは当然である。
【図面の簡単な説明】
【０００９】
【図１】本発明のある実施形態が動作する、コンピューティング機器を示す図である。
【図２】本発明のある実施形態に係る、異種のデータセットからの知識を使用して入力データを分類する方法を示すフローチャートである。
【図３】本発明のある実施形態に係る、補助データセットから特徴を抽出する方法を示すフローチャートである。
【図４】本発明のある実施形態に係る、補助データセットから関連する特徴を識別する方法を示すフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の好適な一実施形態を、図を参照しつつ説明する。複数の図に跨って同様の参照番号が記される場合、それらは同一の又は機能的に類似した構成要素を意味する。参照番号の最も左の数字は、当該参照番号が初めて使用された図の番号に対応している。
【００１１】
本明細書において、“ある実施形態”又は“一実施形態”と言う場合は、本発明の少なくとも１つの実施形態に、その実施形態に関連して記述される１つの特徴又は構造が含まれていることを意味する。本明細書のあちこちに“ある実施形態においては”という語が出現しても、必ずしも同一の実施形態を指しているわけではない。
【００１２】
後記する詳細説明のいくつかの部分は、アルゴリズム用語や、コンピュータメモリ内のデータビット作業を示す象徴的な表現による。これらのアルゴリズム的な説明や表現は、情報処理分野の当業者が、自らの業績の要旨を、同分野の他の当業者に最も効率的に伝えるために用いる手段である。アルゴリズムとは、ここでは、そして一般的にも、ある所望の結果に至る複数のステップ（命令）の首尾一貫したシーケンスのことを言う。ステップとは、物理量に対する物理的操作を要求するステップのことである。通常、必ずしも必要条件ではないが、それらの数値は、記憶され、転送され、合成され、比較されかつ操作され得る、電子的、磁気的又は光学的信号の形を取る。これらの信号のことを、ビット、値、要素、シンボル、文字、語又は番号等と呼ぶことが主として用語の共通化の理由から便宜である。さらに、物理量に対する物理的操作を要求するステップの配列のうちいくつかのものは、一般性を失うことなく、モジュール又はコードデバイスと呼ぶことが便宜である。
【００１３】
しかしながら、このような用語の全ては適当な物理量と関連付けられており、これらの物理量に付された単なる便宜的なラベルに過ぎない。後記において特段の説明がない限り、明細書本文全体を通じて、“処理”、“計算”、“算出”、“決定”又は“表示”等の用語を用いた説明は、（電子的な）物理量としてのデータを、コンピュータシステムのメモリ、レジスタ又は他の情報ストレージのなかで操作しかつ変形するコンピュータシステムや同様の電子的コンピューティング機器の動作や処理のことを言う。
【００１４】
本発明のいくつかの側面は、アルゴリズムの形になったプロセスステップや命令を含む。本発明のプロセスステップや命令は、ソフトウエア、ファームウエア又はハードウエアによって実施され、ソフトウエアで実施される場合は、ダウンロードされることが可能であり、多様なオペレーティングシステムが用いる別のプラットフォームから操作されることも可能である。
【００１５】
本発明は、操作を実行する装置にも関する。この装置は、所与の目的を達成する専用装置であってもよいし、コンピュータに記憶されたコンピュータプログラムによって動作する汎用コンピュータであってもよい。このようなコンピュータプログラムは、コンピュータが読取り可能な媒体に記憶され得る。その媒体とは、コンピュータシステムバスに接続可能な、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ、電磁光学的ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、電磁的又は光学的カード、ＡＳＩＣ又は電子的命令を記憶し得るあらゆる媒体を含むが、これらに限定されない。さらに、本明細書で言うコンピュータは、単体のプロセッサを含んでもよいし、コンピュータ能力を増加させるために複数のプロセッサを用いた装置であってもよい。
【００１６】
ここでいうアルゴリズムやディスプレイは、もともと特定のコンピュータや他の装置に関係している訳ではない。ここで教示される内容に従って、プログラムとともに多様な一般目的システムが使用され得る。又は、必要とされる方法ステップを実行するためにさらに特化した装置を作成することも便宜である。これらのシステムのそれぞれについてどのような構成が必要となるかは、後記する明細書本文から明らかになる。さらには、本発明は特定のプログラム言語を参照して記載されるものではない。本発明の教示を実装するために、多様なプログラム言語が使用され得る。後記において特定の言語に言及した場合、それは本発明の実施可能性及びベストモードを開示するためである。
【００１７】
さらに、本明細書で使用される言語は、主として意味の取りやすさ及び教示目的から選択されているのであって、本発明の主旨を限定するために選択されているのではない。従って、本発明の開示は、特許請求の範囲にて記述されている本発明の範囲を例示するものであるが限定するものではない。
【００１８】
図１は、本発明のある実施形態が動作する、コンピューティング機器１００を示す図である。コンピューティング機器１００は、プロセッサ１１０、入力装置１２０、出力装置１３０及びメモリ１４０を有する。ある実施形態においては、コンピューティング機器１００は、送受信機又はコネクタを含む通信モジュール１５０をさらに有する。
【００１９】
プロセッサ１１０は、データ信号を処理するものであり、複合命令セットコンピュータ（ＣＩＳＣ）アーキテクチャ、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャ、又は命令セットの組合せを実装するアーキテクチャのような様々なコンピューティングアーキテクチャを含み得る。図１においては単一のプロセッサが示されているが、複数のプロセッサが含まれていてもよい。プロセッサ１１０は、算術論理演算ユニット、マイクロプロセッサ、汎用コンピュータ、若しくは、メモリ１４０、入力装置１２０、出力装置１３０、又は通信モジュール１５０、からの電子データ信号を送信し、受信し、かつ処理し得る他の情報処理製品を含む。
【００２０】
入力装置１２０は、コンピューティング機器１００に対してユーザ入力を提供する、カーソルコントローラ又はキーボードのような任意の機器である。ある実施形態においては、入力装置１２０は、ＱＷＥＲＴＹキーボード、キーパッド又はタッチスクリーン上に表示されたそれらの代替物のような、情報及び／又は命令選択をプロセッサ１１０又はメモリ１４０に送信する英数字入力機器を含み得る。他の実施形態においては、入力装置１２０は、ジョイスティック、マウス、トラックボール、スタイラス、ペン、タッチスクリーン、カーソル移動キー、又は画像の動きを調節する他の機構のような、プロセッサ１１０に対して命令選択と同様に位置データを送信できるユーザ入力装置である。
【００２１】
出力装置１３０は、ここに記述されるような電子画像及び電子データを表示できる任意の機器である。出力装置１３０は、例えば、有機発光ダイオードディスプレイ（ＯＬＥＤ）、液晶ディスプレイ（ＬＣＤ）、陰極管ディスプレイ（ＣＲＴ）、若しくは、表示装置、スクリーン又はモニタを備えた任意の他の同等の装置であってよい。ある実施形態においては、出力装置１３０は、接触感応式透明パネルが出力装置１３０のスクリーンを覆うような、タッチスクリーンを備えている。
【００２２】
メモリ１４０は、プロセッサ１１０によって実行される命令及び／又はデータを格納する。命令及び／又はデータは、ここで記述される任意の及び／又はすべての技術を実行するためのコードを含む。メモリ１４０は、動的ランダムアクセスメモリ（ＤＲＡＭ）デバイス、静的ランダムアクセスメモリ（ＳＲＡＭ）デバイス、フラッシュＲＡＭ、他の不揮発性ストレージ装置、これらの組合せ、又は当業界に知られている他のメモリーデバイスであってもよい。メモリ１４０は、分類器１４２、データセットストア１４４及び特徴抽出モジュール１４６を含み、プロセッサ１１０、入力装置１２０、出力装置１３０及び／又は通信モジュール１５０と通信可能に接続されている。
【００２３】
分類器１４２は、データをカテゴリに関連付ける情報を提供する。つまり、分類器１４２は、入力テキストデータを受け取り、当該入力テキストデータをカテゴリに関連付ける。ある実施形態においては、分類器は、線形カーネルを使用するサポートベクトルマシーン（ＳＶＭ）である。このようなＳＶＭは、I. Tsochantardis他による“Support Vector Learning for Interdependent and Structured Output Spaces”International Conference on Machine Learning 2004(ICML-2004)及びK.CrammerとY.Singerによる“On the Algorithmic Implementation of Multiclass Kernel-Based Vector Machine”Journal of Machine Learning, vol.2,pages 265-292に記述されており、これらの文献は、そのすべてがここに引用される。他の実施形態においては、分類器１４２は、１又は複数のカテゴリを有する既存データを使用するための指示を含み、当該既存データによって記述されるカテゴリに受け取ったデータを関連付ける。
【００２４】
データセットストア１４４は、複数のデータセットに体系化された１又は複数のコンセプトを記述するテキストデータを含む。ある実施形態においては、データセットストア１４４は、ラベル付けされたデータセット及びラベル付けされていないデータセットのように、異なるフォーマットを有するテキストデータを含む。ラベル付けされたデータセットは、タイトル、コンテンツ又はデータの他の特性に基づいて、質問と回答との組合せのようなデータを１又は複数のカテゴリ又は１又は複数のサブカテゴリに体系化する。ラベル付けされたデータセットの例として、“ＹＡＨＯＯ（登録商標）Ａｎｓｗｅｒｓ”、“Ｏｐｅｎ  Ｄｉｒｅｃｔｏｒｙ  Ｐｒｏｊｅｃｔ”、Ｗｉｋｉｐｅｄｉａ又は１又は複数のカテゴリに分類されたデータの他のコレクションがある。ラベル付けされていないデータセットは、カテゴリにグループ化されていない又はカテゴリに体系化されていない１又は複数のコンセプトを記述するデータを含む。ある実施形態においては、データセットストア１４４のコンテンツは、修正されて、画像のようなあるタイプのデータ、先端科学トピック又は、人名、地名又は記述困難なコンセプトのような他の特殊なデータを除去している。あるタイプのデータを除去することによって、データセットストア１４４は、様々な共通状況又は様々な共通シナリオを記述するデータを最大限に含むことができる。データセットストア１４４は複数のデータセットを含むので、主データセットは、受け取られたデータの分類を実行するために使用される一方、１又は複数の追加的データセットである“補助データセット”は、受け取られたデータの特徴を増やし、主データセットを使用して受け取られたデータの分類をより正確にするために使用される。補助データセットは、受け取られたデータに関連付けられた情報の量を増加させ、分類器１４２が、受け取られたデータの、用語のような、部分をより正確に識別又は解釈することを可能にする。データセットストア１４４にラベル付けされたデータセット及びラベル付けされていないデータセットの両方を含むことは、受け取られたデータを分類するために分類器１４２によって使用されるべき異なるトピック又は主題についての情報量を増加させ、分類結果をより正確にする。
【００２５】
特徴抽出モジュール１４６は、補助データセットからの特徴の生成を記述し、異なる特徴の分類との妥当性を決定するデータを含む。ある実施形態においては、特徴抽出モジュール１４６は、補助データセットを使用して、分類器１４２のような分類器をどのように訓練するか、そして、当該分類器が行った予測を、入力データの特徴として、入力データに関連付けられたデータ見本にどのように対応させるかということを記述するデータを含む。分類予測を入力データの特徴として使用する方法は、図３とともにさらに後記される。例えば、特徴抽出モジュール１４６は、“Computing Semantic Relatedness Using Wikipedia-Based Explicit Semantic Analysis,” International Joint Conference on Artificial Intelligence (IJCAI-07) pages 1606-1612において、E. Gabrilovichによって記述されるような顕在的意味分析を実行するための指示を含む。当該文献は、そのすべてがここに引用される。ある実施形態においては、特徴抽出モジュール１４６は、クラスタベースの特徴生成を使用して、１又は複数のラベル付けされていないデータセットからデータを抽出する１又は複数の方法を記述するデータも含む。したがって、入力データを分類し、入力テキストを正しいカテゴリに分類する可能性を高める補助データセットからの追加関連情報で当該入力データを増やすときに、特徴抽出モジュール１４６は、複数のデータセットからの情報を使用することを可能にする。
【００２６】
ある実施形態においては、コンピューティング機器１００は、コンピューティング機器１００をネットワーク（図示せず）又は他のコンピューティング機器にリンクさせる通信モジュール１５０をさらに有する。ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）及び／又は複数の機器間の通信を可能にする他の相互接続データパスを有してもよい。ある実施形態においては、通信モジュール１５０は、ＵＳＢ、ＩＥＥＥ１３９４又はイーサネット（登録商標）のような、ファイル及び情報を分配するコンピューティング機器との従来式の接続である。他の実施形態においては、通信モジュール１５０は、赤外線通信、ＩＥＥＥ８０２.１１ａ/ｂ/ｇ/ｎ（すなわち、ＷｉＦｉ）通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、３Ｇ通信、ＩＥＥＥ８０２.１６（すなわち、ＷｉＭａｘ）通信又はラジオ周波数通信のような従来タイプの送受信器である。
【００２７】
コンピューティング機器１００が、本発明の主旨を逸脱することなく図１に示された以外の構成要素を有してもよいし、図１に示された構成要素を欠いてもよいことは、当業者には明らかである。例えば、コンピューティング機器１００は、例えば第１のレベルキャッシュ又は第２のレベルキャッシュのような追加メモリ、若しくは、１又は複数のアプリケーション特定型集積回路（ＡＳＩＣｓ）を含んでもよい。同様に、コンピューティング機器１００は、追加的な入力装置又は出力装置を含んでもよい。本発明のいくつかの実施形態では、１又は複数の構成要素（１１０、１２０，１３０、１４０，１４２、１４４、１４６）は相互に近接して配置され得る一方、他の実施形態では、これらの構成要素は、地理的に離れた場所に配置され得る。例えば、メモリ１４０内のユニットは、コンピューティング機器１００から分離して配置される１又は複数のプロセッサ１１０によって実行され得るプログラムであってもよい。
【００２８】
図２は、本発明のある実施形態に係る、複数の異種のデータセットからの追加的知識を使用して入力データを分類する方法を示すフローチャートである。ある実施形態においては、方法２００のステップは、記述された動作を起こすソフトウエア指示又はファームウエア指示を実行するマイクロプロセッサ１１０によって実施される。当業者であれば、ハードウエア及び／又はソフトウエア又はそれらの組合によって、１又は複数の方法が実施されてもよいことがわかる。例えば、記述された動作を実行する指示は、コンピュータ読取可能な媒体内に具現化され、又は、格納される。さらに、当業者であれば、他の実施形態では、図２のステップが異なる順序で実行され得ることがわかる。さらに、他の実施形態では、ここに記述された以外の、異なる及び／又は追加的なステップが含まれ得る。
【００２９】
最初に、入力装置１２０又は通信モジュール１５０から入力テキストデータが受け取られる（ステップ２１０）。例えば、入力テキストデータは、状況又はシナリオを記述する、“I drive a HONDA(登録商標)”のような１又は複数のテキスト断片を含む。ある実施形態においては、入力テキストデータが処理されて、ストップワードを除去し、又は、１０単語未満の文字列を除去する。ストップワードのような、データを含む可能性が低い単語を除去することによって、かつ、分類時に使用されてしまう最小情報を含む短い文字列を除去することによって、当該初期処理は、分類され得る入力テキストデータ内の情報量を最大化する。次に、主データセットがデータセットストア１４４から識別される（ステップ２１５）。ある実施形態においては、主データセットは、トピック又はコンテンツによって体系化された複数のカテゴリに分類されたテキストデータを含むラベル付けされたデータセットを有する。例えば、主データセットは、“ＹＡＨＯＯ（登録商標）Ａｎｓｗｅｒｓ”又は“ＧＯＯＧＬＥ（登録商標）Ａｎｓｗｅｒｓ”のようなトピックによって体系化された質問と回答との組合せのコーパス、若しくは、会話のコンテンツに基づいて複数のカテゴリにグループ化される転写された会話のコーパスを有する。
【００３０】
主データセットに加えて、複数の補助データセットがアクセスされる（ステップ２２０）。複数の補助データセットは、入力テキストが、補助データセットからの追加背景情報を伴って増やされることを可能にするので、入力テキストに含まれる語に関連付けられた文脈又は追加詳細情報を提供することによって分類精度が向上する。補助データセットは、１又は複数のラベル付けされていないデータセット、１又は複数のラベル付けさたデータセット、又は、ラベル付けされたデータセットとラベル付けされていないデータセットとの組合せである。次に、１又は複数の特徴が各補助データセットから生成される（ステップ２３０）。特徴は、情報が補助データセットから抽出され、補助データセットから入力テキストデータに移転されることを可能にするので、入力テキストデータ内に含まれる分類のための情報の量及びタイプが増加する。このようにして、入力テキストのコンテンツを記述する特徴のセットを生成する（ステップ２３０）ために主データセット及び補助データセットが使用される。補助データセットからの特徴の生成は、さらに、図３において後記される。
【００３１】
分類器１４２の効率を高め、過度の特徴生成を回避するために、補助データセットからの特徴のセットが評価されて、最も妥当性の高い特徴が選択される（ステップ２４０）。ある実施形態においては、図４においてさらに後記するように、異なる特徴と入力テキストデータとの間の相互情報スコアを決定することによって妥当性の高い特徴が選択される（ステップ２４０）。例えば、閾値以上の相互情報スコアを有する特徴が選択され（ステップ２４０）、又は、最高の相互情報スコアを有する特徴のセットが選択される（ステップ２４０）。補助データセットからの妥当性の高い特徴が識別され、入力テキストデータを増やすために使用された後、分類器１４２は、選択された特徴を使用して入力テキストデータとの妥当性が最も高いカテゴリを識別し、入力テキストデータを最も妥当性の高いカテゴリに分類する（ステップ２５０）。ある実施形態においては、選択された特徴を付す増加の後で入力テキストデータを分類する（ステップ２５０）ために、線形カーネル付のサポートベクトルマシーン（ＳＶＭ）が使用される。
【００３２】
以上より、補助データセットからの特徴は、入力テキストデータに、背景情報のような追加データを組み込み、入力テキストデータの分類精度を高めることを可能にする。補助データセットからの追加情報は、分類器１４２が、あたかも人間が過去の経験を使用して別の文脈において使用される定義語を決定するように、入力テキスト内の語をより正確に解釈すること、又は、入力テキストのトピックをより正確に識別することを可能にする。さらに、分類（ステップ２５０）するために補助データセットからの情報を使用することは、入力テキストデータの文脈候補を考慮しつつ補助データセットを使用して各単語の意味を識別することによって、５語〜１０語程度の単語数が少ない入力テキストをより正確に分類することを可能にする。
【００３３】
図３は、本発明のある実施形態に係る、複数の補助データセットから特徴を生成する（ステップ２３０）方法を示すフローチャートである。ある実施形態においては、データセットストア１４４は、ラベル付けされていないデータセット、ラベル付けされたデータセット、又は、ラベル付けされたデータセットとラベル付けされていないデータセットとの組合せのような、複数の異なるタイプのデータセットを含む。データセットストア１４４に異なるタイプのデータセットが含まれているので、まず、補助データセットのタイプが決定される（ステップ３１０）。知識移転のための従来アプローチは、異なる特性を有する複数のデータセットに適用するには不向きであるので、データセットのタイプをまず決定すると（ステップ３１０）、データセットの特性に最も適する知識移転方法を選択できる。図３に示される例では、データセットは、テキストデータの主題、トピック又はコンテンツに基づいて１又は複数のカテゴリに体系化されているテキストデータを含むラベル付けされたデータセットであるか、それとも、複数の主題又はトピックを記述する体系化されていないテキストデータを含むラベル付けされていないデータセットであるかが決定される（ステップ３１０）。
【００３４】
補助データセットはラベル付けされたデータセットであると決定された場合（ステップ３１０）、補助データセットのコンテンツのベクトル表示が生成される（ステップ３２０）。ある実施形態においては、ラベル付けされた補助データセット内のカテゴリごとに、単語出現頻度−逆出現頻度（ＴＦ−ＩＤＦ）ベクトルが生成される（ステップ３２０）。例えば、補助データセットが、“レストラン”、“バー”及び“カーレンタル”という３つのカテゴリに体系化されているラベル付けされたデータを有する場合、各カテゴリのコンテンツは、カテゴリごとに複数のＴＦ−ＩＤＦベクトルを生成する（ステップ３２０）ために使用される。したがって、前記例では、 “レストラン”カテゴリに含まれる単語を記述するＴＦ−ＩＤＦベクトルが生成され（ステップ３２０）、“バー”カテゴリ及び“カーレンタル”カテゴリのそれぞれに含まれる単語を記述するために、別のＴＦ−ＩＤＦベクトルが生成される（ステップ３２０）。ＴＦ−ＩＤＦベクトルを使用することによって、生成されたベクトル表示は、当該ベクトル表示された単語の当該カテゴリに対する重要度を示す。主データセットが既知であるので、ベクトル生成は、主データセットに出現する単語に限定され、補助データセットのベクトル表示された単語数が減少する。
【００３５】
各補助データセットカテゴリのベクトル表示サイズを制限し、ベクトル表示が各補助データセットカテゴリを正確に記述する可能性を増加させるために、各カテゴリのベクトル表示として各ＴＦ−ＩＤＦベクトルの重心が使用される。しかしながら、補助データセットのベクトル表示は、無関係な単語又は間違って分類された単語を含むことがあるので、補助データセット内の各カテゴリのベクトル表示は、後に、予め決定された数の単語を含むように切り詰められる（ステップ３３０）。ある実施形態においては、各カテゴリのＴＦ−ＩＤＦベクトル表示は、ベクトル表示された各単語に関連付けられたＴＦ−ＩＤＦ値によって体系化されているので、ＴＦ−ＩＤＦベクトルは、各単語の対応するカテゴリに対する重要度を示す。例えば、ベクトル表示された最初の１０単語が、分析されているドキュメントとの関連性が最も高い１０単語であれば、当該１０単語は、当該ベクトル表示によって表されるカテゴリのコンテンツを最も正確に表すことになる。したがって、ある実施形態においては、補助データセットコンテンツのベクトル表示を切り詰める（ステップ３３０）ためにベクトル空間から選択された予め決定された数の単語は、ラベル付けされたデータセットに含まれるトピック又はカテゴリを最も正確に表している。
【００３６】
主データセット内の各ドキュメントの、ＴＦ−ＩＤＦ表示のようなベクトル表示が生成されて（ステップ３４０）、主データセット内のドキュメントコンテンツに基づいて、補助データセットからの特徴の数を、識別された主データセットに対して妥当な特徴の数にまで制限する。補助データセットカテゴリの切り詰められたベクトル表示ごとに、当該補助データセットの切り詰められたベクトル表示と入力テキストデータとの間の類似度が決定される（ステップ３５０）。ある実施形態においては、入力テキストデータと補助データセットの切り詰められたベクトル表示との間の類似度は、入力テキストデータと補助データセットカテゴリの切り詰められたベクトル表示との余弦類似度を計算することによって決定される（ステップ３５０）。入力テキストデータと補助データセットカテゴリのベクトル表現との余弦類似度が特定の閾値を超える場合は、対応する補助データセットカテゴリが、入力テキストデータに対して、特徴として追加される。このようにして、補助データセット内の１又は複数のカテゴリからの情報であって、入力テキストデータに類似する情報が、入力テキストデータに対して追加的特徴として追加されていき、追加的情報を伴う入力テキストデータが増加すると、分類器１４２は、入力テキストデータ内のコンテンツ及び語の意味をよりよく解釈できるようになる。
【００３７】
補助データセットはラベル付けされていないデータセットであると決定された場合（ステップ３１０）、クラスタが補助データセットから生成され（ステップ３２５）、生成された特徴の数を減らし、リアルタイムでの処理実行及びメモリ資源の節約を可能にする。ある実施形態においては、規定の数のクラスタが、ＣＬＵＴＯクラスタリングソフトウエアによって実行されるクラスタリング方法のような、教師なし凝集クラスタリングを使用することによって生成される（ステップ３２５）。例えば、（Ｋ）（Ｎ）クラスタが生成される。ここで、Ｎは、主データセット内のカテゴリの数であり、５０のような定数である。次に、生成された各クラスタのベクトル表示が生成される（ステップ３２７）。ある実施形態においては、補助データセットのクラスタごとに単語出現頻度−逆出現頻度（ＴＦ−ＩＤＦ）ベクトルが生成される（ステップ３２７）。次に、最高のＴＦ−ＩＤＦスコアを有する２０単語のような、ベクトルのサブセットが各クラスタのベクトル表示から識別される（ステップ３３５）。このようにして、ある実施形態においては、予め決定された数の単語が、各クラスタのベクトル表示から選択され、各クラスタの単語代表のサブセットが形成される。
【００３８】
補助データセット内のクラスタからの単語のサブセットごとに、補助データセットの各クラスタと入力テキストデータとの間の類似度が決定される（ステップ３５５）。ある実施形態においては、入力テキストデータと補助データセットとの間の類似度は、主データセットドキュメントのベクトル表示と補助データセットクラスタのベクトル表示との余弦類似度を計算することによって決定される（ステップ３５５）。補助データセットクラスタのベクトル表示と入力テキストデータとの余弦類似度が特定の閾値を超える場合は、対応する補助データセットクラスタが、主データセットからのドキュメントに対して特徴として追加される（ステップ３６０）。このようにして、補助データセットからの情報が入力テキストデータに追加され、分類器１４２が入力テキストデータ内の語をより正確に解釈することを可能にする追加的情報を提供する。
【００３９】
図３は、ラベル付けされていないデータセットから特徴を抽出するためにクラスタベースの特徴生成を使用する例を示すが、他の実施形態においては、M.Berry、S.T.Dumais及びG.W.O’Brienによる“Using Linear Algebra for Intelligent Information Retrieval”SIAM Review 37(4):537-595に記述された主成分分析のような方法、又は、R.Raina他による“Self-Taught Learning: Transfer Learning from Unlabeled Data,” ICML-2007に記述されたスパースコーディングが使用されて、ラベル付けされていないデータセットから高レベル特徴を抽出してもよい。これらの文献は、その全体がここに引用される。
【００４０】
図４は、本発明のある実施形態に係る、補助データセットから関連する特徴を選択する方法２４０を示すフローチャートである。分類効率を高め、過度の特徴生成を回避するために、補助データセットから生成される特徴の数は、分類中の入力テキストデータと最も関連性の高いカテゴリ又はクラスタからの特徴の数にまで減らされる。補助データセットからの特徴は、様々なカテゴリごとに分析され、様々なカテゴリに入力テキストデータを分類することにどのように当該特徴が貢献するかを決定する。
【００４１】
最初に、入力テキストデータからデータのカテゴリが識別される（ステップ４１０）。次に、１又は複数の補助データセットからの特徴の各候補と識別されたカテゴリとの期待相互情報スコアが計算される（ステップ４２０）。相互情報スコアは、入力テキストデータを識別されたカテゴリのメンバとして分類する正確さに対して特徴の有無がどのようにかかわるかを記述する。ある実施形態においては、相互情報スコアは次のように計算される。
【００４２】
【数１】
2011501275.tif 000003
【００４３】
ここで、Ｆは、２値のランダムな変数であり、データの現在サンプルに特徴が含まれている場合は値「１」を有し、データの現在サンプルに特徴が含まれていない場合は値「０」を有する。Ｃは、２値のランダムな変数であり、データの現在サンプルが識別されたカテゴリに属する場合は値「１」を有し、それ以外の場合は、値「０」を有する。
【００４４】
ある実施形態においては、前記の相互情報スコア内の変数Ｆ及びＣに関連付けられた確率が、最尤法を使用して計算される。特徴の候補ごとかつ識別されたカテゴリごとに相互情報スコアを計算した（ステップ４２０）後、最高の相互情報スコアを有する特徴の候補が決定され（ステップ４３０）、その後当該候補が入力テキストデータの特徴として増やされ（ステップ４４０）分類に貢献する。
【００４５】
前記では、本発明の特定の実施形態及び適用例を例示及び記述してきたが、本発明がここで開示された構造及び構成そのものに限定されないこと、並びに、添付された特許請求の範囲に記載された本発明の主旨を逸脱せずに、本発明の方法及び装置の配置、動作及び細部について様々な修正、変更及び変形例が可能であることは、当然である。
【符号の説明】
【００４６】
１００  コンピューティング機器
１１０  プロセッサ
１２０  入力装置
１３０  出力装置
１４０  メモリ
１４２  分類器
１４４  データセットストア
１４６  特徴抽出モジュール
１５０  通信モジュール（オプション）
【図１】
2011501275.tif 000004
【図２】
2011501275.tif 000005
【図３】
2011501275.tif 000006
【図４】
2011501275.tif 000007
【国際調査報告】
2011501275.tif 000008