(57)【要約】  高次元データセットの次元削減は、計算時間を減少させることができ、次元削減のためのプロセスは、より低次元のデータセットでも有用であり得る。次元削減方法は、機械学習プログラミング技術における計算要件を劇的に減少し得ることが発見されている。この開発により、これまで有用とならないほど多大な計算時間を必要としていた複雑な問題を解決するのに用いられるように計算モデリングの能力が解放される。【選択図】図２
2021501384.tif 000002
【特許請求の範囲】
【請求項１】
データセットを前処理することにより予測変数及び結果に関係するモデルを改良するのに必要とされる計算時間を減少させる方法であって、
エントリセットを備える第１のデータセットを記憶するステップであって、前記エントリセットの各エントリは、（１）少なくとも１つの特徴量及び（２）結果を備えるステップと、
前記第１のデータセットから第１及び第２のエントリサブセットを作成するステップと、
前記第１及び第２のエントリサブセットに対応する第１及び第２の説明測度を決定するステップであって、
前記第１の説明測度は、前記第１のエントリサブセットの第１の結果タイプに対応する少なくとも１つの第１のエントリサブセット特徴量に基づいており、
前記第２の説明測度は、前記第２のエントリサブセットの第２の結果タイプに対応する少なくとも１つの第２のエントリサブセット特徴量に基づいているステップと、
前記少なくとも１つの特徴量に関する一貫性測度を決定するステップであって、前記一貫性測度は、前記少なくとも第１及び第２の説明測度の変動性の測度に基づいているステップと、
前記少なくとも１つの特徴量に関する一貫性測度を閾値と比較するステップと、
前記少なくとも１つの特徴量に関する一貫性測度が閾値を下回る場合に、前記少なくとも１つの特徴量を前記第１のデータセットから却下するステップと、
を含む方法。
【請求項２】
前記第１のデータセットにおける各結果に関する値を定義するステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記第１の結果タイプと前記第２の結果タイプが同じである、請求項１に記載の方法。
【請求項４】
前記第１のエントリサブセットが、前記第１のデータセットからのいくつかのエントリを備え、前記第１のエントリサブセット内の結果の第１の割合が、前記第１のデータセット内の結果の第２の割合と実質的に同じである、請求項１に記載の方法。
【請求項５】
前記第１のデータセットから前記第１のエントリサブセットを作成するステップが、前記第１のデータセットからエントリをランダムに選択することをさらに含む、請求項１に記載の方法。
【請求項６】
前記第１及び第２の説明測度を決定するステップが、前記少なくとも１つの特徴量に関係する平均を決定することをさらに含み、前記少なくとも１つの特徴量が、前記第１の結果タイプに対応する、請求項１に記載の方法。
【請求項７】
前記平均が、ｔｒｉｍｅａｎとして決定される、請求項６に記載の方法。
【請求項８】
前記平均が、幾何平均として決定される、請求項６に記載の方法。
【請求項９】
前記平均が、算術平均として決定される、請求項６に記載の方法。
【請求項１０】
データセットを前処理することにより予測変数及び結果に関係するモデルを改良するのに必要とされる計算時間を減少させる方法であって、
エントリセットを備える第１のデータセットを記憶するステップであって、前記エントリセットの各エントリは、（１）少なくとも１つの特徴量及び（２）結果を備えるステップと、
前記第１のデータセットからの第１及び第２のエントリサブセットを定義するステップと、
前記第１のエントリサブセットからの第１のエントリ結果サブセットを定義するステップであって、前記第１のエントリ結果サブセットの各結果は実質的に同じであるステップと、
前記第１のエントリサブセットからの第２のエントリ結果サブセットを定義するステップであって、前記第２のエントリ結果サブセットの各結果は実質的に同じであるステップと、
前記第２のエントリサブセットからの第３のエントリ結果サブセットを定義するステップであって、前記第３のエントリ結果サブセットの各結果は実質的に同じであるステップと、
前記第２のエントリサブセットからの第４のエントリ結果サブセットを定義するステップであって、前記第４のエントリ結果サブセットの各結果は実質的に同じであるステップと、
前記第１のエントリ結果サブセットに対応する第１の結果測度を決定するステップであって、前記第１の結果測度は、第１のエントリ結果サブセット特徴量タイプを表す少なくとも１つの第１のエントリ結果サブセット特徴量に基づいているステップと、
前記第２のエントリ結果サブセットに対応する第２の結果測度を決定するステップであって、前記第２の結果測度は、少なくとも１つの第２のエントリ結果サブセット特徴量に基づいているステップと、
前記第３のエントリ結果サブセットに対応する第３の結果測度を決定するステップであって、前記第３の結果測度は、少なくとも１つの第３のエントリ結果サブセット特徴量に基づいているステップと、
前記第４のエントリ結果サブセットに対応する第４の結果測度を決定するステップであって、前記第４の結果測度は、少なくとも１つの第４のエントリ結果サブセット特徴量に基づいているステップと、
前記第１の結果測度及び前記第２の結果測度に基づく第１の最終結果測度を決定するステップと、
前記第３の結果測度及び前記第４の結果測度に基づく第２の最終結果測度を決定するステップと、
特徴量タイプに関連する一貫性測度を決定するステップであって、前記一貫性測度は、前記第１及び第２の最終結果測度の変動性の測度に基づいているステップと、
前記特徴量タイプに関連する一貫性測度を閾値と比較し、前記一貫性測度が前記閾値よりも小さい場合に、前記特徴量タイプを前記第１のデータセットから却下するステップと、
を含む方法。
【請求項１１】
前記第１のエントリ結果サブセットと、前記第２のエントリ結果サブセットと、前記第３のエントリ結果サブセットと、前記第４のエントリ結果サブセットが異なる、請求項１０に記載の方法。
【請求項１２】
前記少なくとも１つの第１のエントリ結果サブセット特徴量が、前記第１のエントリ結果サブセットにおける各特徴量の平均を含む、請求項１０に記載の方法。
【請求項１３】
少なくとも前記第１の最終結果測度と前記第２の最終結果測度を用いて第１の平均を決定するステップをさらに含む、請求項１０に記載の方法。
【請求項１４】
少なくとも（１）前記第１の平均及び（２）前記特徴量タイプに関連する一貫性測度に基づいて最終メトリックを決定するステップをさらに含む、請求項１３に記載の方法。
【請求項１５】
少なくとも１つのエントリの少なくとも１つの結果が、第２のデータセットの量子化から決定される、請求項１０に記載の方法。
【請求項１６】
データセットを前処理することにより予測変数及び結果に関係するモデルを改良するのに必要とされる計算時間を減少させるための装置であって、
（１）少なくとも４つのロー及び少なくとも２つのカラムを備え、第１のカラムが特徴量タイプに対応し、第２のカラムが結果に対応する、データセット、及び（２）いくつかの量子、を受信するように構成され、前記いくつかの量子に従って結果の次元を削減するべく結果に対応するカラムを量子化する、結果量子化モジュールと、
（１）前記データセット、（２）いくつかのサブセット、（３）選択方法を受信し、それにより、（１）前記いくつかのサブセット及び（２）前記選択方法に従ってサブセットを作成するように構成された、サブセット作成モジュールと、
前記サブセットを受信し、それにより、受信した前記サブセットのそれぞれに関する少なくとも２つのサブサブセットを作成するように構成され、前記各サブサブセットの第２のカラムが同じ値を有する、サブサブセット作成モジュールと、
（１）前記少なくとも２つのサブサブセット及び（２）代表メトリック決定方法を受信し、それにより、前記代表メトリック決定方法に基づいて前記少なくとも２つのサブサブセットの前記第１のカラムのそれぞれに関する代表メトリックを決定するように構成された、代表メトリックモジュールと、
指定されたサブセットに対応する前記少なくとも２つのサブサブセットの第１のカラムのそれぞれに関する前記代表メトリックを組み合わせて、組み合わせモジュール結果を出力するように構成され、第１のサブセットに係る出力は第１の組み合わせモジュール結果であり、第２のサブセットに係る出力は第２の組み合わせモジュール結果である、組み合わせモジュールと、
（１）第１の指定されたサブセットに対応する前記第１の組み合わせモジュール結果及び（２）第２の指定されたサブセットに対応する前記第２の組み合わせモジュール結果の変動性の測度を決定するように構成された、一貫性メトリックモジュールと、
前記第１の組み合わせモジュール結果及び前記第２の組み合わせモジュール結果に基づいてモードセレクタ出力を出力するように構成されたモードセレクタと、前記モードセレクタ出力、前記第１の組み合わせモジュール結果、及び前記第２の組み合わせモジュール結果に基づいて特徴量パワーモジュール結果を出力するように構成されたコンバイナユニットとを備える、特徴量パワーモジュールと、
（１）前記特徴量パワーモジュール結果、（２）前記変動性の測度、及び（３）前記第１の組み合わせモジュール結果のうちの少なくとも１つに従って前記データセットの次元を削減するように構成された、選択モジュールと、
を備える装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の技術分野は、次元削減により計算時間を減少させるための方法である。
【背景技術】
【０００２】
背景技術の説明は、本発明を理解するのに有用であり得る情報を含む。本出願で提供される情報のいずれも、現在特許請求される発明の又は関連する先行技術であることの自認ではない、又は具体的に又は暗黙的に引用されるどの刊行物も、先行技術であることの自認ではない。
【０００３】
データセットの利用可能性及びサイズが増加するのに伴い、「次元の呪い」が大規模データの演算を妨げる。
【０００４】
数百又はさらには数千の次元を有する高次元空間を解析するときに、三次元又は二次元設定などの低次元設定では起こらない計算問題が生じる。これらの空間に伴う問題は、或る問題への数値解を計算する時間が、有用とならないほど多大になり得ることである。高次元データソリューションでの問題の一例は、ボードゲーム「Ｇｏ」に最適な戦略を考案することである。Ｇｏのソリューションは、想像するのは容易だが計算は不可能であり、各動きに関して、プレイヤにとって最良の可能な動きは、そのプレイヤの勝利につながる可能性が最も高い可能な将来の動きの組をもたらすものである。しかし、可能な将来の動きの組は、その確率を計算するにはあまりにも多く、空間全体を計算するのに宇宙の年齢よりも時間がかかるであろう。したがって、「Ｇｏ」をプレイするように設計された人工知能ソリューションは、解に到達するために問題の次元を削減しなければならない。別の例は、疾病リスクに関する遺伝子をスクリーニングすることである。悪い形質が発現するリスクに影響し得る可能性ある遺伝子の数、及びリスクに影響し得る遺伝子の種々の組み合わせは、各可能性ある遺伝子及び遺伝子の組み合わせを効率よく計算するには多すぎる。結果に影響を及ぼす多数の可能性ある変数に伴う他の問題では、モデルの構築に同様の高次元性の問題が存在する。数百又は数千の変数の組からの１つ以上の変数を含む可能性あるモデルの数は、効率よく検索するにはひどく多い。したがって、変数の数の削減は、特定の問題を検索するための可能性あるモデルの空間を削減する。
【０００５】
高次元性の問題は、数値解析、サンプリング、組み合わせ論、機械学習、データマイニング、及びデータベースにおいて生じる。データの編成及び検索は、同様の特性をもつオブジェクトのグループの検出にしばしば依拠するが、高次元データでは、すべてのオブジェクトは、様々に異なって現れる場合があり、これは効率的なデータ編成及び検索を妨げることがある。
【０００６】
高次元のデータセットで生じる問題を低減する１つの方法は、最も計算量の多いプロセスを行う前に、関連する次元の数を削減することである。しかしながら、これはいくつかの異なる問題を生じる。第１に、次元を削減する方法は、それ自体が顕著に計算的に「よりチープ」でなければならない、すなわち、一定の処理能力を仮定して、後続のどの計算量の多いプロセスよりも処理時間が短くなければならない。第２に、次元を削減する方法はまた、潜在的に十分に関連性のある特徴量が次元削減で一緒に失われないように十分な正確さを提供しなければならない。
【０００７】
コンピュータ技術は進歩し続けているが、大きいデータセットを用いて複雑な問題を解決するのに複雑な計算技術を利用できるように高次元計算プログラミングの計算要件を低減する必要性が依然として存在している。
【０００８】
機械学習では、「特徴量選択」とは、問題に対する最も高い予測値を与えるオリジナルの変数又は特徴量のサブセットを見つけ出すことによりデータセットの次元の数を削減するプロセスを指す。従来の特徴量選択プロセスは、予測モデルを用いて特徴量サブセットをスコア付けするラッパー法、計算が速い「プロキシ測度」を用いて特徴量サブセットをスコア付けするフィルタ法、及びモデル構築プロセスの一部として用いられる技術の組を指す組み込み法を含む。これらの背景技術の特徴量選択法では、どれも比較的計算コストが高く、多くのタイプのモデルで上手く機能しない。
【０００９】
計算時間を減少させ、且つ、次元削減されたデータセットに適用される多くのタイプのモデルで上手く機能する様態で、次元削減を行うことができることはまだ認識されていない。次元削減プロセスが低次元空間でも有用であり得ることもまだ認識されていない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
したがって、次元削減により計算時間を減少させるための方法が、当該術分野では依然として必要とされている。
【課題を解決するための手段】
【００１１】
本発明は、次元を削減する方法により高次元のデータセットをモデル化するのに必要とされる計算時間が減少され得る、装置、システム、及び方法を提供する。
【００１２】
本発明の主題の１つの態様において、次元削減により計算時間を減少させるための方法が意図される。方法は、エントリセットを備える第１のデータセットを記憶するステップであって、エントリセットの各エントリは、（１）少なくとも１つの基準及び（２）結果を備えるステップと；第１のデータセットから第１及び第２のエントリサブセットを作成するステップと；第１及び第２のエントリサブセットに対応する第１及び第２の説明測度を決定するステップであって、第１の説明測度は、第１のエントリサブセットの第１の結果タイプに対応する少なくとも１つの第１のエントリサブセット基準に基づいており、第２の説明測度は、第２のエントリサブセットの第２の結果タイプに対応する少なくとも１つの第２のエントリサブセット基準に基づいているステップと；少なくとも１つの基準に関する一貫性測度を決定するステップであって、一貫性測度は、少なくとも第１及び第２の説明測度の変動性の測度に基づいているステップと；少なくとも１つの基準に関する一貫性測度を閾値と比較するステップと；少なくとも１つの基準に関する一貫性測度が閾値を下回る場合に、少なくとも１つの基準を第１のデータセットから却下するステップとを含む。
【００１３】
本発明の別の態様において、データセットを前処理することにより予測変数及び結果に関係するモデルを改良するのに必要とされる計算時間を減少させる方法は、エントリセットを備える第１のデータセットを記憶するステップであって、エントリセットの各エントリは、（１）少なくとも１つの特徴量及び（２）結果を備えるステップと；第１のデータセットからの第１及び第２のエントリサブセットを定義するステップと；第１のエントリサブセットからの第１のエントリ結果サブセットを定義するステップであって、第１のエントリ結果サブセットの各結果は実質的に同じであるステップと；第１のエントリサブセットからの第２のエントリ結果サブセットを定義するステップであって、第２のエントリ結果サブセットの各結果は実質的に同じであるステップと；第２のエントリサブセットからの第３のエントリ結果サブセットを定義するステップであって、第３のエントリ結果サブセットの各結果は実質的に同じであるステップと；第２のエントリサブセットからの第４のエントリ結果サブセットを定義するステップであって、第４のエントリ結果サブセットの各結果は実質的に同じであるステップと；第１のエントリ結果サブセットに対応する第１の結果測度を決定するステップであって、第１の結果測度は、第１のエントリ結果サブセット特徴量タイプを表す少なくとも１つの第１のエントリ結果サブセット特徴量に基づいているステップと；第２のエントリ結果サブセットに対応する第２の結果測度を決定するステップであって、第２の結果測度は、少なくとも１つの第２のエントリ結果サブセット特徴量に基づいているステップと；第３のエントリ結果サブセットに対応する第３の結果測度を決定するステップであって、第３の結果測度は、少なくとも１つの第３のエントリ結果サブセット特徴量に基づいているステップと；第４のエントリ結果サブセットに対応する第４の結果測度を決定するステップであって、第４の結果測度は、少なくとも１つの第４のエントリ結果サブセット特徴量に基づいているステップと；第１の結果測度及び第２の結果測度に基づく第１の最終結果測度を決定するステップと；第３の結果測度及び第４の結果測度に基づく第２の最終結果測度を決定するステップと；特徴量タイプに関連する一貫性測度を決定するステップであって、一貫性測度は、第１及び第２の最終結果測度の変動性の測度に基づいているステップと；特徴量タイプに関連する一貫性測度を閾値と比較し、一貫性測度が閾値よりも小さい場合に、特徴量タイプを第１のデータセットから却下するステップと、を含む。
【００１４】
本発明のまた別の態様において、データセットを前処理することにより予測変数及び結果に関係するモデルを改良するのに必要とされる計算時間を減少させるための装置であって、（１）少なくとも４つのロー及び少なくとも２つのカラムを備え、第１のカラムが特徴量タイプに対応し、第２のカラムが結果に対応する、データセット、及び（２）いくつかの量子、を受信するように構成され、いくつかの量子に従って結果の次元を削減するべく結果に対応するカラムを量子化する、結果量子化モジュールと；（１）データセット、（２）いくつかのサブセット、（３）選択方法を受信し、それにより、（１）いくつかのサブセット及び（２）選択方法に従ってサブセットを作成するように構成された、サブセット作成モジュールと；サブセットを受信し、それにより、受信したサブセットのそれぞれに関する少なくとも２つのサブサブセットを作成するように構成され、各サブサブセットの第２のカラムが同じ値を有する、サブサブセット作成モジュールと；（１）少なくとも２つのサブサブセット及び（２）代表メトリック決定方法を受信し、それにより、代表メトリック決定方法に基づいて少なくとも２つのサブサブセットの第１のカラムのそれぞれに関する代表メトリックを決定するように構成された、代表メトリックモジュールと；指定されたサブセットに対応する少なくとも２つのサブサブセットの第１のカラムのそれぞれに関する代表メトリックを組み合わせて、組み合わせモジュール結果を出力するように構成され、第１のサブセットに係る出力は第１の組み合わせモジュール結果であり、第２のサブセットに係る出力は第２の組み合わせモジュール結果である、組み合わせモジュールと；（１）第１の指定されたサブセットに対応する第１の組み合わせモジュール結果及び（２）第２の指定されたサブセットに対応する第２の組み合わせモジュール結果の変動性の測度を決定するように構成された、一貫性メトリックモジュールと；第１の組み合わせモジュール結果及び第２の組み合わせモジュール結果に基づいてモードセレクタ出力を出力するように構成されたモードセレクタと、モードセレクタ出力、第１の組み合わせモジュール結果、及び第２の組み合わせモジュール結果に基づいて特徴量パワーモジュール結果を出力するように構成されたコンバイナユニットと、を備える、特徴量パワーモジュールと；（１）特徴量パワーモジュール結果、（２）変動性の測度、及び（３）第１の組み合わせモジュール結果のうちの少なくとも１つに従ってデータセットの次元を削減するように構成された、選択モジュールと；を備える装置が提供される。
【００１５】
開示される主題は、或るタスク（例えば、遺伝的プログラミング）を行うのに必要とされる計算サイクルを劇的に減少させることによりコンピュータの改善した動作を含む有利な技術的効果をもたらすことを理解されたい。本発明の主題なしには、遺伝的プログラミングは、主に、時には数か月及び数年の計算時間を必要とするその法外な計算要件のために、多くの状況において支持できるソリューションではない。
【００１６】
本発明の主題の種々の目的、特徴、態様、及び利点が、好ましい実施形態の以下の詳細な説明と、同様の数字が同様の構成要素を表す添付図から、より明らかとなるであろう。
【図面の簡単な説明】
【００１７】
【図１】例示的なデータセットを示す図である。
【図２】本発明に係る例示的なプロセスを示す図である。
【図３】結果量子化モジュールを示す図である。
【図４】サブセット作成モジュールを示す図である。
【図５】サブサブセット作成モジュールを示す図である。
【図６】代表メトリックモジュールを示す図である。
【図７】例示的なサブサブセット及び関連する代表メトリックを示す図である。
【図８】組み合わせモジュールを示す図である。
【図９】特徴量メトリックのアレイを示す図である。
【図１０】一貫性メトリックモジュールを示す図である。
【図１１】特徴量パワーモジュールを示す図である。
【図１２】選択モジュールを示す図である。
【発明を実施するための形態】
【００１８】
定義
以下の説明は、本発明の主題の例示的な実施形態を提供する。各実施形態は、本発明の要素の単一の組み合わせを表すが、本発明の主題は、開示される要素のすべての可能な組み合わせを含むと考えられる。したがって、一実施形態が要素Ａ、Ｂ、及びＣを備え、第２の実施形態が要素Ｂ及びＤを備える場合、本発明の主題は、明示的に開示されない場合であっても、Ａ、Ｂ、Ｃ、又はＤの他の残りの組み合わせを含むとも考えられる。
【００１９】
本出願での説明において及びそれに続く請求項の全体を通して用いられる場合の「１つの（ａ、ａｎ）」、及び「その（ｔｈｅ）」の意味は、文脈上そうでないとする明確な指示がない限り、複数形の言及を含む。また、本出願の説明において用いられる場合の「〜における、〜での（ｉｎ）」の意味は、文脈上他の意味に明白に規定される場合を除き、「〜における、〜での（ｉｎ）」及び「〜における、〜上での（ｏｎ）」を含む。
【００２０】
また、文脈上そうでないとする指示がない限り、本出願において用いられる場合の「〜に結合される」という用語は、直接結合（互いに結合される２つの要素が互いに接触している）と間接結合（２つの要素間に少なくとも１つのさらなる要素が存在する）との両方を含むことを意図している。したがって、「〜に結合される」及び「〜と結合される」という用語は、同意語として用いられる。
【００２１】
いくつかの実施形態において、本発明の特定の実施形態を説明及び特許請求するのに用いられる、濃度、反応条件などの、成分、特性の量を表す数字は、すべての事例において「約」という用語によって修飾されると理解される。したがって、いくつかの実施形態において、本明細書及び付属の請求項に記載の数値パラメータは、特定の実施形態によって得ようとする所望の特性に応じて変化し得る近似値である。いくつかの実施形態において、数値パラメータは、報告された有効数字の数を考慮して、通常の丸め技術を適用することによって解釈されるべきである。本発明のいくつかの実施形態の広い範囲を記載する数値範囲及びパラメータは近似値であるにもかかわらず、具体例に記載の数値は、可能な限り正確に報告されている。さらに、文脈上それに反する規定のない限り、本出願に記載のすべての範囲は、それらの端点を含むと解釈されるべきであり、オープンエンドの範囲は、商業的に実用的な値のみを含むと解釈されるべきである。同様に、値のすべての列挙は、文脈上それに反する規定のない限り中間値を含むものとして考えられるべきである。
【００２２】
コンピュータに向けられたどの言葉も、個々に又は集合的に動作するサーバ、インターフェース、システム、データベース、エージェント、ピア、エンジン、コントローラ、又は他のタイプのコンピューティングデバイスを含む、コンピューティングデバイスの任意の適切な組み合わせを含むように読まれるべきであることに留意されたい。コンピューティングデバイスは、有形の一時的でないコンピュータ可読記憶媒体（例えば、ハードドライブ、ソリッドステートドライブ、ＲＡＭ、フラッシュ、ＲＯＭなど）に記憶されたソフトウェア命令を実行するように構成されたプロセッサを備えることを理解されたい。ソフトウェア命令は、好ましくは、コンピューティングデバイスを、開示される装置に関して後述する役割、責任、又は他の機能を提供するように構成する。特に好ましい実施形態では、種々のサーバ、システム、データベース、又はインターフェースは、ことによるとＨＴＴＰ、ＨＴＴＰＳ、ＡＥＳ、公開鍵−秘密鍵交換、ウェブサービスＡＰＩ、公知の金融トランザクションプロトコル、又は他の電子情報交換方法に基づいて、標準化されたプロトコル又はアルゴリズムを用いてデータを交換する。データ交換は、好ましくは、パケット交換網、インターネット、ＬＡＮ、ＷＡＮ、ＶＰＮ、又は他のタイプのパケット交換網上で行われる。以下の説明は、本発明を理解するのに有用であり得る情報を含む。本出願で提供される情報のいずれも、現在特許請求される発明の又は関連する先行技術であることの自認ではない、又は具体的に又は暗黙的に参照されるどの刊行物も、先行技術であることの自認ではない。
【００２３】
本出願で用いられる場合の「セット」又は「サブセット」などの用語は、１つ以上のアイテムを含むように解釈されることを意図している。「セット」が、他に記載のない限り１つよりも多くのアイテムを含むことは必須ではない。或る状況では、「セット」は、空であってアイテムを含んでいない場合もある。
【００２４】
本発明の主題の目的は、対象データセットにおける予測変数と結果の関係性を記述するモデルを作成するのに用いられる低性能の（例えば、不必要な又は必要とされない）モデルコンポーネントを識別し、排除することである。可能性あるモデルコンポーネントの数のプルーニングは、高性能のモデルに集束させるのに必要とされる計算時間を減少させることにより計算効率を向上させる。
【００２５】
本発明の多くの実施形態は、本発明を例示するのに役立つ。
【００２６】
一実施形態において、本発明は、ソフトウェア命令の組を含む。
【００２７】
別の実施形態において、本発明は、本明細書で説明される本発明の文脈において、汎用コンピュータの機能を向上させる特殊なハードウェアを含む。
【００２８】
さらに別の実施形態において、本発明は、汎用コンピュータの機能を向上させる特殊なハードウェアを含む。
【００２９】
データセット
本発明の一実施形態において、データセット１０１で動作するモジュールが提供される。データセット１０１の例示的な態様が図１で説明される。図１を参照すると、例示的な態様は、結果１０２と、結果１０２に関連する特徴量１０３を含む。結果１０２は、コンピュータによりアクセス可能なメモリ内のその場所により又は別のインデックス作成法によりインデックスを付けられてよく、これにより、結果アレイ１０２ａを形成する。同様に、特徴量１０２は、メモリ内のその場所により又は別のインデックス作成法によりインデックスを付けられてよく、特徴量アレイ１０３ａを形成する。図１に示すように、データセット１０１は、データセット１０１の特定のカラムを識別するためにインデックス作成法により結果アレイ１０２ａを特徴量アレイ１０３ａから区別でき得るような特徴量及び結果のアレイを備えてよい。（図１では、例えば、インデックス「ｎ＋１」は、結果カラムに相当することもできる。）さらに、データセットの各ローは、「ｉ，ｊ」などのインデックスアドレスが、次式：ｋ＝ｊ＊［ローの数］＋ｉにより単一のパラメータインデックスｋに相当することになるように、別の方法でインデックスを付けられてよい。サンプル１０４は、少なくとも１つの特徴量と少なくとも１つの結果を備える。データセット１０１内で、同じカラムインデックスによりインデックスを付けられた特徴量は、同じカラムインデックス及び異なるローインデックスの特徴量と共通のタイプとなり、これにより、特徴量タイプ１０５を形成する。もちろん、共通のタイプの特徴量をグループ化するための異なるインデックス作成スキームが可能である。
【００３０】
プロセス
図２は、本発明を用いる例示的なプロセスを示す。データセット１０１が、データセットを処理する、結果量子化モジュール２０１に入力される。いくつかの実施形態において、結果二値化モジュール２０２が、結果量子化モジュール２０１による処理の後にデータセット１０１をさらに処理してよい。図２に示すように、結果量子化モジュール２０１と結果二値化モジュール２０２との両方の後に、サブセット作成モジュール２０３が呼び出される。いくつかの実施形態において、サブセット作成モジュールは、結果量子化モジュール２０１又は結果二値化モジュール２０２の前又は後のいずれかに呼び出されてよい。次いで、サブセット作成モジュール２０３の後に、サブサブセット作成モジュール２０４が呼び出される。処理は、さらに詳しく後述する、代表メトリックモジュール２０５、組み合わせモジュール２０６、一貫性メトリックモジュール２０７、特徴量パワーモジュール２０８、及び選択モジュール２０９を呼び出す。
【００３１】
結果量子化モジュール
図３を参照して同じく説明されるのは、結果量子化モジュール２０１である。結果量子化モジュール２０１は、結果アレイ１０２ａと量子の数３０１とを含む入力を取り込む。図３に示すように、各得られる結果アレイ１０２ａが、量子化器３０２に入力される。量子化器３０２は、結果３０３を受信するときに、結果３０３が量子の範囲を定義する第１の値と第２の値との間にあるかどうかを判定する。結果３０３が量子の範囲を定義する第１の値と第２の値との間にある場合、入力結果に対応する量子化器３０２の出力は前記量子となり、これにより、結果に関する値を定義する。或る入力に関して、量子化器３０２は、さらに最適化されてよい。例えば、得られる結果アレイ１０２ａ中の結果が符号なし整数を含み、且つ量子の数３０１が２のべき乗である場合、量子化器３０２は、量子化器３０２の結果的に生じる範囲の出力が量子の数３０１に等しくなるように、結果３０３をビットシフトして最下位のビットを排除することにより動作してよい。したがって、量子化器３０２は、量子化された結果アレイ３０４を出力する。
【００３２】
量子を定義する値の範囲は、結果アレイ１０２ａにおける値の範囲及び量子の数から事前に定義又は決定されてよい。一実施形態では、例えば、量子化器３０２は、一様分布ランダム化関数の出力として合理的に近似され得るように結果アレイ１０２ａを変換するべく適切なマッピング関数を決定することになる。結果アレイ１０２ａがそういうものとして既に良く近似されている場合、変換は恒等であろう。変換された結果アレイ１０２ａが一様分布として合理的に近似され得る一実施形態では、量子を定義する値の範囲は、結果アレイ１０２ａの全範囲間で一様分布となるように決定されることになる。
【００３３】
結果二値化モジュール
同じく説明されるのは、いくつかの実施形態において存在する、結果二値化モジュール２０２である。結果二値化モジュール２０２は、入力として、結果アレイ１０２ａ又は量子化された結果アレイ３０４のいずれかを受信する。結果二値化モジュール２０２はまた、入力として、結果アレイ１０２ａにおける量子の中の１つの量子を選択するべくパラメータを受信する。次いで、各得られる結果アレイ１０２ａ又は量子化された結果アレイ３０４に関する可能な値が、二値化された結果を生成するべく量子化により２つの値に削減される。
【００３４】
サブセット作成モジュール
同じく説明されるのは、図４に示されるサブセット作成モジュール２０３である。サブセット作成モジュール２０３は、入力として、データセット１０１、サブセットの数４０１、及び選択方法４０２を受信する。サブセットの数４０１は、通常は当業者によって決定されるが、いくつかの実施形態ではデータセット１０１に基づいて決定され得る。サブセット作成モジュール２０３は、各サンプルを、サブセット４０３のうちの１つと関連付ける。関連付けは、例えば、メモリロケーションのリストを作成することにより達成されてよく、この場合、各メモリロケーションは、データセット１０１におけるサンプルを指す。次いで、例えば、リストによりサブセット４０３ａが定義され得る。各サンプルのすべてのデータをメモリ内の新しい場所にコピーする代わりにメモリロケーションのリストを作成することにより、本明細書で説明されるプロセスを行うのに必要とされるメモリが顕著に減少し、ゆえに、本明細書で説明されるプロセスは、顕著により多数の利用可能なデバイス上で行うことが可能である。
【００３５】
選択方法４０２は、例えば、置換なしでランダムであってよく、置換ありでランダムであってよく、又は特別に定義される方法であってよい。サブセット４０３は、例えば、サブセットの数４０１及び各サブセットをポピュレートするサンプルの数だけ繰り返すことにより作成される。選択方法が置換なしでランダムのとき、選択方法４０２は、サンプルがサブセット４０３の１つよりも多いサブセットに現れることを禁止する。一実施形態では、選択方法４０２は、サブセット４０３ａにおける結果の分布又は割合がデータセットにおける結果の分布又は割合を確実に近似するようにする。したがって、得られる第１のサブセット、例えばサブセット４０３ａの割合と、得られる第２のサブセットの割合は、このような実施形態では同じである。
【００３６】
一実施形態では、選択方法４０２は、繰返しの例示として説明され得る。例えば、第１の繰返しにおいて、ランダムに選択される１つのサンプルは、サブセット４０３ａと関連付けられる。別の実施形態では、例えば、第１の繰返しにおいて、サブセット４０３ａは、サブセット４０３からランダムに選択され、第１のサンプルと関連付けられてよい。選択方法４０２が置換なしでランダムの場合、１つのサンプルが１つよりも多いサブセットにおいて現れてよい。
【００３７】
前述のように、選択方法４０２は、いくつかの実施形態において、特別に定義される方法であり得る。特別に定義される方法は、サブセット作成モジュール２０３に、サブセットをサンプルと関連付けるための機能を提供し、これはサブセット作成モジュール２０３によって呼び出されてよい。
【００３８】
サブサブセット作成モジュール
本発明の別の態様は、図５に示されるサブサブセット作成モジュール２０４である。一実施形態では、サブサブセット作成モジュール２０４は、入力としてサブセット４０３を受信する。サブサブセット作成モジュール２０４は、サブセットからサブサブセット５０１を作成する。サブサブセット５０１ａは、例示として、サブセット４０３ａにおけるサンプル１０４の二値化された結果を第１の値と比較することにより作成される。比較結果が等しい場合、サブセット４０３ａにおけるサンプル１０４が、サブセット４０３ａに対応するサブサブセット５０１ａに追加される。比較結果が等しくない場合、サブセット４０３ａにおけるサンプル１０４が、サブセット４０３ａに対応するサブサブセット５０１ｂに追加される。サブサブセット作成モジュール２０４へのサブセットの入力は、他のサブセットに対応するサブサブセットとは別個の２つのサブサブセットを生じることになる。サブサブセット作成モジュール２０４は、少なくとも１つのサブセットで動作する。
【００３９】
サブサブセット作成モジュールは、それ自体の機能として、又はいくつかの実施形態では、サンプルがサブセットでアクセスされるインデックス作成法として実装されてよい。必要以上の実験なしに、本発明の特色を変えることなく、多くの実装が可能であることが当業者には分かるであろう。
【００４０】
代表メトリックモジュール
図６に示すように、サブサブセット作成モジュール２０４により出力されたサブサブセット５０１は、代表メトリックモジュール２０５に入力される。代表メトリックモジュール２０５は、サブサブセットにおける少なくとも１つの特徴量タイプに関する少なくとも１つの代表メトリック６０１ａを含む、代表メトリックアレイ６０１を決定する。例えば、代表メトリック６０１ａは、代表メトリック決定器を用いることによりサブサブセット５０１ａ内の特徴量タイプ１０５に対応する各特徴量のｔｒｉｍｅａｎとして決定されてよく、代表メトリック決定器は、ｔｒｉｍｅａｎ又は他の母平均の推定量を決定する。別の例として、代表メトリックアレイ６０１は、サブサブセット内の所与の特徴量タイプの特徴量の中央値、算術平均値、又は幾何平均値として決定される代表メトリックを備えてよい。より一般的には、代表メトリックアレイ６０１は、所与のサブサブセットにおける特徴量タイプに関するサンプルが与えられた母平均の推定量である代表メトリックを備えてよい。随意的に、いくつかの実施形態において、代表メトリックモジュール２０５は、代表メトリック決定方法の入力を受信してよく、これは、母平均の推定量を決定する任意の方法を代表メトリックモジュールに提供し得る。
【００４１】
したがって、代表メトリックモジュール２０５は、代表メトリックアレイ６０１を決定し、これは、代表メトリックモジュールへの各サブサブセットの入力に関するサブサブセットの各特徴量タイプに関する代表メトリックを含み得る。代表メトリックと所与の特徴量タイプの特徴量との関連付けが図７に示される。
【００４２】
組み合わせモジュール
図８に示すように、代表メトリックアレイ６０１は、組み合わせモジュール２０６に入力される。組み合わせモジュール２０６は、サブセットごとの特徴量タイプごとの単一の特徴量メトリックを作成するべく、所与のサブセットに関する２つの代表メトリック、すなわち、所与のサブセットの第１のサブサブセットに関する第１の代表メトリックと、所与のサブセットの第２のサブサブセットに関する第２の代表メトリックとを、例えばそれらの比率をとることにより組み合わせる。組み合わせモジュールの出力である特徴量メトリックアレイ９０１が図９に示される。図９に示すように、各特徴量メトリック、例えば、特徴量メトリック９０１ａは、所与のサブセットの所与の特徴量タイプの特徴量と関連付けられ、これにより、特徴量メトリックアレイ９０１を形成する。したがって、第１の特徴量メトリック（第１のサブセットに対応する）は、少なくとも１つの第１のサブセットの特徴量に基づいており、第２の特徴量メトリック（第２のサブセットに対応する）は、少なくとも１つの第２のサブセットの特徴量に基づいている。
【００４３】
一貫性メトリックモジュール
図１０に示すように、特徴量メトリックアレイ９０１は、一貫性メトリックモジュール２０７に入力される。一貫性メトリックモジュール２０７は、複数のサブセットにわたる所与の特徴量タイプに対応する特徴量メトリックの変動性の測度を決定する。変動性の測度は、例えば、標準偏差、標準偏差の推定、又は平均値により調整される標準偏差の推定として計算されてよい。一実施形態では、例えば、変動性の測度は、平均値で割った標準偏差により決定されてよく、したがって、平均値により調整される標準偏差の推定である。これにより、１つよりも多い特徴量タイプ及び１つよりも多いサブセットに関する変動性の測度のアレイが、一貫性メトリックアレイ１００１を形成する。したがって、一貫性メトリックモジュールによる出力は、一貫性メトリックアレイ１００１であり、一貫性メトリックアレイにおける少なくとも１つの一貫性メトリックのそれぞれは、特徴量タイプと関連付けられる。したがって、特徴量タイプに関する第１の一貫性メトリックは、少なくとも第１の特徴量メトリック（第１のサブセットに対応する）及び第２の特徴量メトリック（第２のサブセットに対応する）に基づいている。
【００４４】
特徴量パワーモジュール
同じくいくつかの実施形態に存在するのは、図１１に示される特徴量パワーモジュール２０８である。特徴量パワーモジュール２０８は、特徴量メトリックアレイ９０１（少なくとも１つの特徴量メトリックを備える）と一貫性メトリックアレイ１００１を受信する。特徴量パワーモジュールは、モードセレクタ１１０１とコンバイナユニット１１０２を含み、モードセレクタ１１０１は、特徴量メトリックアレイ９０１に基づいてコンバイナユニット１１０２において行う組み合わせのタイプを決定する。一実施形態では、モードセレクタは、所与の特徴量タイプに関する各特徴量メトリックの各符号が正であると決定すると第１の組み合わせタイプを選択し、所与の特徴量タイプに関する各特徴量メトリックの各符号が負であると決定すると第２の組み合わせタイプを選択し、すべての他の場合に関して第３の組み合わせタイプを選択する。
【００４５】
コンバイナユニット１１０２は、モードセレクタ１１０１の決定に応じて異なるモードで動作する。モードセレクタ１１０１が、所与の特徴量タイプに関する第１の組み合わせタイプを決定する場合、コンバイナユニット１１０２は、第１の組み合わせレジームで動作する。例示的な実施形態において、第１の組み合わせレジームは、（１）所与の特徴量タイプに関する各特徴量メトリックの平均の測度と（２）所与の特徴量タイプに関連する一貫性メトリックとの乗算を出力する。モードセレクタ１１０１が、所与の特徴量タイプに関する第２の組み合わせタイプを決定する場合、コンバイナユニット１１０２は、第２の組み合わせレジームで動作する。例示的な実施形態において、第２の組み合わせレジームは、（１）と（２）との除算を出力する。したがって、第１の組み合わせレジームと第２の組み合わせレジームは同一ではない。モードセレクタ１１０１が、所与の特徴量タイプに関する第３の組み合わせタイプを決定する場合、コンバイナユニット１１０２は、第３の組み合わせレジームで動作する。例示的な実施形態において、第３の組み合わせレジームは、事前に定義される値、例えば、ゼロと（１）と（２）の積を出力する。したがって、コンバイナユニット１１０２は、データセット１０１の所与の特徴量タイプに関連する使用性メトリック１１０３を出力する。したがって、特徴量パワーモジュール２０８の出力は、使用性メトリックアレイ１１０４（少なくとも１つの使用性メトリック）であり、使用性メトリックアレイ内の使用性メトリックは、データセットの特徴量タイプに対応する。
【００４６】
選択モジュール
同じく説明されるのは、図１２に示される選択モジュール２０９である。選択モジュール２０９の入力は、一貫性メトリックアレイ１００１、特徴量メトリックアレイ９０１、使用性メトリックアレイ１１０４、並びに、閾値モード選択１２０１及びデータセット１０１を含む。選択モジュール２０９は、入力に基づいてデータセットの次元を削減する。図１２に示すように、一貫性メトリックアレイ１００１、特徴量メトリックアレイ９０１、及び使用性メトリックアレイ１１０４は、それぞれ、所与の特徴量タイプに関する一貫性メトリック、特徴量メトリック、及び使用性メトリックで動作する、閾値決定器１２０２に入力される。閾値決定器１２０２は、特徴量セットから特徴量タイプを廃棄するための閾値１２０３を決定し、閾値１２０３は、一貫性メトリック、特徴量メトリック、及び使用性メトリックのうちの少なくとも１つに基づいている。いくつかの実施形態において、閾値モード選択１２０１は、閾値決定器１２０２に関するモードを決定する。閾値モード選択１２０１により決定される第１のモードにおいて、例えば、閾値決定器１２０２は、使用性メトリックアレイ１１０４に適用するカットオフ閾値１２０３を決定する。第１のモードにおいて、次いで、閾値決定器１２０２は、例えば、すべての特徴量タイプに関する使用性メトリックの中央値となるカットオフ閾値１２０３を決定する。したがって、閾値カットオフ値１２０３に関する中央値の例の下の第１のモードにおいて、すべての特徴量の半分は、カットオフ閾値１２０３を下回る使用性メトリックと関連付けられるであろう。閾値モード選択１２０１により決定される第２のモードにおいて、例えば、閾値決定器１２０２は、加法、乗法、又は他の方法のいずれかにより、一貫性メトリック、使用性メトリック、及び特徴量メトリックのうちの少なくとも２つを閾値メトリックへ組み合わせ、次いで、所与の特徴量タイプに関する閾値メトリックのポピュレーションに基づいてカットオフ閾値１２０３を決定する。第３のモードにおいて、例えば、閾値決定器１２０２は、一貫性メトリック、使用性メトリック、及び特徴量メトリックのうちの少なくとも１つに基づいて閾値メトリックを決定し、閾値メトリックの閾値を事前に定義される値に決定する。
【００４７】
コンパレータ１２０４は、閾値決定器によって用いられるのと同じプロセスに従って閾値メトリックを決定する。いくつかの実施形態において、次いで、閾値決定器は、計算した閾値メトリックをコンパレータ１２０４に送る。コンパレータ１２０４は、次いで、所与の特徴量に関する一貫性メトリック、使用性メトリック、及び特徴量メトリックのうちの少なくとも１つに基づく閾値メトリックを、閾値決定器１２０２により決定されたカットオフ閾値１２０３と比較する。閾値メトリックは、変換を通じて、一貫性メトリック、使用性メトリック、及び特徴量メトリックのうちの少なくとも１つに基づいていてよく、又は一貫性メトリック、使用性メトリック、及び特徴量メトリックのうちの１つに等しくてよい。コンパレータ１２０４が、所与の特徴量タイプに関する閾値メトリックがカットオフ閾値１２０３を下回ると判定すると、コンパレータ１２０４は、その所与の特徴量タイプの特徴量をデータセットから削除し、これにより、次元削減されたデータセット１２０５を出力する。
【００４８】
本発明は、本明細書で説明した特定の実施形態に限定されず、さらなる実施形態が可能であることが当業者には分かるであろう。
【図１】
2021501384.tif 000003
【図２】
2021501384.tif 000004
【図３】
2021501384.tif 000005
【図４】
2021501384.tif 000006
【図５】
2021501384.tif 000007
【図６】
2021501384.tif 000008
【図７】
2021501384.tif 000009
【図８】
2021501384.tif 000010
【図９】
2021501384.tif 000011
【図１０】
2021501384.tif 000012
【図１１】
2021501384.tif 000013
【図１２】
2021501384.tif 000014
【国際調査報告】
2021501384.tif 000015
2021501384.tif 000016