"連続値回帰分析において用いられる特徴を選択する方法であって、入力としてトレーニングデータセットを提供するステップであって、該トレーニングデータセットは特徴及び対応する目標値を含み、該目標値は連続しており、前記特徴ごとに1つの目標値が存在するものと、閾値に対して各前記目標値を閾値処理及び離散化するステップであって、離散化された目標値を生成するものと、前記離散化された目標値を用いて前記特徴にカテゴリー特徴選択を適用するステップであって、選択された特徴をもたらすものと、を含み、前記ステップはプロセッサにおいて実行される、方法。前記選択された特徴を用いて連続値回帰分析を実行するステップをさらに含む、請求項1に記載の方法。前記閾値処理及び離散化するステップは、前記目標値が分割される1つ又は複数の閾値に対するものである、請求項1に記載の方法。単一の閾値を、前記トレーンングデータセットにおける前記目標値の中央値になるように選択するステップであって、結果として平衡の取れたクラスをもたらすものをさらに含む、請求項3に記載の方法。前記1つ又は複数の閾値は用途に特有の知識に基づく、請求項2に記載の方法。前記回帰分析は非線形である、請求項1に記載の方法。前記回帰分析は最小絶対偏差及びl1正則化を用いた異分散サポートベクター回帰である、請求項1に記載の方法。多くの特徴選択手順は、相関等の一次従属の単純な測度を用いて有用な特徴を選択する。これらの手法は、変数間の関係が非線形であるとき、失敗する可能性がある。ラッパー法は、特定の潜在的に非線形の回帰分析問題を評価することによって一度に少数の特徴を貪欲に選択する。ラッパー法は、特徴の小さなサブセットを貪欲に選択するので、特徴の最良な全体的な組み合わせを求めることができない。ラッパー法は多くの場合に計算集約的であり、回帰方法をサブルーチンとして直接組み込むので、その特定の回帰分析方法に直結する。既知のRELIEF特徴選択手順によって、他の特徴選択方法の望ましくない特性のほとんどが回避される。参照によりこの明細書に援用される、2007年6月19日にLee他に発行された米国特許第7,233,931号Featureregulationforhierarchicaldecisionlearningを全体的に参照されたい。この方法は貪欲でなく、計算集約的でなく、特定の回帰分析方法に結びついていない。しかしながら、RELIEF手順は分類問題及びカテゴリー問題、すなわち従属変数が離散値の小さなセットからの値をとることができる問題の場合にのみ機能する。カテゴリー問題の例は、病気検出問題であり、この問題において、従属変数は病気の存否を示す2つの可能な値のうちの1つをとることができる。カテゴリー問題と対照的に連続値問題は値の無限集合からの値、たとえば全ての実数をとることができる。この場合、従属変数によってとられる値を目標値と呼ぶ。この発明の実施の形態は、連続値回帰分析問題等の連続値問題のための特徴を選択する方法を提供する。この方法は貪欲でなく、特徴と目標値との間の非線形関係が存在する問題に適用することができ、この方法は任意の回帰分析方法と共に用いることができる。この発明の実施の形態は、連続値回帰分析において用いられる特徴を選択するための方法を提供する。二項分類のための特徴選択は既知であり、特に既知であるのはRELIEF法である。上記の米国特許第7,233,931号を参照されたい。RELIEF法は、多数の無用な特徴が存在するときに良好に機能する。RELIEF法の基本的な着想は、局所トレーニングを用いて任意の非線形問題を局所線形問題のセットに分解し、次にl1正則化を用いて大きなマージンフレームワークにおいて大域的に特徴関連性を推定することである。RELIEF法は、通例同じクラスにある近傍の値を有する特徴を選択する。近傍の値を有する例が必ずしも同じクラスを共有しない特徴は選択されない。RELIEF法は同じクラス又は異なるクラスからの近傍の特徴を検査するので、当然二項分類に適用される。しかしながら、RELIEF法は連続値回帰分析に適用されない。したがって、この発明の目的は、RELIEF法を連続値回帰分析に適応させることである。RELIEF法を連続値回帰分析に適応させる1つの以前の試みは、特徴値に対する目標値の変化率を局所的に推定し、特徴値における変化が目標値の変化に対して予測可能な関係を有する特徴を選択する。米国特許第7,233,931号を参照されたい。この手法はいくつかの状況において機能するが、特徴と目標値との間の関係を推定するために選択される近傍のサイズの影響を非常に受けやすい可能性がある。図1に示し以下でより詳細に説明するこの発明の方法では、連続出力をカテゴリ-離散値出力121にカテゴライズする。この方法は、連続値目標値yを、1つ又は複数の閾値ymにおいて閾値処理する。閾値は目標値が分割される2つ以上のクラスを定義する。単一の閾値ymをトレーニングデータセット110内の目標値の中央値となるように選択することによって、結果としてクラスの平衡が取られる、すなわち各クラス内の例の数が実質的に同じになる。用途に特有の知識を用いて他の閾値を選択することができる。単一の閾値の場合、第1のクラス及び第2のクラスを以下のように定義する。ここで、y’は離散クラスラベルである。ymを、トレーニングセットにわたる目標値yの中央値となるように選択することは、これによって第1のクラスの例の数が第2のクラスの例の数と実質的に同じになることが保証されるので、通例良好な閾値となる。閾値処理を実行して二項クラスを割り当てた後、ロジスティックRELIEF法又は任意の他のカテゴリー特徴選択方法においてクラス値121を特徴値111と共に用いることができる。非線形回帰分析方法特徴選択を実行した後、選択された特徴を回帰分析方法140の入力として用いることができる。この発明の特徴選択方法は、予測値に対して非線形関係を有する特徴を選択することができる。したがって、当然ながら選択された特徴に非線形回帰分析方法を用いる。回帰分析この発明の回帰分析は、最小絶対偏差及びl1正則化を用いた異分散サポートベクター回帰であり、トレーニングデータセットD110はM個の対のセットを含み、ここでXは入力パターンの空間、たとえばX=Rdを示す。各対は、入力ベクトルxi、及び目標出力値yiを含む。関数は、対応する入力ベクトルxiから目標出力yiを推定する。目標出力はトレーニングデータセット110から求められる。この発明の回帰分析は、以下の最適化問題を解くことによってトレーニングされる。ここで、ξi及びξiはスラック変数、すなわち誤分類の度合いを示す変数であり、εは誤差許容度であり、λはl1正則化の強度を制御するパラメーター、すなわちトレーニング誤差の最小化と比較したWのl1ノルムの最小化の相対的重要度であり、Wは線形係数ベクトルであり、Kはカーネル行列であり、βはカーネル行列のための係数ベクトルであり、Cは適合度を制御するパラメーターである。新たな試験例のためのラベルが予測関数に従って推定される。予測関数における線形項は、高度に相関した特徴、すなわち従属変数と強力な線形関係にある特徴がトレーニングデータ内に存在する場合に有用である。この発明の回帰分析における非線形カーネル項の特性は、特徴と従属変数との間の非線形関係を利用することによる補完的役割を有する。連続値回帰のための特徴選択方法この発明の方法は以下を用いる。1.カテゴリーデータにも適用することができる特徴選択方法。これをカテゴリー特徴選択方法と呼ぶ。この発明の実施態様において、カテゴリーデータのためのこの発明の特徴選択方法としてRELIEFの一変形を用いる。2.回帰分析方法。この発明の実施態様では、最小絶対偏差及びl1正則化を用いた異分散サポートベクター回帰を用いる。図1は、連続値回帰分析のための特徴を選択するためのこの発明の方法100を示している。この方法は、当該技術分野において既知のメモリ及び入力/出力インターフェースを含むプロセッサ101において実行することができる。この方法への入力はトレーニングデータ110である。トレーニングデータは、特徴111と、対応する連続目標値y112とを含む。連続値目標値yは、1つ又は複数の閾値ym119において閾値処理及び離散化され、離散目標値121が生成される。閾値は目標値を分割することができる2つ以上のクラスを定義する。閾値のうちの1つが、結果として2つの平衡が取られたクラスをもたらすための目標値の中央値として選択される。用途に特有の知識に基づいて他の閾値を選択することができる。離散値目標121を用いてカテゴリー特徴選択130が特徴111に適用され、選択された特徴131がもたらされる。選択された特徴131及び連続目標値112が回帰分析方法140に入力され、連続値目標を選択された特徴に関係付ける予測関数141が生成される。"