【手続補正書】
【提出日】平成22年4月20日(2010.4.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータに実装されるＲＬＳ分類または回帰に関する方法であって、
前記方法は、
プロセッサとメモリを備えた、１つ以上のコンピュータシステムによって実行され、
前記プロセッサによってデータのトレーニングセットを受信し、
2009510633.tif 000001
前記プロセッサによって、前記カーネル行列Kの固有値分解を演算し、
複数の正則化パラメータλを受信し、
前記プロセッサによって、前記カーネル行列Kの前記行列分解を用いて前記正則化パラメータλの各々について係数cを演算し、
前記プロセッサによって、前記正則化パラメータλの各々についてのLOO誤差をO(n3+n2d)時間とO(n2)空間とにおいて演算し、さらに、nは前記トレーニングセットのd次元におけるデータ点の数であり、
前記LOO誤差の最小値を有する前記正則化パラメータλを選択し、
前記選択した正則化パラメータλと前記トレーニングセットに基づいて超平面関数wを決定し、
前記超平面関数wを前記メモリに記憶する
ことを含むことを特徴とするＲＬＳ分類または回帰に関する方法。
【請求項２】
前記超平面関数wを前記ＲＬＳ分類で用い、
前記ＲＬＳ分類は、係数cまたは超平面関数wの少なくとも１つに基づいて、入力されたデータ点のセットに対応するクラスyを予測することをさらに含むことを特徴とする請求項１に記載のＲＬＳ分類または回帰に関する方法。
【請求項３】
前記カーネル行列を前記メモリに記憶することをさらに含む
ことを特徴とする請求項１に記載のＲＬＳ分類または回帰に関する方法。
【請求項４】
１つ以上のプロセッサにより実行されるときに、
前記プロセッサにＲＬＳ分類または回帰の処理を実行させるような指令が符号化されたマシン読み取り可能な媒体であって、
2009510633.tif 000002
前記プロセッサによって、前記カーネル行列Kの固有値分解を演算し、
複数の正則化パラメータλを受信し、
前記プロセッサによって、前記カーネル行列Kの前記行列分解を用いて前記正則化パラメータλの各々について係数cを演算し、
前記プロセッサによって、前記正則化パラメータλの各々についてのLOO誤差をO(n3+n2d)時間とO(n2)空間とにおいて演算し、この場合のnは前記トレーニングセットのd次元におけるデータ点の数であって、
前記LOO誤差の最小値を有する前記正則化パラメータλを選択し、
前記選択した正則化パラメータλと前記トレーニングセットに基づいて超平面関数ｗを決定し、
前記超平面関数wをメモリに記憶する
ことを含むことを特徴とするマシン読み取り可能な媒体。
【請求項５】
前記超平面関数wを前記ＲＬＳ分類で用い、
前記ＲＬＳ分類は、係数cまたは超平面関数wの少なくとも１つに基づいて、入力されたデータ点のセットに対応するクラスyを予測することをさらに含むことを特徴とする請求項４に記載のマシン読み取り可能な媒体。
【請求項６】
前記処理は前記カーネル行列を前記プロセッサに関連付けされた前記メモリに記憶することをさらに含む
ことを特徴とする請求項４に記載のマシン読み取り可能な媒体。
【請求項７】
プロセッサと、
前記プロセッサによって、データのトレーニングセットを受信する入力モジュールと、
2009510633.tif 000003
前記プロセッサによって、前記カーネル行列Kの固有値分解を演算する行列分解モジュールと、
複数の正則化パラメータλを受信し、
前記プロセッサによって、前記カーネル行列Kの前記行列分解を用いて前記正則化パラメータλの各々について係数cを演算し、
前記プロセッサによって、前記正則化パラメータλの各々についてのLOO誤差を、nは前記トレーニングセットのd次元におけるデータ点の数を表すようなO(n3+n2d)時間とO(n2)空間とにおいて演算する係数演算モジュールと、
前記選択した正則化パラメータλと前記トレーニングセットに基づいて超平面関数wを決定し、前記超平面関数wを前記プロセッサに関連付けされたメモリに記憶するＲＬＳ分類または回帰モジュールと、
を備えることを特徴とするＲＬＳ分類または回帰システム。
【請求項８】
前記超平面関数wを前記ＲＬＳ分類で用い、
前記ＲＬＳ分類は、係数cまたは超平面関数wの少なくとも１つに基づいて、入力されたデータ点のセットに対応するクラスyを予測する予測モジュールをさらに備えることを特徴とする請求項７に記載のＲＬＳ分類または回帰システム。
【請求項９】
前記カーネル行列を記憶するメモリをさらに備える
ことを特徴とする請求項７に記載のＲＬＳ分類または回帰システム。
【請求項１０】
前記入力されたデータ点および前記データのトレーニングセットは、顔認識データ、対象物追跡データ、室内ナビゲーションデータ、医療画像解析データおよび音声認識データからなる群のいずれか１つを表すことを特徴とする請求項２に記載のＲＬＳ分類または回帰に関する方法。
【請求項１１】
前記超平面関数wを前記ＲＬＳ分類で用い、さらに、係数ｃおよび前記超平面関数wの少なくとも１つに基づいて、入力されたデータ点のセットに対応する値のセットを予測することを特徴とする請求項１に記載のＲＬＳ分類または回帰に関する方法。
【請求項１２】
前記入力されたデータ点および前記データのトレーニングセットは、顔認識データ、対象物追跡データ、室内ナビゲーションデータ、医療画像解析データおよび音声認識データからなる群のいずれか１つを表すことを特徴とする請求項５に記載のマシン読み取り可能な媒体。
【請求項１３】
前記超平面関数wを前記ＲＬＳ分類で用い、さらに、係数cおよび前記超平面関数wの少なくとも１つに基づいて、入力されたデータ点のセットに対応する値のセットを予測することを特徴とする請求項４に記載のマシン読み取り可能な媒体。
【請求項１４】
前記入力されたデータ点および前記データのトレーニングセットは、顔認識データ、対象物追跡データ、室内ナビゲーションデータ、医療画像解析データおよび音声認識データからなる群のいずれか１つを表すことを特徴とする請求項８に記載のＲＬＳ分類または回帰システム。
【請求項１５】
前記超平面関数wをＲＬＳ分類で用い、さらに、係数cおよび前記超平面関数wの少なくとも１つに基づいて、入力されたデータ点のセットに対応する値のセットを予測することを特徴とする請求項７に記載のＲＬＳ分類または回帰システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】LOO誤差を用いた分類または回帰
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の一実施形態では、コンピュータに実装する正則化最小二乗（RLS）分類／回帰に関する方法を提供する。本方法は、データのトレーニングセットを受信し、このトレーニングセットを用いて行列分解（例えば、固有値分解やSVD）を演算することを含む。本方法は、複数の正則化パラメータを受信し、前記行列分解を用いて正則化パラメータの各々について係数を演算することをさらに含む。本方法は、前記に続いて、前記正則化パラメータの各々についてLOO（leave-one-out）誤差も演算することを含む。本方法は、前記選択した正則化パラメータに対応する係数cまたは超平面関数wの少なくとも１つに基づいて未来のデータ点を予測することをさらに含む。特定の場合には、トレーニングセットを用いた行列分解の演算には、トレーニングセットを用いて特異値分解（以下、「SVD」ともいう）を演算することが含まれ、この場合のSVDは行列分解である。別の特定の場合には、トレーニングセットを用いた行列分解の演算には、入力したトレーニングセットを用いてカーネル行列を生成し、このカーネル行列の固有値分解を演算することが含まれ、この場合の固有値分解は行列分解である。このような場合の一例では、前記カーネル行列を明示的に表現し、本方法は前記カーネル行列を記憶することを含む。このような場合の別の例では、前記カーネル行列を明示的に表現し、本方法は、O(n3+n2d)時間とO(n2)空間でのすべての正則化パラメータについて前記LOO誤差を演算することをさらに含み、この場合のnは前記トレーニングセットのd次元におけるデータ点の数である。
2009510633.tif 000004
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
2009510633.tif 000005
SVMの解法の開発者によっては、LOOの算出や（Rifkin、２００２年）、境界付け（Joachims、１９９０年）を可能にした者もいるが、正確に演算を行おうとすれば演算の費用がかさみ、境界付けには重大な誤差が付随的に発生する恐れもある。ここで述べるように、中規模から小規模のデータセットについては、交差検定（cross-validation）の「黄金基準（gold standard）」としてLOOを効果的に用いることができる。この基準はほとんど偏りがなく、10-fold cross-validationなどの手順に関連するばらつきは極めて高く、データセットの分割を変えることで実質的に異なる結果がもたらされる。大規模なデータセットについては、LOOの重要度は低くなるが、ここで述べるように、同じく利用には適している。