(57)【要約】【課題】入力データの分類に適した特徴量の組み合わせの選択において精度の高い特徴量の選択を行えるようにする。【解決手段】入力データから抽出される複数の特徴量の組み合わせを生成し、生成した特徴量の組み合わせに対して、入力データの分類の判定に適しているか否かを評価する第一評価値を算出し、特徴量の組み合わせを評価する第二評価値を算出する際に使用するパラメータを複数生成して、複数のパラメータ毎に第一評価値に基づいて第二評価値を算出し、複数のパラメータ毎に第二評価値に基づいて特徴量を選択し特徴量のサブセットを生成するようにして、入力データの分類に適した特徴量の組み合わせの選択において精度の高い特徴量の選択を行えるようにする。【選択図】図２
2017010318.tif 000002
【特許請求の範囲】
【請求項１】
入力データから抽出される複数の特徴量を組み合わせて、特徴量の組み合わせを生成する組み合わせ生成手段と、
前記特徴量の組み合わせに対して、前記入力データの分類の判定に適しているか否かを評価する第一評価値を算出する第一の算出手段と、
前記第一評価値に基づいて前記特徴量の組み合わせを評価する第二評価値を算出する際に使用するパラメータを複数生成するパラメータ生成手段と、
前記複数のパラメータ毎に前記第二評価値を算出する第二の算出手段と、
前記複数のパラメータ毎に、前記第二評価値に基づいて前記特徴量を選択し、前記特徴量のサブセットを生成するサブセット生成手段とを有することを特徴とする情報処理装置。
【請求項２】
前記第一の算出手段は、正常データと異常データとを用いて前記第一評価値を算出することを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記第一評価値は、ベイズ誤り確率推定値であることを特徴とする請求項２記載の情報処理装置。
【請求項４】
前記第一評価値は、クラス内分散・クラス間分散比であることを特徴とする請求項２記載の情報処理装置。
【請求項５】
前記第一の算出手段は、正常データのみを用いて前記第一評価値を算出することを特徴とする請求項１記載の情報処理装置。
【請求項６】
前記第一評価値は、前記正常データの重心からの最も離れたデータへのユークリッド距離であることを特徴とする請求項５記載の情報処理装置。
【請求項７】
前記第二の算出手段は、前記第一評価値の順位に応じた値を前記第二評価値に対して加算して前記第二評価値の算出を行うことを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
【請求項８】
前記第二評価値に対して加算する値は、前記第一評価値の順位に応じて線形に変化する値であることを特徴とする請求項７記載の情報処理装置。
【請求項９】
前記第二評価値に対して加算する値は、特徴行列の固有値により算出された値であることを特徴とする請求項７記載の情報処理装置。
【請求項１０】
前記サブセット生成手段は、前記複数のパラメータ毎に生成した特徴量のサブセットを前記第二評価値の値に基づいて分解し、前記特徴量のサブセットの候補を増分させて前記特徴量のサブセットを生成することを特徴とする請求項１〜９の何れか１項に記載の情報処理装置。
【請求項１１】
前記サブセット生成手段が生成した前記特徴量のサブセットから交差確認法を用いて、特徴量のサブセットの選択を行う選択手段を有することを特徴とする請求項１〜９の何れか１項に記載の情報処理装置。
【請求項１２】
入力データから抽出される複数の特徴量を組み合わせて、特徴量の組み合わせを生成する工程と、
前記特徴量の組み合わせに対して、前記入力データの分類の判定に適しているか否かを評価する第一評価値を算出する工程と、
前記第一評価値に基づいて前記特徴量の組み合わせを評価する第二評価値を算出する際に使用するパラメータを複数生成する工程と、
前記複数のパラメータ毎に前記第二評価値を算出する工程と、
前記複数のパラメータ毎に、前記第二評価値に基づいて前記特徴量を選択し、前記特徴量のサブセットを生成する工程とを有することを特徴とする情報処理方法。
【請求項１３】
入力データから抽出される複数の特徴量を組み合わせて、特徴量の組み合わせを生成するステップと、
前記特徴量の組み合わせに対して、前記入力データの分類の判定に適しているか否かを評価する第一評価値を算出するステップと、
前記第一評価値に基づいて前記特徴量の組み合わせを評価する第二評価値を算出する際に使用するパラメータを複数生成するステップと、
前記複数のパラメータ毎に前記第二評価値を算出するステップと、
前記複数のパラメータ毎に、前記第二評価値に基づいて前記特徴量を選択し、前記特徴量のサブセットを生成するステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力データから抽出される複数の特徴量から、入力データの分類に用いる特徴量を選択する情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
外観検査などの情報処理装置において、検査対象物を撮影した画像から画素値の平均や分散といった多様な特徴量群を抽出し、良否判定（良品と不良品の２クラス判別）するといった手法がある。しかし、多数の特徴量を全て使うと、特徴の次元が高次になってしまい汎化性能が低下し、また、冗長な特徴量を抽出することにより処理時間が増大してしまう。よって、適切な特徴量を選択することにより、汎化性能を低下させず、演算処理を高速化させる手法が重要となっている。
【０００３】
下記特許文献１には、入力データから抽出される複数の特徴量から、入力データの分類に用いる特徴量を選択するために、特徴量間の組み合わせの相性を考慮し、入力データの分類に適した特徴量を選択する技術が開示されている。具体的には、特徴量を組み合わせて第一評価値を算出し、第一評価値同士を比較することにより特徴量間の組み合わせの相性を示す第二評価値を算出し、第二評価値に基づいて特徴量を選択する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５４１４４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている特徴量の選択では、特徴量の組み合わせを評価する評価値を算出する処理において使用するパラメータが存在し、このパラメータを適切に設定する必要があるが、適切に設定することが困難な場合があった。本発明は、入力データの分類に適した特徴量の組み合わせの選択において精度の高い特徴量の選択を行えるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る情報処理装置は、入力データから抽出される複数の特徴量を組み合わせて、特徴量の組み合わせを生成する組み合わせ生成手段と、前記特徴量の組み合わせに対して、前記入力データの分類の判定に適しているか否かを評価する第一評価値を算出する第一の算出手段と、前記第一評価値に基づいて前記特徴量の組み合わせを評価する第二評価値を算出する際に使用するパラメータを複数生成するパラメータ生成手段と、前記複数のパラメータ毎に前記第二評価値を算出する第二の算出手段と、前記複数のパラメータ毎に、前記第二評価値に基づいて前記特徴量を選択し、前記特徴量のサブセットを生成するサブセット生成手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、第二評価値を算出する際に使用するパラメータを複数生成し、複数のパラメータ毎に第二評価値を算出して特徴量を選択することで、入力データの分類に適した特徴量の組み合わせの選択において精度の高い特徴量の選択を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態における情報処理システムの構成例を示す図である。
【図２】第１の実施形態における情報処理装置の構成例を示す図である。
【図３】第１の実施形態における情報処理装置の処理例を示すフローチャートである。
【図４】第１の実施形態における第二評価値の算出の概念を示す図である。
【図５】第１の実施形態における特徴量のサブセットの生成処理を示すフローチャートである。
【図６】第２の実施形態における特徴量のサブセットの生成処理を示すフローチャートである。
【図７】第３の実施形態における特徴量のサブセットの生成処理を示すフローチャートである。
【図８】第３の実施形態における特徴量のサブセットの設定を説明する概念図である。
【図９】第４の実施形態における情報処理システムの構成例を示す図である。
【図１０】第４の実施形態における情報処理装置の処理例を示すフローチャートである。
【図１１】本実施形態における情報処理装置を実現可能なコンピュータ機能を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
（第１の実施形態）
本発明の第１の実施形態について説明する。以下では、検査ライン上で検査対象物が運ばれており、画像を撮影して検査を行い、検査結果を出力するタスクを例に説明する。第１の実施形態では、入力データから抽出される特徴量の組み合わせを評価する第二評価値を算出する際に使用する重みパラメータを複数生成する。そして、複数の重みパラメータ毎に、第二評価値を算出し、算出した第二評価値に基づいて特徴量のサブセットを生成することで、入力データの分類に適している特徴量のサブセットを選択する。
【００１１】
図１は、第１の実施形態における情報処理システムの構成例を示す図である。図１に示す情報処理システムでは、検査対象物１０１の外観に対し、正常であるか異常であるかの判定（正常異常判定）を行う。画像撮影装置１０２は、検査対象物１０１の画像の撮影を行う。情報処理装置１０３は、検査対象物１０１の検査を行う装置であり、画像撮影装置１０２で撮影された画像を用い設定された領域に対して正常異常判定を行う。
【００１２】
表示装置１０４は、モニタ等から構成され、情報処理装置１０３から送信される検査結果（判定結果）を表示する。光源１０５は、例えば欠陥の可視化のために検査対象物１０１に光を照射する。光源１０５から光を検査対象物１０１に照射し、画像撮影装置１０２が検査対象物１０１の画像を撮影する。
【００１３】
図２は、本実施形態における情報処理装置１０３の構成例を示す図である。特徴量抽出部２０１は、画像撮像装置１０２により検査対象領域を撮像して得られた入力データとしての画像データから特徴量を抽出する。特徴量選択部２０２は、特徴量抽出部２０１で抽出された特徴量に対して特徴量選択を行うことにより、特徴量の組み合わせを決定する。
【００１４】
パラメータ設定部２０３は、特徴量選択部２０２で選択された特徴量の組み合わせのうち、どの組み合わせが良いかを決定するとともに、識別器のパラメータを決定する。識別器生成部２０４は、パラメータ設定部２０３で決定したパラメータを基に識別器を生成する。識別器判定部２０５は、生成された識別器とテストデータから求めた特徴量とを用いてテストデータの異常度を算出し、算出した異常度を閾値処理することにより良品（正常）であるか不良品（異常）であるかを判定する。
【００１５】
図３は、本実施形態における情報処理装置１０３の処理例を示すフローチャートである。なお、図３に示す各ステップの処理は、情報処理装置１０３により実行される。
（ステップＳ３０１：データ入力）
ステップＳ３０１では、撮影された画像データの入力を行う。なお、検査対象領域が画像上の一部であるときには、検査対象領域の画像データのみを評価対象として入力するようにしても良い。
【００１６】
（ステップＳ３０２：特徴量抽出）
ステップＳ３０２では、ステップＳ３０１で入力された画像データの検査対象領域から、複数の特徴量を抽出する。例えば、対象画像の注目領域に対してハール・ウェーブレット（Haar Wavelet）変換をかけて階層的に画像を生成し、各階層の画像から特徴量を抽出する。
【００１７】
ハール・ウェーブレット変換とは、位置情報を保持したまま周波数変換する処理である。ハール・ウェーブレット変換では、まず、対象画像に対して、式１−１〜式１−４で表される４種類のフィルタを用いて内積を演算する。
【００１８】
【数１】
2017010318.tif 000003
【００１９】
ここで、式１−１が縦方向高周波数成分フィルタ（ＨＬ）を示し、式１−２が横方向高周波数成分フィルタ（ＬＨ）を示し、式１−３が対角方向高周波数成分フィルタ（ＨＨ）を示し、式１−４が低周波数成分フィルタ（ＬＬ）を示す。対象画像の２×２の画素領域を重ね合わせることなく、移動させて、解像度が２分の１になるように処理し、縦方向高周波成分画像、横方向高周波成分画像、対角方向高周波成分画像、低周波成分画像の４種類の画像を生成する。
【００２０】
そして、生成された低周波成分画像に対して、同様に４種類のフィルタを用いて内積を演算することで、次の階層の縦方向高周波成分画像、横方向高周波成分画像、対角方向高周波成分画像、低周波成分画像の４種類の画像を生成する。この際、解像度は２分の１になるので、例えばハール・ウェーブレット変換を８回繰り返すのであれば、画像の垂直方向（縦方向）の画素数及び水平方向（横方向）の画素数は２の８乗の倍数に設定しておくことが好ましい。
【００２１】
このように生成された低周波成分画像に対して再度４種類のフィルタを適用して、次の階層の縦方向高周波成分画像、横方向高周波成分画像、対角方向高周波成分画像、低周波成分画像の４種類の画像を生成する処理を繰り返す。本実施形態では、一例としてハール・ウェーブレット変換を８回行うとする。結果として各階層から４画像が生成されるので、３２画像が生成される。これに加えて、入力画像が追加されるので、以下の合計３３画像が生成される。
（１）入力画像
（２）第１〜第８階層の各階層の縦方向高周波成分画像
（３）第１〜第８階層の各階層の横方向高周波成分画像
（４）第１〜第８階層の各階層の対角方向高周波成分画像
（５）第１〜第８階層の各階層の低周波成分画像
【００２２】
ハール・ウェーブレット変換を行っていない変換前の１種類の画像、及びハール・ウェーブレット変換をかけて得られた８階層の各階層での４種類の画像に対して、特徴量を算出する。ここで、特徴量は、統計特徴量を用い、コントラスト、最大値、（最大値−最小値）、平均、分散、尖度、歪度、相乗平均といった統計量を用いる。特徴量の算出式の例を以下に示す。画素値の平均は式２で算出し、分散は式３で算出し、尖度は式４で算出し、歪度は式５で算出し、相乗平均は式６で算出し、コントラストは式７で算出する。式２〜式７のそれぞれを、良品、不良品の撮像結果に対して適用し、演算する。なお、画像のサイズは垂直方向（縦方向）ａ画素、水平方向（横方向）ｂ画素の画像とし、水平ｉ番目、垂直ｊ番目の画素値をｐ（ｉ，ｊ）と表す。
【００２３】
【数２】
2017010318.tif 000004
【００２４】
【数３】
2017010318.tif 000005
【００２５】
【数４】
2017010318.tif 000006
【００２６】
【数５】
2017010318.tif 000007
【００２７】
【数６】
2017010318.tif 000008
【００２８】
【数７】
2017010318.tif 000009
【００２９】
例えば、１つの入力画像とその入力画像から生成された画像との合計３３種類の画像に対して、最大値、及び式２〜式７で示した７つの特徴量を抽出する。つまり、計３３種類の画像から統計特徴量を７種類ずつ抽出する。結果的に入力画像毎に７×３３＝２３１個（以下Ｎ個とする）の特徴量を抽出する。なお、入力画像として用いるＭ個の全パターンからＮ個ずつの特徴量を抽出する。
【００３０】
今回はハール・ウェーブレット変換を用いる手法について述べたが、その他のウェーブレット変換、エッジ抽出、フーリエ変換、ガボール変換といったその他の変換手法を用いても良い。また、統計特徴量として最大値から最小値を引いた値、標準偏差といったその他の統計量を用いても良い。以上の処理により、入力画像パターンから複数の特徴量を抽出することができる。
【００３１】
（ステップＳ３０３：特徴量のサブセットの生成）
ステップＳ３０３では、ステップＳ３０２で抽出した特徴量に対して、特徴量の選択を行い、特徴量のサブセットを生成する。例えば、入力データから抽出される複数の特徴量を組み合わせて第一評価値を算出し、第一評価値同士を比較して、上位のＫ個の特徴量にのみ、特徴量の組み合わせの相性を示す第二評価値に値を加算し、得られた第二評価値に基づいて特徴量を選択する。
【００３２】
以下、図４（Ａ）及び図４（Ｂ）を参照して、特徴量のサブセットの生成について説明する。図４（Ａ）はＫ＝２の場合、図４（Ｂ）はＫ＝４の場合における第二評価値の算出の概念を示す図である。例として、特徴量がＡ、Ｂ、Ｃ、Ｄ、Ｅの５種類ある場合について説明する。なお、図４（Ａ）及び図４（Ｂ）に示す例では、第一評価値が小さいほど良品（正常）と不良品（異常）との分類に適しているものとする。
【００３３】
最初に、図４（Ａ）を用いて、Ｋ＝２としたときの第二評価値の算出方法について説明する。特徴量Ａに注目した場合、特徴量Ｂは第一評価値が最も良く、他の特徴量Ｃ、Ｄ、Ｅよりも特徴量Ａとの組み合わせにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｂの第二評価値に対して２を加算する。また、特徴量Ｃは第一評価値が二番目に良いので、特徴量Ｃの第二評価値に対して１を加算する。
【００３４】
特徴量Ｂに注目した場合、特徴量Ｃは第一評価値が最も良く、他の特徴量Ａ、Ｄ、Ｅよりも特徴量Ｂとの組み合わせにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｃの第二評価値に対して２を加算する。また、特徴量Ａは第一評価値が二番目に良いので、特徴量Ａの第二評価値に対して１を加算する。
【００３５】
特徴量Ｃに注目した場合、特徴量Ｂは第一評価値が最も良く、他の特徴量Ａ、Ｄ、Ｅよりも特徴量Ｃとの組み合わせにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｂの第二評価値に対して２を加算する。また、特徴量Ａは第一評価値が二番目に良いので、特徴量Ａの第二評価値に対して１を加算する。
【００３６】
特徴量Ｄに注目した場合、特徴量Ｃは第一評価値が最も良く、他の特徴量Ａ、Ｂ、Ｅよりも特徴量Ｄとの組み合わせにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｃの第二評価値に対して２を加算する。また、特徴量Ｂは第一評価値が二番目に良いので、特徴量Ｂの第二評価値に対して１を加算する。
【００３７】
特徴量Ｅに注目した場合、特徴量Ｂは第一評価値が最も良く、他の特徴量Ａ、Ｃ、Ｄよりも特徴量Ｅとの組み合わせにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｂの第二評価値に対して２を加算する。また、特徴量Ａは第一評価値が二番目に良いので、特徴量Ａの第二評価値に対して１を加算する。
【００３８】
結果として、特徴量Ａの第二評価値は３、特徴量Ｂの第二評価値は７、特徴量Ｃの第二評価値は５、特徴量Ｄの第二評価値は０、特徴量Ｅの第二評価値は０となる。この第二評価値が所定の値（例えば、閾値は０）より大きい特徴量を特徴量のサブセットとする。この場合、特徴量Ａと特徴量Ｂと特徴量Ｃとが特徴量のサブセットとなる。
【００３９】
次に、図４（Ｂ）を用いて、Ｋ＝４としたときの第二評価値の算出方法について説明する。特徴量Ａに注目した場合、特徴量Ｂは第一評価値が最も良く、他の特徴量Ｃ、Ｄ、Ｅよりも特徴量Ａとの組み合わせにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｂの第二評価値に対して４を加算する。また、特徴量Ｃは第一評価値が二番目に良いので、特徴量Ｃの第二評価値に対して３を加算する。そして、特徴量Ｅは第一評価値が三番目に良いので、特徴量Ｅの第二評価値に対して２を加算する。最後に、特徴量Ｄは第一評価値が四番目に良いので、特徴量Ｄの第二評価値に対して１を加算する。
【００４０】
特徴量Ｂに注目した場合、特徴量Ｃは第一評価値が最も良く、他の特徴量Ａ、Ｄ、Ｅよりも特徴量Ｂとの組み合わせにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｃの第二評価値に対して４を加算する。また、特徴量Ａは第一評価値が二番目に良いので、特徴量Ａの第二評価値に対して３を加算する。そして、特徴量Ｅは第一評価値が三番目に良いので、特徴量Ｅの第二評価値に対して２を加算する。最後に、特徴量Ｄは第一評価値が四番目に良いので、特徴量Ｄの第二評価値に対して１を加算する。
【００４１】
特徴量Ｃに注目した場合、特徴量Ｂは第一評価値が最も良く、他の特徴量Ａ、Ｄ、Ｅよりも特徴量Ｃとの組み合わせにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｂの第二評価値に対して４を加算する。また、特徴量Ａは第一評価値が二番目に良いので、特徴量Ａの第二評価値に対して３を加算する。そして、特徴量Ｄは第一評価値が三番目に良いので、特徴量Ｄの第二評価値に対して２を加算する。最後に、特徴量Ｅは第一評価値が四番目に良いので、特徴量Ｅの第二評価値に対して１を加算する。
【００４２】
特徴量Ｄに注目した場合、特徴量Ｃは第一評価値が最も良く、他の特徴量Ａ、Ｂ、Ｅよりも特徴量Ｄとの組み合わせにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｃの第二評価値に対して４を加算する。また、特徴量Ｂは第一評価値が二番目に良いので、特徴量Ｂの第二評価値に対して３を加算する。そして、特徴量Ｅは第一評価値が三番目に良いので、特徴量Ｅの第二評価値に対して２を加算する。最後に、特徴量Ａは第一評価値が四番目に良いので、特徴量Ａの第二評価値に対して１を加算する。
【００４３】
特徴量Ｅに注目した場合、特徴量Ｂは第一評価値が最も良く、他の特徴量Ａ、Ｃ、Ｄよりも特徴量Ｅとの組み合わせにおいて良品と不良品との分類に適しているとみなせるため、特徴量Ｂの第二評価値に対して４を加算する。また、特徴量Ａは第一評価値が二番目に良いので、特徴量Ａの第二評価値に対して３を加算する。そして、特徴量Ｄは第一評価値が三番目に良いので、特徴量Ｄの第二評価値に対して２を加算する。最後に、特徴量Ｃは第一評価値が四番目に良いので、特徴量Ｃの第二評価値に対して１を加算する。
【００４４】
結果として、特徴量Ａの第二評価値は１０、特徴量Ｂの第二評価値は１５、特徴量Ｃの第二評価値は１２、特徴量Ｄの第二評価値は６、特徴量Ｅの第二評価値は７となる。この第二評価値が所定の値（例えば、閾値は０）より大きい特徴量を特徴量のサブセットとする。この場合、特徴量Ａと特徴量Ｂと特徴量Ｃと特徴量Ｄと特徴量Ｅとが特徴量のサブセットとなる。
【００４５】
（ステップＳ３０４：特徴量のサブセット選択）
ステップＳ３０４では、交差確認法を利用して、ステップＳ３０３で生成した特徴量のサブセットを選択し、識別器のパラメータを設定する。ここでは、識別器として投影距離法を用いる場合について述べる。投影距離とは、それぞれの特徴量を軸とする特徴空間における特徴ベクトルと、パターンの分布の分散が最大となる向きを持つ超平面（主平面）との最短距離である。詳細については、数式を用いて具体的に説明する。
【００４６】
良品データの平均ベクトルｍと共分散行列Σは、良品データの数ｎと特徴ベクトルｘiを用いて示すことができる。この良品データの平均ベクトルｍを式８に、共分散行列Σを式９に示す。
【００４７】
【数８】
2017010318.tif 000010
【００４８】
【数９】
2017010318.tif 000011
【００４９】
共分散行列Σの第ｉ番目の固有値、固有ベクトルをそれぞれλi、φiとする。このとき固有値は降順で並んでいるものとする。式８で算出された主平面と式９で算出された平均ベクトルｍを用いて、良品のデータ数ｒと特徴ベクトルｘにより、投影距離ｄ（ｘ）は
【００５０】
【数１０】
2017010318.tif 000012
【００５１】
で表される。学習用データをＬ分割し、（Ｌ−１）個のデータ群を学習用データとし、１個のデータ群をテストデータとして、式１０で算出された投影距離に基づいて異常度を算出し正常異常判定を行う。算出された異常度からＲＯＣ曲線を求め、評価値基準のひとつであるＡＵＣ（Ａｒｅａ  Ｕｎｄｅｒ  Ｃｕｒｖｅ：曲線下部の面積）により特徴量のサブセットを選択して、部分空間の次元数を設定する。
【００５２】
（ステップＳ３０５：正常異常判定）
ステップＳ３０５では、ステップＳ３０４で選択された特徴量のサブセットと、設定されたパラメータに対応する識別器のパラメータ（部分空間の次元数）を用いて学習を行い、正常モデルを生成する。この正常モデルを用いて、すべてのテストデータに対して投影距離に基づく異常度スコアを算出し、算出した異常度スコアを閾値処理することにより正常異常判定を行う。
【００５３】
次に、図３のステップＳ３０３における特徴量のサブセットの生成処理の詳細について説明する。図５は、第１の実施形態における特徴量のサブセットの生成処理を示すフローチャートである。
【００５４】
（ステップＳ５０１：ｎ個ずつ特徴量の組み合わせを生成）
ステップＳ５０１では、情報処理装置１０３が組み合わせ生成手段として機能し、ステップＳ３０２で抽出した特徴量を組み合わせて、ｎ個ずつの特徴量の組み合わせを生成する。組み合わせる特徴量の数ｎは、予め設定しておくが、例えば計算時間の観点からｎ＝２にするのが好ましい。入力データとしての画像データから抽出した特徴量の数がＮ個である場合、ｎ個ずつの特徴量を組み合わせるので、NＣn通りの組み合わせが生成される。
【００５５】
（ステップＳ５０２：ｎ個の特徴量の組み合わせのそれぞれに対して第一評価値を算出）
ステップＳ５０２では、情報処理装置１０３が第一の算出手段として機能し、ステップＳ５０１で生成されたNＣn通りの特徴量の組み合わせのそれぞれに対して、第一評価値を算出する。第一評価値は、ｎ個ずつの特徴量の組み合わせが、入力データの分類の判定に適しているか否かを評価するための評価値である。すなわち、第一評価値は、検査対象物１０１が良品であるか不良品であるかを判定する際に用いる特徴量の組み合わせとして適しているか否かを示している。
【００５６】
第一評価値の例の一つとして、正常データと異常データとを用いて算出されるベイズ誤り確率推定値について述べる。ここで、正常のクラス、異常のクラスのそれぞれをｗ1、ｗ2とし、ｎ個の特徴をもつベクトルをＸ＝［ｘ1，・・・，ｘn］tとする。正常クラスｗ1、異常クラスｗ2に属する確率の分布に対応するｗ1とｗ2における条件付き確率分布Ｐ（ｗ1｜ｘ）、Ｐ（ｗ2｜ｘ）をヒストグラムで表現し、そこから事後確率分布Ｐ（ｗ1｜ｘ）、Ｐ（ｗ2｜ｘ）を式１１により算出する。
【００５７】
【数１１】
2017010318.tif 000013
【００５８】
そして、事後確率分布Ｐ（ｗ1｜ｘ）、Ｐ（ｗ2｜ｘ）の重なりに対応するベイズ誤り確率推定値を、式１２を用いて算出する。
【００５９】
【数１２】
2017010318.tif 000014
【００６０】
このベイズ誤り確率推定値の計算を、NＣn通りの特徴量の組み合わせのそれぞれに対して行う。ここで算出するベイズ誤り確率推定値は、値が低いほど良品と不良品との分類に適している組み合わせとみなすことができる。また、ベイズ誤り確率推定値は、ｎ≧３の場合においても、すなわち３つ以上の特徴量の組み合わせについても適用可能である。
【００６１】
なお、ベイズ誤り確率推定値以外の正常データと異常データとを用いる評価値として、例えばクラス内分散・クラス間分散比を第一評価値として用いることも可能である。また、正常データのみを用いる評価値として、正常データの重心からの最も離れたデータへのユークリッド距離を第一評価値として用いることも可能である。
【００６２】
（ステップＳ５０３：重みパラメータの設定）
ステップＳ５０３では、情報処理装置１０３がパラメータ生成手段として機能し、第二評価値を算出する際に値を加算する上位の特徴量の数Ｋを設定する。このＫを重みパラメータと呼ぶ。本実施形態では、重みパラメータＫを複数（ｋ個）用意する。そして、続くステップＳ５０４で、重みパラメータＫを順に変えて、重みパラメータ毎に第二評価値の算出が行われる。例えば、ｋ個の重みパラメータＫをＫ＝１，・・・，ｋと順に変えて、重みパラメータ毎に第二評価値を算出する。例えば、Ｋ＝ｍである場合、ある特徴量に対して、第一評価値の順位が一位の特徴量には第二評価値に対して値ｍを加算する。また、第一評価値の順位が二位の特徴量には第二評価値に対して値（ｍ−１）を加算し、以下、第一評価値の順位に応じて加算する値を線形に変化させていき、第一評価値の順位がｎ位の特徴量には第二評価値に対して値１を加算する。
【００６３】
（ステップＳ５０４：第二評価値を算出）
ステップＳ５０４では、情報処理装置１０３が第二の算出手段として機能し、ステップＳ５０２で算出した第一評価値と、ステップＳ５０３で決定した複数の重みパラメータとを用いて、第二評価値を算出する。以下に、第二評価値の算出方法について詳細に説明する。
【００６４】
まず、１つの特徴量に注目し、その特徴量を含む組み合わせの中で第一評価値が良い方から、重みパラメータＫの数分の組み合わせを求める。第一評価値としてベイズ誤り確率推定値を用いている場合、ベイズ誤り確率推定値が低い方から重みパラメータＫの数分の特徴量の組み合わせを求める。そして、注目した特徴量に対し、第一評価値が良い方から重みパラメータＫの数分の組み合わせの特徴量について、第一評価値が良い順に値が大きくなる、重みパラメータＫに応じた所定の値を第二評価値に対して加算する。そして、注目する特徴量を順に変えながら、特徴量毎の第二評価値に対して所定の値を加算する前述の処理を繰り返す。このようにして、すべての特徴量に対して注目し、特徴量毎に所定の値を加算した第二評価値の合計を求める。
【００６５】
なお、ｎ≧３の場合における第二評価値の算出において、第二評価値に対して値を加算する際には複数の特徴量の第二評価値に対して値を加算する。例えば、ｎ＝３の場合について述べると、３つの特徴量の組み合わせで第一評価値を算出する。よって、ある特徴量に注目した場合、その特徴量との組み合わせに含まれる２つの特徴量の第二評価値に対して値が加算される。
【００６６】
（ステップＳ５０５：特徴量のサブセットを生成）
ステップＳ５０５では、情報処理装置１０３がサブセット生成手段として機能し、ステップＳ５０４で重みパラメータＫ毎に算出した第二評価値を閾値処理することにより、第二評価値が所定の値である特徴量の組み合わせを特徴量のサブセットとして生成する。このときの閾値は固定値にすると重みパラメータＫの値によりバラつきがでるので、パーセンタイル法で累積値の閾値処理を行う。
【００６７】
例えば、特徴量Ａの第二評価値が４、特徴量Ｂの第二評価値が３、特徴量Ｃの第二評価値が１、特徴量Ｄの第二評価値が９であるとする。この場合、特徴量をＤ（９）、Ａ（４）、Ｂ（３）、Ｃ（１）と降順に並べ、累積値がＤ（９）、Ａ（１３）、Ｂ（１６）、Ｃ（１７）となる。９０％の累積値で閾値処理すると、閾値が１７×０．９で１５．３となる。よって、特徴量Ｄと特徴量Ａが特徴量のサブセットとして生成される。この処理を各重みパラメータＫに関し行い、特徴量のサブセットを複数種類（重みパラメータＫの数分）生成する。
【００６８】
なお、今回はパーセンタイル法で累積値の閾値処理を行うことを前提としたが、閾値処理を行わないで、第二評価値が０以上の特徴量をすべて用い、特徴量のサブセットとして利用してもよい。例えば、特徴量Ａの第二評価値が４、特徴量Ｂの第二評価値が３、特徴量Ｃの第二評価値が０、特徴量Ｄの第二評価値が７である場合、特徴量Ａと特徴量Ｂと特徴量Ｄ、を特徴量のサブセットとして利用するようにしても良い。
【００６９】
第１の実施形態によれば、第一評価値に基づいて第二評価値を求める際に使用する重みパラメータを複数設定する。そして、複数の重みパラメータ毎に、第二評価値を算出し、算出した第二評価値に基づいて特徴量のサブセットを生成し、入力データの分類に適している特徴量のサブセットを選択する。これにより、精度の高い特徴量の選択を行うことができ、結果的に、より精度の高い正常異常識別を行うことができる。
【００７０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、第二評価値に対して加算する値を離散的に設定していた。これに対し、第２の実施形態では、第二評価値に対して加算する値を入力データの共分散行列の固有値を基に設定して、第二評価値を算出し特徴量のサブセットを生成する。なお、以下では、第２の実施形態において、前述した第１の実施形態と異なる点についてのみ説明する。
【００７１】
第２の実施形態における特徴量のサブセットの生成処理のフローチャートを図６に示す。
（ステップＳ６０１：共分散行列の固有値から重みパラメータを決定）
ステップＳ６０１では、ステップＳ３０２で抽出した正常データの特徴量（特徴量ベクトル）から前述した式８及び式９により特徴行列である共分散行列Σを求め、求めた共分散行列Σの固有値を用いて第二評価値に対して加算する値を決定する。式９により得られた共分散行列Σの第ｉ番目の固有値、固有ベクトルをそれぞれλi、φiとする。このとき固有値は降順で並んでいるものとする。本実施形態では、第二評価値の算出を行う際、第一評価値がＭ番目に良い特徴量の第二評価値に対して、Ｍ番目に大きい固有値λMを加算する。
【００７２】
（ステップＳ６０２：重みパラメータを設定）
ステップＳ６０２では、重みパラメータＫを設定する。設定される重みパラメータＫに応じて、続くステップＳ６０３では、重みパラメータＫがｋであるとき、第一評価値がｋ番目に良い特徴量までには、第一評価値の順に応じてステップＳ６０１の処理で得られた値が第二評価値に対して加算される。例えば、第一評価値がｐ番目（１≦ｐ≦ｋ）に良い特徴量の第二評価値に対して、ｐ番目に大きい固有値λpが加算される。第一評価値が（ｋ＋１）位以上の特徴量に対しては、第二評価値に対して０を加算する（すなわち値が加算されない）。
【００７３】
なお、第２の実施形態における図６のステップＳ６０３、Ｓ６０４の処理は、第１の実施形態における図５のステップＳ５０４、Ｓ５０５の処理とそれぞれ同様であるので説明は省略する。
【００７４】
第２の実施形態によれば、第二評価値に加算する値に特徴行列である共分散行列の固有値を割り当てることにより、連続値を設定することが可能となり、精度の高い第二評価値の算出を行うことができる。結果的に、精度の高い正常異常識別を行うことができる。
【００７５】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１の実施形態では、重みパラメータを複数設定し、複数の重みパラメータ毎に、第二評価値を算出し、算出した第二評価値に基づいて特徴量のサブセットを生成する。これに対し、第３の実施形態では、複数の重みパラメータをかえて生成したそれぞれの特徴量のサブセットを分解して、より多くのサブセットを生成する。なお、以下では、第３の実施形態において、前述した第１の実施形態と異なる点についてのみ説明する。
【００７６】
第３の実施形態における特徴量のサブセットの生成処理のフローチャートを図７に示す。なお、第３の実施形態における図７のステップＳ７０１、Ｓ７０２、Ｓ７０３、Ｓ７０４の処理は、第１の実施形態における図５のステップＳ５０１、Ｓ５０２、Ｓ５０３、Ｓ５０４の処理とそれぞれ同様であるので説明は省略する。
【００７７】
（ステップＳ７０５：特徴量の組み合わせを分解し、特徴量のサブセットを生成）
ステップＳ７０５では、ステップＳ７０４で算出した第二評価値を利用して、特徴量の組み合わせを分解し、特徴量のサブセットを生成する。特徴量の組み合わせに対して、ステップＳ７０４で重みパラメータＫ毎に算出した第二評価値を降順に並べて第二評価値の閾値処理を行い、第二評価値が所定の値以上の特徴量を特徴量のサブセットに決定する。このときの閾値処理は、降順に並べた第二評価値の累積値を利用してパーセンタイル法により閾値処理を行う。閾値処理については、図５のステップＳ５０５と同一であるので説明は省略する。
【００７８】
閾値処理を行った後に、決定した複数種類の特徴量の組み合わせを分解し、分解した特徴量の組み合わせをサブセットに設定する。図８は、特徴量の組み合わせを分解し、分解した特徴量の組み合わせをサブセットに設定する概念を示す図である。
【００７９】
図８（Ａ）は、重みパラメータを設定して第二評価値を算出する際に、ａ位の第一評価値を持つ特徴量まで、第二評価値に対して値を加算した結果を示している。特徴量インデックスは、第二評価値が高い順に並べられている。第二評価値の算出では、第一評価値の順位が一位の特徴量の第二評価値に対して値ａを加算し、第一評価値の順位が二位の特徴量の第二評価値に対して値（ａ−１）を加算する。また、第一評価値の順位がｎ位の特徴量の第二評価値に対して値（ａ−ｎ）を加算し、第一評価値の順位がａ位の特徴量の第二評価値に対して値１を加算する。
【００８０】
このとき、加算する値は離散的に設定するため、第二評価値が同じになる特徴量が複数存在する。第二評価値が同じになる特徴量に関しては、どちらがよいのかを判断することができないので、第二評価値に基づいて並べた特徴量に対し、第二評価値の閾値を設定することができない。よって、第二評価値の値が変化するところで、選択する特徴量のサブセットを区切る。
【００８１】
そのため、第二評価値の変化点から、特徴量選択数は、順に３、６、１０、１２、１４となる。特徴量選択数が３であるときに選択される特徴量インデックスは、１２、２５、４１であり、特徴量選択数が６であるときに選択される特徴量インデックスは１２、２５、４１、８、１６、９である。特徴量選択数が１０であるときに選択される特徴量インデックスは、１２、２５、４１、８、１６、９、１１、２８、７、１３である。特徴量選択数が１２であるときに選択される特徴量インデックスは、１２、２５、４１、８、１６、９、１１、２８、７、１３、２６、４２である。特徴量選択数が１４であるときに選択される特徴量インデックスは、１２、２５、４１、８、１６、９、１１、２８、７、１３、２６、４２、５７、１７である。
【００８２】
図８（Ｂ）は、図８（Ａ）とは異なる重みパラメータを設定した場合を示しており、第二評価値を算出する際に、ｂ位の第一評価値を持つ特徴量まで、第二評価値に対して値を加算した結果を示している。ここでは、特徴量選択数は、２、６、９、１２、１７、１９となる。
【００８３】
同様に、図８（Ｃ）は、図８（Ａ）とは異なる重みパラメータを設定した場合を示しており、第二評価値を算出する際に、ｃ位の第一評価値を持つ特徴量まで、第二評価値に対して値を加算した結果を示している。ここでは、特徴量選択数は、４、６、１１、１３、１７、２１、２４となる。
【００８４】
このようにして、図８（Ａ）のように重みパラメータを設定した場合から特徴量のサブセット（特徴量選択数：３、６、１２、１４）が４つ生成される。また、図８（Ｂ）のように重みパラメータを設定した場合から特徴量のサブセット（特徴量選択数：２、６、９、１２、１７、１９）が６つ生成される。図８（Ｃ）のように重みパラメータを設定した場合から特徴量のサブセット（特徴量選択数：４、６、１１、１３、１７、２１、２４）が７つ生成される。結果として、サブセットは合計で４＋６＋７＝１７個生成される。
【００８５】
このようにしてサブセットを生成するが、異なる重みパラメータで特徴量選択数が重複する場合があるので、Ｋが小さい特徴量のサブセットを優先的に利用するようにしてもよい。その場合、重複する特徴量選択数を除くので、４＋（６−２）＋（７−２）＝１３個の特徴量のサブセットが生成されることになる。
【００８６】
第３の実施形態によれば、複数の重みパラメータ毎に特徴量のサブセットを生成するだけでなく、サブセットを分解して、より多くのサブセットを生成する。これにより、特徴量のサブセットの候補をより多く生成することができ、特徴量の選択の候補を増分させることになり、結果的に精度の高い正常異常識別を行うことができる。
【００８７】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。第１〜第３の実施形態では、検査のタスクを例に説明を行った。これに対し、第４の実施形態では、遺伝子の診断において、コストを抑えるチップの作成を行うための遺伝子選択のタスクを例に説明する。
【００８８】
図９は、第４の実施形態における情報処理システムの構成例を示す図である。メッセンジャーＲＮＡ測定装置９０１は、マイクロアレイ技術によって様々な情報断片を運ぶメッセンジャーＲＮＡの個数、つまり遺伝子発現量を測定する。情報処理装置９０２は、メッセンジャーＲＮＡ測定装置９０１により測定されたメッセンジャーＲＮＡの個数、つまり遺伝子発現量が、教師ラベルに対して統計的に有意であるか否かを判断し、遺伝子を選択するための装置である。
【００８９】
図１０は、本実施形態における情報処理装置９０２の処理例を示すフローチャートである。なお、図１０に示す各ステップの処理は、情報処理装置９０２により実行される。
（ステップＳ１００１：分散値によるスクリーニング）
ステップＳ１００１では、教師ラベルを用いずに遺伝子発現の分散を算出し、分散値の大きい遺伝子から順に選択して１０００程度の遺伝子にスクリーニングを行う。
【００９０】
（ステップＳ１００２：評価値に基づいたスクリーニング）
ステップＳ１００２では、ステップＳ１００１で分散値を用いてスクリーニングした遺伝子に対し、さらにｔ−ｓｃｏｒｅと呼ばれる評価値を用いて５００程度の遺伝子にスクリーニングを行う。ここで、ｔ−ｓｃｏｒｅとは、Ｓ／Ｎ比の一種であり、遺伝子毎に発現量の群内平均の差と群内標準偏差の平均との比を表す評価値である。
【００９１】
（ステップＳ１００３：遺伝子のサブセットの生成）
ステップＳ１００３では、ステップＳ１００２での遺伝子のスクリーニング結果に対し、特徴量の選択技術を用いて遺伝子のサブセットを生成する。特徴量の選択を行う手法として、第１の実施形態における図３のステップＳ３０３の手法を用いる。ここでは、遺伝子を特徴量とし、遺伝子間の発現量を利用して評価値を算出することによって、特徴量の選択を行う。ステップＳ１００３の処理の詳細については、図３のステップＳ３０３の処理と同様であるので説明を省略する。
【００９２】
（ステップＳ１００４：交差確認法による遺伝子のサブセットの選択）
ステップＳ１００４では、ステップＳ１００３で生成した遺伝子のサブセットに対し、交差確認法により選択を行う。
【００９３】
第４の実施形態によれば、特徴量の選択技術を用いて遺伝子のサブセットを生成して、交差確認法により遺伝子の再選択を行う。これにより、精度の高い遺伝子選択を行うことができ、結果として、遺伝子の診断においてコストを抑えるチップの作成が可能となる。
【００９４】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９５】
例えば、前述の実施形態に示した情報処理装置は、図１１に示すようなコンピュータ機能１１００を有し、そのＣＰＵ１１０１により前述の実施形態での動作が実施される。コンピュータ機能１１００は、図１１に示すように、ＣＰＵ１１０１と、ＲＯＭ１１０２と、ＲＡＭ１１０３とを有する。また、操作部（ＣＯＮＳ）１１０９のコントローラ（ＣＯＮＳＣ）１１０５と、表示部としてのディスプレイ（ＤＩＳＰ）１１１０のディスプレイコントローラ（ＤＩＳＰＣ）１１０６とを有する。さらに、ハードディスク（ＨＤ）１１１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）１１１２のコントローラ（ＤＣＯＮＴ）１１０７と、ネットワークインタフェースカード（ＮＩＣ）１１０８とを有する。それら機能部１１０１、１１０２、１１０３、１１０５、１１０６、１１０７、１１０８は、システムバス１１０４を介して互いに通信可能に接続された構成としている。
【００９６】
ＣＰＵ１１０１は、ＲＯＭ１１０２又はＨＤ１１１１に記憶されたソフトウェア、又はＳＴＤ１１１２より供給されるソフトウェアを実行することで、システムバス１１０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ１１０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ１１０２、ＨＤ１１１１、又はＳＴＤ１１１２から読み出して実行することで、前述の実施形態での動作を実現するための制御を行う。ＲＡＭ１１０３は、ＣＰＵ１１０１の主メモリ又はワークエリア等として機能する。ＣＯＮＳＣ１１０５は、ＣＯＮＳ１１０９からの指示入力を制御する。ＤＩＳＰＣ１１０６は、ＤＩＳＰ１１１０の表示を制御する。ＤＣＯＮＴ１１０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び前述の実施形態における処理プログラム等を記憶するＨＤ１１１１及びＳＴＤ１１１２とのアクセスを制御する。ＮＩＣ１１０８はネットワーク１１１３上の他の装置と双方向にデータをやりとりする。
【００９７】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００９８】
１０３：情報処理装置  ２０１：特徴量抽出部  ２０２：特徴量選択部  ２０３：パラメータ設定部  ２０４：識別器生成部  ２０５：識別器判定部
【図１】
2017010318.tif 000015
【図２】
2017010318.tif 000016
【図３】
2017010318.tif 000017
【図４】
2017010318.tif 000018
【図５】
2017010318.tif 000019
【図６】
2017010318.tif 000020
【図７】
2017010318.tif 000021
【図８】
2017010318.tif 000022
【図９】
2017010318.tif 000023
【図１０】
2017010318.tif 000024
【図１１】
2017010318.tif 000025