(57)【要約】【課題】入力データの種類に拘わらずアンサンブル学習における弱情報抽出部を自動的に生成することによって、より高精度の情報抽出装置を自動的に構築する。【解決手段】高精度情報抽出装置構築システム１０は、特徴量抽出式リストを生成する特徴量抽出式リスト生成部１１、各特徴量抽出式により教師データの特徴量を計算する特徴量計算部１２、教師データを供給する教師データ供給部１３、計算された教師データの特徴量と教師データとに基づいて情報抽出式を機械学習により生成するとともに各特徴抽出式の評価値を算出する評価値算出部１５、および、評価値算出部１５から出力されるＴ個の弱情報抽出部Ｆ（Ｘ）ｔとそれに対応する信頼度Ｃｔを用いて高精度情報抽出装置を構築する合成部１６から構成される。本開示は、入力データから、入力データの特徴量を示す情報を高精度に抽出する情報抽出装置を構築する場合に適用できる。【選択図】図３
2013164863.tif 000002
【特許請求の範囲】
【請求項１】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、
複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、
計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出する評価値算出手段と、
決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する更新手段と
を含むことを特徴とする情報処理装置。
【請求項２】
複数の前記情報抽出部を、前記情報抽出部の前記信頼度に基づいて合成することにより、前記高精度情報抽出部を構築する合成手段を
さらに含むことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、
決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、
決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する
ステップを含むことを特徴とする情報処理方法。
【請求項４】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、
決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、
決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する
ステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とするプログラム。
【請求項５】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、
実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択する選択手段と、
複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する評価値算出手段と
を含むことを特徴とする情報処理装置。
【請求項６】
複数の前記情報抽出部を合成することにより、前記高精度情報抽出部を構築する合成手段を
さらに含むことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、
実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する
ステップを含むことを特徴とする情報処理方法。
【請求項８】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、
実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する
ステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、楽曲データなどの入力データから当該入力データの特徴を示す情報を高精度に抽出できる高精度情報抽出アルゴリズムを自動的に構築するようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、楽曲データや画像データなどを入力データとして、前記入力データの情報（入力データが楽曲データである場合、速さ、明るさ、にぎやかさ等）を出力することができるアルゴリズムを自動的に構築する発明が提案されている（例えば、特許文献１参照）。
【０００３】
また、入力データから当該入力データの特徴を示す情報を高精度に抽出できるアルゴリズムを構築する方法として、アンサンブル学習と称する手法が知られている。
【０００４】
アンサンブル学習は、複数の教師データを用いて精度の低い情報抽出装置（以下、弱情報抽出部(weak learner)と称する）を複数生成し、生成した複数の弱情報抽出部による出力を組み合わせることによって高精度の情報抽出装置を得る手法である。
【０００５】
アンサンブル手法の例としては、ブースティング(boosting)とバッギング(bagging)の２種類を挙げることができる。
【０００６】
ブースティングでは、各教師データに重み付けを行い、全ての教師データを用いて１つの弱情報抽出部を生成する。そして生成した弱情報抽出部によって正しく情報が抽出された教師データについては重みを下げ、間違って情報が抽出された教師データについては重みを上げることにより、教師データの重みを更新する。また、重みが更新された全ての教師データを用いてさらにもう１つの弱情報抽出部を生成する。以下同様の処理を繰り返すことにより、複数の弱情報抽出部を生成し、生成した複数の弱情報抽出部の出力をそれぞれの重み付けで組み合わせることによって高精度の情報抽出装置を得る。
【０００７】
バッギングでは、全ての教師データから所定数をランダムにサンプリングして教師データ群を生成し、教師データ群を用いて１つの弱情報抽出部を生成する。この処理を繰り返すことにより、複数の弱情報抽出部を生成し、生成した複数の弱情報抽出部の出力を組み合わせることによって高精度の情報抽出装置を得る。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許出願公報  ＵＳ２００４／０１８１４０１Ａ１
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したブースティングやバッギングなどアンサンブル手法では、より多くの弱情報抽出部を生成して、その出力を組み合わせることによって、より高精度の情報抽出装置を得ることができる。
【００１０】
しかしながら、入力データの種類に拘わらずアンサンブル学習における弱情報抽出部を自動的に生成する方法は従来確立されておらず、弱情報抽出部を人手によって生成する必要があった。したがって、弱情報抽出部の数を増やして情報抽出装置の精度を所望のレベルまで到達させることが困難であった。
【００１１】
本開示はこのような状況に鑑みてなされたものであり、入力データの種類に拘わらずアンサンブル学習における弱情報抽出部を自動的に生成することによって、より高精度の情報抽出装置を自動的に構築できるようにするものである。
【課題を解決するための手段】
【００１２】
本開示の第１の側面である情報処理装置は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出する評価値算出手段と、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する更新手段とを含むことを特徴とする。
【００１３】
本開示の第１の側面である情報処理装置は、複数の前記情報抽出部を、前記情報抽出部の前記信頼度に基づいて合成することにより、前記高精度情報抽出部を構築する合成手段をさらに含むことができる。
【００１４】
本開示の第１の側面である情報処理方法は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新するステップを含むことを特徴とする。
【００１５】
本開示の第１の側面であるプログラムは、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新するステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とする。
【００１６】
本開示の第１の側面においては、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストがランダムに生成され、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データが入力されて、前記実データに対応する複数の特徴量が計算される。また、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補が生成されるとともに、生成された前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値が算出される。さらに、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストが更新される。そして、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補が、前記アンサンブル学習における１つの前記情報抽出部に決定され、決定された前記情報抽出部によって間違って推定された教師データの重みを用いて、決定された前記情報抽出部の信頼度が算出され、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みが更新される。
【００１７】
本開示の第２の側面である情報処理装置は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択する選択手段と、複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する評価値算出手段とを含むことを特徴とする。
【００１８】
本開示の第２の側面である情報処理装置は、複数の前記情報抽出部を合成することにより、前記高精度情報抽出部を構築する合成手段をさらに含むことができる。
【００１９】
本開示の第２の側面である情報処理方法は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成するステップを含むことを特徴とする。
【００２０】
本開示の第２の側面であるプログラムは、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成するステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とする。
【００２１】
本開示の第２の側面においては、実データ、および前記実データの特徴を示す情報からなる教師データがランダムに選択され、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストがランダムに生成され、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データが入力されて、前記実データに対応する複数の特徴量が計算される。また、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度が算出される。さらに、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストが更新される。さらに、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部が生成される。
【発明の効果】
【００２２】
本開示の第１および第２の側面によれば、入力データの種類に拘わらずアンサンブル学習における弱情報抽出部を自動的に生成することができる。
【００２３】
また本開示の第１および第２の側面によれば、入力データの種類に拘わらずより高精度の情報抽出装置を自動的に構築できる。
【図面の簡単な説明】
【００２４】
【図１】アンサンブル学習による高精度情報抽出装置を説明する図である。
【図２】図１の高精度情報抽出装置における弱情報抽出部の構成を説明する図である。
【図３】本開示の第１の実施の形態である高精度情報抽出装置構築システムの構成例を示すブロック図である。
【図４】特徴量抽出式の例を示す図である。
【図５】特徴量抽出式の構成を説明する図である。
【図６】特徴量抽出式リストの例を示す図である。
【図７】遺伝的アルゴリズムを説明するための図である。
【図８】教師データのデータ構造を示す図である。
【図９】図３の特徴量計算部によって計算される特徴量の例を示す図である。
【図１０】特徴量抽出式に対応する情報推定式（閾値）、および評価値の決定方法を説明するための図である。
【図１１】図３の高精度情報抽出装置構築システムによる動作を説明するフローチャートである。
【図１２】図１１のステップＳ２の処理を説明するフローチャートである。
【図１３】図１１のステップＳ５の処理を説明するフローチャートである。
【図１４】本開示の第２の実施の形態である高精度情報抽出装置構築システムの構成例を示すブロック図である。
【図１５】図１４の高精度情報抽出装置構築システムによる動作を説明するフローチャートである。
【図１６】図１５のステップＳ６２の処理を説明するフローチャートである。
【図１７】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本開示を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２６】
本開示を適用した高精度情報抽出装置構築システムは、図１に示すような、入力データＸの特徴を示す情報を出力する複数の弱情報抽出部２−１乃至２−Ｔ、および、弱情報抽出部２−１乃至２−Ｔの出力を組み合わせることによって、入力データＸの特徴を示す情報を高精度で出力する合成部３から成る高精度情報装置１を自動的に構築するものである。
【００２７】
なお、入力データＸは、多次元のデータであればよく、その種類は任意である。例えば、時間の次元とチャンネルの次元を有する楽曲データ、Ｘ次元とＹ次元と画素の次元を有する画像データ、画像データに時間の次元を加えた動画像データなどを入力データＸとすることができる。
【００２８】
高精度情報装置１が出力する入力データＸに対する情報としては、例えば、入力データＸが楽曲データである場合、当該楽曲データの明暗（明るいか、明るくないかの２値情報）、または、明るさ（その値によって明るさの程度を示す数値情報。例えば、０から５までの値として、０は全く明るくない。５は非常に明るいとする）などを挙げることができる。勿論、上に挙げた例以外を入力データＸとその情報とすることができる。
【００２９】
図１の弱情報抽出部２−１は、図２に示すように、特徴量抽出式と情報推定式から構成されている。特徴量抽出式は、入力データＸに対して所定の演算を行い、演算結果として１次元の値を出力する。情報推定式は、特徴量抽出式の出力である１次元の値から、入力データＸの特徴を示す情報を推定する。ここで、情報推定式は、例えば、その出力（すなわち、弱情報抽出部２-１の出力）を、＋１または−１の２値情報とする場合には、特徴量抽出式の出力である１次元の値と比較するための閾値からなる判別式とすることができる。また例えば、その出力を、所定の範囲の数値とする場合には、特徴量抽出式の出力である１次元の値を入力とする線形結合式とすることができる。
【００３０】
図１の弱情報抽出部２−２乃至２−Ｔについても、弱情報抽出部２−１と同様である。
【００３１】
次に、本開示の第１の実施の形態である高精度情報抽出装置構築システム１０の構成例について、図３を参照して説明する。この高精度情報抽出装置構築システム１０は、複数の教師データを用いたアンサンブル学習のブースティングによって高精度情報抽出装置１を構築するものである。
【００３２】
この高精度情報抽出装置構築システム１０は、ｍ本の特徴量抽出式からなる特徴量抽出式リストを生成、更新する特徴量抽出式リスト生成部１１、生成された各特徴量抽出式に教師データの実データを代入して特徴量を計算する特徴量計算部１２、教師データを特徴量計算部１２と評価値算出部１５に供給する教師データ供給部１３、特徴量計算部１２によって計算された教師データに対応する特徴量と教師データとに基づいて情報抽出式を機械学習により生成するとともに特徴量抽出式リストを構成する各特徴抽出式の評価値を算出する評価値算出部１５、および、評価値算出部１５から出力されるＴ個の弱情報抽出部Ｆ（Ｘ）ｔとそれに対応する信頼度Ｃｔを用いて高精度情報抽出装置１を構築する合成部１６から構成される。
【００３３】
特徴量抽出式リスト生成部１１は、第１世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式をランダムに生成し、生成した第１世代の特徴量抽出式リストを特徴量計算部１２に供給する。
【００３４】
ここで、特徴量抽出式リスト生成部１１によって生成される特徴量抽出式について、図４を参照して説明する。図４Ａ乃至図４Ｄは、それぞれ特徴量抽出式の例を示している。
【００３５】
特徴量抽出式には、左端に入力データの種類が記述され、入力データの種類の右側には、１種類以上のオペレータ（演算子）が演算される順序に従って記述される。各オペレータには、適宜、処理対称軸とパラメータが含まれる。
【００３６】
オペレータの種類としては、平均値（Mean）、高速フーリエ変換（FFT）、標準偏差(StDev)、出現率(Ratio)、ローパスフィルタ(LPF)、ハイパスフィルタ(HPF)、絶対値(ABS)、２乗(Sqr)、平方根(Sqrt)、正規化(Normalize)、微分(Differential)、積分(Integrate)、最大値(MaxIndex)、不偏分散(UVariance)、ダウンサンプリング(DownSampling)などを挙げることができる。なお、決定されたオペレータによっては処理対称軸が固定されていることがあるので、その場合、パラメータに固定されている処理対称軸を採用する。また、パラメータを必要とするオペレータが決定された場合、パラメータもランダムまたは予め設定されている値に決定する。
【００３７】
例えば、図４Ａに示された特徴量抽出式の場合、12TomesMが入力データであり、32#Differential，32#MaxIndex,16#LPF_1;O.861，16#UVarianceそれぞれがオペレータである。また、各オペレータ中の32#，16#などは処理対称軸を示している。
【００３８】
ここで、12TomesMはモノラルのPCM(pulse coded modulation sound source)波形データを時間軸に沿って音程解析したものであることを示しており、48#はチャンネル軸、32#は周波数軸と音程軸、16#は時間軸を示している。オペレータ中の0.861はローパスフィルタ処理におけるパラメータであり、例えば透過させる周波数の閾値を示している。
【００３９】
なお、第１世代の特徴量抽出式リストを構成する各特徴量抽出式の入力データの種類は入力データＸと同じもの、オペレータの数と種類はランダムに決定されるが、各特徴量抽出式を生成する際の制約として、図５に示すように、複数のオペレータに対応する演算が順次実行されるにつれて、演算結果の保有次元数が順次減少し、特徴量抽出式の最終的な演算結果がスカラになるか、あるいはその次元数が１となるようになされている。
【００４０】
図４Ａ乃至図４Ｄに示された例から明らかなように、特徴量抽出式によって計算される特徴量は、例えば、楽曲データに対するテンポ、画像データに対する画素のヒストグラムなどのように、既存の概念で有意義と判断される値になるわけではない。すなわち、特徴量抽出式によって計算される特徴量は、単に入力データを特徴量抽出式に代入したときの演算結果に過ぎないものでよい。
【００４１】
以下、特徴量抽出式リスト生成部１１によって生成される特徴量抽出式リストは、図６に示すように、ｍ本の特徴量抽出式ｆ１乃至ｆｍによって構成されているものとする。図６の例において、特徴量抽出式ｆ１乃至ｆｍの入力データであるWavMはモノラルのPCM波形データであり、保有次元は時間軸とチャンネル軸である。
【００４２】
図３に戻る。特徴量抽出式リスト生成部１１はまた、第２世代以降の特徴量抽出式リストを、前世代の特徴量抽出式リストを遺伝的アルゴリズム(GA:genetic algorism)に従って更新することによって生成し、生成した特徴量抽出式リストを特徴量計算部１２に供給する。
【００４３】
ここで、遺伝的アルゴリズムとは、現世代の遺伝子から、選択処理、交差処理、突然変異処理、およびランダム生成処理により、次世代の遺伝子を生成するアルゴリズムを指す。具体的には、特徴量抽出式リストを構成する複数の各特徴量抽出式を遺伝子とみなし、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式の評価値に応じて選択処理、交差処理、突然変異処理、およびランダム生成処理を行い、次世代の特徴量抽出式リストを生成する。
【００４４】
すなわち、例えば図７に示すように、選択処理では、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の高い特徴量抽出式ｆ２を選択して次世代の特徴量抽出式リストに含める。交差処理では、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の高い複数の特徴量抽出式ｆ２とｆ５を交差させて（組み合わせて）特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。
【００４５】
突然変異処理では、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の高い特徴量抽出式ｆ２を部分的に突然変異させて（変更して）特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。ランダム生成処理では、新たな特徴量抽出式をランダムに生成して次世代の特徴量抽出式リストに含める。
【００４６】
図３に戻る。特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成する各特徴量抽出式ｆ１乃至ｆｍに、教師データ供給部１３から供給される複数の教師データＴｉの実データＤｉを代入し、教師データＴｉに対する特徴量を計算し、計算した特徴量を評価値算出部１５に供給する。
【００４７】
ここで、教師データ供給部１３から供給される教師データＴｉについて説明する。図８は、教師データＴｉのデータ構造を示している。
【００４８】
総数Ｌ個の教師データＴｉ（ｉ＝１，２，・・・，Ｌ）は、入力データＸと同じ種類のデータである実データＤｉ、実データＤｉに対応する情報Ｉｉを有している。情報Ｉｉは、例えば、実データＤｉの明るさを示すものであり、（明るいか（＋１）、明るくないか（−１）の２値情報）であってもよいし、明るさ（その値によって明るさの程度を示す数値情報。例えば、０から５までの値として、０は全く明るくない。５は非常に明るいとする）であってもよい。以下、情報Ｉｉは、＋１または−１の２値情報であるとする。
【００４９】
さらに、教師データＴｉには重みＷｉが設定されている。初期状態において、各教師データＴｉの重みＷｉは均一であり、Ｌ個の教師データＴｉの重みＷｉの合計が１と成るように正規化されている。
【００５０】
教師データ供給部１３は、重み設定部１４を内蔵する。重み設定部１４は、各教師データＴｉの重みＷｉを、評価値算出部１５から供給される、構築された弱情報抽出部Ｆ（Ｘ）ｔによって各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）ｔに対応する信頼度Ｃｔに基づいて更新する。
【００５１】
具体的には、弱情報抽出部Ｆ（Ｘ）ｔによって正しく判別された教師データＴｉについては現状の重みＷｉをEXP（−Ｃｔ）倍とし、弱情報抽出部Ｆ（Ｘ）ｔによって間違って判別された教師データＴｉについては、現状の重みＷｉをEXP（Ｃｔ）倍とする。さらに、Ｌ個の教師データＴｉの重みＷｉの合計が１と成るように正規化する。
【００５２】
図３に戻る。上述したように、教師データＴｉの数はＬ、特徴量抽出式リストを構成する特徴量抽出式の数はｍであるので、特徴量計算部１２では、図９に示すように、（Ｌ×ｍ）個の特徴量が算出されることになる。以下、特徴量抽出式ｆｊ（ｊ＝１，２，・・・，ｍ）に、教師データＴｉ（ｉ＝１，２，・・・，Ｌ）の実データＤｉを代入して計算された特徴量をｆｊ[Ｔｉ]と記述する。なお、図９には、特徴量ｆｊ[Ｔｉ]の具体的な値が記載されている。
【００５３】
評価値算出部１５は、Ｌ個の教師データＴｉとＬ個の特徴量ｆ１[Ｔｉ]とに基づき、特徴量抽出式ｆ１に対応する情報推定式を決定するとともに、特徴量抽出式ｆ１の評価値を算出する。なお、ここで情報推定式は、その出力を２値情報とするので、情報推定式として、特徴量ｆ１[Ｔｉ]と比較する閾値を有する判別式が決定される。
【００５４】
この判別式は、例えば、
特徴量ｆ１[Ｔｉ]＞閾値  →  情報＝−１
特徴量ｆ１[Ｔｉ]≦閾値  →  情報＝＋１
とする。
【００５５】
具体的には、図１０に示すように、横軸には特徴量ｆ１[Ｔｉ]の値、縦軸は重みＷｉをかけた教師データの分布を示すグラフに、Ｌ個の教師データＴｉを情報Ｉｉの値（＋１または−１）に応じて２つに分類してプロットする。そして、情報推定式（閾値による判別式）によって、情報Ｉｉが正しく判別された教師データＴｉの重みＷｉの合計が最大となるように閾値を決定する。すなわち、図１０に示された左側の山の分布（教師データＴｉの情報Ｉｉの値が＋１である分布）のうちの閾値よりも左側の面積と、図１０に示された右側の山の分布（教師データＴｉの情報Ｉｉの値が−１である分布）のうちの閾値よりも右側の面積との合計が最大となるように閾値を決定する。
【００５６】
そして、決定した情報推定式（閾値による判別式）によって、情報Ｉｉが正しく判別された教師データＴｉの重みＷｉの合計を、特徴量抽出式ｆ１の評価値とする。
【００５７】
同様に、評価値算出部１５は、特徴量抽出式ｆ２乃至ｆｍにそれぞれ対応する情報推定式を決定するとともに、特徴量抽出式ｆ２乃至ｆｍの評価値を算出する。
【００５８】
ここで算出された特徴量抽出式ｆ１乃至ｆｍの評価値は、特徴量抽出式リスト生成部１１に供給されて、次世代の特徴量抽出式リストの生成に利用される。
【００５９】
さらに、評価値算出部１５は、所定の終了条件が満たされた数世代後（最終世代とする）の特徴量抽出式リストを構成する特徴量抽出式ｆ１乃至ｆｍのうち、最も評価値の良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つの弱情報抽出部Ｆ（Ｘ）ｔを構築する。さらに、構築した弱情報抽出部Ｆ（Ｘ）ｔの信頼度Ｃｔを算出する。
信頼度Ｃｔ＝１／２log（（１−Ｅ）／Ｅ）
【００６０】
ここで、Ｅは構築した弱情報抽出部Ｆ（Ｘ）ｔのエラー率であり、弱情報抽出部Ｆ（Ｘ）ｔによって、情報Ｉｉが間違って判別された教師データＴｉの重みＷｉの合計値（図１０の例では、左側の山の分布（教師データＴｉの情報Ｉｉの値が＋１である分布）のうちの閾値よりも右側の面積と、図１０に示された右側の山の分布（教師データＴｉの情報Ｉｉの値が−１である分布）のうちの閾値よりも左側の面積との合計）である。
【００６１】
ここで構築された弱情報抽出部Ｆ（Ｘ）ｔとそれに対応する信頼度Ｃｔは合成部１６に供給される。また、構築された弱情報抽出部Ｆ（Ｘ）ｔによって各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）ｔ対応する信頼度Ｃｔが教師データ供給部１３の重み設定部１４に供給される。
【００６２】
合成部１６は、評価値算出部１５から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）ｔと、それぞれに対応する信頼度Ｃｔを用いた次式に従い、高精度情報抽出装置１（図１）を構築する。
SignΣ（Ｃｔ・Ｆ（Ｘ）ｔ）
【００６３】
すなわち、合成部１６では、複数の弱情報抽出部Ｆ（Ｘ）ｔの出力がそれの信頼度Ｃｔによって重み付けられて加算される。そして、その総和の符号が正であるならば、入力データＸの情報Ｉが＋１、その総和の符号が負であるならば、入力データＸの情報Ｉが−１とされる、高精度情報抽出装置１が構築される。
【００６４】
次に、高精度情報抽出装置構築システム１０による動作について、図１１のフローチャートを参照して説明する。
【００６５】
ステップＳ１において、教師データ供給部１３は、内蔵する重み設定部１４により、予め用意されているＬ個の教師データＴｉの各重みＷｉを均等な値１／Ｌに初期化し、第１世代の教師データＴｉとして特徴量計算部１２および評価値算出部１５に供給する。
【００６６】
ステップＳ２において、第１世代の教師データＴｉに対応する弱情報抽出部Ｆ（Ｘ）１が生成される。ステップＳ２の処理について、図１２のフローチャートを参照して詳述する。
【００６７】
ステップＳ１１において、特徴量抽出式リスト生成部１１は、ｍ本の特徴量抽出式をランダムに生成し、生成したｍ本の特徴量抽出式からなる第１世代の特徴量抽出式リストを特徴量計算部１２に供給する。
【００６８】
ステップＳ１２において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍを順に１本ずつ注目する特徴量抽出式リストループを開始する。
【００６９】
ステップＳ１３において、特徴量計算部１２は、注目している特徴量抽出式ｆｊに、Ｌ個の教師データＴｉを代入してＬ個の特徴量ｆｊ[Ｔｉ]を計算し、評価値算出部１５に出力する。ステップＳ１４において、評価値算出部１５は、Ｌ個の教師データＴｉとＬ個の特徴量ｆｊ[Ｔｉ]とに基づき、特徴量抽出式ｆｊに対応する情報推定式を決定し、ステップＳ１５において、特徴量抽出式ｆｊの評価値を算出する。ステップＳ１２乃至Ｓ１５の処理により、注目している特徴量抽出式ｆｊに対応する情報推定式と評価値が得られたことになる。
【００７０】
ステップＳ１６において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っているか否かを判定する。そして、注目していない特徴量抽出式が残っていると判定された場合、処理はステップＳ１２に戻り、ステップＳ１２乃至Ｓ１６の処理が繰り返される。
【００７１】
そして、ステップＳ１６において、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っていないと判定された場合、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する情報推定式と評価値が得られたことになるので、処理はステップＳ１７に進められる。
【００７２】
ステップＳ１７において、評価値算出部１５は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値のうち、最も良い評価値の値が所定の数世代の間、向上していないことなどとすることができる。
【００７３】
ステップＳ１７において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ１８に進められる。
【００７４】
ステップＳ１８において、評価値算出部１５は、現世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値を特徴量抽出式リスト生成部１１に供給する。特徴量抽出式リスト生成部１１は、現世代の特徴量抽出式リストを遺伝的アルゴリズムに従って更新することにより、次世代の特徴量抽出式リストを生成して特徴量計算部１２に供給する。
【００７５】
具体的には、遺伝的アルゴリズムの選択処理として、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の良いｍｓ本の特徴量抽出式を選択して次世代の特徴量抽出式リストに含める。また、遺伝的アルゴリズムの交差処理として、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の良いものほど選択され易いように重み付けをして２本の特徴量抽出式を選択し、選択した２本の特徴量抽出式を交差させる（組み合わせる）ことにより、ｍｘ本の特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。
【００７６】
さらに、遺伝的アルゴリズムの突然変異処理として、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の良いものほど選択され易いように重み付けをして１本の特徴量抽出式を選択し、選択した１本の特徴量抽出式を部分的に突然変異させる（変更する）ことにより、ｍｍ本の特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。さらにまた、遺伝的アルゴリズムのランダム生成処理として、新たにｍｒ（＝ｍ−ｍｓ−ｍｘ−ｍｍ）本の特徴量抽出式をランダムに生成して次世代の特徴量抽出式リストに含める。
【００７７】
以上のように、次世代の特徴量抽出式リストが生成されて特徴量計算部１２に供給された後、処理はステップＳ１２に戻り、ステップＳ１２乃至Ｓ１８の処理が繰り返される。そして、ステップＳ１７において、所定の終了条件を満たしていると判定された場合、処理はステップＳ１９に進められる。
【００７８】
ステップＳ１９において、評価値算出部１５は、現世代、すなわち、最終世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、評価値が最も良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つ目の弱情報抽出部Ｆ（Ｘ）１を構築し、構築した弱情報抽出部Ｆ（Ｘ）１の信頼度Ｃ１を算出する。さらに、評価値算出部１５は、構築した１つ目の弱情報抽出部Ｆ（Ｘ）１とそれに対応する信頼度Ｃ１を合成部１６に供給する。またさらに、評価値算出部１５は、構築した弱情報抽出部Ｆ（Ｘ）１によって第１世代の各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）１対応する信頼度Ｃ１を教師データ供給部１３の重み設定部１４に供給する。
【００７９】
以上のように、第１世代の教師データＴｉに対応する１つ目の弱情報抽出部Ｆ（Ｘ）１が構築され、その信頼度Ｃ１が算出された後、処理は図１１のステップＳ３に戻される。
【００８０】
ステップＳ３において、合成部１６は、現時点までに評価値算出部１５から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）ｔとそれに対応する信頼度Ｃｔを合成することにより、高精度情報抽出装置１を構築する。
【００８１】
ステップＳ４において、合成部１６は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、所定の数Ｔだけ弱情報抽出部Ｆ（Ｘ）ｔとそれに対応する信頼度Ｃｔが評価値算出部１５から供給されていること、高精度情報抽出装置１が所望の精度に達していること、またはユーザから終了が指示されたことのうち、少なくとも１つが満たされていることなどとすることができる。
【００８２】
ステップＳ４において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ５に進められる。
【００８３】
ステップＳ５において、教師データ供給部１３の重み設定部１４は、各教師データＴｉの重みＷｉを、ステップＳ１９の処理で評価値算出部１５から供給された、現世代の教師データＴｉに対応する弱情報抽出部Ｆ（Ｘ）ｔによって各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）ｔに対応する信頼度Ｃｔに基づいて更新する。
【００８４】
ステップＳ５の処理について、図１３のフローチャートを参照して詳述する。
【００８５】
ステップＳ４１において、重み設定部１４は、Ｌ個の教師データＴｉを順に１つずつ注目する教師データループを開始する。
【００８６】
ステップＳ４２において、重み設定部１４は、注目する教師データＴｉが、現世代の教師データＴｉに対応する弱情報抽出部Ｆ（Ｘ）ｔによって正しく判別されたか否かを判定する。
【００８７】
ステップＳ４２において、正しく判別されたと判定された場合、処理はステップＳ４３に進められる。ステップＳ４３において、重み設定部１４は、注目する教師データＴｉの現状の重みＷｉをEXP（−Ｃｔ）倍することにより更新する。この後、処理はステップＳ４５に進められる。
【００８８】
反対に、ステップＳ４２において、正しく判別されていない（間違って判別されている）と判定された場合、処理はステップＳ４４に進められる。ステップＳ４４において、重み設定部１４は、注目する教師データＴｉの現状の重みＷｉをEXP（Ｃｔ）倍することにより更新する。この後、処理はステップＳ４５に進められる。
【００８９】
ステップＳ４５において、重み設定部１４は、Ｌ個の教師データＴｉのうち、注目していないものが残っているか否かを判定し、注目していないものが残っていると判定した場合、ステップＳ４１に戻って、ステップＳ４１乃至４５の処理を繰り返す。
【００９０】
そして、ステップＳ４５において、Ｌ個の教師データＴｉのうち、注目していないものが残っていないと判定された場合、Ｌ個の教師データＴｉにそれぞれ対応する重みＷｉを全て更新したので、処理はステップＳ４６に進められる。
【００９１】
ステップＳ４６において、重み設定部１４は、Ｌ個の教師データＴｉにそれぞれ対応する更新した重みＷｉの合計が１となるように正規化する。
【００９２】
以上のようにして重みＷｉが更新されたＬ個の教師データＴｉが、次世代の教師データＴｉとして評価値算出部１５に供給される。なお、２世代以降の教師データＴｉは、実データＤｉおよび情報Ｉｉに変更はなく、重みＷｉだけが更新されているので、次世代の教師データＴｉとして、更新された重みＷｉだけを評価値算出部１５に供給するようにしてもよい。
【００９３】
この後、処理は図１１のステップＳ２に戻り、ステップＳ２乃至Ｓ５の処理が繰り返される。この繰り返しにより、教師データＴｉが更新された世代数と同じ数だけ、弱情報抽出部Ｆ（Ｘ）ｔとそれに対応する信頼度Ｃｔが合成部１６に供給され、合成部１６により、徐々に制度が高められた高精度情報抽出装置１が構築されることになる。
【００９４】
そして、ステップＳ４において、所定の終了条件を満たしていると判定された場合、処理はステップＳ５に進められる。ステップＳ５において、合成部１６は、直前のステップＳ３の処理で構築した高精度情報抽出装置１を、最終的な高精度情報抽出装置１として出力する。
【００９５】
以上で、本開示の第１の実施の形態である高精度情報抽出装置構築システム１０の動作説明を終了する。
【００９６】
次に、本開示の第２の実施の形態である高精度情報抽出装置構築システム５０の構成例について、図１４を参照して説明する。この高精度情報抽出装置構築システム５０は、複数の教師データを用いたアンサンブル学習のバッギングによって高精度情報抽出装置１を構築するものである。
【００９７】
なお、この高精度情報抽出装置構築システム５０と、図３に示された本開示の第１の実施の形態である、アンサンブル学習のブースティングによって高精度情報抽出装置１を構築する高精度情報抽出装置構築システム１０との間で共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
【００９８】
この高精度情報抽出装置構築システム５０は、ｍ本の特徴量抽出式からなる特徴量抽出式リストを生成、更新する特徴量抽出式リスト生成部１１、生成された各特徴量抽出式に教師データの実データを代入して特徴量を計算する特徴量計算部１２、教師データを特徴量計算部１２と評価値算出部５３に供給する教師データ供給部５１、特徴量計算部１２によって計算された教師データに対応する特徴量と教師データとに基づいて情報抽出式を機械学習により生成するとともに特徴量抽出式リストを構成する各特徴抽出式の評価値を算出する評価値算出部５３、および、評価値算出部１５から出力されるＴ個の弱情報抽出部Ｆ（Ｘ）ｔとそれに対応する信頼度Ｃｔを用いて高精度情報抽出装置１を構築する合成部５４から構成される。
【００９９】
特徴量抽出式リスト生成部１１は、第１世代の特徴量抽出式リストをランダムに生成する。また、特徴量抽出式リスト生成部１１は、第２世代以降の特徴量抽出式リストを、前世代の特徴量抽出式リストを遺伝的アルゴリズムにしたがって更新することにより生成する。生成された特徴量抽出式リストは特徴量計算部１２に供給される。
【０１００】
特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成する各特徴量抽出式ｆ１乃至ｆｍに、教師データ供給部５１から供給される、教師データＴｉ（ｉ＝１，２，・・・，Ｊ）の実データＤｉを代入し、教師データＴｉに対する特徴量を計算し、計算した特徴量を評価値算出部５３に供給する。
【０１０１】
ここで、教師データ供給部５１から供給される教師データＴｉについて説明する。
【０１０２】
教師データ供給部５１は、内蔵するランダムサンプリング部５２により、総数Ｌ個の教師データＴｉの中からＪ個をランダムに選択して教師データ群を生成し、特徴量計算部１２および評価値算出部５３に供給する。なお、教師データＴｉは、入力データＸと同じ種類のデータである実データＤｉ、実データＤｉに対応する情報Ｉｉを有している。情報Ｉｉは、例えば、実データＤｉの明るさを示すものであり、（明るいか（＋１）、明るくないか（−１）の２値情報）であってもよいし、明るさ（その値によって明るさの程度を示す数値情報。例えば、０から５までの値として、０は全く明るくない。５は非常に明るいとする）であってもよい。以下、情報Ｉｉは、＋１または−１の２値情報であるとする。
【０１０３】
さらに、教師データＴｉには重みＷｉが設定されている。初期状態において、各教師データＴｉの重みＷｉは均一であり、Ｌ個の教師データＴｉの重みＷｉの合計が１と成るように正規化されている。
【０１０４】
上述したように、教師データＴｉの数はＪ、特徴量抽出式リストを構成する特徴量抽出式の数はｍであるので、特徴量計算部１２では、（Ｊ×ｍ）個の特徴量が算出されることになる。
【０１０５】
評価値算出部５３は、Ｊ個の教師データＴｉとＪ個の特徴量ｆ１[Ｔｉ]とに基づき、特徴量抽出式ｆ１の評価値を算出する。
【０１０６】
なお、情報推定式によって推定しようとする情報Ｉｉが２値情報である場合には、評価値として、Ｊ個の教師データＴｉとＪ個の特徴量ｆ１[Ｔｉ]とのFDR(fisher discriminant ratio)を算出する。
FDR＝（（Ｘの平均）−（Ｙの平均））２／（（Ｘの標準偏差）−（Ｙの標準偏差））
ただし、Ｘは教師データＴｉ、Ｙは特徴量ｆ１[Ｔｉ]を示すものとする。
【０１０７】
また、情報推定式によって推定しようとする情報Ｉｉが数値情報である場合には、評価値として、Ｊ個の教師データＴｉとＪ個の特徴量ｆ１[Ｔｉ]とのPearsonの相関係数ｒを算出する。
ｒ＝（ＸとＹの共分散）／（（Ｘの標準偏差）×（Ｙの標準偏差））
ただし、Ｘは教師データＴｉ、Ｙは特徴量ｆ１[Ｔｉ]を示すものとする。
【０１０８】
同様に、評価値算出部５３は、特徴量抽出式ｆ２乃至ｆｍの評価値も算出する。ここで算出された特徴量抽出式ｆ１乃至ｆｍの評価値は、特徴量抽出式リスト生成部１１に供給されて、次世代の特徴量抽出式リストの生成に利用される。
【０１０９】
さらに、評価値算出部５３は、所定の終了条件が満たされた数世代後（最終世代とする）の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、評価値が最も良い特徴量抽出式ｆｉの計算結果であるＪ個の特徴量ｆ１[Ｔｉ]とＪ個の教師データＴｉとを用いた機械学習により、評価値が最も良い特徴量抽出式ｆｉに対応する情報推定式を決定する。
【０１１０】
なお、情報推定式は、その出力が２値情報である場合には線形判別などの機械学習によって判別式が決定される。また、その出力が数値情報である場合には線形回帰などの機械学習によって線形結合式が決定される。
【０１１１】
またさらに、評価値算出部５３は、評価値が最も良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つの弱情報抽出部Ｆ（Ｘ）ｔを構築して合成部５４に供給する。
【０１１２】
合成部５４は、評価値算出部５３から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）ｔから次式に従って高精度情報抽出装置１（図１）を構築する。
（ΣＦ（Ｘ）ｔ）／ｔ
【０１１３】
すなわち、合成部５４では、複数の弱情報抽出部Ｆ（Ｘ）ｔの出力の平均値を出力とする高精度情報抽出装置１が構築されることになる。
【０１１４】
次に、高精度情報抽出装置構築システム５０による動作について、図１５のフローチャートを参照して説明する。
【０１１５】
ステップＳ６１において、教師データ供給部５１のランダムサンプリング部５２は、予め用意されているＬ個の教師データＴｉの中から、ランダムにＪ個の教師データＴｉを選択して教師データ群を生成し、第１世代の教師データ群として特徴量計算部１２および評価値算出部５３に供給する。
【０１１６】
ステップＳ６２において、第１世代の教師データ群に対応する弱情報抽出部Ｆ（Ｘ）１が生成される。ステップＳ６２の処理について、図１６のフローチャートを参照して詳述する。
【０１１７】
ステップＳ７１において、特徴量抽出式リスト生成部１１は、ｍ本の特徴量抽出式をランダムに生成し、生成したｍ本の特徴量抽出式からなる第１世代の特徴量抽出式リストを特徴量計算部１２に供給する。
【０１１８】
ステップＳ７２において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍを順に１本ずつ注目する特徴量抽出式リストループを開始する。
【０１１９】
ステップＳ７３において、特徴量計算部１２は、注目している特徴量抽出式ｆｊに、現世代の教師データ群を構成するＪ個の教師データＴｉを代入してＪ個の特徴量ｆｊ[Ｔｉ]を計算し、評価値算出部５３に出力する。ステップＳ７４において、評価値算出部５３は、Ｊ個の教師データＴｉとＪ個の特徴量ｆｊ[Ｔｉ]とに基づき、特徴量抽出式ｆｊに対応する評価値を算出する。ステップＳ７３乃至Ｓ７４の処理により、注目している特徴量抽出式ｆｊの価値が得られたことになる。
【０１２０】
ステップＳ７６において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っているか否かを判定する。そして、注目していない特徴量抽出式が残っていると判定された場合、処理はステップＳ７２に戻り、ステップＳ７２乃至Ｓ７６の処理が繰り返される。
【０１２１】
そして、ステップＳ７６において、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っていないと判定された場合、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値が得られたことになるので、処理はステップＳ７６に進められる。
【０１２２】
ステップＳ７６において、評価値算出部５３は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値のうち、最も良い評価値の値が所定の数世代の間、向上していないことなどとすることができる。
【０１２３】
ステップＳ７６において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ７７に進められる。
【０１２４】
ステップＳ７７において、評価値算出部５３は、現世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値を特徴量抽出式リスト生成部１１に供給する。特徴量抽出式リスト生成部１１は、現世代の特徴量抽出式リストを遺伝的アルゴリズムに従って更新することにより、次世代の特徴量抽出式リストを生成して特徴量計算部１２に供給する。
【０１２５】
以上のように、生成された次世代の特徴量抽出式リストが特徴量計算部１２に供給された後、処理はステップＳ７２に戻り、ステップＳ７２乃至Ｓ７７の処理が繰り返される。そして、ステップＳ７６において、所定の終了条件を満たしていると判定された場合、処理はステップＳ７８に進められる。
【０１２６】
ステップＳ７８において、評価値算出部５３は、現世代、すなわち、最終世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、評価値が最も良い特徴量抽出式ｆｉの計算結果であるＪ個の特徴量ｆ１[Ｔｉ]とＪ個の教師データＴｉとを用いた機械学習により、評価値が最も良い特徴量抽出式ｆｉに対応する情報推定式を決定する。また、評価値算出部５３は、評価値が最も良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つ目の弱情報抽出部Ｆ（Ｘ）１を構築して合成部５４に供給する。
【０１２７】
以上のように、第１世代の教師データ群に対応する１つ目の弱情報抽出部Ｆ（Ｘ）１が構築され後、処理は図１５のステップＳ６３に戻される。
【０１２８】
ステップＳ６３において、合成部５４は、現時点までに評価値算出部５３から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）ｔを合成する（出力の平均を演算する）ことにより、高精度情報抽出装置１を構築する。
【０１２９】
ステップＳ６４において、合成部５４は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、所定の数Ｔだけ弱情報抽出部Ｆ（Ｘ）ｔが評価値算出部５３から供給されていること、高精度情報抽出装置１が所望の精度に達していること、またはユーザから終了が指示されたことのうち、少なくとも１つが満たされていることなどとすることができる。
【０１３０】
ステップＳ６４において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ６１に戻される。そして、ステップＳ６１乃至６４の処理が繰り返される。
【０１３１】
この繰り返し毎、順次、次世代以降の教師データ群が生成されて、それに対応する弱情報抽出部Ｆ（Ｘ）ｔが合成部５４に供給され、合成部５４により、徐々に制度が高められた高精度情報抽出装置１が構築されることになる。
【０１３２】
そして、ステップＳ６４において、所定の終了条件を満たしていると判定された場合、処理はステップＳ６５に進められる。ステップＳ６５において、合成部５４は、直前のステップＳ６３の処理で構築した高精度情報抽出装置１を、最終的な高精度情報抽出装置１として出力する。
【０１３３】
以上で、本開示の第２の実施の形態である高精度情報抽出装置構築システム５０の動作説明を終了する。
【０１３４】
以上説明したように、本開示を適用した高精度情報抽出装置構築システム１０および５０によれば、アンサンブル学習における弱情報抽出部を、遺伝的アルゴリズムを用いて生成することができる。
【０１３５】
また、本開示を適用した高精度情報抽出装置構築システム１０および５０によれば、任意の種類の入力データＸから高い精度で情報を抽出することができる高精度情報抽出装置を構築することができる。
【０１３６】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３７】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３８】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１３９】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどの着脱可能な記録媒体１１１を駆動するドライブ１１０が接続されている。
【０１４０】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４２】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１４３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１４４】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４５】
１０  高精度情報抽出装置構築システム，  １１  特徴量抽出式リスト生成部，  １２  特徴量計算部，  １３  教師データ供給部，  １４  重み設定部，  １５  評価値算出部，  １６  合成部，  ５０  高精度情報抽出装置構築システム，  ５１  教師データ供給部，  ５２  ランダムサンプリング部，  ５３  評価値算出部，  ５４  合成部，  １０１  CPU，  １１１  記録媒体
【図１】
2013164863.tif 000003
【図２】
2013164863.tif 000004
【図３】
2013164863.tif 000005
【図４】
2013164863.tif 000006
【図５】
2013164863.tif 000007
【図６】
2013164863.tif 000008
【図７】
2013164863.tif 000009
【図８】
2013164863.tif 000010
【図９】
2013164863.tif 000011
【図１０】
2013164863.tif 000012
【図１１】
2013164863.tif 000013
【図１２】
2013164863.tif 000014
【図１３】
2013164863.tif 000015
【図１４】
2013164863.tif 000016
【図１５】
2013164863.tif 000017
【図１６】
2013164863.tif 000018
【図１７】
2013164863.tif 000019
【手続補正書】
【提出日】平成25年5月22日(2013.5.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成する情報処理装置において、
前記入力データに所定の演算を行う複数のオペレータを組み合わせた特徴量抽出式を複数含む特徴量抽出式リストを、遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成部と、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算部と、
計算された前記複数の特徴量から、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における一つの前記第一の情報抽出部に決定して、決定した前記第一の情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記第一の情報抽出部の信頼度を算出する算出部と、
前記信頼度を用いて、教師データの重みを更新する更新部と
を備え、
前記オペレータは、前記入力データの保有する次元軸のうち、任意の次元軸を前記所定の演算処理の対象に指定するための処理対象軸指定情報を含む
情報処理装置。
【請求項２】
前記入力データは、時間の次元とチャンネルの次元を有する楽曲データ、Ｘ次元とＹ次元と画素の次元を有する画像データ、または画像データに時間の次元を加えた動画像データである
請求項１に記載の情報処理装置。
【請求項３】
前記入力データが楽曲データである場合、前記第二の情報抽出部は、前記楽曲データの特徴を示す情報として明暗または明るさを抽出する
請求項２に記載の情報処理装置。
【請求項４】
前記特徴量抽出式リスト生成部は、前記特徴量抽出式リストを構成する複数の各特徴量抽出式を遺伝子とみなし、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式の評価値に応じて選択処理、交差処理、突然変異処理、およびランダム生成処理を行い、次世代の特徴量抽出式リストを生成する
請求項１に記載の情報処理装置。
【請求項５】
前記特徴量抽出式リスト生成部は、前記突然変異処理として、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の高い前記特徴量抽出式を部分的に突然変異させて特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める
請求項４に記載の情報処理装置。
【請求項６】
複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成する情報処理装置の情報処理方法において、
前記情報処理装置による、
前記入力データに所定の演算を行う複数のオペレータを組み合わせた特徴量抽出式を複数含む特徴量抽出式リストに含まれる各特徴量抽出式に、教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算ステップと、
計算された前記複数の特徴量から、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出する第一の算出ステップと、
算出された前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新する更新ステップと、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における一つの前記第一の情報抽出部に決定して、決定した前記第一の情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記第一の情報抽出部の信頼度を算出する第二の算出ステップと、
前記信頼度を用いて、教師データの重みを更新する更新ステップと
を含み、
前記オペレータは、前記入力データの保有する次元軸のうち、任意の次元軸を前記所定の演算処理の対象に指定するための処理対象軸指定情報を含む
情報処理方法。
【請求項７】
複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成するコンピュータを、
前記入力データに所定の演算を行う複数のオペレータを組み合わせた特徴量抽出式を複数含む特徴量抽出式リストを、遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成部と、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算部と、
計算された前記複数の特徴量から、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における一つの前記第一の情報抽出部に決定して、決定した前記第一の情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記第一の情報抽出部の信頼度を算出する算出部と、
前記信頼度を用いて、教師データの重みを更新する更新部と
して機能させ、
前記オペレータは、前記入力データの保有する次元軸のうち、任意の次元軸を前記所定の演算処理の対象に指定するための処理対象軸指定情報を含む
プログラム。
【請求項８】
複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の精度情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成する情報処理装置において、
教師データをランダムに選択する選択部と、
前記入力データに所定の演算を行う複数のオペレータを組み合わせた特徴量抽出式を複数含む特徴量抽出式リストを、遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成部と、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算部と、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における一つの前記第一の情報抽出部を生成する評価値算出部と
を含む情報処理装置。
【請求項９】
複数の前記第一の情報抽出部を合成することにより、前記第二の情報抽出部を構築する合成部を
さらに含む請求項８に記載の情報処理装置。
【請求項１０】
複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の精度情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成する情報処理装置の情報処理方法において、
前記情報処理装置による、
教師データをランダムに選択し、
前記入力データに所定の演算を行う複数のオペレータを組み合わせた特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、
前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における一つの前記第一の情報抽出部を生成する
ステップを含む情報処理方法。
【請求項１１】
複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の精度情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成する情報処理装置の制御用のプログラムであって、
教師データをランダムに選択し、
前記入力データに所定の演算を行う複数のオペレータを組み合わせた特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、
前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における一つの前記第一の情報抽出部を生成する
ステップを含む処理を情報処理装置のコンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本開示の第一の側面である情報処理装置は、複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成する情報処理装置において、前記入力データに所定の演算を行う複数のオペレータを任意に組み合わせた特徴量抽出式を複数含む特徴量抽出式リストを、遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成部と、前記特徴量抽出式リストに含まれる各特徴量抽出式に、教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算部と、計算された前記複数の特徴量から、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における一つの前記第一の情報抽出部に決定して、決定した前記第一の情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記第一の情報抽出部の信頼度を算出する算出部と、前記信頼度を用いて、教師データの重みを更新する更新部とを備え、前記オペレータは、前記入力データの保有する次元軸のうち、任意の次元軸を前記所定の演算処理の対象に指定するための処理対象軸指定情報を含む。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
前記入力データは、時間の次元とチャンネルの次元を有する楽曲データ、Ｘ次元とＹ次元と画素の次元を有する画像データ、または画像データに時間の次元を加えた動画像データとすることができる。
前記入力データが楽曲データである場合、前記第二の情報抽出部は、前記楽曲データの特徴を示す情報として明暗または明るさを抽出することができる。
前記特徴量抽出式リスト生成部は、前記特徴量抽出式リストを構成する複数の各特徴量抽出式を遺伝子とみなし、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式の評価値に応じて選択処理、交差処理、突然変異処理、およびランダム生成処理を行い、次世代の特徴量抽出式リストを生成することができる。
前記特徴量抽出式リスト生成部は、前記突然変異処理として、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の高い前記特徴量抽出式を部分的に突然変異させて特徴量抽出式を生成し、次世代の特徴量抽出式リストに含めることができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本開示の第一の側面である情報処理方法は、複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成する情報処理装置の情報処理方法において、前記情報処理装置による、前記入力データに所定の演算を行う複数のオペレータを任意に組み合わせた特徴量抽出式を複数含む特徴量抽出式リストに含まれる各特徴量抽出式に、教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算ステップと、計算された前記複数の特徴量から、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出する第一の算出ステップと、算出された前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新する更新ステップと、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における一つの前記第一の情報抽出部に決定して、決定した前記第一の情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記第一の情報抽出部の信頼度を算出する第二の算出ステップと、前記信頼度を用いて、教師データの重みを更新する更新ステップとを含み、前記オペレータは、前記入力データの保有する次元軸のうち、任意の次元軸を前記所定の演算処理の対象に指定するための処理対象軸指定情報を含む。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本開示の第一の側面であるプログラムは、複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成するコンピュータを、前記入力データに所定の演算を行う複数のオペレータを任意に組み合わせた特徴量抽出式を複数含む特徴量抽出式リストを、遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成部と、前記特徴量抽出式リストに含まれる各特徴量抽出式に、教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算部と、計算された前記複数の特徴量から、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における一つの前記第一の情報抽出部に決定して、決定した前記第一の情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記第一の情報抽出部の信頼度を算出する算出部と、前記信頼度を用いて、教師データの重みを更新する更新部として機能させ、前記オペレータは、前記入力データの保有する次元軸のうち、任意の次元軸を前記所定の演算処理の対象に指定するための処理対象軸指定情報を含む。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本開示の第一の側面においては、入力データに所定の演算を行う複数のオペレータを任意に組み合わせた特徴量抽出式を複数含む特徴量抽出式リストに含まれる各特徴量抽出式に、教師データの実データが入力されて、前記実データに対応する複数の特徴量が計算される。また、計算された前記複数の特徴量から、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補が生成されるとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値が算出される。さらに、算出された前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストが更新される。そして、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補が、アンサンブル学習における一つの前記第一の情報抽出部に決定され、決定された前記第一の情報抽出部によって間違って推定された教師データの重みを用いて、決定された前記第一の情報抽出部の信頼度が算出され、前記信頼度を用いて、教師データの重みが更新される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本開示の第二の側面である情報処理装置は、複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の精度情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成する情報処理装置において、教師データをランダムに選択する選択部と、前記入力データに所定の演算を行う複数のオペレータを組み合わせた特徴量抽出式を複数含む特徴量抽出式リストを、遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成部と、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算部と、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における一つの前記第一の情報抽出部を生成する評価値算出部とを含む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本開示の第二の側面である情報処理装置は、複数の前記第一の情報抽出部を合成することにより、前記第二の情報抽出部を構築する合成部をさらに含むことができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本開示の第二の側面である情報処理方法は、複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の精度情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成する情報処理装置の情報処理方法において、前記情報処理装置による、教師データをランダムに選択し、前記入力データに所定の演算を行う複数のオペレータを組み合わせた特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における一つの前記第一の情報抽出部を生成するステップを含む。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本開示の第二の側面であるプログラムは、複数の次元軸を保有する入力データの特徴を示す情報を第一の精度で抽出する複数の第一の情報抽出部の出力を合成して、第二の精度で前記入力データの特徴を示す情報を抽出する第二の精度情報抽出部を構築するアンサンブル学習における前記第一の情報抽出部を生成する情報処理装置の制御用のプログラムであって、教師データをランダムに選択し、前記入力データに所定の演算を行う複数のオペレータを組み合わせた特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における一つの前記第一の情報抽出部を生成するステップを含む処理を情報処理装置のコンピュータに実行させる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
本開示の第二の側面においては、教師データがランダムに選択され、入力データに所定の演算を行う複数のオペレータを組み合わせた特徴量抽出式を複数含む第１世代の特徴量抽出式リストがランダムに生成され、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データが入力されて、前記実データに対応する複数の特徴量が計算される。また、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度が算出される。さらに、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストが更新される。さらに、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における一つの前記第一の情報抽出部が生成される。