(57)【要約】【課題】人の主観評価により近い評価結果を出力する評価器を構築すること。【解決手段】第１評価対象Ａを基準とする第２評価対象Ｂへの評価の高低を表す評価値Ｅｖと、評価の高低の度合いを表す評価度Ｄｇと、第１評価対象Ａ及び第２評価対象Ｂの特徴量ベクトルとを記憶する記憶部１１と、第１評価対象Ａ及び第２評価対象Ｂの特徴量ベクトルと評価値Ｅｖとを用いた学習により、任意の評価対象から得られる特徴量ベクトルを入力とし、当該任意の評価対象について評価の高さを表す出力値を出力する評価器を生成する演算部１２と、を有する情報処理装置１０が提供される。演算部１２は、評価度に応じて評価器の出力への影響を強く反映させるように学習を行う。【選択図】図１
2015187796.tif 000002
【特許請求の範囲】
【請求項１】
第１評価対象を基準とする第２評価対象への評価の高低を表す評価値と、前記評価の高低の度合いを表す評価度と、前記第１評価対象及び前記第２評価対象の特徴量ベクトルとを記憶する記憶部と、
前記第１評価対象及び前記第２評価対象の特徴量ベクトルと前記評価値とを用いた学習により、任意の評価対象から得られる特徴量ベクトルを入力とし、当該任意の評価対象について評価の高さを表す出力値を出力する評価器を生成する演算部と、
を有し、
前記演算部は、前記評価度に応じて前記評価器の出力への影響を強く反映させるように学習を行う、情報処理装置。
【請求項２】
前記演算部は、カーネル空間を用いた分離面の学習に基づいて前記評価器を生成し、当該学習の際に、前記評価度が設定値より大きい前記第１評価対象及び前記第２評価対象について、前記カーネル空間における前記特徴量ベクトルの差分を、前記第１評価対象の評価が高い場合と前記第２評価対象の評価が高い場合とを分離する第１分離面に近づける
請求項１に記載の情報処理装置。
【請求項３】
前記演算部は、前記第１評価対象の特徴量ベクトルと前記第２評価対象の特徴量ベクトルとの差分である差分ベクトルを前記評価度が大きい場合に短縮し、前記差分ベクトルと前記評価値とを用いた学習により前記評価器を生成する
請求項１に記載の情報処理装置。
【請求項４】
前記演算部は、前記第１分離面を決定する決定関数に含まれるカーネル関数のうち、前記評価度が前記設定値より大きい前記第１評価対象及び前記第２評価対象に対応するカーネル関数に１未満の倍率値をかけて前記特徴量ベクトルの差分を前記第１分離面に近づける
請求項２に記載の情報処理装置。
【請求項５】
前記演算部は、
前記評価度が前記設定値より大きい前記第１評価対象及び前記第２評価対象について用意された前記特徴量ベクトル及び前記評価値を含む第１のサンプルセットと、
前記評価度が前記設定値より小さい前記第１評価対象及び前記第２評価対象について用意された前記特徴量ベクトル及び前記評価値を含む第２のサンプルセットと、
前記第１評価対象に対する前記出力値と前記第２評価対象に対する前記出力値との差分を出力する差分評価関数と、
を利用し、
前記第１のサンプルセットについて前記差分評価関数から得られる差分の分布と、前記第２のサンプルセットについて前記差分評価関数から得られる差分の分布とが設定距離より大きく分離されるように前記倍率値を設定する
請求項４に記載の情報処理装置。
【請求項６】
前記演算部は、前記第１評価対象の評価と前記第２評価対象の評価とが同程度であることを示す前記評価度を考慮し、前記第１評価対象及び前記第２評価対象の特徴量ベクトルと前記評価値とを用いた学習により、前記第１評価対象の評価と前記第２評価対象の評価とが同程度である場合と、前記第１評価対象又は前記第２評価対象の評価が高い場合とを分離する第２分離面を決定する
請求項２又は４に記載の情報処理装置。
【請求項７】
前記演算部は、
前記第１評価対象の評価と前記第２評価対象の評価とが同程度であることを示す前記評価度に対応する前記第１評価対象及び前記第２評価対象について、用意された前記特徴量ベクトル及び前記評価値を含む第３のサンプルセットを利用し、
前記第１のサンプルセットについて前記差分評価関数から得られる差分の分布と、前記第２のサンプルセットについて前記差分評価関数から得られる差分の分布と、前記第３のサンプルセットについて前記差分評価関数から得られる差分の分布とが設定距離より大きく分離されるように前記倍率値を設定する
請求項５に記載の情報処理装置。
【請求項８】
第１評価対象を基準とする第２評価対象への評価の高低を表す評価値と、前記評価の高低の度合いを表す評価度と、前記第１評価対象及び前記第２評価対象の特徴量ベクトルとを記憶する記憶部から、前記評価値、前記評価度、及び前記特徴量ベクトルの情報を取得可能なコンピュータが、
前記第１評価対象及び前記第２評価対象の特徴量ベクトルと前記評価値とを用いた学習により、任意の評価対象から得られる特徴量ベクトルを入力とし、当該任意の評価対象について評価の高さを表す出力値を出力する評価器を生成する処理を実行し、
前記評価器を生成する処理の中で、前記評価度に応じて前記評価器の出力への影響を強く反映させるように学習を行う
評価器の構築方法。
【請求項９】
第１評価対象を基準とする第２評価対象への評価の高低を表す評価値と、前記評価の高低の度合いを表す評価度と、前記第１評価対象及び前記第２評価対象の特徴量ベクトルとを記憶する記憶部から、前記評価値、前記評価度、及び前記特徴量ベクトルの情報を取得可能なコンピュータに、
前記第１評価対象及び前記第２評価対象の特徴量ベクトルと前記評価値とを用いた学習により、任意の評価対象から得られる特徴量ベクトルを入力とし、当該任意の評価対象について評価の高さを表す出力値を出力する評価器を生成する
処理を実行させるプログラムであり、
前記評価器を生成する処理の中で、前記評価度に応じて前記評価器の出力への影響を強く反映させるように学習を行う
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、評価器の構築方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、複数の対象物をクラスと呼ばれるカテゴリに分類する技術（パターン認識技術）が様々な分野で利用されている。例えば、パターン認識技術の１つであるＳＶＭ（Support Vector Machine）は、文字認識、電子部品の故障診断、タンパク質の分類、遺伝子情報の解析に基づく発がん性の診断などに利用されている。また、検索システムがページを順位付けする際に用いるランキング関数の生成にＳＶＭを適用する方法が提案されている。
【０００３】
ＳＶＭに基づく学習により生成されるパターン認識器は、学習データ以外のデータに対する認識能力（以下、汎化能力）が高い。また、ＳＶＭでは、カーネルと呼ばれる関数を用いて、対象物の特徴量で記述される特徴空間（以下、入力空間）を別の特徴空間（以下、カーネル空間）へと写像し、クラスを分離する超平面をカーネル空間内で決める手法がよく利用される。この手法を適用することで、カーネル空間における線形分離の手法を用いて、クラス毎に入力空間を分離する非線形な曲面を決めることができる。
【０００４】
上記のパターン認識器やランキング関数の生成に用いる学習データには、対象物が有する特徴量の集合と、その対象物の分類に関する分類情報とが含まれる。特徴量の集合は、設定したアルゴリズムで対象物を解析した結果である。そのため、同じ対象物からは同じ特徴量の集合が得られる。一方、分類情報は、分類した人や分類時の環境に応じて内容が異なりうる。
【０００５】
例えば、主観評価に基づく分類情報を含む学習データを利用する場合、学習データの作成時に客観性や汎用性の維持に注意を払わないと、実用的な性能を有するパターン認識器やランキング関数が得られない可能性がある。こうした事情に鑑み、一対の対象物に対する相対評価に基づく分類情報及び一対の対象物間における特徴量の差異を用いて学習を行う方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２３２９９６号公報
【非特許文献】
【０００７】
【非特許文献１】Advances in Large-Margin Classifiers (The MIT Press) pp.115-pp.132 (Ralf Herbrich, Thore Graepel, and Klaus Obermayer, "Large Margin Rank Boundaries for Ordinal Regression").
【発明の概要】
【発明が解決しようとする課題】
【０００８】
相対評価は、絶対評価に比べて主観評価のばらつきによる影響を受けにくい。そのため、相対評価に基づく分類情報を学習データとして利用すれば、主観評価により近い評価結果を出力する評価器をＳＶＭにより構築できる可能性がある。但し、上記の提案に係る技術は、一方の対象物に対して他方の対象物がどの程度高い評価なのかを考慮しておらず、一方の対象物に対する評価が明らかに高い又は低い場合と、両対象物の評価が均衡する場合とを同列に扱う。
【０００９】
ある対象物に対する評価の程度を計算する評価器を構築する場合、明らかに評価が高い又は低い場合と、評価の差が小さい場合とを同列に扱うと、人の評価が分かれない対象物に対して人の主観評価と異なる評価結果が得られる可能性がある。
【００１０】
そこで、１つの側面によれば、本発明の目的は、人の主観評価により近い評価結果を出力する評価器を構築することが可能な情報処理装置、評価器の構築方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本開示の１つの側面によれば、第１評価対象を基準とする第２評価対象への評価の高低を表す評価値と、評価の高低の度合いを表す評価度と、第１評価対象及び第２評価対象の特徴量ベクトルとを記憶する記憶部と、第１評価対象及び第２評価対象の特徴量ベクトルと評価値とを用いた学習により、任意の評価対象から得られる特徴量ベクトルを入力とし、当該任意の評価対象について評価の高さを表す出力値を出力する評価器を生成する演算部と、を有し、演算部は、評価度に応じて評価器の出力への影響を強く反映させるように学習を行う、情報処理装置が提供される。
【００１２】
また、本開示の他の１つの側面によれば、第１評価対象を基準とする第２評価対象への評価の高低を表す評価値と、評価の高低の度合いを表す評価度と、第１評価対象及び第２評価対象の特徴量ベクトルとを記憶する記憶部から、評価値、評価度、及び特徴量ベクトルの情報を取得可能なコンピュータが、第１評価対象及び第２評価対象の特徴量ベクトルと評価値とを用いた学習により、任意の評価対象から得られる特徴量ベクトルを入力とし、当該任意の評価対象について評価の高さを表す出力値を出力する評価器を生成する処理を実行し、評価器を生成する処理の中で、評価度に応じて評価器の出力への影響を強く反映させるように学習を行う評価器の構築方法が提供される。
【００１３】
また、本開示の他の１つの側面によれば、第１評価対象を基準とする第２評価対象への評価の高低を表す評価値と、評価の高低の度合いを表す評価度と、第１評価対象及び第２評価対象の特徴量ベクトルとを記憶する記憶部から、評価値、評価度、及び特徴量ベクトルの情報を取得可能なコンピュータに、第１評価対象及び第２評価対象の特徴量ベクトルと評価値とを用いた学習により、任意の評価対象から得られる特徴量ベクトルを入力とし、当該任意の評価対象について評価の高さを表す出力値を出力する評価器を生成する処理を実行させるプログラムであり、評価器を生成する処理の中で、評価度に応じて評価器の出力への影響を強く反映させるように学習を行うプログラムが提供される。
【発明の効果】
【００１４】
本発明によれば、人の主観評価により近い評価結果を出力する評価器を構築することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態に係る情報処理装置の一例を示した図である。
【図２】第２実施形態に係るシステムの一例を示した図である。
【図３】第２実施形態に係る情報処理装置が有する機能を実現することが可能なハードウェアの一例を示した図である。
【図４】第２実施形態に係る評価器について説明するための図である。
【図５】第２実施形態に係る評価度について説明するための第１の図である。
【図６】第２実施形態に係る評価度について説明するための第２の図である。
【図７】第２実施形態に係る情報処理装置が有する機能の一例を示した図である。
【図８】第２実施形態に係る倍率の調整方法について説明するための図である。
【図９】第２実施形態に係る情報処理装置が実行する処理（評価器の構築）の流れを示した図である。
【図１０】第２実施形態に係る情報処理装置が実行する処理（妥当性の評価）の流れを示した図である。
【図１１】第２実施形態に係る情報処理装置が実行する処理（入力ベクトルの評価）の流れを示した図である。
【図１２】第３実施形態に係る評価度について説明するための第１の図である。
【図１３】第３実施形態に係る評価度について説明するための第２の図である。
【図１４】第３実施形態に係る情報処理装置が有する機能の一例を示した図である。
【図１５】第３実施形態に係る倍率の調整方法について説明するための図である。
【図１６】第３実施形態に係る情報処理装置が実行する処理（評価器の構築）の流れを示した第１の図である。
【図１７】第３実施形態に係る情報処理装置が実行する処理（妥当性の評価）の流れを示した第１の図である。
【図１８】第３実施形態に係る情報処理装置が実行する処理（妥当性の評価）の流れを示した第２の図である。
【図１９】第３実施形態に係る情報処理装置が実行する処理（入力ベクトルの評価）の流れを示した図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
【００１７】
＜１．第１実施形態＞
図１を参照しながら、第１実施形態について説明する。なお、図１は、第１実施形態に係る情報処理装置の一例を示した図である。なお、情報処理装置１０は、第１実施形態に係る情報処理装置の一例である。また、第１実施形態は、評価器の構築方法に関する。
【００１８】
図１に示すように、情報処理装置１０は、記憶部１１及び演算部１２を有する。
記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性記憶装置、或いは、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性記憶装置である。演算部１２は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサである。但し、演算部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路であってもよい。演算部１２は、例えば、記憶部１１又は他のメモリに記録されたプログラムを実行する。
【００１９】
記憶部１１は、第１評価対象Ａを基準とする第２評価対象Ｂへの評価の高低を表す評価値Ｅｖと、評価の高低の度合いを表す評価度Ｄｇと、第１評価対象Ａ及び第２評価対象Ｂの特徴量ベクトルとを記憶する。
【００２０】
第１評価対象Ａ及び第２評価対象Ｂとしては、例えば、視覚、聴覚、嗅覚、味覚、触覚を用いて人間が主観的な評価の高低を判断できる任意の対象物が適用されうる。例えば、動画像、静止画像、文書、楽曲、においを発するもの、味のあるものなどが第１評価対象Ａ及び第２評価対象Ｂとして適用されうる。
【００２１】
図１の例では、第１評価対象Ａ及び第２評価対象Ｂとして、互いに表情の異なる顔が含まれた２つの画像が示されている。画像に含まれる顔の表情を評価対象とする場合、例えば、顔認識技術や笑顔判定技術などを利用して笑顔度などの特徴量を抽出することができる。また、音声に含まれる感情を評価対象とする場合、音声信号のパワーや周波数成分の時系列データなどの音響特徴量を解析して怒りの度合いを表す特徴量を抽出することができる。以下、説明の都合上、評価対象が画像の場合を例に説明を進める。但し、第１実施形態に係る技術の適用範囲はこれに限定されない。
【００２２】
評価値Ｅｖは、第１評価対象Ａと第２評価対象Ｂとを比較した場合の相対評価を表す値である。相対評価は、２つの比較対象の一方を基準とする他方の評価を表す。図１の例において、評価値Ｅｖは、第１評価対象Ａを基準とする相対評価を表す。
【００２３】
符号ＤＰの枠内には、第１評価対象Ａよりも第２評価対象Ｂの方が「とても良い」、「良い」、「悪い」、「とても悪い」という４つの評価項目が例示されている。評価項目「とても良い」又は「良い」が選択された場合、評価値Ｅｖは、高評価（「評価値：高」）となる。一方、評価項目「悪い」又は「とても悪い」が選択された場合、評価値Ｅｖは、低評価（「評価値：低」）となる。なお、評価項目の数や内容は、評価対象の種類や評価の目的などに応じて適宜変更可能である。
【００２４】
評価度Ｄｇは、第１評価対象Ａが第２評価対象Ｂに比べて、どのくらい高評価であるか、或いは、どのくらい低評価であるかを表す値である。つまり、評価度Ｄｇは、評価値Ｅｖにより示される評価の度合いを表す。例えば、評価者が評価項目「とても良い」を選択した場合、第１評価対象Ａよりも第２評価対象Ｂの方が明らかに高評価であると判断されたものと考えられる。そのため、評価項目「とても良い」が選択された場合、評価度Ｄｇは、評価の度合いが大きいことを示す値（「評価度：大」）となる。
【００２５】
一方、評価者が評価項目「良い」を選択した場合、評価項目「とても良い」を選択するほどではないが、第１評価対象Ａよりも第２評価対象Ｂの方が高評価であると判断されたと考えられる。この場合、評価度Ｄｇは、評価の度合いが小さいことを示す値（「評価度：小」）となる。同様に、評価項目「悪い」が選択された場合、評価度Ｄｇは、評価の度合いが小さいことを示す値（「評価度：小」）となる。また、評価項目「とても悪い」が選択された場合、評価度Ｄｇは、評価の度合いが大きいことを示す値（「評価度：大」）となる。
【００２６】
演算部１２は、第１評価対象Ａ及び第２評価対象Ｂの特徴量ベクトルと評価値Ｅｖとを用いた学習により、任意の評価対象から得られる特徴量ベクトルを入力とし、当該任意の評価対象について評価の高さを表す出力値を出力する評価器を生成する。図１の例では、２つの指標Ｅｇ、Ｋｐの大きさを表す特徴量を組み合わせた特徴量ベクトルを考えている。指標Ｅｇは、例えば、笑顔度などである。指標Ｋｐは、例えば、動きの量などである。動きの量は、例えば、オプティカルフローから計算することができる。なお、第１評価対象Ａの指標Ｅｇ、ＫｐをそれぞれＥｇＡ、ＫｐＡと表記し、第２評価対象Ｂの指標Ｅｇ、ＫｐをそれぞれＥｇＢ、ＫｐＢと表記している。
【００２７】
演算部１２は、評価度Ｄｇに応じて評価器の出力への影響を強く反映させるように学習を行う。例えば、演算部１２は、評価度Ｄｇが設定値より大きい第１評価対象Ａ及び第２評価対象Ｂについて、評価器の出力への影響を強く反映させるように学習を行う。
【００２８】
（＃１）カーネル空間を用いた第１分離面Ｂ１の学習に基づいて評価器を生成する場合、演算部１２は、カーネル空間における特徴量ベクトルの差分を、第１評価対象Ａの評価が高い場合と第２評価対象Ｂの評価が高い場合とを分離する第１分離面Ｂ１に近づける。この場合、図１の符号ＦＰを付した空間はカーネル空間を表す。なお、第１分離面Ｂ１は、ＳＶＭや他の方法により決定されうる。
【００２９】
図１の例では、第１評価対象Ａよりも第２評価対象Ｂの方が高評価である評価対象のペアに対応する差分が黒丸で表現され、第１評価対象Ａよりも第２評価対象Ｂの方が低評価である評価対象のペアに対応する差分が白丸で表記されている。なお、表現の都合上、２次元の空間表現を用いているが、３次元以上の空間を考える場合についても同様である。
【００３０】
例えば、差分ｖ１、ｖ２、ｖ３、ｖ４を与える第１評価対象Ａ及び第２評価対象Ｂの組に関する評価度Ｄｇが設定値より大きい場合、演算部１２は、カーネル空間における差分ｖ１、ｖ２、ｖ３、ｖ４を第１分離面Ｂ１に近づける。
【００３１】
第１分離面Ｂ１に近づける方法としては、例えば、学習時に用いるカーネル関数のうち、差分ｖ１、ｖ２、ｖ３、ｖ４を与える第１評価対象Ａ及び第２評価対象Ｂの組に対応するカーネル関数に１未満の倍率値（正数）を乗算する方法が考えられる。
【００３２】
相対評価であるため、各組について第１評価対象Ａを基準とする差分と第２評価対象Ｂを基準とする差分とを共に学習に用いると、原点を通る第１分離面Ｂ１が得られる。そのため、上記の倍率値をかけて差分を原点に近づけると、その差分が第１分離面Ｂ１に近づくことになる。
【００３３】
（＃２）特徴量ベクトルをカーネル空間に射影せずに差分を求め、その差分である差分ベクトルを利用して評価器を構築する場合、図１の符号ＦＰを付した空間は、特徴量ベクトルが位置する特徴空間（入力空間）を表す。この場合、演算部１２は、特徴空間における第１評価対象Ａの特徴量ベクトルと第２評価対象Ｂの特徴量ベクトルとの差分ｖ１、ｖ２、…（差分ベクトル）と評価値Ｅｖとを用いた学習により評価器を生成する。
【００３４】
演算部１２は、第１評価対象Ａの特徴量ベクトルから第２評価対象Ｂの特徴量ベクトルを減算した差分ベクトルと共に、第２評価対象Ｂの特徴量ベクトルから第１評価対象Ａの特徴量ベクトルを減算した差分ベクトルを考慮する。これらの差分ベクトルを考慮すれば高評価と低評価を分ける第１分離面Ｂ１が特徴空間の原点（指標Ｅｇの軸と指標Ｋｐの軸との交点）を通る。
【００３５】
第１分離面Ｂ１に近づける方法としては、評価の度合いが大きいことを表す評価度Ｄｇに対応する差分ベクトルを短縮する方法が考えられる。上記のように、第１分離面Ｂ１が特徴空間の原点を通るため、長さを短縮することにより差分ベクトルを第１分離面Ｂ１に近づけることができる。
【００３６】
上記（＃１）及び（＃２）のように、評価度Ｄｇに応じて評価器の出力への影響を強く反映させるように学習を行うことで、人の主観評価と異なる評価結果を出力する可能性がより低い評価器を構築することができる。
【００３７】
以上、第１実施形態について説明した。
＜２．第２実施形態＞
次に、第２実施形態について説明する。第２実施形態は、相対評価に基づく評価器の構築方法に関する。なお、以下の説明では、画像を評価対象にする場合を例に、カーネル空間を用いた学習に基づく評価器の構築方法について説明するが、第２実施形態に係る技術の適用範囲はこれに限定されない。また、表記の都合上、２次元のカーネル空間を図示する場合があるが、カーネル空間が３次元以上の場合にも同様に第２実施形態に係る技術を適用可能である。
【００３８】
［２−１．システム］
まず、図２を参照しながら、第２実施形態に係るシステムについて説明する。なお、図２は、第２実施形態に係るシステムの一例を示した図である。
【００３９】
図２に示すように、第２実施形態に係るシステムは、情報処理装置１００、及び端末装置２０１、２０２、２０３を含む。情報処理装置１００と、端末装置２０１、２０２、２０３とはネットワークＮＷを介して接続されている。ネットワークＮＷは、有線又は無線の通信回線、或いは、これらの通信回線を組み合わせた通信網である。なお、情報処理装置１００及び端末装置２０１、２０２、２０３が有する機能は、１台のコンピュータ又は１つのコンピュータ群を用いて実現することも可能である。
【００４０】
情報処理装置１００は、構築部１０１及び評価部１０２を有する。構築部１０１は、端末装置２０１、２０２、２０３から入力された学習データを用いて評価器を構築する要素である。評価部１０２は、構築部１０１が構築した評価器を用いて、ユーザが入力した評価対象を評価する要素である。なお、図２の例では、情報処理装置１００に評価部１０２の機能を搭載しているが、構築部１０１が構築した評価器を他の装置（例えば、ロボットなど）に搭載することも可能である。このような変形例についても第２実施形態の技術的範囲に含まれる。
【００４１】
例えば、端末装置２０１、２０２、２０３には、評価対象のペア及び評価項目の情報が表示される。そして、評価対象のペア毎に評価者が入力した評価項目の情報が、情報処理装置１００に提供される。評価対象のペア及び評価項目の入力情報を取得した情報処理装置１００は、構築部１０１の機能により、端末装置２０１、２０２、２０３から取得した入力情報など（学習データ）を基に評価器を構築する。また、ユーザが評価対象を入力した場合、情報処理装置１００は、評価部１０２の機能により、評価器を利用して、入力された評価対象の評価結果を出力する。
【００４２】
以下の説明では、上記のようなシステムを想定して説明を進める。なお、端末装置２０１、２０２、２０３は評価者やユーザが利用可能な入力機器の一例であり、端末装置の数や形態は任意に変更可能である。例えば、図２にはノート型コンピュータの絵が記載されているが、携帯電話、タブレット端末、スマートフォンなどの情報端末、デジタルカメラなどの撮像機器、テレビジョン受像器などの映像機器、或いは、家庭用ゲーム機などを利用する形態も考えられる。こうした変形例も第２実施形態に係る技術的範囲に含まれる。
【００４３】
以上、第２実施形態に係るシステムについて説明した。
［２−２．ハードウェア］
次に、図３を参照しながら、情報処理装置１００のハードウェアについて説明する。なお、図３は、第２実施形態に係る情報処理装置が有する機能を実現することが可能なハードウェアの一例を示した図である。
【００４４】
情報処理装置１００が有する機能は、例えば、図３に示す情報処理装置のハードウェア資源を用いて実現することが可能である。つまり、情報処理装置１００が有する機能は、コンピュータプログラムを用いて図３に示すハードウェアを制御することにより実現される。なお、当該コンピュータプログラムは、情報処理装置１００が読み取り可能な記録媒体（例えば、後述するリムーバブル記録媒体９２８など）に記録された状態で需要者に提供されうる。
【００４５】
図３に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ（Read Only Memory）９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０とを有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とを有する。
【００４６】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に変化する各種パラメータなどが一時的又は永続的に格納される。
【００４７】
これらの要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、及びレバーなどが用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。
【００４８】
出力部９１８としては、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、又はＥＬＤ（Electro-Luminescence Display）などのディスプレイ装置が用いられる。また、出力部９１８として、スピーカやヘッドホンなどのオーディオ出力装置、又はプリンタなどが用いられることもある。つまり、出力部９１８は、情報を視覚的又は聴覚的に出力することが可能な装置である。
【００４９】
記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ＨＤＤなどの磁気記憶デバイスが用いられる。また、記憶部９２０として、ＳＳＤ（Solid State Drive）やＲＡＭディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。
【００５０】
ドライブ９２２は、着脱可能な記録媒体であるリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。
【００５１】
接続ポート９２４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ−２３２Ｃポート、又は光オーディオ端子など、外部接続機器９３０を接続するためのポートである。外部接続機器９３０としては、例えば、プリンタなどが用いられる。
【００５２】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスである。通信部９２６としては、例えば、有線又は無線ＬＡＮ（Local Area Network）用の通信回路、ＷＵＳＢ（Wireless USB）用の通信回路、光通信用の通信回路やルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークであり、例えば、インターネット、ＬＡＮ、放送網、衛星通信回線などを含む。
【００５３】
以上、情報処理装置１００のハードウェアについて説明した。
［２−３．評価器について］
ここで、図４を参照しながら、情報処理装置１００が構築する評価器について説明する。なお、図４は、第２実施形態に係る評価器について説明するための図である。
【００５４】
情報処理装置１００が構築する評価器は、人間の主観による評価内容を含む学習データを用いて構築され、人間の主観的な評価に近い評価値を出力するものである。人間の主観による評価内容は、評価者の違いや評価時期によりブレが生じると考えられる。こうしたブレを抑制するため、情報処理装置１００は、相対評価に基づく評価指標を基準にＳＶＭに基づく学習により評価器を構築する。
【００５５】
このとき、情報処理装置１００は、１つの評価対象から得られる特徴量ベクトルと、その評価対象に対する絶対評価とを含む学習データを利用するのではなく、評価対象のペアに対する相対評価を含む学習データを利用する。
【００５６】
情報処理装置１００は、評価対象Ａの特徴量ベクトルＶA及び評価対象Ｂの特徴量ベクトルＶBをカーネル空間に射影した特徴量ベクトルの差分（以下、差分ベクトル）と、評価対象Ａ、Ｂのペアに対する相対評価とを学習に利用する。そして、情報処理装置１００は、学習により評価対象Ａが評価対象Ｂよりも高評価であるカーネル空間の領域と、評価対象Ｂが評価対象Ａよりも高評価であるカーネル空間の領域とを分離する分離面を決定する。さらに、情報処理装置１００は、決定した分離面に基づいて評価器を構築する。
【００５７】
図４には、学習データの例として、特徴量ベクトルＶA、ＶB、及び評価対象Ａ、Ｂのペアに対する相対評価（Ａ−Ｂ）を示した。相対評価（Ａ−Ｂ）は、評価対象Ａを基準とする評価対象Ｂの相対評価を示す。例えば、相対評価（Ａ−Ｂ）が「良」の場合、評価対象Ａの方が評価対象Ｂよりも高評価である。一方、相対評価（Ａ−Ｂ）が「悪」の場合、評価対象Ａの方が評価対象Ｂよりも低評価である。
【００５８】
評価対象Ａ、Ｂを入れ替えると、相対評価（Ａ−Ｂ）の内容は反転する。情報処理装置１００は、評価対象Ａ、Ｂを入れ替えて相対評価（Ａ−Ｂ）の内容を反転させたデータも学習データとして利用する。例えば、カーネル空間における差分ベクトルは、図４に例示した分布のようにカーネル空間内に配置される。黒丸は、相対評価（Ａ−Ｂ）が「良」の場合を表し、白丸は相対評価（Ａ−Ｂ）が「悪」の場合を表している。情報処理装置１００は、図４に例示した黒丸や白丸に対応する情報を学習データとして利用し、ＳＶＭに基づく学習により評価器を構築する。以下、その方法について説明する。
【００５９】
なお、カーネル関数Ｋ1により定義されるカーネル空間においてカーネル空間を分離する分離面を決めるためのカーネル関数をＫ2と表記する。カーネル関数Ｋ1としては、例えば、線形カーネル、多項式カーネル、ＲＢＦ（Radial Basis Function）カーネルなどのカーネル関数が利用可能である。
【００６０】
ここで、特徴量ベクトルＶA1、ＶB1、ＶA2、ＶB2を持つ評価対象Ａ1、Ｂ1、Ａ2、Ｂ2を考えると、カーネル関数Ｋ2は、下記の式（１）のように定義される。つまり、カーネル関数Ｋ2は、カーネル関数Ｋ1で定義されるカーネル空間における評価対象Ａ1、Ｂ1の差分ベクトルと評価対象Ａ2、Ｂ2の差分ベクトルとの内積である。
【００６１】
Ｋ2（ＶA1，ＶB1，ＶA2，ＶB2）＝Ｋ1（ＶA1，ＶA2）−Ｋ1（ＶA1，ＶB2）
−Ｋ1（ＶB1，ＶA1）＋Ｋ1（ＶB1，ＶB2）
…（１）
情報処理装置１００は、上記のカーネル関数を用いてＳＶＭに基づく学習を実行し、カーネル関数Ｋ1で定義されるカーネル空間における分離面を決定する。この分離面を決定する決定関数は、下記の式（２）のように表現される。
【００６２】
Ｆ（ｘ）=Σi∈SαiyiＫ2（ＶAi，ＶBi，ＶA，ＶB）＋ｂ
…（２）
ここで、Ｓはサポートベクトルの集合、αiは各サポートベクトルの係数、ｙiは各サポートベクトルとなる学習データの相対評価値、ＶAi，ＶBiは各サポートベクトルとなる学習データの二つの評価対象の特徴ベクトル、ｂは学習により得られる定数である。
【００６３】
上記の決定関数は、相対評価（Ａ−Ｂ）が「良」の領域で値（評価値）が正値をとり、相対評価（Ａ−Ｂ）が「悪」の領域で値（評価値）が負値をとる。情報処理装置１００は、上記の評価値が正値の場合に「Ａの方が高評価」と判定し、上記の評価値が負値の場合に「Ｂの方が高評価」と判定する判定器を生成する。なお、判定器による判定結果が変わる領域境界を求めることで分離面が得られる。
【００６４】
情報処理装置１００は、分離面に垂直な軸Ｒ（図４を参照）を算出し、評価対象Ａ、Ｂの差分ベクトルを軸Ｒに射影して得られる軸Ｒ上の値を評価値として出力する評価器を生成する。評価値の絶対値は、差分ベクトルと分離面との間の距離となる。
【００６５】
なお、分離面を決定する決定関数にはカーネル関数Ｋ2が含まれる。一方、評価器に入力される特徴量ベクトルは１つである。そのため、評価器に任意の特徴量ベクトルＶIが入力された場合、評価器は、特徴量ベクトルＶIと、基準となる特徴量ベクトルとの比較に基づく評価値を出力する。例えば、基準となる特徴量ベクトルとして、カーネル空間で零ベクトルとなるような特徴量ベクトルをＶ0とおくと、評価器は、特徴量ベクトルＶIの入力に対し、下記の式（３）に示すカーネル関数Ｋ3を用いて評価値を計算する。
【００６６】
Ｋ3（ＶA，ＶB，ＶI）＝Ｋ2（ＶA，ＶB，ＶI，Ｖ0）
＝Ｋ1（ＶA，ＶI）−Ｋ1（ＶA，Ｖ0）−Ｋ1（ＶB，ＶI）＋Ｋ1（ＶB，Ｖ0）
＝Ｋ1（ＶA，ＶI）−Ｋ1（ＶB，ＶI）
…（３）
以上、情報処理装置１００が構築する評価器について説明した。上記の評価器は、相対評価に基づく学習データを利用しているため、評価者の違いや評価時期に起因して評価内容に生じるブレを抑制することができる。なお、情報処理装置１００は、上記の評価器が有する好適な性能を維持しつつ、さらに人間の主観に近い評価が可能な評価器を構築する。その構築方法について、以下でさらに説明する。
【００６７】
［２−４．評価度「明らか」の考慮］
まず、図５及び図６を参照しながら、情報処理装置１００が評価器を構築する際に考慮する評価度について説明する。なお、図５は、第２実施形態に係る評価度について説明するための第１の図である。図６は、第２実施形態に係る評価度について説明するための第２の図である。
【００６８】
上述のように、相対評価は、評価対象Ａの方が評価対象Ｂよりも高評価であるか否かという基準で行われる。しかし、実際には、評価対象Ａと評価対象Ｂとは甲乙付けがたい場合もあれば、明らかに評価対象Ａの方が評価対象Ｂよりも高評価である場合もある。つまり、評価者の違いや評価時期によって評価の度合いに幅がある。上述した相対評価の手法を単純に適用しても評価の度合いについては考慮されないため、情報処理装置１００は、評価の度合いを表す評価度を学習時に考慮して評価器を構築する。
【００６９】
図５に示すように、例えば、評価項目「良い」、「悪い」に加え、評価項目「とても良い」、「とても悪い」を設けることで、評価度の大小を評価者からくみ取ることができる。もちろん、評価項目の表現は図５の例に限定されず、評価の度合いを評価者が認識できる表現であれば任意の表現を用いることができる。
【００７０】
図５の例では、評価項目「悪い」が選択された場合、“ＡよりもＢの方が低評価であり（評価（悪））、評価項目「とても悪い」を選択した場合に比べて評価度が小さい（評価度（小））”ことを示す情報が得られる。また、評価項目「とても良い」が選択された場合、“ＡよりもＢの方が高評価であり（評価（良））、評価項目「良い」を選択した場合に比べて評価度が大きい（評価度（大））”ことを示す情報が得られる。
【００７１】
評価度の情報は、図６に示すように、カーネル空間にマッピングした差分ベクトルを調整する際に利用される。例えば、評価度が大きくなるような評価対象Ａ、Ｂのペアは、互いに特徴が大きく異なっている可能性が高い。そのため、大きい評価度に対応する差分ベクトルは、分離面から遠い場所に位置する可能性が高い。ＳＶＭの場合、分離面から遠い学習データは、分離面の決定にほとんど寄与しない。そのため、明らかに高評価又は低評価と判定される評価対象Ａ、Ｂのペアに関する学習データは、評価器の構築時にあまり考慮されない可能性が高い。
【００７２】
明らかに高評価又は低評価と判定される評価対象Ａ、Ｂのペアに関する学習データを分離面の決定に大きく寄与させれば、人の主観評価により近い評価値を出力する評価器を構築することができると考えられる。そこで、情報処理装置１００は、図６に示すように、評価度（大）に対応する差分ベクトルが分離面（或いは、カーネル空間の原点でもよい。）に近づくように学習時に用いるカーネル関数を調整する。この調整方法については後述する。
【００７３】
上記のように、差分ベクトルが分離面に近づくことで、大きな評価度に対応する学習データが分離面の決定に寄与する可能性が高まり、明らかに高評価又は低評価と判定される評価対象をより正しく評価できる評価器の構築が実現される。
【００７４】
以上、情報処理装置１００が評価器を構築する際に考慮する評価度について説明した。
［２−５．情報処理装置の機能］
次に、図７を参照しながら、情報処理装置１００が有する機能について説明する。なお、図７は、第２実施形態に係る情報処理装置が有する機能の一例を示した図である。
【００７５】
図７に示すように、情報処理装置１００は、構築部１０１、評価部１０２、及び記憶部１０３を有する。構築部１０１及び評価部１０２の機能は、上述したＣＰＵ９０２などを用いて実現できる。記憶部１０３の機能は、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。
【００７６】
（評価器の構築に関する機能について）
まず、評価器の構築に関する機能について説明する。この機能は、主に構築部１０１により実現される。構築部１０１は、学習データ取得部１１１、決定関数生成部１１２、及び評価器生成部１１３を有する。
【００７７】
学習データ取得部１１１は、学習データとして、評価対象Ａ、Ｂのペア、及びそのペアに対する相対評価の情報を取得する。学習データ取得部１１１は、取得した評価対象Ａから特徴量を抽出し、評価対象Ａの特徴量ベクトルＶAを生成する。また、学習データ取得部１１１は、取得した評価対象Ｂから特徴量を抽出し、評価対象Ｂの特徴量ベクトルＶBを生成する。さらに、学習データ取得部１１１は、取得した相対評価の情報から学習データの相対評価値ｙ及び評価度を生成する。
【００７８】
学習データ取得部１１１により生成された特徴量ベクトルＶA、ＶBは、記憶部１０３に格納される。また、学習データ取得部１１１により生成された学習データの相対評価値ｙ及び評価度は、記憶部１０３に格納される。
【００７９】
決定関数生成部１１２は、記憶部１０３に格納された特徴量ベクトルＶA、ＶB、学習データの相対評価値ｙ、及び評価度を用いて決定関数Ｆを生成する。このとき、決定関数生成部１１２は、カーネル空間において評価度が大きい評価対象に関する差分ベクトルが分離面に近づくように、上記の式（１）に示したカーネル関数Ｋ2を調整する。
【００８０】
例えば、決定関数生成部１１２は、それぞれが１未満の値をとる２つの倍率Ｃf1、Ｃf2に基づきカーネル関数Ｋ2を調整して下記の式（４）に示すカーネル関数Ｋ4を生成する。そして、決定関数生成部１１２は、カーネル関数Ｋ4を用いて、下記の式（５）に示すような決定関数Ｆを生成する。つまり、決定関数生成部１１２は、記憶部１０３に格納された学習データを利用し、下記の式（５）に示す決定関数Ｆの係数群を計算する。
【００８１】
但し、倍率Ｃf1は、特徴量ベクトルＶA1、ＶB1のペアに対応する評価度が低い場合に１をとり、その評価度が高い場合に予め設定された１未満の値（例えば、０．５）をとる。また、倍率Ｃf2は、特徴量ベクトルＶA2、ＶB2のペアに対応する評価度が低い場合に１をとり、その評価度が高い場合に予め設定された１未満の値（例えば、０．５）をとる。なお、倍率Ｃf1、Ｃf2を１未満の値とすることで、カーネル空間において各倍率に対応する差分ベクトルが分離面に近づくことになる。
【００８２】
Ｋ4（ＶA1，ＶB1，ＶA2，ＶB2）＝Ｃf1・Ｃf2・Ｋ2（ＶA1，ＶB1，ＶA2，ＶB2）
…（４）
Ｆ（ｘ）=Σi∈SαiｙiＫ4（ＶAi，ＶBi，ＶA，ＶB）＋ｂ
…（５）
ここで、Ｓはサポートベクトルの集合、αiは各サポートベクトルの係数、ｙiは各サポートベクトルとなる学習データの相対評価値、ＶAi，ＶBiは各サポートベクトルとなる学習データの二つの評価対象の特徴ベクトル、ｂは学習により得られる定数である。
【００８３】
決定関数生成部１１２により生成された決定関数Ｆは、評価器生成部１１３に入力される。評価器生成部１１３は、入力された決定関数Ｆを利用して判定器を生成し、判定器に基づいて分離面を決定する。評価器生成部１１３は、カーネル空間における分離面に垂直な方向へ伸びる軸Ｒを決定し、軸Ｒに差分ベクトルを射影させて得られる軸Ｒ上の値を評価値として出力する評価器を生成する。評価値の絶対値は、差分ベクトルと分離面との間の距離となる。
【００８４】
なお、分離面を決定する決定関数にはカーネル関数Ｋ4が含まれる。一方、評価器に入力される特徴量ベクトルは１つである。そのため、評価器に任意の特徴量ベクトルＶIが入力された場合、評価器は、特徴量ベクトルＶIと、基準となる特徴量ベクトルとの比較に基づく評価値を出力する。
【００８５】
例えば、基準となる特徴量ベクトルとして、カーネル空間で零ベクトルとなるような特徴量ベクトルを設定した場合、評価器は、特徴量ベクトルＶIの入力に対し、下記の式（６）に示すカーネル関数Ｋ5を用いて評価値を計算する。但し、Ｃf0は、各サポートベクトルの相対評価の倍率、或いは、下記の式（７）に基づいて予め計算された値である。評価器生成部１１３により生成された評価器は、記憶部１０３に格納される。
【００８６】
Ｋ5（ＶA，ＶB，ＶI）＝Ｃf0・（Ｋ1（ＶA，ＶI）−Ｋ1（ＶB，ＶI））
…（６）
Ｆ（ｘ）＝Σi∈Sα0iｙiＫ3（ＶAi，ＶBi，ＶI）＋ｂ
但し、α0i＝αi×Ｃf0
…（７）
（未知データの評価に関する機能について）
次に、未知データの評価に関する機能について説明する。この機能は、主に評価部１０２により実現される。評価部１０２は、未知データ取得部１２１、及び判定部１２２を有する。なお、評価が与えられていない評価対象に関するデータを未知データと呼ぶ。
【００８７】
未知データ取得部１２１は、未知データとして、評価対象Ｉを取得する。未知データ取得部１２１は、取得した評価対象Ｉから特徴量を抽出し、評価対象Ｉの特徴量ベクトルＶIを生成する。未知データ取得部１２１により生成された特徴量ベクトルＶIは、判定部１２２に入力される。判定部１２２は、記憶部１０３から評価器を読み出し、特徴量ベクトルＶIを評価器に入力する。そして、判定部１２２は、未知データの評価結果として評価器の出力（「高評価」、「低評価」）をユーザに提供する。
【００８８】
以上、情報処理装置１００が有する機能について説明した。なお、評価器は、情報処理装置１００の中ではなく、例えば、ロボットなどの外部機器の中に組み込んで使用することも可能である。
【００８９】
［２−６．倍率の調整方法］
次に、図８を参照しながら、第２実施形態に係る倍率の調整方法について説明する。なお、図８は、第２実施形態に係る倍率の調整方法について説明するための図である。
【００９０】
評価器には、倍率Ｃf1、Ｃf2やマージンパラメータなどのパラメータが含まれる。これらのパラメータは、予め用意した複数のパラメータセットを一つ一つ試しながら、サンプルデータを用いた性能評価や学習データのクロスバリデーションなどを実行して好適な性能が得られるパラメータセットを選択する方法により決定される。
【００９１】
人間の主観評価への適合度を性能評価の指標とする場合、正答率などの評価基準だけでは好適なパラメータセットを選択することができない可能性がある。そのため、構築部１０１は、サンプルデータを用いた評価値の分布を分析して好適なパラメータセットを決定する。
【００９２】
サンプルデータには、評価対象Ａ、Ｂのペア、及びそのペアに対する相対評価の情報（学習データの相対評価値ｙ、評価度）が含まれる。なお、上記の式（７）に示した決定関数Ｆに評価対象Ａの特徴量ベクトルＶAを入力した場合の評価値をＦ（Ａ）、決定関数Ｆに評価対象Ｂの特徴量ベクトルＶBを入力した場合の評価値をＦ（Ｂ）と表記する。
【００９３】
図８の例は、横軸を（Ｆ（Ａ）−Ｆ（Ｂ））とし、縦軸を発生頻度としたサンプルデータの分布を示している。分布＃１は、ＡよりもＢの方が高評価であり、評価度が大きいサンプルデータの分布である。分布＃２は、ＡよりもＢの方が高評価であり、評価度が小さいサンプルデータの分布である。
【００９４】
また、分布＃３は、ＡよりもＢの方が低評価であり、評価度が小さいサンプルデータの分布である。分布＃４は、ＡよりもＢの方が低評価であり、評価度が大きいサンプルデータの分布である。Ｃ1、Ｃ2、Ｃ3、Ｃ4は、それぞれ分布＃１、＃２、＃３、＃４の分布平均を表す。
【００９５】
Ｄ12は、Ｃ1、Ｃ2間の距離を表す。Ｄ13は、Ｃ1、Ｃ3間の距離を表す。Ｄ23は、Ｃ2、Ｃ3間の距離を表す。Ｄ24は、Ｃ2、Ｃ4間の距離を表す。Ｄ34は、Ｃ3、Ｃ4間の距離を表す。人間の主観評価を基準とする評価器の性能は、各分布が他の分布と十分に分離されているか否かで評価される。
【００９６】
例えば、距離Ｄ12、Ｄ34が狭い場合、評価度の大小を分離する性能が低いことを意味する。また、距離Ｄ13、Ｄ23、Ｄ24が狭い場合、判定精度が低いことを意味する。これらの考察に基づき、４つの分布＃１、＃２、＃３、＃４の分離度合いを評価する以下の性能指標を導入し、パラメータセットの決定に利用する。
【００９７】
図８に示すような分布が得られると、分布平均の他に標準偏差を計算することができる。そこで、分布＃１の標準偏差をσ1と表記し、分布＃２の標準偏差をσ2と表記する。また、分布＃３の標準偏差をσ3と表記し、分布＃４の標準偏差をσ4と表記する。
【００９８】
例えば、性能指標Ｑ1は、下記の式（８）で表現される。但し、Ｗ1、Ｗ2、…、Ｗ6は重みである。評価度の大きなサンプルデータについては判定精度を高めたいため、分布＃１、＃３の分離及び分布＃２、＃４の分離に関する重みＷ1、Ｗ2、Ｗ5、Ｗ6の値を大きく設定する。
【００９９】
また、評価度の小さなサンプルデータの分布＃２、＃３の分離に関するＷ3、Ｗ4の値を小さく設定する。例えば、Ｗ1＝Ｗ2＝Ｗ5＝Ｗ6＝２．０、Ｗ3＝Ｗ4＝１．０などと設定される。構築部１０１は、設定した閾値よりも性能指標Ｑ1が大きくなるパラメータセットを選択する。
【０１００】
Ｑ1  ＝  Ｗ1・（Ｃ1−Ｃ3）／σ1
＋Ｗ2・（Ｃ1−Ｃ3）／σ3
＋Ｗ3・（Ｃ2−Ｃ3）／σ2
＋Ｗ4・（Ｃ2−Ｃ3）／σ3
＋Ｗ5・（Ｃ2−Ｃ4）／σ2
＋Ｗ6・（Ｃ2−Ｃ4）／σ4
…（８）
上記の式（８）で表現される性能指標Ｑ1の他、下記の式（９）で表現される性能指標Ｑ2を利用してもよい。但し、分布＃１がＣ2を上回る割合をＥｒ12、分布＃１がＣ3を上回る割合をＥｒ13、分布＃２がＣ1を下回る割合をＥｒ21、分布＃２がＣ3を上回る割合をＥｒ23と表記する。分布＃３がＣ2を下回る割合をＥｒ32、分布＃３がＣ4を上回る割合をＥｒ34、分布＃４がＣ3を下回る割合をＥｒ43、分布＃４がＣ2を下回る割合をＥｒ42と表記する。
【０１０１】
なお、Ｗｒ1、Ｗｒ2、…、Ｗｒ8は重みである。例えば、Ｗｒ2＝Ｗｒ8＝２．０、Ｗｒ1＝Ｗｒ3＝Ｗｒ4＝Ｗｒ5＝Ｗｒ6＝Ｗｒ7＝１．０などと設定される。構築部１０１は、設定した閾値よりも性能指標Ｑ2が大きくなるパラメータセットを選択する。
【０１０２】
Ｑ2  ＝  ｛Ｗｒ1・Ｅｒ12  ＋  Ｗｒ2・Ｅｒ13
＋Ｗｒ3・Ｅｒ21  ＋  Ｗｒ4・Ｅｒ23
＋Ｗｒ5・Ｅｒ32  ＋  Ｗｒ6・Ｅｒ34
＋Ｗｒ7・Ｅｒ43  ＋  Ｗｒ8・Ｅｒ42｝-1
…（９）
以上、第２実施形態に係る倍率の調整方法について説明した。
【０１０３】
［２−７．処理フロー］
次に、図９〜図１１を参照しながら、情報処理装置１００が実行する処理の流れについて説明する。
【０１０４】
（２−７−１．評価器の構築）
まず、図９を参照しながら、情報処理装置１００が実行する処理のうち、評価器の構築に係る処理の流れについて説明する。なお、図９は、第２実施形態に係る情報処理装置が実行する処理（評価器の構築）の流れを示した図である。
【０１０５】
（Ｓ１０１）学習データ取得部１１１は、学習データとして、評価対象Ａ、Ｂのペア、及びそのペアに対する相対評価の情報を取得する。学習データ取得部１１１は、取得した評価対象Ａから特徴量を抽出し、評価対象Ａの特徴量ベクトルＶAを生成する。また、学習データ取得部１１１は、取得した評価対象Ｂから特徴量を抽出し、評価対象Ｂの特徴量ベクトルＶBを生成する。さらに、学習データ取得部１１１は、取得した相対評価の情報から学習データの相対評価値ｙ及び評価度を生成する。
【０１０６】
（Ｓ１０２）決定関数生成部１１２は、カーネル空間において評価度が大きい評価対象に関する差分ベクトルが分離面に近づくように、上記の式（１）に示したカーネル関数Ｋ2を調整する。例えば、決定関数生成部１１２は、それぞれが１未満の値をとる２つの倍率Ｃf1、Ｃf2に基づきカーネル関数Ｋ2を調整して上記の式（４）に示すカーネル関数Ｋ4を生成する。
【０１０７】
（Ｓ１０３）決定関数生成部１１２は、カーネル関数Ｋ4を用いて、上記の式（５）に示すような決定関数Ｆを生成する。例えば、決定関数生成部１１２は、記憶部１０３に格納された学習データを利用し、上記の式（５）に示す決定関数Ｆの係数群を計算する。
【０１０８】
（Ｓ１０４）評価器生成部１１３は、Ｓ１０３で生成された決定関数Ｆを利用して判定器を生成し、判定器に基づいて分離面を決定する。評価器生成部１１３は、カーネル空間における分離面に垂直な方向へ伸びる軸Ｒを決定し、軸Ｒに差分ベクトルを射影させて得られる軸Ｒ上の値を評価値として出力する評価器を生成する。Ｓ１０４の処理を完了すると、図９に示した一連の処理は終了する。
【０１０９】
以上、評価器の構築に関する処理フローについて説明した。
（２−７−２．妥当性の評価）
次に、図１０を参照しながら、情報処理装置１００が実行する処理のうち、妥当性の評価に係る処理の流れについて説明する。なお、図１０は、第２実施形態に係る情報処理装置が実行する処理（妥当性の評価）の流れを示した図である。
【０１１０】
ここで言う妥当性の評価とは、倍率Ｃf1、Ｃf2を含むパラメータセットが妥当であるかを評価する方法を指す。つまり、図１０に示した処理は、上述した倍率の調整方法に関する処理である。なお、図１０に例示した妥当性の評価方法は、上記の式（９）に示した性能指標Ｑ2を用いる評価処理を一部簡略化した変形例である。上述した性能指標Ｑ1、Ｑ2を用いる評価処理も同様の処理フローで実現することができる。
【０１１１】
（Ｓ１１１）構築部１０１は、サンプルデータを取得する。サンプルデータには、評価対象Ａ、Ｂのペア、及びそのペアに対する相対評価の情報（学習データの相対評価値ｙ、評価度）が含まれる。サンプルデータは、例えば、記憶部１０３に予め格納されている。
【０１１２】
（Ｓ１１２）構築部１０１は、決定関数Ｆにサンプルデータを入力して評価値の分布を計算する。このとき、構築部１０１は、評価内容（学習データの相対評価値ｙと評価度との組み合わせ）の異なる複数の分布を計算する。例えば、構築部１０１は、図８に例示した分布＃１〜＃４を計算する。図８の例は、横軸を（Ｆ（Ａ）−Ｆ（Ｂ））とし、縦軸を発生頻度としたサンプルデータの分布を示している。
【０１１３】
（Ｓ１１３）構築部１０１は、（Ｆ（Ａ）−Ｆ（Ｂ））が分布＃１の平均値Ｃ1を下回る分布＃２の割合（つまり、分布＃２がＣ1を下回る割合Ｅｒ21）を計算する。例えば、構築部１０１は、分布＃２の中でＣ1を下回る部分の面積を求め、求めた面積を分布＃２の総面積で割った値を割合Ｅｒ21とする。
【０１１４】
（Ｓ１１４）構築部１０１は、（Ｆ（Ａ）−Ｆ（Ｂ））が分布＃２の平均値Ｃ2を上回る分布＃１の割合（つまり、分布＃１がＣ2を上回る割合Ｅｒ12）を計算する。例えば、構築部１０１は、分布＃１の中でＣ2を上回る部分の面積を求め、求めた面積を分布＃１の総面積で割った値を割合Ｅｒ12とする。
【０１１５】
（Ｓ１１５）構築部１０１は、（Ｆ（Ａ）−Ｆ（Ｂ））が分布＃３の平均値Ｃ3を下回る分布＃４の割合（つまり、分布＃４がＣ3を下回る割合Ｅｒ43）を計算する。例えば、構築部１０１は、分布＃４の中でＣ3を下回る部分の面積を求め、求めた面積を分布＃４の総面積で割った値を割合Ｅｒ43とする。
【０１１６】
（Ｓ１１６）構築部１０１は、（Ｆ（Ａ）−Ｆ（Ｂ））が分布＃４の平均値Ｃ4を上回る分布＃３の割合（つまり、分布＃３がＣ4を上回る割合Ｅｒ34）を計算する。例えば、構築部１０１は、分布＃３の中でＣ4を上回る部分の面積を求め、求めた面積を分布＃３の総面積で割った値を割合Ｅｒ34とする。
【０１１７】
（Ｓ１１７）構築部１０１は、性能指標として、割合Ｅｒ12、Ｅｒ21、Ｅｒ34、Ｅｒ43の重み付き和を計算する。例えば、構築部１０１は、下記の式（１０）に示す性能指標Ｑ3を計算する。但し、Ｗｅ1、Ｗｅ2、Ｗｅ3、Ｗｅ4は重みである。例えば、Ｗｅ1＝Ｗｅ4＝２．０、Ｗｅ2＝Ｗｅ3＝１．０などと設定される。この設定は、明らかに高評価と判定されたサンプルデータの分布、及び明らかに低評価と判定されたサンプルデータの分布が、他の分布平均から十分に離れることを重視したものである。
【０１１８】
Ｑ3  ＝  Ｗｅ1・Ｅｒ12  ＋  Ｗｅ2・Ｅｒ21
＋Ｗｅ3・Ｅｒ34  ＋  Ｗｅ4・Ｅｒ43
…（１０）
（Ｓ１１８）構築部１０１は、重み付き和（性能指標Ｑ3）が予め設定した閾値以上であるか否かを判定する。性能指標Ｑ3が閾値以上である場合、処理はＳ１１９へと進む。一方、性能指標Ｑ3が閾値未満である場合、図１０に示した一連の処理は終了する。つまり、この段階で使用したパラメータセット（倍率Ｃf1、Ｃf2を含む。）が妥当であると判定した場合、妥当性の評価に関する処理が終了する。
【０１１９】
（Ｓ１１９）構築部１０１は、倍率Ｃf1、Ｃf2を変更して決定関数Ｆを再生成する。このとき、構築部１０１は、倍率Ｃf1、Ｃf2以外のパラメータ（例えば、マージンパラメータ）を変更してもよい。なお、決定関数Ｆの生成は、例えば、図９に例示した処理フローに従って実行される。Ｓ１１９の処理が完了すると、処理はＳ１１２へと進む。
【０１２０】
以上、妥当性の評価に関する処理フローについて説明した。
（２−７−３．入力ベクトルの評価）
次に、図１１を参照しながら、情報処理装置１００が実行する処理のうち、入力ベクトル（上述した未知データの特徴量ベクトルＶI）の評価に係る処理の流れについて説明する。図１１は、第２実施形態に係る情報処理装置が実行する処理（入力ベクトルの評価）の流れを示した図である。なお、図１１の例には、評価器内で実行される処理についても細かく記載されている。
【０１２１】
（Ｓ１２１）未知データ取得部１２１は、未知データとして、評価対象Ｉを取得する。未知データ取得部１２１は、取得した評価対象Ｉから特徴量を抽出し、評価対象Ｉの特徴量ベクトルＶI（入力ベクトル）を生成する。未知データ取得部１２１により生成された特徴量ベクトルＶIは、判定部１２２に入力される。
【０１２２】
（Ｓ１２２）判定部１２２は、記憶部１０３から評価器を読み出し、特徴量ベクトルＶIを評価器に入力して評価値を計算する。
（Ｓ１２３）判定部１２２は、Ｓ１２２で計算した評価値が正値であるか否かを判定する。評価値が正値である場合、処理はＳ１２４へと進む。一方、評価値が負値である場合、処理はＳ１２５へと進む。
【０１２３】
（Ｓ１２４）判定部１２２は、評価対象Ｉが高評価であると判定し、その判定結果をユーザに提供する。また、判定部１２２は、評価値をユーザに提供する。Ｓ１２４の処理を完了すると、図１１に示した一連の処理は終了する。
【０１２４】
（Ｓ１２５）判定部１２２は、評価対象Ｉが低評価であると判定し、その判定結果をユーザに提供する。また、判定部１２２は、評価値をユーザに提供する。Ｓ１２５の処理を完了すると、図１１に示した一連の処理は終了する。
【０１２５】
以上、入力ベクトルの評価に関する処理フローについて説明した。
以上、情報処理装置１００が実行する処理の流れについて説明した。
以上説明したように、ＳＶＭに基づく学習により評価器を構築する際に、大きな評価度に対応する差分ベクトルをカーネル空間における分離面に近づけることで、明らかに評価が高い又は低い評価対象をより正しく評価できる評価器を構築することが可能になる。つまり、人間の主観に近い評価結果を得ることが可能な評価器を構築することができる。
【０１２６】
以上、第２実施形態について説明した。
＜３．第３実施形態＞
次に、第３実施形態について説明する。第３実施形態は、高い評価とも低い評価とも言えない「同程度」の状態（つまり、評価度が零の状態）を考慮する仕組みを提供する。なお、第２実施形態と同じ要素については詳細な説明を省略する。
【０１２７】
［３−１．評価度「同程度」の考慮］
まず、図１２及び図１３を参照しながら、第３実施形態に係る評価度について説明する。なお、図１２は、第３実施形態に係る評価度について説明するための第１の図である。図１３は、第３実施形態に係る評価度について説明するための第２の図である。
【０１２８】
第２実施形態では、高評価、低評価、明らかに高評価、明らかに低評価という４段階の評価内容を考慮した評価器の構築方法を提案した。第３実施形態では、この評価器の構築方法を拡張し、２つの評価対象が甲乙つけがたいケース（評価が「同程度」のケース（評価度が零の場合に相当））を考慮した評価器の構築方法を提案する。
【０１２９】
図１２に示すように、例えば、評価項目「良い」、「悪い」、「とても良い」、「とても悪い」に加え、評価項目「同程度」を設けることで、“甲乙つけがたい”という評価内容（評価度が零と表現する場合がある。）を評価者からくみ取ることができる。もちろん、評価項目の表現は図１２の例に限定されず、評価の度合いを評価者が認識できる表現であれば任意の表現を用いることができる。
【０１３０】
図１２の例では、評価項目「同程度」が選択された場合、“ＡよりもＢの方が高評価である（評価（良））と感じる度合いが零（評価度（零））である”ことを示す情報が得られる。なお、“ＡよりもＢの方が低評価である（評価（悪））と感じる度合いが零（度合い（零））である”と表現することもできる。また、図５の例と同様に、評価項目「とても良い」が選択された場合、“ＡよりもＢの方が高評価であり（評価（良））、評価項目「良い」を選択した場合に比べて評価度が大きい（評価度（大））”ことを示す情報が得られる。
【０１３１】
第３実施形態では、図１３に示すように、上記の情報を利用して、カーネル空間における「同程度」の領域と、カーネル空間における「同程度」以外（以下、「非同程度」）の領域とを分離する分離面が決定される。図１３の例では、評価度が零でなく、Ａの方がＢよりも高評価である領域と、評価度が零である領域とを分離する方法が示されている。この方法により決定された分離面を利用することで、“甲乙つけがたい”という評価を考慮した評価値の出力が可能な評価器を構築することができる。
【０１３２】
以上、第３実施形態に係る評価度について説明した。
［３−２．情報処理装置の機能］
次に、図１４を参照しながら、情報処理装置１３０の機能について説明する。なお、情報処理装置１３０は、第３実施形態に係る情報処理装置の一例である。また、図１４は、第３実施形態に係る情報処理装置が有する機能の一例を示した図である。以下の説明において、第２実施形態に係る情報処理装置１００が有する機能と実質的に同じ機能を有する要素については同一の符号を付することにより詳細な説明を省略する。
【０１３３】
図１４に示すように、情報処理装置１３０は、構築部１３１、評価部１３２、及び記憶部１０３を有する。構築部１３１及び評価部１３２の機能は、上述したＣＰＵ９０２などを用いて実現できる。記憶部１０３の機能は、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。
【０１３４】
（評価器の構築に関する機能について）
まず、評価器の構築に関する機能について説明する。この機能は、主に構築部１３１により実現される。構築部１３１は、学習データ取得部１１１、決定関数生成部１４１、及び評価器生成部１４２を有する。上述した構築部１０１との主な違いは、決定関数生成部１４１、及び評価器生成部１４２にある。
【０１３５】
学習データ取得部１１１は、学習データとして、評価対象Ａ、Ｂのペア、及びそのペアに対する相対評価の情報を取得する。学習データ取得部１１１は、取得した評価対象Ａから特徴量を抽出し、評価対象Ａの特徴量ベクトルＶAを生成する。
【０１３６】
また、学習データ取得部１１１は、取得した評価対象Ｂから特徴量を抽出し、評価対象Ｂの特徴量ベクトルＶBを生成する。さらに、学習データ取得部１１１は、取得した相対評価の情報から学習データの相対評価値ｙ及び評価度を生成する。なお、評価度が零の場合、学習データの相対評価値ｙは規定値に設定される。これらの学習データは、記憶部１０３に格納される。
【０１３７】
決定関数生成部１４１は、評価度が「同程度」ではない学習データを利用し、カーネル空間において評価対象Ａが評価対象Ｂより高評価の領域と、評価対象Ｂが評価対象Ａより高評価の領域とを分離する分離面を決める決定関数Ｆ1を生成する。また、決定関数生成部１４１は、記憶部１０３に格納された学習データを利用し、図１３に示すように、評価度が同程度の領域と評価度が非同程度の領域とを分離する分離面を決定する決定関数Ｆ2を生成する。なお、決定関数Ｆ1、Ｆ2の生成方法としては、第２実施形態に係る方法と同じ方法を適用することができる。
【０１３８】
決定関数生成部１４１により生成された決定関数Ｆ1、Ｆ2は、評価器生成部１４２に入力される。評価器生成部１４２は、決定関数Ｆ1が決める分離面に垂直な方向へ伸びる軸Ｒ1を決定し、カーネル空間において軸Ｒ1に差分ベクトルを射影させて得られる軸Ｒ1上の値（評価値Ｙ1）を出力する評価器を生成する。
【０１３９】
また、評価器生成部１４２は、決定関数Ｆ2が決める分離面に垂直な方向へ伸びる軸Ｒ2を決定し、カーネル空間において軸Ｒ2に差分ベクトルを射影させて得られる軸Ｒ2上の値（評価値Ｙ2）を出力する評価器を生成する。
【０１４０】
なお、評価値Ｙ1、Ｙ2の絶対値は、それぞれ軸Ｒ1、Ｒ2に沿った分離面から差分ベクトルまでの距離である。また、カーネル空間において相対評価が高い領域では評価値Ｙ1は正値をとり、相対評価が低い領域では評価値Ｙ1は負値となる。さらに、カーネル空間において「非同程度」の領域では評価値Ｙ2は正値をとり、「同程度」の領域では評価値Ｙ2は負値となる。評価器生成部１４２により生成された評価器は、記憶部１０３に格納される。
【０１４１】
（未知データの評価に関する機能について）
次に、未知データの評価に関する機能について説明する。この機能は、主に評価部１３２により実現される。評価部１３２は、未知データ取得部１２１、及び判定部１４３を有する。上述した評価部１０２との主な違いは、判定部１４３にある。
【０１４２】
未知データ取得部１２１は、未知データとして、評価対象Ｉを取得する。未知データ取得部１２１は、取得した評価対象Ｉから特徴量を抽出し、評価対象Ｉの特徴量ベクトルＶIを生成する。未知データ取得部１２１により生成された特徴量ベクトルＶIは、判定部１４３に入力される。判定部１４３は、記憶部１０３から評価器を読み出し、特徴量ベクトルＶIを評価器に入力する。そして、判定部１４３は、未知データの評価結果をユーザに提供する。
【０１４３】
以上、情報処理装置１３０の機能について説明した。
［３−３．倍率の調整方法］
次に、図１５を参照しながら、第３実施形態に係る倍率の調整方法について説明する。図１５は、第３実施形態に係る倍率の調整方法について説明するための図である。なお、第２実施形態に係る倍率の調整方法との主な違いは、「同程度」と評価されたサンプルデータの分布を考慮する点にある。
【０１４４】
評価器には、倍率Ｃf1、Ｃf2やマージンパラメータなどのパラメータが含まれる。これらのパラメータは、予め用意した複数のパラメータセットを一つ一つ試しながら、サンプルデータを用いた性能評価や学習データのクロスバリデーションなどを実行して好適な性能が得られるパラメータセットを選択する方法により決定される。
【０１４５】
人間の主観評価への適合度を性能評価の指標とする場合、正答率などの評価基準だけでは好適なパラメータセットを選択することができない可能性がある。そのため、構築部１３１は、サンプルデータを用いた評価値の分布を分析して好適なパラメータセットを決定する。
【０１４６】
サンプルデータには、評価対象Ａ、Ｂのペア、及びそのペアに対する相対評価の情報（学習データの相対評価値ｙ、評価度）が含まれる。決定関数Ｆ2に評価対象Ａの特徴量ベクトルＶAを入力した場合の評価値Ｙ2をＦ2（Ａ）、決定関数Ｆ2に評価対象Ｂの特徴量ベクトルＶBを入力した場合の評価値Ｙ2をＦ2（Ｂ）と表記する。
【０１４７】
図１５の例は、横軸を（Ｆ2（Ａ）−Ｆ2（Ｂ））とし、縦軸を発生頻度としたサンプルデータの分布を示している。分布＃１は、評価度が「同程度」であるサンプルデータの分布である。また、分布＃２は、ＢよりもＡの方が高評価であり、評価度が小さいサンプルデータの分布である。分布＃３は、ＢよりもＡの方が高評価であり、評価度が大きいサンプルデータの分布である。Ｃ1、Ｃ2、Ｃ3は、それぞれ分布＃１、＃２、＃３の分布平均を表す。
【０１４８】
Ｄ12は、Ｃ1、Ｃ2間の距離を表す。Ｄ13は、Ｃ1、Ｃ3間の距離を表す。Ｄ23は、Ｃ2、Ｃ3間の距離を表す。人間の主観評価を基準とする評価器の性能は、各分布が他の分布と十分に分離されているか否かで評価される。
【０１４９】
例えば、距離Ｄ13が狭い場合、評価度の大小を分離する性能が低いことを意味する。また、距離Ｄ12、Ｄ23が狭い場合、判定精度が低いことを意味する。これらの考察に基づき、３つの分布＃１、＃２、＃３の分離度合いを評価する以下の性能指標を導入し、パラメータセットの決定に利用する。
【０１５０】
図１５に示すような分布が得られると、分布平均の他に標準偏差を計算することができる。そこで、分布＃１の標準偏差をσ1と表記し、分布＃２の標準偏差をσ2と表記し、分布＃３の標準偏差をσ3と表記する。
【０１５１】
例えば、性能指標Ｑ4は、下記の式（１１）で表現される。但し、Ｗ1、Ｗ2、…、Ｗ6は重みである。評価度の大きなサンプルデータについては判定精度を高めたいため、分布＃１、＃３の分離に関する重みＷ1、Ｗ2の値を大きく設定する。
【０１５２】
また、評価度の小さなサンプルデータの分布＃２、＃３の分離に関するＷ3、Ｗ4、Ｗ5、Ｗ6の値を小さく設定する。例えば、Ｗ1＝Ｗ2＝２．０、Ｗ3＝Ｗ4＝Ｗ5＝Ｗ6＝１．０などと設定する。構築部１３１は、設定した閾値よりも性能指標Ｑ4が大きくなるパラメータセットを選択する。
【０１５３】
Ｑ4  ＝  Ｗ1・（Ｃ1−Ｃ3）／σ1
＋Ｗ2・（Ｃ1−Ｃ3）／σ3
＋Ｗ3・（Ｃ2−Ｃ3）／σ2
＋Ｗ4・（Ｃ2−Ｃ3）／σ3
＋Ｗ5・（Ｃ1−Ｃ2）／σ1
＋Ｗ6・（Ｃ1−Ｃ2）／σ2
…（１１）
上記の式（１１）で表現される性能指標Ｑ4の他、下記の式（１２）で表現される性能指標Ｑ5を利用してもよい。但し、分布＃３がＣ1を下回る割合をＥｒ31、分布＃３がＣ2を下回る割合をＥｒ32、分布＃２がＣ3を上回る割合をＥｒ23、分布＃２がＣ1を下回る割合をＥｒ21と表記する。さらに、分布＃１について｜Ｆ2（Ａ）−Ｆ2（Ｂ）｜がＣ3を上回る割合をＥｒA13、分布＃１について｜Ｆ2（Ａ）−Ｆ2（Ｂ）｜がＣ2を上回る割合をＥｒA12と表記する。
【０１５４】
なお、Ｗｒ1、Ｗｒ2、…、Ｗｒ6は重みである。例えば、Ｗｒ1＝Ｗｒ2＝２．０、Ｗｒ3＝Ｗｒ4＝Ｗｒ5＝Ｗｒ6＝１．０などと設定する。つまり、「同程度」と評価されるサンプルデータの分布と、「とても良い」又は「とても悪い」と評価されるサンプルデータの分布とが、他の分布よりも大きく分離されるように重みが設定される。構築部１３１は、設定した閾値よりも性能指標Ｑ5が大きくなるパラメータセットを選択する。
【０１５５】
Ｑ5  ＝  ｛Ｗｒ1・Ｅｒ31＋Ｗｒ2・Ｅｒ32
＋Ｗｒ3・Ｅｒ23＋Ｗｒ4・Ｅｒ21
＋Ｗｒ5・ＥｒA13＋Ｗｒ6・ＥｒA12｝-1
…（１２）
以上、第３実施形態に係る倍率の調整方法について説明した。
【０１５６】
［３−４．処理フロー］
次に、図１６〜図１９を参照しながら、情報処理装置１３０が実行する処理の流れについて説明する。
【０１５７】
（３−４−１．評価器の構築）
まず、図１６を参照しながら、情報処理装置１３０が実行する処理のうち、評価器の構築に係る処理の流れについて説明する。なお、図１６は、第３実施形態に係る情報処理装置が実行する処理（評価器の構築）の流れを示した第１の図である。
【０１５８】
（Ｓ２０１）学習データ取得部１１１は、学習データとして、評価対象Ａ、Ｂのペア、及びそのペアに対する相対評価の情報を取得する。学習データ取得部１１１は、取得した評価対象Ａから特徴量を抽出し、評価対象Ａの特徴量ベクトルＶAを生成する。また、学習データ取得部１１１は、取得した評価対象Ｂから特徴量を抽出し、評価対象Ｂの特徴量ベクトルＶBを生成する。さらに、学習データ取得部１１１は、取得した相対評価の情報から学習データの相対評価値ｙ及び評価度を生成する。
【０１５９】
（Ｓ２０２）決定関数生成部１４１は、カーネル空間において評価度が大きい評価対象に関する差分ベクトルが分離面に近づくように、上記の式（１）に示したカーネル関数Ｋ2を調整する。例えば、決定関数生成部１４１は、それぞれが１未満の値をとる２つの倍率Ｃf1、Ｃf2に基づきカーネル関数Ｋ2を調整して上記の式（４）に示すカーネル関数Ｋ4を生成する。
【０１６０】
（Ｓ２０３）決定関数生成部１４１は、評価度が「同程度」ではない学習データを利用し、カーネル空間において評価対象Ａが評価対象Ｂより高評価の領域と、評価対象Ｂが評価対象Ａより高評価の領域とを分離する分離面を決める決定関数Ｆ1を生成する。また、決定関数生成部１４１は、評価度が同程度のクラスと評価度が非同程度のクラスとを分離する分離面を決定する決定関数Ｆ2を生成する。
【０１６１】
（Ｓ２０４）決定関数生成部１４１により生成された決定関数Ｆ1、Ｆ2は、評価器生成部１４２に入力される。評価器生成部１４２は、決定関数Ｆ1が決める分離面に垂直な方向へ伸びる軸Ｒ1を決定し、カーネル空間において軸Ｒ1に差分ベクトルを射影させて得られる軸Ｒ1上の値（評価値Ｙ1）を出力する評価器を生成する。また、評価器生成部１４２は、決定関数Ｆ2が決める分離面に垂直な方向へ伸びる軸Ｒ2を決定し、カーネル空間において軸Ｒ2に差分ベクトルを射影させて得られる軸Ｒ2上の値（評価値Ｙ2）を出力する評価器を生成する。Ｓ２０４の処理が完了すると、図１６に示した一連の処理は終了する。
【０１６２】
以上、評価器の構築に関する処理フローについて説明した。
（３−４−２．妥当性の評価）
次に、図１７及び図１８を参照しながら、情報処理装置１３０が実行する処理のうち、妥当性の評価に係る処理の流れについて説明する。なお、図１７は、第３実施形態に係る情報処理装置が実行する処理（妥当性の評価）の流れを示した第１の図である。図１８は、第３実施形態に係る情報処理装置が実行する処理（妥当性の評価）の流れを示した第２の図である。
【０１６３】
ここで言う妥当性の評価とは、倍率Ｃf1、Ｃf2を含むパラメータセットが妥当であるかを評価する方法を指す。つまり、図１７及び図１８に示した処理は、上述した倍率の調整方法に関する処理である。なお、図１７及び図１８に例示した妥当性の評価方法は、上記の式（１２）に示した性能指標Ｑ5を用いる評価処理に関する。
【０１６４】
（Ｓ２３１）構築部１３１は、サンプルデータを取得する。サンプルデータには、評価対象Ａ、Ｂのペア、及びそのペアに対する相対評価の情報（学習データの相対評価値ｙ、評価度）が含まれる。サンプルデータは、例えば、記憶部１０３に予め格納されている。
【０１６５】
（Ｓ２３２）構築部１３１は、決定関数Ｆ2にサンプルデータを入力した場合の評価値Ｙ2の分布を計算する。このとき、構築部１３１は、評価内容（学習データの相対評価値ｙと評価度との組み合わせ）の異なる複数の分布を計算する。例えば、構築部１３１は、図１５に例示した分布＃１〜＃３を計算する。図１５の例は、横軸を（Ｆ2（Ａ）−Ｆ2（Ｂ））とし、縦軸を発生頻度としたサンプルデータの分布を示している。
【０１６６】
（Ｓ２３３）構築部１３１は、（Ｆ2（Ａ）−Ｆ2（Ｂ））が分布＃１の平均値Ｃ1を下回る分布＃３の割合（つまり、分布＃３がＣ1を下回る割合Ｅｒ31）を計算する。例えば、構築部１３１は、分布＃３の中でＣ1を下回る部分の面積を求め、求めた面積を分布＃３の総面積で割った値を割合Ｅｒ31とする。
【０１６７】
（Ｓ２３４）構築部１３１は、｜Ｆ2（Ａ）−Ｆ2（Ｂ）｜が分布＃３の平均値Ｃ3を上回る分布＃１の割合（つまり、分布＃１がＣ3を上回る割合ＥｒA13）を計算する。例えば、構築部１３１は、分布＃１の中で｜Ｆ2（Ａ）−Ｆ2（Ｂ）｜がＣ3を上回る部分の面積を求め、求めた面積を分布＃１の総面積で割った値を割合ＥｒA13とする。
【０１６８】
（Ｓ２３５）構築部１３１は、（Ｆ2（Ａ）−Ｆ2（Ｂ））が分布＃２の平均値Ｃ2を下回る分布＃３の割合（つまり、分布＃３がＣ2を下回る割合Ｅｒ32）を計算する。例えば、構築部１３１は、分布＃３の中でＣ2を下回る部分の面積を求め、求めた面積を分布＃３の総面積で割った値を割合Ｅｒ32とする。
【０１６９】
（Ｓ２３６）構築部１３１は、（Ｆ2（Ａ）−Ｆ2（Ｂ））が分布＃３の平均値Ｃ3を上回る分布＃２の割合（つまり、分布＃２がＣ3を上回る割合Ｅｒ23）を計算する。例えば、構築部１３１は、分布＃２の中でＣ3を上回る部分の面積を求め、求めた面積を分布＃２の総面積で割った値を割合Ｅｒ23とする。
【０１７０】
（Ｓ２３７）構築部１３１は、（Ｆ2（Ａ）−Ｆ2（Ｂ））が分布＃１の平均値Ｃ1を下回る分布＃２の割合（つまり、分布＃２がＣ1を下回る割合Ｅｒ21）を計算する。例えば、構築部１３１は、分布＃２の中でＣ1を下回る部分の面積を求め、求めた面積を分布＃２の総面積で割った値を割合Ｅｒ21とする。
【０１７１】
（Ｓ２３８）構築部１３１は、｜Ｆ2（Ａ）−Ｆ2（Ｂ）｜が分布＃２の平均値Ｃ2を上回る分布＃１の割合（つまり、分布＃１がＣ2を上回る割合ＥｒA12）を計算する。例えば、構築部１３１は、分布＃１の中で｜Ｆ2（Ａ）−Ｆ2（Ｂ）｜がＣ1を上回る部分の面積を求め、求めた面積を分布＃１の総面積で割った値を割合ＥｒA12とする。Ｓ２３８の処理が完了すると、処理は、図１８のＳ２３９へと進む。
【０１７２】
（Ｓ２３９）構築部１３１は、性能指標として、割合Ｅｒ31、Ｅｒ32、Ｅｒ23、Ｅｒ21、ＥｒA13、ＥｒA12の重み付き和を計算する。例えば、構築部１３１は、上記の式（１２）に示す性能指標Ｑ5を計算する。なお、Ｗｒ1＝Ｗｒ2＝２．０、Ｗ3＝Ｗｒ4＝Ｗｒ5＝Ｗｒ6＝１．０などと設定する。つまり、「同程度」と評価されるサンプルデータの分布と、「とても良い」又は「とても悪い」と評価されるサンプルデータの分布とが、他の分布よりも大きく分離されるように重みが設定される。
【０１７３】
（Ｓ２４０）構築部１３１は、重み付き和（性能指標Ｑ5）が予め設定した閾値以上であるか否かを判定する。性能指標Ｑ5が閾値以上である場合、処理はＳ２４１へと進む。一方、性能指標Ｑ5が閾値未満である場合、図１７及び図１８に示した一連の処理は終了する。つまり、この段階で使用したパラメータセット（倍率Ｃf1、Ｃf2を含む。）が妥当であると判定し、妥当性の評価に関する処理が終了する。
【０１７４】
（Ｓ２４１）構築部１３１は、倍率Ｃf1、Ｃf2を変更して決定関数Ｆ1、Ｆ2を再生成する。このとき、構築部１３１は、倍率Ｃf1、Ｃf2以外のパラメータ（例えば、マージンパラメータ）を変更してもよい。なお、決定関数Ｆ1、Ｆ2の生成は、例えば、図１６に例示した処理フローに従って実行される。Ｓ２４１の処理が完了すると、処理は、図１７のＳ２３２へと進む。
【０１７５】
以上、妥当性の評価に関する処理フローについて説明した。
（３−４−３．入力ベクトルの評価）
次に、図１９を参照しながら、情報処理装置１３０が実行する処理のうち、入力ベクトル（上述した未知データの特徴量ベクトルＶI）の評価に係る処理の流れについて説明する。図１９は、第３実施形態に係る情報処理装置が実行する処理（入力ベクトルの評価）の流れを示した図である。なお、図１９には、評価器内で実行される処理についても細かく記載されている。
【０１７６】
（Ｓ２５１）未知データ取得部１２１は、未知データとして、評価対象Ｉを取得する。未知データ取得部１２１は、取得した評価対象Ｉから特徴量を抽出し、評価対象Ｉの特徴量ベクトルＶI（入力ベクトル）を生成する。未知データ取得部１２１により生成された特徴量ベクトルＶIは、判定部１４３に入力される。
【０１７７】
（Ｓ２５２）判定部１４３は、記憶部１０３から決定関数Ｆ2を読み出し、特徴量ベクトルＶIを決定関数Ｆ2に基づく評価器に入力して評価値Ｙ2を計算する。
（Ｓ２５３）判定部１４３は、評価値Ｙ2が負値であるか否かを判定する。評価値Ｙ2が正値である場合、処理はＳ２５５へと進む。一方、評価値Ｙ2が負値である場合、処理はＳ２５４へと進む。
【０１７８】
（Ｓ２５４）判定部１４３は、評価対象Ｉが「高評価」でも「低評価」でもないと判定し、その判定結果をユーザに提供する。Ｓ２５４の処理を完了すると、図１９に示した一連の処理は終了する。
【０１７９】
（Ｓ２５５）判定部１４３は、記憶部１０３から決定関数Ｆ1を読み出し、特徴量ベクトルＶIを決定関数Ｆ1に基づく評価器に入力して評価値Ｙ1を計算する。
（Ｓ２５６）判定部１４３は、評価値Ｙ1が正値であるか否かを判定する。評価値Ｙ1が正値である場合、処理はＳ２５７へと進む。一方、評価値Ｙ1が負値である場合、処理はＳ２５８へと進む。
【０１８０】
（Ｓ２５７）判定部１４３は、評価対象Ｉが高評価であると判定し、その判定結果をユーザに提供する。また、判定部１４３は、評価値Ｙ1をユーザに提供する。Ｓ２５７の処理を完了すると、図１９に示した一連の処理は終了する。
【０１８１】
（Ｓ２５８）判定部１４３は、評価対象Ｉが低評価であると判定し、その判定結果をユーザに提供する。また、判定部１４３は、評価値Ｙ1をユーザに提供する。Ｓ２５８の処理を完了すると、図１９に示した一連の処理は終了する。
【０１８２】
以上、入力ベクトルの評価に関する処理フローについて説明した。
以上、情報処理装置１３０が実行する処理の流れについて説明した。
以上説明したように、評価が同程度と判定される評価対象と、評価が非同程度と判定される評価対象とを分離する分離面を考慮することで、甲乙付けがたい評価対象を好適に分類することが可能になる。
【０１８３】
以上、第３実施形態について説明した。
以上、添付図面を参照しながら好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、様々な変形例や修正例に想到し得ることは明らかであり、こうした変形例や修正例についても当然に本発明の技術的範囲に属することは言うまでもない。
【０１８４】
例えば、上記の実施形態では、カーネル空間を利用して学習を行う方法を例に説明したが、特徴量ベクトルをカーネル空間へ射影せずに特徴量ベクトルの差分を利用して学習を行う方法などに変形することもできる。
【０１８５】
また、上記の実施形態に係る技術は、ユーザに合わせたインタラクションを行うロボットの実現などへの応用が期待できる。１つの例として、高齢者を見守るロボットの実現が考えられる。観察対象の高齢者がどのような状態（例えば、活性度、興味度、好意度など）にあるかをロボットが推定する場面で上記の技術が利用できる。真の状態をロボットが正しく理解するのは難しいが、第三者の観察により推定できる程度で上記の状態を評価できれば、実用的なロボットとなる。つまり、主観的な評価をロボットの推定アルゴリズムに反映させることができれば、上記のようなロボットが現実的なものとなる。上記の実施形態に係る技術は、このような分野にも適用可能である。
【０１８６】
＜４．付記＞
以上説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）  第１評価対象を基準とする第２評価対象への評価の高低を表す評価値と、前記評価の高低の度合いを表す評価度と、前記第１評価対象及び前記第２評価対象の特徴量ベクトルとを記憶する記憶部と、
前記第１評価対象及び前記第２評価対象の特徴量ベクトルと前記評価値とを用いた学習により、任意の評価対象から得られる特徴量ベクトルを入力とし、当該任意の評価対象について評価の高さを表す出力値を出力する評価器を生成する演算部と、を有し、
前記演算部は、前記評価度に応じて前記評価器の出力への影響を強く反映させるように学習を行う、情報処理装置。
【０１８７】
（付記２）  前記演算部は、カーネル空間を用いた分離面の学習に基づいて前記評価器を生成し、当該学習の際に、前記評価度が設定値より大きい前記第１評価対象及び前記第２評価対象について、前記カーネル空間における前記特徴量ベクトルの差分を、前記第１評価対象の評価が高い場合と前記第２評価対象の評価が高い場合とを分離する第１分離面に近づける
付記１に記載の情報処理装置。
【０１８８】
（付記３）  前記演算部は、前記第１評価対象の特徴量ベクトルと前記第２評価対象の特徴量ベクトルとの差分である差分ベクトルを前記評価度が大きい場合に短縮し、前記差分ベクトルと前記評価値とを用いた学習により前記評価器を生成する
付記１に記載の情報処理装置。
【０１８９】
（付記４）  前記演算部は、前記第１分離面を決定する決定関数に含まれるカーネル関数のうち、前記評価度が前記設定値より大きい前記第１評価対象及び前記第２評価対象に対応するカーネル関数に１未満の倍率値をかけて前記特徴量ベクトルの差分を前記第１分離面に近づける
付記２に記載の情報処理装置。
【０１９０】
（付記５）  前記演算部は、
前記評価度が前記設定値より大きい前記第１評価対象及び前記第２評価対象について用意された前記特徴量ベクトル及び前記評価値を含む第１のサンプルセットと、
前記評価度が前記設定値より小さい前記第１評価対象及び前記第２評価対象について用意された前記特徴量ベクトル及び前記評価値を含む第２のサンプルセットと、
前記第１評価対象に対する前記出力値と前記第２評価対象に対する前記出力値との差分を出力する差分評価関数と、
を利用し、
前記第１のサンプルセットについて前記差分評価関数から得られる差分の分布と、前記第２のサンプルセットについて前記差分評価関数から得られる差分の分布とが設定距離より大きく分離されるように前記倍率値を設定する
付記４に記載の情報処理装置。
【０１９１】
（付記６）  前記演算部は、前記第１評価対象の評価と前記第２評価対象の評価とが同程度であることを示す前記評価度を考慮し、前記第１評価対象及び前記第２評価対象の特徴量ベクトルと前記評価値とを用いた学習により、前記第１評価対象の評価と前記第２評価対象の評価とが同程度である場合と、前記第１評価対象又は前記第２評価対象の評価が高い場合とを分離する第２分離面を決定する
付記２又は４に記載の情報処理装置。
【０１９２】
（付記７）  前記演算部は、
前記第１評価対象の評価と前記第２評価対象の評価とが同程度であることを示す前記評価度に対応する前記第１評価対象及び前記第２評価対象について、用意された前記特徴量ベクトル及び前記評価値を含む第３のサンプルセットを利用し、
前記第１のサンプルセットについて前記差分評価関数から得られる差分の分布と、前記第２のサンプルセットについて前記差分評価関数から得られる差分の分布と、前記第３のサンプルセットについて前記差分評価関数から得られる差分の分布とが設定距離より大きく分離されるように前記倍率値を設定する
付記５に記載の情報処理装置。
【０１９３】
（付記８）  第１評価対象を基準とする第２評価対象への評価の高低を表す評価値と、前記評価の高低の度合いを表す評価度と、前記第１評価対象及び前記第２評価対象の特徴量ベクトルとを記憶する記憶部から、前記評価値、前記評価度、及び前記特徴量ベクトルの情報を取得可能なコンピュータが、
前記第１評価対象及び前記第２評価対象の特徴量ベクトルと前記評価値とを用いた学習により、任意の評価対象から得られる特徴量ベクトルを入力とし、当該任意の評価対象について評価の高さを表す出力値を出力する評価器を生成する処理を実行し、
前記評価器を生成する処理の中で、前記評価度に応じて前記評価器の出力への影響を強く反映させるように学習を行う
評価器の構築方法。
【０１９４】
（付記９）  第１評価対象を基準とする第２評価対象への評価の高低を表す評価値と、前記評価の高低の度合いを表す評価度と、前記第１評価対象及び前記第２評価対象の特徴量ベクトルとを記憶する記憶部から、前記評価値、前記評価度、及び前記特徴量ベクトルの情報を取得可能なコンピュータに、
前記第１評価対象及び前記第２評価対象の特徴量ベクトルと前記評価値とを用いた学習により、任意の評価対象から得られる特徴量ベクトルを入力とし、当該任意の評価対象について評価の高さを表す出力値を出力する評価器を生成する
処理を実行させるプログラムであり、
前記評価器を生成する処理の中で、前記評価度に応じて前記評価器の出力への影響を強く反映させるように学習を行う
プログラム。
【０１９５】
（付記１０）  前記コンピュータが、カーネル空間を用いた分離面の学習に基づいて前記評価器を生成し、当該学習の際に、前記評価度が設定値より大きい前記第１評価対象及び前記第２評価対象について、前記カーネル空間における前記特徴量ベクトルの差分を、前記第１評価対象の評価が高い場合と前記第２評価対象の評価が高い場合とを分離する第１分離面に近づける
付記８に記載の評価器の構築方法。
【０１９６】
（付記１１）  前記コンピュータが、前記第１評価対象の特徴量ベクトルと前記第２評価対象の特徴量ベクトルとの差分である差分ベクトルを前記評価度が大きい場合に短縮し、前記差分ベクトルと前記評価値とを用いた学習により前記評価器を生成する
付記９に記載の評価器の構築方法。
【０１９７】
（付記１２）  前記コンピュータが、前記第１分離面を決定する決定関数に含まれるカーネル関数のうち、前記評価度が前記設定値より大きい前記第１評価対象及び前記第２評価対象に対応するカーネル関数に１未満の倍率値をかけて前記特徴量ベクトルの差分を前記第１分離面に近づける
付記１１に記載の評価器の構築方法。
【０１９８】
（付記１３）  前記コンピュータが、
前記評価度が前記設定値より大きい前記第１評価対象及び前記第２評価対象について用意された前記特徴量ベクトル及び前記評価値を含む第１のサンプルセットと、
前記評価度が前記設定値より小さい前記第１評価対象及び前記第２評価対象について用意された前記特徴量ベクトル及び前記評価値を含む第２のサンプルセットと、
前記第１評価対象に対する前記出力値と前記第２評価対象に対する前記出力値との差分を出力する差分評価関数と、
を利用し、
前記第１のサンプルセットについて前記差分評価関数から得られる差分の分布と、前記第２のサンプルセットについて前記差分評価関数から得られる差分の分布とが設定距離より大きく分離されるように前記倍率値を設定する
付記１２に記載の評価器の構築方法。
【０１９９】
（付記１４）  前記コンピュータが、前記第１評価対象の評価と前記第２評価対象の評価とが同程度であることを示す前記評価度を考慮し、前記第１評価対象及び前記第２評価対象の特徴量ベクトルと前記評価値とを用いた学習により、前記第１評価対象の評価と前記第２評価対象の評価とが同程度である場合と、前記第１評価対象又は前記第２評価対象の評価が高い場合とを分離する第２分離面を決定する
付記１０又は１２に記載の評価器の構築方法。
【０２００】
（付記１５）  前記コンピュータが、
前記第１評価対象の評価と前記第２評価対象の評価とが同程度であることを示す前記評価度に対応する前記第１評価対象及び前記第２評価対象について、用意された前記特徴量ベクトル及び前記評価値を含む第３のサンプルセットを利用し、
前記第１のサンプルセットについて前記差分評価関数から得られる差分の分布と、前記第２のサンプルセットについて前記差分評価関数から得られる差分の分布と、前記第３のサンプルセットについて前記差分評価関数から得られる差分の分布とが設定距離より大きく分離されるように前記倍率値を設定する
付記１３に記載の評価器の構築方法。
【０２０１】
（付記１６）  付記９に記載のプログラムが記録された、コンピュータにより読取り可能な記録媒体。
【符号の説明】
【０２０２】
１０  情報処理装置
１１  記憶部
１２  演算部
Ｅｖ  評価値
Ｄｇ  評価度
ｖ１、ｖ２、ｖ３、ｖ４  差分
Ｂ１  第１分離面
Ａ  第１評価対象
Ｂ  第２評価対象
【図１】
2015187796.tif 000003
【図２】
2015187796.tif 000004
【図３】
2015187796.tif 000005
【図４】
2015187796.tif 000006
【図５】
2015187796.tif 000007
【図６】
2015187796.tif 000008
【図７】
2015187796.tif 000009
【図８】
2015187796.tif 000010
【図９】
2015187796.tif 000011
【図１０】
2015187796.tif 000012
【図１１】
2015187796.tif 000013
【図１２】
2015187796.tif 000014
【図１３】
2015187796.tif 000015
【図１４】
2015187796.tif 000016
【図１５】
2015187796.tif 000017
【図１６】
2015187796.tif 000018
【図１７】
2015187796.tif 000019
【図１８】
2015187796.tif 000020
【図１９】
2015187796.tif 000021