(57)【要約】【課題】鑑賞したコンテンツから受ける人間の深層心理に基づく印象を高い精度で推定するための機械学習で用いる教師データを、容易に数多く取得することができるコンテンツ評価データ取得支援システムを提供することを目的とする。【解決手段】本発明は、コンテンツを表示するコンテンツ提示部と、評価項目をコンテンツの鑑賞の妨げにならないように評価者に対して提示し、評価者に対してコンテンツの評価レベルの範囲を、視覚以外の少なくとも聴覚あるいは触覚を含む感覚機能に基づき提示する評価情報提示部と、提示された評価レベルの範囲から、評価者が選択する、コンテンツの鑑賞で受けた印象の評価レベルを入力する評価レベル入力部と、コンテンツと、当該コンテンツに評価者が受けた評価レベルとの組を教師データとする教師データ生成部とを備える。【選択図】図１
2019133455.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを表示するコンテンツ提示部と、
評価項目を前記コンテンツの鑑賞の妨げにならないように評価者に対して提示し、評価者に対して前記コンテンツの評価レベルの範囲を、視覚以外の少なくとも聴覚あるいは触覚を含む感覚機能に基づき提示する評価情報提示部と、
前記提示された評価レベルの範囲から、評価者が選択する、前記コンテンツの鑑賞で受けた印象の評価レベルを入力する評価レベル入力部と、
前記コンテンツと、当該コンテンツに前記評価者が受けた前記評価レベルとの組を教師データとする教師データ生成部と
を備えることを特徴とする教師データ取得支援システム。
【請求項２】
前記コンテンツ提示部がヘッドマウントディスプレイを用いて構成されている
ことを特徴とする請求項１に記載の教師データ取得支援システム。
【請求項３】
前記評価者が前記コンテンツに対する前記評価レベルを調整する操作情報を入力する評価レベル操作部
をさらに備えることを特徴とする請求項１または請求項２に記載の教師データ取得支援システム。
【請求項４】
前記評価レベルが前記聴覚が感じる音波の周波数によって示されており、
前記評価情報提示部が、
前記評価レベルの範囲を、所定の範囲の周波数の音波の範囲として提示し、
前記評価レベル入力部が、
前記評価者が前記コンテンツの鑑賞に対して選択した前記音波の前記周波数を、前記評価者の前記コンテンツに対する前記評価レベルとする
ことを特徴とする請求項１から請求項３のいずれか一項に記載の教師データ取得支援システム。
【請求項５】
前記コンテンツ提示部が、
前記コンテンツを提示する毎、または前記コンテンツに対する前記評価項目を提示する毎に、直前のコンテンツの印象をキャンセルする印象キャンセル画像を一定時間表示させる
ことを特徴とする請求項１から請求項４のいずれか一項に記載の教師データ取得支援システム。
【請求項６】
前記コンテンツ提示部が、
前記評価者に対してランダムな順番で、前記コンテンツを提示する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の教師データ取得支援システム。
【請求項７】
コンテンツ提示部が、コンテンツを表示するコンテンツ表示過程と、
評価情報提示部が、評価項目を前記コンテンツの鑑賞の妨げにならないように評価者に対して提示し、評価者に対して前記コンテンツの評価レベルの範囲を、視覚以外の少なくとも聴覚あるいは触覚を含む感覚機能に基づき提示する評価情報提示過程と、
評価レベル入力部が、前記提示された評価レベルの範囲から、評価者が選択する、前記コンテンツの鑑賞で受けた印象の評価レベルを入力する評価レベル入力過程と、
教師データ生成部が、前記コンテンツと、当該コンテンツに前記評価者が受けた前記評価レベルとの組を教師データとする教師データ生成過程と
を含むことを特徴とする教師データ取得支援方法。
【請求項８】
コンピュータを、
コンテンツを表示するコンテンツ提示手段、
評価項目を前記コンテンツの鑑賞の妨げにならないように評価者に対して提示し、評価者に対して前記コンテンツの評価レベルの範囲を、視覚以外の少なくとも聴覚あるいは触覚を含む感覚機能に基づき提示する評価情報提示手段、
前記提示された評価レベルの範囲から、評価者が選択する、前記コンテンツの鑑賞で受けた印象の評価レベルを入力する評価レベル入力手段、
前記コンテンツと、当該コンテンツに前記評価者が受けた前記評価レベルとの組を教師データとする教師データ生成手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツを鑑賞した人間が有する印象及び感覚などの人間の深層心理に基づく情報を得て、機械学習における教師データを取得する教師データ取得支援システム、教師データ取得支援方法及びプログラムに関する。
【背景技術】
【０００２】
近年、機械学習は人工知能の一種であり、所定の学習結果として、入力されるデータ集合に対応し、その特徴に応じた回答を推定する機械学習モデルを生成することができる。
機械学習は、教師有り機械学習と教師無し学習とに分類されている。教師無し学習は、ユーザが入力した入力データのみを利用した学習が行われる。
一方、教師有り学習は、入力データとこの入力データに対応する回答データとからなる教師データを用いた学習を行う（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６００８０４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した教師無し学習及び教師有り学習のいずれを行う場合においても、機械学習モデルは、教師データの数が多ければ多いほど、入力データに基づき推定する回答の精度が向上する。
特許文献１は、画像中における群集状態を認識するための識別器の辞書を機械学習する際に、コンピュータによる画像処理により、多くの群集パッチの画像とこの群集パッチに対する教師ラベルとの組合わせを生成し、簡易に多くの教師データを作成している。
【０００５】
一方、風景あるいは部屋の内装などの観察画像などのコンテンツを入力データとして、このコンテンツを鑑賞した人間の有する印象あるいは感覚を、機械学習により生成した機械学習モデル推定したい場合がある。
この機械学習を行う際には、色彩や形状などが異なる画像などのコンテンツを鑑賞することで人間の各々が有する印象あるいは感覚の情報を、上記コンテンツを入力データとして推定される教師ラベルとした教師データが必要となる。
【０００６】
しかしながら、特許文献１のように、画像処理した上記群集パッチに対して、単純な教師ラベルを付加する処理では、人間の深層心理に基づく、色彩や形状などが異なる観察画像などのコンテンツを鑑賞した際の人間の有する印象あるいは感覚を示す教師ラベルを生成することができない。
したがって、特許文献１においては、コンテンツを鑑賞した人間の有する印象あるいは感覚を、機械学習モデルを生成する際における機械学習を行わせるための教師データを多量に生成することができない。
【０００７】
このため、コンテンツに対応する人間の深層心理に基づく教師ラベルを生成するためには、複数の評価者を準備し、この評価者に対してコンテンツを鑑賞させ、評価者が鑑賞したコンテンツに対して抱く印象及び感覚を取得する作業を行う必要がある。
また、推定精度の良い機械学習モデルを生成するためには、コンテンツに対応する人間の深層心理に基づく印象及び感覚を多くの評価者から正確に取得する必要があり、コンテンツを鑑賞し、このコンテンツの各々に対する印象及び感覚を、コンテンツから視線を移して自身が記録していくためには時間が非常にかかることになる。
したがって、コンテンツの鑑賞における人間の深層心理に基づく教師ラベルを生成するために時間を有するため、推定精度の高い機械学習モデルを生成するため教師データを、多く取得することは容易ではない。
【０００８】
本発明は、このような事情に鑑みてなされたもので、コンテンツを鑑賞することで、このコンテンツから受ける人間の深層心理に基づく印象を高い精度で推定するための機械学習で用いる教師データを、容易に数多く取得することができる教師データ取得支援システム及び教師データ取得支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明は上述した課題を解決するためになされたもので、本発明の教師データ取得支援システムは、コンテンツを表示するコンテンツ提示部と、評価項目を前記コンテンツの鑑賞の妨げにならないように評価者に対して提示し、評価者に対して前記コンテンツの評価レベルの範囲を、視覚以外の少なくとも聴覚あるいは触覚を含む感覚機能に基づき提示する評価情報提示部と、前記提示された評価レベルの範囲から、評価者が選択する、前記コンテンツの鑑賞で受けた印象の評価レベルを入力する評価レベル入力部と、前記コンテンツと、当該コンテンツに前記評価者が受けた前記評価レベルとの組を教師データとする教師データ生成部とを備えることを特徴とする。
【００１０】
本発明の教師データ取得支援システムは、前記コンテンツ提示部がヘッドマウントディスプレイを用いて構成されていることを特徴とする。
【００１１】
本発明の教師データ取得支援システムは、前記評価者が前記コンテンツに対する前記評価レベルを調整する操作情報を入力する評価レベル操作部をさらに備えることを特徴とする。
【００１２】
本発明の教師データ取得支援システムは、前記評価レベルが前記聴覚が感じる音波の周波数によって示されており、前記評価情報提示部が、前記評価レベルの範囲を、所定の範囲の周波数の音波の範囲として提示し、前記評価レベル入力部が、前記評価者が前記コンテンツの鑑賞に対して選択した前記音波の前記周波数を、前記評価者の前記コンテンツに対する前記評価レベルとすることを特徴とする。
【００１３】
本発明の教師データ取得支援システムは、前記コンテンツ提示部が、前記コンテンツを提示する毎、または前記コンテンツに対する前記評価項目を提示する毎に、直前のコンテンツの印象をキャンセルする印象キャンセル画像を一定時間表示させることを特徴とする。
【００１４】
本発明の教師データ取得支援システムは、前記コンテンツ提示部が、前記評価者に対してランダムな順番で、前記コンテンツを提示することを特徴とする。
【００１５】
本発明の教師データ取得支援方法は、コンテンツ提示部が、コンテンツを表示するコンテンツ表示過程と、評価情報提示部が、評価項目を前記コンテンツの鑑賞の妨げにならないように評価者に対して提示し、評価者に対して前記コンテンツの評価レベルの範囲を、視覚以外の少なくとも聴覚あるいは触覚を含む感覚機能に基づき提示する評価情報提示過程と、評価レベル入力部が、前記提示された評価レベルの範囲から、評価者が選択する、前記コンテンツの鑑賞で受けた印象の評価レベルを入力する評価レベル入力過程と、教師データ生成部が、前記コンテンツと、当該コンテンツに前記評価者が受けた前記評価レベルとの組を教師データとする教師データ生成過程とを含むことを特徴とする。
【００１６】
本発明のプログラムは、コンピュータを、コンテンツを表示するコンテンツ提示手段、評価項目を前記コンテンツの鑑賞の妨げにならないように評価者に対して提示し、評価者に対して前記コンテンツの評価レベルの範囲を、視覚以外の少なくとも聴覚あるいは触覚を含む感覚機能に基づき提示する評価情報提示手段、前記提示された評価レベルの範囲から、評価者が選択する、前記コンテンツの鑑賞で受けた印象の評価レベルを入力する評価レベル入力手段、前記コンテンツと、当該コンテンツに前記評価者が受けた前記評価レベルとの組を教師データとする教師データ生成手段として機能させるためのプログラムである。
【発明の効果】
【００１７】
この発明によれば、コンテンツを鑑賞することで、このコンテンツから受ける人間の深層心理に基づく印象を高い精度で推定するための機械学習で用いる教師データを、容易に数多く取得することができ、かつ評価者が自身の上記印象の強度を、認知可能な感覚に対する変化（例：音の周波数）として、自身の評価をフィードバックにより確認しつつ、リアルタイムに入力して評価項目に対する回答とするため、単一回の回答方法よりも、より高い精度で評価者のコンテンツに対する深層心理に基づく印象の強度を取得できる教師データ取得支援システム、教師データ取得支援方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態による教師データ取得支援サーバを用いた教師データ取得支援システムの構成例を示す図である。
【図２】評価画像データベース１０６における評価画像データテーブルの構成例を示す図である。
【図３】評価情報データベース１０７における評価情報に関するデータテーブルの構成例を示す図である。
【図４】教師データ・データベース１０８における評価者回答レベルテーブルの構成例を示す図である。
【図５】本実施形態の教師データ取得支援サーバ１０における教師データの生成処理の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
本発明は、所定のジャンルの空間の画像（風景画像、室内画像、インテリア画像、商店の店頭画像、居室内装画像など）を入力することにより、この画像を鑑賞した際における人間の評価（人間が深層心理に基づいて受ける感覚及び感情などの心理に与える印象）のレベルを推定する機械学習モデルの学習に用いる教師データの取得を支援する教師データ取得支援システムである。すなわち、本発明は、所定のジャンルの画像と同様なジャンルの評価画像を評価者に対して鑑賞させ、この評価画像に対する評価者の評価画像の各々の評価項目（質問項目）における印象の評価のレベル（以下、評価レベル）を取得し、評価画像と評価者の評価とを含む教師データを生成する。評価レベルとは、評価画像を鑑賞した際、評価者が評価項目に対して評価画像に対して有する印象の強度を示すものである。例えば、評価項目が「美しい風景か？」であれば、評価者は、評価画像が「美しい風景」と強く感じる印象を受けた場合、評価レベルを高くし、一方、「美しい風景」とあまり感じない印象を受けた場合、評価レベルを低くする。
【００２０】
ここで、本発明は、評価画像を鑑賞した評価者の評価項目における印象の評価レベルを、後述するように、人間の五感における視覚以外の感覚機能、例えば評価者の聴覚、触覚などに基づいて得られる構成となっている。このため、評価者が評価画像から目を離すことなく、評価画像における所定の評価項目に対する評価を行うことが可能であり、印象に対してノイズとなる評価画像以外の情報を視界に入れることがないため、評価画像の各々における複数の評価項目に対する評価が高速に行え、かつ評価者の評価レベルの精度を向上させることができる。
【００２１】
以下、図面を参照して、本発明の一実施形態について説明する。図１は、本発明の一実施形態による教師データ取得支援サーバを用いた教師データ取得支援システムの構成例を示す図である。図１において、本実施形態における教師データ取得支援システム１は、教師データ取得支援サーバ１０、制御端末１１、ヘッドマウントディスプレイ１２、スピーカ１３、データ入力端末１４の各々を備えている。本実施形態においては、評価における評価対象のコンテンツとして画像（すなわち、評価画像）を用い、評価者の聴覚に基づいて、評価画像に対する評価項目の各々の印象の評価レベルを入力する構成と例として説明している。
【００２２】
教師データ取得支援サーバ１０は、評価画像を上記ヘッドマウントディスプレイ１２に対して供給し、供給した評価画像とデータ入力端末１４から入力される印象の評価レベルとから、機械学習に用いる教師データを生成する。
制御端末１１は、教師データ取得支援サーバ１０が評価者２００に対して評価画像を提示し、教師データを生成するための処理を制御するため、管理者が制御データを教師データ取得支援サーバ１０に対して入力する端末である。
【００２３】
ヘッドマウントディスプレイ１２は、評価者２００が頭部に装着し、教師データ取得支援サーバ１０から供給される評価画像を表示部に表示する。評価者２００は、表示部に表示された評価画像を鑑賞する。
スピーカ１３は、教師データ取得支援サーバ１０が評価者に通知する、評価画像に対する評価項目（後述する評価画像質問情報であり、例えば、開放性がある、洗練されている、明るい、暗い、華やかなど）の音声情報と、評価項目において評価者が受ける印象の評価レベルを入力する場合の評価レベルを周波数の音で示す音情報（音信号）とを、空間に音として放射する。
【００２４】
データ入力端末１４は、評価者２００が評価画像に対する評価レベルを操作する評価レベル操作部であり、例えば、マウスなどのポインティングデバイスを用いた評価レベル入力装置であり、評価者２００が評価画像を鑑賞して、鑑賞した評価画像に対する評価項目毎における評価者の受ける印象の評価レベルに対応して、聴覚で認識する音の周波数を操作する操作情報を入力し、かつ評価者２００が評価レベルを決定する操作を行い入力する装置である。データ入力端末１４は、スピーカ１３から通知される音信号の周波数が、評価者２００が自身の評価レベルに対応する周波数とする操作情報となった際に、その音信号の周波数が評価決定ボタン（例えば、マウスのボタン）を評価者２００がクリックすることにより決定信号を出力する。
【００２５】
上記教師データ取得支援サーバ１０は、制御部１０１、コンテンツ提示部１０２、評価情報提示部１０３、評価レベル入力部１０４、教師データ生成部１０５、評価画像データベース１０６、評価情報データベース１０７及び教師データ・データベース１０８の各々を備えている。
制御部１０１は、制御端末１１から評価画像に対して評価者２００の受ける印象の評価レベルを取得する処理の制御信号が供給された場合、評価者２００に対する評価画像の提示などの処理の実行を開始する制御を行う。
【００２６】
コンテンツ提示部１０２は、評価画像データベース１０６から評価画像を読み出し、読み出した評価画像をヘッドマウントディスプレイ１２に対して出力する。
図２は、評価画像データベース１０６における評価画像データテーブルの構成例を示す図である。本実施形態においては、例えば、画像のジャンル毎に評価画像データテーブルが設けられている。
評価画像テーブルには、レコード毎に、評価画像識別情報と、評価画像インデックスとの欄が設けられている。評価画像識別情報は、評価画像の各々を識別するための識別情報である。評価画像インデックスは、評価画像データベース１０６内の画像データの記憶領域における評価画像のデータが書き込まれている領域のアドレスを示す情報である。
【００２７】
コンテンツ提示部１０２は、例えば、上記評価画像データテーブルのレコードの最上段から最下段に向かって、配列順の順番に評価画像インデックスを読み出し、ヘッドマウントディスプレイ１２に対して出力する。
また、コンテンツ提示部１０２は、評価画像データテーブルの配列順に読み出すのではなく、例えば、複数の読み出し順の読み出しパターンを予め用意し、評価者２００毎に読み出しパターンを変えて、あるいは読み出す順番をランダムに評価画像のデータを読み出す構成としても良い。これにより、評価者２００の各々における同一の評価画像に対する評価の順番が異ならせて、ランダムな順番で提示した評価画像の評価を評価者の各々に行わせることができ、評価者２００の全員における前後の他の評価画像の印象の影響を排除して、各評価画像に対する評価者２００の受ける評価レベルの平均化が行える。
【００２８】
また、評価画像テーブルには、印象キャンセル画像インデックスが付加されている。この印象キャンセル画像インデックスは、画像データの記憶領域における印象キャンセル画像のデータが書き込まれている領域のアドレスを示す情報である。
印象キャンセル画像は、直前に鑑賞していた評価画像の印象を除去するため、例えば、黒（すなわち、何も画像を表示しない状態）あるいは白などの無地の画像である。
コンテンツ表示部１０２は、印象キャンセル画像を、自身が評価画像を提示する毎、あるいは評価情報提示部１０３が質問内容を提示する毎のいずれかに提示する。
【００２９】
図１に戻り、評価情報提示部１０３は、評価情報データベース１０７から評価画像に対する評価を行う際の評価情報（評価項目及び後述する評価レベルの説明）を読み出し、例えば、読み出した評価情報をスピーカ１３に対して出力する。
図３は、評価情報データベース１０７における評価情報に関するデータテーブルの構成例を示す図である。本実施形態においては、例えば、画像のジャンル毎に評価情報に関するデータテーブルが設けられている。
【００３０】
図３（ａ）は、評価情報データベース１０７の評価情報に関するデータテーブルにおける評価画像質問情報テーブルの構成例を示す。
評価画像質問情報テーブルには、レコード毎に、評価画像識別情報と、この評価画像に対する質問を示す複数の評価項目の内容を評価者２００に通知する評価画像質問情報（評価画像質問情報＃１、＃２、＃３、…）との欄が設けられている。評価画像識別情報は、すでに説明した評価画像データベース１０６の評価画像データテーブルにおける評価画像識別情報と同様であり、評価画像の各々を識別するための識別情報である。評価画像質問情報の各々は、評価画像を鑑賞した評価者２００の評価レベルを得るための評価項目それぞれであり、例えば、開放性があるか？、洗練されているか？、明るいか？、暗いか？、華やかか？、美しいか？、騒がしいか？などの評価画像に対して評価者２００が受ける印象を問うための質問内容を示す。
【００３１】
図３（ｂ）は、評価情報データベース１０７の評価情報に関するデータテーブルにおける評価画像評価レベルテーブルの構成例を示す。
評価画像評価レベルテーブルには、レコード毎に、中央評価周波数と、下限評価周波数と、上限評価周波数との各々の欄が設けられている。
下限評価周波数は、鑑賞した評価画像の質問に対する評価レベルを示す周波数であり、評価項目に対して評価者２００が受けた印象が最も低いレベルであると評価者２００が認識した際に回答する評価レベルの周波数である。
上限評価周波数は、鑑賞した評価画像の質問に対する評価レベルを示す周波数であり、評価項目に対して評価者２００が受けた印象が最も高いレベルであると評価者２００が認識した際に回答する評価レベルの周波数である。
中央評価周波数は、鑑賞した評価画像の質問に対する評価レベルを示す周波数であり、質問に対して評価者２００が受けた印象が上述した上限周波数及び下限周波数の各々に対して中央のレベルであると評価者２００が認識した際に回答する評価レベルの周波数である。
【００３２】
評価情報提示部１０３は、評価画像が表示された際、評価情報データベース１０７の評価画像質問情報テーブルから、表示された評価画像に対する質問を読み出し、スピーカ１３を介して、評価者２００に質問内容を通知する。このとき、評価情報提示部１０３は、評価情報データベース１０７の評価画像評価レベルテーブルから、評価レベルを示す下限周波数、中央評価周波数及び上限評価周波数の各々を順次読み出し、質問に対して評価者２００が評価結果として選択する評価レベルの説明を行う。
【００３３】
例えば、評価情報提示部１０３は、最初に評価レベルが中央である中央周波数の音信号を、中央の評価レベルであることを示す通知の後にスピーカ１３を介して評価者２００に対して通知する。次に、評価情報提示部１０３は、評価レベルが下限である下限周波数の音信号を、最低の評価レベルであることを示す通知の後にスピーカ１３を介して評価者２００に対して通知する。評価情報提示部１０３は、最後に評価レベルが最高である上限周波数の音信号を、最高の評価レベルであることを示す通知の後にスピーカ１３を介して評価者２００に対して通知する。
【００３４】
図１に戻り、評価レベル入力部１０４は、評価者２００がデータ入力端末１４を操作して入力した操作情報に基づいた評価レベルに対する音情報を通知する上記評価期間において、評価者２００がデータ入力端末１４を介して入力する評価結果の周波数を示す操作情報を検出し、決定信号が供給された時点における操作情報に対応する周波数を求め、評価者２００の評価レベルに決定する。このとき、評価レベル入力部１０４は、自身に備えられた、操作情報と周波数との対応を示す操作情報テーブルを参照し、入力された操作情報に対応する周波数を、評価者２００の選択した評価レベルとする。また、上記操作テーブルにおける周波数は下限周波数及び上限評価周波数の範囲に対応して、周波数範囲が決定されている。
【００３５】
データ入力端末１４は、すでに述べたように、評価情報提示部１０３が提示した評価情報の下限評価周波数及び上限評価周波数の範囲で、評価レベルとしての周波数を調整する操作情報を、評価レベル入力部１０４に対して出力する操作が行える。このとき、データ入力端末１４であるマウスを左方向に移動させた場合、下限評価周波数方向に周波数が変化する操作情報となり、一方、右方向移動させた場合、上限評価周波数方向に周波数が変化する操作情報となる。評価者２００は、データ入力端末１４を操作することにより、評価画像の質問内容に応じた評価結果の評価レベルに対応した操作情報を入力し、また、マウスのボタンをクリックすることにより、操作情報を決定する決定信号を入力する。
【００３６】
これにより、評価レベル入力部１０４は、スピーカ１３を介して、評価者２００がデータ入力端末１４を操作して入力している評価レベルの操作情報に対応する周波数の音信号を通知する。これにより、評価者２００は、自身の評価レベルとして調整して決定した操作情報により、自身が評価レベルとして選択する周波数がフィードバックされて、下限評価周波数及び上限評価周波数の間のどのレベルかを容易に認識することができる。
このとき、評価レベル入力部１０４は、データ入力端末１４により評価レベルが選択された際、評価情報提示部１０３から評価画像質問情報の番号（＃１、＃２、＃３…）を読み込み、この評価画像質問情報の番号と、評価レベルとして評価者２００が選択した周波数との各々を、教師データ生成部１０５に対して出力する。
【００３７】
教師データ生成部１０５は、評価レベル入力部１０４から供給される評価画像質問情報の番号及び音情報の周波数の各々に基づいて、教師データ・データベース１０８における評価者回答レベルテーブルに対して、評価画像における評価項目に対して評価者２００の受けた印象の評価レベルを書き込む。
【００３８】
図４は、教師データ・データベース１０８における評価者回答レベルテーブルの構成例を示す図である。評価者回答レベルテーブルは、評価画像毎に設けられ、評価画像識別情報を示す欄が設けられている。
評価者回答レベルテーブルには、レコード毎に、評価者識別情と、評価画像回答情報（評価画像回答情報＃１、＃２、＃３、…）との欄が設けられている。評価者識別情は、評価者２００の各々を識別するための識別情報である。評価画像回答情報は、評価画像質問情報毎に設けられており、評価者２００が評価画像を鑑賞して、質問に対応して評価画像に対して受けた（認識した）印象の評価レベルである。
また、評価者回答レベルテーブルには、評価画像回答情報の欄の上部に、評価画像回答情報の番号の各々に対応する評価画像質問情報の番号の情報（評価画像質問情報＃１、＃２、＃３、…）が示されている。
【００３９】
教師データ生成部１０５は、評価レベル入力部１０４から供給される音情報の周波数を、例えば「０」から「１」の間に規格化することで、評価レベルに変換する。すなわち、教師データ生成部１０５は、下限周波数が「０」となり、中間周波数が「０．５」となり、上限周波数が「１」となるように、音情報の周波数を規格化して評価レベルとする。
【００４０】
また、本実施形態においては、評価者２００がデータ入力端末１４を用いて、自身の評価画像に対する評価レベルを選択する構成として説明した。
他の構成として、評価情報提示部１０３は、評価者２００の評価画像に対する評価期間において、下限周波数から上限周波数に向かって、周波数を徐々に増加させながら音信号をスピーカ１３を介して評価者２００に対して通知する構成としても良い。この場合、評価者２００は、徐々に増加する周波数において、自身の評価レベルに対応する周波数の音信号が提示されている時点に、データ入力端末１４によりその周波数を自身の評価レベルとして選択して決定する構成としても良い。このとき、評価レベル入力部１０４は、評価者２００が周波数を決定したことを検出した際、評価情報提示部１０３から評価画像質問情報の番号（＃１、＃２、＃３…）及び音情報の周波数を読み込み、教師データ生成部１０５に対して出力する。
【００４１】
次に、図５を用いて、本実施形態の教師データ取得支援サーバ１０における教師データの生成の処理の流れを説明する。図５は、本実施形態の教師データ取得支援サーバ１０における教師データの生成処理の動作例を示すフローチャートである。
ステップＳ１：  評価者２００は、ヘッドマウントディスプレイを頭部に装着し、評価画像において評価項目に対して自身が受けた印象の評価レベルを取得する評価の準備を行う。
そして、管理者が、制御端末１１を介して、教師データ取得支援サーバ１０に対して、教師データを生成するためのアプリケーションを起動させる。
これにより、制御部１０１は、スピーカ１３を介して、評価者２００に対して評価を開始することを、音声信号（あるいは所定の音信号）により通知する。
【００４２】
ステップＳ２：  次に、評価情報提示部１０３は、評価情報データベース１０７における評価画像評価レベルテーブルを参照し、評価レベルを示す中間周波数、中心評価周波数及び上限評価周波数の各々を読み出す。
そして、評価情報提示部１０３は、評価レベルが中間である中間周波数の音信号と、評価レベルが下限である中間周波数の音信号と、評価レベルが最高である上限周波数の音信号との各々を、それぞれ評価レベルの説明を行いつつ評価者２００に対して、評価画像の評価情報として通知する。
【００４３】
ステップＳ３：  コンテンツ提示部１０２は、評価画像データベース１０６における評価画像データテーブルから、印象キャンセル画像インデックスを読み出す。また、コンテンツ提示部１０２は、評価画像データベース１０６における画像データが記憶された領域から、印象キャンセル画像インデックスのアドレスに基づき、印象キャンセル画像のデータを読み出す。
そして、コンテンツ提示部１０２は、印象キャンセル画像のデータをヘッドマウントディスプレイ１２に出力する。
これにより、評価者２００は、ヘッドマウントディスプレイ１２の表示画面に表示される印象キャンセル画像の鑑賞状態となる。
【００４４】
ステップＳ４：  制御部１０１は、教師データ取得支援サーバ１０の各部に対して、評価を行う処理を開始させる制御信号を出力する。
コンテンツ提示部１０２は、評価画像データベース１０６における評価画像データテーブルから、順次、評価画像インデックスを選択して読み出す。これにより、コンテンツ提示部１０２は、評価に用いる評価画像の選択を行う。
【００４５】
ステップＳ５：  評価情報提示部１０３は、コンテンツ提示部１０２が選択した評価画像の評価画像識別情報を、コンテンツ提示部１０２から読み込む。
評価情報提示部１０３は、評価情報データベース１０７における評価画像質問情報質問テーブルを参照し、評価画像識別情報に対応した評価画像質問情報を順次読み出す。そして、評価情報提示部１０３は、読み出した評価画像質問情報の各々の評価項目の内容を、音声情報として評価者２００に対して、スピーカ１３を介して通知する。
【００４６】
ステップＳ６：  コンテンツ提示部１０２は、評価画像インデックスのアドレスに基づき、評価画像データベース１０６における画像データが記憶された領域から、評価画像のデータを読み出す。
そして、コンテンツ提示部１０２は、読み出した評価画像のデータをヘッドマウントディスプレイ１２に対して出力する。
ヘッドマウントディスプレイ１２は、コンテンツ提示部１０２から供給された評価画像を、表示画面に表示する。これにより、評価者２００は、ヘッドマウントディスプレイ１２の表示画面に表示される評価画像の鑑賞状態となる。
【００４７】
ステップＳ７：  評価者２００は、表示された評価画像に対する質問の上記評価期間において、データ入力端末１４を操作して評価レベルに対応した周波数を、入力する評価レベルのフィードバックとして、スピーカ１３から出力される音信号の周波数により自身の評価レベルを確認しつつ、評価画像を鑑賞して受けた自身の評価レベルに対応した周波数を、下限周波数から上限周波数間の周波数範囲において決定する。評価者２００が周波数を決定した際、データ入力端末１４は、評価レベル入力部１０４に対して評価が決定されたことを示す制御信号を出力する。
そして、評価レベル入力部１０４は、データ入力端末１４から出力される評価が決定されたことを示す制御信号が供給された場合、評価画像における評価項目（質問内容）に対して評価者２００が受けた印象における評価レベルを、評価者２００に対して現在通知されている音信号の周波数として入力する。
【００４８】
ステップＳ８：  評価レベル入力部１０４は、評価決定信号が供給された時点における、評価画像質問情報の番号（＃１、＃２、＃３…）及び音情報の周波数の各々を評価情報提示部１０３から読み込み、教師データ生成部１０５に対して出力する。
教師データ生成部１０５は、供給された音情報の周波数の規格化を行い、規格化の結果を評価レベルとして決定する。
そして、教師データ生成部１０５は、教師データ・データベース１０８における現在評価中の評価画像の評価画像識別情報に対応する評価者回答レベルテーブルに対し、評価画像質問情報の番号に対応する評価画像回答情報の欄に評価レベルを書き込んで記憶させる。
教師データ生成部１０５は、評価情報提示部１０３に対して、評価項目に対する評価レベルの入力が終了したことを示す終了信号を出力する。
【００４９】
ステップＳ９：  評価情報提示部１０３は、教師データ生成部１０５から終了信号が供給された場合、評価情報データベース１０７における評価画像質問情報テーブルを参照し、現在評価中の評価画像に対する評価項目に対する処理が全て終了したか否かの判定、すなわち全ての評価画像質問情報が終了したか否かの判定を行う。
このとき、評価情報提示部１０３は、評価画像質問情報テーブルにおける評価項目が全て終了した場合、処理をステップＳ１０へ進める。一方、評価情報提示部１０３は、評価画像質問情報テーブルにおける評価項目が全て終了していない場合、処理をステップＳ３へ進める。
【００５０】
ステップＳ１０：  コンテンツ提示部１０２は、評価画像データベース１０６における評価画像テーブルを参照し、当該評価画像テーブルにおける全ての評価画像を評価者２００に対して表示する処理が終了したか否かの判定を行う。
このとき、コンテンツ提示部１０２は、評価画像テーブルにおける全ての評価画像を評価者２００に対して表示する処理が終了した場合、処理をステップＳ１１へ進める。一方、コンテンツ提示部１０２は、評価画像テーブルにおける全ての評価画像を評価者２００に対して表示する処理が終了していない場合、処理をステップＳ２へ進める。
【００５１】
ステップＳ１１：  制御部１０１は、教師データの取得が終了したことを、制御端末１１の表示画面に表示し、教師データの取得の終了を管理者に対して通知する。
そして、管理者は、取得した教師データを用いた機械学習を行うことにより、評価対象の画像を入力することにより、例えば、この入力された画像に対して上述した評価項目における人間が受ける印象の評価レベルを推定する機械学習モデルを生成する。
【００５２】
また、上述した実施形態においては、評価画像の各々における評価項目に対して評価者２００が受ける印象の評価レベルを、音信号の周波数を用いて入力する構成を用いていたが、聴覚ではなく触覚を利用して、評価画像を鑑賞して没入感を維持したまま、評価項目に対して評価画像から受ける評価者２００の評価レベルを入力する構成としても良い。例えば、評価画像を鑑賞している際、アクチュエータを用いて評価者２００の皮膚に振動を与え、すなわち評価レベルを示す周波数の振動信号を与え、評価者２００が振動信号の周波数が自身の評価レベルであるときに、データ入力端末１４における評価決定ボタンを押して、自身の評価画像における評価項目に対して受ける印象の評価レベルを入力する構成としても良い。
【００５３】
また、上述した実施形態においては、評価者２００に対してヘッドマウントディスプレイ１２を装着させて評価画像を鑑賞させることで没入感を得る構成としていたが、ヘッドマウントディスプレイ１２を用いずに、遮蔽されて外部から隔絶された室内（すなわち、ヘッドマウントディスプレイ１２を頭部に装着した場合と同様に、外部と隔絶された閉空間）において、照明をせずに表示端末の表示画面を鑑賞する環境、スクリーンにプロジェクタで投影を行い評価画像を鑑賞する環境、あるいは室内の壁や天井にプロジェクションマッピングの投影を行い評価画像を鑑賞する環境により、評価者２００に対して没入感を維持した状態で評価画像を鑑賞させ、評価画像の各々における評価項目に対して評価者２００が受ける印象の評価レベルを得て、教師データを生成する構成としても良い。
【００５４】
上述したように、本実施形態によれば、評価のためのコンテンツとしての評価画像を、ヘッドマウントディスプレイ１２により評価者２００に対して提示するため、評価者２００が評価画像以外を視認することがなく、視覚に対して評価画像の他に影響を与える光が入射することを防止し、純粋にヘッドマウントディスプレイ１２の表示画面に表示される評価画像から受ける印象の評価レベルを取得する評価が行えるため、精度の高い教師データを得ることができる。
【００５５】
また、本実施形態によれば、評価画像の対する評価項目の通知を音声で行い、評価画像に対する評価項目の印象の評価レベルを、視覚以外の感覚機能である聴覚（あるいは触覚など）を用いて音信号の周波数により入力するため、視覚に与える評価画像以外の印象を排除することができ、かつヘッドマウントディスプレイを外す必要が無く、すなわち評価画像から目を離さずに没入状態を維持したまま、順次、評価画像における評価項目の各々に対して評価者２００が受ける印象それぞれの評価レベルの入力を行うことが可能となり、評価画像を鑑賞させて評価レベルを得る時間を短縮することが可能となり、容易に多くの評価者２００から教師データを得ることができ、かつ評価者２００の評価画像の鑑賞の際の没入感を維持することが可能であるため、受ける印象に対する他の影響を無くして精度の高い教師データを得ることができる。
【００５６】
また、本実施形態によれば、異なる評価画像の間に、印象キャンセル画像を挟むことにより、直前に表示された評価画像に対する印象を評価者２００の認識から排除することが可能となり、次に表示される評価画像に対する評価者２００の印象の評価に対して、直前に表示された評価画像の印象の影響を無くし、評価画像の各々の評価項目に対して取得する、評価者２００が受ける印象の評価レベルの精度を向上させ、高い精度の教師データを取得することができる。
【００５７】
また、図１に示す教師データ取得支援システムの教師データ取得支援サーバにおいて評価画像の各々における評価項目に対して評価者が受ける印象の評価レベルを取得する機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、評価画像の各々から評価項目に対して評価者が受ける印象の評価レベルを取得を行う処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００５８】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００５９】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６０】
１…教師データ取得支援システム
１０…教師データ取得支援サーバ
１１…制御端末
１２…ヘッドマウントディスプレイ
１３…スピーカ
１４…データ入力端末
１０１…制御部
１０２…コンテンツ提示部
１０３…評価情報提示部
１０４…評価レベル入力部
１０５…教師データ生成部
１０６…評価画像データベース
１０７…評価情報データベース
１０８…教師データ・データベース
２００…評価者
【図１】
2019133455.tif 000003
【図２】
2019133455.tif 000004
【図３】
2019133455.tif 000005
【図４】
2019133455.tif 000006
【図５】
2019133455.tif 000007