(57)【要約】【課題】しかしながら、上記装置は、恐れなど不快な場合であっても使用者の心拍数が上昇する場合があるので、使用差が撮影したいときに撮影できる装置ではなかった。【解決手段】画像処理装置であって、「かわいい」と感じた場合に生体に生じる心拍の条件を予め格納する条件格納部と、生体からの心拍に関する心拍情報を取得し、取得した前記心拍情報に含まれる心拍が条件格納部に格納されている条件を満たすか否かを判断する条件判断部と、条件判断部により前記条件を満たすと判断された場合に、画像に対する処理を実行する画像処理部とを備える。【選択図】図６
2015050614.tif 000002
【特許請求の範囲】
【請求項１】
「かわいい」と感じた場合に生体に生じる心拍の条件を予め格納する条件格納部と、
生体からの心拍に関する心拍情報を取得し、取得した前記心拍情報に含まれる心拍が前記条件格納部に格納されている条件を満たすか否かを判断する条件判断部と、
前記条件判断部により前記条件を満たすと判断された場合に、画像に対する処理を実行する画像処理部と
を備える画像処理装置。
【請求項２】
前記画像処理部は、前記画像に対する処理として、被写界を撮像して前記画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、
元画像に対して異なる加工条件で加工をした複数の加工画像を生成し、画像表示部に順次表示するとともに、前記処理として、前記複数の加工画像のうち、前記条件を満たすと判断された前記心拍情報を取得した時点で前記画像表示部に表示されていた加工画像の加工条件に、前記生体により選択されたことを示す指標を付与する請求項１に記載の画像処理装置。
【請求項４】
前記条件は、心拍のＲ−Ｒ間隔であって、安静時におけるＲ−Ｒ間隔を減じた値が予め定められた閾値より小さいことを含む請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記条件は、心拍のＲ−Ｒ間隔であって、安静時におけるＲ−Ｒ間隔を減じた値の時間微分値が負であって、絶対値が予め定められた閾値より大きいことを含む請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記条件はさらに、心拍のＲ−Ｒ間隔であって、安静時におけるＲ−Ｒ間隔を減じた値の分散が予め定められた閾値より小さいことを含む請求項４または５に記載の画像処理装置。
【請求項７】
前記条件格納部は、「かわいい」と感じた場合に生体に生じる、心拍とは異なる生体反応の条件をさらに予め格納し、
前記条件判断部は、前記心拍情報に加えて、生体反応に関する反応情報を生体から取得して、前記心拍および前記生体反応の条件を満たすか否かを判断する請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記生体反応は、前記生体の表情である、請求項７に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
自分撮りモードが設定されている腕時計型のカメラを用いて、使用者の心拍数が予め定められた心拍数より上昇した場合に撮像する装置が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］  特開２００４−３６１７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記装置は、恐れなど不快な場合であっても使用者の心拍数が上昇する場合があるので、使用者が撮影したいときに撮影できる装置ではなかった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、「かわいい」と感じた場合に生体に生じる心拍の条件を予め格納する条件格納部と、生体からの心拍に関する心拍情報を取得し、取得した前記心拍情報に含まれる心拍が前記条件格納部に格納されている条件を満たすか否かを判断する条件判断部と、条件判断部により条件を満たすと判断された場合に、画像に対する処理を実行する画像処理部とを備える画像処理装置を提供する。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】実験システム１００の模式図を示す。
【図２】心電図の一例を示す。
【図３】Ｒ−Ｒ間隔と個数との関係をグラフ形式で示す。
【図４】画像処理装置１２の一例を説明する図である。
【図５】画像処理装置１８を説明する図である。
【図６】画像処理装置１２の機能ブロック図を示す。
【図７】画像処理装置１２の画像処理の一例を説明するフローチャートである。
【図８】表示部に表示される画像の一例を示す。
【図９】別の画像処理装置６２を説明する図である。
【図１０】別の画像処理装置６２の表示部に表示される画像の一例を示す。
【図１１】画像処理装置６２の機能ブロック図を示す。
【図１２】マニュアルパラメータ設定処理の一例を説明するフローチャートである。
【図１３】自動パラメータ設定処理の一例を説明するフローチャートである。
【図１４】画像へ感性情報を記録する処理の一例を説明するフローチャートである。
【図１５】感性情報に基づく画像の検索処理の一例を説明するフローチャートである。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、実験システム１００の模式図を示す。実験システム１００は、映像提示用コンピュータ１０２と、プロジェクター１０４と、１００インチスクリーン１０６と、計測用コンピュータ１０８と、生体計測装置１１０とから構成される。図２は、心電図の一例を示す。図１、図２を用いて、人間の「かわいい」という感性と心拍との関係について説明する。
【０００９】
実験システム１００において、被験者１１２には、生体計測装置１１０としての心電計および脈拍計が取付されている。映像提示用コンピュータ１０２に蓄積された画像をプロジェクター１０４を用いて、１００インチスクリーン１０６に投写し、画像を提示した際の被験者１１２の生体反応を計測した。また、被験者１１２に、皮膚電気反応（Ｇａｌｖａｎｉｃ  Ｓｋｉｎ  Ｒｅｓｐｏｎｓｅ：ＧＳＲ）、呼吸数、呼吸の大きさ、筋電位、発汗、血圧、脳波計を設置して、同様に画像を提示した際の被験者１１２の生体反応を計測した。上記計測の結果より、「かわいい」という感性検知は主に、心電または脈拍によってなされることが判明している。
【００１０】
心電図は、単発では図２の左右何れか一方に示すような波形をしており、波形に各部に名称がつけられている。スパイク状に高い電位を発生するＲ波は心臓の心室が収縮するときの電位であり、信号強度が高いので検知がしやすい利点がある。ここで、連続する心拍におけるＲ波の時間間隔をＲ−Ｒ間隔と呼ぶが、Ｒ−Ｒ間隔は脈拍と同期しているので、心電計だけでなく脈拍計でも検出できる。なお、ここで定義した「心拍」「Ｒ−Ｒ間隔」は適当な測定時間における平均値であるので、正確には「平均心拍」「平均Ｒ−Ｒ間隔」であるが、簡略のため本明細書では今後「心拍」「Ｒ−Ｒ間隔」の用語を「平均心拍」「平均Ｒ−Ｒ間隔」の意味で用いる。
【００１１】
「かわいい」という感性を検知する手法として、計測開始後から心電図波形を計測し、１波形ごとにＲ波の発生時刻をミリ秒単位で計測する。ここで、計測開始後ｎ回目の心電図波形におけるＲ波の発生時刻をＴｎ（ｍｓｅｃ）、ｎ＋１回目の心電図波形におけるＲ波の発生時刻をＴｎ＋１（ｍｓｅｃ）とすると、ｎ回目のＲ−Ｒ間隔（ｍｓｅｃ）は次のように算出される。
【００１２】
Ｒ−Ｒ＝Ｔｎ＋１−Ｔｎ
【００１３】
被験者の身体的・精神的状態が一定であれば、Ｒ−Ｒ間隔も一定であるが、実験システム１００において、被験者１１２が１００インチスクリーン１０６に提示された画像に関して「かわいい」と感じる感性反応を起こした場合に、心拍数は増加しＲ−Ｒ間隔は短くなる。したがって、Ｒ−Ｒ間隔の変化量を測定することにより、被験者の「かわいい」と感じる感情・感性反応を定量的に検出できる。
【００１４】
このとき、Ｒ−Ｒ間隔の変化量はＲ−Ｒ間隔差分（ｍｓｅｃ）として以下のように定義される。ここで、Ｒ−Ｒｎはｎ回目のＲ−Ｒ間隔、Ｒ−Ｒｒｅｆは基準となるＲ−Ｒ間隔で、何も画像を見ていない安静時、あるいはランダムなパターンなどの無意味な画像を見ている場合のＲ−Ｒ間隔で、事前に測定しておく。
【００１５】
ΔＲ−Ｒ＝（Ｒ−Ｒｎ）−（Ｒ−Ｒｒｅｆ）
【００１６】
日常生活における心拍数は、成人の場合１分間に６０〜１００回程度で、Ｒ−Ｒ間隔は１０〜１７ｍｓｅｃ程度である。非特許文献１および２に記載のデータから算出すると、被験者が「かわいい」と感じた場合のΔＲ−Ｒはマイナスの方向に変動し−０．４〜−５ｍｓｅｃ程度の変化が発生する。したがってΔＲ−Ｒの検出によって、「かわいい」と感じた場合とそうでない場合は明瞭に区別が可能であり、かつ「かわいい」と感じる強さは、ΔＲ−Ｒの絶対値に比例する、あるいは正の相関があると考えることができる。
【００１７】
すなわち、上記の結果は被験者１１２の心拍測定により、見ている画像に対する被験者１１２の「かわいい」と感じる感性反応を定量検出できる。本実施形態は、このような知見に基づいてなされており、デジタルスチルカメラ・ビデオカメラにおいて静止画・動画を撮影する場合、および、画像に対する処理、例えば、分類・保存・検索・再利用をする場合に、システムとアルゴリズムにユーザーの「かわいい」と感じる感性反応を、定量的に反映させる。
【００１８】
一方、被験者１１２が「怖い」と感じた場合においても、ΔＲ−Ｒがマイナス方向に変動する。したがって、ΔＲ−Ｒがマイナス方向に変動した場合において、被験者１１２が「かわいい」と感じた場合と「怖い」と感じた場合とを切り分けて検知することが求められる。
【００１９】
図３は、Ｒ−Ｒ間隔と回数との関係をグラフ形式で示した図である。図３には、３つのプロファイル１５２、１５４、１５６が示されており、プロファイル１５２は、Ｒ−Ｒ間隔が減少する前の状態、プロファイル１５４、１５６は、Ｒ−Ｒ間隔が減少した後の状態を示す。それぞれのプロファイルは、予め定められた心拍回数におけるそれぞれのＲ−Ｒ間隔値ごとの回数をプロットしたプロファイルであり、これらのプロファイルは、Ｒ−Ｒ間隔の分散状態を示している。したがって、プロファイルがシャープなピーク形状である場合、Ｒ−Ｒ間隔の分散は小さく、プロファイルがブロードなピーク形状である場合、Ｒ−Ｒ間隔の分散は大きい。
【００２０】
Ｒ−Ｒ間隔の分散は、ネガティブ感情、ポジティブ感情に関連があり、Ｒ−Ｒ間隔の分散が小さいと、被験者１１２は、ポジティブ感情、すなわち「かわいい」と感じている場合が多いと予測される。一方、Ｒ−Ｒ間隔の分散が大きいと被験者１１２はネガティブ感情、例えば「怖い」と感じていることが予測される。したがって、Ｒ−Ｒ間隔の分散値を実験的に計測することによって、被験者１１２の「かわいい」と「怖い」とを切り分けて検知することができる。なお、Ｒ−Ｒ間隔の分散状態は標準偏差で比較できる。したがって、予め、被験者１１２に「かわいい」画像と、「怖い」画像を交互に表示させて、「かわいい」と「怖い」を切り分けることができる標準偏差を条件として設定しておき、算出された標準偏差と、条件として設定された標準偏差とを比較することで、被験者１１２の「かわいい」と感じる感性反応を検知できる。
【００２１】
なお、ここで、Ｒ−Ｒ間隔の分散に関しては、分散の分散を考慮する場合もありうる。これは、段落００１０に記載した通り、Ｒ−Ｒ間隔そのものが平均値で分散を持ちうるので、複数のＲ−Ｒ間隔の取り扱いに関しては、個々の平均Ｒ−Ｒ間隔の分散の分散を考慮する必要があるからである。
【００２２】
実際に安静状態と「かわいい」画像を提示した状態とで心拍数をそれぞれ測定した結果、安静状態においては、心拍のＲ−Ｒ間隔が１７．７ｍｓｅｃであったのに対し、「かわいい」画像を提示した状態においては、心拍のＲ−Ｒ間隔が１６．５ｍｓｅｃであり、Ｒ−Ｒ間隔は１．２ｍｓｅｃ程度減少した。なお、上記測定における標準偏差は、安静状態で０．９６ｍｓｅｃ、画像提示状態で１．２８ｍｓｅｃであった。
【００２３】
図４は、本実施形態の画像処理装置１２の一例を説明する図である。画像処理装置１２は、心拍計１４から使用者１０の生体からの心拍に関する心拍情報を取得する。画像処理装置１２は、取得した心拍情報が、画像処理装置１２に格納された「かわいい」と感じた場合に生じる心拍の条件を満足するかどうかを判断する。画像処理装置１２は、取得した心拍情報が、心拍の条件を満足すると判断した場合、被写界を撮像して画像を生成する。なお、本実施形態において、被写界の撮像は、画像処理装置１２における画像に対する処理の一例である。
【００２４】
図５は、画像処理装置１８を説明する図である。画像処理装置１８は、使用者１６の耳部に装着されて使用される。画像処理装置１８は、使用者１６の心拍を測定する心拍計を画像処理装置１８に内蔵し、使用者１６のこめかみとの密着部分に心拍計が配置されている。画像処理装置１８においても、取得した心拍情報が、「かわいい」と感じた場合に生じる心拍の条件を満足すると判断した場合、画像処理装置１８は、被写界を撮像して画像を生成する。
【００２５】
図６は、画像処理装置１２の機能ブロック図を示す。画像処理装置１２は、撮影レンズ２０と、撮像素子２２と、駆動部２４と、Ａ／Ｄ変換回路２８と、メモリ３０と、制御部３２と、メモリカードＩＦ３４と、メモリカード３６と、ＬＣＤ駆動回路３８と、表示部４０と、ＡＦセンサ４２と、操作部４４と、感性判断部５０とを有する。また、感性判断部５０は、条件格納部５２と、条件判断部５４と、画像処理部５６とを有する。
【００２６】
撮像素子２２は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子２２は、二次元的に複数の光電変換素子が配された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。
【００２７】
駆動部２４は、撮像素子２２の光電変換素子からの画像信号を読み取るべく撮像素子２２を駆動する。画像処理装置１２は、駆動部２４によりタイミング制御されて、受光面上に結像された被写界を画像信号に変換してＡ／Ｄ変換回路２８へ出力する。Ａ／Ｄ変換回路２８は、撮像素子２２が出力する画像信号をデジタル画像信号に変換してメモリ３０へ出力する。
【００２８】
制御部３２は、メモリ３０をワークスペースとして種々の画像処理を施して、画像データを生成する。制御部３２によって生成された画像データは、ＬＣＤ駆動回路３８により表示信号に変換され、表示部４０に表示される。また、メモリカードＩＦ３４に装着されているメモリカード３６に記録される。
【００２９】
ＡＦセンサ４２は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。撮像シーケンスに付随するＡＦ、ＡＥ等の各種動作は、制御部３２に制御されて実行される。例えば、制御部３２は、ＡＦセンサ４２の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。なお、撮像素子２２をＡＦセンサ４２の代わりに用いてもよく、その場合には別個のＡＦセンサ４２は設けなくてよい。
【００３０】
条件格納部５２は、「かわいい」と感じた場合に生体に生じる心拍の条件として、心拍のΔＲ−Ｒを格納する。「かわいい」と感じた場合に生体に生じる心拍のΔＲ−Ｒは、使用者１０において予め実験的に測定されて条件格納部５２に格納される。さらに、条件格納部５２には、使用者１０の「かわいい」の度合いを複数に分け、それぞれの「かわいい」度合いに対応つけたΔＲ−Ｒの絶対値の範囲も、条件格納部５２に格納されている。本実施形態において、使用者１０の「かわいい」度合いを五つに分け、それぞれの「かわいい」の度合いに対応したΔＲ−Ｒの絶対値の範囲についても予め実験的に求めて、条件格納部５２に格納されている。
【００３１】
条件判断部５４は、心拍計１４から使用者１０の心拍情報を取得する。心拍情報とは、心拍が起きた時間の情報である。条件判断部５４は、取得した心拍情報から、ΔＲ−Ｒを算出する。条件判断部５４は、算出したΔＲ−Ｒが、条件格納部５２に格納されている条件を満たすか否かを判断する。画像処理部５６は、条件判断部５４により当該条件を満たすと判断された場合に、制御部３２へ撮像信号を出力する。制御部３２は、撮像信号を取得すると、被写界を撮像して画像データを生成する。
【００３２】
操作部４４は、使用者１０からの撮像指示を受け付けて、制御部３２に当該撮像信号を入力する。制御部３２は、撮像信号を取得すると、被写界を撮像して画像データを生成する。このように、画像処理装置１２は、画像処理部５６から撮像信号が入力されることによって被写界を撮像するとともに、操作部４４から操作指示が入力されることによっても被写界を撮像できる。
【００３３】
図７は、画像処理装置１２の画像処理の一例を説明するフローチャートである。図７に示すフローチャートは、画像処理装置１２の電源が入れられ、撮像ができる状態になった場合に開始する。
【００３４】
条件判断部５４は、心拍計１４から心拍情報を取得する。条件判断部５４は、心拍情報として心拍が起きた時間の情報を取得する（Ｓ１０１）。条件判断部５４は、心拍情報を取得すると、一つ前に取得した心拍情報との時間の差をとることにより、Ｒ−Ｒ間隔を算出する。条件判断部５４は予め安静時に測定したＲ−ＲＲｅｆを上記算出値から減ずることによって、ΔＲ−Ｒを算出する。
【００３５】
条件判断部５４は、算出したΔＲ−Ｒと、条件格納部５２に格納されているΔＲ−Ｒと比較して、当該条件を満足するか判断する（Ｓ１０２）。本実施形態において条件判断部５４は、算出したΔＲ−Ｒの値が負である場合に、条件判断部５４は、取得した心拍情報が条件を満足すると判断する。
【００３６】
なお、条件判断部５４の判断には、単純な閾値比較だけでなく、「ΔＲ−Ｒの時系列データから多次元の特徴量を抽出して、機械学習によって判断する」といった処理も包含される。これは、Ｒ−Ｒ間隔の測定毎に得られた単発のΔＲ−Ｒのみでなく、時系列的に算出・記録された複数のΔＲ−Ｒのデータ列を活用することにより、精度の高い判断方法を実現することができるからである。
【００３７】
条件判断部５４は、取得した心拍情報が条件を満足すると判断した場合（Ｓ１０２：Ｙｅｓ）、条件判断部５４は、制御部３２に撮像信号を出力する（Ｓ１０３）。一方、条件判断部５４は、取得した心拍情報が条件を満足すると判断しない場合（Ｓ１０２：Ｎｏ）、条件判断部５４は、処理をステップＳ１０１に戻す。
【００３８】
制御部３２は、撮像条件を設定する（Ｓ１０４）。撮像条件の設定の一例は、ＡＦセンサ４２の検出信号を解析して、撮影レンズ２０の合焦制御を実行することである。ステップＳ１０４に続いて、制御部３２は、駆動部２４を用いて撮像素子２２を駆動して、被写界を撮像して、画像データを生成する（Ｓ１０５）。
【００３９】
条件判断部５４は、使用者１０が感じている「かわいい」を五段階で示す番号からなる感性情報を作成する（Ｓ１０６）。条件判断部５４は、ΔＲ−Ｒの絶対値を算出する。条件判断部５４は、算出したΔＲ−Ｒが、条件格納部５２に格納された「かわいい」の度合いに対応したΔＲ−Ｒ絶対値のどの範囲内となるか検知して、「かわいい」を五段階で示す番号を検出する。条件判断部５４は、検出した番号に基づいて、「かわいい」を五段階で示す感性情報を作成する。条件判断部５４は、感性情報を作成して、制御部３２へ出力する。
【００４０】
制御部３２は、作成した感性情報を生成した画像データに記録する。制御部３２は、例えば、作成した感性情報をＥｘｉｆ情報として、画像データに記録して、当該画像データをメモリカードＩＦ３４に装着されているメモリカード３６に記録する（Ｓ１０８）。
【００４１】
制御部３２は、使用者１０から終了指示があったか否かを判断する（Ｓ１０９）。制御部３２は、使用者１０から終了指示があったと判断した場合（Ｓ１０９：Ｙｅｓ）、画像処理を終了する。一方、使用者１０から終了指示があったと判断しない場合（Ｓ１０９：Ｎｏ）、制御部３２は、処理をステップＳ１０１に戻す。
【００４２】
使用者１０が自ら意識して「かわいい」と判断した場合にシャッターを押す場合、本来の無意識的な感性反応に対して年齢・性別といった社会的制約によって意識的な抑圧がかかってしまい、適切な操作ができない場合がある。以上説明したような、画像処理装置１２は、使用者１０の「かわいい」という感性を検出して、被写界を撮像できる。これにより、使用者１０は、年齢・性別といった社会的制約にかかわらず、「かわいい」と判断した画像を取得できる。
【００４３】
また、カメラは、表示部に表示された画像をユーザーが視認し、適切なタイミングで操作部の操作を行って撮像するが、撮像後の画像が使用者１０の意図に沿っていないことが多々発生する。画像処理装置１２を用いることで、使用者１０の「かわいい」という感性を検出して、被写界を撮像できるので、使用者１０の意図に沿った撮像を行うことができる。
【００４４】
本実施形態において、ΔＲ−Ｒを条件として用いた例を示したが、ΔＲ−Ｒに加えて、心拍のＲ−Ｒ間隔であって、安静時におけるＲ−Ｒ間隔を減じた値の分散が予め定められた閾値より小さいこと条件としてもよい。
【００４５】
なお、Ｒ−Ｒ間隔の分散は、測定するのに３０秒程度かかるので、条件を満足するか否かを判断するのに３０秒以上時間がかかる場合がある。その場合には、ΔＲ−Ｒにおいて条件を満足した場合に撮像信号を出力して撮像を行い、Ｒ−Ｒ間隔の分散の結果を事後的に反映させてもよい。すなわち、Ｒ−Ｒ間隔の分散が条件格納部５２に格納された条件を満足しなかった場合は、当該撮像により撮像された画像を事後的に消去してもよい。これにより、使用者１０の「かわいい」と「怖い」を切り分けて、使用者１０の「かわいい」と感じる感性反応を検知でき、使用者１０が「かわいい」と感じた画像を画像処理装置１２に残すことができる。
【００４６】
また、Ｒ−Ｒ間隔の分散に代えて、心拍の高周波成分と低周波成分との比を条件として設定してもよい。この場合、心拍における変動時系列データを取得して、当該時系列データを構成している周期的な波をその構成割合とともに表すパワースペクトル密度を算出する。心拍における変動時系列データは、高周波数成分（０．１５Ｈｚから０．４０Ｈｚまでの領域：ＨＦ成分という場合がある）と低周波数成分（０．０５Ｈｚから０．１５Ｈｚまでの領域：ＬＦ成分という場合がある）に分離できる。分離されたＨＦ成分とＬＦ成分の積分値をとり、ＨＦ成分の積分値とＬＦ成分の積分値との比を算出する。ＨＦ成分の積分値とＬＦ成分の積分値との比は、ストレス指標を表すといわれており、ＨＦ成分の積分値とＬＦ成分の積分値との比によってもネガティブ感情、ポジティブ感情を切り分けることができる。
【００４７】
なお、心拍の高周波成分と低周波成分との比を条件として設定する場合においても、３０秒程度、心拍の変動時系列データを取得することになり、条件を満足するか否かの判断に時間がかかる場合がある。その場合には、心拍の高周波成分と低周波成分との比の結果を事後的に反映させてもよい。
【００４８】
また、本実施形態において、ΔＲ−Ｒを条件として用いた例を示したが、ΔＲ−Ｒに代えて、Ｒ−Ｒ間隔の時間微分値を用いてもよい。その場合、条件格納部５２に格納される条件は、微分値が負であって、絶対値が予め定められた閾値より大きいこととなる。なお、この場合においては、Ｒ−Ｒ間隔のある計測回数とその次の計測によって定義されるＲ−Ｒ間隔の時間微分値での判断に加えて、Ｒ−Ｒ間隔の時系列データを用いた判断も適用できる。この場合の具体的な処理としては、多数の時系列データを判断に使用する、ＡＲ（ＡｕｔｏＲｅｇｒｅｓｓｉｖｅ：自己回帰）モデル、またはニューラルネットワーク、またはテンプレートのマッチングなどの複数の手法から、何れか一つ、あるいは複数の組み合わせなど適宜に選択して利用することが可能となる。
【００４９】
また、本実施形態において、条件格納部５２は、「かわいい」と感じた場合に生体に生じる、心拍とは異なる生体反応の条件をさらに予め格納してもよい。この場合、条件判断部は、心拍情報に加えて、生体反応に関する反応情報を生体から取得して、心拍と生体反応の条件を満たすか否かを判断する。なお、生体反応の一例は、使用者１０の表情であり、使用者１０の表情が笑顔であると判断されれば、ポジティブ感情であり、使用者１０の表情が恐怖で引きつっていると判断されれば、ネガティブ感情であると判断できる。したがって、使用者１０の表情から、ネガティブ感情、ポジティブ感情を切り分けることができる。
【００５０】
図８は、表示部４０に表示される画像の一例を示す。表示部４０には、被写界に存在する被写体４１と、撮像条件４３と、感性表示４５とが表示される。図８に示した例において、感性表示４５は、「カワイイ度」の文字と「ハート」の記号の数で表示される。
【００５１】
制御部３２は、画像データのＥｘｉｆ情報から感性情報を読み出す。制御部３２は、「かわいい」の五段階に値に対応さえた数の「ハート」の記号を表示した画像データを作成する。制御部３２によって生成された「ハート」の記号の数を表示した画像データは、ＬＣＤ駆動回路３８により表示信号に変換され、表示部４０に被写界を表示した画像に重畳して感性表示４５を表示させる。
【００５２】
このように、表示部４０に、「ハート」の記号の数を表示した画像データを表示することによって、使用者１０は、当該表示により使用者１０が「かわいい」と感じていることを知ることができる。これにより、画像処理部５６から撮像信号を出力しない場合であっても、使用者１０の「かわいい」という感性を使用者１０は表示部４０を通じて知ることができ、被写界を撮像できる。
【００５３】
図９は、別の画像処理装置６２を説明する図である。使用者６０は、画像処理装置６２を用いて、表示部６４に表示された画像のパラメータを変更して画像を加工する。条件判断部５４は、心拍計１４から使用者６０の生体からの心拍に関する心拍情報を取得する。条件判断部５４は、取得した心拍情報から、「かわいい」度合いを示す感性情報を作成して、画像処理部８６へ出力する。画像処理部８６は、取得した感性情報の番号に対応させた数の「ハート」の記号の数を表示した画像データを作成して、感性表示７８を表示部６４に表示させる。また、画像処理装置６２は、取得した心拍情報から、選択された画像を使用者６０が「かわいい」と感じる画像に加工するパラメータを検出する。なお、パラメータは、加工条件における条件の一例である。
【００５４】
図１０は、画像処理装置６２の表示部６４に表示される画像の一例を示す。表示部６４には、メニューバー６８と、パラメータ入力欄７０と、実行釦７１と、ツールボックス７２と、コントロールバー７４と、ドキュメントウインドウ７６と、感性表示７８とが表示される。
【００５５】
使用者６０は、ツールボックス７２またはコントロールバー７４に対する指示を操作部６３から入力する。操作部６３は、例えば、マウス、キーバードまたはタッチパネルであってよい。これにより、使用者６０は、画像を加工するパラメータ種類およびパラメータ値を入力できる。画像処理装置６２は、使用者６０に入力されたパラメータ種類およびパラメータ値で加工をした複数の加工画像を作成して表示部６４に表示する。画像処理装置６２は、取得した心拍情報から、「かわいい」度合いを示す情報を算出する。画像処理装置６２は、当該情報に基づいて感性表示７８を作成して、表示部６４に表示する。
【００５６】
また、画像処理部８６は、パラメータ入力欄７０に入力されたパラメータ種類における、使用者が最も「かわいい」と感じるパラメータ値を検出して、当該パラメータ値によって加工された加工画像を、ドキュメントウインドウ７６に表示する。
【００５７】
図１１は、画像処理装置６２の機能ブロック図を示す。なお、図１１において、図６と同じ要素には共通の参照番号を付して、重複する説明を省略する。画像処理装置６２は、操作部６３と、表示部６４と、通信部８２と、画像格納部８４と、条件格納部５２と、条件判断部５４と、画像処理部８６とを有する。
【００５８】
使用者６０は、操作部６３から、画像処理部８６に加工する元画像を選択する指示を入力する。なお、加工する元画像は、画像格納部８４に格納されている画像であってもよく、ネットワーク９０を通じて外部サーバ８３に格納されている画像であってもよい。ネットワーク９０を介して外部サーバ８３に格納されている画像を選択した場合、通信部８２は、画像処理部８６に入力された指示に基づいて、ネットワーク９０を介して外部サーバに格納された画像を取得する。画像処理部８６は、使用者６０の選択した画像を、画像格納部８４または通信部８２から読み出して元画像として表示部６４のドキュメントウインドウ７６に表示する。
【００５９】
画像処理部８６は、ドキュメントウインドウ７６に表示された元画像に対し、操作部６３からパラメータ入力欄７０に入力されたパラメータ種類における種々のパラメータで加工をした複数の加工画像を作成して表示部６４に順次表示する。画像処理部８６は、複数の加工画像に対する処理として、複数の加工画像のうち、格納部に格納された条件を満たすと判断された心拍情報を取得した時点で、表示部６４に表示された加工画像の加工条件情報に、使用者６０により選択されたことを示す指標を付与する。指標の一例は、選択されたことを示す選択情報である。
【００６０】
図１２は、元画像の加工条件を手動で設定するマニュアルパラメータ設定処理の一例を説明するフローチャートである。マニュアルパラメータの設定処理は、画像処理装置６２が起動された後に開始する。
【００６１】
ステップＳ２０１において、画像処理部８６は、操作部６３からパラメータ種およびパラメータ値の変更の指示を受け付ける。なお、本実施形態において、パラメータ種およびパラメータ値の変更の指示は、ツールボックス７２またはコントロールバー７４を操作することにより入力される。画像処理部８６は、受け付けたパラメータ変更の指示に基づいて元画像を変更して表示部６４に表示する（Ｓ２０２）。
【００６２】
条件判断部５４は、心拍計１４から心拍情報を取得する（Ｓ２０３）。条件判断部５４は、取得した心拍情報からΔＲ−Ｒの絶対値を算出する。条件判断部５４は、「かわいい」を五段階で示す番号からなる感性情報を算出して（Ｓ２０４）、画像処理部８６に出力する。画像処理部８６は、「カワイイ度」の文字と「ハート」の記号の数で表示される感性表示を作成して、表示部６４に表示させる（Ｓ２０５）。これにより、使用者６０は、表示部６４に表示される感性情報を確認しながら、加工条件を変更することができ、使用者６０は自らが「かわいい」と感じる画像に加工するパラメータ種およびパラメータ値を検出できる。
【００６３】
ステップＳ２０５に続いて、画像処理部８６は、使用者６０から終了指示が入力されたか否かを判断する（Ｓ２０６）。画像処理部８６は、終了指示が入力されたと判断した場合（Ｓ２０６：Ｙｅｓ）、マニュアルパラメータ設定処理を終了する。一方、終了指示が入力されていないと判断した場合（Ｓ２０６：Ｎｏ）、処理をステップＳ２０１に戻す。
【００６４】
図１３は、自動パラメータ設定処理の一例を説明するフローチャートである。自動パラメータ設定処理は、パラメータ入力欄７０にパラメータ種類が入力され、実行釦７１が選択されることによって開始する。
【００６５】
ステップＳ３０１において、画像処理部８６は、入力されたパラメータ種類の中から変更するパラメータ種類を設定する（Ｓ３０１）。画像処理部８６は、入力されたパラメータ種類の変更可能範囲における全てのパラメータについて、加工条件を記録した加工情報を作成する（Ｓ３０２）。画像処理部８６は、ある一つの加工情報に基づいてパラメータ値を変更した加工画像を表示部６４に表示する（Ｓ３０３）。
【００６６】
条件判断部５４は、心拍計１４から心拍情報を取得して（Ｓ３０４）、ΔＲ−Ｒの絶対値を算出する。条件判断部５４は、算出したΔＲ−Ｒの絶対値を画像処理部８６で作成された加工情報に対応させて記憶する（Ｓ３０５）。
【００６７】
条件判断部５４は、ステップＳ３０２で作成した全ての加工情報に対応付けてΔＲ−Ｒの絶対値が記録されたか否かを判断する（Ｓ３０６）。条件判断部５４は、全ての加工情報に対応付けてΔＲ−Ｒの絶対値が記録されたと判断すると（Ｓ３０６：Ｙｅｓ）、処理をステップＳ３０８へ進める。一方、条件判断部５４は、全ての加工情報に対応付けてΔＲ−Ｒの絶対値が記録されていないと判断すると、表示部６４に表示する画像の加工情報を、ΔＲ−Ｒの絶対値が対応つけて記録されていない加工情報に変更する指示を画像処理部８６に出力して（Ｓ３０７）、処理をステップＳ３０３へ戻す。
【００６８】
条件判断部５４は、条件格納部５２に格納された条件を満たすΔＲ−Ｒの絶対値が対応ついた加工条件を選択する（Ｓ３０８）。なお、図１３に示した例において、条件格納部５２に格納された条件は、「ΔＲ−Ｒの絶対値が最も大きい」である。条件判断部５４は、最も大きいΔＲ−Ｒの絶対値が記録されている加工情報を選択する。条件判断部５４は、選択した加工情報に選択情報を記録して（Ｓ３０９）、画像処理部８６に加工情報を出力する。なお、選択情報を記録することは、指標を付すことの一例であり、条件判断部５４による選択情報の記録は、画像処理装置６２における画像に対する処理の一例である。また、ΔＲ−Ｒの絶対値が最も大きいことは、使用者６０が最も「かわいい」と感じていることとになり、条件判断部５４から出力される加工情報は、元画像を使用者６０が最も「かわいい」と感じる画像に加工する加工情報となる。
【００６９】
ステップＳ３０９に続いて、画像処理部８６は、パラメータ入力欄７０に入力されたパラメータ種類に選択情報が記録された加工情報があるか否かを判断する（Ｓ３１０）。画像処理部８６は、パラメータ種類に選択画像が記録された加工情報がないものがあると判断すると（Ｓ３１０：Ｎｏ）、処理をＳ３１０に戻して、加工情報がないパラメータ種類に変更するパラメータを設定する。一方、画像処理部８６はパラメータ種類に選択画像が記録された加工情報があると判断すると（Ｓ３１０：Ｙｅｓ）、選択情報が記録された加工情報を読み出し、当該加工情報に基づいて元画像を加工した画像を生成して、表示部６４のドキュメントウインドウ７６に表示して、自動パラメータ設定処理は終了する。
【００７０】
以上説明したように、画像処理装置６２は、表示部に感性表示７８表示させる。これにより、使用者６０は、年齢・性別といった社会的制約にかかわらず、「かわいい」と感じる画像に加工することができる。また、画像処理装置６２は、使用者６０が選択したパラメータ種類において、最も「かわいい」と感じる加工情報を検出する。これにより、使用者６０は、年齢・性別といった社会的制約にかかわらず、「かわいい」と感じる画像に加工する条件を容易に検出できる。
【００７１】
なお、図１３に示した例においては、変更するパラメータ種類を定めて、順番に最も「かわいい」と感じるパラメータを選択したが、全てのパラメータ種類におけるすべてのパラメータ値の組み合わせの画像を表示させて、その中から「ΔＲ−Ｒの絶対値が最も大きい」画像に加工する加工情報を選択してもよい。これにより、使用者６０が最も「かわいい」と感じる画像に加工する条件を検出できる。
【００７２】
また、画像処理装置６２は、使用者６０により選択された画像に感性情報を付与して、当該感性情報に基づいて画像を分類または検索できてもよい。図１４は、画像へ感性情報を記録する処理の一例を説明するフローチャートである。
【００７３】
ステップＳ４０１において、使用者６０は、感性情報を付与したい画像を選択する。使用者６０により選択された画像は、表示部６４のドキュメントウインドウ７６に表示される（Ｓ４０２）。条件判断部５４は、心拍計１４から心拍情報を取得する（Ｓ４０３）。
【００７４】
条件判断部５４は、取得した心拍情報に基づいてΔＲ−Ｒ絶対値を算出して、当該ΔＲ−Ｒ絶対値に対応する感性情報を作成する（Ｓ４０４）。条件判断部５４は、作成した感性情報を画像処理部８６へ出力する。
【００７５】
画像処理部８６は、感性情報を使用者６０に選択された画像データに記録する。画像処理部８６は、例えば、作成した感性情報をＥｘｉｆ情報として、画像データに記録され、画像へ感性情報を記録する処理は終了する。
【００７６】
このように、画像処理装置６２は、感性情報が記録されていない画像データに感性情報を記録し、当該感性情報を画像を分類または検索するのに使用できる。図１５は、感性情報に基づく、画像の検索処理の一例を説明するフローチャートである。
【００７７】
ステップＳ５０１において、使用者６０は、検索条件として操作部６３から感性条件を入力する。図１０に示した例においては、パラメータ入力欄７０に感性条件を入力してもよい。また、感性条件の入力は、「ハート」の記号の数を入力してもよい。
【００７８】
操作部６３から入力された感性条件は、画像処理部８６に出力される。画像処理部８６は、画像格納部８４に格納されている画像の中から、入力された感性条件に一致する画像データを検索する。画像処理部８６は、感性条件に一致する画像を検索できたか否かを判断する（Ｓ５０２）。画像処理部８６は、感性条件に一致する画像を検索できないと判断した場合、処理をステップＳ５０１に戻し、再び使用者６０から感性条件が入力されるのを待つ。一方、画像処理部８６は、感性条件に一致する画像を検索できたと判断した場合（Ｓ５０２：Ｙｅｓ）、一致した画像データを読み出して（Ｓ５０３）、表示部６４のドキュメントウインドウ７６に表示して（Ｓ５０４）、画像の検索処理は終了する。
【００７９】
以上説明したように、画像処理装置６２は、感性情報を用いて、画像の分類または検索を行うことができる。さらに、画像処理装置６２は、他の検索条件、例えば、被写体のカテゴリー（人物・動物・ぬいぐるみ等）と感性情報との「ＡＮＤ」または「ＯＲ」検索を行うことができてもよい。また、上記被写体のカテゴリーごとに「かわいい」度で順位付けできてもよい。
【００８０】
また、画像処理装置６２は、感性情報を画像データに記録する場合、感性情報を取得した時間を併せて記録してもよい。これにより、一枚の画像について、「かわいい」度の経時的な変化または平均としての「かわいい」度の算出ができる。
【００８１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００８２】
１０、１６、６０  使用者、１２、１８、６２  画像処理装置、１４  心拍計、２０  撮影レンズ、２２  撮像素子、２４  駆動部、２８  Ａ／Ｄ変換回路、３０  メモリ、３２  制御部、３４  メモリカードＩＦ、３６  メモリカード、３８  ＬＣＤ駆動回路、４０、６４  表示部、４１  被写体、４２  ＡＦセンサ、４３  撮像条件、４４、６３  操作部、４５、７８  感性表示、５０  感性判断部、５２  条件格納部、５４  条件判断部、５６、８６  画像処理部、６８  メニューバー、７０  パラメータ入力欄、７１  実行釦、７２  ツールボックス、７４  コントロールバー、７６  ドキュメントウインドウ、８２  通信部、８３  外部サーバ、８４  画像格納部、９０  ネットワーク、１００  実験システム、１０２  映像提示用コンピュータ、１０４  プロジェクター、１０６  １００インチスクリーン、１０８  計測用コンピュータ、１１０  生体計測装置、１１２  被験者、１５２、１５４、１５６  プロファイル
【図１】
2015050614.tif 000003
【図２】
2015050614.tif 000004
【図３】
2015050614.tif 000005
【図４】
2015050614.tif 000006
【図５】
2015050614.tif 000007
【図６】
2015050614.tif 000008
【図７】
2015050614.tif 000009
【図８】
2015050614.tif 000010
【図９】
2015050614.tif 000011
【図１０】
2015050614.tif 000012
【図１１】
2015050614.tif 000013
【図１２】
2015050614.tif 000014
【図１３】
2015050614.tif 000015
【図１４】
2015050614.tif 000016
【図１５】
2015050614.tif 000017