(57)【特許請求の範囲】
【請求項１】
映像における画面動揺を示すグローバルモーションに基づいて不快度を推定する不快度推定装置であって、
前記映像の時間的に隣接する画像間における複数種類のグローバルモーションを検出するグローバルモーション検出部と、
検出された前記複数種類のグローバルモーションに対して、それぞれ、周波数が低いほど長い期間で離散フーリエ変換を施すことによって、前記複数種類のグローバルモーションの周波数成分を算出する離散フーリエ変換部と、
算出された前記複数種類のグローバルモーションの周波数成分に対して、それぞれ重み付けを施す重み付け部と、
重み付けされた前記複数種類のグローバルモーションの周波数成分の非線形和を算出することによって、前記不快度を算出する不快度算出部と、
前回の前記不快度が大きいほど今回の前記不快度が大きくなるように今回の前記不快度を補正する不快度補正部と、
を備えることを特徴とする不快度推定装置。
【請求項２】
前記グローバルモーション検出部は、前記複数種類のグローバルモーションとして、上下移動、左右移動、回転、及び、ズームに関するグローバルモーションを検出する
ことを特徴とする請求項１に記載の不快度推定装置。
【請求項３】
前記重み付け部は、前記フーリエ変換部によって算出された前記複数種類のグローバルモーションの周波数成分に対して、それぞれ、前記複数種類のグローバルモーションの周波数ごとに予め求められた不快閾値の逆数を、前記複数種類のグローバルモーションの周波数成分に対して乗算することによって重み付けを施す
ことを特徴とする請求項１又は請求項２に記載の不快度推定装置。
【請求項４】
前記不快度算出部は、前記非線形和を対数に変換したものを前記不快度として前記不快度補正部へ出力する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の不快度推定装置。
【請求項５】
前記不快度補正部は、前回の前記不快度に０よりも大きく１よりも小さい定数を乗じ、今回の前記不快度に、定数が乗じられた前回の前記不快度を加算することによって、補正後の今回の前記不快度を得る
ことを特徴とする請求項１から請求項４のいずれか一項に記載の不快度推定装置。
【請求項６】
映像における画面動揺を示すグローバルモーションに基づいて不快度を推定する不快度推定プログラムであって、
コンピュータを、
前記映像の時間的に隣接する画像間における複数種類のグローバルモーションを検出するグローバルモーション検出部、
検出された前記複数種類のグローバルモーションに対して、それぞれ、周波数が低いほど長い期間で離散フーリエ変換を施すことによって、前記複数種類のグローバルモーションの周波数成分を算出する離散フーリエ変換部、
算出された前記複数種類のグローバルモーションの周波数成分に対して、それぞれ重み付けを施す重み付け部、
重み付けされた前記複数種類のグローバルモーションの周波数成分の非線形和を算出することによって、前記不快度を算出する不快度算出部、及び、
前回の前記不快度が大きいほど今回の前記不快度が大きくなるように今回の前記不快度を補正する不快度補正部、
として機能させることを特徴とする不快度推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の不快度を推定する不快度推定装置及び不快度推定プログラムに関する。
【背景技術】
【０００２】
家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、画面動揺（映像の揺れ）、いわゆるグローバルモーションによって誘発される不快感が増大する傾向があり、場合によっては視聴者が映像酔いを起こして健康被害に至る例もある。かかる事態を予防するため、手持ち撮影用ビデオカメラ等には「手ぶれ補正」機能の搭載がほぼ必須となっている。また、撮影された映像に含まれるグローバルモーションを軽減する「映像スタビライズ」ソフトウェアも数多く開発されている。さらに、グローバルモーションと脈拍・血圧等との生理的な指標との関係を探ることによって、不快な状態を推定しようとする試みも行われている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「映像酔いガイドライン検証システムの実用化に関するフィージビリティスタディ報告書」、財団法人機械システム振興協会、平成２０年３月
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、前記した「手ぶれ補正」では長周期の揺れは補正ができない、あるいは不十分であり、「映像スタビライズ」では、短い期間内の映像の揺れを無くすか低減したり、滑らかな画面移動に変換したりするだけで、どのような性質でどの程度の大きさの揺れならば残っていても良いといった客観的な基準に則っているものではない。また、この客観的な基準として脈拍・血圧等の生理的な指標を用いることができたとしても、明示できるのは健康被害に達する条件および、その条件に対する現在の生理的状態の程度のみである。
【０００５】
これに対し、放送、映画等の映像コンテンツの供給者は、映像制作段階において、映像の安全性のみならず、視聴者の大半にグローバルモーションに伴う不快感を催させないように留意する必要がある。しかしながら、前記した従来の技術は、グローバルモーションに対する視聴者の心理的な「不快度」を具体的に把握するものではなく、グローバルモーションによる「不快度」を基準として映像の良否を判定するには不向きであった。
【０００６】
本発明は、前記した事情に鑑みて創案されたものであり、グローバルモーションによって視聴者が感じる不快度をグローバルモーションに基づいて推定することが可能な不快度推定装置及び不快度推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明の不快度推定装置は、映像における画面動揺を示すグローバルモーションに基づいて不快度を推定する不快度推定装置であって、グローバルモーション検出部と、離散フーリエ変換部と、重み付け部と、不快度算出部と、不快度補正部と、を備える。
【０００８】
かかる構成により、不快度推定装置は、グローバルモーション検出部によって、前記映像の時間的に隣接する画像間における複数種類のグローバルモーションを検出し、離散フーリエ変換部によって、前記複数種類のグローバルモーションに対して、それぞれ、周波数が低いほど長い期間で離散フーリエ変換を施すことによって、前記複数種類のグローバルモーションの周波数成分を算出し、重み付け部によって、前記複数種類のグローバルモーションの周波数成分に対して、それぞれ重み付けを施し、不快度算出部によって、前記複数種類のグローバルモーションの周波数成分の非線形和を算出することによって、不快度を算出し、不快度補正部によって、前回の前記不快度が大きいほど今回の前記不快度が大きくなるように今回の前記不快度を補正する。
【０００９】
この不快度推定装置では、視聴者の生理的指標によらず、グローバルモーションに基づいて不快度を推定することができる。また、重み付け部が複数種類のグローバルモーションに対してそれぞれ重み付けを施すので、複数種類のグローバルモーションの周波数成分と、それに起因する不快度と、の関係を調整し、複数種類のグローバルモーションに基づく不快度を同列に扱うことができる。また、不快度補正部が前回の不快度に基づいて今回の不快度を補正するので、グローバルモーションが長時間継続する場合の蓄積効果を反映した不快度を出力することができる。
【００１０】
前記グローバルモーション検出部は、前記複数種類のグローバルモーションとして、上下移動、左右移動、回転、及び、ズームに関するグローバルモーションを検出する構成であってもよい。
【００１１】
前記重み付け部は、前記フーリエ変換部によって算出された前記複数種類のグローバルモーションの周波数成分に対して、それぞれ、前記複数種類のグローバルモーションの周波数ごとに予め求められた不快閾値の逆数を、前記複数種類のグローバルモーションの周波数成分に対して乗算することによって重み付けを施す構成であってもよい。
【００１２】
前記不快度算出部は、前記非線形和を対数に変換したものを前記不快度として前記不快度補正部へ出力する構成であってもよい。
【００１３】
この不快度推定装置では、等間隔に増加するような値として補正前の不快度を算出することができる。
【００１４】
前記不快度補正部は、前回の前記不快度に０よりも大きく１よりも小さい定数を乗じ、今回の前記不快度に、定数が乗じられた前回の前記不快度を加算することによって、不快度を算出する構成であってもよい。
【００１５】
また、本発明は、コンピュータを前記した不快度推定装置として機能させる不快度推定プログラムとしても具現化可能である。
【発明の効果】
【００１６】
本発明によれば、グローバルモーションによって視聴者が感じる不快度をグローバルモーションに基づいて推定することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る不快度推定装置を示すブロック図である。
【図２】離散フーリエ変換部によって算出される周波数成分の周波数と、当該周波数成分を算出するための時間窓の時間窓長（フレーム数）と、の関係を示す表である。
【図３】不快閾値の逆数の周波数特性の一例を示すグラフである。
【図４】図１の不快度算出部を示す詳細ブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。本発明において、「グローバルモーション」は、映像の動きの中における画面全体の動き（画面動揺）を指し、映像の中で被写体が局所的に動く「ローカルモーション」とは区別される。
【００１９】
図１に示すように、本発明の実施形態に係る不快度推定装置１は、機能部として、グローバルモーション検出部１０と、離散フーリエ変換部２０と、重み付け部３０と、不快度算出部４０と、不快度補正部５０と、を備える。
【００２０】
＜グローバルモーション検出部＞
グローバルモーション検出部１０は、映像信号を取得し、取得された映像信号に基づいて、映像の時間的に隣接する画像間における複数種類のグローバルモーション（フレーム間の差分）を時系列に検出し、検出結果を離散フーリエ変換部２０へ出力する。本実施形態において、グローバルモーション検出部１０は、複数種類のグローバルモーションとして、上下移動に関するグローバルモーション（撮像装置の上下方向（チルト）移動量）、左右移動量に関するグローバルモーション（撮像装置の左右方向（パン）移動量）、回転に関するグローバルモーション（撮像装置の光学軸まわり（ロール）の回転量）、及び、ズームに関するグローバルモーション（撮像装置のズーム倍率の変化量）を検出する。
【００２１】
なお、上下移動に関するグローバルモーションに関しては、画像中の被写体が上向きに動いた場合をプラスとし、下向きに動いた場合をマイナスとする。また、左右移動に関するグローバルモーションに関しては、画像中の被写体が右向きに動いた場合をプラスとし、左向きに動いた場合をマイナスとする。また、回転に関するグローバルモーションに関しては、画像中の被写体が反時計回りに回転した場合をプラスとし、時計回りに回転した場合をマイナスとする。また、ズームに関するグローバルモーションに関しては、画像中の被写体のサイズが拡大した場合をプラスとし、縮小した場合をマイナスとする。
【００２２】
また、グローバルモーション検出部１０は、前記した複数種類のグローバルモーションを、視聴者が標準観視条件で映像を視聴した際の画面全体における平均移動視角量として正規化する構成であってもよい。ここで、標準観視条件とは、例えば、ハイビジョン映像の場合において、画面の高さの３倍の距離から視聴するような視聴条件のことを言う。かかる構成により、画素数（上下移動及び左右移動に関するグローバルモーション）、角度（回転に関するグローバルモーション）、サイズ比（ズームに関するグローバルモーション）と単位が異なっていた各グローバルモーションを同等に扱うことができる。
【００２３】
グローバルモーション検出部１０は、一般的なグローバルモーションの検出手法として、画面を複数のブロックに分割し、各ブロックの画像のフレーム間での移動量をブロックマッチングによって算出し、ブロック位置を補正した後の対応自乗誤差が最小となる場合のグローバルモーションの値を算出する。かかる算出手法において、グローバルモーション検出部１０は、ＲＡＮＳＡＣ（RANdom SAmple Consensus）法、ＭＰＤＥ（MultiPartial Differential Equation）法等といった公知の手法を適宜採用することができる。
【００２４】
＜離散フーリエ変換部＞
離散フーリエ変換部２０は、グローバルモーション検出部１０によって検出された複数種類のグローバルモーションを取得し、取得された複数種類のグローバルモーションに対して、それぞれ、周波数が低いほど長い期間で離散フーリエ変換を施すことによって、複数種類のグローバルモーションの周波数成分（振幅の絶対値に比例する値）を算出し、算出結果を重み付け部３０へ出力する。
【００２５】
本実施形態において、離散フーリエ変換部２０は、１［秒］ごとに離散フーリエ変換を行う。これは、大半の視聴者（評価実験における平均的な評定者）において不快度が閾値に達するまでには早くても２［秒］を要することから、１［秒］間隔で不快度を推定すれば十分な精度が得られるためである。
【００２６】
本実施形態において、離散フーリエ変換部２０は、上下移動に関するグローバルモーションに対して離散フーリエ変換を施す上下移動用離散フーリエ変換部２１と、左右移動に関するグローバルモーションに対して離散フーリエ変換を施す左右移動用離散フーリエ変換部２２と、回転に関するグローバルモーションに対して離散フーリエ変換を施す回転用離散フーリエ変換部２３と、ズームに関するグローバルモーションに対して離散フーリエ変換を施すズーム用離散フーリエ変換部２４と、を備える。
【００２７】
図２は、離散フーリエ変換部によって算出される周波数成分の周波数と、当該周波数成分を算出するための時間窓の時間窓長（フレーム数）と、の関係を示す表である。図２に示すように、離散フーリエ変換部２０は、グローバルモーションが揺れとしてではなく、ほぼ定速運動として認識される０．０６［Ｈｚ］以下の周波数成分（時間窓長３４．１３［秒］の０〜２周期）を、周波数成分の算出の対象外としている。
【００２８】
また、グローバルモーションが不快なものとして認識されるには、３〜５周期を要することが評価実験によって明らかになっているので、離散フーリエ変換部２０は、各時間窓において、最低周波数（１周期）の約３〜５倍の周波数におけるグローバルモーションの周波数成分を算出する。
【００２９】
すなわち、最低周波数の２倍の周波数（２周期）が０．０６［Ｈｚ］よりも若干小さくなる時間窓を最長の時間窓とすればよいので、本実施形態では、離散フーリエ変換部２０は、標準的なフレーム周波数である３０［Ｈｚ］の映像において、最長の時間窓を１０２４フレーム（３４．１３［秒］）に設定して離散フーリエ変換を行う。
【００３０】
そして、離散フーリエ変換部２０は、時間窓長を１／２にしつつ、それぞれの時間窓長において最低周波数の約３〜５倍の周波数におけるグローバルモーションの周波数成分を算出する。なお、１０［Ｈｚ］以上のグローバルモーションに関しては、画面の動揺ではなく二重像として認識されるため、離散フーリエ変換部２０は、時間窓を１６フレーム（０．５３［秒］）に設定して離散フーリエ変換を行う。
【００３１】
上下移動用離散フーリエ変換部２１は、フレーム数を１０２４に設定して、０．０８８［Ｈｚ］、０．１１７［Ｈｚ］、０．１４６［Ｈｚ］の上下移動に関するグローバルモーションの周波数成分を算出し、フレーム数を５１２に設定して、０．１７６［Ｈｚ］、０．２３４［Ｈｚ］、０．２９３［Ｈｚ］の上下移動に関するグローバルモーションの周波数成分を算出し、フレーム数を２５６に設定して、０．３５２［Ｈｚ］、０．４６９［Ｈｚ］、０．５８６［Ｈｚ］の上下移動に関するグローバルモーションの周波数成分を算出し、フレーム数を１２８に設定して、０．７０３［Ｈｚ］、０．９３８［Ｈｚ］、１．１７２［Ｈｚ］の上下移動に関するグローバルモーションの周波数成分を算出し、フレーム数を６４に設定して、１．４０６［Ｈｚ］、１．８７５［Ｈｚ］、２．３４４［Ｈｚ］の上下移動に関するグローバルモーションの周波数成分を算出し、フレーム数を３２に設定して、２．８１３［Ｈｚ］、３．７５０［Ｈｚ］、４．６８８［Ｈｚ］の上下移動に関するグローバルモーションの周波数成分を算出し、フレーム数を１６に設定して、５．６２５［Ｈｚ］、７．５００［Ｈｚ］、９．３７５［Ｈｚ］、１１．２５０［Ｈｚ］、１３．１２５［Ｈｚ］、１５．０００［Ｈｚ］の上下移動に関するグローバルモーションの周波数成分を算出する。なお、左右移動用離散フーリエ変換部２２、回転用離散フーリエ変換部２３及びズーム用離散フーリエ変換部２４も、上下移動用離散フーリエ変換部２１と同様に、各グローバルモーションの周波数成分を算出する。
【００３２】
本実施形態では、各時間窓において離散フーリエ変換が行われる周波数に重なりも抜けも無いので、離散フーリエ変換部２０は、グローバルモーションの総エネルギーが保存された状態で周波数成分を算出することができる。したがって、本実施形態に係る不快度推定装置１は、ウェーブレット変換等を行うフィルタバンクを備える必要がない。
【００３３】
また、離散フーリエ変換部２０は、フレーム数（時間窓長）を繰り返し１／２にするのに都合の良い２のべき乗に設定しているが、離散フーリエ変換を施して算出される周波数成分は、各時間窓において３個（最短の時間窓においてのみ６つ）であるので、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行う必要がなく、フレーム数を２のべき乗に設定しなくてもよい。
【００３４】
＜重み付け部＞
重み付け部３０は、離散フーリエ変換部２０から出力された複数種類のグローバルモーションの周波数成分を取得し、取得された複数種類のグローバルモーションの周波数成分に対して、それぞれ、重み付けを施すものであり、本実施形態では、重み付けとして、周波数ごとに予め求められた不快閾値の逆数を、複数種類のグローバルモーションの周波数成分に対して乗算し、乗算結果を不快度算出部４０へ出力する。本実施形態において、重み付け部３０は、上下移動用重み付け部３１と、左右移動用重み付け部３２と、回転用重み付け部３３と、ズーム用重み付け部３４と、を備える。
【００３５】
図３は、不快閾値の逆数の周波数特性の一例を示すグラフである。ここで、不快閾値とは、各グローバルオーションに関して、周波数ごとに、視聴者が不快であると感じるグローバルモーションの周波数成分の閾値（不快閾値）を多数の評定者の幾何平均によって求めた値である。図３における縦軸（不快閾値の逆数）は、リニアスケールであり、単位としては、例えば、平均視覚速度の逆数である［ｓｅｃ／ｄｅｇ］等を採用することができる。また、不快閾値の逆数は、周波数間の値の比（相対値）が意味を有するものであって、その値自体に関しては、当業者によって適宜設定可能である。
【００３６】
上下移動用重み付け部３１は、上下移動用離散フーリエ変換部２１から出力された上下移動に関するグローバルモーションの周波数成分を取得し、取得された複数の周波数成分に重み付けを施し、重み付けの結果を不快度算出部４０へ出力する。本実施形態では、０．０８８［Ｈｚ］の上下移動に関する周波数成分をａ１、０．１１７［Ｈｚ］の上下移動に関する周波数成分をａ２、・・・、１５．０００［Ｈｚ］の上下移動に関する周波数成分をａ２４とし、０．０８８［Ｈｚ］の上下移動に関する不快閾値の逆数をｋ１、０．１１７［Ｈｚ］の上下移動に関する不快閾値の逆数をｋ２、・・・、１５．０００［Ｈｚ］の上下移動に関する不快閾値の逆数をｋ２４としたとき、上下移動用重み付け部３１は、重み付けの結果として、ｋ１・ａ１，ｋ２・ａ２，・・・，ｋ２４・ａ２４を不快度算出部４０へ出力する。
【００３７】
左右移動用重み付け部３２は、左右移動用離散フーリエ変換部２２から出力された左右移動に関するグローバルモーションの周波数成分を取得し、取得された複数の周波数成分に重み付けを施し、重み付けの結果を不快度算出部４０へ出力する。本実施形態では、０．０８８［Ｈｚ］の左右移動に関する周波数成分をａ２５、０．１１７［Ｈｚ］の左右移動に関する周波数成分をａ２６、・・・、１５．０００［Ｈｚ］の左右移動に関する周波数成分をａ４８とし、０．０８８［Ｈｚ］の左右移動に関する不快閾値の逆数をｋ２５、０．１１７［Ｈｚ］の左右移動に関する不快閾値の逆数をｋ２６、・・・、１５．０００［Ｈｚ］の左右移動に関する不快閾値の逆数をｋ４８としたとき、左右移動用重み付け部３２は、予め記憶された不快閾値の逆数（重み値）と周波数成分とを乗算することによってｋ２５・ａ２５，ｋ２６・ａ２６，・・・，ｋ４８・ａ４８を算出し、重み付けの結果として、かかる算出結果を不快度算出部４０へ出力する。
【００３８】
回転用重み付け部３３は、回転用離散フーリエ変換部２３から出力された回転に関するグローバルモーションの周波数成分を取得し、取得された複数の周波数成分に重み付けを施し、重み付けの結果を不快度算出部４０へ出力する。本実施形態では、０．０８８［Ｈｚ］の回転に関する周波数成分をａ４９、０．１１７［Ｈｚ］の回転に関する周波数成分をａ５０、・・・、１５．０００［Ｈｚ］の回転に関する周波数成分をａ７２とし、０．０８８［Ｈｚ］の回転に関する不快閾値の逆数をｋ４９、０．１１７［Ｈｚ］の回転に関する不快閾値の逆数をｋ５０、・・・、１５．０００［Ｈｚ］の回転に関する不快閾値の逆数をｋ７２としたとき、回転用重み付け部３３は、予め記憶された不快閾値の逆数（重み値）と周波数成分とを乗算することによってｋ４９・ａ４９，ｋ５０・ａ５０，・・・，ｋ７２・ａ７２を算出し、重み付けの結果として、かかる算出結果を不快度算出部４０へ出力する。
【００３９】
ズーム用重み付け部３４は、ズーム用離散フーリエ変換部２４から出力されたズームに関するグローバルモーションの周波数成分を取得し、取得された複数の周波数成分に重み付けを施し、重み付けの結果を不快度算出部４０へ出力する。本実施形態では、０．０８８［Ｈｚ］のズームに関する周波数成分をａ７３、０．１１７［Ｈｚ］のズームに関する周波数成分をａ７４、・・・、１５．０００［Ｈｚ］のズームに関する周波数成分をａ９６とし、０．０８８［Ｈｚ］のズームに関する不快閾値の逆数をｋ７３、０．１１７［Ｈｚ］のズームに関する不快閾値の逆数をｋ７４、・・・、１５．０００［Ｈｚ］のズームに関する不快閾値の逆数をｋ９６としたとき、ズーム用重み付け部３４は、予め記憶された不快閾値の逆数（重み値）と周波数成分とを乗算することによってｋ７３・ａ７３，ｋ７４・ａ７４，・・・，ｋ９６・ａ９６を算出し、重み付けの結果として、かかる算出結果を不快度算出部４０へ出力する。
【００４０】
＜不快度算出部＞
不快度算出部４０は、重み付け部３０によって重み付けされた周波数成分ｋ１・ａ１〜ｋ９６・ａ９６を取得し、かかる重み付けされた周波数成分ｋ１・ａ１〜ｋ９６・ａ９６に基づいて、不快度ｃを算出する。本実施形態において、不快度算出部４０は、不快度ｃを１秒ごとに繰り返し算出して不快度補正部５０へ出力する。図４は、図１の不快度算出部を示す詳細ブロック図である。図４に示すように、不快度算出部４０は、成分加算部４１と、対数変換部４２と、所定時間内最大値検出部４３と、を備える。
【００４１】
成分加算部４１は、重み付け部３０から出力された、重み付けされた周波数成分ｋ１・ａ１〜ｋ９６・ａ９６を取得し、これらを非線形加算することによって、非線形和ｂを算出し、算出結果を成分加算部４２へ出力する。
ｂ＝｛Σ（ｋｎ・ａｎ）γ｝１／γ
【００４２】
すなわち、成分加算部４１は、重み付けされた周波数成分ｋｎ・ａｎ（ｎ＝１，２，・・・９６）をそれぞれγ乗したものを全て加算し、その１／γ乗を算出することよって、非線形和ｂを得る。ここで、非線形和ｂは、γ＝１の場合には、重み付けされた周波数成分の和（振幅和）となり、γ＝２の場合には、グローバルモーションのエネルギーの和となる。主観評価実験の各評定者について調べると、γが約２である場合に後記する不快値ｄが主観評価実験に適合する。しかし、評定による不快値が同じ２つの種類のグローバルモーションを合成した場合に、評定者ごとに見ると平均値のまわりにそれぞれ３０％程度の標準偏差が存在するため、電力和の場合よりも不快値が４％ほど大きくなる。この場合には、γは約１．８となる。したがって、γの値は、
１．８≦γ≦２．０
を満たすように設定されることが望ましい。
【００４３】
対数変換部４２は、成分加算部４１から出力された非線形和ｂを対数に変換することによって、不快度ｃを算出し、算出結果を所定時間内最大値検出部４３へ出力する。
ｃ＝ｌｏｇＸｂ
【００４４】
このように、非線形和ｂを対数変換することによって不快度ｃを算出するのは、主観評価実験における評定に用いた「不快ではない」、「やや不快」、「不快」、「非常に不快」、「耐え難く不快」のカテゴリーの境界における、非線形和ｂを対数変換した値が、ほぼ等間隔になることに基づく措置である。ここで、非線形和ｂが約６．５倍になると、不快度が１カテゴリー上昇するので、対数の底Ｘは、
Ｘ≒６．５
に設定されることが望ましい。
なお、前記した不快閾値は、主観評価実験のカテゴリーにおける、「やや不快」と「不快」との境界を示す閾値である。
【００４５】
また、非線形和ｂには、ある値以下では長時間蓄積しても不快閾値に達しない臨界値があり、非線形和ｂが臨界値に等しい場合に不快度ｃが０となるように対数の底Ｘを設定し、対数変換部４２は、不快度ｃがマイナスの場合には、当該不快度ｃを出力しない（又は、不快度ｃとして０を出力する）ように構成される。かかる臨界値は、主観評価実験によると、対数変換前の値として、不快閾値の約１／５０の値に設定されることが望ましい。
【００４６】
所定時間内最大値検出部４３は、離散フーリエ変換部２０による離散フーリエ変換処理時点の直前の所定期間（例えば、５〜７［秒］）の間における不快度ｃの最大値を検出し、当該最大値を不快度ｃとして不快度補正部５０の加算部５１へ出力する。これは、間欠的にグローバルモーションが無い期間が３秒程度である映像に対する評定不快度が、連続して同じ振幅のグローバルモーションが発生している映像に対する評定不快度とほぼ同様となること（すなわち、グローバルモーションが３秒程度無かった場合でも、その前後にグローバルモーションが発生していれば、ヒトは先のグローバルモーションによる影響を受けた不快度を感じてしまう）に基づく措置である。
【００４７】
本実施形態において、所定時間内最大値検出部４３は、記憶部４３ａと、最大値検出部４３ｂと、を備える。
【００４８】
記憶部４３ａは、対数変換部４２から出力された不快度ｃを、直近の所定個数（例えば、５〜７個）だけ記憶し、記憶された所定個数の不快度ｃを最大値検出部４３ｂへ出力するシフトレジスタである。
【００４９】
最大値検出部４３ｂは、記憶部４３ａから出力された所定個数の不快度ｃを比較し、最大の不快度ｃを検出して加算部５１へ出力する。
【００５０】
＜不快度補正部＞
図１に戻り、不快度補正部５０は、前回の（１秒前の）不快度ｃ（以下、前回の不快度ｃｍとする）が大きいほど今回の不快度ｃ（以下、今回の不快度ｃｍ＋１とする）が大きくなるように今回の不快度ｃｍ＋１を補正することによって、補正後の不快度ｄを算出する。本実施形態において、不快度算出部５０は、加算部５１と、記憶部５２と、乗算部５３と、を備える。
【００５１】
加算部５１は、不快度算出部４０から出力された前回の不快度ｃｍを取得し、取得された前回の不快度ｃｍを記憶部５２へ出力する。
【００５２】
記憶部５２は、加算部５１から出力された前回の不快度ｃｍを、１個だけ記憶し、記憶された前回の不快度ｃｍを乗算部５３へ出力するシフトレジスタである。
【００５３】
乗算部５３は、記憶部５２から出力された前回の不快度ｃｍを取得し、取得された前回の不快度ｃｍに定数ｐ（０＜ｐ＜１）を乗じ、算出結果のｐ・ｃｍを加算部５１へ出力する。この定数ｐは、グローバルモーションが長時間継続する場合における不快度の蓄積効果を表すものであり、不快度の推定誤差を最小とするには、ｐ＝０．００５程度とすることが望ましい。
【００５４】
そして、加算部５１は、不快度算出部４０から出力された今回の不快度ｃｍ＋１を取得し、今回の不快度ｃｍ＋１に、定数が乗じられた前回の不快度ｐ・ｃｍを加算することによって、補正後の不快度ｄを算出し、算出された不快度ｄをディスプレイ、スピーカ等の外部装置（不快度ｄを利用者へ通知する通知部）へ出力するとともに、新たな前回の不快度として記憶部５２へ出力する。
ｄ＝ｃｍ＋１＋ｐ・ｃｍ
かかる加算部５１は、離散フーリエ変換部２０による離散フーリエ変換のタイミングである１［秒］ごとに補正後の不快度ｄを算出して出力する。
【００５５】
本発明の実施形態に係る不快度推定装置１は、複数種類のグローバルモーションの周波数成分が時間的に変化するような画面動揺を伴う映像に対しても、主観評価実験における平均値に近い不快度ｄを推定することができる。また、推定された不快度ｄは、映像コンテンツ製作者が画面動揺を低減するような映像修正を施す際に、映像修正の度合いの指標として使用可能である。
【００５６】
すなわち、不快度推定装置１は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる画面動揺をどの程度まで低減すべきかの目標設定等に好適な不快度ｄを映像コンテンツ製作者に提示することができるので、制作に要する時間、労力及びコストの削減が図られるだけでなく、供給される映像コンテンツの安全性及び快適性も高められる。
また、不快度推定装置１は、映像の視聴者側で用いられる場合には、画面動揺に関して安全、快適であることを保証せずに制作、流通された映像に対して、視聴前又は視聴中の表示直前に不快度ｄを推定してディスプレイ又はスピーカへ出力することによって、視聴時に警告を発することができるので、映像酔いによる健康被害及び不快感の誘発を防止することが可能になる。
【００５７】
以上、本発明の実施形態について実施形態を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記不快度推定装置１として機能させる不快度推定プログラムとして具現化することも可能である。また、不快度決定部４０によって決定された不快度ｄが閾値を超えた場合に、映像が不快なグローバルモーションを含んでいると判定し、判定結果をディスプレイ等の外部装置へ出力する構成であってもよい。また、対数変換部４２及び所定時間内最大値検出部４３は省略可能である。
【符号の説明】
【００５８】
１      不快度推定装置
１０    グローバルモーション検出部
２０    離散フーリエ変換部
３０    重み付け部
４０    不快度算出部
５０    不快度補正部
【図１】
0005391145.tif 000002
【図２】
0005391145.tif 000003
【図３】
0005391145.tif 000004
【図４】
0005391145.tif 000005