(57)【要約】【課題】低周波の周（回転）方向の揺れ成分が多かったり、映像内で目立つ対象の揺れがそれ以外の領域の揺れと比して顕著ではなかったり、揺れが長時間続いたりするような、動揺の大きさの知覚量と不快度とが乖離する条件でも、視聴者が画面動揺によって感じる不快度を高精度に推定できるようにする。【解決手段】不快度推定装置２は、周方向ベクトルを抽出する回転動揺成分抽出部１０と、低周波回転動揺補正量を検出するデジタルフィルタ部２０と、低周波回転動揺補正量によって動揺認知量を補正する低周波回転動揺補正部４０と、領域別誘目度を算出する領域別誘目度算出部５０と、領域別誘目度によって動揺認知量と不快度の差を補正する誘目度補正部７０と、長時間継続する動揺に対する不快度の蓄積効果分を補正する総動揺エネルギー補正部８０と、を備える。【選択図】図８
2018129002.tif 000002
【特許請求の範囲】
【請求項１】
映像における動揺認知量と物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置であって、
画面を複数に分割した領域中で動揺のある領域において、周方向ベクトルを抽出する回転動揺成分抽出部と、
前記周方向ベクトルをデジタルフィルタリングすることによって、低周波回転動揺に対する感度増加分ベクトルを検出するデジタルフィルタ部と、
前記低周波回転動揺に対する感度増加分ベクトルの自乗値の前記画面全体での総和を取った上で時間内加算することによって低周波回転動揺補正量を算出する低周波回転動揺補正量算出部と、
不快度の上昇分に相当する前記低周波回転動揺補正量を前記動揺認知量に加えることで不快度の上昇分を補正し、低周波回転動揺補正済み動揺認知量を得る低周波回転動揺補正部と、
各前記領域の目立ちやすさの指標である領域別誘目度を算出する領域別誘目度算出部と、
前記領域別誘目度に基づいて、誘目度の偏りによる不快度の低下分に相当する誘目度補正量を算出する誘目度補正量算出部と、
前記誘目度補正量を前記低周波回転動揺補正済み動揺認知量から減ずることで不快度の低下分を補正し、誘目度補正済み動揺認知量を得る誘目度補正部と、
所定時間以上継続する動揺に対する不快度の蓄積効果分の補正を前記誘目度補正済み動揺認知量に施すことで、推定不快度に相当する補正済み総動揺エネルギーを得る総動揺エネルギー補正部と、
を備えることを特徴とする不快度推定装置。
【請求項２】
コンピュータを請求項１に記載の不快度推定装置として機能させることを特徴とする不快度推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、揺れのある映像に対する動揺の不快度を推定する不快度推定装置及び不快度推定プログラムに関する。
【背景技術】
【０００２】
家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、画面動揺（映像の揺れ）によって誘発される不快感が増大する傾向があり、場合によっては視聴者が映像酔いを起こして健康被害に至る例もある。画面動揺の多くは、撮影時のビデオカメラの動き、すなわちグローバルモーションに起因する。かかる事態を予防するため、手持ち撮影用ビデオカメラ等には「手ぶれ補正」機能の搭載がほぼ必須となっている。また、撮影された映像に含まれるグローバルモーションを軽減する「映像スタビライズ」ソフトウェアも数多く開発されている。さらに、グローバルモーションと脈拍・血圧等との生理的な指標との関係を探ることによって、不快な状態を推定しようとする試みも行われている（非特許文献１参照）。
【０００３】
しかし、前記した「手ぶれ補正」では、長周期の揺れは補正ができない、又は、不十分である。また、「映像スタビライズ」では、短い期間内の映像の揺れを無くすか低減したり、滑らかな画面移動に変換したりするだけある。すなわち、「映像スタビライズ」は、どのような性質でどの程度の大きさの揺れならば残っていても良いといった客観的な基準に則っているものではない。また、この客観的な基準として脈拍・血圧等の生理的な指標を用いることができたとしても、明示できるのは健康被害に達する条件及び、その条件に対する現在の生理的状態の程度のみである。
【０００４】
これに対し、放送、映画等の映像コンテンツの供給者は、映像制作段階において、映像の安全性のみならず、視聴者の大半にグローバルモーション（画面全体の動き）あるいは画面のある程度まとまった領域の動きに伴う不快感を催させないように留意する必要がある。しかしながら、前記した従来の技術は、画面の全体あるいはある程度まとまった領域の動きに対する視聴者の心理的な「不快度」を具体的に把握するものではないため、「不快度」を基準とした映像の良否を判定するには不向きであった。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「映像酔いガイドライン検証システムの実用化に関するフィージビリティスタディ報告書」、財団法人機械システム振興協会、平成２０年３月
【特許文献】
【０００６】
【特許文献１】特開２０１６−１６２２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
かかる問題を解消するため、本願出願人は、生理的指標を用いることなく、画面の全体あるいはある程度まとまった領域の動きと主観評価実験で得られた不快度との関係を用いて、映像を解析して得られた物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置（特許文献１参照）を開発した。さらに、本願出願人は、「同じ大きさの揺れであっても映像の内容によって不快度が異なる」と言う事象に対応するため、認知される動揺量（動揺認知量）をまず高精度に推定した上で、推定された動揺認知量と映像内容とによって不快度を推定するシステムにおける動揺認知量推定装置（特願２０１６−０３７０７０、本願出願時未公開）を開発した。
【０００８】
しかし、不快度とは異なり動揺継続時間が所定時間（例えば、３秒）を境に飽和する事象と、水平・垂直・同心方向の揺れとは異なり、所定時間以上の周期（例えば、６秒周期前後）の低周波の周（回転）方向の揺れにだけ感度が高まるのは不快度だけで、動揺認知量に関しては、当該周期の周方向の揺れに対する感度も前記他の方向の揺れに対するものと同等である事象、及び、揺れている領域の縦横比が１ではない場合、長辺に直交する方向の揺れの動揺認知量が大きく、短辺に直交する方向の揺れの動揺認知量が小さくなる事象、が確認された。そのため、本願出願人は、これに対応するように改良を施した動揺認知量推定装置（特願２０１７−０２３３７８、本願出願時未公開）を開発した。
【０００９】
「同じ大きさの揺れであっても映像の内容によって不快度が異なる」と言う事象に対応するために考案した、「動揺認知量をまず高精度に推定した上で、推定された動揺認知量と映像内容（特徴量）とによって不快度を推定するシステム」については、前記した改良版の動揺認知量推定装置によって、動揺認知量を高精度に推定することができる。すなわち、改良版の動揺認知量推定装置は、不快度とは異なり動揺継続時間は３秒を境に飽和する事象と、水平・垂直・同心方向の揺れとは異なり、不快度とは異なり動揺認知量は６秒周期前後の低周波の周（回転）方向の揺れに対する感度も前記他の方向の揺れに対するものと同等である事象、及び、揺れている領域の縦横比が１ではない場合、長辺に直交する方向の揺れの動揺認知量が大きく、短辺に直交する方向の揺れの動揺認知量が小さくなる事象、を的確に反映することによって、動揺認知量を高精度に推定する。
【００１０】
しかし、肝心な最終的に不快度推定精度を向上する具体的手段、すなわち、高精度に推定された動揺認知量を用い、不快度と動揺認知量とが不変な線形対応を示すものではなくなる映像の物理的特徴量の影響を反映した不快度の推定手法については未だ示されていない。つまり、揺れている領域の縦横比が１ではない場合の揺れの向きによって動揺認知量が異なる事象については、不快度も同じ性質を示しているので、不変な線形対応があるものとして構わないが、所定時間（例えば３秒）の動揺継続時間を境として動揺認知量と不快度とが乖離する事象と、所定時間よりも長い周期（例えば６秒周期前後）の低周波の周方向の揺れに対してだけ不快度の感度が高まるのは事象については、動揺認知量と不快度との対応関係を改変する必要が残されている。さらには、映像内で目立つ対象の揺れがそれ以外の領域の揺れと比して顕著ではない場合には不快度が低下する事象も確認されており、これに対する補正も行う必要がある。
【００１１】
本発明は、前記した事情に鑑みて創案されたものであり、視聴者が画面動揺のある映像（動揺映像）を観視した際に最初に認知する動揺量である動揺認知量の高精度な推定値と、映像の物理的特徴量（動揺認知量を推定するために動揺認知量推定装置で既に抽出済みの特徴量に新たな特徴量を加えたもの）とを用いて、動揺認知量と乖離する不快度を高精度に推定することが可能な不快度推定装置及び不快度推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するため、本発明の不快度推定装置は、映像における動揺認知量と物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置であって、回転動揺成分抽出部と、デジタルフィルタ部と、低周波回転動揺補正量算出部と、低周波回転動揺補正部と、領域別誘目度算出部と、誘目度補正量算出部と、誘目度補正部と、総動揺エネルギー補正部と、を備える。
【００１３】
不快度推定装置は、回転動揺成分抽出部によって、画面を複数に分割した領域に基づき、動揺のある領域において優先的に周方向ベクトルを抽出し、デジタルフィルタ部によって、前記周方向ベクトルをデジタルフィルタリングして「低周波回転動揺に対する感度増加分」を検出する。
また、不快度推定装置は、低周波回転動揺補正量算出部によって、前記「低周波回転動揺に対する感度増加分」を画面全体での総和を取った上で動揺認知量推定用と同じ時間内加算をすることで低周波回転動揺補正量を算出し、低周波回転動揺補正部によって、前記低周波回転動揺補正量を用いて動揺認知量の大きさを補正することで低周波回転動揺補正済み動揺認知量を得る。
また、不快度推定装置は、領域別誘目度算出部によって、領域ごとの目立ちやすさの指標である領域別誘目度を算出し、誘目度補正量算出部によって、前記領域別誘目度と領域番号および動き領域別短時間動揺エネルギーを用い、誘目度の偏りによる不快度の低下分を補正するための誘目度補正量を算出する。
また、不快度推定装置は、誘目度補正部によって、前記誘目度補正量に基づいて前記低周波回転動揺補正済み動揺認知量をさらに補正して誘目度補正済み動揺認知量を得て、総動揺エネルギー補正部によって、所定時間以上継続する動揺に対する不快度の蓄積効果分の補正を前記誘目度補正済み動揺認知量に施すことで補正済み総動揺エネルギーを得て、前記補正済み総動揺エネルギーを推定不快度として出力する。
【００１４】
かかる構成により、揺れの大きさとしては同じように感じる映像であっても、所定時間以上の周期（例えば、６秒周期前後）の低周波の周方向の揺れを多く含んでいる場合の不快度上昇と、映像内で目立つ対象の揺れがそれ以外の領域の揺れと比して顕著ではない場合の不快度低下、さらには、揺れが所定時間（例えば、３秒）以上継続する場合の不快度上昇、これら全てに対応して、高精度に不快度を推定することが可能になる。
【００１５】
また、本発明は、コンピュータを前記した不快度推定装置として機能させる不快度推定プログラムとしても具現化可能である。
【発明の効果】
【００１６】
本発明によると、画面動揺を含む一般映像において、揺れの大きさとしては同じように感じる映像であっても、所定時間よりも大きい周期（例えば６秒周期前後）の低周波の周（回転）方向の揺れを多く含んでいる場合の不快度上昇や、映像内で目立つ対象の揺れがそれ以外の領域の揺れと比して顕著ではない場合の不快度低下、さらには、揺れが所定時間（例えば３秒）以上継続する場合の不快度上昇、これら全てに対応して、高精度に不快度を推定することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る不快度推定装置と前処理部としての動揺認知量推定装置を備える不快度推定システムの構成例を示すブロック図である。
【図２】前処理部としての動揺認知量推定装置を示すブロック図である。
【図３】動きベクトルに対する動揺認知感度の周波数特性の一例を示すグラフである。
【図４】映像の輝度信号に対し空間周波数成分に応じて感度補正する特性の一例を示す図である。
【図５】動き領域間相関値に応じて領域別動揺エネルギーを補正する特性の一例を示す図である。
【図６】動き領域内部境界間相関値に応じて領域別動揺エネルギーを補正する特性の一例を示す図である。
【図７】動揺エネルギーを時間加算する際に乗じる時間窓の一例を示す図であり、低周波回転動揺補正量及び誘目度補正量を動揺認知量と同じ窓関数を掛けて時間積分する際の窓関数の一例を示す図である。
【図８】本発明の実施形態に係る不快度推定装置を示すブロック図である。
【図９】（ａ）は周（回転）方向の揺れを他の方向の揺れより優先して抽出する場合の周方向ベクトル算出の一例を示す図、（ｂ）は動揺のある領域の中心を回転中心とした周方向の揺れを抽出する通常の周方向ベクトル算出の一例を示す図である。
【図１０】低周波回転動揺に対する感度増加分を検出するデジタルフィルタの伝達特性の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。
図１に示すように、本発明の実施形態に係る不快度推定システムＡは、動揺認知量推定装置１と、不快度推定装置２と、を備える。不快度推定装置２は、動揺認知量推定装置１と映像の特徴量とを用いることで、不快度推定誤差を抑制することを可能にしたものであり、機能部として、特徴量抽出部３と、不快度推定部４と、を備える。ただし、動揺認知量推定装置１の構成は、本発明の実施形態に係る不快度推定装置２の前処理を行う装置であるので、本発明の実施形態に供する上で、必ずしも下記構成例の形態を採るものではない。
【００１９】
＜動揺認知量推定装置＞
本発明の実施形態に供する前処理部に相当する動揺認知量推定装置１の一例は、図２に示すような、映像における動きベクトルに基づいて画面動揺に対する動揺認知量推定値を出力するものであり、機能部として、領域別動きベクトル検出部１１０と、デジタルフィルタ部１２０と、動き領域判定部１３０と、動き領域番号付与部１４０と、水平・垂直比算出部１５０と、水平・垂直成分補正部１６０と、領域別空間周波数感度補正部１７０と、空間周波数エネルギー算出部１８０と、動き領域間相関値算出部１９０と、動き領域内部境界間相関値算出部２００と、動き領域別短時間動揺エネルギー算出部２１０と、時間窓内総動揺エネルギー算出部２２０と、を備える。ここで、動揺認知量推定装置１によって推定される動揺認知量は、動揺映像を観視した視聴者が始めに認知する動揺量である。ここで、「始めに認知する」とは、視聴者が映像内容によって不快であるか否かというように感じ方に違いが生じる前に、視聴者が「揺れが大きいか否か」を純然と感じる、揺れの大きさの認知過程を意味している。
【００２０】
かかる機能部のうち、領域別動きベクトル検出部１１０、デジタルフィルタ部１２０、動き領域判定部１３０、水平・垂直成分補正部１６０、領域別空間周波数感度補正部１７０及び空間周波数エネルギー算出部１８０の組み合わせに関しては、画面を分割した複数（１〜Ｎ）の領域に対応して複数（Ｎ）セットが設けられている。
【００２１】
＜領域別動きベクトル検出部＞
領域別動きベクトル検出部１１０は、当該検出部１１０に対応する領域の映像信号を取得し、取得された映像信号に基づいて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトル（フレーム間の差分）を時系列に検出する。また、領域別動きベクトル検出部１１０は、検出結果をデジタルフィルタ部１２０へ出力する。本実施形態において、領域別動きベクトル検出部１１０は、動きベクトルとして、動き量の水平方向成分、及び、垂直方向成分をそれぞれ検出する。
【００２２】
＜デジタルフィルタ部＞
デジタルフィルタ部１２０は、領域別動きベクトル検出部１１０によって検出された動きベクトルを取得し、取得された動きベクトルの水平方向及び垂直方向の各成分に周波数感度補正を施すことによって周波数感度補正済み動きベクトルを得る。また、デジタルフィルタ部１２０は、得られた周波数感度補正済み動きベクトルを動き領域判定部１３０、動き領域番号付与部１４０及び水平・垂直成分補正部１６０へ出力する。本実施形態において、デジタルフィルタ部１２０は、水平方向のデジタルフィルタ１２１と、垂直方向のデジタルフィルタ１２２と、を並列に備える。
【００２３】
水平方向のデジタルフィルタ１２１は、動きベクトルの水平方向成分に周波数感度補正を施す。垂直方向のデジタルフィルタ１２２は、動きベクトルの垂直方向成分に周波数感度補正を施す。水平方向のデジタルフィルタ１２１及び垂直方向のデジタルフィルタ１２２は、それぞれ、水平・垂直各方向成分に対して図３に示す動揺認知量の周波数感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、周波数感度補正済み動きベクトル（の水平方向成分及び垂直方向成分）を得る。既出願（特願２０１６−０３７０７０、本願出願時未公開）の動揺認知量推定装置においては、水平方向成分と垂直方向成分とでは異なる周波数感度補正特性を用いていたが、本発明の実施形態では、後に動揺領域の水平・垂直比によって水平・垂直各方向の動揺成分を補正する構成となっているため、水平方向のデジタルフィルタ１２１及び垂直方向のデジタルフィルタ１２２において同じ周波数感度補正特性を用いることができる。また、水平方向のデジタルフィルタ１２１及び垂直方向のデジタルフィルタ１２２は、それぞれ、得られた周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分を動き領域判定部１３０、動き領域番号付与部１４０及び水平・垂直成分補正部１６０へ出力する。
【００２４】
なお、水平方向のデジタルフィルタ１２１及び垂直方向のデジタルフィルタ１２２においては、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本発明の実施形態に係る動揺認知量推定装置１は、１画面で多数の領域ごとに周波数補正を行うものであるため、演算量の少ない畳み込み積分を用いる方が望ましい。
【００２５】
＜動き領域判定部＞
動き領域判定部１３０は、デジタルフィルタ部１２０から出力された周波数感度補正済み動きベクトルを取得し、周波数感度補正済み動きベクトルの大きさが予め定められた閾値以上である場合に、該当する領域において「動きあり」と判定する。本実施形態において、動き領域判定部１３０は、計算の簡略化のため、水平方向動き量（すなわち、周波数感度補正済み動きベクトルの水平方向成分の大きさ）の二乗と垂直方向動き量（すなわち、周波数感度補正済み動きベクトルの垂直方向成分の大きさ）の二乗との和が閾値（前記した閾値の二乗）以上である場合に、「動きあり」と判定することができる。動き領域判定部１３０は、「動きあり」の場合と「動きなし」の場合とで異なる値、例えば、「動きあり」の場合は「０」、「動きなし」の場合は「−１」に設定し、設定結果を動きの有無の判定結果として動き領域番号付与部１４０へ出力する。
【００２６】
＜動き領域番号付与部＞
動き領域番号付与部１４０は、デジタルフィルタ部１２０から出力された周波数感度補正済み動きベクトルと、動き領域判定部１３０の判定結果と、を取得し、取得された周波数感度補正済み動きベクトル及び判定結果に基づいて、動きありと判定された領域に対して同じ動き領域に属する領域ごとに動き領域番号を付与する。動き領域番号付与部１４０は、一の領域の補正済み動きベクトルと、隣接する領域の補正済み動きベクトルと、の差分ベクトルの大きさが所定値以下である場合に、一の領域と隣接する領域とが「同じ動き領域」であるとし、これらに同じ「動き領域仮番号」を付与する。かかる所定値は、画面の全体又はある程度まとまった領域の動きと主観評価実験で得られた動揺認知量との関係を用いて設定することができる。
【００２７】
さらに、動き領域番号付与部１４０は、隣接する「異なる動き領域」の境界において、フレーム間でいずれの領域がもう一方の領域を遮蔽しているかを調べることにより、領域の前後関係を判定する。動き領域番号付与部１４０は、領域の前後関係を全ての動き領域について調べた結果に基づいて、一番背後にある動き領域から順に「動き領域仮番号」を並べ直した後、それぞれの動き領域に並べ直した順番に沿い、「１」から順に正式な「動き領域番号」を付与する。ここで、動き領域番号付与部１４０は、隣接していない複数の動き領域がいずれも同じ動き領域と隣接している場合には、複数の動き領域の前後関係を特定することができないが、全ての隣接する動き領域間で前後関係に破綻を来たさない限り、順序を入れ替えてもかまわない。ただし、隣接していない２つの動き領域ＡとＢがともに同じ動き領域Ｃと隣接するとともに同じ前後関係である場合であっても、動き領域Ｃと隣接する別の動き領域Ｄがやはり動き領域ＡとＢの両方と隣接するとともに異なる前後関係である場合には、動き領域Ａ，Ｂ，Ｃ，Ｄの前後関係の順序は一意に定まる。なお、動き領域の前後関係の順序の判定手法としては、映像における被写体のオクルージョンの検出手法等と同様の公知の手法を採用することができる。
【００２８】
ここで、動き領域番号付与部１４０は、一番背後にある動き領域から順に動き領域番号を付与することとしたが、動き領域番号の大小関係が前後関係を表していさえすればよいので、一番手前にある動き領域から順に動き領域番号を付与してもかまわない。
【００２９】
また、動き領域番号付与部１４０は、動きなしと判定された領域に関しては、動き領域判定部１３０と同様に「−１」を付与する。この値は「−１」に限定する必要はなく、動きありと判定された領域に付与された動き領域番号のいずれとも異なる特定の値でありさえすれば良いが、動き領域番号が正の値であるので、最も大きい負の値である「−１」とするのが望ましい。
【００３０】
また、動き領域番号付与部１４０は、動きありと判定された領域であっても、隣接するいずれの領域とも異なる動きとなっている領域については、動き領域判定部１３０と同様に「０」を付与する。この値も「０」に限定する必要はなく、正の値である動き領域番号とも、動きなしと判定された領域番号である「−１」とも容易に区別できる「０」とするのが望ましい。
【００３１】
動き領域番号付与部１４０は、前記の手順で各領域に付与された動き領域番号を水平・垂直比算出部１５０、動き領域間相関値算出部１９０、動き領域内部境界間相関値算出部２００及び動き領域別短時間動揺エネルギー算出部２１０へ出力する。
【００３２】
＜水平・垂直比算出部＞
水平・垂直比算出部１５０は、動き領域番号付与部１４０から出力された動き領域番号を取得し、初めに、同じ領域番号が付与された動き領域の形状の１次モーメント（重心位置）を算出する。続いて、水平・垂直比算出部１５０は、同じ領域番号が付与された動き領域内の各領域と重心位置と各領域の位置との差の水平成分及び垂直成分のそれぞれの二乗の総和を、２次モーメントの水平成分と垂直成分として算出する。最後に、２次モーメントの水平成分と垂直成分の比の平方根を計算することで、各動き領域の水平・垂直比を得て、各領域の水平・垂直成分補正部１６０へ出力する。
【００３３】
ここで、後記する水平・垂直成分補正部１６０において動揺エネルギーの補正を行う際には、水平・垂直比の値を指数乗して用いるため、水平・垂直比算出部１５０から動き領域ごとに出力される水平・垂直比は、２次モーメントの水平成分と垂直成分の比の平方根ではなく、２次モーメントの水平成分と垂直成分の比、すなわち水平・垂直比の二乗値としてもよい。
【００３４】
＜水平・垂直成分補正部＞
水平・垂直成分補正部１６０は、水平・垂直比算出部１５０から出力された各領域における水平・垂直比と、デジタルフィルタ部１２０から出力された周波数感度補正済み動きベクトル、とを取得し、領域の前記周波数感度補正済み動きベクトルと前記水平・垂直比とを用いて、前記周波数感度補正済み動きベクトルの水平・垂直成分の大きさを前記水平・垂直比に応じて補正することによって水平・垂直比補正済み動きベクトルを得る。本実施形態において、水平・垂直成分補正部１６０は、水平・垂直比の値をα乗（水平・垂直成分補正部１６０からの出力が水平・垂直比ではなく水平・垂直比の二乗値である場合には０．５α乗）した後、周波数感度補正済み動きベクトルの水平成分及び垂直成分にそれぞれ乗じることにより水平・垂直比補正済み動きベクトルを得る。また、水平・垂直成分補正部１６０は、得られた水平・垂直比補正済み動きベクトルを、動き領域間相関値算出部１９０、動き領域内部境界間相関値算出部２００及び動き領域別短時間動揺エネルギー算出部２１０へ出力する。ここで、αの値については、α≒０．１８で誤差が最小となる。
【００３５】
＜領域別空間周波数感度補正部＞
領域別空間周波数感度補正部１７０は、領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する前処理として、領域別動きベクトル検出部１１０で画面を分割した領域ごとに、映像の輝度信号に対して図４に示す空間周波数感度補正を施す。また、領域別空間周波数感度補正部１７０は、局所的な明暗コントラストの影響度を反映するために、空間周波数感度補正が施された映像の輝度信号（明暗コントラストの影響度の反映前）を、当該領域内の映像信号の直流成分の平方根で除すことにより、空間周波数感度補正済み映像信号を得る。また、領域別空間周波数感度補正部１７０は、得られた空間周波数感度補正済み映像信号（明暗コントラストの影響度の反映後）を空間周波数エネルギー算出部１８０へ出力する。
【００３６】
図４の特性は、水平・垂直・斜めのいずれ方向に対しても同等であるとしても大きな誤差を生じない（正確には斜め方向の高周波域の感度は水平・垂直方向での感度の８０％に低減するが、これによる動揺認知量の推定誤差の増加分は０．１ランク未満である）。したがって、領域別空間周波数感度補正部１７０は、グラフの原点を通る縦軸を中心軸として図４の特性を３６０°回転させた２次元空間周波数感度特性となる２次元インパルスレスポンスを、映像の輝度信号に対して畳み込み積分することによって空間周波数感度補正を施すことができる。
【００３７】
＜空間周波数エネルギー算出部＞
空間周波数エネルギー算出部１８０は、当該領域において領域別空間周波数感度補正部１７０から出力された空間周波数感度補正済み映像信号を取得し、取得された空間周波数感度補正済み映像信号を二乗した値の総和を求めることで、前記した領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する。また、空間周波数エネルギー算出部１８０は、算出された空間周波数感度補正済みエネルギーを動き領域別短時間動揺エネルギー算出部２１０へ出力する。
【００３８】
＜動き領域間相関値算出部＞
動き領域間相関値算出部１９０は、動き領域番号付与部１４０から出力された動き領域番号と、水平・垂直成分補正部１６０から出力された水平・垂直比補正済み動きベクトルと、を取得し、取得された動き領域番号及び水平・垂直比補正済み動きベクトルに基づいて動き領域間相関値を算出する。詳細には、動き領域間相関値算出部１９０は、動き領域境界における前景領域と背景領域との間の水平・垂直比補正済み動きベクトルの相関値を求めることで、前景と背景との動揺の相関の影響度に対する補正を行うのに必要となる動き領域間相関値を算出する。また、動き領域間相関値算出部１９０は、算出された動き領域間相関値を動き領域別短時間動揺エネルギー算出部２１０へ出力する。
【００３９】
本実施形態において、動き領域間相関値算出部１９０は、領域Ａと領域Ｂとの境界に隣接する領域Ａの画素群の動きベクトルの平均すなわち平均動きベクトルをＶＡ、領域Ａと領域Ｂとの境界に隣接する領域Ｂの画素群の動きベクトルの平均すなわち平均動きベクトルをＶＢとしたとき、単位時間（例えば、２〜３秒）における動き領域間相関値Ｃ１を、次式によって算出する。
Ｃ１＝Σ（ＶＡ・ＶＢ）／Σ（‖ＶＡ‖×‖ＶＢ‖）
ここで、「・」は内積を表す。
【００４０】
＜動き領域内部境界間相関値算出部＞
動揺映像においては、同じ面積でかつ同じ動揺の大きさであっても、領域全体が動揺している場合の方が、領域の境界は動かず内部のみが動揺している場合よりも動揺認知量が大きくなる性質がある。動き領域内部境界間相関値算出部２００は、動き領域番号付与部１４０から出力された動き領域番号と、水平・垂直成分補正部１６０から出力された水平・垂直比補正済み動きベクトルと、を取得し、これらに基づいて動き領域内部境界間相関値を算出する。詳細には、動き領域内部境界間相関値算出部２００は、動き領域境界自体の動きベクトルと動き領域内部の水平・垂直比補正済み動きベクトルとの相関値を求めることで、前記した性質を反映する補正を施すのに必要になる動き領域内部境界間相関値を得て、動き領域別短時間動揺エネルギー算出部２１０へ出力する。
【００４１】
本実施形態において、動き領域内部境界間相関値算出部２００は、領域Ａの最外周（他領域との境界）の画素群の動きベクトルの平均すなわち平均動きベクトルをＶＡ１、領域Ａの最外周以外（すなわち内部）の画素群の動きベクトルの平均すなわち平均動きベクトルをＶＡ２としたとき、単位時間（例えば、２〜３秒）における動き領域内部境界間相関値Ｃ２を、次式によって算出する。
Ｃ２＝Σ（ＶＡ１・ＶＡ２）／Σ（‖ＶＡ１‖×‖ＶＡ２‖）
ここで、「・」は内積を表す。
【００４２】
＜動き領域別短時間動揺エネルギー算出部＞
動き領域別短時間動揺エネルギー算出部２１０は、動き領域番号付与部１４０から出力された各領域の動き領域番号と、水平・垂直成分補正部１６０から出力された水平・垂直比補正済み動きベクトルと、空間周波数エネルギー算出部１８０から出力された空間周波数感度補正済みエネルギーと、動き領域間相関値算出部１９０から出力された動き領域間相関値と、動き領域内部境界間相関値算出部２００から出力された動き領域内部境界間相関値と、を取得し、同じ動き領域番号が付与された領域ごとに、当該領域内の水平・垂直比補正済み動きベクトルの大きさの二乗を、動きベクトルが検出された画像間の時間である短時間ごとにそれぞれ求めた個別短時間動揺エネルギーに対し、補正済み空間周波数エネルギー、動き領域間相関値及び動き領域内部境界間相関値に応じて補正を施した後、当該動き領域内で補正が施された個別短時間動揺エネルギーの総和を求め、求められた総和を動き領域番号ごとの動き領域別短時間動揺エネルギーとして算出する。なお、補正済み空間周波数エネルギー、動き領域間相関値及び動き領域内部境界間相関値に応じた補正は、前記した順番に行われてもよく、適宜順番を入れ替えて行われてもよい。本実施形態において、動き領域別短時間動揺エネルギー算出部２１０は、初めに、同じ動き領域番号が付与された領域ごとに、各フレーム間において当該領域内の水平・垂直比補正済みベクトルの水平成分及び垂直成分の二乗和をそれぞれ求め、個別動揺エネルギーを得る。
【００４３】
次に、動き領域別短時間動揺エネルギー算出部２１０は、領域の見えやすさの影響度に対する補正として、補正済み空間周波数エネルギーをβ乗した値を個別動揺エネルギーに乗じる処理を施し、空間周波数補正済み個別動揺エネルギーを得る。ここで、β≒０．３のときに誤差が最小になる。
次に、動き領域別短時間動揺エネルギー算出部２１０は、前景と背景との動揺の相関の影響度に対する補正として、図５の特性で示される動き領域間相関値に応じた補正値を空間周波数補正済み個別動揺エネルギーに乗じる処理を施し、動き領域間相関値補正済み個別動揺エネルギーを得る。
さらに、動き領域別短時間動揺エネルギー算出部２１０は、動き領域の境界自体がどの程度領域内部と同期して動揺しているのかによる補正として、図６の特性で示される動き領域内部境界間相関値に応じた補正値を動き領域間相関値補正済み個別動揺エネルギーに乗じる処理を施し、動き領域内部境界間相関値補正済み個別動揺エネルギーを得る。
最後に、動き領域別短時間動揺エネルギー算出部２１０は、同じ動き領域番号の動き領域内で動き領域内部境界間相関値補正済み個別動揺エネルギーの総和を算出することで、動き領域番号ごとの動き領域別短時間動揺エネルギーを得て、得られた動き領域番号ごとの動き領域別短時間動揺エネルギーを時間窓内総動揺エネルギー算出部２２０へ出力する。
【００４４】
＜時間窓内総動揺エネルギー算出部＞
時間窓内総動揺エネルギー算出部２２０は、動き領域別短時間動揺エネルギー算出部２１０から出力された動き領域番号ごとの動き領域別短時間動揺エネルギーを取得し、前記短時間ごとの全ての動き領域の前記動き領域別短時間動揺エネルギーに時間窓の伝達率を乗じたものを、時間窓分だけ非線形加算することによって前記動揺認知量に相当する前記時間窓内の総動揺エネルギーを得る。本実施形態において、時間窓内総動揺エネルギー算出部２２０は、初めに、全ての動き領域で動き領域別短時間動揺エネルギーの総和を求め、全画面短時間動揺エネルギーを得る。ここで、既出願の動揺認知量推定装置では、動き領域番号の数が多いほど不快度が小さくなる事象を反映させるため、動きベクトルの大きさの二乗値に相当する動き領域別短時間動揺エネルギーをγ乗（γ＞１）した値の総和を求めてから１／γ乗していたが、動揺認知量自体は動き領域番号の数に依存していないことから、この補正は動揺認知量推定装置１ではなく、図１の不快度推定装置２において映像特徴量による補正として行うこととして省略する。なお、時間窓は、動きベクトルが検出された画像間の時間である短時間よりも長い時間（例えば、後記する図７の例では、伝達率半減区間が３秒、ロールオフ区間を含めると５．５秒）に設定される。
【００４５】
次に、時間窓内総動揺エネルギー算出部２２０は、時刻ｔがｔ＝Ｔからｔ＝Ｔ−Ｎまで遡る時区間の全フレームにおいて、全画面短時間動揺エネルギーＰ（ｔ）に図７の総合特性で示された時間窓の伝達率Ｗ（Ｔ−ｔ−ｄ）を乗じた上でε乗して非線形加算するために、下記の計算を行い、時間窓内において動揺認知量推定値に相当する総動揺エネルギーＥ（Ｔ）を得る。
Ｅ（Ｔ）＝Σ（Ｗ（Ｔ−ｔ−ｄ）・Ｐ（ｔ））ε
図７において、時間窓の伝達特性に相当する総合特性は、動きベクトルの大きさに対する不快度の減衰特性と、伝達率半減時刻０秒及び３秒のそれぞれ±ｄの時区間を遷移域とするコサインロールオフ特性、との積である合成特性の伝達率を二乗したものである。ここで、合成特性の伝達率を二乗するのは、エネルギーが動きベクトルの二乗に相当するからである。
ここで、−ｄは現時点より未来の時刻となり、動揺エネルギーは得られないため、前記の時間窓の伝達率は、Ｗ（Ｔ−ｔ−ｄ）のように設定されている。これにより、動揺認知量は動揺が始まってから時間ｄだけ遅れて有効な値が得られることになるが、実際の動揺も１秒程度遅れて認知されていることから問題とはならない。また、Ｎは、Ｎ＝３＋２ｄとなる。また、εの値の誤差は、ε≒０．６７のときに最小となる。
そして、時間窓内総動揺エネルギー算出部２２０は、算出された総動揺エネルギーを動揺認知量推定値として不快度推定装置２（図１参照）へ出力する。
【００４６】
前記したように、動揺認知量推定装置１は、本発明の実施形態に係る不快度推定装置２の前処理を行う装置であるので、本発明の実施形態に供する上で、動揺認知量推定装置１は、前記した機能部による構成例以外の構成であってもよい。しかし、本発明の実施形態に係る不快度推定装置２では、不快度を推定するのに用いる映像の特徴量の一部として、図２に示す動揺認知量推定装置１の構成例でも用いられる、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分、動き領域番号及び動き領域別短時間動揺エネルギーといった算出途上特徴量を流用しているので、動揺認知量推定装置１からこれらの特徴量が得られない構成である場合には、不快度推定装置２は、当該特徴量を算出するための機能部を備えることになる。
【００４７】
＜不快度推定装置＞
本発明の実施形態に係る不快度推定装置２は、図８に示すように、動揺認知量推定装置１から得られる動揺認知量と、動揺認知量推定装置１の算出途上特徴量であるところの、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分、動き領域番号、及び動き領域別短時間動揺エネルギーと、映像内の部分領域において視線誘導につながる目の引きやすさの指標となる誘目度と、に基づいて画面動揺に対する不快度を推定するものである。不快度推定装置２は、機能部として、回転動揺成分抽出部１０と、デジタルフィルタ部２０と、低周波回転動揺補正量算出部３０と、低周波回転動揺補正部４０と、領域別誘目度算出部５０と、誘目度補正量算出部６０と、誘目度補正部７０と、総動揺エネルギー補正部８０と、を備える。
かかる機能部のうち、回転動揺成分抽出部１０、デジタルフィルタ部２０、低周波回転動揺補正量算出部３０、領域別誘目度算出部５０及び誘目度補正量算出部６０の組み合わせが、図１における特徴量抽出部３に相当する。また、低周波回転動揺補正部４０、誘目度補正部７０及び総動揺エネルギー補正部８０の組み合わせが、図１における不快度推定部４に相当する。
また、デジタルフィルタ部２０及び領域別誘目度算出部５０の組み合わせは、画面を分割した複数（１〜Ｎ）の領域に対応して複数（Ｎ）セットが設けられている。
【００４８】
＜回転動揺成分抽出部＞
回転動揺成分抽出部１０は、動揺認知量推定装置と同じように画面を複数に分割した領域中で動揺のある領域において、周方向ベクトルを抽出する。本実施形態において、回転動揺成分抽出部１０は、動揺認知量推定装置１から出力される算出途上特徴量のうち、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分と、動き領域番号と、を取得し、全画面中で有効な動きがある領域（前記の番号付与の例では動き領域番号が０と−１ではない領域）における動きベクトルを用いて、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと実際の前記補正済み動きベクトルとの二乗誤差の総和が最小となるときの回転中心と回転角とを算出する。さらに、回転動揺成分抽出部１０は、算出された回転中心及び回転角に基づいて、各領域の中心における周方向（回転中心への同心方向と直交する方向）のベクトルを算出し、当該ベクトルの水平方向成分と垂直方向成分との組を周方向ベクトルとしてデジタルフィルタ部２０へ出力する。
【００４９】
ここで、回転中心を定めるに際し、通常のカメラパラメータ計測時のように、並進運動（上下・左右の方向の動き）を取り除いた後の映像の中心（部分動揺映像では動きのある領域の中心）ではなく、回転エネルギーが最大かつ全ベクトルとの二乗誤差が最小となる回転中心と回転角とが用いられる。これは、手持ちカメラで傾き角が変動して撮影される場合、その回転中心は、画面中心から大きくズレている。そして、このような映像を見た人の大半は、「撮影対象の中心を移動した後に傾いた」とは感じずに、「撮影対象の中心から離れたある点を中心に傾いた」と感じることに基づいている。
【００５０】
ここで、図９を参照してその違いについて説明する。領域１〜９が縦３×横３に配置された映像に関して、図９（ａ）に示すように、アミの掛かっていない左上の４つの領域１，２，４，５のみに各動きベクトルがある場合において、回転中心は、×印のついた右下（領域５，６，８，９の境界）にあり、４つの動きベクトルは、すべて周方向ベクトルとなっている。それに対し、図９（ｂ）に示す通常のカメラパラメータ計測では、×印のついた動きのある領域を中心にして並進運動ベクトル（×印をつけた中心位置（領域１，２，４，５の境界）に表記）と周方向ベクトルに分かれている。周方向ベクトルのエネルギーの総和である回転エネルギーは、図９（ａ）の例では４０であるのに対し、図９（ｂ）の例では８である。このローテートすなわち周方向（回転方向）の動揺の周期がもし６秒前後だったとしたら、これらの不快度は、０．３ランクも違ってしまうことになる。
【００５１】
＜デジタルフィルタ部＞
図８に示すように、デジタルフィルタ部２０は、回転動揺成分抽出部１０によって検出された周方向ベクトルを取得し、取得された周方向ベクトルをデジタルフィルタリングすることによって、低周波回転動揺に対する感度増加分ベクトルを検出する。本実施形態において、デジタルフィルタ部２０は、取得された動きベクトルすなわち周方向ベクトルの水平方向及び垂直方向の各成分に、低周波回転動揺に対する不快度の感度上昇分（周方向以外の方向の動揺に対する感度の比から１を引いた差分値）に相当する周波数感度補正を施すことによって「低周波回転動揺に対する感度増加分ベクトル」を得て、低周波回転動揺補正量算出部３０へ出力する。本実施形態において、デジタルフィルタ部２０は、水平方向のデジタルフィルタ２１と、垂直方向のデジタルフィルタ２２と、を並列に備える。これは、１つのデジタルフィルタではベクトルの２成分を同時に処理できないからであり、両方とも特性は全く同じものであり、その特性は図１０に示すものとなっている。
【００５２】
なお、水平方向のデジタルフィルタ２１及び垂直方向のデジタルフィルタ２２では、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本発明の実施形態に係る不快度推定装置２では１画面で多数の領域ごとに周波数補正を行うため、演算量の少ない畳み込み積分を用いる方が望ましい。
【００５３】
＜低周波回転動揺補正量算出部＞
低周波回転動揺補正量算出部３０は、デジタルフィルタ部２０から出力された「低周波回転動揺に対する感度増加分ベクトル」を取得し、低周波回転動揺に対する感度増加分ベクトルの自乗値の画面全体での総和を取った上で時間内加算することによって低周波回転動揺補正量を算出する。本実施形態において、低周波回転動揺補正量算出部３０は、画面全体でのベクトルの自乗和の総和を取った上で、図７に示す動揺認知量推定用と同じ時間窓関数を乗じ、さらには、時間的に線形加算可能となるようなオーダー（次元）とするために、β乗（ここでは０．６７乗）した上で時間加算をすることで、低周波回転動揺補正量を算出し、低周波回転動揺補正部４０へ出力する。図７の特性のうち、実際に時間窓関数として用いられるのは「総合特性」であり、これは、「減衰特性」に「ロールオフ特性」を乗じた「合成特性」を自乗したものである。
【００５４】
＜低周波回転動揺補正部＞
低周波回転動揺補正部４０は、動揺認知量推定装置１から出力された動揺認知量推定値と、低周波回転動揺補正量算出部３０から出力された低周波回転動揺補正量と、を取得し、不快度の上昇分に相当する前記低周波回転動揺補正量を前記動揺認知量に加えることで不快度の上昇分を補正し、低周波回転動揺補正済み動揺認知量を得る。本実施形態において、低周波回転動揺補正部４０は、動揺認知量推定値及び低周波回転動揺補正量のそれぞれを振幅の二乗のオーダーの値（動揺認知量が時間的に線形加算可能な値のオーダーである場合は１．５乗した値）に変換した上で合算（線形和を算出）することで、低周波回転動揺補正済み動揺認知量を得て、誘目度補正部７０へ出力する。ここで、出力する値は元の動揺認知量のオーダーへの変換は施していないが、これは、次段の誘目度補正部７０での補正も振幅の二乗のオーダーで補正されるからである。
【００５５】
＜領域別誘目度算出部＞
領域別誘目度算出部５０は、映像信号を取得し、動揺認知量推定装置１と同じように分割された領域ごとに、視線誘導につながる目立ちやすさの指標である誘目度を算出して、誘目度補正量算出部６０へ出力する。ここで、誘目度はその妥当性の評価方法自体、視線の滞留率や、移動発生頻度など多数あって一意には定まっておらず、その算出法も、実際の視線誘導との相関係数が０．６以上あれば優良であるとされるものだけで数十種類にも及ぶ。本実施形態では、非営利目的で自由に利用でき、空間周波数・色分布・コントラスト・偏在率などに基づいて誘目度を算出する代表的なオープンソース・ソフトウェアである「Saliency Map Alogorithm」（Itti, Koch, Niebur Saliency Map, http://www.vision.caltec.edu/~harel/share/gbvs.zip）を用いて、動き領域ごとの平均誘目度を算出し、その大きさを１〜１６の１６段階に分類する。これは、動揺エネルギーが１６倍になると不快度の評定値が１ランク上がるので、同じ大きさの揺れにであっても、誘目度によって不快度には最大１ランクの差が生じるように設定したからである。これは最善の設定であるわけではなく、あくまで実施形態の１つである。
【００５６】
＜誘目度補正量算出部＞
誘目度補正量算出部６０は、動揺認知量推定装置１から算出途上特徴量として得られる、動き領域番号及び動き領域別短時間動揺エネルギーと、領域別誘目度算出部５０から出力された領域ごとの誘目度と、を取得し、領域別誘目度に基づいて、誘目度の偏りによる不快度の低下分に相当する誘目度補正量を算出する。本実施形態において、誘目度補正量算出部６０は、最初に、動き領域ごとの平均誘目度を求める。次に、誘目度補正量算出部６０は、平均誘目度が最大だった動き領域の値で各動き領域の平均誘目度を除し、その値を１から差し引いた値を、各動き領域において動揺エネルギーから減じられる不快度の重み係数とする。この係数は、平均誘目度が最大だった動き領域では０、最大で１５／１６となる。続いて、誘目度補正量算出部６０は、この重み係数を動き領域別短時間動揺エネルギーに乗じた後に画面全体で総和を取った上で、図７に示す動揺認知量推定用と同じ時間窓関数を乗じる。さらに、誘目度補正量算出部６０は、時間的に線形減算可能となるようなオーダー（次元）とするために、時間窓関数が乗じられたものをβ乗（ここでは０．６７乗）した上で時間加算をすることで、誘目度補正量を算出し、算出された誘目度補正量を誘目度補正部７０へ出力する。
【００５７】
＜誘目度補正部＞
誘目度補正部７０は、低周波回転動揺補正部４０から出力された低周波回転動揺補正済み動揺認知量と、誘目度補正量算出部６０から出力された誘目度補正量と、を取得し、誘目度補正量を低周波回転動揺補正済み動揺認知量から減ずることで不快度の低下分を補正し、誘目度補正済み動揺認知量を得る。本実施形態において、誘目度補正部７０は、それぞれを振幅の二乗のオーダーの値（動揺認知量が時間的に線形加算可能な値のオーダーである場合は１．５乗した値）に変換（低周波回転動揺補正済み動揺認知量は低周波回転動揺補正部４０で既に変換済みなので、誘目度補正量のみ変換）した上で、低周波回転動揺補正済み動揺認知量から誘目度補正量を減算することで、誘目度による不快度低下の影響分を補正した誘目度補正済み動揺認知量を得て、総動揺エネルギー補正部８０へ出力する。ここで、出力する値は元の不快度の時間蓄積効果を線形加算で表せる動揺認知量のオーダー（振幅の二乗値の０．５乗）に変換するため、０．７５（＝０．５×１．５）乗しておく。
【００５８】
本実施形態では、不快度へ適合するように動揺認知量に補正を加える処理の順番を、低周波回転動揺補正部４０、誘目度補正部７０、の順にしているが、これらの処理は互いに完全に独立しているので、順序を入れ替えても何ら問題がない。
【００５９】
＜総動揺エネルギー補正部＞
総動揺エネルギー補正部８０は、所定時間（ここでは、３秒）以上継続する動揺に対する不快度の蓄積効果分の補正を前記誘目度補正済み動揺認知量に施すことで、推定不快度に相当する補正済み総動揺エネルギーを得る。本実施形態において、総動揺エネルギー補正部８０は、所定時間（ここでは、３秒）以上の長時間動揺が継続する場合の時間蓄積効果を反映した不快度を得るためのものであって、３秒前までの総動揺エネルギー、すなわち時間蓄積効果補正後不快度が大きいほど計測時点での時間蓄積効果補正後不快度が大きくなるように、誘目度補正部７０から出力された計測時点の直前３秒間の不快度に相当する誘目度補正済み動揺認知量を補正して時間蓄積効果補正後不快度を算出し、算出された時間蓄積効果補正後不快度を推定不快度として出力する。本発明の実施形態において、総動揺エネルギー補正部８０は、加算部８１、記憶部８２及び乗算部８３を備えており、３秒前までの総動揺エネルギー、すなわち時間蓄積効果補正後不快度を記憶部８２で記憶しておき、計測時点において、３秒前までの総動揺エネルギーに乗算部８３で定数α（０＜α＜１）を乗じたものを、加算部８１で誘目度補正部７０から出力された計測時点の直前３秒間の不快度に相当する誘目度補正済み動揺認知量に加算することで、計測時点での時間蓄積効果補正後不快度を得る構成になっている。ここで、定数αの値は動揺が長時間継続する場合の不快度の蓄積効果と同様が止まった後の減衰効果とを同時に具現化するものであり、α=０．３０５程度とした場合に不快度の推定誤差が最小となる。なお、総動揺エネルギー補正部８０は、１回目の補正時には、前フレームの出力が記憶部８２に記憶されていないため、無補正の不快度を出力する。
【００６０】
ここで出力される推定不快度は、対数を取ると心理評価のカテゴリー値と線形な対応関係となるので、推定不快度の対数を取って心理評価のカテゴリー値を出力しても良い。また、推定不快度は、ディスプレイへの数字表示やグラフ表示をすることで、利用者への視覚的通知を行うだけではなく、推定不快度の大きさに準じて異なる音をスピーカ等の音響装置で出力することにより、聴覚的通知を行うこともできる。。
【００６１】
＜不快度推定装置＞
続いて、図１に戻り、不快度推定装置２の特徴量抽出部３及び不快度推定部４について説明する。
【００６２】
＜特徴量抽出部＞
特徴量抽出部３は、映像信号と、動揺認知量推定装置１が動揺認知量を推定する際に求めた算出途上特徴量であるところの、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分、動き領域番号、及び動き領域別短時間動揺エネルギーと、を取得し、取得された情報に基づいて、動揺認知量以外に不快度の要因となる映像の物理的特徴量を抽出し、抽出した物理的特徴量を不快度推定部４へ出力する。動揺認知量以外の不快度の要因となる映像の物理的特徴量として前記の説明例で取り上げたのは、特定の動揺成分（低周波回転動揺）や、時間変動、そして、空間周波数・色分布・コントラスト・偏在率等によって求まる「目立ちやすさ」の指標である誘目度となっている。図８の例では、回転動揺成分抽出部１０、デジタルフィルタ部２０、低周波回転動揺補正量算出部３０、領域別誘目度算出部５０及び誘目度補正量算出部６０の組み合わせが特徴量抽出部３に相当する。
【００６３】
＜不快度推定部＞
不快度推定部４は、前記の説明例では、動揺認知量推定装置１で推定された動揺認知量と、特徴量抽出部３によって抽出された物理的特徴量（実際には補正量として出力されたもの）とを取得し、動揺認知量に補正を加えた後に、時間蓄積効果と時間減衰効果とを反映した非線形時間加算を行うことによって推定不快度を算出して、ディスプレイ、スピーカ等の外部装置（不快度を利用者へ通知する通知部）へ出力する。図８の例では、低周波回転動揺補正部４０、誘目度補正部７０及び総動揺エネルギー補正部８０の組み合わせが不快度推定部４に相当する。
【００６４】
＜動作例＞
続いて、本発明の実施形態に係る不快度推定装置２の動作例について、図８を参照して説明する。図１に示した動揺認知量推定装置１の構成は、本発明の実施形態に係る不快度推定装置２へ動揺認知量を出力する例を示したものなので、ここでは説明の対象外とする。
【００６５】
まず、回転動揺成分抽出部１０が、周波数感度補正済み動きベクトルの水平方向成分及び垂直方向成分を用いて、各領域の中心における周方向ベクトルを算出し、算出された周方向ベクトルをデジタルフィルタ部２０へ出力する。
続いて、デジタルフィルタ部２０が、周方向ベクトルの水平及び垂直の各方向成分に、周波数感度補正を施して「低周波回転動揺に対する感度増加分ベクトル」を得て、得られた「低周波回転動揺に対する感度増加分ベクトル」を低周波回転動揺補正量算出部３０へ出力する。
【００６６】
続いて、低周波回転動揺補正量算出部３０が、画面全体で「低周波回転動揺に対する感度増加分ベクトル」の自乗和の総和を取った値に時間窓関数を乗じ、０．６７乗した上で時間加算して低周波回転動揺補正量を算出し、算出された低周波回転動揺補正量を低周波回転動揺補正部４０へ出力する。
続いて、低周波回転動揺補正部４０が、動揺認知量推定値と低周波回転動揺補正量をそれぞれ振幅の二乗のオーダーの値に変換した上で合算して低周波回転動揺補正済み動揺認知量を得て、得られた低周波回転動揺補正済み動揺認知量を誘目度補正部７０へ出力する。
【００６７】
その一方、領域別誘目度算出部５０が、映像信号を用いて、領域ごとに誘目度を算出して、算出された誘目度を誘目度補正量算出部６０へ出力する。
続いて、誘目度補正量算出部６０が、領域ごとの誘目度を用いて算出した動き領域ごとの平均誘目度の大きさの順に従って、各動き領域で動揺エネルギーから減じられる不快度の重み係数を算出した上で、この重み係数を動き領域別短時間動揺エネルギーに乗じてから、さらに時間窓関数を乗じた値を０．６７乗したものを時間加算をすることで、誘目度補正量を算出し、算出された誘目度補正量を誘目度補正部７０へ出力する。
【００６８】
続いて、誘目度補正部７０が、誘目度補正量をそれぞれ振幅の二乗のオーダーの値に変換した上で低周波回転動揺補正済み動揺認知量から減算して誘目度補正済み動揺認知量を得て、得られた誘目度補正済み動揺認知量を総動揺エネルギー補正部８０へ出力する。
最後に、総動揺エネルギー補正部８０が、３秒前までの時間蓄積効果補正後不快度が大きいほど計測時点での時間蓄積効果補正後不快度が大きくなるように、直前３秒間の不快度に相当する誘目度補正済み動揺認知量を補正して時間蓄積効果補正後不快度を算出し、算出された時間蓄積効果補正後不快度を推定不快度として出力する。
【００６９】
本発明の実施形態に係る不快度推定装置２は、動揺認知量推定装置１によって得られた動揺認知量推定値と、映像の物理的特徴量とを用いることで、従来の動揺映像に対する不快度推定装置では達しえなかった水準まで、不快度推定精度を高めることができる。
また、不快度推定装置２によって得られた推定不快度は、映像コンテンツ制作者が画面動揺を低減するような映像修正を施す際に、判断基準として使用することも可能である。すなわち、不快度推定装置２は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる画面動揺をどの程度まで低減すべきかの設定目標として、推定不快度を映像コンテンツ制作者に提示することができるので、制作に要する時間、労力及びコストの削減が図られるだけでなく、供給される映像コンテンツの安全性も高められる。
また、不快度推定装置２が視聴者側で用いられる場合には、画面動揺に関して安全であることを保証せずに制作、流通された映像に対し、視聴前又は視聴中の表示直前に動揺認知量を推定してディスプレイ又はスピーカへ出力することで警告を発することができるので、映像酔いによる健康被害を防止することが可能になる。
【００７０】
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記不快度推定装置２として機能させる不快度推定プログラムとして具現化することも可能である。あるいは、推定不快度を心理評価値と線形的に対応するようにするために、前記総動揺エネルギーの対数値を推定不快度として出力することとしてもよい。また、不快度推定装置２は、動揺認知量推定装置１と一体化された装置としても具現化可能である。
【符号の説明】
【００７１】
Ａ      不快度推定システム
１      動揺認知量推定装置
２      不快度推定装置
３      特徴量抽出部
４      不快度推定部
１０    回転動揺成分抽出部
２０    デジタルフィルタ部
２１    水平方向のデジタルフィルタ
２２    垂直方向のデジタルフィルタ
３０    低周波回転動揺補正量算出部
４０    低周波回転動揺補正部
５０    領域別誘目度算出部
６０    誘目度補正量算出部
７０    誘目度補正部
８０    総動揺エネルギー補正部
８１    加算部
８２    記憶部
８３    乗算部
【図１】
2018129002.tif 000003
【図２】
2018129002.tif 000004
【図３】
2018129002.tif 000005
【図４】
2018129002.tif 000006
【図５】
2018129002.tif 000007
【図６】
2018129002.tif 000008
【図７】
2018129002.tif 000009
【図８】
2018129002.tif 000010
【図９】
2018129002.tif 000011
【図１０】
2018129002.tif 000012