(57)【要約】【課題】光感受性刺激と画面動揺とが同時に生起する映像から視聴者が感じる不快度を映像の輝度に基づいて客観的に推定することが可能な不快度推定装置を提供する。【解決手段】不快度推定装置１は、映像の輝度値に基づいて、映像に含まれる光感受性刺激に起因する光感受性不快度を推定する光感受性不快度推定部１０と、映像の輝度値に基づいて、映像における動揺映像に起因する動揺映像不快度を推定する動揺映像不快度推定部３００と、光感受性不快度及び動揺映像不快度をそれぞれ指数変換する指数変換部５００と、指数変換された光感受性不快度と指数変換された動揺映像不快度を線形加算することによって、総合不快度を算出する加算部６００と、を備えることを特徴とする。【選択図】図１
2015106192.tif 000002
【特許請求の範囲】
【請求項１】
映像における光感受性刺激に起因する光感受性不快度と動揺映像に起因する動揺映像不快度と合成した総合不快度を推定する不快度推定装置であって、
前記映像の輝度値に基づいて、前記映像に含まれる光感受性刺激に起因する光感受性不快度を推定する光感受性不快度推定部と、
前記映像の輝度値に基づいて、前記映像における動揺映像に起因する動揺映像不快度を推定する動揺映像不快度推定部と、
前記光感受性不快度及び前記動揺映像不快度をそれぞれ指数変換する指数変換部と、
指数変換された前記光感受性不快度と指数変換された前記動揺映像不快度を線形加算することによって、総合不快度を算出する加算部と、
を備えることを特徴とする不快度推定装置。
【請求項２】
前記指数変換部は、所定の底を用いて前記光感受性不快度及び前記動揺映像不快度をそれぞれ指数変換する
ことを特徴とする請求項１に記載の不快度推定装置。
【請求項３】
前記総合不快度を対数変換する対数変換部をさらに備える
ことを特徴とする請求項１又は請求項２に記載の不快度推定装置。
【請求項４】
前記光感受性不快度推定部は、前記映像の輝度値に基づいて、前記映像に含まれる輝度変化に起因する輝度変化不快度を前記光感受性不快度として推定する輝度変化不快度推定部を備える
ことを特徴とする請求項１から請求項３のいずれか一項に記載の不快度推定装置。
【請求項５】
前記光感受性不快度推定部は、前記映像の輝度値に基づいて、前記映像に含まれる周期的図柄に起因する周期的図柄不快度を前記光感受性不快度として推定する周期的図柄不快度推定部を備える
ことを特徴とする請求項１から請求項３のいずれか一項に記載の不快度推定装置。
【請求項６】
前記光感受性不快度推定部は、
前記映像の輝度値に基づいて、前記映像に含まれる輝度変化に起因する輝度変化不快度を推定する輝度変化不快度推定部と、
前記映像の輝度値に基づいて、前記映像に含まれる周期的図柄に起因する周期的図柄不快度を推定する周期的図柄不快度推定部と、
前記輝度変化不快度及び前記周期的図柄不快度をそれぞれ指数変換する指数変換部と、
指数変換された前記輝度変化不快度と指数変換された前記周期的図柄不快度を線形加算することによって、光感受性不快度を算出する加算部と、
前記指数変換部は、所定の底を用いて前記輝度変化不快度及び前記周期的図柄不快度をそれぞれ指数変換する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の不快度推定装置。
【請求項７】
前記指数変換部は、所定の底を用いて前記輝度変化不快度及び前記周期的図柄不快度をそれぞれ指数変換する
ことを特徴とする請求項６に記載の不快度推定装置。
【請求項８】
前記光感受性不快度を対数変換する対数変換部をさらに備える
ことを特徴とする請求項７又は請求項８に記載の不快度推定装置。
【請求項９】
前記輝度変化不快度推定部は、
前記映像に含まれる画像のブロックごとの輝度値であるブロック輝度値を算出するブロック輝度値算出部と、
算出された前記ブロック輝度値に基づいて、映像における被写体の１フレーム間の移動ベクトルを検出する移動ベクトル検出部と、
前記ブロックにおける前記ブロック輝度値と、１フレーム前の前記画像において検出された前記移動ベクトルで補正したブロックにおける前記ブロック輝度値と、の差分であるフレーム間輝度差分値に基づいて、前記ブロックのそれぞれにおける輝度変化のマグニチュードであるブロック別マグニチュードを計測するブロック別マグニチュード計測部と、
算出された前記ブロック別マグニチュードを全ブロックで所定計測間隔のフレーム数にわたり加算することによって、輝度変化不快度を算出する輝度変化不快度算出部と、
を備えることを特徴とする請求項４、請求項６、請求項７及び請求項８のいずれか一項に記載の不快度推定装置。
【請求項１０】
前記周期的図柄不快度推定部は、
前記映像に含まれる画像の画素の輝度値である画素輝度値を算出する画素輝度値算出部と、
算出された前記画素輝度値に基づいて、前記映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別周期的図柄不快度を、前記周期的図柄におけるコントラストが大きいほど当該解像度別周期的図柄不快度が大きくなるように算出する解像度別周期的図柄不快度算出部と、
算出された前記解像度別周期的図柄不快度の非線形和を算出することによって、前記周期的図柄不快度を算出する周期的図柄不快度算出部と、
前回の前記周期的図柄不快度が大きいほど今回の前記周期的図柄不快度が大きくなるように今回の前記周期的図柄不快度を補正する周期的図柄不快度補正部と、
を備え、
前記解像度別周期的図柄不快度算出部は、
前記画素輝度値に基づいて、前記映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出する解像度変換後画素輝度値算出部と、
前記解像度変換後画素輝度値に基づいて、解像度変換後の画素から構成されるブロックにおける周期的図柄不快度であるブロック別周期的図柄不快度を、周期的図柄におけるコントラストが大きいほど当該ブロック別周期的図柄不快度が大きくなるように前記ブロックごとに算出するブロック別周期的図柄不快度算出部と、
算出された前記ブロック別周期的図柄不快度を、前記ブロックごとに所定時間分だけ加算するブロック別周期的図柄不快度加算部と、
加算された前記ブロック別周期的図柄不快度の非線形和を算出することによって、前記解像度別不快度を決定する解像度別周期的図柄不快度決定部と、
を備えることを特徴とする請求項５から請求項９のいずれか一項に記載の不快度推定装置。
【請求項１１】
前記動揺映像不快度推定部は、
画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出する領域別動きベクトル検出部と、
検出された前記動きベクトルに周波数感度補正を施すことによって補正済み動きベクトルを得る第一のフィルタ部と、
前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する動き領域判定部と、
動きありと判定された全ての前記領域の中心座標の重心である動き領域重心を算出する動き領域重心算出部と、
動きありと判定された全ての前記領域の前記補正済み動きベクトルの平均である平均補正済み動きベクトルを算出する平均補正済み動きベクトル算出部と、
動きありと判定された前記領域ごとに、当該領域の前記補正済み動きベクトルと前記平均補正済み動きベクトルとの差ベクトルを算出する差ベクトル算出部と、
動きありと判定された前記領域ごとに、前記差ベクトルの成分として、前記動き領域重心を中心とした周方向動きベクトル及び径方向動きベクトルを算出する周径方向動きベクトル算出部と、
動きありと判定された前記領域ごとに、前記周方向動きベクトルから、前記動き領域重心を中心とした周方向同相動きベクトル及び周方向差分動きベクトルを算出する周方向同相動きベクトル算出部と、
動きありと判定された前記領域ごとに、前記周方向同相動きベクトルに周波数感度補正を施すことによって補正済み周方向同相動きベクトルを得る第二のフィルタ部と、
動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、前記周方向差分動きベクトルの二乗、及び、前記補正済み周方向同相動きベクトルの二乗の和を算出することによって、前記動揺映像不快度として総動揺エネルギーを算出する総動揺エネルギー算出部と、
を備え、
前記周方向同相動きベクトルは、前記動き領域重心を中心とした回転角が等しく、かつ、前期周方向差分動きベクトルの二乗の総和が最小になるベクトルであり、
前記周方向差分動きベクトルは、前記周方向動きベクトルと前記周方向同相動きベクトルとの差分である
ことを特徴とする請求項１から請求項１０のいずれか一項に記載の不快度推定装置。
【請求項１２】
映像における光感受性刺激に起因する光感受性不快度と動揺映像に起因する動揺映像不快度と合成した総合不快度を推定するためにコンピュータを、
前記映像の輝度値に基づいて、前記映像に含まれる光感受性刺激に起因する光感受性不快度を推定する光感受性不快度推定部、
前記映像の輝度値に基づいて、前記映像における動揺映像に起因する動揺映像不快度を推定する動揺映像不快度推定部、
前記光感受性不快度及び前記動揺映像不快度をそれぞれ指数変換する指数変換部、及び、
指数変換された前記光感受性不快度と指数変換された前記動揺映像不快度を線形加算することによって、総合不快度を算出する加算部、
として機能させることを特徴とする不快度推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光感受性刺激及び画面動揺が同時に生起する映像に対する不快度を推定する技術に関する。
【背景技術】
【０００２】
家庭において放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、点滅等の頻繁な輝度変化が広い面積で発生している映像によって誘発される不快感が増大する傾向があり、場合によっては、視聴者が光感受性発作等を起こして健康被害に至る例もある。
【０００３】
公共放送及び民間放送連盟加盟放送局から放送される映像では、このような健康被害を予防するために、ITU-RのBT.1702で勧告化された「Guidance for the reduction of photosensitive epileptic seizures caused by television」に準拠した「アニメーション等の映像手法に関するガイドライン」に則って、生放送及び速報性の高いニュース番組を除き、最大輝度の１０％を超える輝度差を伴う輝度反転が１秒間に７回以上生じている面積が全画面の２５％を超えることが無いように制限をかけている。
【０００４】
映像がこの規準を満たしているかどうかを判定する装置は、国内外から多数発表及び販売されているが、それらはいずれも、前記した条件を超えることで光感受性発作に至る可能性の高い危険な映像を検出するだけである。そのため、たとえば「全画面で輝度差が９．９９％の輝度反転が１秒間に３０回生じている映像」は「安全」であると判定されるが、「危険」であると判定される「全画面の２５．０１％の部分で輝度差が１０．０１％の輝度反転が１秒間に７回生じている映像」よりも遥かに視聴者の不快感の大きさ（不快度）は高いということが起きる。
【０００５】
このような事象を緩和するために、英国CRS社製「Harding FPA」が、光点滅映像解析装置として全世界の放送局等で最も使用されていて、実質的に国際標準装置となっている。英国CRS社製「Harding FPA」では、映像の「危険度」をフレーム単位で表示し、「危険」と判定されなくても「注意」を発する機能が実装されているが、前記２例の映像の「危険度」に関しては、後者が「危険」、前者が「危険」に達しない「注意」と判定されることに変わりない。
【０００６】
そこで、本出願人は、映像の良否を判定する基準として視聴者の不快感を数値化した「不快度」を用いることとし、この不快度を推定する不快度推定装置を発明した（特許文献１参照）。
【０００７】
また、家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、動揺映像（画面動揺のある映像）によって誘発される不快感が増大する傾向があり、場合によっては視聴者が映像酔いを起こして健康被害に至る例もある。動揺映像の多くは、撮影時のビデオカメラの動き、すなわちグローバルモーションに起因する。かかる事態を予防するため、手持ち撮影用ビデオカメラ等には「手ぶれ補正」機能の搭載がほぼ必須となっている。また、撮影された映像に含まれるグローバルモーションを軽減する「映像スタビライズ」ソフトウェアも数多く開発されている。さらに、グローバルモーションと脈拍・血圧等との生理的な指標との関係を探ることによって、不快な状態を推定しようとする試みも行われている（非特許文献１参照）。
【０００８】
しかし、前記した「手ぶれ補正」では長周期の揺れは補正ができない、あるいは不十分であり、「映像スタビライズ」では、短い期間内の画面動揺を無くすか低減したり、滑らかな画面移動に変換したりするだけで、どのような性質でどの程度の大きさの揺れならば残っていても良いといった客観的な基準に則っているものではない。また、この客観的な基準として脈拍・血圧等の生理的な指標を用いることができたとしても、明示できるのは健康被害に達する条件および、その条件に対する現在の生理的状態の程度のみである。
【０００９】
これに対し、放送、映画等の映像コンテンツの供給者は、映像制作段階において、映像の安全性のみならず、視聴者の大半にグローバルモーションに伴う不快感を催させないように留意する必要がある。しかしながら、前記した従来の技術は、グローバルモーションに対する視聴者の心理的な「不快度」を具体的に把握するものではなく、グローバルモーションによる「不快度」を基準として映像の良否を判定するには不向きであった。
【００１０】
本願出願人は、生理的指標を用いることなく、グローバルモーションと主観評価実験で得られた不快度との関係を用いて、映像を解析して得られた物理的特徴量に基づいて動揺映像に対する不快度を推定する不快度推定装置Ａを開発した（特許文献２参照）。さらに、多大な計算量を要するグローバルモーションの検出をせずに、画面各部の動きのみを使い、４倍以上の高速化を果たしながら、より高い精度で動揺映像不快度を推定できる改良型の不快度推定装置Ｂを開発した（非特許文献２参照）。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１１−２３８１２１号公報
【特許文献２】特開２０１１−２３８１２０号公報
【非特許文献】
【００１２】
【非特許文献１】「映像酔いガイドライン検証システムの実用化に関するフィージビリティスタディ報告書」、財団法人機械システム振興協会、平成２０年３月
【非特許文献２】蓼沼  眞、「動揺映像に対する不快度推定装置の開発」、映像情報メディア学会年次大会予稿集  ２０１１年８月１日
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかし、特許文献１の実施例では多段階（文献内の例示では１６段階）の基準でそれぞれ判定を行う構成となっており、不快度推定の判定処理プロセス数は前記した「Harding FPA」の１０倍以上になるため、特許文献１に記載の不快度推定装置を専用ハードウェアで構築する場合、論理ゲート数が数百万ゲートの高額なＬＳＩが必要となり、装置自体の価格も高くなってしまう。また、ソフトウェア化した当該プロセスをコンピュータに実装して特許文献１に記載の不快度推定装置を構成する場合も、処理プロセス数の多さにより、実時間処理を実現するにはハイスペックＣＰＵを複数搭載する高性能機が必要になり、やはり価格は高くなってしまう。
【００１４】
さらに、特許文献１の実施例では、明暗の最大輝度と最小輝度との差のみを基準に不感度を推定しているため、明暗が正弦波状に変化した場合も矩形波状に変化した場合も同じ不快度と判定されるが、実際の評定結果では矩形波状に変化する場合の不快度の方が高く、不快度推定結果に誤差が存在する。また、画面が表しうる最大輝度に対する当該時点の輝度の比が1秒間に
０．３→０．１→０．２→０．１→０．３→０．２→０．３
のように遷移する場合、特許文献１の実施例では、判定輝度差を０．０９とすると６回の輝度反転、判定輝度差を０．２０とすると２回の輝度反転があったと見なされ、より不快度の高い「輝度差０．０９で輝度反転６回」の不快度が推定結果とされるが、実際の評定結果ではさらに不快度が高い「輝度差０．１６４で輝度反転６回」する場合の不快度と同等になっており、ここでも不快度推定結果に明らかな誤差が存在する。
【００１５】
本願出願人は、前記した事情に鑑みて、複雑で頻繁に輝度変化によって視聴者が感じる不快度を客観的に推定することが可能な不快度推定装置を発明した（特願２０１３−０２１６６０、本願出願時未公開）。かかる発明において、不快度推定装置は、輝度変化に起因する輝度変化不快度を推定する。
【００１６】
また、本願出願人は、周期的図柄によって視聴者が感じる不快度を輝度値に基づいて客観的に推定することが可能な不快度推定装置を発明した（特開２０１１−２３９２９５号公報）。かかる発明において、不快度推定装置は、周期的図柄に起因する周期的図柄不快度を推定する。
【００１７】
これら輝度変化不快度及び周期的図柄不快度は、視聴者の光感受性に起因する光感受性不快度であり、動揺映像不快度とは別に推定される。光感受性刺激と画面動揺とが同時に生起している映像から視聴者が感じる不快度は、光感受性不快度と動揺映像不快度とを単純に加算した値よりも遥かに低い評定値となる。すなわち、光感受性刺激と画面動揺とが同時に生起する映像から視聴者が感じる不快度を推定する場合には、光感受性不快度と動揺映像不快度を個別に推定することはできるものの、これら光感受性不快度及び動揺映像不快度を統合した不快度を推定する技術は、未だ存在しない。
【００１８】
本発明は、前記の事情を鑑みて創案されたものであり、光感受性刺激と画面動揺とが同時に生起する映像から視聴者が感じる不快度を映像の輝度に基づいて客観的に推定することが可能な不快度推定装置及び不快度推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１９】
前記課題を解決するため、本発明の不快度推定装置は、映像における光感受性刺激に起因する光感受性不快度と動揺映像に起因する動揺映像不快度と合成した総合不快度を推定する不快度推定装置であって、光感受性不快度推定部と、動揺映像不快度推定部と、指数変換部と、加算部と、を備えることを特徴とする。
【００２０】
不快度推定装置は、前記光感受性不快度推定部により、前記映像の輝度値に基づいて、前記映像に含まれる光感受性刺激に起因する光感受性不快度を推定し、前記動揺映像不快度推定部により、前記映像の輝度値に基づいて、前記映像における動揺映像に起因する動揺映像不快度を推定する。
【００２１】
また、不快度推定装置は、前記指数変換部により、前記光感受性不快度及び前記動揺映像不快度をそれぞれ指数変換し、前記加算部により、指数変換された前記光感受性不快度と指数変換された前記動揺映像不快度を線形加算することによって、総合不快度を算出する。
【００２２】
また、本発明は、コンピュータを前記した不快度推定装置として機能させる不快度推定プログラムとしても具現化可能である。
【発明の効果】
【００２３】
本発明によれば、光感受性刺激と画面動揺が同時に生起する映像から視聴者が感じる不快度を映像の輝度に基づいて客観的に推定することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る不快度推定装置を示すブロック図である。
【図２】本発明の実施形態に係る光感受性不快度推定部を示すブロック図である。
【図３】本発明の実施形態に係る輝度変化不快度推定部を示すブロック図である。
【図４】フレーム間輝度差による輝度変化不快度の周波数感度特性を示す図である。
【図５】輝度差と輝度反転回数との組み合わせによる輝度変化不快度を示す図である。
【図６】本発明の実施形態に係る周期的図柄不快度推定部を示すブロック図である。
【図７】図６の解像度別周期的図柄不快度算出部を示すブロック図である。
【図８】図７のブロック別周期的図柄不快度算出部を示すブロック図である。
【図９】解像度変換後画素からなるブロック（右半分）と格子点とを示す図である。
【図１０】不快感度の周波数特性を示すグラフである。
【図１１】（ａ）〜（ｃ）は、周期的図柄の例を示す図である。
【図１２】本発明の実施形態に係る動揺映像不快度推定部を示すブロック図である。
【図１３】動きベクトルごとの不快度の感度の周波数特性の一例を示すグラフである。
【図１４】径方向動きベクトルの不快度に対する周方向動きベクトルの不快度の相対感度の周波数特性の一例を示すグラフである。
【図１５】（ａ）は各領域の補正済み動きベクトルの一例を示す図、（ｂ）は動きありと判定された領域の差ベクトルの一例を示す図である。
【図１６】動きありと判定された領域の周方向動きベクトル及び径方向動きベクトルの一例を示す図である。
【図１７】動きありと判定された領域の周方向動きベクトルから周方向同相動きベクトルと周方向差分動きベクトルを算出する一例を示す図であり、（ａ）は、動きありと判定された領域の周方向動きベクトルの一例を示す図、（ｂ）は、算出された周方向同相動きベクトルと周方向差分動きベクトルの一例を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。図１に示すように、本発明の実施形態に係る不快度推定装置１は、光感受性刺激及び画面動揺が同時に生起する映像から視聴者が感じる総合不快度を推定する装置であって、機能部として、光感受性不快度推定部１０と、動揺映像不快度推定部３００と、指数変換部５００と、加算部６００と、対数変換部７００と、を備える。
【００２６】
＜光感受性不快度推定部＞
図２に示すように、光感受性不快度推定部１０は、映像における光感受性刺激に起因する光感受性不快度を、映像の輝度に基づいて推定するものであって、機能部として、輝度変化不快度推定部１００と、周期的図柄不快度推定部２００と、指数変換部３０と、加算部４０と、対数変換部５０と、を備える。
【００２７】
＜輝度変化不快度推定部＞
ここで、輝度変化不快度推定部について詳細に説明する。図３に示すように、本発明の実施形態に係る輝度変化不快度推定部１００は、映像における動きベクトルに基づいて輝度変化に対する不快度（輝度変化不快度）を推定するものであり、機能部として、ブロック輝度値算出部１１０と、移動ベクトル検出部１２０と、ブロック別マグニチュード計測部１３０と、平均輝度算出部１４０と、輝度変化不快度算出部１５０と、輝度変化不快度補正部１６０と、対数変換部１７０と、を備える。
【００２８】
＜ブロック輝度値算出部＞
ブロック輝度値算出部１１０は、外部装置等から映像信号ａが入力されるものであって、映像に含まれる画像を分割した複数のブロックごとにブロック輝度値を算出するものであって、画素輝度値決定部１１１と、ブロック輝度値決定部１１２と、を備える。
【００２９】
画素輝度値決定部１１１は、画像の各画素の輝度値である画素輝度値を決定し、ブロック輝度値決定部１１２へ出力する。本実施形態において、画素輝度値決定部１１１は、取得された映像信号に含まれるＲＧＢ値に基づいて、画素ごとの輝度値である画素輝度値Ｙを決定し、決定結果をブロック輝度値決定部１１２へ出力する。映像信号においてＲＧＢ方式が採用されている場合には、画素輝度値Ｙは、映像信号に含まれる一画素のＲ値（０〜２５５）、Ｇ値（０〜２５５）及びＢ値（０〜２５５）を用いて、以下のように表される（ハイビジョン映像の場合）。
Ｙ＝０．２１２・Ｒ＋０．７０１・Ｇ＋０．０８７・Ｂ
【００３０】
ブロック輝度値決定部１１２は、決定された画素輝度値に基づいて、ブロック輝度値を決定し、移動ベクトル検出部１２０、ブロック別マグニチュード計測部１３０及び平均輝度算出部１４０へ出力する。本実施形態において、ブロック輝度値決定部１１２は、標準観視条件での人間の視覚系において輝度変化に最も敏感な空間周波数の半周期に近い正方画素（水平・垂直とも６〜９画素程度）のブロックごとにブロック輝度値を決定する。ここで、標準観視条件とは、例えば、ハイビジョン映像の場合において、画面の高さの３倍の距離から視聴するような視聴条件のことを言う。本実施形態において、ブロック輝度値決定部１１２は、ブロックに含まれる画素の画素輝度値Ｙの平均値（例えば、相加平均値）を算出することによって、当該平均値をブロック輝度値として決定する。なお、ブロック輝度値決定部１１２によるブロック輝度値の決定手法は、前記したものに限定されず、例えば、ブロックの中心画素の画素輝度値Ｙをブロック輝度値として採用する構成であってもよい。
【００３１】
＜移動ベクトル検出部＞
移動ベクトル検出部１２０は、算出された前記ブロック輝度値に基づいて、映像における被写体の１フレーム間の移動ベクトルを検出し、ブロック別マグニチュード計測部１３０へ出力する。
本実施形態において、移動ベクトル検出部１２０は、連続する２画像間に関して、特定サイズのマクロブロック（マクロブロックのサイズは、例えば前記ブロックが８×８から１６×１６集まった程度）において、ブロックマッチングを用いて直流分を除去した各画素の輝度値のフレーム間差分の合計（絶対値和又は自乗和）が最小となるブロック移動量を移動ベクトルとして検出する。移動ベクトルの探索範囲は、上下左右両方向とも、視覚系で十分に追従可能な範囲（画面高の１／１０〜１／５程度）に制限することが望ましい。
【００３２】
＜ブロック別マグニチュード計測部＞
ブロック別マグニチュード計測部１３０は、ブロックにおけるブロック輝度値と、１フレーム前の画像において検出された移動ベクトルで補正したブロックにおけるブロック輝度値と、の差分であるフレーム間輝度差分値に基づいて、ブロックのそれぞれにおける輝度変化のマグニチュードであるブロック別マグニチュードを計測するものであって、ブロックごとに、ブロック別フレーム間輝度差決定部１３１（１３１−１，１３１−２，…，１３１−ｎ）と、ブロック別周波数感度補正フィルタ１３２（１３２−１，１３２−２，…，１３２−ｎ）と、ブロック別補正輝度差自乗部１３３（１３３−１，１３３−２，…，１３３−ｎ）と、のセットを備える。
【００３３】
ブロック別フレーム間輝度差決定部１３１は、現フレーム（ｍ枚目の画像）において対応するブロックのブロック輝度値と、前フレーム（ｍ−１枚目の画像）において移動ベクトル検出部１２０で検出された移動ベクトルで示されるブロックのブロック輝度値との差分値、すなわちフレーム間輝度差を算出し、ブロック別周波数感度補正フィルタ１３２へ出力する。
【００３４】
ブロック別周波数感度補正フィルタ１３２は、各ブロックにおけるフレーム間輝度差の遷移を、図４に示す輝度変化不快度の周波数感度特性で補正し、得られたブロック別補正輝度差をブロック別補正輝度差自乗部１３３へ出力する。ここで、フレーム間輝度差は、輝度振幅に周波数を乗じた値に相当し、図４の周波数感度特性が、周波数の平方根で除した感度で表されているので、この補正されたフレーム間輝度差であるブロック別補正輝度差は、周波数の平方根を乗じた輝度振幅を周波数感度補正した値に相当する。図４の周波数感度補正を行うブロック別周波数感度補正フィルタ１３２は、８タップ程度の無限インパルス応答（ＩＩＲ）型デジタルフィルタ、例えば、４段の低域通過型フィルタと４段の高域通過型フィルタとを適宜配列して直列に接続することによって実現することができる。
【００３５】
ブロック別補正輝度差自乗部１３３は、ブロック別補正輝度差を自乗することによって、各ブロックにおける輝度振幅の自乗に周波数を乗じた値、すなわち地震におけるマグニチュードに相当する値（以下、ブロック別マグニチュードと称する）を算出し、輝度変化不快度算出部１５０へ出力する。このブロック別マグニチュードは、輝度変化不快度の周波数感度特性（図４の特性を自乗した後に周波数を乗じた特性）で補正されたものとなっている。
【００３６】
ここで「マグニチュード」は、網膜を地表に置き換えるとともに輝度変化を地表の揺れに置き換えたときの「地震のマグニチュード」に相当するものであり、本発明では、地震の揺れに相当する輝度変化に対して周波数感度補正を行うことによって、地震の体感震度に相当する不快度が導出される。
マグニチュードは、体感値と線形に対応させるため、最終的には対数変換した値で表されるが、算出過程では対数変換前の値を用いるため、本発明では、対数変換前のマグニチュードを「マグニチュード（ブロック別マグニチュード、総和マグニチュード）」と呼び、輝度変化不快度についても同様に、対数変換前の不快度を「輝度変化不快度」と呼ぶ。
【００３７】
＜平均輝度算出部＞
平均輝度算出部１４０は、ブロック輝度値決定部１１２によって決定された全ブロックのブロック輝度値に基づいて、各ブロックのブロック輝度値を所定計測間隔（たとえば１秒間）のフレーム数にわたり全ブロックで平均することで、所定計測間隔中の全画面の平均輝度を算出し、輝度変化不快度算出部１５０へ出力する。
【００３８】
＜輝度変化不快度算出部＞
輝度変化不快度算出部１５０は、ブロック別マグニチュード計測部１３０によって計測されたブロック別マグニチュードに基づいて輝度変化不快度を算出するものであって、総和マグニチュード算出部１５１と、平均輝度補正部１５２と、を備える。
【００３９】
総和マグニチュード算出部１５１は、ブロック別マグニチュード計測部１３０から出力された各ブロックのブロック別マグニチュードを、前記所定計測間隔のフレーム数にわたり全ブロックで加算することによって、総和マグニチュードを算出し、平均輝度補正部１５２へ出力する。
【００４０】
平均輝度補正部１５２は、輝度変化のコントラストによる影響を考慮した輝度変化不快度を得るためのものであって、平均輝度算出部１４０から出力された平均輝度の値を用いて総和マグニチュード算出部１５１で得られた総和マグニチュードを補正することにより、現計測時点での不快度を算出する。
本実施形態において、平均輝度補正部１５２は、１００％白の輝度に対する前記平均輝度の比の逆数をγＡ乗（０≦γＡ≦１）した値を前記総和マグニチュードに乗算することによって、不快度を算出する。すなわち、平均輝度が低い、高コントラストな輝度変化ほど、補正後の値である不快度は大きくなる。ただし、暗部のノイズを強調して不快度が大きいと判定してしまうことを防ぐために、前記平均輝度の最低値を１００％白の輝度値の２％程度にとどめるように設定されることが望ましい。
【００４１】
＜輝度変化不快度補正部＞
輝度変化不快度補正部１６０は、時間蓄積効果を考慮した輝度変化不快度を得るためのものであって、前計測時点での補正後不快度が大きいほど現計測時点での補正後輝度変化不快度が大きくなるように、輝度変化不快度算出部１５０から出力された現計測時点での輝度変化不快度を補正して補正後輝度変化不快度を算出し、対数変換部１７０へ出力する。本実施形態において、輝度変化不快度補正部１６０は、加算部１６１、記憶部１６２及び乗算部１６３を備えており、前計測時点での補正後輝度変化不快度を記憶部１６２で１計測区間分だけ記憶しておき、現計測時点において、前計測時点での補正後輝度変化不快度に乗算部１６３で定数αＡ（０＜αＡ＜１）を乗じたものを、加算部１６１で輝度変化不快度算出部１５０から出力された現時点での不快度に加算することで実現される。ここで、定数αＡの値は明滅が長時間継続する場合の不快度の蓄積効果を表すもので、計測間隔が１秒である場合、０．８４程度とした場合に輝度変化不快度の推定誤差が最小となる。なお、輝度変化不快度補正部１６０は、１回目の補正時には、前回の出力が記憶部１６２に記憶されていないため、無補正の輝度変化不快度を出力する。
【００４２】
＜対数変換部＞
対数変換部１７０は、輝度変化不快度と心理評価値との対応がほぼ線形となるように、輝度変化不快度補正部１６０から出力された補正後輝度変化不快度の対数値を計算し、対数変換された輝度変化不快度を出力する。
【００４３】
本実施形態における輝度変化不快度推定部１００は、輝度変化不快度が評定値と線形に対応するように、輝度変化不快度の元となる成分の総エネルギーに対し「４」を底とする対数変換を施した値として輝度変化不快度を推定する。なお、本願出願人によって出願された特願２０１３−０２１６６０の実施形態では、不快感を全く生じない場合の輝度変化不快度を「０」とし、負の値を出力しないのが標準的であるが、０でクリップすると後に各不快度を加算した際に誤差が生じるため、本実施形態においては、負の値の輝度変化不快度も出力するものとする。
【００４４】
特許文献１に記載の発明では、図５の表に基づき、明暗輝度差（輝度振幅）と輝度反転回数（周波数の２倍）との組み合わせによって不快度を算出していたが、この表の値を用いて本実施形態におけるブロック別マグニチュードと図５に示す不快度との関係を調べた結果、いずれの輝度振幅と周波数との組み合わせにおいても、ブロック別マグニチュードが同じ値であれば、評定値の９０％信頼区間の範囲内で同じ不快度となることが確認されている。したがって、輝度変化の最大輝度、最小輝度及び輝度反転周期が全て一定である場合、本実施形態による対数変換された輝度変化不快度は、特許文献１に記載の発明による推定不快度と一致する。それに加えて、本実施形態に係る輝度変化不快度推定部１００は、前記課題において示した、特許文献１に記載の発明では正確な不快度を推定することができなかった複雑な輝度遷移をする輝度変化に対しても、定常的な輝度変化における場合と同精度で輝度変化不快度を推定することができる。
【００４５】
また、特許文献１に記載の発明におけるブロック別不快度算出部では、ブロックごとに多段階の明暗輝度差と輝度反転回数との組み合わせによる不快度を明暗輝度差の段階の数だけ算出するため、各ブロック別不快度算出部では１つ明暗輝度差に必要な処理ステップ数（装置の場合は回路規模）の段階数倍を必要としていたが、本実施形態に係る輝度変化不快度推定部１００は、マグニチュードが既に輝度変化不快度に相当するため、ブロック別マグニチュード計測部１３０では１段階分の処理を行えばよく、総合的な処理ステップ数（装置の場合は回路規模）を特許文献１に記載の不快度推定装置の十分の一以下に抑えることができる。すなわち、本実施形態に係る輝度変化不快度推定部１００は、輝度変化不快度の推定精度を高めた上で処理プロセス数を低減し、高速化、低廉化及び高精度化を実現することができる。
【００４６】
＜周期的図柄不快度推定部＞
図６に示すように、本発明の実施形態に係る周期的図柄不快度推定部２００は、映像における輝度に基づいて周期的図柄に対する不快度（周期的図柄不快度）を推定するものであり、機能部として、画素輝度値算出部２１０と、解像度別周期的図柄不快度算出部２２０（２２０Ａ〜２２０Ｅ）と、周期的図柄不快度算出部２３０と、周期的図柄不快度補正部２４０と、を備える。
【００４７】
＜画素輝度値算出部＞
画素輝度値算出部２１０は、映像信号を取得し、取得された映像信号に含まれるＲＧＢ値に基づいて、画素ごとの輝度値である画素輝度値Ｙを算出し、算出結果を解像度別周期的図柄不快度算出部２２０Ａ〜２２０Ｅへ出力する。映像信号においてＲＧＢ方式が採用されている場合には、画素輝度値Ｙは、映像信号に含まれる一画素のＲ値（０〜２５５）、Ｇ値（０〜２５５）及びＢ値（０〜２５５）を用いて、以下のように表される（ハイビジョン映像を対象とした場合）。
Ｙ＝０．２１２・Ｒ＋０．７０１・Ｇ＋０．０８７・Ｂ
【００４８】
＜解像度別周期的図柄不快度算出部＞
解像度別周期的図柄不快度算出部２２０（２２０Ａ〜２２０Ｅ）は、画素輝度値算出部２１０から出力された画素輝度値に基づいて、映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別周期的図柄不快度を周期的図柄におけるコントラストが大きいほど当該解像度別周期的図柄不快度が大きくなるように算出し、算出結果を周期的図柄不快度算出部２３０へ出力する。
本実施形態において、解像度別周期的図柄不快度算出部２２０Ａは、映像に含まれる画像の解像度を、横５１２画素×縦２５６画素となるように変換し、解像度別周期的図柄不快度算出部２２０Ｂは、映像に含まれる画像の解像度を、解像度別周期的図柄不快度算出部２２０Ａの縦横それぞれ１／２となる横２５６画素×縦１２８画素となるように解像度を変換する。また、解像度別周期的図柄不快度算出部２２０Ｃは、映像に含まれる画像の解像度を、解像度別周期的図柄不快度算出部２２０Ｂの縦横それぞれ１／２となる横１２８画素×縦６４画素となるように変換し、解像度別周期的図柄不快度算出部２２０Ｄは、映像に含まれる画像の解像度を、解像度別周期的図柄不快度算出部２２０Ｃの縦横それぞれ１／２となる横６４画素×縦３２画素となるように変換する。また、解像度別周期的図柄不快度算出部２２０Ｅは、映像に含まれる画像の解像度を、解像度別周期的図柄不快度算出部２２０Ｄの縦横それぞれ１／２となる横３２画素×縦１６画素となるように解像度を変換する。
【００４９】
図７に示すように、解像度別周期的図柄不快度算出部２２０は、解像度変換後画素輝度値算出部２２１と、動きベクトル検出部２２２と、ブロック別周期的図柄不快度算出部２２３（２２３ａ〜２２３ｎ）と、ブロック別周期的図柄不快度記憶部２２４（２２４ａ〜２２４ｎ）と、動きベクトル記憶部２２５（２２５ａ〜２２５ｎ）と、対応ブロック選択部２２６（２２６ａ〜２２６ｎ）と、ブロック別周期的図柄不快度加算部２２７（２２７ａ〜２２７ｎ）と、解像度別周期的図柄不快度決定部２２８と、を備える。
【００５０】
≪解像度変換後画素輝度値算出部≫
解像度変換後画素輝度値算出部２２１は、画素輝度値算出部２１０から出力された画素輝度値Ｙを取得し、取得された画素輝度値Ｙに基づいて、映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出し、算出結果を動きベクトル検出部２２２及びブロック別周期的図柄不快度算出部２２３（２２３ａ〜２２３ｎ）へ出力する。本実施形態において、解像度変換後画素輝度値算出部２２１は、解像度変換後の一画素に含まれる解像度変換前の画素の画素輝度値Ｙの平均値（例えば、相加平均値）を算出することによって、当該平均値を解像度変換後画素輝度値として決定する。なお、解像度変換後画素輝度値算出部２２１による解像度変換後画素輝度値の算出手法は、前記したものに限定されず、例えば、解像度変換後の一画素の中心となる解像度変換前の画素の画素輝度値Ｙを解像度変換後画素輝度値として採用する構成であってもよい。
【００５１】
≪動きベクトル検出部≫
動きベクトル検出部２２２は、解像度変換後画素輝度値算出部２２１から出力された解像度変換後画素輝度値に基づいて、映像における被写体の動きベクトルを検出するものである。かかる動きベクトル検出部２２２は、ブロックマッチングを用いて、直流分（所定サイズ分の解像度変換後画素の平均輝度）を除去した画素輝度値のフレーム間差分の合計（絶対値和又は自乗和）が最小となるブロック（画像は、複数のブロックから構成されており、後記するように、１つのブロックは、解像度変換後の横１６画素×縦１６画素から構成される）の移動量及び移動方向、すなわち、動きベクトルを算出する。動きベクトルの探索範囲は、縦横両方向に関して、解像度変換後画素で±２画素に設定される。これは、動きベクトルの探索範囲が±２画素を超えると、周期的図柄（縞模様）が逆方向に動くように見える仮現運動が発生することに基づく措置である。動きベクトル検出部２２２は、探索範囲内に画素間相関が０．５以上となる画素が見つからない場合には、動きベクトルを０とする。また、本実施形態において、動きベクトル検出部２２２は、動きベクトルの単位を、解像度変換後画素で１／４画素刻みに設定して動きベクトルを検出するが、動きベクトルの単位は適宜設定変更可能であり、例えば１画素刻みであってもよい。
【００５２】
≪ブロック別周期的図柄不快度算出部≫
ブロック別周期的図柄不快度算出部２２３（２２３ａ〜２２３ｎ）は、解像度変換後画素輝度値算出部２２１から出力された、解像度変換後の横１６画素×縦１６画素の解像度変換後画素輝度値を取得し、取得された解像度変換後画素輝度値に基づいて、解像度変換後の横１６画素×縦１６画素から構成される該当ブロックの周期的図柄に起因する周期的図柄不快度であるブロック別周期的図柄不快度を周期的図柄におけるコントラストが大きいほど当該ブロック別周期的図柄不快度が大きくなるようにブロックごとに算出し、算出結果をブロック別周期的図柄不快度記憶部２２４（２２４ａ〜２２４ｎ）へ出力する。
【００５３】
本実施形態において、解像度別周期的図柄不快度算出部２２０Ａは、横５１２画素×縦２５６画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別周期的図柄不快度算出部２２３として、５１２個のブロック別周期的図柄不快度算出部２２３を備える。
また、解像度別周期的図柄不快度算出部２２０Ｂは、横２５６画素×縦１２８画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別周期的図柄不快度算出部２２３として、１２８個のブロック別周期的図柄不快度算出部２２３を備える。
また、解像度別周期的図柄不快度算出部２２０Ｃは、横１２８画素×縦６４画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別周期的図柄不快度算出部２２３として、３２個のブロック別周期的図柄不快度算出部２２３を備える。
また、解像度別周期的図柄不快度算出部２２０Ｄは、横６４画素×縦３２画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別周期的図柄不快度算出部２２３として、８個のブロック別周期的図柄不快度算出部２２３を備える。
また、解像度別周期的図柄不快度算出部２２０Ｅは、横３２画素×縦１６画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別周期的図柄不快度算出部２２３として、２個のブロック別周期的図柄不快度算出部２２３を備える。
【００５４】
なお、前記したブロック別周期的図柄不快度算出部２２３の個数に関する事項は、後記するブロック別周期的図柄不快度記憶部２２４、動きベクトル記憶部２２５、対応ブロック選択部２２６及びブロック別周期的図柄不快度加算部２２７についても同様である。
【００５５】
図８に示すように、ブロック別周期的図柄不快度算出部２２３は、二次元フーリエ変換部２２３−１と、周波数成分抽出部２２３−２と、抽出周波数成分加算部２２３−３と、全交流周波数成分加算部２２３−４と、周期的図柄判定部２２３−５と、を備える。
【００５６】
二次元フーリエ変換部２２３−１は、解像度変換後画素輝度値算出部２２１から出力された該当ブロック（解像度変換後において横１６画素×縦１６画素）の解像度変換後画素輝度値に対して、二次元フーリエ変換、好ましくは、二次元高速フーリエ変換を施すことによって、二次元周波数成分（エネルギー値、すなわち、振幅の自乗に比例する値）を算出し、算出結果を周波数成分抽出部２２３−２及び全交流周波数成分加算部２２３−４へ出力する。
【００５７】
本実施形態において、二次元フーリエ変換部２２３−１は、図９に示すハッチングが掛けられた画素において、所定の周波数よりも大きい周波数を有する高周波数成分のみを算出する。ここで、周波数成分は、ブロックの中心（０，０）を中心とした点対称となるため、二次元フーリエ変換部２２３−１は、図９に示すようにブロックの半分（例えば、右半分）の画素の解像度変換後画素輝度値に対して二次元高速フーリエ変換を施すことによって、ブロック全体の算出を行うことができる。かかる配置において、（０，＋Ｎ）と（＋１，−Ｎ）とは隣接することとなり、また、周波数成分が算出される画素は全体で円状に配置されていて、内周の輪郭を２倍とすると外周の輪郭と一致することにより、各解像度において算出される高周波数成分は重なりも抜けもないので、画像全体でのエネルギーは保存されている。
【００５８】
また、二次元フーリエ変換部２２３−１は、縦方向、横方向、斜め２方向（左下と右上とを繋ぐ方向、及び、左上と右下とを繋ぐ方向）の計４方向の周波数成分を算出するとともに、算出された各周波数成分に対して、周波数成分の周波数に応じて図９のように変化する不快感度を乗じることによって周波数成分を補正し、補正後の周波数成分を周波数成分抽出部２２３−２へ出力する。
ここで、斜め方向の不快感度は、縦方向、横方向の不快感度よりも２０％程度小さく設定されている。これは、主観評価実験において、斜め方向の周期的図柄（縞模様）の不快度が、縦方向、横方向の周期的図柄（縞模様）の不快度よりも２０％程度小さかったことに基づく措置である。かかる不快感度は、周波数の値ごとに予め求められており、二次元フーリエ変換部２２３−１に予め記憶されている。また、図１０における縦軸（不快感度）は、リニアスケールであり、周波数間の値の比（相対値）が意味を有するものであって、その値自体に関しては、当業者によって適宜設定可能である。
【００５９】
周波数成分抽出部２２３−２は、二次元フーリエ変換部２２３−１から出力された補正後の二次元周波数成分を取得し、取得された補正後の二次元周波数成分から、三大周波数成分を抽出し、抽出結果を抽出周波数成分加算部２２３−３へ出力する。
より詳細には、周波数成分抽出部２２３−２は、図９に示す計測格子点ごとに、計測格子点に隣接する４つの解像度変換後画素（左上、左下、右上、右下）の周波数成分の和を算出し、その中の最大値を最大周波数成分として抽出する。
続いて、周波数成分抽出部２２３−２は、最大周波数成分として抽出された４つの解像度変換後画素の周波数成分をゼロに設定し、再度、計測格子点に隣接する４つの解像度変換後画素の周波数成分の和が最大となるものを、２番目に大きい周波数成分として抽出する。
続いて、周波数成分抽出部２２３−２は、２番目に大きい周波数成分として抽出された４つの解像度変換後画素の周波数成分をゼロに設定し、再度、計測格子点に隣接する４つの解像度変換後画素の周波数成分の和が最大となるものを、３番目に大きい周波数成分として抽出する。
【００６０】
このように、周波数成分抽出部２２３−２が三大周波数成分を抽出するのは、二次元の平面を最も密に埋め尽くす白黒模様は、１点の６個の正三角形の空間の頂点が集まり、それぞれ辺を挟んで隣接する正三角形の白黒が反転しているものであり（図１１（ａ）参照）、この場合には、周波数成分（エネルギー）と周波数の絶対値とがほぼ等しく、（０，０）を中心に６０［ｄｅｇ］ずつ離れた３つの空間周波数が存在することに基づく措置である。
なお、縞模様（図１１（ｂ）参照）のみを対象として周期的図柄不快度を推定するのであれば、周波数成分抽出部２２３−２は、最大周波数成分のみを抽出すればよく、縞模様に加えて市松模様（図１１（ｃ）参照）も対象として周期的図柄不快度を推定するのであれば、周波数成分抽出部２２３−２は、二大周波数成分を抽出すればよい。
【００６１】
抽出周波数成分加算部２２３−３は、周波数成分抽出部２２３−２から出力された３つの周波数成分（三大周波数成分）を加算（単純加算）し、加算結果を周期的図柄判定部２２３−５へ出力する。
【００６２】
全交流周波数成分加算部２２３−４は、二次元フーリエ変換部２２３−１から出力された補正後の直流以外の周波数成分を取得し、取得された周波数成分の全てを加算（単純加算）し、加算結果を周期的図柄判定部２２３−５へ出力する。
【００６３】
周期的図柄判定部２２３−５は、三大周波数成分の和が所定値以上であり、かつ、全交流周波数成分の和に対する三大周波数成分の和の比（三大周波数成分の和／全交流周波数成分の和）が所定値以上である場合に、ブロック別周期的図柄不快度として、三大周波数成分の和の対数値を算出する。
ここで、縞模様の周波数成分（エネルギー）は約６倍になると、主観評価実験における不快度の評定カテゴリーが１つ上昇したことに基づき、対数の底は６に設定されることが望ましい。
【００６４】
また、周期的図柄における明暗の輝度差が最大輝度値（白色の輝度値）の約２．５％（エネルギーでは約０．０００６）以下の場合には、不快であるとは感じられないことが主観評価実験において示されているので、この場合には、周期的図柄判定部２２３−５は、ブロック別周期的図柄不快度として０を出力することが望ましい。
【００６５】
また、全交流周波数成分の和に対する三大周波数成分の和の比（三大周波数成分の和／全交流周波数成分の和）と比較される所定値は、０．３〜０．５に設定されることが望ましく、本実施形態では、周期的図柄判定部２２３−５は、三大周波数成分の和の対数値から、全交流周波数成分の和に対する三大周波数成分の和の比（三大周波数成分の和／全交流周波数成分の和）と比較される所定値が設定値に相当する周波数成分の和の対数値を減算した値をブロック別周期的図柄不快度としてブロック別周期的図柄不快度記憶部２２４（２２４ａ〜２２４ｎ）へ出力する。
【００６６】
≪ブロック別周期的図柄不快度記憶部≫
図７に戻り、ブロック別周期的図柄不快度記憶部２２４（２２４ａ〜２２４ｎ）は、該当ブロックのブロック別周期的図柄不快度を１秒間のフレーム数分だけ記憶し、記憶されたブロック別周期的図柄不快度を対応ブロック選択部２２６（２２６ａ〜２２６ｎ）へ出力するシフトレジスタである。
【００６７】
≪動きベクトル記憶部≫
動きベクトル記憶部２２５（２２５ａ〜２２５ｎ）は、該当ブロックの動きベクトルを１秒間のフレーム数分だけ記憶し、記憶された動きベクトルを対応ブロック選択部２２６（２２６ａ〜２２６ｎ）へ出力するシフトレジスタである。
【００６８】
≪対応ブロック選択部≫
対応ブロック選択部２２６（２２６ａ〜２２６ｎ）は、ブロック別周期的図柄不快度記憶部２２４（２２４ａ〜２２４ｎ）から出力された１秒間のフレーム数分の全てのブロック別周期的図柄不快度を取得するとともに、動きベクトル記憶部２２５（２２５ａ〜２２５ｎ）から出力された動きベクトルを取得し、ブロック別周期的図柄不快度記憶部２２４（２２４ａ〜２２４ｎ）から出力された１秒間のフレーム数分の全てのブロック別周期的図柄不快度の中から、動きベクトル記憶部２２５（２２５ａ〜２２５ｎ）から出力された動きベクトルに基づいて、フレームごとに該当ブロックに対応するブロックのブロック別周期的図柄不快度を選択してブロック別周期的図柄不快度加算部２２７（２２７ａ〜２２７ｎ）へ出力する。
【００６９】
≪ブロック別周期的図柄不快度加算部≫
ブロック別周期的図柄不快度加算部２２７（２２７ａ〜２２７ｎ）は、検出された動きベクトルに基づいて、映像に含まれる被写体を追跡するようにブロックの位置を補正し、補正後のブロックの位置におけるブロック別周期的図柄不快度に基づいて、当該ブロックにおけるブロック別周期的図柄不快度を加算するものである。本実施形態において、ブロック別周期的図柄不快度加算部２２７（２２７ａ〜２２７ｎ）は、対応ブロック選択部２２６（２２６ａ〜２２６ｎ）から出力された１秒間のフレーム数分のブロック別周期的図柄不快度を取得し、取得されたブロック別周期的図柄不快度をブロックごとに単純加算（すなわち、積算）し、加算結果を解像度別周期的図柄不快度決定部２２８へ出力する。このように単純加算するのは、主観評価実験において、不快度は時間軸に対してほぼ線形に上昇することが示されたことに基づく措置である。なお、本実施形態では、対応ブロック選択部２２６（２２６ａ〜２２６ｎ）とブロック別周期的図柄不快度加算部２２７（２２７ａ〜２２７ｎ）とを別の機能ブロックとして説明したが、ブロック別周期的図柄不快度加算部２２７（２２７ａ〜２２７ｎ）が、対応ブロック選択部２２６（２２６ａ〜２２６ｎ）の機能を一体的に備える構成であってもよい。
【００７０】
≪解像度別周期的図柄不快度決定部≫
解像度別周期的図柄不快度決定部２２８は、ブロック別周期的図柄不快度加算部２２７（２２７ａ〜２２７ｎ）から出力されたブロックごとの加算後のブロック別周期的図柄不快度ａ（ａａ〜ａｎ）を取得し、取得されたブロックごとの加算後のブロック別周期的図柄不快度ａを非線形加算することによって、非線形和である解像度別周期的図柄不快度ｂを決定し、算出結果を周期的図柄不快度算出部２３０へ出力する。
ｂ＝｛Σ（ａ）γＢ｝１／γＢ
【００７１】
すなわち、解像度別周期的図柄不快度決定部２２８は、ブロック別周期的図柄不快度ａ１〜ａｎをそれぞれγＢ乗したものを全て加算し、その１／γＢ乗（γＢ乗根）を算出することよって、解像度別周期的図柄不快度ｂを得る。ここで、解像度別周期的図柄不快度ｂは、γＢ＝１の場合には、振幅和となり、γＢ＝２の場合には、エネルギー和となる。本実施形態において、解像度別周期的図柄不快度決定部２２８は、γＢ＝２として解像度別周期的図柄不快度ｂを算出する。これは、主観評価実験において、同じ輝度値変化の面積を４倍とすると不快度が約２倍となり、解像度別周期的図柄不快度ｂの推定誤差が最小となることが示されていることに基づく措置である。
【００７２】
＜周期的図柄不快度算出部＞
図６に戻り、周期的図柄不快度算出部２３０は、解像度別周期的図柄不快度算出部２２０Ａ〜２２０Ｅの解像度別周期的図柄不快度決定部２２８から出力された５つの解像度別周期的図柄不快度ｂを取得し、取得された解像度別周期的図柄不快度ｂを非線形加算することによって、非線形和である周期的図柄不快度ｃを算出し、算出結果を周期的図柄不快度補正部２４０へ出力する。
ｃ＝｛Σ（ｂ）γＢ｝１／γＢ
【００７３】
すなわち、周期的図柄不快度算出部２３０は、５つの解像度別周期的図柄不快度ｂをそれぞれγ乗したものを全て加算し、その１／γＢ乗（γＢ乗根）を算出することよって、周期的図柄不快度ｃを得る。ここで、周期的図柄不快度ｃは、γＢ＝１の場合には、振幅和となり、γＢ＝２の場合には、エネルギー和となる。本実施形態において、周期的図柄不快度算出部２３０は、γＢ＝２として周期的図柄不快度ｃを算出する。これは、主観評価実験において、同じ輝度値変化の面積を４倍とすると周期的図柄不快度が約２倍となり、周期的図柄不快度ｃの推定誤差が最小となることが示されていることに基づく措置である。本実施形態において、周期的図柄不快度算出部２３０は、周期的図柄不快度ｃを１秒ごとに繰り返し算出して周期的図柄不快度補正部２４０へ出力する。
【００７４】
＜周期的図柄不快度補正部＞
周期的図柄不快度補正部２４０は、前回の（１秒前の）周期的図柄不快度ｃ（以下、前回の周期的図柄不快度ｃｍとする）が大きいほど今回の周期的図柄不快度ｃ（以下、今回の周期的図柄不快度ｃｍ＋１とする）が大きくなるように今回の周期的図柄不快度ｃｍ＋１を補正することによって、補正後の周期的図柄不快度ｄを算出する。本実施形態において、周期的図柄不快度補正部２４０は、加算部２４１と、記憶部２４２と、乗算部２４３と、を備える。
【００７５】
加算部２４１は、周期的図柄不快度算出部２３０から出力された前回の周期的図柄不快度ｃｍを取得し、取得された前回の周期的図柄不快度ｃｍを記憶部２４２へ出力する。
【００７６】
記憶部２４２は、加算部２４１から出力された前回の周期的図柄不快度ｃｍを、１個だけ記憶し、記憶された前回の周期的図柄不快度ｃｍを乗算部２４３へ出力するシフトレジスタである。
【００７７】
乗算部２４３は、記憶部２４２から出力された前回の周期的図柄不快度ｃｍを取得し、取得された前回の周期的図柄不快度ｃｍに定数ｐ（０＜ｐ＜１）を乗じ、算出結果のｐ・ｃｍを加算部２４１へ出力する。この定数ｐは、周期的図柄が長時間提示され続ける場合における周期的図柄不快度の蓄積効果を表すものであり、周期的図柄不快度の推定誤差を最小とするには、ｐ＝０．０３程度とすることが望ましい。これは、主観評価実験において、周期的図柄が２０〜３０［秒］提示され続けた場合の周期的図柄不快度が、同じ周期的図柄が１［秒］だけ提示された場合の周期的図柄不快度の２倍となったことに基づく措置である。
【００７８】
そして、加算部２４１は、周期的図柄不快度算出部２３０から出力された今回の周期的図柄不快度ｃｍ＋１を取得し、今回の周期的図柄不快度ｃｍ＋１に、定数が乗じられた前回の周期的図柄不快度ｐ・ｃｍを加算することによって、補正後の周期的図柄不快度ｄを算出し、算出された周期的図柄不快度ｄを指数変換部３０へ出力するとともに、新たな前回の周期的図柄不快度として記憶部２４２へ出力する。
ｄ＝ｃｍ＋１＋ｐ・ｃｍ
かかる加算部２４１は、ブロック別周期的図柄不快度加算部２２７（２２７ａ〜２２７ｎ）による加算のタイミングである１［秒］ごとに補正後の周期的図柄不快度ｄを算出して出力する。
【００７９】
本実施形態に係る周期的図柄不快度推定部２００は、周期的図柄不快度が評定値と線形に対応するように、周期的図柄不快度の元となる成分の総エネルギーに対し「４」を底とする対数変換を施した値として周期的図柄不快度を推定する。なお、本願出願人によって出願された特願２０１０−１１０４０３の実施形態では、不快感を全く生じない場合の周期的図柄不快度を「０」とし、負の値を出力しないのが標準的であるが、０でクリップすると後に各不快度を加算した際に誤差が生じるため、本実施形態においては、負の値の周期的図柄不快度も出力するものとする。
【００８０】
本発明の実施形態に係る周期的図柄不快度推定部２００は、縞模様等の周期的図柄によって引き起こされる周期的図柄不快度ｄを客観的に推定することができる。より詳細には、解像度別周期的図柄不快度算出部２２０Ａ〜２２０Ｅが、解像度ごとに解像度別周期的図柄不快度ｂを算出し、周期的図柄不快度算出部２３０が、解像度別周期的図柄不快度に基づいて周期的図柄不快度ｃを算出するので、より視聴者の主観的評価に近い対数変換された周期的図柄不快度ｄを推定することができる。また、推定された周期的図柄不快度ｄは、映像コンテンツ製作者が周期的図柄を低減するような映像修正を施す際に、映像修正の度合いの指標として使用可能である。
【００８１】
＜指数変換部＞
図２に戻り、指数変換部３０は、輝度変化不快度推定部１００から出力された輝度変化不快度と、周期的図柄不快度推定部２００から出力された周期的図柄不快度と、を取得し、取得された輝度変化不快度及び周期的図柄不快度をそれぞれ指数変換して加算部４０へ出力する。
【００８２】
指数変換部３０は、後記する加算部４０において各不快度を線形加算可能な値に変換するものであって、輝度変化不快度指数変換部３１と、周期的図柄不快度指数変換部３２と、を備える。
輝度変化不快度指数変換部３１は、輝度変化不快度推定部１００から出力された輝度変化不快度を取得し、取得された輝度変化不快度に対してγＣを底とする指数変換を施し、指数変換された輝度変化不快度を加算部４０へ出力する。
周期的図柄不快度指数変換部３２は、周期的図柄不快度推定部２００から出力された周期的図柄不快度を取得し、取得された周期的図柄不快度に対してγＣを底とする指数変換を施し、指数変換された周期的図柄不快度を加算部４０へ出力する。
【００８３】
＜加算部＞
加算部４０は、輝度変化不快度指数変換部３１から出力された指数変換された輝度変化不快度と、周期的図柄不快度指数変換部３２から出力された指数変換された周期的図柄不快度と、を取得し、指数変換された輝度変化不快度と指数変換された周期的図柄不快度とを線形加算し、計算結果（光感受性不快度）を対数変換部５０へ出力する。
【００８４】
＜対数変換部＞
対数変換部５０は、加算部４０から出力された光感受性不快度に対し、光感受性不快度が評定値と線形に対応するように、前記したγＣを底とする対数変換を施し、対数変換された光感受性不快度を出力する。ここで、輝度変化不快度指数変換部３１、周期的図柄不快度指数変換部３２及び対数変換部５０において同じ値のγＣを用いるのは、輝度変化及び周期的図形のいずれかが単独で発生した場合に本実施形態で得られる対数変換された光感受性不快度を、該当する単独の不快度と一致させるためである。ちなみに、多数の評定者による評価実験の結果、「γＣ＝８」とした場合に対数変換された光感受性不快度の誤差が最小となることが明らかになっている。
【００８５】
本発明の実施形態に係る光感受性不快度推定部１０は、頻繁な輝度変化と高コントラストな周期的図柄が同時に生起する映像から視聴者が感じる光感受性不快度を映像の輝度に基づいて客観的に推定することができる。
【００８６】
＜動揺映像不快度推定部＞
図１２に示すように、本発明の実施形態に係る動揺映像不快度推定部３００は、映像における動きベクトルに基づいて動揺映像に起因する動揺映像不快度を推定するものであり、機能部として、領域別動きベクトル検出部３１０と、第一のフィルタ部３２０と、動き領域判定部３３０と、動き領域重心算出部３４０と、平均補正済み動きベクトル算出部３５０と、差ベクトル算出部３６０と、周径方向動きベクトル算出部３７０と、周方向同相動きベクトル算出部３８０と、第二のフィルタ部３９０と、総動揺エネルギー算出部４００と、総動揺エネルギー補正部４１０と、対数変換部４２０と、を備える。
【００８７】
かかる機能部のうち、領域別動きベクトル検出部３１０、第一のフィルタ部３２０、動き領域判定部３３０、差ベクトル算出部３６０、周径方向動きベクトル算出部３７０、周方向同相動きベクトル算出部３８０及び第二のフィルタ部３９０に関しては、画面を分割した複数（１〜Ｎ）の領域に対応して複数（Ｎ）セットが設けられている。例えば、縦３×横３に分割した場合の領域数（Ｎ）は９個になるが、領域数はこれに限定されない。
【００８８】
＜領域別動きベクトル検出部＞
領域別動きベクトル検出部３１０は、当該検出部３１０に対応する領域の映像信号を取得し、取得された映像信号に基づいて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトル（フレーム間の差分）を時系列に検出し、検出結果を第一のフィルタ部３２０へ出力する。本実施形態において、領域別動きベクトル検出部３１０は、動きベクトルとして、上下移動に関する動きベクトル（上下方向動きベクトル）、及び、左右移動に関する動きベクトル（左右方向動きベクトル）を検出する。
【００８９】
＜第一のフィルタ部＞
第一のフィルタ部３２０は、領域別動きベクトル検出部３１０によって検出された動きベクトルを取得し、取得された動きベクトルに上下方向及び左右方向で異なる周波数感度補正を施すことによって補正済み動きベクトルを得るものであって、第一のデジタルフィルタ３２１と、第二のデジタルフィルタ３２２と、を並列に備える。
【００９０】
第一のデジタルフィルタ３２１は、上下方向動きベクトルに周波数感度補正を施すものであって、上下方向動きベクトルに対して図１３に示す上下方向の不快感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み上下方向動きベクトルを得て動き領域判定部３３０、平均補正済み動きベクトル算出部３５０及び差ベクトル算出部３６０へ出力する。
【００９１】
第二のデジタルフィルタ３２２は、左右方向動きベクトルに周波数感度補正を施すものであって、左右方向動きベクトルに対して図１３に示す左右方向の不快感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み左右方向動きベクトルを得て動き領域判定部３３０、平均補正済み動きベクトル算出部３５０及び差ベクトル算出部３６０へ出力する。
【００９２】
なお、第一のデジタルフィルタ３２１、第二のデジタルフィルタ３２２及び後記する第三のデジタルフィルタ３９１において、グローバルモーションを用いた従来の不快度推定装置と同様に、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本実施形態における動揺映像不快度推定部３００は、１画面で多数の領域ごとに周波数補正を行うものであるため、演算量の少ない畳み込み積分を用いる方が望ましい。
【００９３】
＜動き領域判定部＞
動き領域判定部３３０は、第一のフィルタ部３２０から出力された補正済み上下方向動きベクトル及び補正済み左右方向動きベクトルを取得し、補正済み動きベクトルの大きさが予め定められた閾値以上である場合に該当する領域において動きありと判定する。
【００９４】
本実施形態において、計算の簡略化のため、動き領域判定部３３０は、補正済み上下方向動きベクトルの二乗と補正済み左右方向動きベクトルの二乗との和が閾値（前記した閾値の二乗）以上である場合に動きありと判定することができる。
動きありと判定した場合には、動き領域判定部３３０は、判定結果を動き領域重心算出部３４０、平均補正済み動きベクトル算出部３５０、差ベクトル算出部３６０及び総動揺エネルギー算出部４００へ出力する。
【００９５】
＜動き領域重心算出部＞
動き領域重心算出部３４０は、動き領域判定部３３０から出力された判定結果を取得し、取得された判定結果に基づいて、動きありと判定された全ての領域の中心座標の重心である動き領域重心を算出し、周径方向動きベクトル算出部３７０及び周方向同相動きベクトル算出部３８０へ出力する。
【００９６】
本実施形態において、動き領域重心算出部３４０には、各領域の中心座標が予め記憶されている。動き領域重心算出部３４０は、判定結果を用いて動きありと判定された全ての領域の中心座標を読み出し、読み出した中心座標に基づいて動き領域重心を算出する。
【００９７】
＜平均補正済み動きベクトル算出部＞
平均補正済み動きベクトル算出部３５０は、動き領域判定部３３０から出力された判定結果と、第一のデジタルフィルタ３２１から出力された補正済み上下方向動きベクトルと、第二のデジタルフィルタ３２２から出力された左右方向動きベクトルと、を取得する。かかる平均補正済み動きベクトル算出部３５０は、動き領域判定部３３０から出力された判定結果に基づいて、動きありと判定された全ての領域について、第一のデジタルフィルタ３２１から出力された補正済み上下方向動きベクトルの平均である平均補正済み上下方向動きベクトルと、第二のデジタルフィルタ３２２から出力された補正済み左右方向動きベクトルの平均である平均補正済み左右方向動きベクトルと、を算出し、算出結果を差ベクトル算出部３６０及び総動揺エネルギー算出部４００へ出力する。
【００９８】
＜差ベクトル算出部＞
差ベクトル算出部３６０は、動き領域判定部３３０から出力された判定結果と、第一のデジタルフィルタ３２１から出力された補正済み上下方向動きベクトルと、第二のデジタルフィルタ３２２から出力された補正済み左右方向動きベクトルと、平均補正済み動きベクトル算出部３５０から出力された平均補正済み上下方向動きベクトル及び平均補正済み左右方向動きベクトルと、を取得する。かかる差ベクトル算出部３６０は、動き領域判定部３３０から出力された判定結果に基づいて、動きありと判定された全ての領域の前記補正済み上下方向動きベクトルと前記平均補正済み上下方向動きベクトルとの上下方向差ベクトルと、当該領域の前記補正済み左右方向動きベクトルと前記平均補正済み左右方向動きベクトルとの左右方向差ベクトルと、を算出し、周径方向動きベクトル算出部３７０へ出力する。
【００９９】
＜周径方向動きベクトル算出部＞
周径方向動きベクトル算出部３７０は、動き領域重心算出部３４０から出力された動き領域重心と、差ベクトル算出部３６０から出力された上下方向差ベクトル及び左右方向差ベクトルとを取得する。かかる周径方向動きベクトル算出部３７０は、差ベクトルの成分として、上下方向差ベクトル及び左右方向差ベクトルを動き領域重心を中心とした円の周方向及び径方向に分解することによって、動き領域重心を中心とした円の周方向のベクトルである周方向動きベクトル及び径方向のベクトルである径方向動きベクトルを算出し、周方向動きベクトルを周方向同相動きベクトル算出部３８０に出力するとともに径方向動きベクトルを総動揺エネルギー算出部４００へ出力する。すなわち、径方向は、動き領域重心を中心とする円の径方向、すなわち、動き領域重心と各動き領域の中心（動きベクトルの始点）とを通る直線が延びる方向であり、周方向は、動き領域重心を中心とする円の周方向、すなわち、動き領域重心を中心として動き領域重心から各動き領域の中心までの距離を半径とする円の周方向であって前記径方向と直交する方向である。
【０１００】
＜周方向同相動きベクトル算出部＞
周方向同相動きベクトル算出部３８０は、動き領域重心算出部３４０から出力された動き領域重心と、周径方向動きベクトル算出部３７０から出力された周方向動きベクトルを取得する。かかる周方向同相動きベクトル算出部３８０は、動き領域重心を中心とした回転角が等しくかつ、後記の周方向差分動きベクトルの二乗の総和（当該成分の動揺エネルギーに相当）が最小になるような周方向同相動きベクトルと、元の周方向動きベクトルと周方向同相動きベクトルとの差分である周方向差分動きベクトルと、を算出し、周方向同相動きベクトルを第二のフィルタ部３９０に出力するとともに周方向差分動きベクトルを総動揺エネルギー算出部４００へ出力する。
【０１０１】
＜第二のフィルタ部＞
第二のフィルタ部３９０は、周径方向同相動きベクトル算出部３８０から出力された周方向同相動きベクトルを取得し、周方向同相動きベクトルに周波数感度補正を施すことによって補正済み周方向同相動きベクトルを得るものであって、第三のデジタルフィルタ３９１を備える。
【０１０２】
第三のデジタルフィルタ３９１は、周方向同相動きベクトルに周波数感度補正を施すものであって、周方向同相動きベクトルに対して図１４に示す径方向動きベクトルに対する周方向動きベクトルの不快度の相対感度の周波数特性に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み周方向同相動きベクトルを得て総動揺エネルギー算出部４００へ出力する。
【０１０３】
ここで、径方向動きベクトル及び周方向差分動きベクトルの周波数感度補正に関して、径方向動きベクトル及び周方向差分動きベクトルのインパルスレスポンスは、当該動きベクトルの上下方向と左右方向の成分に対してそれぞれ上下方向動きベクトルのインパルスレスポンスと左右方向動きベクトルのインパルスレスポンスとを与えたものと等しいことが評価実験によって明らかになっており、径方向動きベクトルおよび周方向差分動きベクトルは、前記した第一のフィルタ部３２０によって既に補正されているため、改めて補正を施す必要はない。
【０１０４】
＜総動揺エネルギー算出部＞
総動揺エネルギー算出部４００は、動き領域判定部３３０から出力された判定結果と、平均補正済み動きベクトル算出部３５０から出力された平均補正済み上下方向動きベクトル及び平均補正済み左右方向動きベクトルと、周径方向動きベクトル算出部３７０から出力された径方向動きベクトルと、周方向同相動きベクトル算出部３８０から出力された周方向差分動きベクトルと、第二のフィルタ部３９０から出力された補正済み周方向同相動きベクトルと、を取得する。かかる総動揺エネルギー算出部４００は、動き領域判定部３３０から出力された判定結果に基づいて、動きありと判定された全ての領域の平均補正済み上下方向動きベクトルの二乗（上下方向の動揺エネルギーに相当）と、平均補正済み左右方向動きベクトルの二乗（左右方向の動揺エネルギーに相当）と、径方向動きベクトルの二乗（径方向の動揺エネルギーに相当）と、周方向差分動きベクトルの二乗（同相との差分の周方向の動揺エネルギーに相当）と、補正済み周方向動きベクトルの二乗（同相の周方向の動揺エネルギーに相当）との和を算出することによって、画面動揺の全体の動揺エネルギーに相当する総動揺エネルギーを算出し、総動揺エネルギー補正部４１０へ出力する。
【０１０５】
本実施形態において、総動揺エネルギー算出部４００は、動きありと判定された全ての領域の平均補正済み上下方向動きベクトルの二乗と、平均補正済み左右方向動きベクトルの二乗と、径方向動きベクトルの二乗と、周方向差分動きベクトルの二乗と、補正済み周方向同相動きベクトルの二乗との和を直前の所定時間分加算する（例えば、前々回の各動きベクトルによる総動揺エネルギー、前回の各動きベクトルによる総動揺エネルギー、今回の各動きベクトルによる総動揺エネルギーの和を算出する）ことによって、総動揺エネルギーを算出する。
【０１０６】
＜総動揺エネルギー補正部＞
総動揺エネルギー補正部４１０は、総動揺エネルギーを補正するものであって、総動揺エネルギー補正部４１０の出力（今回の補正後の総動揺エネルギー）に比例した量を、次回の総動揺エネルギーに加算することによって、次回の総動揺エネルギーを補正する。このようにして得られた補正後の総動揺エネルギーは、動揺映像不快度として用いることも可能である。かかる総動揺エネルギー補正部４１０は、総動揺エネルギーの補正を繰り返すものであって、以下、便宜上、今回の総動揺エネルギーを前回の補正後の総動揺エネルギーを用いて補正する場合について説明する。総動揺エネルギー補正部４１０は、前回の（例えば、１秒前の）補正後の総動揺エネルギーｄ（以下、前回の補正後の総動揺エネルギーｄｍとする）が大きいほど今回の補正後の総動揺エネルギーｄ（以下、今回の補正後の総動揺エネルギーｄｍ＋１とする）が大きくなるように、総動揺エネルギー算出部４００から取得した今回の総動揺エネルギーｃ（以下、今回の総動揺エネルギーｃｍ＋１とする）を補正することによって、今回の補正後の総動揺エネルギーｄｍ＋１を算出する。本実施形態において、総動揺エネルギー補正部４１０は、加算部４１１と、記憶部４１２と、乗算部４１３と、を備える。
【０１０７】
加算部４１１は、総動揺エネルギー算出部４００から出力された今回の総動揺エネルギーｃｍ＋１を取得し、後記する乗算部４１３から取得した前回の補正後の総動揺エネルギーｄｍに定数ｐを乗じたｐ・ｄｍを加算して、今回の補正後の総動揺エネルギーｄｍ＋１として対数変換部４２０及び記憶部４１２へ出力する（ｄｍ＋１＝ｃｍ＋１＋ｐ・ｄｍ）。
【０１０８】
記憶部４１２は、加算部４１１から出力された前回の補正後の総動揺エネルギーｄｍを１個だけ記憶し、記憶された前回の補正後の総動揺エネルギーｄｍを乗算部４１３へ出力するシフトレジスタである。
【０１０９】
乗算部４１３は、記憶部４１２から出力された前回の補正後の総動揺エネルギーｄｍを取得し、これに定数ｐ（０＜ｐ＜１）を乗じて算出したｐ・ｄｍを加算部４１１へ出力する。この定数ｐは、画面動揺が長時間継続する場合における不快度の蓄積効果を表すものであり、時間間隔が１秒である場合には、長期間持続する一定の画面動揺に対する補正済み総動揺エネルギーが１秒間の総動揺エネルギーの７．５倍になること、長時間持続した一定の画面動揺が停まった後５秒間で補正済み総動揺エネルギーがほぼ半減すること等から、ｐ＝０．８３程度とした場合に補正済み総動揺エネルギーが動揺映像不快度の評定結果に最も近くなることがわかっている。なお、総動揺エネルギー補正部４１０は、１回目の補正時には、前回の出力が記憶部４１２に記憶されていないため、無補正の総動揺エネルギーを出力する。
【０１１０】
＜対数変換部＞
対数変換部４２０は、総動揺エネルギー補正部４１０から出力された補正後の総動揺エネルギーｄを取得し、取得した補正後の総動揺エネルギーを対数変換することによって不快度を算出し、指数変換部５００へ出力する。算出された不快度、すなわち対数変換された動揺映像不快度は、実際に知覚された動揺映像不快度の量との対応が線形に近い。
【０１１１】
なお、短時間の動揺映像不快度のみに注目する場合には、総動揺エネルギー補正部４１０を省略することも可能である。この場合、対数変換部４２０は、総動揺エネルギー算出部４００によって算出された（未補正の）総動揺エネルギーを対数変換することによって、対数変換された動揺映像不快度を算出する。
【０１１２】
本実施形態において、対数変換部４２０は、対数の底を１６とした場合に、検知限と許容限との差、及び、許容限と我慢限との差がそれぞれほぼ１となり、不快度の評定結果の標準偏差が約０．５となることがわかっており、許容限を動き領域判定部３３０における閾値に設定した場合に、我慢限に達するヒトの割合を２．５％未満に抑えることができる。
【０１１３】
続いて、本発明の実施形態に係る動揺映像不快度推定部３００の動作例について、図１２ないし図１７を参照して説明する。図１５（ａ）は、動き領域判定部、動き領域重心算出部及び平均補正済み動きベクトル算出部の動作例を説明するための図、図１５（ｂ）は、差ベクトル算出部の動作例を説明するための図、図１６は、周径方向動きベクトル算出部の動作例を説明するための図、図１７（ａ）（ｂ）は、周方向同相動きベクトル算出部の動作例を説明するための図である。
【０１１４】
まず、領域別動きベクトル検出部３１０が、入力された対応する領域の映像を用いて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトルを検出し、第一のフィルタ部３２０へ出力する。続いて、第一のフィルタ部３２０が、動きベクトルに周波数感度補正を施し、補正済み動きベクトルを動き領域判定部３３０等へ出力する。
【０１１５】
続いて、動き領域判定部３３０が、補正済み動きベクトルの大きさが閾値以上である場合に動きありと判定し、動きありの判定結果を動き領域重心算出部３４０等へ出力する。図１５（ａ）に示す例では、領域１，２，４における補正済み動きベクトルｖ１１，ｖ１２，ｖ１４の大きさが閾値以上であると判定され、他の領域３，５〜９における補正済み動きベクトルｖ１３，ｖ１５，ｖ１６，ｖ１７，ｖ１８，ｖ１９の大きさが閾値未満であると判定される。なお、各領域１〜９における補正前の動きベクトルは、各領域１〜９の中心を始点とするベクトルであり、補正済み動きベクトルｖ１１〜ｖ１９も、補正前の動きベクトルと同様に各領域１〜９の中心を始点とするベクトルである。
【０１１６】
続いて、動き領域重心算出部３４０が、動きありと判定された領域の重心である動き領域重心を算出し、周径方向動きベクトル算出部３７０へ出力する。図１５（ａ）に示す例では、領域１，領域２，領域４の各中心座標の平均座標が動き領域重心Ｘとして算出される。
【０１１７】
続いて、平均補正済み動きベクトル算出部３５０が、動きありと判定された領域の補正済み動きベクトルに基づいて、平均補正済み動きベクトルを算出し、差ベクトル算出部３６０及び総動揺エネルギー算出部４００へ出力する。図１５（ａ）に示す例では、領域１の補正済み動きベクトルｖ１１の一成分である補正済み上下方向動きベクトルと、領域４の補正済み動きベクトルの一成分である補正済み上下方向動きベクトルとは、大きさが同じで向きが反対である。また、領域１の補正済み動きベクトルｖ１１の他成分である補正済み左右方向動きベクトルと、領域２の補正済み動きベクトルｖ１２と、領域４の補正済み動きベクトルｖ１４の他成分である補正済み左右方向動きベクトルとは、大きさが同じで向きも同じである。したがって、図１５（ａ）に示す例では、平均補正済み動きベクトルの一成分である平均補正済み上下方向動きベクトルは０であり、平均補正済み動きベクトルの他成分である平均補正済み左右方向動きベクトルはベクトルｖ１２と同一である。
【０１１８】
続いて、差ベクトル算出部３６０が、動きありと判定された領域の補正済み動きベクトルと平均補正済み動きベクトルとの差である差ベクトルを算出し、周径方向動きベクトル算出部３７０へ出力する。図１５（ｂ）に示す例では、領域１の差ベクトルｖ２１、領域４の差ベクトルｖ２４が算出されるとともに、領域２の差ベクトルｖ２２（ゼロベクトル）が算出される。ここで、平均補正済み上下方向ベクトルは０であり、平均補正済み左右方向動きベクトルは補正済み動きベクトルｖ１１の左右方向成分と同一であるため、領域１の差ベクトルｖ２１は、補正済み動きベクトルｖ１１の上下方向成分（補正済み上下方向動きベクトル）と同一となる。また、平均補正済み左右方向動きベクトルは補正済み動きベクトルｖ１４の左右方向成分と同一であるため、領域４の差ベクトルｖ２４は、補正済み動きベクトルｖ１４の上下方向成分（補正済み上下方向動きベクトル）と同一となる。また、左右方向成分領域２の差ベクトルｖ２２は、平均補正済み動きベクトル（平均補正済み上下方向動きベクトルと平均補正済み左右方向動きベクトルとの和）と補正済み動きベクトルｖ１２とが等しいため、０である。
【０１１９】
続いて、周径方向動きベクトル算出部３７０が、動き領域重心及び差ベクトルに基づいて、周方向動きベクトル及び径方向動きベクトルを算出し、周方向動きベクトルを周方向同相動きベクトル算出部３８０へ出力するとともに径方向動きベクトルを総動揺エネルギー算出部４００へ出力する。図１６に示す例では、領域１の差ベクトルｖ２１が、周方向動きベクトルｖ３１と径方向動きベクトルｖ４１とに分解され、領域４の差ベクトルｖ２４が、周方向動きベクトルｖ３４と径方向動きベクトルｖ４４とに分解されるとともに、領域２の差ベクトルｖ２２が、周方向動きベクトルｖ３２（ゼロベクトル）と径方向動きベクトルｖ４２（ゼロベクトル）とに分解される。
【０１２０】
続いて、周方向同相動きベクトル算出部３８０が、前記の動き領域重心及び動きのある領域の各周方向動きベクトルに基づいて、動き領域重心を中心とした回転角が等しく、かつ、周方向差分動きベクトルの二乗の総和（当該成分の動揺エネルギーに相当）が最小になるような周方向同相動きベクトルと、元の周方向動きベクトルと周方向同相動きベクトルとの差分である周方向差分動きベクトルと、を算出し、周方向同相動きベクトルを第二のフィルタ部３９０に出力するとともに周方向差分動きベクトルを総動揺エネルギー算出部４００へ出力する。図１７に示す例では、（ａ）に示す周方向動きベクトルｖ３１，ｖ３２，ｖ３４が、（ｂ）に示す周方向同相動きベクトルｖ５１，ｖ５２，ｖ５４と周方向差分動きベクトルｖ６１，ｖ６２，ｖ６４とにそれぞれ分解される。
【０１２１】
ここで、周方向差分動きベクトルの二乗の総和が最小になるような回転角θは、回転方向が反時計回りの場合を正の値、時計回りの場合を負の値であると定義した場合、動きのあると判定された各領域の中心と動き領域重心位置Ｘとの距離ｒｎ、周方向動きベクトルｖ３０＋ｎの大きさに前記の回転方向による正負の符号を付けた値ｗｎを用いた１次近似の微分方程式の解として、
θ＝Σ（ｒｎ・ｗｎ）／Σｒｎ２
（図１５〜図１７の場合、ｎ＝１〜９であり、ｎ＝３，５〜９のとき、ｗｎ＝０）
のように求められる。
【０１２２】
このθを用いて、周方向同相動きベクトルｖ５０＋ｎの値は、前記の回転方向による正負の符号が付いた、ｒｎ・θとして算出される。また、周方向差分動きベクトルｖ６０＋ｎの値は、前記の回転方向による正負の符号が付いた、ｗｎ−ｒｎ・θとして算出される。
【０１２３】
続いて、第二のフィルタ部３９０が、周方向同相動きベクトルに周波数感度補正を施し、補正済み周方向同相動きベクトルを総動揺エネルギー算出部４００へ出力する。
【０１２４】
続いて、総動揺エネルギー算出部４００が、入力された各動きベクトル（平均補正済み上下方向動きベクトル、平均補正済み左右方向動きベクトル、補正済み周方向同相動きベクトル、及び、径方向動きベクトル）に基づいて総動揺エネルギーを算出し、総動揺エネルギー補正部４１０へ出力する。続いて、総動揺エネルギー補正部４１０が、総動揺エネルギーを補正し、対数変換部４２０へ出力する。続いて、対数変換部４２０が、総動揺エネルギーを対数変換することによって、対数変換された動揺映像不快度を算出する。
【０１２５】
本発明の実施形態に係る動揺映像不快度推定部３００は、画面を分割した各領域のうち、動きがあると判定された領域の各種動きベクトルを用いて動揺映像不快度を推定するので、グローバルモーションに基づいて動揺映像不快度を推定した場合には正しい動揺映像不快度の推定が困難な「画面の左右で反対向きに回転する動揺画像」についても、その揺れの周波数によらず、主観評価実験における平均値との誤差が小さい動揺映像不快度を推定することができる。
【０１２６】
また、動揺映像不快度推定部３００に新たに加えられた周方向同相動きベクトル算出部３８０による処理は、前記の近似計算式で済ませることができるので、装置全体の計算量は数％しか増加しないため、処理時間はほとんど変わらず、高速に動揺映像不快度を推定することができる。推定された動揺映像不快度は、映像コンテンツ制作者が画面動揺を低減するような映像修正を施す際に、映像修正の度合いの指標として使用可能である。
【０１２７】
＜指数変換部＞
図１に戻り、指数変換部５００は、光感受性不快度推定部１０から出力された光感受性不快度と、動揺映像不快度推定部３００から出力された動揺映像不快度と、を取得し、取得された光感受性不快度及び動揺映像不快度をそれぞれ指数変換して加算部６００へ出力する。
【０１２８】
指数変換部５００は、後記する加算部５００において各不快度を線形加算可能な値に変換するものであって、光感受性不快度指数変換部５０１と、動揺映像不快度指数変換部５０２と、を備える。
光感受性不快度指数変換部５０１は、光感受性不快度推定部１０から出力された光感受性不快度を取得し、取得された光感受性不快度に対してγＤを底とする指数変換を施し、指数変換された光感受性不快度を加算部６００へ出力する。
動揺映像不快度指数変換部５０２は、動揺映像不快度推定部３００から出力された動揺映像不快度を取得し、取得された動揺映像不快度に対してγＤを底とする指数変換を施し、指数変換された動揺映像不快度を加算部６００へ出力する。
【０１２９】
＜加算部＞
加算部６００は、光感受性不快度指数変換部５０１から出力された指数変換された光感受性不快度と、動揺映像不快度指数変換部５０２から出力された指数変換された動揺映像不快度と、を取得し、指数変換された光感受性不快度と指数変換された動揺映像不快度とを線形加算し、加算された不快度を対数変換部７００へ出力する。
【０１３０】
＜対数変換部＞
対数変換部７００は、加算部６００から出力された加算された不快度に対し、かかる不快度が評定値と線形に対応するように、前記したγＤを底とする対数変換を施し、対数変換された不快度を総合不快度として出力する。ここで、光感受性不快度指数変換部５０１、動揺映像不快度指数変換部５０２及び対数変換部７００において同じ値のγＤを用いるのは、光感受性刺激及び動揺映像のいずれかが単独で発生した場合に本実施形態で得られる総合不快度を、該当する単独の不快度と一致させるためである。ちなみに、多数の評定者による評価実験の結果、「γＤ＝１６」とした場合に総合不快度の誤差が最小となることが明らかになっている。
【０１３１】
以上、本発明の実施形態について説明したが、本説明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記した不快度推定装置１として機能させる不快度推定プログラムとしても具現化可能である。また、光感受性不快度を評定値と線形に対応させる必要が無い場合は、対数変換部７００を省略することができる。対数変換部７００を省略した場合の出力値である不快度は、光感受性刺激及び動揺映像それぞれの不快度の元となった各成分の総エネルギーとは異なる次元の値となり、γＤ＝１６とした場合には、光感受性刺激に関しては輝度変化及び周期的図柄の各エネルギーを１．５乗した値の総和に相当し、動揺映像に関してはエネルギーの１乗に相当する。また、光感受性不快度推定部１０及び動揺映像不快度推定部３００から得られる各不快度を各成分の対数変換前のエネルギー想到値とした場合、指数変換部５００は、対数変換前の光感受性刺激に関する総エネルギーをαＢ乗し、対数変換前の動揺映像に関する総エネルギーをβ乗する構成となり、γＤ＝１６とした場合はαＢ＝４／３、β＝１となる。
【０１３２】
また、光感受性不快度推定部１０は、輝度変化不快度推定部１００のみを備えて光感受性不快度として輝度変化不快度のみを出力する構成であってもよく、周期的図柄不快度推定部２００のみを備えて光感受性不快度として周期的図柄不快度のみを出力する構成であってもよい。
【符号の説明】
【０１３３】
１      不快度推定装置
１０    光感受性不快度推定部
１００  輝度変化不快度推定部
２００  周期的図柄不快度推定部
３００  動揺映像不快度推定部
５００  指数変換部
６００  加算部
７００  対数変換部
【図１】
2015106192.tif 000003
【図２】
2015106192.tif 000004
【図３】
2015106192.tif 000005
【図４】
2015106192.tif 000006
【図５】
2015106192.tif 000007
【図６】
2015106192.tif 000008
【図７】
2015106192.tif 000009
【図８】
2015106192.tif 000010
【図９】
2015106192.tif 000011
【図１０】
2015106192.tif 000012
【図１１】
2015106192.tif 000013
【図１２】
2015106192.tif 000014
【図１３】
2015106192.tif 000015
【図１４】
2015106192.tif 000016
【図１５】
2015106192.tif 000017
【図１６】
2015106192.tif 000018
【図１７】
2015106192.tif 000019