(57)【要約】【課題】人の視覚特性に適合した最適映像を表示できる映像処理装置を提供すること。【解決手段】映像処理装置１は、少なくとも最新の映像フレーム（ｋ）を記憶する映像フレーム記憶部１１ａ、当該映像フレーム（ｋ）の直前の出力映像フレーム（ｋ−１）の平均輝度値α０が記憶される出力映像フレーム平均輝度値記憶部１１ｂからなる記憶部１１、前記映像フレーム（ｋ）の平均輝度値を算出する平均輝度値算出部１２、該平均輝度値算出部１２が算出した平均輝度値と出力映像フレーム（ｋ−１）の平均輝度値α０を比較し輝度調整の要否を判定する調整処理判定部１３、調整処理が必要と判定された場合に輝度調整値を算出する輝度調整値算出部１４、算出された輝度調整値により前記映像フレーム（ｋ）の映像信号の輝度値を調整する出力用映像輝度調整部１５等から構成される。【選択図】図２
2008304539.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像フレームの平均輝度値を、続いて入力される映像フレームごとに順時比較し、前記入力された映像フレームの平均輝度値が当該入力された映像フレームの直前の映像フレームの平均輝度値に対して所定値以上の差で変化した場合、当該映像フレーム以後の出力映像フレームの輝度を、当該出力映像フレームの平均輝度値が当該映像フレームの直前の出力映像フレームの平均輝度値から徐々に変化するように調整することを特徴とする映像処理装置。
【請求項２】
入力された映像フレームを映像フレーム記憶部に記憶し、記憶した映像フレームの平均輝度値を算出し、算出した映像フレームの平均輝度値と当該映像フレームの直前の出力映像フレームの平均輝度値とを比較することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
少なくとも最新の映像フレームを記憶する映像フレーム記憶部と、
当該映像フレーム記憶部に記憶された映像フレームの平均輝度値を算出する平均輝度値算出部と、
前記映像フレーム記憶部に記憶した映像フレームの直前の映像フレームの出力映像フレームの平均輝度値を記憶する出力映像フレーム平均輝度値記憶部と、
前記平均輝度値算出部が算出した平均輝度値と前記出力映像フレームの平均輝度値を比較し輝度調整の要否を判定する調整処理判定部と、
当該調整処理判定部が輝度値の差が所定値以上であり輝度調整が必要と判定した場合に、輝度調整値を算出する輝度調整値算出部とを有し、
算出した輝度調整値に基づいて前記映像フレーム記憶部に記憶した映像フレームの出力映像の輝度を調整して出力すると共に当該出力映像フレームの平均輝度値により前記出力映像フレーム平均輝度値記憶部の記憶値を更新することを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
映像処理装置起動時に前記出力映像フレーム平均輝度値記憶部の初期値として一般的映像の映像フレームの平均輝度値が設定されることを特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記輝度調整値算出部は、予め設定した輝度調整関数に基づいて調整輝度値を算出することを特徴とする請求項３に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、特に、映像の視認性を改善する映像処理装置に関する。
【背景技術】
【０００２】
人間の視覚特性として、暗所から明所に急に出ると、眩しさのため物が見えにくくなるが、徐々に明るさに順応して見やすくなるという明順応反応と、明所から暗所に急に入った直後には何も見えないが、徐々に暗さに順応して見えるようになるという暗順応反応が一般に知られている。
【０００３】
図４は、人の目の視細胞の光刺激（周囲の輝度）に対する応答特性を示した図であり、Ｓ字型のカーブを描いている。図において、符号Ｃで示した中央付近の狭い範囲の輝度に対して眩しくもなく暗くもなく感じ、また、輝度の変化に対して最も感度（応答特性）が高い。それ故、人の目は光を最も感度よく感受できるように常に前記Ｃの状態に調整される。
【０００４】
そして、光刺激が変化した場合、つまり、周囲の輝度が変化した場合には、上記Ｃの状態で視覚するように前記カーブをシフトさせて輝度変化に対応する。
例えば、輝度が大きくなった場合には、前記カーブを右にシフト（明順応）させ、逆に、輝度が小さくなった場合には左にシフト（暗順応）させる。しかし、この順応は瞬時には行われないので、急激な明暗の変化があった場合、個人差はあるが、一持的に眩しさや暗さを感じることになる。
【０００５】
従来から、このような人間の視覚特性に対応して、液晶テレビ等に表示する映像を調整する技術が提案されている。
特許文献１には、図５に示した、縦軸を映像フレームの平均輝度値（ＡＰＬ），横軸を時間とするグラフ１００において、明るいシーン（点線１００ａ）及び暗いシーン（点線１００ｃ）の映像の表示において、明るいシーンを表示する映像フレームの平均輝度値を下げ（実線１００ｂ）、また、暗いシーンを表示する映像フレームの平均輝度値を上げるように（実線１００ｄ）、映像フレームの平均輝度値を調整して、視覚が明順応，暗順応するまでに要する時間を短くすることで映像の視認性を改善する手法が開示されている。
【特許文献１】特開２００３−２９５８３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示された手法は、本来の明るいシーンの映像を暗くし、暗いシーンの映像を明るくして輝度を圧縮した映像を表示するもので、表示する映像の質を本来の映像よりも低下させている。また、表示される映像の輝度の変化は、圧縮されているが、表示映像の輝度が急変することには変わりなく、視聴者が映像を一時的に眩しく感じたり、暗く感じたりすることは避けられない。
【０００７】
本発明は、かかる実情に鑑みてなされたものであり、人の視覚特性に適合した最適映像を表示できる映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の技術手段は、入力された映像フレームの平均輝度値を、続いて入力される映像フレームごとに順時比較し、前記入力された映像フレームの平均輝度値が当該入力された映像フレームの直前の映像フレームの平均輝度値に対して所定値以上の差で変化した場合、当該映像フレーム以後の出力映像フレームの輝度を、当該出力映像フレームの平均輝度値が当該映像フレームの直前の出力映像フレームの平均輝度値から徐々に変化するように調整することを特徴とする映像処理装置である。
【０００９】
第２の技術手段は、第１の技術手段において、入力された映像フレームを映像フレーム記憶部に記憶し、記憶した映像フレームの平均輝度値を算出し、算出した映像フレームの平均輝度値と当該映像フレームの直前の出力映像フレームの平均輝度値とを比較することを特徴とするものである。
【００１０】
第３の技術手段は、第１又は第２の技術手段において、少なくとも最新の映像フレームを記憶する映像フレーム記憶部と、当該映像フレーム記憶部に記憶された映像フレームの平均輝度値を算出する平均輝度値算出部と、前記映像フレーム記憶部に記憶した映像フレームの直前の映像フレームの出力映像フレームの平均輝度値を記憶する出力映像フレーム平均輝度値記憶部と、前記平均輝度値算出部が算出した平均輝度値と前記出力映像フレームの平均輝度値を比較し輝度調整の要否を判定する調整処理判定部と、当該調整処理判定部が輝度値の差が所定値以上であり輝度調整が必要と判定した場合に、輝度調整値を算出する輝度調整値算出部とを有し、算出した輝度調整値に基づいて前記映像フレーム記憶部に記憶した映像フレームの出力映像の輝度を調整して出力すると共に当該出力映像フレームの平均輝度値により前記出力映像フレーム平均輝度値記憶部の記憶値を更新することを特徴とするものである。
【００１１】
第４の技術手段は、第３の技術手段において、映像処理装置起動時に前記出力映像フレーム平均輝度値記憶部の初期値として一般的映像の映像フレームの平均輝度値が設定されることを特徴とするものである。
【００１２】
第５の技術手段は、第３の技術手段において、前記輝度調整値算出部は、予め設定した輝度調整関数に基づいて調整輝度値を算出することを特徴とするものである。
【発明の効果】
【００１３】
本発明により、明るいシーンから暗いシーン又は暗いシーンから明るいシーンに変化しても、視覚特性に適合した映像を表示することで、視聴者が変化後の映像を最適な状態で視聴でき、さらに、目の疲労感を低減することができる。
【発明を実施するための最良の形態】
【００１４】
図１（Ａ）のグラフ５０は、映像フレームの平均輝度値が、明るいシーンを構成するフレームの平均輝度値α１（符号５０ａ（実線部））から暗いシーンを構成するフレームの平均輝度値α２（符号５０ｂ（実線部））に変化する場合を示したものである。
なお、図中、ｋ−１は、明るいシーンを構成する映像フレーム、ｋ〜ｋ＋ｎ…は、暗いシーンを構成する映像フレームを示すものである。
【００１５】
図示例のように映像フレームの平均輝度値が急に変化すると、視聴者の視覚は輝度変化に順応できず、実際に視認する画質が低下する。
本発明は、このような映像フレームの平均輝度値が急に変化する映像の表示に対し、例えば、図１（Ｂ）のグラフ５１に示すように後述する輝度調整関数を用いて、映像フレームの平均輝度値を、符号５１ｃに示すように調整する。
【００１６】
図１（Ｂ）を参照して、映像フレームの平均輝度値αの調整処理を具体的に説明する。
映像フレーム（ｋ−１）の明るいシーンから映像フレーム（ｋ）〜映像フレーム（ｋ＋ｎ）…の暗いシーンに変化したときに、暗いシーンを表示する後述の時間Ｔ内の映像フレーム（ｋ）〜映像フレーム（ｋ＋ｎ）の平均輝度値を、輝度調整関数を用いて徐々に低下させて映像を表示する。そして、時間Ｔ経過後には、暗いシーンを構成する以後の映像フレームの平均輝度値は調整せずに本来の平均輝度値で映像を表示する。
【００１７】
このようにして平均輝度値を調整した映像を表示するので、視聴者は、画質の低下を知覚することがない。また、暗いシーンに順応した後（暗順応後）は、本来の輝度値の映像が表示されるので、最適な映像（暗い映像）を視聴することができる。
【００１８】
ここで、出力する映像フレームの平均輝度値が、図１（Ｂ）のように、直線的に変化するように当該映像フレームの平均輝度値を調整する輝度調整関数（式１）の１例を説明する。
Δα＝ｃｔ  …  （式１）
ここで、Δαは平均輝度値を調整する輝度調整値，ｃは定数で視聴者の順応特性等に対応して設定される値，ｔは１フレーム周期の時間を示す値である。
シーン（輝度）変化前の映像の平均輝度値α１、変化後の映像フレームの平均輝度値α２
とすると、α２＋ｃＴ＝α１、つまり、Ｔ＝（α１−α２）／ｃの間のフレーム（映像フレーム（ｋ＋１）〜映像フレーム（ｋ＋ｎ））の輝度を調整する。
【００１９】
（式１）の定数ｃを変化させることにより、前記時間Ｔを調整することができるので、例えば、高齢者など明暗順応に要する時間が長い視聴者を対象とする場合には、前記時間Ｔを長く調整することができる。
【００２０】
また、出力する映像フレームの平均輝度値が、指数関数的に変化するように当該映像フレームの平均輝度値を調整してもよい。
この場合、出力する映像フレームの平均輝度値が、１フレーム毎に、直前の出力映像フレームの平均輝度値α０、シーン変化後の映像フレームの平均輝度値α２の差に比例して変化するように平均輝度値を調整できる輝度調整関数を採用すればよい。
この場合、当該輝度調整関数は、
Δα＝Ｋ（α０−α２）…  （式２）
となる。
ここで、Ｋ＝ｋ−ｃｔ、ｋ、ｃは定数値、ｔは１フレーム周期の時間を示す値である。
なお、（式２）の輝度調整関数によって、調整する輝度値は、時間経過と共に小さくなる。
【００２１】
図２は、図１に示したように映像フレームの平均輝度値を調整する映像処理装置の機能ブロック図である。
映像処理装置１は、少なくとも最新の映像フレーム（ｋ）を記憶する映像フレーム記憶部１１ａ、当該映像フレーム（ｋ）の直前の出力映像フレーム（ｋ−１）の平均輝度値α０が記憶される出力映像フレーム平均輝度値記憶部１１ｂからなる記憶部１１、前記映像フレーム（ｋ）の平均輝度値を算出する平均輝度値算出部１２、該平均輝度値算出部１２が算出した平均輝度値と直前の出力映像フレーム（ｋ−１）の平均輝度値α０を比較し輝度調整の要否を判定する調整処理判定部１３、調整処理が必要と判定された場合に輝度調整値を算出する輝度調整値算出部１４、算出された輝度調整値等により前記映像フレーム（ｋ）の映像信号の輝度値を調整する出力用映像輝度調整部１５、輝度調整の特性を設定する調整関数設定部１６よりなる。
【００２２】
なお、記憶部１１，平均輝度値算出部１２，調整処理判定部１３（図２の点線枠参照）により、入力された映像フレーム（ｋ）の平均輝度値を、続いて入力される映像フレームごとに順時比較し、前記入力された映像フレーム（ｋ）の平均輝度値が当該入力された映像フレーム（ｋ）の直前の映像フレーム（ｋ−１）の平均輝度値に対して所定値以上の差で変化したかを判定し、所定値以上の差で変化したと判定した場合には、判定結果を輝度調整値算出部１４に出力する。
【００２３】
前述したように、映像フレーム（ｋ）は、記憶部１１の映像フレーム記憶部１１ａに記憶される。また、当該映像フレーム（ｋ）の直前の出力映像フレーム（ｋ−１）の平均輝度値α０は、出力映像フレーム平均輝度値記憶部１１ｂに記憶され、例えば、映像フレーム（ｋ）が輝度調整されて出力される場合は調整後の平均輝度値に、また、調整されずに出力される場合にはその平均輝度値に更新される。
【００２４】
なお、映像処理装置１の起動時には記憶部１１が初期化されるので、その際に初期値として、出力映像フレーム平均輝度値記憶部１１ｂには、例えば一般的な映像の平均輝度値を入力することができる。
また、記憶部１１には、前記設定値、シーン（輝度）変化前の映像の平均輝度値α１、変化後の映像フレームの平均輝度値α２等その他各種情報を記憶することができる。
【００２５】
平均輝度値算出部１２は、映像フレーム記憶部１１ａに記憶された映像フレーム（ｋ）の平均輝度値をフレーム単位で算出する。平均輝度値の算出は、例えば、１映像フレームの各画素の輝度値の総和を全画素数で除すること等により得られる。
【００２６】
調整処理判定部１３は、平均輝度値算出部１２が算出した映像フレーム（ｋ）の平均輝度値と出力映像フレーム平均輝度値記憶部１１ｂに記憶された直前の出力映像フレーム（ｋ−１）の平均輝度値α０との差を算出し、その値（絶対値）が所定値以上の場合に輝度調整要と判定をし、判定結果を平均輝度調整値算出部１４及び出力用映像輝度調整部１５に出力する。この所定値の範囲は、例えば、図５の符号Ｃで示した視覚細胞が応答できる範囲に定めることができる。
【００２７】
また、要調整の判定を出力した場合には、判定結果だけでなく、映像フレーム（ｋ）の平均輝度値及び直前の出力映像フレーム（ｋ−１）の平均輝度値α０を輝度調整値算出部１４に出力する。
【００２８】
輝度調整値算出部１４は、例えば（式１）の輝度調整関数を用いて、図１（Ｂ）の符号５１ｃに示したように、明るさが急変したシーンの映像フレーム（ｋ）以後の映像フレームの輝度値を調整するための輝度調整値（Δα）を算出し、出力用映像輝度調整部１５に出力する。
【００２９】
出力用映像輝度調整部１５は、調整処理判定部１３が映像フレーム（ｋ）の輝度値を調整する必要があると判定すると、輝度調整値算出部１４が算出した輝度調整値及び直前の出力映像フレーム（ｋ−１）の平均輝度値α０に基づいて、前記映像フレーム（ｋ）の輝度値を調整し、調整した輝度値の映像信号を図示しないモニタ等に出力する。さらに、輝度値を調整した出力映像フレームの平均輝度値（更新後のα０）を出力映像フレーム平均輝度値記憶部１１ｂに出力し、出力映像フレーム平均輝度値記憶部１１ｂの記憶値を更新する。
【００３０】
輝度値の調整処理を具体的に説明すると、例えば、式（１）の調整関数で調整する場合、
輝度値調整後の出力映像フレームｋの平均輝度値は、
α０−Δα  （Δα＝ｃｔ（ｔは１フレーム周期））
となる。以後、当該平均輝度値（α０−Δα）が、変化後の映像フレームの平均輝度値α２と同値又はα２の近似値（｜α０−α２｜≒０）になるまで平均輝度値を調整する。
なお、当該平均輝度値により、α０が更新される。
【００３１】
また、式（２）の輝度調整関数で調整する場合も同様に、
輝度値調整後の出力映像フレームｋの平均輝度値は、
α０−Δα  （Δα＝Ｋ（α０−α２）  （Ｋは定数））
となる。
【００３２】
調整処理判定部１３が映像フレーム（ｋ）の輝度値を調整する必要がないと判定した場合には、該映像フレーム（ｋ）の映像信号をそのまま図示しないモニタ等に出力する。そして、出力用映像輝度調整部１５は、当該出力映像フレーム（ｋ）の平均輝度値を出力映像フレーム平均輝度値記憶部１１ｂに出力し、出力映像フレーム平均輝度値記憶部１１ｂの記憶値を更新する。
【００３３】
調整関数設定部１６は、（式１）の定数ｃの値を調整することにより、Δαの値を調整し、輝度値の調整を行なう時間（図１（Ｂ）の時間Ｔ）を変更する。
【００３４】
図３は、前述した輝度値を調整する処理を説明するためのフロー図である。
まず、出力映像フレームの平均輝度値α０を初期値に設定する等、映像処理装置１の初期化処理を実行する（ステップＳ１）。なお、当該初期値は、前述したように、例えば、一般的な映像の平均輝度値を設定する。
【００３５】
次に、映像フレーム（ｋ）の映像信号を映像フレーム記憶部１１ａに記憶すると（ステップＳ２）、平均輝度値算出部１２は、映像フレーム記憶部１１ａに記憶された映像フレーム（ｋ）の平均輝度値を算出し、調整処理判定部１３に出力する（ステップＳ３）。
【００３６】
次に、調整処理判定部１３は、映像フレーム（ｋ）の平均輝度値と出力映像フレーム平均輝度値記憶部１１ｂに記憶された出力映像フレーム（ｋ−１）の平均輝度値α０との差を算出し、算出した差が所定値以上か否かを判定する（ステップＳ４）。
【００３７】
所定値以上の場合（ステップＳ４／ＹＥＳ）、輝度調整値算出部１４は、例えば（式１）の輝度調整関数を用いて、映像フレーム（ｋ）の輝度値を調整するための輝度調整値を算出する（ステップＳ５）。
【００３８】
次に、出力用映像輝度調整部１５は、輝度調整値算出部１４が算出した輝度調整値により、前記映像フレーム（ｋ）の輝度値を調整する（ステップＳ６）。
【００３９】
そして、輝度調整後の出力映像フレーム（ｋ）の映像信号を図示しないモニタ等に出力する（ステップＳ７）。同時に、輝度調整された当該出力フレーム（ｋ）の平均輝度値α０を出力映像フレーム平均輝度値記憶部１１ｂに出力する（ステップＳ８）。
【００４０】
次に、引き続く映像フレームの入力が有るか否かを判定し（ステップＳ９）、映像フレームの入力がある場合（ステップＳ９：ＹＥＳ）、カウンタｋに１を加算し（ステップＳ１０）、ステップＳ２以降の処理を実行する。引き続く映像フレームの入力が無い場合（ステップＳ９：ＮＯ）、処理を終了する。
【００４１】
また、ステップＳ４で算出した値が所定値未満の場合（ステップＳ４／ＮＯ）、すなわち、輝度値調整処理が終了した場合は、出力用映像輝度調整部１５は、映像フレーム（ｋ）の映像信号をそのまま図示しないモニタ等に出力し（ステップＳ１１）、当該映像フレーム（ｋ）の平均輝度値を出力映像フレーム平均輝度値記憶部１１ｂに出力する（ステップＳ１２）。
【００４２】
なお、前記時間Ｔが経過するまでの間に、映像フレーム（ｋ＋ｍ）の平均輝度値と出力映像フレーム平均輝度値記憶部１１ｂに記憶された出力映像フレームの平均輝度値α０との差が所定値未満になった場合、つまり、そのようなシーンの変更があった場合にも輝度調整処理は終了する。
【００４３】
また、前記時間Ｔの間に、映像フレーム（ｋ＋ｍ）の平均輝度値が急変しても（例えば、当該フレームｋ＋ｍの平均輝度値がα１以上になる）、フロー図で説明した輝度調整処理装置は、人間の視覚特性に適合するように出力映像の輝度値を調整することができる。
【００４４】
なお、視聴者は、フロー図で説明した処理を実行する前又は実行中に、調整関数設定部１６を操作することで、輝度調整値を変更でき、それによって時間Ｔも変更する。
【００４５】
本実施例では、映像フレームが明るいシーンから暗いシーンへと変化した場合を例に平均輝度値の調整処理について説明したが、暗いシーンから明るいシーンへと変化しても同様に、人間の視覚特性に適合するように平均輝度値を調整することができる。
【００４６】
なお、前述した、平均輝度値の調整処理は例示であり、明るさが急変した映像フレームの平均輝度値を人間の視覚特性に応じて徐々に変化するように調整すれば、様々な調整手法を採用することができる。
【００４７】
本発明に係わる映像処理装置を、液晶表示装置，録画装置等の家電機器，セットトップボックス等の受信装置，携帯電話機，ＰＤＡ等の携帯端末に搭載することができる。
【図面の簡単な説明】
【００４８】
【図１】本発明を適用する前と本発明を適用した後の映像フレームの平均輝度値の変化の様子を示したグラフである。
【図２】平均輝度値を調整する映像処理装置の機能ブロック図である。
【図３】平均輝度値を調整する処理を説明するためのフロー図である。
【図４】人間の視覚特性を説明するための図である。
【図５】特許文献１に開示の技術内容を説明するための図である。
【符号の説明】
【００４９】
１…映像処理装置、１１…記憶部、１１ａ…映像フレーム記憶部、１１ｂ…出力映像フレーム平均輝度値記憶部、１２…平均輝度値算出部、１３…調整処理判定部、１４…輝度調整値算出部、１５…出力用映像輝度調整部、１６…調整関数設定部、５０，５１，１００…平均輝度値の変化を説明するためのグラフ。
【図１】
2008304539.tif 000003
【図２】
2008304539.tif 000004
【図３】
2008304539.tif 000005
【図４】
2008304539.tif 000006
【図５】
2008304539.tif 000007