(57)【特許請求の範囲】
【請求項１】
入力された映像信号の特徴に基づいてガンマ補正処理に用いるガンマ曲線を動的に切り替える画像処理装置であって、
前記映像信号のフレーム毎に、そのフレームを代表する代表輝度値を算出する算出手段と、
前記フレーム毎の代表輝度値を記憶する記憶手段と、
前記記憶手段に記録されたフレーム毎の代表輝度値を参照してシーンの切り替わり位置を検出する検出手段と、
前記ガンマ補正処理の対象のフレームである対象フレームを含むシーン内の各フレームの代表輝度値を参照して、該シーンが、輝度が単調に増加または減少する特定期間を含む特定シーンか否かを判定する判定手段と、
前記対象フレームが前記特定シーン内のフレームである場合には、該特定シーン内の各フレームの代表輝度値を用いて、該特定シーンを代表するシーン代表輝度値を算出し、該算出したシーン代表輝度値に応じてガンマ曲線を決定し、前記対象フレームが前記特定シーン内のフレームでない場合には、前記対象フレームの代表輝度値に応じてガンマ曲線を決定する決定手段と、
前記決定されたガンマ曲線を用いて前記対象フレームの輝度を補正するガンマ補正処理を実行する補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記各フレームの代表輝度値は、各フレームの最大輝度値、中間輝度値、最小輝度値のいずれかである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記シーン代表輝度値は、前記特定シーン内の各フレームの代表輝度値のうち最も出現頻度の高い代表輝度値、又は、前記特定シーン内の各フレームの代表輝度値の平均値である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記決定手段は、
前記対象フレームが前記特定シーン内のフレームである場合に、前記シーン代表輝度値
を算出し、
更に、前記対象フレームが前記特定期間内のフレームである場合には、該算出したシーン代表輝度値に応じてガンマ曲線を決定し、前記対象フレームが前記特定期間外のフレームである場合に、該特定期間内外でガンマ曲線が急激に変化しないように、対象フレームの代表輝度値を、算出したシーン代表輝度値で補正し、該補正された代表輝度値に応じてガンマ曲線を決定する
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記決定手段は、前記対象フレームが前記特定シーン内のフレームであり、且つ、前記特定期間外のフレームである場合に、該対象フレームの代表輝度値と、前記シーン代表輝度値との平均値を算出し、算出した平均値に応じてガンマ曲線を決定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
入力された映像信号の特徴に基づいてガンマ補正処理に用いるガンマ曲線を動的に切り替える画像処理装置により実行される画像処理方法であって、
前記映像信号のフレーム毎に、そのフレームを代表する代表輝度値を算出する算出ステップと、
前記フレーム毎の代表輝度値を記憶部に記録する記録ステップと、
前記記録されたフレーム毎の代表輝度値を参照してシーンの切り替わり位置を検出する検出ステップと、
前記ガンマ補正処理の対象のフレームである対象フレームを含むシーン内の各フレームの代表輝度値を参照して、該シーンが、輝度が単調に増加または減少する特定期間を含む特定シーンか否かを判定する判定ステップと、
前記対象フレームが前記特定シーン内のフレームである場合には、該特定シーン内の各フレームの代表輝度値を用いて、該特定シーンを代表するシーン代表輝度値を算出し、該算出したシーン代表輝度値に応じてガンマ曲線を決定し、前記対象フレームが前記特定シーン内のフレームでない場合には、前記対象フレームの代表輝度値に応じてガンマ曲線を決定する決定ステップと、
前記決定されたガンマ曲線を用いて前記対象フレームの輝度を補正するガンマ補正処理を実行する実行ステップと、
を有することを特徴とする画像処理方法。
【請求項７】
前記各フレームの代表輝度値は、各フレームの最大輝度値、中間輝度値、最小輝度値のいずれかである
ことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記シーン代表輝度値は、前記特定シーン内の各フレームの代表輝度値のうち最も出現頻度の高い代表輝度値、又は、前記特定シーン内の各フレームの代表輝度値の平均値である
ことを特徴とする請求項６または７に記載の画像処理方法。
【請求項９】
前記決定ステップでは、
前記対象フレームが前記特定シーン内のフレームである場合に、前記シーン代表輝度値を算出し、
更に、前記対象フレームが前記特定期間内のフレームである場合には、該算出したシーン代表輝度値に応じてガンマ曲線を決定し、前記対象フレームが前記特定期間外のフレームである場合に、該特定期間内外でガンマ曲線が急激に変化しないように、対象フレームの代表輝度値を、算出したシーン代表輝度値で補正し、該補正された代表輝度値に応じてガンマ曲線を決定する
ことを特徴とする請求項６〜８のいずれか１項に記載の画像処理方法。
【請求項１０】
前記決定ステップでは、前記対象フレームが前記特定シーン内のフレームであり、且つ、前記特定期間外のフレームである場合に、該対象フレームの代表輝度値と、前記シーン代表輝度値との平均値を算出し、算出した平均値に応じてガンマ曲線を決定する
ことを特徴とする請求項９に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
テレビ等の表示機器では、映像信号の特徴量（輝度ヒストグラム）をフレーム毎に取得し、取得した特徴量に基づいてガンマ補正に使用するガンマ曲線をフレーム毎に動的に制御する処理が一般的に行われている。以降、フレーム毎にガンマ曲線を制御してガンマ補正する処理をダイナミックガンマ処理と記載する。フレーム毎に取得した特徴量に基づいてダイナミックガンマ処理を行うことで、各フレームの輝度を、その特徴に応じて制御することが可能となる。
【０００３】
このようなダイナミックガンマ処理では、映像信号から検出される特徴量の変化によりガンマ補正に使用するガンマ曲線が急激に変化すると、ガンマ補正後の映像において輝度が急激に変化し、画面がちらつく虞がある。そのため、一般的に、時間方向のローパスフィルタを用いて輝度値の変化を緩やかにする制御が行われている（時間方向ローパス処理）。しかしながら、例えば、フレームの輝度が徐々に変化するフェードインやフェードアウトの期間において時間方向ローパス処理を施すと、輝度変化に対してガンマ曲線の適用が遅れてしまう。その結果、不自然に輝度が変化したり、黒つぶれや白飛び等が発生したりしてしまうことがある。
【０００４】
また、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ（ＨＤＤ）等の記録装置を利用してタイムシフト再生を行う技術が一般化している。タイムシフト再生とは、受信したストリームデータ（映像信号）の録画を開始する時刻と再生を開始する時刻とを異ならせて、録画と再生を同時に行う再生方法を指す。タイムシフト再生を行う場合には、映像中のあるフレームを再生する際に、そのフレームの前後に存在する複数フレームが記録装置に記録されていることになる。例えば、映像信号の１０秒分のフレームを記録媒体に記録し、１０秒後に該映像信号の再生を開始する場合、あるフレームを再生する時点では、そのフレームに対して時間的に後に存在する１０秒分のフレームが記録媒体に記録されていることになる。
【０００５】
このような技術を利用し、従来、複数フレーム分の特徴量に基づいてフレームの階調補正を行う技術が提案されている（例えば、特許文献１）。具体的には、特許文献１に開示の技術では、１フレームから画素毎の輝度関連情報値が検出され、または、１フレームの輝度ヒストグラムから輝度関連情報値が検出され、該輝度関連情報値に基づいて特徴判定値が算出される。そして、複数フレームの特徴判定値を解析することで上記１フレームの特徴判定値の精度が高められ、その結果（精度が高められた特徴判定値）を用いてフレームの階調補正が行われる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−４２３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の技術では、解析に用いる複数のフレームの中に複数のシーンが含まれる場合に精度の高い補正値を得ることができない。
また、１シーン内の全てのフレームについて特徴量を得ようとすると、特徴量のデータサイズが膨大になってしまうという問題がある。そのため、１シーンの特徴に基づいたガ
ンマ曲線を決定する際の特徴量の読み出し時間、および、特徴量の処理時間（例えば、特徴量の精度を高める処理に要する時間）も膨大となってしまう。その結果、タイムシフト再生を行いながらシーンの特徴に基づいてダイナミックガンマ処理を行うと、１フレーム期間内にガンマ曲線を決定することが出来ず、フレーム毎にガンマ値を制御するダイナミックガンマ処理を行えなくなる虞がある。
以上の問題点から、これまでタイムシフト再生を行いながらシーンの特徴に基づいたダイナミックガンマ処理を行う技術は実現されていなかった。
【０００８】
本発明は、タイムシフト再生しながらシーンの特徴に基づいてダイナミックガンマ処理することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、入力された映像信号の特徴に基づいてガンマ補正処理に用いるガンマ曲線を動的に切り替える画像処理装置であって、前記映像信号のフレーム毎に、そのフレームを代表する代表輝度値を算出する算出手段と、前記フレーム毎の代表輝度値を記憶する記憶手段と、前記記憶手段に記録されたフレーム毎の代表輝度値を参照してシーンの切り替わり位置を検出する検出手段と、前記ガンマ補正処理の対象のフレームである対象フレームを含むシーン内の各フレームの代表輝度値を参照して、該シーンが、輝度が単調に増加または減少する特定期間を含む特定シーンか否かを判定する判定手段と、前記対象フレームが前記特定シーン内のフレームである場合には、該特定シーン内の各フレームの代表輝度値を用いて、該特定シーンを代表するシーン代表輝度値を算出し、該算出したシーン代表輝度値に応じてガンマ曲線を決定し、前記対象フレームが前記特定シーン内のフレームでない場合には、前記対象フレームの代表輝度値に応じてガンマ曲線を決定する決定手段と、前記決定されたガンマ曲線を用いて前記対象フレームの輝度を補正するガンマ補正処理を実行する補正手段と、を有することを特徴とする。
【００１０】
本発明の画像処理方法は、入力された映像信号の特徴に基づいてガンマ補正処理に用いるガンマ曲線を動的に切り替える画像処理装置により実行される画像処理方法であって、前記映像信号のフレーム毎に、そのフレームを代表する代表輝度値を算出する算出ステップと、前記フレーム毎の代表輝度値を記憶部に記録する記録ステップと、前記記録されたフレーム毎の代表輝度値を参照してシーンの切り替わり位置を検出する検出ステップと、前記ガンマ補正処理の対象のフレームである対象フレームを含むシーン内の各フレームの代表輝度値を参照して、該シーンが、輝度が単調に増加または減少する特定期間を含む特定シーンか否かを判定する判定ステップと、前記対象フレームが前記特定シーン内のフレームである場合には、該特定シーン内の各フレームの代表輝度値を用いて、該特定シーンを代表するシーン代表輝度値を算出し、該算出したシーン代表輝度値に応じてガンマ曲線を決定し、前記対象フレームが前記特定シーン内のフレームでない場合には、前記対象フレームの代表輝度値に応じてガンマ曲線を決定する決定ステップと、前記決定されたガンマ曲線を用いて前記対象フレームの輝度を補正するガンマ補正処理を実行する実行ステップと、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、タイムシフト再生しながらシーンの特徴に基づいてダイナミックガンマ処理することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施例に係る画像処理装置の構成の一例を示すブロック図。
【図２】フレームと代表輝度値の一例を模式的に示す図。
【図３】実施例１に係るシーン情報抽出部の処理の一例を示すフローチャート。
【図４】実施例１に係るシーン絵作り制御部の処理の一例を示すフローチャート。
【図５】実施例１に係るダイナミックガンマ処理の一例を模式的に示す図。
【図６】実施例２に係るシーン絵作り制御部の処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１３】
＜実施例１＞
本実施例によれば、タイムシフト再生しながらシーンの特徴に基づいてダイナミックガンマ処理することが可能となる。ダイナミックガンマ処理とは、フレーム毎にガンマ曲線を制御してガンマ補正する処理のことである。具体的には、再生対象のフレームが含まれるシーンの全体の特徴を参照可能にする。そして、シーン全体の特徴に基づいてダイナミックガンマ処理する方が良いシーンに対しては、シーン内で共通して使用するガンマ曲線を決定する。各フレームの特徴に基づいてダイナミックガンマ処理する方が良いシーンに対しては、フレーム毎の特徴に基づいてガンマ曲線を決定する。以下、詳しく説明する。
【００１４】
図１は、本実施例に係る画像処理装置１００の構成の一例を示すブロック図である。本実施例に係る画像処理装置１００にはテレビジョン装置等で一般的に扱われる映像信号が入力される。本実施例に係る画像処理装置１００は、入力された映像信号（入力映像信号）の特徴に基づいてガンマ補正処理（フレームの輝度を補正する処理）に用いるガンマ曲線を動的に切り替える。
【００１５】
映像遅延部１０１は、入力された映像信号をＮフレーム分（Ｎは１以上の整数）記憶し、遅延させる。なお、Ｎの値は処理対象の映像信号の１シーン分が十分収まる程度の大きさとする。例えば、一般的なテレビ放送における１つのシーンの長さは４秒以下であるため、Ｎの値は１０秒分に相当するフレーム数にすればよい。具体的には、映像信号のフレームレートが６０ｆｐｓの場合には、６００フレーム分が記録できるようにＮ＝６００とすればよい。なお、本実施例では映像遅延部１０１に記録されるフレームを、時間的に前のフレームから順にＦ０，Ｆ１，・・・，Ｆｎと表記する。
【００１６】
映像解析部１０２は、入力された映像信号を解析し、フレーム毎に、特徴量として輝度ヒストグラムを生成する。生成した輝度ヒストグラムは特徴量変換部１０３に出力される。
特徴量変換部１０３は、映像信号のフレーム毎に、そのフレームを代表する代表輝度値を算出する。具体的には、上記生成した輝度ヒストグラムから代表輝度値を算出し、該代表輝度値を特徴量とする。それにより、輝度ヒストグラムを特徴量とするよりもデータサイズを大幅に低減することができる。また、代表輝度値を参照すれば、後述するシーン情報抽出部１０５によってシーンに関する情報を抽出することができる。代表輝度値は、例えば、フレームの最大輝度値、中間輝度値、最小輝度値などである。本実施例では、１フレームの全画素数をｐ（ｐは１以上の整数）とする。そして、輝度値が最大値の画素から順に数えて（ｐ×１／１０）番目の画素の輝度値を最大輝度値、（ｐ×５／１０）番目の画素の輝度値を中間輝度値、（ｐ×９／１０）番目の画素の輝度値を最小輝度値とする。
なお、最大輝度値、中間輝度値、最小輝度値は、これに限らない。例えば、１フレーム中の輝度値の最大値、最小値を、それぞれ、最大輝度値、最小輝度値としてもよい。フレームを代表する輝度値であればどのような値であってもよい。
なお、代表輝度値は、１フレームあたり１つの値であってもよいし、複数の値であってもよい。例えば、最大輝度値、中間輝度値、最小輝度値のいずれか１つを代表輝度値としてもよいし、それら３つ全てを代表輝度値としてもよい。
また、本実施例ではフレームＦ０，Ｆ１，・・・，Ｆｎに対応する代表輝度値をそれぞれＤ０，Ｄ１，・・・，Ｄｎと表記する。
【００１７】
代表輝度値記憶部１０４は、フレーム毎の代表輝度値を記憶する。具体的には、Ｍフレーム分（Ｍは２以上の整数）の代表輝度値を記憶する。本実施例ではＭ＝Ｎ＋１とする。
また、映像遅延部１０１が記憶するフレームがＦ０，Ｆ１，・・・，Ｆｎのとき、代表輝度値記憶部１０４は、各フレームに対応する代表輝度値Ｄ０，Ｄ１，・・・，Ｄｎ、及び、フレームＦ０の１つ前のフレームＦ−１に対応する代表輝度値Ｄ−１を記憶する。映像遅延部１０１および代表輝度値記憶部１０４に記録されているフレームと代表輝度値の一例を図２に模式的に示す。
【００１８】
シーン情報抽出部１０５は、記録されたフレーム毎の代表輝度値を参照してシーンの切り替わり位置を検出する。また、シーン情報抽出部１０５は、ガンマ補正処理の対象のフレームである対象フレームを含むシーン（対象シーン）内の各フレームの代表輝度値を参照して、該シーンが、輝度が単調に増加または減少する特定期間を含む特定シーンか否かを判定する。そして、それらの検出結果及び判定結果をシーン情報抽出結果として後述するシーン絵作り制御部１０６に出力する。以下、図２，３を用いてシーン情報抽出部１０５の処理について詳しく説明する。なお、上記検出処理と判定処理は、それぞれ異なる機能により実行されてもよい。
【００１９】
上述したように、図２は、ある時刻における、映像遅延部１０１および代表輝度値記憶部１０４に記録されているフレームと代表輝度値を模式的に表した図である。図２に示すように、映像遅延部１０１にはフレームＦ０〜Ｆｎが、代表輝度値記憶部１０４には代表輝度値Ｄ−１〜Ｄｎがそれぞれ記録されている。なお、このときに再生対象となるフレーム（即ち、対象フレーム）はフレームＦ０であり、シーン情報抽出部１０５はフレームＦ０に対してガンマ補正処理をする際に必要なシーン情報抽出結果を出力する。
【００２０】
図３は、シーン情報抽出部１０５の処理の概要を示すフローチャートである。シーン情報抽出部１０５はフレーム毎に図３に示す処理を実行する。
まず、シーン情報抽出部は、代表輝度値記憶部１０４に記録されている代表輝度値Ｄ−１およびＤ０を読み出し、それらを比較する。それにより、映像遅延部１０１に記録されているフレームＦ−１，Ｆ０間でシーンが切り替わっているか否か（シーンチェンジが起こっているか否か）を判定する（Ｓ３０１）。例えば、代表輝度値Ｄ−１とＤ０を比較し、最大輝度値の差が所定の閾値以上である場合は、シーンチェンジが起こっていると判定すればよい。また、中間輝度値や最小輝度値の差が所定値以上である場合に、シーンチェンジが起こっていると判定してもよい。シーンチェンジが起こっているか否か判定することができれば、どのような方法であってもよい。
【００２１】
シーンチェンジが起こっていると判定した場合には（Ｓ３０１：ＹＥＳ）、シーン情報抽出部１０５は、フレームＦ０から先のシーン（対象フレームを含むシーン；対象シーン）がいくつのフレームで構成されているシーンであるかを検出する（Ｓ３０２）。具体的には、記録されている代表輝度値を記録された時刻が早い順に（つまり時間的に古いフレームに対応する代表輝度値から）順次読み出し、上述した検出方法を用いて次のシーンチェンジが起こる位置（フレーム番号）を検出する。そして、次のシーンチェンジまでのフレーム数を対象シーンのフレーム数とする。なお、ここで検出した次のシーンチェンジが起こるフレーム番号を記録しておき、その検出結果を、次フレーム以降のフレームに対して実施するＳ３０１の処理で流用してもよい。
【００２２】
次に、シーン情報抽出部１０５は、対象シーンが特定シーンか否かを判定する（Ｓ３０３）。輝度が単調に増加または減少する特定期間は、例えば、フェードインやフェードアウトの期間である。このような期間は、フレーム毎の特徴に基づいたダイナミックガンマ処理が適さない。この判定結果は、後述するシーン絵作り制御部１０６において、シーン全体の特徴量に基づいてガンマ曲線を決定するか否かを判断する際に使用される。
特定期間では画面全体の輝度が時間の経過とともにゆっくり単調増加または単調減少する。そのため、画面全体の輝度が所定期間にわたって所定の差分の範囲で単調変化してい
るフレーム群からなる期間を、特定期間として検出することができる。
本実施例では、所定フレーム数以上にわたって、時間的に隣り合うフレーム間の中間輝度値の差分が所定の範囲内にあり、かつ、中間輝度値が単調増加または単調減少している期間を、特定期間として検出する。なお、特定期間の検出方法は上記方法に限らない。中間輝度値同士ではなく、最大輝度値や最小輝度値同士を比較してもよい。画面の輝度の変化をより精度良く検出するために、連続する複数フレームの中間輝度値の平均値同士を比較して特定期間を検出してもよい。代表輝度値としてフレームの平均輝度値（各画素の輝度値の平均値）を取得し、該平均輝度値を用いて検出してもよい。
【００２３】
最後に、シーン情報抽出部１０５は上記のようにして抽出した情報をシーン情報抽出結果としてシーン絵作り制御部１０６に出力する（Ｓ３０４）。具体的には、シーン毎に、そのシーンを構成するフレーム数（シーンフレーム数）と、そのシーン中に特定期間が存在するか否かを示す情報（特定期間有無情報）をシーン情報抽出結果として出力する。
【００２４】
なお、本実施例では、Ｓ３０１においてシーンチェンジが起こっていると判定されなかった場合には、シーン情報抽出部１０５は処理を終了する。つまり、シーン情報抽出部１０５は、シーンチェンジが起こる度にシーン情報抽出結果をシーン絵作り制御部１０６に出力する。
なお、シーン情報抽出結果は上記の情報に限らない。例えば、シーン情報抽出部１０５は、フレーム毎に、１つ前のフレーム（前フレーム）との間でシーンチェンジが起こっているか否かの情報、シーンフレーム数、及び、特定期間有無情報をシーン情報抽出結果として出力してもよい。後述するシーン絵作り制御部１０６や画像処理部１０７においてガンマ値を制御する際に必要な情報であればどのような情報をシーン情報抽出結果としてもよく、シーン情報抽出結果の内容に応じて出力のタイミングは適宜設定すればよい。
【００２５】
シーン絵作り制御部１０６は、シーン情報抽出結果に基づいてガンマ曲線を決定し、画像処理部１０７に出力する。本実施例では、シーン絵作り制御部１０６は、対象フレームが特定シーン内のフレームである場合に、シーン全体の特徴に基づいてガンマ補正処理する方が良いと判断する。そして、対象シーン（特定シーン）内の各フレームの代表輝度値を用いて、該対象シーンを代表するシーン代表輝度値を算出し、該算出したシーン代表輝度値に応じてガンマ曲線を決定する。即ち、対象フレームが特定シーン内のフレームである場合には、対象シーン内の各フレームに対し共通して使用するガンマ曲線が決定される。一方、対象フレームが特定シーン内のフレームでない場合には、シーン絵作り制御部１０６は、対象フレームの特徴に基づいてガンマ補正処理する方が良いと判断し、対象フレームの代表輝度値に応じてガンマ曲線を決定する。
【００２６】
以下、図４を用いてシーン絵作り制御部１０６の処理について説明する。図４は、シーン絵作り制御部１０６の処理の概要を示すフローチャートである。
まず、シーン絵作り制御部１０６は、シーン情報抽出部１０５からシーン情報抽出結果が入力されたか否かを判断する（Ｓ４０１）。シーン情報抽出結果が入力された場合には（Ｓ４０１：ＹＥＳ）、ガンマ曲線の決定の際に参照するシーン情報抽出結果を更新する（Ｓ４０２）。次に、更新したシーン情報抽出結果を用いて、対象シーン中に特定期間が存在するか否かを判断する（Ｓ４０３）。そして、対象フレームが属するシーンに特定期間が存在しない場合には（Ｓ４０３：ＮＯ）、対象フレームの代表輝度値に応じてガンマ曲線を決定する（Ｓ４０５）。例えば、対象フレームがフレームＦ０であったとすると、シーン絵作り制御部１０６は代表輝度値Ｄ０に応じてガンマ曲線を決定する。具体的には、予め代表輝度値に対して最適なガンマ曲線ｇ１〜ｇ５を記録部（不図示）に記録しておけばよい。そして、
代表輝度値が閾値ｔｈ１以下の場合には、ガンマ曲線ｇ１を選択し、
代表輝度値が閾値ｔｈ２より大きくｔｈ３以下の場合には、ガンマ曲線ｇ２を選択し、
代表輝度値が閾値ｔｈ３より大きくｔｈ４以下の場合には、ガンマ曲線ｇ３を選択し、
代表輝度値が閾値ｔｈ４より大きくｔｈ５以下の場合には、ガンマ曲線ｇ４を選択し、
代表輝度値が閾値ｔｈ５より大きい場合には、ガンマ曲線ｇ５を選択すればよい。
なお、予め用意するガンマ曲線は５本に限らない（例えば、３，５，１０本でもよい）。
【００２７】
Ｓ４０３において、対象フレームが属するシーンに特定期間が存在する場合は、シーン代表輝度値に応じてガンマ曲線を決定する（Ｓ４０６）。例えば、対象フレームがフレームＦ０で、フレームＦ０を含むシーンがフレームＦ０〜Ｆ２４０であった場合には、シーン絵作り制御部１０６は代表輝度値Ｄ０〜Ｄ２４０からシーン代表輝度値を算出し、該シーン代表輝度値に応じてガンマ曲線を決定する。具体的には、フェードインやフェードアウトを含むシーンは、重要な場面がシーン内で最も長い時間表示される可能性が高い。そこで、重要な場面の再生時に黒つぶれや白飛びが発生しないように、シーン内で最も出現頻度の高い代表輝度値をシーン代表輝度値としてガンマ曲線を決定する。つまり、代表輝度値Ｄ０〜Ｄ２４０の中で最も出現回数の多い代表輝度値を特定し、特定した代表輝度値と上述した閾値とを比較することによりガンマ曲線を決定する。なお、シーン代表輝度値の算出方法はこれに限らない。例えば、シーン内の代表輝度値の平均値をシーン代表輝度値としてもよい。
【００２８】
Ｓ４０１において、シーン情報抽出結果が入力されなかった場合には、シーン絵作り制御部１０６は、シーン情報抽出結果を更新することなく、当該シーン情報抽出結果から当該シーン中に特定期間が存在するか否かを判断する（Ｓ４０４）。対象フレームが属するシーンに特定期間が存在しない場合には（Ｓ４０４：ＮＯ）、上述したＳ４０５と同様の処理によりガンマ曲線を決定する。一方、対象フレームが属するシーンに特定期間が存在する場合には（Ｓ４０４：ＹＥＳ）、シーン代表輝度値に応じてガンマ曲線を決定する。即ち、特定期間を含むシーン内の各フレームに対しては、シーン代表輝度値に応じて決定されたガンマ曲線が共通して使用される。そのため、そのようなシーン内では、該シーンの先頭フレームにおいて、Ｓ４０６の処理によって決定したガンマ曲線を使用すればよい。そこで、本実施例では、そのようなシーンの先頭フレーム以外のフレームに対しては、ガンマ曲線として、前フレームに対して決定されたガンマ曲線をそのまま用いる（Ｓ４０７）。なお、シーン絵作り制御部１０６の処理のフローは上記に限らない。例えば、シーンの先頭のフレームに対する処理の段階で、そのシーン内の全てのフレームに対して使用するガンマ曲線を予め決定し、記録しておいてもよい。
【００２９】
画像処理部１０７は、シーン絵作り制御部１０６で決定されたガンマ曲線を用いて対象フレームの輝度を補正するガンマ補正処理を実行し、ガンマ補正処理が施されたフレームからなる映像信号（出力映像信号）を出力する。具体的には、ガンマ曲線からガンマ値を算出し、該ガンマ値を用いて対象フレームの輝度を補正する。
【００３０】
以下、本実施例に係る画像処理装置１００によって実現されるダイナミックガンマ処理の具体例について、図５を用いて説明する。図５は、本実施例に係るダイナミックガンマ処理を模式的に示す図である。なお、図５におけるｔｉｍｅ０、ｔｉｍｅ１、ｔｉｍｅ２４０、ｔｉｍｅ２４１はそれぞれ本実施例を説明するためにピックアップした特定の時刻を示す。具体的には、ｔｉｍｅ１、ｔｉｍｅ２４０、ｔｉｍｅ２４１はそれぞれｔｉｍｅ０に対して再生時刻が１、２４０、２４１フレーム分遅い時刻を意味する。また、図５に示したフレームＦ０〜Ｆ８４０からなる映像コンテンツでは、フレームＦ０，Ｆ２４０，Ｆ４８０がシーンの先頭フレームであるものとする。以下、フレームＦ０〜Ｆ２３９からなるシーンをシーンＡ、フレームＦ２４０〜Ｆ４７９からなるシーンをシーンＢ、フレームＦ４８０〜Ｆ８３９（Ｆ８４０）からなるシーンをシーンＣ、と記載する。
【００３１】
図５における時刻ｔｉｍｅ０では対象フレームはフレームＦ０である。このとき、映像
遅延部１０１にはフレームＦ０〜Ｆ５９９が、代表輝度値記憶部１０４には代表輝度値Ｄ−１〜Ｄ５９９が記録されている。シーン情報抽出部１０５は、代表輝度値Ｄ−１，Ｄ０、および、Ｄ２３９，Ｄ２４０から、フレームＦ−１（フレームＦ０の１つ前のフレーム），Ｆ０間、および、フレームＦ２３９，Ｆ２４０間でシーンチェンジが起こっていることを検出する。さらに、シーン情報抽出部１０５は、シーンＡの中に特定期間が存在するか否かを判定する。なお、シーンＡの中には特定期間が存在するものとする。
そして、シーン情報抽出部１０５は、シーンＡがフレームＦ０からＦ２３９で構成されており、シーンＡの中に特定期間が存在することを示す情報をシーン情報抽出結果としてシーン絵作り制御部１０６へ出力する。シーン絵作り制御部１０６は、代表輝度値Ｄ０〜Ｄ２３９からシーン代表輝度値を算出し、該シーン代表輝度値に応じてフレームＦ０に対するガンマ曲線（γ（Ｄ１，・・・，Ｄ２３９））を決定し出力する。画像処理部１０７は入力されたガンマ曲線を使用してガンマ補正処理を実施する。
【００３２】
図５における時刻ｔｉｍｅ１では対象フレームはフレームＦ１である。このとき、映像遅延部１０１にはフレームＦ１〜Ｆ６００が、代表輝度値記憶部１０４には代表輝度値Ｄ０からＤ６００が記録されている。シーン情報抽出部１０５は、代表輝度値Ｄ０，Ｄ１からフレームＦ０，Ｆ１間でシーンチェンジが起こっていないことを検出する。そのため、シーン絵作り制御部１０６へのシーン情報抽出結果の出力は行われない。シーン情報抽出結果の更新が行われなかったため、シーン絵作り制御部１０６は、１つ前の対象フレームであるフレームＦ０に対して決定したガンマ曲線を画像処理部１０７に出力する。画像処理部１０７は入力されたガンマ曲線を使用してガンマ補正処理を実施する。
【００３３】
図５における時刻ｔｉｍｅ２４０では対象フレームはフレームＦ２４０である。このとき、映像遅延部１０１にはフレームＦ２４０〜Ｆ８３９が、代表輝度値記憶部１０４には代表輝度値Ｄ２３９〜Ｄ８３９が記録されている。シーン情報抽出部１０５は、代表輝度値Ｄ２３９，Ｄ２４０、および、Ｄ４７９，Ｄ４８０から、フレームＦ２３９，Ｆ２４０間、および、フレームＦ４７９，Ｆ４８０間でシーンチェンジが起こっていることを検出する。さらに、シーン情報抽出部１０５は、シーンＢの中に特定期間が存在するか否かを判定する。なお、シーンＢの中には特定期間が存在しないものとする。
そして、シーン情報抽出部１０５は、シーンＢがフレームＦ２４０〜Ｆ４７９で構成されており、シーンＢの中に特定期間が存在しないことを示す情報をシーン情報抽出結果としてシーン絵作り制御部１０６へ出力する。シーン絵作り制御部１０６は、代表輝度値Ｄ２４０に応じてフレームＦ２４０に対するガンマ曲線（γ（Ｄ２４０））を決定し、出力する。画像処理部１０７は入力されたガンマ曲線を使用してガンマ補正処理を実施する。
【００３４】
図５における時刻ｔｉｍｅ２４１では対象フレームはフレームＦ２４１である。このとき、映像遅延部１０１にはフレームＦ２４１〜Ｆ８４０が、代表輝度値記憶部１０４には代表輝度値Ｄ２４０〜Ｄ８４０が記録されている。シーン情報抽出部１０５は、代表輝度値Ｄ２４０，Ｄ２４１からフレームＦ２４０，Ｆ２４１間でシーンチェンジが起こっていないことを検出する。そのため、シーン絵作り制御部１０６へのシーン情報抽出結果の出力は行われない。シーン情報抽出結果の更新が行われなかったため、シーン絵作り制御部１０６は、１つ前の再生対象のフレームであるフレームＦ２４０に対するガンマ曲線の決定方法と同様に、ガンマ曲線を決定し、出力する。具体的には、代表輝度値Ｄ２４１に応じてフレームＦ２４１に対するガンマ曲線（γ（Ｄ２４１））を決定する。画像処理部１０７は入力されたガンマ曲線を使用してガンマ補正処理を実施する。
【００３５】
以上のように、本実施例に係る画像処理装置および該画像処理装置により実行される画像処理方法によれば、特徴量として代表輝度値が用いられるため、従来よりもガンマ曲線を決定する際に用いるデータのサイズを小さくすることができる。それと共に、タイムシフト再生しながらシーン全体の特徴に基づいてダイナミックガンマ処理することが可能と
なる。また、タイムシフト再生しながら、シーン全体の特徴に基づくダイナミックガンマ処理とフレーム毎の特徴に基づくダイナミックガンマ処理を視聴者にとって好適に切り替えて制御することも可能となる。
なお、本実施例では、輝度ヒストグラムから代表階調値を算出する構成としたが、代表階調値の算出方法はこれに限らない。例えば、輝度ヒストグラムを生成せずに、フレームのデータから代表階調値を算出してもよい。
【００３６】
＜実施例２＞
実施例１では、フレーム毎の特徴に基づいたダイナミックガンマ処理が適さない特定シーン内では、全てのフレームに対して共通のガンマ曲線（ガンマ値）を使用した。本実施例では、特定シーン内の一部の期間については、フレーム毎に、そのフレームの代表輝度値とシーン代表輝度値を用いてガンマ曲線を決定し、該ガンマ曲線を用いてガンマ補正処理を行う。具体的には、特定シーン内のうち特定期間内の各フレームに対しては、実施例１と同様にシーン代表輝度値に応じて決定したガンマ曲線を共通して使用する。そして、特定期間以外の期間に対しては、フレーム毎に、そのフレームの代表輝度値とシーン代表輝度値とを用いて、使用するガンマ曲線を決定する。本実施例によれば、シーン内での輝度変化に対するガンマ曲線の適用遅れによる不自然な輝度変化、黒つぶれ、白飛び等を防ぐことができると共に、実施例１に比べより細かくガンマ曲線を制御することが可能となる。
【００３７】
本実施例に係る画像処理装置の構成は実施例１（図１）と同様である。また、映像遅延部１０１、映像解析部１０２、特徴量変換部１０３、画像処理部１０７は実施例１と同様の処理を実施する。
【００３８】
代表輝度値記憶部１０４は、代表輝度値を２×Ｎフレーム分記録する。即ち、代表輝度値記憶部１０４は、シーン絵作り制御部１０６がガンマ曲線を決定する時点において、対象フレームに対して前後Ｎフレーム分の代表輝度値を保持することができる。また、Ｎの値は１シーンが十分収まる程度の大きさであるため、シーン絵作り制御部１０６において、シーン中のどのフレームが再生対象（補正対象）であったとしても、そのフレームを含むシーン全体の代表輝度値を参照してガンマ曲線を決定することが可能となる。
【００３９】
シーン情報抽出部１０５は、実施例１と同様に、シーン情報抽出結果を後述するシーン絵作り制御部１０６に出力する。実施例１では、シーン毎に、シーンフレーム数と特定期間有無情報をシーン情報抽出結果として出力した。本実施例では、シーン情報抽出結果として、シーン内の何フレーム目から何フレーム目が特定期間なのかという情報（特定期間位置情報）を更に出力する。特定期間位置情報は、実施例１に記載の特定期間の検出処理（Ｓ３０３の処理）の中で、フェードインやフェードアウトが開始、終了するフレームがシーンチェンジの先頭フレームから数えて何フレーム目に存在するかを検出することで生成すればよい。
【００４０】
シーン絵作り制御部１０６は、シーンチェンジが起こる度に入力されるシーン情報抽出結果に基づいてガンマ曲線を決定し、画像処理部１０７に出力する。なお、シーン絵作り制御部１０６は、実施例１と同様に、対象フレームが特定シーン内のフレームである場合に、対象シーン（特定シーン）内の各フレームの代表輝度値を用いて、該対象シーンを代表するシーン代表輝度値を算出するものとする。
【００４１】
以下、図６を用いてシーン絵作り制御部１０６の処理について説明する。図６は、シーン絵作り制御部１０６の処理の概要を示すフローチャートである。
まず、シーン絵作り制御部１０６は、シーン情報抽出部１０５からシーン情報抽出結果が入力されたか否かを判断する（Ｓ６０１）。シーン情報抽出結果が入力された場合には
（Ｓ６０１：ＹＥＳ）、ガンマ曲線の決定の際に参照するシーン情報抽出結果を更新し（Ｓ６０２）、Ｓ６０３へ進む。シーン情報抽出結果が入力されなかった場合には（Ｓ６０１：ＮＯ）、Ｓ６０３へ進む。Ｓ６０３では、更新したシーン情報抽出結果を用いて、対象シーン中に特定期間が存在するか否かを判断する。そして、対象フレームが属するシーンに特定期間が存在しない場合には（Ｓ６０３：ＮＯ）、対象フレームの代表輝度値に応じてガンマ曲線を決定する（Ｓ６０５）。具体的なガンマ曲線の決定方法については、実施例１と同様のため、説明を省略する。
【００４２】
Ｓ６０３において、対象フレームが属するシーンに特定期間が存在する場合は、対象フレームが特定期間内のフレームであるか否かを判断する（Ｓ６０４）。対象フレームが特定期間内のフレームである場合には（Ｓ６０４：ＹＥＳ）、シーン代表輝度値に応じてガンマ曲線を決定する（Ｓ６０６）。例えば、フレームＦ０〜Ｆ２３９が同一のシーンであり、このうちフレームＦ１００〜Ｆ２１９がフェードインする特定期間であったとする。この場合、フレームＦ１００〜Ｆ２１９の期間は対象フレームの特徴に基づいたガンマ補正処理が適さない期間である。そのため、対象フレームがフレームＦ１００〜Ｆ２１９の期間内のフレームである場合には、実施例１と同様に、シーン代表輝度値に応じてガンマ曲線を決定する。例えば、対象フレームの属するシーン（フレームＦ０〜Ｆ２３９）内で最も出現頻度の高い代表輝度値に応じてガンマ曲線を決定する。
【００４３】
Ｓ６０４において、対象フレームが特定期間外のフレームである場合は、対象フレームの代表輝度値とシーン代表輝度値を用いてガンマ曲線を決定する（Ｓ６０７）。例えば、フレームＦ０〜Ｆ２３９が同一のシーンであり、このうちフレームＦ１００〜Ｆ２１９がフェードインする特定期間であったとする。この場合、フレームＦ０〜Ｆ９９と、フレームＦ２２０〜Ｆ２３９の期間は対象フレームの特徴に基づいたガンマ補正処理が適する期間（非特定期間）である。そのため、対象フレームが非特定期間内のフレームである場合には、特定期間内外でガンマ曲線が急激に変化しないように、対象フレームの特徴に基づいてガンマ曲線を決定する。具体的には、対象フレームの代表輝度値を、シーン代表輝度値で補正し、該補正された代表輝度値を用いてガンマ曲線を決定する。例えば、Ｓ６０６と同様の方法で最も出現回数の多い代表輝度値（又はシーン内の各フレームの代表輝度値の平均値）を特定し、該特定した代表輝度値（シーン代表輝度値）と、対象フレームに対応する代表輝度値との平均値を算出する。そして、算出した平均値を用いて（該平均値を閾値と比較することにより）ガンマ曲線を決定する。なお、特定期間と非特定期間の切り替わり点でのガンマ曲線の変化を緩やかにするため、ガンマ曲線の適応に時間方向のローパス処理を施してもよい。
【００４４】
以上のように、本実施例に係る画像処理装置および該画像処理装置により実行される画像処理方法によれば、特定シーン内のうち特定期間については、シーン全体の特徴量に基づいて決定したガンマ曲線が共通して使用される。それにより、シーンの輝度変化に対するガンマ曲線の適用遅れによる不自然な輝度変化や黒つぶれ／白飛び等を防ぐことができる。そして、特定期間以外の期間に対しては、フレーム毎に、そのフレームの特徴量とシーン全体の特徴量とに基づいて、使用するガンマ曲線が決定される。それにより、実施例１に比べより細かくガンマ値を制御することが可能となる。
【符号の説明】
【００４５】
１００・・・画像処理装置，１０３・・・特徴量変換部，１０４・・・代表輝度値記憶部，１０５・・・シーン情報抽出部，１０６・・・シーン絵作り制御部，１０７・・・画像処理部
【図１】
0005451494.tif 000002
【図２】
0005451494.tif 000003
【図３】
0005451494.tif 000004
【図４】
0005451494.tif 000005
【図５】
0005451494.tif 000006
【図６】
0005451494.tif 000007