(57)【要約】【課題】フレーム毎に階調変換パラメータの生成と階調変換処理とを行う際に生じるちらつきや明るさの遷移を低減することのできる技術を提供する。【解決手段】本発明の画像処理装置は、入力画像のフレームから画像の統計量を検出する統計量検出手段と、入力画像のシーンの切り替わりを検出するシーンチェンジ検出手段と、フレーム毎に統計量を用いた第１の演算を行うことにより、フレーム毎に階調変換パラメータを生成する生成手段と、フレーム毎に階調変換処理を行う変換手段と、を有し、シーンチェンジ検出手段でシーンの切り替わりが検出された場合に、生成手段は、階調変換パラメータを生成するための演算を、第１の演算から第１の演算よりも演算時間の短い第２の演算に、一時的に切り替える。【選択図】図１
2014011725.tif 000002
【特許請求の範囲】
【請求項１】
フレーム単位で入力される入力画像に階調変換処理を施す画像処理装置であって、
入力画像のフレームから画像の統計量を検出する統計量検出手段と、
前記入力画像のシーンの切り替わりを検出するシーンチェンジ検出手段と、
前記入力画像のフレーム毎に、前記統計量検出手段で検出された統計量を用いた第１の演算を行うことにより、前記フレーム毎に階調変換パラメータを生成する生成手段と、
前記フレーム毎に、前記生成手段で生成された階調変換パラメータを用いた階調変換処理を行う変換手段と、
を有し、
第１の演算により生成される階調変換パラメータは、前記第１の演算の演算時間を含む遅延時間によって複数フレーム分遅れて階調変換処理で用いられるものであり、
前記シーンチェンジ検出手段でシーンの切り替わりが検出された場合に、前記生成手段は、階調変換パラメータを生成するための演算を、前記第１の演算から前記第１の演算よりも演算時間の短い第２の演算に、一時的に切り替える
ことを特徴とする画像処理装置。
【請求項２】
前記第１の演算により生成される階調変換パラメータは、Ｎフレーム（Ｎは２以上の整数）分遅れて階調変換処理で用いられるものであり、
前記第２の演算により生成される階調変換パラメータは、Ｍフレーム（ＭはＮより小さい整数）分遅れて階調変換処理で用いられるものであり、
前記変換手段は、少なくともシーンの切り替わりからＭ〜Ｎ−１番目のフレームに対して、前記第２の演算により生成された階調変換パラメータを用いた階調変換処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記Ｍ〜Ｎ−１番目のフレームに対する階調変換処理で用いられる階調変換パラメータは、シーンの切り替わり直後のフレームの統計量を用いた前記第２の演算により生成された階調変換パラメータである
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、シーンの切り替わり直後のフレームの統計量を用いた前記第１の演算により第１の階調変換パラメータを生成し、且つ、シーンの切り替わり直後のフレームの統計量を用いた前記第２の演算により第２の階調変換パラメータを生成し、
前記変換手段は、シーンの切り替わりからＭ〜Ｎ−１番目のフレームに対して、前記第２の階調変換パラメータを用いた階調変換処理を行い、シーンの切り替わりからＮ番目のフレームに対して、前記第１の階調変換パラメータを用いた階調変換処理を行う
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記生成手段は、シーンの切り替わり直後のフレームの統計量を用いた前記第２の演算の後に、シーンの切り替わり直後のフレームの統計量を用いた前記第１の演算を行う
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生成手段は、統計量に補正処理を施し、補正処理後の統計量に応じて階調変換パラメータを決定するものであり、
前記第２の演算で行われる補正処理の数は、前記第１の演算で行われる補正処理の数よりも少ない
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記統計量は、少なくとも、
前記入力画像の輝度ヒストグラムにおいて度数が集中する階調値のうち、最も低階調
側の階調値である暗部注目階調値と、
前記入力画像の平均輝度値と、
前記入力画像の画素のうち、第１の階調値以下の階調値を有する画素の数である暗部画素数と、
を含み、
前記第１の演算では、
暗部注目階調値に、暗部画素数に基づく第１の補正処理、及び、暗部注目階調値の大きさに基づく第２の補正処理が施された後、前記第１の補正処理および前記第２の補正処理後の暗部注目階調値に応じて階調変換パラメータが決定され、
前記第２の演算では、
補正処理前の暗部注目階調値が第１の閾値以上の場合に、当該暗部注目階調値に応じて階調変換パラメータが決定され、
補正処理前の暗部注目階調値が前記第１の閾値未満の場合に、当該暗部注目階調値に、暗部注目階調値と平均輝度値の差に基づく第３の補正処理が施された後、前記第３の補正処理後の暗部注目階調値に応じて階調変換パラメータが決定される
ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記統計量は、少なくとも、
前記入力画像の輝度ヒストグラムにおいて度数が集中する階調値のうち、最も高階調側の階調値である明部注目階調値と、
前記入力画像の平均輝度値と、
前記入力画像の画素のうち、第２の階調値以上の階調値を有する画素の数である明部画素数と、
を含み、
前記第１の演算では、
明部注目階調値に、明部画素数に基づく第４の補正処理、及び、明部注目階調値の大きさに基づく第５の補正処理が施された後、前記第４の補正処理および前記第５の補正処理後の明部注目階調値に応じて階調変換パラメータが決定され、
前記第２の演算では、
補正処理前の明部注目階調値が第２の閾値以下の場合に、当該明部注目階調値に応じて階調変換パラメータが決定され、
補正処理前の明部注目階調値が前記第２の閾値より大きい場合に、当該明部注目階調値に、明部注目階調値と平均輝度値の差に基づく第６の補正処理が施された後、前記第６の補正処理後の明部注目階調値に応じて階調変換パラメータが決定される
ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項９】
前記統計量は、少なくとも、
前記入力画像の輝度ヒストグラムにおいて度数が集中する階調値のうち、最も低階調側の階調値である暗部注目階調値と、
前記入力画像の輝度ヒストグラムにおいて度数が集中する階調値のうち、最も高階調側の階調値である明部注目階調値と、
前記入力画像の平均輝度値と、
前記入力画像の画素のうち、第３の階調値以下の階調値を有する画素の数である暗部画素数と、
前記入力画像の画素のうち、前記第３の階調値より大きい第４の階調値以上の階調値を有する画素の数である明部画素数と、
を含み、
前記第１の演算では、
暗部注目階調値に、暗部画素数に基づく第１の補正処理、及び、暗部注目階調値の大きさに基づく第２の補正処理が施された後、前記第１の補正処理および前記第２の補正処
理後の暗部注目階調値に応じて、前記第３の階調値以下の階調値を有する画素に対する階調変換処理で用いられる暗部階調変換パラメータが決定され、
明部注目階調値に、明部画素数に基づく第４の補正処理、及び、明部注目階調値の大きさに基づく第５の補正処理が施された後、前記第４の補正処理および前記第５の補正処理後の明部注目階調値に応じて、前記第４の階調値以上の階調値を有する画素に対する階調変換処理で用いられる明部階調変換パラメータが決定され、
前記第２の演算では、
補正処理前の暗部注目階調値が第１の閾値以上の場合に、当該暗部注目階調値に応じて暗部階調変換パラメータが決定され、
補正処理前の暗部注目階調値が前記第１の閾値未満の場合に、当該暗部注目階調値に、暗部注目階調値と平均輝度値の差に基づく第３の補正処理が施された後、前記第３の補正処理後の暗部注目階調値に応じて暗部階調変換パラメータが決定され、
補正処理前の明部注目階調値が第２の閾値以下の場合に、当該明部注目階調値に応じて明部階調変換パラメータが決定され、
補正処理前の明部注目階調値が前記第２の閾値より大きい場合に、当該明部注目階調値に、明部注目階調値と平均輝度値の差に基づく第６の補正処理が施された後、前記第６の補正処理後の明部注目階調値に応じて明部階調変換パラメータが決定される
ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項１０】
フレーム単位で入力される入力画像に階調変換処理を施す画像処理装置の制御方法であって、
入力画像のフレームから画像の統計量を検出する統計量検出ステップと、
前記入力画像のシーンの切り替わりを検出するシーンチェンジ検出ステップと、
前記入力画像のフレーム毎に、前記統計量検出ステップで検出された統計量を用いた第１の演算を行うことにより、前記フレーム毎に階調変換パラメータを生成する生成ステップと、
前記フレーム毎に、前記生成ステップで生成された階調変換パラメータを用いた階調変換処理を行う変換ステップと、
を有し、
第１の演算により生成される階調変換パラメータは、前記第１の演算の演算時間を含む遅延時間によって複数フレーム分遅れて階調変換処理で用いられるものであり、
前記シーンチェンジ検出ステップでシーンの切り替わりが検出された場合に、前記生成ステップでは、階調変換パラメータを生成するための演算が、前記第１の演算から前記第１の演算よりも演算時間の短い第２の演算に、一時的に切り替えられる
ことを特徴とする画像処理装置の制御方法。
【請求項１１】
前記第１の演算により生成される階調変換パラメータは、Ｎフレーム（Ｎは２以上の整数）分遅れて階調変換処理で用いられるものであり、
前記第２の演算により生成される階調変換パラメータは、Ｍフレーム（ＭはＮより小さい整数）分遅れて階調変換処理で用いられるものであり、
前記変換ステップでは、少なくともシーンの切り替わりからＭ〜Ｎ−１番目のフレームに対して、前記第２の演算により生成された階調変換パラメータを用いた階調変換処理が行われる
ことを特徴とする請求項１０に記載の画像処理装置の制御方法。
【請求項１２】
前記Ｍ〜Ｎ−１番目のフレームに対する階調変換処理で用いられる階調変換パラメータは、シーンの切り替わり直後のフレームの統計量を用いた前記第２の演算により生成された階調変換パラメータである
ことを特徴とする請求項１１に記載の画像処理装置の制御方法。
【請求項１３】
前記生成ステップでは、シーンの切り替わり直後のフレームの統計量を用いた前記第１の演算により第１の階調変換パラメータが生成され、且つ、シーンの切り替わり直後のフレームの統計量を用いた前記第２の演算により第２の階調変換パラメータが生成され、
前記変換ステップでは、シーンの切り替わりからＭ〜Ｎ−１番目のフレームに対して、前記第２の階調変換パラメータを用いた階調変換処理が行われ、シーンの切り替わりからＮ番目のフレームに対して、前記第１の階調変換パラメータを用いた階調変換処理が行われる
ことを特徴とする請求項１１または１２に記載の画像処理装置の制御方法。
【請求項１４】
前記生成ステップでは、シーンの切り替わり直後のフレームの統計量を用いた前記第２の演算の後に、シーンの切り替わり直後のフレームの統計量を用いた前記第１の演算が行われる
ことを特徴とする請求項１３に記載の画像処理装置の制御方法。
【請求項１５】
前記生成ステップは、統計量に補正処理を施し、補正処理後の統計量に応じて階調変換パラメータを決定するステップであり、
前記第２の演算で行われる補正処理の数は、前記第１の演算で行われる変換処理の数よりも少ない
ことを特徴とする請求項１０〜１４のいずれか１項に記載の画像処理装置の制御方法。
【請求項１６】
前記統計量は、少なくとも、
前記入力画像の輝度ヒストグラムにおいて度数が集中する階調値のうち、最も低階調側の階調値である暗部注目階調値と、
前記入力画像の平均輝度値と、
前記入力画像の画素のうち、第１の階調値以下の階調値を有する画素の数である暗部画素数と、
を含み、
前記第１の演算では、
暗部注目階調値に、暗部画素数に基づく第１の補正処理、及び、暗部注目階調値の大きさに基づく第２の補正処理が施された後、前記第１の補正処理および前記第２の補正処理後の暗部注目階調値に応じて階調変換パラメータが決定され、
前記第２の演算では、
補正処理前の暗部注目階調値が第１の閾値以上の場合に、当該暗部注目階調値に応じて階調変換パラメータが決定され、
補正処理前の暗部注目階調値が前記第１の閾値未満の場合に、当該暗部注目階調値に、暗部注目階調値と平均輝度値の差に基づく第３の補正処理が施された後、前記第３の補正処理後の暗部注目階調値に応じて階調変換パラメータが決定される
ことを特徴とする請求項１０〜１５のいずれか１項に記載の画像処理装置の制御方法。
【請求項１７】
前記統計量は、少なくとも、
前記入力画像の輝度ヒストグラムにおいて度数が集中する階調値のうち、最も高階調側の階調値である明部注目階調値と、
前記入力画像の平均輝度値と、
前記入力画像の画素のうち、第２の階調値以上の階調値を有する画素の数である明部画素数と、
を含み、
前記第１の演算では、
明部注目階調値に、明部画素数に基づく第４の補正処理、及び、明部注目階調値の大きさに基づく第５の補正処理が施された後、前記第４の補正処理および前記第５の補正処理後の明部注目階調値に応じて階調変換パラメータが決定され、
前記第２の演算では、
補正処理前の明部注目階調値が第２の閾値以下の場合に、当該明部注目階調値に応じて階調変換パラメータが決定され、
補正処理前の明部注目階調値が前記第２の閾値より大きい場合に、当該明部注目階調値に、明部注目階調値と平均輝度値の差に基づく第６の補正処理が施された後、前記第６の補正処理後の明部注目階調値に応じて階調変換パラメータが決定される
ことを特徴とする請求項１０〜１５のいずれか１項に記載の画像処理装置の制御方法。
【請求項１８】
前記統計量は、少なくとも、
前記入力画像の輝度ヒストグラムにおいて度数が集中する階調値のうち、最も低階調側の階調値である暗部注目階調値と、
前記入力画像の輝度ヒストグラムにおいて度数が集中する階調値のうち、最も高階調側の階調値である明部注目階調値と、
前記入力画像の平均輝度値と、
前記入力画像の画素のうち、第３の階調値以下の階調値を有する画素の数である暗部画素数と、
前記入力画像の画素のうち、前記第３の階調値より大きい第４の階調値以上の階調値を有する画素の数である明部画素数と、
を含み、
前記第１の演算では、
暗部注目階調値に、暗部画素数に基づく第１の補正処理、及び、暗部注目階調値の大きさに基づく第２の補正処理が施された後、前記第１の補正処理および前記第２の補正処理後の暗部注目階調値に応じて、前記第３の階調値以下の階調値を有する画素に対する階調変換処理で用いられる暗部階調変換パラメータが決定され、
明部注目階調値に、明部画素数に基づく第４の補正処理、及び、明部注目階調値の大きさに基づく第５の補正処理が施された後、前記第４の補正処理および前記第５の補正処理後の明部注目階調値に応じて、前記第４の階調値以上の階調値を有する画素に対する階調変換処理で用いられる明部階調変換パラメータが決定され、
前記第２の演算では、
補正処理前の暗部注目階調値が第１の閾値以上の場合に、当該暗部注目階調値に応じて暗部階調変換パラメータが決定され、
補正処理前の暗部注目階調値が前記第１の閾値未満の場合に、当該暗部注目階調値に、暗部注目階調値と平均輝度値の差に基づく第３の補正処理が施された後、前記第３の補正処理後の暗部注目階調値に応じて暗部階調変換パラメータが決定され、
補正処理前の明部注目階調値が第２の閾値以下の場合に、当該明部注目階調値に応じて明部階調変換パラメータが決定され、
補正処理前の明部注目階調値が前記第２の閾値より大きい場合に、当該明部注目階調値に、明部注目階調値と平均輝度値の差に基づく第６の補正処理が施された後、前記第６の補正処理後の明部注目階調値に応じて明部階調変換パラメータが決定される
ことを特徴とする請求項１０〜１５のいずれか１項に記載の画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
フレーム毎に、入力画像の統計量の検出、統計量に基づく階調変換パラメータの生成、階調変換パラメータを用いた階調変換処理を行うダイナミックガンマ処理がある。統計量は、例えば、ＡＰＬ（平均輝度値；平均輝度レベル）や輝度ヒストグラムである。階調変換パラメータは、例えば、ガンマカーブである。ダイナミックガンマ処理を行うことにより、表示画像のコントラスト（画面上の色や輝度のコントラスト）を好適に制御することができる。ダイナミックガンマ処理は、例えば、特許文献１に開示されている。
【０００３】
ダイナミックガンマ処理では、一定の時定数を持たせて緩やかにガンマカーブを変更する時間方向変動抑制処理が行われることがある。時間方向変動抑制処理を行うことにより、ガンマカーブの急激な変化による妨害感（ちらつき等）の発生が抑制される。
なお、シーンの切り替わり前後のガンマカーブの急激な変化は許容することが好ましい。そのため、一般的には、時間方向変動抑制処理はシーン単位で行われる。時間方向変動抑制処理は、例えば、特許文献２に開示されている。
【０００４】
ダイナミックガンマ処理において、ガンマカーブの算出に時間がかかる場合、統計量が取得されるフレームと、当該統計量に基づくガンマカーブを用いた階調変換処理が施されるフレームとがずれる。そのため、切り替わり後のシーンの複数フレームに対して、切り替わり前のシーンのフレームの統計量に基づくガンマカーブを用いた階調変換処理が施される。その結果、シーンが切り替わった際にちらつきが生じることがある。このような問題を解決するために、シーンの切り替わりが検出された場合に、入力画像に近い画像を表示することでシーンの切り替わり時のちらつきを抑制する技術が提案されている。このような技術は、例えば、特許文献３に開示されている。
【０００５】
しかしながら、特許文献３に開示の技術では、入力画像と、切り替わり後のシーンのフレームの統計量に基づく階調変換処理後の画像とが大きく異なる場合には、ちらつきが生じてしまう。また、時間方向変動抑制処理を行う構成の場合には、入力画像に近い画像を得るためのガンマカーブから、切り替わり後のシーンのフレームの統計量に基づくガンマカーブへ、複数フレームかけて緩やかにガンマカーブが変更される。そのため、明るさの遷移が知覚されてしまうことがある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０３−１２６３７７号公報
【特許文献２】特開平０４−２９３３６５号公報
【特許文献３】特開２００２―３２０１１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、フレーム毎に階調変換パラメータの生成と階調変換処理とを行う際に生じるちらつきや明るさの遷移を低減することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、
フレーム単位で入力される入力画像に階調変換処理を施す画像処理装置であって、
入力画像のフレームから画像の統計量を検出する統計量検出手段と、
前記入力画像のシーンの切り替わりを検出するシーンチェンジ検出手段と、
前記入力画像のフレーム毎に、前記統計量検出手段で検出された統計量を用いた第１の演算を行うことにより、前記フレーム毎に階調変換パラメータを生成する生成手段と、
前記フレーム毎に、前記生成手段で生成された階調変換パラメータを用いた階調変換処理を行う変換手段と、
を有し、
第１の演算により生成される階調変換パラメータは、前記第１の演算の演算時間を含む遅延時間によって複数フレーム分遅れて階調変換処理で用いられるものであり、
前記シーンチェンジ検出手段でシーンの切り替わりが検出された場合に、前記生成手段は、階調変換パラメータを生成するための演算を、前記第１の演算から前記第１の演算よりも演算時間の短い第２の演算に、一時的に切り替える
ことを特徴とする。
【０００９】
本発明の画像処理装置の制御方法は、
フレーム単位で入力される入力画像に階調変換処理を施す画像処理装置の制御方法であって、
入力画像のフレームから画像の統計量を検出する統計量検出ステップと、
前記入力画像のシーンの切り替わりを検出するシーンチェンジ検出ステップと、
前記入力画像のフレーム毎に、前記統計量検出ステップで検出された統計量を用いた第１の演算を行うことにより、前記フレーム毎に階調変換パラメータを生成する生成ステップと、
前記フレーム毎に、前記生成ステップで生成された階調変換パラメータを用いた階調変換処理を行う変換ステップと、
を有し、
第１の演算により生成される階調変換パラメータは、前記第１の演算の演算時間を含む遅延時間によって複数フレーム分遅れて階調変換処理で用いられるものであり、
前記シーンチェンジ検出ステップでシーンの切り替わりが検出された場合に、前記生成ステップでは、階調変換パラメータを生成するための演算が、前記第１の演算から前記第１の演算よりも演算時間の短い第２の演算に、一時的に切り替えられる
ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、フレーム毎に階調変換パラメータの生成と階調変換処理とを行う際に生じるちらつきや明るさの遷移を低減することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係る画像処理装置の機能構成の一例
【図２】統計量検出部の機能構成の一例
【図３】分割領域の一例
【図４】輝度ヒストグラム、暗部注目階調値、明部注目階調値の一例
【図５】実施例１に係る階調変換パラメータ生成部の処理フローの一例
【図６】Ｓ１０２の処理フローの一例
【図７】Ｓ１０３の処理フローの一例
【図８】暗部ガンマカーブ及び明部ガンマカーブの変換特性の一例
【図９】Ｓ１０５の処理フローの一例
【図１０】Ｓ１０６の処理フローの一例
【図１１】実施例１に係るガンマカーブ設定部の処理の一例
【図１２】実施例１に係るガンマカーブ設定部の処理の一例
【図１３】実施例２に係る階調変換パラメータ生成部の処理フローの一例
【図１４】実施例２に係るガンマカーブ設定部の処理の一例
【発明を実施するための形態】
【００１２】
＜実施例１＞
以下、本発明の実施例１に係る画像処理装置及びその制御方法について、図面を用いて説明する。本実施例に係る画像処理装置は、フレーム単位で入力される入力画像に階調変換処理を施す。
【００１３】
図１は、本実施例に係る画像処理装置１００の機能構成の一例を示すブロック図である。画像処理装置１００は、統計量検出部１０１、シーンチェンジ検出部１０２、階調変換パラメータ生成部１０３、階調変換パラメータ設定部１０４、階調変換部１０５、などを有する。
【００１４】
統計量検出部１０１は、入力画像のフレームから画像の統計量を検出する。
図２は、統計量検出部１０１の機能構成の一例を示すブロック図である。統計量検出部１０１は、分割輝度ヒストグラム検出部１１、注目階調値検出部１２、全画面輝度ヒストグラム検出部１３、暗部画素数・明部画素数検出部１４、ＡＰＬ検出部１５、などを有する。
【００１５】
分割輝度ヒストグラム検出部１１は、入力画像の領域を分割して得られる分割領域毎に、その分割領域内の画像の輝度ヒストグラムを検出する。本実施例では、図３のように、入力画像Ｉの領域が、水平方向５個×垂直方向３個の計１５個の分割領域ｄ（０）〜ｄ（１４）に分割される。従って、分割輝度ヒストグラム検出部１１では、１５個の分割領域ｄ（０）〜ｄ（１４）に対応する１５個の輝度ヒストグラムＨｄ（０）〜Ｈｄ（１４）が検出される。また、本実施例では、輝度の階調が、階調値０〜２５５の２５６階調であるものとする。検出された分割輝度ヒストグラムＨｄ（０）〜Ｈｄ（１４）は、注目階調値検出部１２に出力される。
なお、図３の例では入力画像の領域がマトリクス状に分割されているが、領域の分割方法はこれに限らない。例えば、分割領域は、入力画像の領域を短冊状に分割して得られる領域であってもよい。また、入力画像の領域の分割数は１５に限らない。分割数は、５や３０など、１５より少なくても多くてもよい。また、分割数を１とし（入力画像の領域を分割せずに）、入力画像の領域全体から輝度ヒストグラムが検出されてもよい。
なお、階調は２５６階調に限らない。階調は１２８階調や５１２階調など２５６階調より低くても高くてもよい。
【００１６】
注目階調検出部１２は、分割領域毎に、暗部注目階調値と明部注目階調値を検出する。具体的には、図４に示すように、注目階調検出部１２は、分割輝度ヒストグラムＨｄ（ｉ）（本実施例ではｉ＝０〜１４の整数）から、暗部注目階調値Ｎｂ（ｉ）及び明部注目階調値Ｎｗ（ｉ）を検出する。図４は、輝度ヒストグラムＨｄ（ｉ）、暗部注目階調値Ｎｂ（ｉ）、明部注目階調値Ｎｗ（ｉ）の一例を示す図である。暗部注目階調値は、輝度ヒストグラムにおいて度数が集中する階調値のうち、最も低階調側の階調値である。明部注目階調値は、輝度ヒストグラムにおいて度数が集中する階調値のうち、最も高階調側の階調値である。
注目階調検出部１２では、１５個の輝度ヒストグラムＨｄ（０）〜Ｈｄ（１４）から、１５個の暗部注目階調値Ｎｂ（０）〜Ｎｂ（１４）、及び、１５個の明部注目階調値Ｎｗ（０）〜Ｎｗ（１４）が検出される。１５個の暗部注目階調値Ｎｂ（０）〜Ｎｂ（１４）は、１５個の分割領域ｄ（０）〜ｄ（１４）に対応する。１５個の明部注目階調値Ｎｗ（０）〜Ｎｗ（１４）は、１５個の分割領域ｄ（０）〜ｄ（１４）に対応する。検出された暗部注目階調値Ｎｂ（０）〜Ｎｂ（１４）と明部注目階調値Ｎｗ（０）〜Ｎｗ（１４）は
、統計量として、階調変換パラメータ生成部１０３に出力される。
【００１７】
全画面輝度ヒストグラム検出部１３は、入力画像全体の輝度ヒストグラム（全画面輝度ヒストグラムＨａ）を検出する。検出された全画面輝度ヒストグラムＨａは、暗部画素数・明部画素数検出部１４に出力される。
【００１８】
暗部画素数・明部画素数検出部１４は、入力画像の暗部画素数と明部画素数を検出する。暗部画素数は、入力画像の画素のうち、第３の階調値以下（第１の階調値以下）の階調値を有する画素の数である。明部画素数は、入力画像の画素のうち、第３の階調値より大きい第４の階調値以上（第２の階調値以上）の階調値を有する画素の数である。第３の階調値は、暗部を定義する階調値であり、例えば１２８である（階調値１２８以下が暗部と定義される）。第４の階調値は、明部を定義する階調値であり、例えば１９２である（階調値１９２以上が明部と定義される）。
例えば、暗部画素数・明部画素数検出部１４は、全画面輝度ヒストグラムＨａから第１の階調値以下の各階調値の度数を取得し、取得した度数の合計値を暗部画素数ｓｂとして算出する。そして、暗部画素数・明部画素数検出部１４は、全画面輝度ヒストグラムＨａから第２の階調値以上の各階調値の度数を取得し、取得した度数の合計値を暗部画素数ｓｂとして算出する。検出された暗部画素数ｓｂと明部画素数ｓｗは、統計量として、階調変換パラメータ生成部１０３に出力される。
なお、第３の階調値と第４の階調値はどのような値であってもよい。第３の階調値と第４の階調値は、メーカやユーザ等により適宜設定・変更されるものである。
【００１９】
ＡＰＬ検出部１５は、入力画像のＡＰＬ値ａ（平均輝度値；平均輝度レベル）を検出する。ＡＰＬ値ａは、例えば、入力画像から、入力画像の各画素の輝度値（階調値）の総和を算出し、総和を入力画像の総画素数で除算することにより求められる。ＡＰＬ値ａは、０〜２５５の８ビット精度で検出されるものとする。検出されたＡＰＬ値ａは、統計量として、シーンチェンジ検出部１０２と階調変換パラメータ生成部１０３に出力される。
なお、ＡＰＬ値ａの精度は８ビット精度に限らない。ＡＰＬ値ａの精度は７ビット精度や８ビット精度など、８ビット精度より高くても低くてもよい。
なお、ＡＰＬ値ａは、入力画像から求めるのではなく、全画面輝度ヒストグラムＨａから求められてもよい。
【００２０】
シーンチェンジ検出部１０２は、入力画像のシーンの切り替わりを検出する。本実施例では、シーンチェンジ検出部１０２は、入力画像の現フレームのＡＰＬ値ａと、現フレームの１フレーム前のフレーム（前フレーム）のＡＰＬ値ａ＿ｏｌｄから、現フレームと前フレームの間でシーンが切り替わったか否かを判定する。そして、シーンチェンジ検出部１０２は、シーンが切り替わったか否かの判定結果を、シーンチェンジ検出情報Ｓｃとして、階調変換パラメータ生成部１０３と階調変換パラメータ設定部１０４に出力する。
具体的には、現フレームのＡＰＬ値ａと、前フレームのＡＰＬ値ａ＿ｏｌｄとの差が所定値以上の場合に、シーンが切り替わったと判定され、シーンチェンジ検出情報Ｓｃ＝１とされる。差が所定値より小さい場合には、シーンが切り替わっていないと判定され、シーンチェンジ検出情報Ｓｃ＝０とされる。シーンチェンジ検出部１０２は、シーンチェンジ検出情報Ｓｃを更新した後に、ａ＿ｏｌｄの値をａに更新する。
なお、シーンの切り替わりを検出するための閾値（上記所定値）は、どのような値であってもよい。閾値は、メーカやユーザ等により適宜設定・変更されるものである。
なお、シーンの切り替わりの検出方法は上記方法に限らない。例えば、入力画像のデータにシーンの切り替わり位置を表す情報が付加されている場合には、当該情報を用いてシーンの切り替わりが検出されてもよい。ＡＰＬ値ではなく、最大輝度値、最小輝度値、最頻輝度値、特定の被写体の検出結果、エッジの検出結果などの統計量を用いてシーンの切り替わりが検出されてもよい。
【００２１】
階調変換パラメータ生成部１０３は、入力画像のフレーム毎に、そのフレームを用いた演算を行うことにより、フレーム毎に階調変換パラメータを生成する。階調変換パラメータ生成部１０３は、基本的には、第１の演算を行うことにより階調変換パラメータを生成する。生成された階調変換パラメータは、階調変換パラメータ設定部１０４に出力される。
【００２２】
具体的には、シーンの切り替わりが検出されなかった場合に、第１の演算により階調変換パラメータが生成される。第１の演算により生成される階調変換パラメータは、第１の演算を含む遅延時間によって複数フレーム分遅れて階調変換処理で用いられる。具体的には、第１の演算により生成される階調変換パラメータは、Ｎフレーム（Ｎは２以上の整数；本実施例ではＮ＝２）分遅れて階調変換処理で用いられる。階調変換パラメータを生成するために用いた統計量の取得対象のフレームと、当該階調変換パラメータを用いた階調変換処理の対象のフレームとが同じシーンのフレームである場合には、それらのフレームが互いに異なるフレームであっても、ちらつき等は目立たない。そのため、本実施例では、シーンの切り替わりが検出されなかった場合には、第１の演算により、時間をかけて高精度な階調変換パラメータを生成する。
【００２３】
シーンの切り替わりが検出された場合には、階調変換パラメータを生成するための演算が、第１の演算から第２の演算に一時的に切り替えられる。第２の演算の演算時間は、第１の演算の演算時間よりも短い。そのため、第２の演算により生成される階調変換パラメータは、第１の演算により生成される階調変換パラメータよりも早く生成される。その結果、切り替わり後のシーンのフレームの統計量に基づく階調変換パラメータを用いた階調変換処理をいち早く行うことが可能となる。具体的には、第２の演算により生成される階調変換パラメータは、Ｍフレーム（ＭはＮより小さい整数；本実施例ではＭ＝１）分遅れて階調変換処理で用いることができる。階調変換パラメータを生成するために用いた統計量の取得対象のフレームと、当該階調変換パラメータを用いた階調変換処理の対象のフレームとが互いに異なるシーンのフレームである期間が長いと、ちらつき等が目立つ。本実施例では、上記期間が２フレーム期間以上である場合に、ちらつき等が目立つものとする。本実施例では、上記演算の切り替えを行うことにより、上記期間を短縮することが可能となる。具体的には、上記演算の切り替えを行うことにより、上記期間を２フレーム期間から１フレーム期間に短縮することが可能となる。その結果、ちらつき等を低減することができる。
【００２４】
以下、図５を用いて、階調変換パラメータ生成部１０３の処理フローの一例について説明する。図５は、階調変換パラメータ生成部１０３の処理フローの一例を示すフローチャートである。
本実施例では、階調変換パラメータ生成部１０３は、暗部注目階調値Ｎｂ（０）〜Ｎｂ（１４）、明部注目階調値Ｎｗ（０）〜Ｎｗ（１４）、暗部画素数ｓｂ、明部画素数ｓｗ、ＡＰＬ値ａ、シーンチェンジ検出情報Ｓｃを用いて、階調変換パラメータを生成する。
また、本実施例では、統計量から暗部係数ｃｏｅｂと明部係数ｃｏｅｗが算出され、暗部係数ｃｏｅｂと明部係数ｃｏｅｗから階調変換パラメータが生成される。
暗部係数ｃｏｅｂが第１の基準値未満のときには、暗部を浮かせる階調変換パラメータが生成される。具体的には、暗部係数ｃｏｅｂが小さいほど暗部が浮くように、階調変換パラメータが生成される。暗部係数ｃｏｅｂが第１の基準値以上のときには、暗部を沈める階調変換パラメータが生成される。具体的には、暗部係数ｃｏｅｂが大きいほど暗部が沈むように、階調変換パラメータが生成される。明部係数ｃｏｅｗが第２の基準値未満のときには、明部を浮かせる階調変換パラメータが生成される。具体的には、明部係数ｃｏｅｗが小さいほど明部が浮くように、階調変換パラメータが生成される。明部係数ｃｏｅｗが第２の基準値よりも小さいときには、明部を沈める階調変換パラメータが生成される
。具体的には、明部係数ｃｏｅｗが大きいほど明部が沈むように、階調変換パラメータが生成される。
なお、第１の基準値と第２の基準値はどのような値であってもよい。第１の基準値と第２の基準値は同じ値であってもよいし異なる値であってもよい。第１の基準値と第２の基準値は、例えば、６４，１２８，１９２などである。第１の基準値と第２の基準値は、メーカにより適宜設定されるものである。
また、本実施例では、階調変換パラメータとしてガンマカーブが生成されるものとするが、階調変換パラメータはガンマカーブに限らない。階調値の変換特性（変換前後の階調値）を決定するパラメータであればどのようなパラメータであってもよい。
【００２５】
まず、Ｓ１０１で、階調変換パラメータ生成部１０３が、シーンチェンジ検出情報Ｓｃを確認する。シーンチェンジ検出情報Ｓｃが０の場合（Ｓ１０１：ｙｅｓ）、シーンの切り替わりが検出されなかったと判断される。シーンチェンジ検出情報Ｓｃが１の場合（Ｓ１０１：ｎｏ）、シーンの切り替わりが検出されたと判断される。
【００２６】
シーンチェンジ検出情報Ｓｃが０の場合には、第１の演算として、Ｓ１０２〜Ｓ１０４の処理が行われる。
【００２７】
Ｓ１０２では、階調変換パラメータ生成部１０３が、暗部係数ｃｏｅｂを算出する。具体的には、図６のＳ２１〜Ｓ２３の処理により暗部係数ｃｏｅｂが算出される。その後、Ｓ１０３に処理が進められる。図６は、Ｓ１０２の処理フローの一例を示すフローチャートである。
【００２８】
Ｓ２１では、階調変換パラメータ生成部１０３が、暗部係数ｃｏｅｂをｍｉｎｂに初期化する。その後、Ｓ２２に処理が進められる。ｍｉｎｂは、暗部注目階調値Ｎｂ（０）〜Ｎｂ（１４）の最小値である。ｍｉｎｂは式１を用いて求められる。
ｍｉｎｂ＝ｍｉｎ［Ｎｂ（０）〜Ｎｂ（１４）］  ・・・（式１）
ｍｉｎ［  ］：［  ］内の最小値
本実施例では、暗部注目階調値の最小値を用いてガンマカーブを生成することで、暗部の階調つぶれを抑えた階調変換処理（ガンマ変換処理）を行うことができる。
【００２９】
Ｓ２２では、階調変換パラメータ生成部１０３が、ｍｉｎｂ（暗部注目階調値）に、暗部画素数ｓｂに基づく第１の補正処理を施す。具体的には、階調変換パラメータ生成部１０３が、暗部係数ｃｏｅｂにｂｇｂを加算する。その後、Ｓ２３に処理が進められる。ｂｇｂは、暗部画素数ｓｂから得られる値である。ｂｇｂは、式２を用いて求められる。
ｂｇｂ＝ｓｂ×ｇｂ１  ・・・（式２）
ｇｂ１：調整ゲイン（０〜１）
暗部画素数ｓｂが大きいフレームは、暗い領域の面積が大きいフレーム（夜景のような暗いシーンのフレーム）である可能性が高い。そのようなフレームに対しては、暗部のコントラストを高めることが好ましい。本実施例では、第１の補正処理により、暗部画素数ｓｂが大きいほど暗部係数ｃｏｅｂが拡大される。即ち、暗部画素数ｓｂが大きいほど暗部が沈められる。それにより、暗い領域の面積が大きいほど、暗部のコントラストを高めることができる。
なお、調整ゲインｇｂ１はどのような値であってもよい。調整ゲインｇｂ１は、メーカ、ユーザ、入力画像の種類（風景の画像、人物の画像など）等により適宜設定・変更されるものである。
【００３０】
Ｓ２３では、階調変換パラメータ生成部１０３が、Ｓ２２で得られた暗部係数ｃｏｅｂ（第１の補正処理後の暗部係数ｃｏｅｂ）に、暗部注目階調値（ｍｉｎｂ）の大きさに基づく第２の補正処理を施す。具体的には、階調変換パラメータ生成部１０３が、Ｓ２２で
得られた暗部係数ｃｏｅｂからｄｉｆｆｂを減算する。ｄｉｆｆｂは、最小値ｍｉｎｂから得られる値である。ｄｉｆｆｂは、式３，４を用いて求められる。
ｍｉｎｂ≦ｔｈｂ１の場合：ｄｉｆｆｂ＝（ｔｈｂ１−ｍｉｎｂ）×ｇｂ２
・・・（式３）
ｍｉｎｂ＞ｔｈｂ１の場合：ｄｉｆｆｂ＝０  ・・・（式４）
ｔｈｂ１：閾値
ｇｂ２：調整ゲイン（０〜１）
最小値ｍｉｎｂが小さいフレームは、暗くて視認性の低い領域を含んでいる可能性が高い。そのようなフレームに対しては、暗部の視認性を高めることが好ましい。本実施例では、第２の補正処理により、最小値ｍｉｎｂが小さいほど暗部係数ｃｏｅｂが縮小される。即ち、最小値ｍｉｎｂが小さいほど暗部が浮かされる。それにより、暗くて視認性の低い領域を含んでいる可能性が高いほど、暗部の視認性を高めることができる。
なお、閾値ｔｈｂ１と調整ゲインｇｂ２はどのような値であってもよい。閾値ｔｈｂ１と調整ゲインｇｂ２は、メーカ、ユーザ、入力画像の種類（風景の画像、人物の画像など）等により適宜設定・変更されるものである。
なお、Ｓ２３の処理の後にＳ２２の処理が行われてもよい。
【００３１】
Ｓ１０３では、階調変換パラメータ生成部１０３が、明部係数ｃｏｅｗを算出する。具体的には、図７のＳ３１〜Ｓ３３の処理により明部係数ｃｏｅｗが算出される。その後、Ｓ１０４に処理が進められる。図７は、Ｓ１０３の処理フローの一例を示すフローチャートである。なお、Ｓ１０３の処理の後にＳ１０２の処理が行われてもよい。
【００３２】
Ｓ３１では、階調変換パラメータ生成部１０３が、明部係数ｃｏｅｗをｍａｘｗに初期化する。その後、Ｓ３２に処理が進められる。ｍａｘｗは、明部注目階調値Ｎｗ（０）〜Ｎｗ（１４）の最大値である。ｍａｘｗは式５を用いて求められる。
ｍａｘｗ＝ｍａｘ［Ｎｗ（０）〜Ｎｗ（１４）］  ・・・（式５）
ｍａｘ［  ］：［  ］内の最大値
本実施例では、明部注目階調値の最大値を用いてガンマカーブを生成することで、明部の階調つぶれを抑えた階調変換処理（ガンマ変換処理）を行うことができる。
【００３３】
Ｓ３２では、階調変換パラメータ生成部１０３が、明部注目階調値（ｍａｘｗ）に、明部画素数ｓｗに基づく第４の補正処理を施す。具体的には、階調変換パラメータ生成部１０３が、明部係数ｃｏｅｗからｂｇｗを減算する。その後、Ｓ３３に処理が進められる。ｂｇｗは、明部画素数ｓｗから得られる値である。ｂｇｗは、式６を用いて求められる。
ｂｇｗ＝ｓｗ×ｇｗ１  ・・・（式６）
ｇｗ１：調整ゲイン（０〜１）
明部画素数ｓｗが大きいフレームは、明るい領域の面積が大きいフレーム（明るいシーンのフレーム）である可能性が高い。そのようなフレームに対しては、明部のコントラストを高めることが好ましい。本実施例では、第４の補正処理により、明部画素数ｓｗが大きくほど明部係数ｃｏｅｗが縮小される。即ち、明部画素数ｓｗが大きいほど明部が浮かされる。それにより、明るい領域の面積が大きいほど、明部のコントラストを高めることができる。
なお、調整ゲインｇｗ１はどのような値であってもよい。調整ゲインｇｗ１は、メーカ、ユーザ、入力画像の種類（風景の画像、人物の画像など）等により適宜設定・変更されるものである。
【００３４】
Ｓ３３では、階調変換パラメータ生成部１０３が、Ｓ３２で得られた明部係数ｃｏｅｗ（第４の補正処理後の明部係数ｃｏｅｗ）に、明部注目階調値（ｍａｘｗ）の大きさに基づく第５の補正処理を施す。具体的には、階調変換パラメータ生成部１０３が、Ｓ３２で得られた明部係数ｃｏｅｗにｄｉｆｆｗを加算する。ｄｉｆｆｗは、最大値ｍａｘｗから
得られる値である。ｄｉｆｆｗは、式７，８を用いて求められる。
ｍａｘｗ≧ｔｈｗ１の場合：ｄｉｆｆｗ＝（ｍａｘｗ−ｔｈｗ１）×ｇｗ２
・・・（式７）
ｍａｘｗ＜ｔｈｗ１の場合：ｄｉｆｆｗ＝０  ・・・（式８）
ｔｈｗ１：閾値
ｇｗ２：調整ゲイン（０〜１）
最大値ｍａｘｗが大きいフレームは、明るくて視認性の低い領域を含んでいる可能性が高い。そのようなフレームに対しては、明部の視認性を高めることが好ましい。本実施例では、第５の補正処理により、最大値ｍａｘｗが大きいほど明部係数ｃｏｅｗが拡大される。即ち、最大値ｍａｘｗが大きいほど明部が沈められる。それにより、明るくて視認性の低い領域を含んでいる可能性が高いほど、明部の視認性を高めることができる。
なお、閾値ｔｈｗ１と調整ゲインｇｗ２はどのような値であってもよい。閾値ｔｈｗ１と調整ゲインｇｗ２は、メーカ、ユーザ、入力画像の種類（風景の画像、人物の画像など）等により適宜設定・変更されるものである。
なお、Ｓ３３の処理の後にＳ３２の処理が行われてもよい。
【００３５】
Ｓ１０４では、階調変換パラメータ生成部１０３が、ステップＳ１０２で求められた暗部係数ｃｏｅｂと、ステップＳ１０３で求められた明部係数ｃｏｅｗとから、ガンマカーブを生成（決定）する。階調変換パラメータ生成部１０３は、生成したガンマカーブを、階調変換パラメータ設定部１０４に出力する。
【００３６】
本実施例では、Ｓ１０４において、全階調範囲の階調値を変換するガンマカーブとして、暗部ガンマカーブＢ、明部ガンマカーブＷ、中間部ガンマカーブからなるガンマカーブが生成される。暗部ガンマカーブＢは、暗部の階調値（本実施例では階調値０〜１２８）を有する画素に対する階調変換処理で用いられる階調変換パラメータ（暗部階調変換パラメータ）、即ち、暗部の階調値を変換するガンマカーブである。明部ガンマカーブＷは、明部の階調値（本実施例では階調値１９２〜２５５）を有する画素に対する階調変換処理で用いられる階調変換パラメータ（明部階調変換パラメータ）、即ち、明部の階調値を変換するガンマカーブである。中間部ガンマカーブは、中間部の階調値（本実施例では階調値１２９〜１９１）を変換するガンマカーブである。
【００３７】
図８は、暗部ガンマカーブＢ及び明部ガンマカーブＷの変換特性の一例を示す図である。本実施例では、入力画像データの階調分解能は８ビット（階調値０〜２５５の２５６階調）であるものとする。暗部ガンマカーブＢ及び明部ガンマカーブＷのデータは、階調変換パラメータ生成部１０３内のメモリ（不図示）にあらかじめ格納されている。
本実施例では、図８に示すように暗部ガンマカーブＢとして、暗部係数ｃｏｅｂ＝０〜２５５に対応する２５６個のガンマカーブが用意されている。明部ガンマカーブＷとして、明部係数ｃｏｅｗ＝０〜２５５に対応する２５６個のガンマカーブが用意されている。
【００３８】
本実施例では、ステップＳ１０２で求められた暗部係数ｃｏｅｂ（第１の補正処理および第２の補正処理後のｍｉｎｂ）に応じて、上記２５６個の暗部ガンマカーブＢの１つが選択される。具体的には、上記２５６個の暗部ガンマカーブＢのうち、ステップＳ１０２で求められた暗部係数ｃｏｅｂに対応する暗部ガンマカーブＢが選択される。また、ステップＳ１０３で求められた明部係数ｃｏｅｗ（第４の補正処理および第５の補正処理後のｍａｘｗ）に応じて、上記２５６個の明部ガンマカーブＷの１つが選択される。具体的には、上記２５６個の明部ガンマカーブＷのうち、ステップＳ１０３で求められた明部係数ｃｏｅｗに対応する明部ガンマカーブＷが選択される。以下、選択された暗部ガンマカーブＢを暗部ガンマカーブＢ（ｃｏｅｂ）、選択された明部ガンマカーブＷを明部ガンマカーブＷ（ｃｏｅｗ）と記載する。
このように暗部ガンマカーブＢを選択することにより、暗部注目階調の最小値が小さい
ほど暗部の階調数を増やすことができる。また、明部注目階調の最大値が大きいほど明部の階調数を増やすことができる。それにより、ガンマ変換処理（階調変換処理）により、暗部と明部の視認性を高めることができ、ひいてはコントラストを向上することができる。
中間部ガンマカーブは、選択された暗部ガンマカーブＢ（ｃｏｅｂ）と明部ガンマカーブＷ（ｃｏｅｗ）を直線補間することにより生成される。
以上のようにして、全階調範囲の階調値を変換するガンマカーブが生成される。
このように、本実施例では、統計量に補正処理が施され、補正処理後の統計量に応じて階調変換パラメータが決定される。
【００３９】
シーンチェンジ検出情報Ｓｃが１の場合には、第２の演算として、Ｓ１０５、Ｓ１０６、Ｓ１０４の処理が行われる。
【００４０】
Ｓ１０５では、階調変換パラメータ生成部１０３が、図９のＳ５１〜Ｓ５４の処理により、暗部係数ｃｏｅｂを算出する。その後、Ｓ１０６に処理が進められる。図９は、Ｓ１０５の処理フローの一例を示すフローチャートである。
【００４１】
Ｓ５１では、階調変換パラメータ生成部１０３が、暗部係数ｃｏｅｂをｍｉｎｂに初期化する。その後、Ｓ５２に処理が進められる。Ｓ５１の処理は、Ｓ２１の処理と同様である。
Ｓ５２では、階調変換パラメータ生成部１０３が、ｍｉｎｂが閾値ｔｈｂ２未満（第１の閾値未満）か否かを判定する。ｍｉｎｂが閾値ｔｈｂ２未満の場合、Ｓ５３に処理が進められる。ｍｉｎｂが閾値ｔｈｂ２以上（第１の閾値以上）の場合、Ｓ１０５の処理（図９の処理フロー）が終了される。
ｍｉｎｂが大きい場合、暗い領域が無く、Ｓ２２の処理によるｍｉｎｂ（暗部注目階調値）の変化は小さいと考えられる。また、ｍｉｎｂが大きい場合、Ｓ２３の処理によるｍｉｎｂの変化は小さい（０）と考えられる。そのため、第１の補正処理および第２の補正処理後のｍｉｎｂは、補正処理前のｍｉｎｂとほぼ等しいと考えられる。そこで、本実施例では、ｍｉｎｂが閾値ｔｈｂ２以上の場合に、補正処理を行わずに、ｍｉｎｂを最終的な暗部係数ｃｏｅｂとする。それにより、第１の演算よりも処理負荷を低減することができる。
なお、閾値ｔｈｂ２はどのような値であってもよい。閾値ｔｈｂ２は、メーカ、ユーザ、画像の種類（風景の画像、人物の画像など）等により適宜設定・変更されるものである。
【００４２】
Ｓ５３とＳ５４では、階調変換パラメータ生成部１０３が、暗部注目階調値（ｍｉｎｂ）に、ｍｉｎｂと平均輝度値の差に基づく第３の補正処理を施す。
Ｓ５３では、階調変換パラメータ生成部１０３が、ＡＰＬ値ａとｍｉｎｂの差が閾値ｔｈｂ３より大きいか否かを判定する。ＡＰＬ値ａとｍｉｎｂの差が閾値ｔｈｂ３より大きい場合、Ｓ５４へ処理が進められる。ＡＰＬ値ａとｍｉｎｂの差が閾値ｔｈｂ３以下の場合、Ｓ１０５の処理（図９の処理フロー）が終了される。
ＡＰＬ値ａとｍｉｎｂの差が小さい場合、暗い領域が大きい可能性が高いため、Ｓ２２の処理（ｍｉｎｂにｂｇｂを加算する処理）による暗部注目階調値（ｍｉｎｂ）の変化は大きいと考えられる。しかしながら、ｍｉｎｂが小さいため、Ｓ２３において、暗部注目階調値（Ｓ２２の算出結果）からｄｉｆｆｂが減算されることとなる。そのため、第１の補正処理および第２の補正処理後のｍｉｎｂは、補正処理前のｍｉｎｂとほぼ等しいと考えられる。そこで、本実施例では、ＡＰＬ値ａとｍｉｎｂの差が閾値ｔｈｂ３以下の場合に、補正処理を行わずに、ｍｉｎｂを最終的な暗部係数ｃｏｅｂとする。それにより、第１の演算よりも処理負荷を低減することができる。
なお、閾値ｔｈｂ３はどのような値であってもよい。閾値ｔｈｂ３は、メーカ、ユーザ
、画像の種類（風景の画像、人物の画像など）等により適宜設定・変更されるものである。
【００４３】
Ｓ５４では、階調変換パラメータ生成部１０３が、暗部係数ｃｏｅｂからｄｉｆｆａｂを減算する。そして、Ｓ１０５の処理（図９の処理フロー）が終了される。ｄｉｆｆａｂは、ＡＰＬ値ａとｍｉｎｂの差から得られる値である。ｄｉｆｆａｂは、式９を用いて求められる。
ｄｉｆｆａｂ＝（ａ−ｍｉｎｂ）×ｇｂ３  ・・・（式９）
ｇｂ３：調整ゲイン（０〜１）
ＡＰＬ値ａとｍｉｎｂの差が大きいほど、暗い領域の面積は小さいと考えられる。そのため、ＡＰＬ値ａとｍｉｎｂの差が大きいほど、Ｓ２２の処理による暗部注目階調値（ｍｉｎｂ）の変化は小さく、Ｓ２３の処理によるｍｉｎｂの変化は大きいと考えられる。そこで、本実施例では、ＡＰＬ値ａとｍｉｎｂの差が大きいほど暗部係数ｃｏｅｂを縮小する。
なお、ｇｂ３はどのような値であってもよい。ｇｂ３は、メーカ、ユーザ、画像の種類（風景の画像、人物の画像など）等により適宜設定・変更されるものである。
【００４４】
以上の方法により、第１の補正処理と第２の補正処理後の暗部係数ｃｏｅｂが簡易的に求められる。このように、第２の演算では、第１の演算で行われる補正処理よりも少ない数の補正処理により、最終的な暗部係数ｃｏｅｂが決定される。それにより、第１の演算を行う場合よりも短い時間で、最終的な暗部係数ｃｏｅｂ（ひいてはガンマカーブ）を決定することができる。
【００４５】
Ｓ１０６では、階調変換パラメータ生成部１０３が、図１０のＳ６１〜Ｓ６４の処理により、明部係数ｃｏｅｗを算出する。その後、Ｓ１０４に処理が進められる。図１０は、Ｓ１０６の処理フローの一例を示すフローチャートである。なお、Ｓ１０６の処理後にＳ１０５の処理が行われてもよい。
【００４６】
Ｓ６１では、階調変換パラメータ生成部１０３が、明部係数ｃｏｅｗをｍａｘｗに初期化する。その後、Ｓ６２に処理が進められる。Ｓ６１の処理は、Ｓ３１の処理と同様である。
Ｓ６２では、階調変換パラメータ生成部１０３が、ｍａｘｗが閾値ｔｈｗ２（第２の閾値）より大きいか否かを判定する。ｍａｘｗが閾値ｔｈｗ２より大きい場合、Ｓ６３に処理が進められる。ｍａｘｗが閾値ｔｈｗ２以下（第２の閾値以下）の場合、Ｓ１０６の処理の処理（図１０の処理フロー）が終了される。
ｍａｘｗが小さい場合、明るい領域が無く、Ｓ３２の処理による明部注目階調値（ｍａｘｗ）の変化は小さいと考えられる。また、ｍａｘｗが小さい場合、Ｓ３３の処理によるｍａｘｗの変化は小さい（０）と考えられる。そのため、第４の補正処理および第５の補正処理後のｍａｘｗは、補正処理前のｍａｘｗとほぼ等しいと考えられる。そこで、本実施例では、ｍａｘｗが閾値ｔｈｂ２以下の場合に、補正処理を行わずに、ｍａｘｗを最終的な明部係数ｃｏｅｗとする。それにより、第１の演算よりも処理負荷を低減することができる。
なお、閾値ｔｈｗ２はどのような値であってもよい。閾値ｔｈｗ２は、メーカ、ユーザ、画像の種類（風景の画像、人物の画像など）等により適宜設定・変更されるものである。
【００４７】
Ｓ６３とＳ６４では、階調変換パラメータ生成部１０３が、明部注目階調値（ｍａｘｗ）に、ｍａｘｗと平均輝度値の差に基づく第６の補正処理を施す。
Ｓ６３では、階調変換パラメータ生成部１０３が、ｍａｘｗとＡＰＬ値ａの差が閾値ｔｈｗ３より大きいか否かを判定する。ｍａｘｗとＡＰＬ値ａの差が閾値ｔｈｗ３より大き
い場合、Ｓ６４へ処理が進められる。ｍａｘｗとＡＰＬ値ａの差が閾値ｔｈｗ３以下の場合、Ｓ１０６の処理の処理（図１０の処理フロー）が終了される。
ｍａｘｗとＡＰＬ値ａの差が小さい場合、明るい領域が大きい可能性が高いため、Ｓ３２の処理（ｍａｘｗからｂｇｗを減算する処理）による明部注目階調値（ｍａｘｗ）の変化は大きいと考えられる。しかしながら、ｍａｘｗが大きいため、Ｓ３３において、明部注目階調値（Ｓ３２の算出結果）にｄｉｆｆｗが加算されることとなる。そのため、第４の補正処理および第５の補正処理後のｍａｘｗは、補正処理前のｍａｘｗとほぼ等しいと考えられる。そこで、本実施例では、ｍａｘｗとＡＰＬ値ａの差が閾値ｔｈｗ３以下の場合に、補正処理を行わずに、ｍａｘｗを最終的な明部係数ｃｏｅｗとする。それにより、第１の演算よりも処理負荷を低減することができる。
なお、閾値ｔｈｗ３はどのような値であってもよい。閾値ｔｈｗ３は、メーカ、ユーザ、画像の種類（風景の画像、人物の画像など）等により適宜設定・変更されるものである。
【００４８】
Ｓ６４では、階調変換パラメータ生成部１０３が、明部係数ｃｏｅｗにｄｉｆｆａｗを加算する。そして、Ｓ１０６の処理（図１０の処理フロー）が終了される。ｄｉｆｆａｗは、ｍａｘｗとＡＰＬ値ａの差から得られる値である。ｄｉｆｆａｗは、式１０を用いて求められる。
ｄｉｆｆａｗ＝（ｍｉｎｗ−ａ）×ｇｗ３  ・・・（式１０）
ｇｗ３：調整ゲイン（０〜１）
ｍａｘｗとＡＰＬ値ａの差が大きいほど、明るい領域の面積は小さいと考えられる。そのため、ｍａｘｗとＡＰＬ値ａの差が大きいほど、Ｓ３２の処理による明部注目階調値（ｍａｘｗ）の変化は小さく、Ｓ３３の処理によるｍａｘｗの変化は大きいと考えられる。そこで、本実施例では、ｍａｘｗとＡＰＬ値ａの差が大きいほど明部係数ｃｏｅｗを拡大する。
なお、ｇｗ３はどのような値であってもよい。ｇｗ３は、メーカ、ユーザ、画像の種類（風景の画像、人物の画像など）等により適宜設定・変更されるものである。
【００４９】
以上の方法により、第４の補正処理と第５の補正処理後の明部係数ｃｏｅｗが簡易的に求められる。このように、第２の演算では、第１の演算で行われる補正処理よりも少ない数の補正処理により、最終的な明部係数ｃｏｅｗが決定される。それにより、第１の演算を行う場合よりも短い時間で、最終的な明部係数ｃｏｅｗ（ひいてはガンマカーブ）を決定することができる。
【００５０】
Ｓ１０４では、階調変換パラメータ生成部１０３が、ステップＳ１０５で求められた暗部係数ｃｏｅｂと、ステップＳ１０６で求められた明部係数ｃｏｅｗとから、ガンマカーブを生成（決定）する。ガンマカーブの生成方法は既に述べたとおりである。具体的には、補正処理前の暗部注目階調値（ｍｉｎｂ）が第１の閾値以上の場合には、ｍｉｎｂに応じて暗部階調変換パラメータ（暗部ガンマカーブ）が決定される。補正処理前のｍｉｎｂが第１の閾値未満の場合には、第３の補正処理後のｍｉｎｂに応じて暗部ガンマカーブが決定される。補正処理前の明部注目階調値（ｍａｘｗ）が第２の閾値以下の場合には、ｍａｘｗに応じて明部階調変換パラメータ（明部ガンマカーブ）が決定される。補正処理前のｍａｘｗが第２の閾値より大きい場合には、第６の補正処理後のｍａｘｗに応じて明部ガンマカーブが決定される。階調変換パラメータ生成部１０３は、生成したガンマカーブを、階調変換パラメータ設定部１０４に出力する。
【００５１】
階調変換パラメータ設定部１０４は、階調変換パラメータ生成部１０３で生成されたガンマカーブを、階調変換部１０５に設定する。
以下、設定される階調変換パラメータ（ガンマカーブ）の具体例について、図１１，１２を用いて説明する。
【００５２】
図１１は、シーンの切り替わりが生じていない場合（シーンチェンジ検出情報Ｓｃが常に０の場合）の例である。
図１１の例では、シーンチェンジ検出情報Ｓｃが０であるため、第１の演算（Ｓ１０２〜Ｓ１０４の処理）によりｎ番目のフレーム（フレームｎ）の統計量からガンマカーブが生成される。そして、生成されたガンマカーブは、ｎ＋２番目のフレーム（フレームｎ＋２）に対するガンマ変換処理で使用されるように設定される。これは、第１の演算の演算時間を含む遅延時間により、フレームｎの統計量から第１の演算により生成されたガンマカーブを、フレームｎ＋２より前のフレームに対するガンマ変換処理で使用することができないためである。しかし、シーンの切り替わりが生じていない場合には、ガンマカーブの適用が多少（２フレーム期間）遅れても、ちらつき等は目立たない。
【００５３】
図１２は、ｎ−１番目のフレーム（フレームｎ−１）とフレームｎの間でシーンの切り替わりが生じた場合の例である。即ち、図１２は、フレームｎの統計量からガンマカーブを生成するときのシーンチェンジ検出情報Ｓｃが１であり、それ以外でシーンチェンジ検出情報Ｓｃが０である場合の例である。
図１２の例では、シーンチェンジ検出情報Ｓｃが１であるため、第２の演算（Ｓ１０５、Ｓ１０６、Ｓ１０４の処理）によりフレームｎの統計量からガンマカーブが生成される。生成されたガンマカーブは、ｎ＋１番目のフレーム（フレームｎ＋１）に対するガンマ変換処理で使用されるように設定される。ここで、第２の演算により生成されたガンマカーブを、第１の演算により生成されたガンマカーブよりも早く設定できるのは、第２の演算の方が第１の演算よりも演算時間が短いためである。なお、第１の演算によって、フレームｎ−１の統計量からガンマカーブが生成されているが、当該ガンマカーブは使用されない。
また、図１２の例では、第２の演算によりフレームｎの統計量から生成されたガンマカーブは、フレームｎ＋２に対するガンマ変換処理でも使用されるように設定される。それにより、全てのフレームに対してガンマカーブを設定することができる。なお、フレームｎ＋１とフレームｎ＋２は、同じシーンのフレームであるため、統計量はほぼ等しいと考えられる。そのため、第２の演算によりフレームｎの統計量から生成されたガンマカーブを、フレームｎ＋１に対するガンマ変換処理と、フレームｎ＋２に対するガンマ変換処理とに用いたとしても、問題は無い。
すなわち、本実施例では、シーンの切り替わりからＭ〜Ｎ番目のフレームに対して、第２の演算により生成された階調変換パラメータを用いた階調変換処理が行われる。具体的には、シーンの切り替わり直後のフレームの統計量を用いた第２の演算により生成された階調変換パラメータが、上記Ｍ〜Ｎ番目のフレームに対する階調変換処理で用いられる。
【００５４】
このように、本実施例では、切り替わり後のシーンのフレームの統計量に基づくガンマカーブを用いたガンマ変換処理を、第１の演算を行う場合よりも早く行うことができる。即ち、切り替わり前のシーンのフレームの統計量に基づくガンマカーブを用いたガンマ変換処理が行われる期間の長さを、第１の演算を行う場合よりも短縮することができる。具体的には、切り替わり前のシーンのフレームの統計量に基づくガンマカーブを用いたガンマ変換処理が行われる期間を、２フレーム期間から１フレーム期間に短縮することができる。その結果、シーンの切り替わり時に生じるちらつきを低減することができる。また、本実施例では、第２の演算により、第１の演算により求まるガンマカーブが推測される（第１の演算により求まるガンマカーブに近いガンマカーブが生成される）。そのため、一定の時定数を持たせて緩やかにガンマカーブを変更する時間方向変動抑制処理を行った場合に生じる明るさの遷移を低減することができる。
【００５５】
階調変換部１０５は、フレーム毎に、階調変換パラメータ生成部１０３で生成された階調変換パラメータを用いた階調変換処理を行う。具体的には、階調変換部１０５は、階調
変換パラメータ設定部１０４で設定されたガンマカーブを用いたガンマ変換処理を行い、ガンマ変換処理後の画像（画像データ）を出力する。
【００５６】
以上述べたように、本実施例によれば、シーンの切り替わりが検出された場合に、階調変換パラメータを生成するための演算が、第１の演算から第２の演算（第１の演算よりも演算時間の短い演算）に、一時的に切り替えられる。それにより、切り替わり後のシーンのフレームの統計量に基づく階調変換パラメータを用いた階調変換処理をいち早く行うことができる。その結果、フレーム毎に階調変換パラメータの生成と階調変換処理とを行う際に生じるちらつきや明るさの遷移を低減することができる。
【００５７】
なお、本実施例では、画像全体に対して１つのガンマカーブを設定する構成としたが、この構成に限らない。例えば、分割領域毎にガンマカーブが設定されてもよい。
なお、本実施例では、統計量が暗部注目階調値、明部注目階調値、平均輝度値、暗部画素数、及び、明部画素数の場合の例を示したが、統計量はこれに限らない。例えば、統計量は、最頻輝度値、画素値のヒストグラム、画素値の代表値などであってもよい。
なお、本実施例では、予め用意された複数の階調変換パラメータから１つを選択する構成としたが、この構成に限らない。例えば、所定の関数を用いて階調変換パラメータが算出（決定）されてもよい。具体的には、第１の演算では第１の関数を用いて階調変換パラメータが決定され、第２の演算では第１の関数よりも演算量の少ない第２の関数を用いて階調変換パラメータが決定されてもよい。
なお、本実施例では、シーンの切り替わり直後のフレームの統計量を用いた第２の演算により生成された階調変換パラメータが、シーンの切り替わりからＭ〜Ｎ番目のフレームに対する階調変換処理で用いられる構成としたが、この構成にかぎらない。具体的には、図１２のフレームｎ＋２に対する階調変換処理で用いられる階調変換パラメータは、フレームｎ＋１の統計量を用いた第２の演算により生成されてもよい。
また、シーンの切り替わり直後のフレームの統計量を用いた第１の演算により生成される階調変換パラメータは、シーンの切り替わりからＮ番目のフレームに対する階調変換処理で用いることができる。そのため、少なくともシーンの切り替わりからＭ〜Ｎ−１番目のフレームに対して、第２の演算により生成された階調変換パラメータを用いた階調変換処理が行われればよい。例えば、シーンの切り替わりからＭ〜Ｎ−１番目のフレームに対して、第２の演算により生成された階調変換パラメータを用いた階調変換処理が行われ、それ以外のフレームに対して、第１の演算により生成された階調変換パラメータを用いた階調変換処理が行われてもよい。シーンの切り替わりからＭ〜Ｎ＋３番目のフレームに対して、第２の演算により生成された階調変換パラメータを用いた階調変換処理が行われ、それ以外のフレームに対して、第１の演算により生成された階調変換パラメータを用いた階調変換処理が行われてもよい。
なお、本実施例では、Ｎ＝２、Ｍ＝１の場合の例を示したが、ＮとＭの値はこれに限らない。例えば、Ｎ＝４、Ｍ＝３であってもよい。
なお、本実施例では、暗部階調変換パラメータと明部階調変換パラメータを生成する構成としたが、この構成に限らない。例えば、暗部注目階調値から全階調範囲に対応する階調変換パラメータが生成されてもよい。明部注目階調値から全階調範囲に対応する階調変換パラメータが生成されてもよい。
【００５８】
＜実施例２＞
以下、本発明の実施例２に係る画像処理装置及びその制御方法について、図面を用いて説明する。
本実施例に係る画像処理装置の機能構成は実施例１（図１）と同じである。以下、実施例１と異なる点について説明し、実施例１（図１）と同じ機能等については説明を省略する。
【００５９】
階調変換パラメータ生成部１０３は、入力画像のフレーム毎に、そのフレームを用いた演算を行うことにより、フレーム毎に階調変換パラメータを生成する。生成された階調変換パラメータは、階調変換パラメータ設定部１０４に出力される。本実施例では、シーンの切り替わり直後のフレームの統計量を用いた第１の演算により第１の階調変換パラメータが生成され、且つ、シーンの切り替わり直後のフレームの統計量を用いた第２の演算により第２の階調変換パラメータが生成される。シーンの切り替わり直後のフレームの統計量を用いた第２の演算の後に、シーンの切り替わり直後のフレームの統計量を用いた第１の演算が行われる。
【００６０】
以下、図１３を用いて、階調変換パラメータ生成部１０３の処理フローの一例について説明する。図１３は、階調変換パラメータ生成部１０３の処理フローの一例を示すフローチャートである。
Ｓ２０１の処理は、実施例１のＳ１０１の処理と同じである。
シーンチェンジ検出情報Ｓｃが０の場合には、Ｓ２０２〜Ｓ２０４の処理が行われる。Ｓ２０２〜Ｓ２０４の処理は、実施例１のＳ１０２〜Ｓ１０４の処理と同じである。即ち、シーンチェンジ検出情報Ｓｃが０の場合には、実施例１と同様の処理が行われる。
シーンチェンジ検出情報Ｓｃが１の場合には、Ｓ２０５〜Ｓ２０７の処理により、第２の階調変換パラメータ（第２のガンマカーブ）が生成される。Ｓ２０５〜Ｓ２０７の処理は、実施例１のＳ１０５、Ｓ１０６、Ｓ１０４の処理と同じである。その後、Ｓ２０２〜Ｓ２０４の処理により、第１の階調変換パラメータ（第１のガンマカーブ）が生成される。第２のガンマカーブは、シーンの切り替わりからＭ〜Ｎ−１番目のフレームに対するガンマ変換処理で使用するガンマカーブである。第１のガンマカーブは、シーンの切り替わりからＮ番目のフレームに対するガンマ変換処理で使用するガンマカーブである。なお、第１のガンマカーブの後に第２のガンマカーブを生成すると、それらを生成するための演算時間により、シーンの切り替わりからＭ番目のフレームに対するガンマ変換処理において第２のガンマカーブを使用できなくなってしまう。本実施例では、第２のガンマカーブ生成した後に第１のガンマカーブが生成される。それにより、シーンの切り替わりからＭ〜Ｎ−１番目のフレームに対するガンマ変換処理において第２のガンマカーブが使用可能となる。
【００６１】
階調変換パラメータ設定部１０４は、階調変換パラメータ生成部１０３で生成されたガンマカーブを、階調変換部１０５に設定する。
以下、設定される階調変換パラメータ（ガンマカーブ）の具体例について、図１４を用いて説明する。図１４は、フレームｎ−１とフレームｎの間でシーンの切り替わりが生じた場合の例である。なお、シーンチェンジ検出情報Ｓｃが０の場合には、実施例１と同様の処理が行われる。
図１４の例では、シーンチェンジ検出情報Ｓｃが１であるため、第２の演算（Ｓ２０５〜Ｓ２０７の処理）によりフレームｎの統計量から第２のガンマカーブが生成される。その後、第１の演算（Ｓ２０２〜Ｓ２０４の処理）によりフレームｎの統計量から第１のガンマカーブが生成される。第２のガンマカーブは、フレームｎ＋１に対するガンマ変換処理で使用されるように設定される。そして、第１のガンマカーブは、フレームｎ＋２に対するガンマ変換処理で使用されるように設定される。
なお、第１の演算により生成されるガンマカーブが３フレーム分遅れてガンマ変換処理で用いられる場合には、以下のように処理が行われる。即ち、第２のガンマカーブが、フレームｎ＋１及びフレームｎ＋２に対するガンマ変換処理で使用されるように設定される。そして、第１のガンマカーブが、ｎ＋３番目のフレームに対するガンマ変換処理で使用されるように設定される。即ち、第２のガンマカーブが、シーンの切り替わりからＭ〜Ｎ−１番目のフレームに対するガンマ変換処理で使用されるように設定され、第１のガンマカーブが、シーンの切り替わりからＮ番目のフレームに対するガンマ変換処理で使用されるように設定される。
【００６２】
以上述べたように、本実施例によれば、シーンの切り替わり直後のフレームの統計量を用いた第２の演算により第２の階調変換パラメータが生成される。そして、シーンの切り替わりからＭ〜Ｎ−１番目のフレームに対して、第２の階調変換パラメータを用いた階調変換処理が行われる。それにより、実施例１と同様の効果を得ることができる。また、本実施例では、シーンの切り替わり直後のフレームの統計量を用いた第１の演算により第１の階調変換パラメータが生成される。そして、シーンの切り替わりからＮ番目のフレームに対して、第１の階調変換パラメータを用いた階調変換処理が行われる。それにより、実施例１よりも、第１の演算より生成された階調変換パラメータ（高精度な階調変換パラメータ）をいち早く使用して階調変換処理を行うことができる。
【符号の説明】
【００６３】
１００  画像処理装置
１０１  統計量検出部
１０２  シーンチェンジ検出部
１０３  階調変換パラメータ生成部
１０５  階調変換部
【図１】
2014011725.tif 000003
【図２】
2014011725.tif 000004
【図３】
2014011725.tif 000005
【図４】
2014011725.tif 000006
【図５】
2014011725.tif 000007
【図６】
2014011725.tif 000008
【図７】
2014011725.tif 000009
【図８】
2014011725.tif 000010
【図９】
2014011725.tif 000011
【図１０】
2014011725.tif 000012
【図１１】
2014011725.tif 000013
【図１２】
2014011725.tif 000014
【図１３】
2014011725.tif 000015
【図１４】
2014011725.tif 000016