(57)【特許請求の範囲】
【請求項１】
第１の入力画像の各画素値に依存させて前記第１の入力画像を階調変換する第１階調変換部と、
第２の入力画像の各画素から所定範囲の画素値に基づいて前記第２の入力画像を階調変換する第２階調変換部と、
予め定められた複数の階調変換モードから何れかの階調変換モードを選択する選択部と、
前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換部による階調変換に用いる第２階調変換パラメータを決定するとともに、前記選択部により選択された前記階調変換モードに応じて、前記第１階調変換部による階調変換に用いる第１階調変換パラメータと、露光量を調整可能な露光量調整手段における露光量との少なくとも一方を決定する決定部とを備え、
前記第２の入力画像は、輝度Ｙ、色差Ｃｒ、色差Ｃｂからなる画像であり、当該画素の輝度Ｙと、色差Ｃｒと、色差Ｃｂとの線形和で表される、画素に関する値をＶとし、前記第２の入力画像にローパスフィルタ処理を行うことで前記画素に関する値Ｖから作成される値をＶＬとしたときに、前記第２階調変換パラメータは、値αと、ゲインｋ（ｘ）と、ゲインｋ２（ｘ）とであり、
前記値αは、前記第２階調変換部による階調変換対象の画素の画素値ｘを輝度Ｙ、色差Ｃｒ、色差Ｃｂと、値ＶＬの線形和とし、当該線形和の輝度Ｙの係数と、前記値ＶＬの係数とに関連する値であり、
前記ゲインｋ（ｘ）は、前記第２階調変換部による階調変換時に前記輝度Ｙに乗じるゲインであって、前記第２階調変換部による階調変換対象の画素の画素値ｘを引数とするゲインであり、
前記ゲインｋ２（ｘ）は、前記第２階調変換部による階調変換時に前記色差Ｃｒおよび前記色差Ｃｂに乗じるゲインであって、前記第２階調変換部による階調変換対象の画素の画素値ｘを引数とするゲインである
ことを特徴とする画像処理装置。
【請求項２】
第１の入力画像の各画素値に依存させて前記第１の入力画像を階調変換する第１階調変換部と、
第２の入力画像の各画素から所定範囲の画素値に基づいて前記第２の入力画像を階調変換する第２階調変換部と、
予め定められた複数の階調変換モードから何れかの階調変換モードを選択する選択部と、
前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換部による階調変換に用いる第２階調変換パラメータを決定するとともに、前記選択部により選択された前記階調変換モードに応じて、前記第１階調変換部による階調変換に用いる第１階調変換パラメータと、露光量を調整可能な露光量調整手段における露光量との少なくとも一方を決定する決定部とを備え、
前記第２の入力画像は、輝度Ｙ［ｉ，ｊ］、色差Ｃｒ［ｉ，ｊ］、色差Ｃｂ［ｉ，ｊ］からなる画像であり、ここで［ｉ，ｊ］は前記第２の入力画像における位置であり、
前記第２の入力画像の位置［ｉ，ｊ］の画素値ｘ［ｉ，ｊ］は、ｘ［ｉ，ｊ］＝α・Ｙ［ｉ，ｊ］＋ａ２・｜Ｃｒ［ｉ，ｊ］｜＋ａ３・｜Ｃｂ［ｉ，ｊ］｜＋（１−α）・ＶＬ［ｉ，ｊ］（ただし、ａ２、ａ３は係数）と表され、
ここで、Ｖ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］＋ｂ２・｜Ｃｒ［ｉ，ｊ]｜・＋ｂ３・｜Ｃｂ［ｉ，ｊ]｜（ただし、ｂ２、ｂ３は係数）と表されるか、または、Ｖ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］＋ｂ２・Ｃｒ［ｉ，ｊ］＋ｂ３・Ｃｂ［ｉ，ｊ］（ただし、ｂ２、ｂ３は係数）と表され、ＶＬ［ｉ，ｊ］は、Ｖ［ｉ，ｊ］に対してローパス処理を行ったぼかし画像であり、
前記第２の入力画像を前記第２階調変換部で階調変換した画像の輝度Ｙ’［ｉ，ｊ］、色差Ｃｒ’［ｉ，ｊ］、色差Ｃｂ’［ｉ，ｊ］は次式により表され、
Ｙ’［ｉ，ｊ］＝Ｙ［ｉ，ｊ］・ｋ（ｘ［ｉ，ｊ］）
Ｃｒ’［ｉ，ｊ］＝Ｃｒ［ｉ，ｊ］・ｋ２（ｘ［ｉ，ｊ］）
Ｃｂ’［ｉ，ｊ］＝Ｃｂ［ｉ，ｊ］・ｋ２（ｘ［ｉ，ｊ］）
前記第２階調変換パラメータは、前記α、前記ｋ（ｘ［ｉ，ｊ］）、前記ｋ２（ｘ［ｉ，ｊ］）である
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記第２の入力画像は、ＲＧＢ画像から以下の式（ただし、ｃ１、ｃ２、ｃ３は係数）により変換した画像である
Ｙ＝ｃ１・Ｒ＋ｃ２・Ｇ＋ｃ３・Ｂ
Ｃｒ＝Ｒ−Ｙ
Ｃｂ＝Ｂ−Ｙ
ことを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３の何れか一項に記載の画像処理装置において、
前記第２の入力画像は前記第１の入力画像を第１階調変換部で階調変換した画像であるか、もしくは、前記第１の入力画像は前記第２の入力画像を第２階調変換部で階調変換した画像である
ことを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４の何れか一項に記載の画像処理装置において、
前記決定部は、前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換パラメータと、前記第１階調変換パラメータとを決定する
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記決定部は、前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換パラメータと、前記第１階調変換パラメータと、前記露光量とを決定する
ことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記選択部は、前記第１の入力画像または前記第２の入力画像の被写体像に基づいて、前記複数の階調変換モードから何れかの階調変換モードを選択する
ことを特徴とする画像処理装置。
【請求項８】
請求項５に記載の画像処理装置において、
前記第１階調変換部は、前記入力部から入力された前記第１の入力画像または前記第１の入力画像に基づく複数の色成分からなる画像の各画素値に依存させて、前記第１の入力画像または前記第１の入力画像に基づく複数の色成分からなる画像を階調変換して第２画像を生成し、
前記第２階調変換部は、前記第２画像または前記第２画像を線形変換した画像の各画素から所定範囲の画素値に基づいて、前記第２画像または前記第２画像を線形変換した画像を階調変換して第３画像を生成する
ことを特徴とする画像処理装置。
【請求項９】
請求項５に記載の画像処理装置において、
前記第２階調変換部は、前記入力部から入力された前記第２の入力画像または前記第２の入力画像を線形変換した画像の各画素から所定範囲の画素値に基づいて、前記第２の入力画像または前記第２の入力画像を線形変換した画像を階調変換して第２画像を生成し、
前記第１階調変換部は、前記第２画像または前記第２画像に基づく複数の色成分からなる画像の各画素値に依存させて、前記第２画像または前記第２画像に基づく複数の色成分からなる画像を階調変換して第３画像を生成する
ことを特徴とする画像処理装置。
【請求項１０】
請求項１から請求項４の何れか一項に記載の画像処理装置と、
露光量を調整可能な露光量調整部とを備え、
前記決定部は、前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換パラメータと、前記露光量調節部における露光量とを決定する
ことを特徴とする撮像装置。
【請求項１１】
請求項１から請求項４の何れか一項に記載の画像処理装置を備え、
前記決定部は、前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換パラメータと、前記第１階調変換パラメータとを決定し、
前記第１階調変換部は、前記決定部により決定した前記第１階調変換パラメータを用いて階調変換を行い、
前記第２階調変換部は、前記決定部により決定した前記第２階調変換パラメータを用いて階調変換を行う
ことを特徴とする撮像装置。
【請求項１２】
第１の入力画像の各画素値に依存させて前記第１の入力画像を階調変換する第１階調変換ステップと、
第２の入力画像の各画素から所定範囲の画素値に基づいて前記第２の入力画像を階調変換する第２階調変換ステップと、
予め定められた複数の階調変換モードから何れかの階調変換モードを選択する選択ステップと、
前記選択ステップにおいて選択された前記階調変換モードに応じて、前記第２階調変換ステップにおける階調変換に用いる第２階調変換パラメータを決定するとともに、前記選択ステップにおいて選択された前記階調変換モードに応じて、前記第１階調変換ステップにおける階調変換に用いる第１階調変換パラメータと、露光量を調整可能な露光量調整手段における露光量との少なくとも一方を決定する決定ステップとを有し、
前記第２の入力画像は、輝度Ｙ、色差Ｃｒ、色差Ｃｂからなる画像であり、当該画素の輝度Ｙと、色差Ｃｒと、色差Ｃｂとの線形和で表される、画素に関する値をＶとし、前記第２の入力画像にローパスフィルタ処理を行うことで前記画素に関する値Ｖから作成される値をＶＬとしたときに、前記第２階調変換パラメータは、値αと、ゲインｋ（ｘ）と、ゲインｋ２（ｘ）とであり、
前記値αは、前記第２階調変換部による階調変換対象の画素の画素値ｘを輝度Ｙ、色差Ｃｒ、色差Ｃｂと、値ＶＬの線形和とし、当該線形和の輝度Ｙの係数と、前記値ＶＬの係数とに関連する値であり、
前記ゲインｋ（ｘ）は、前記第２階調変換部による階調変換時に前記輝度Ｙに乗じるゲインであって、前記第２階調変換部による階調変換対象の画素の画素値ｘを引数とするゲインであり、
前記ゲインｋ２（ｘ）は、前記第２階調変換部による階調変換時に前記色差Ｃｒおよび前記色差Ｃｂに乗じるゲインであって、前記第２階調変換部による階調変換対象の画素の画素値ｘを引数とするゲインである
ことを特徴とする画像処理プログラム。
【請求項１３】
第１の入力画像の各画素値に依存させて前記第１の入力画像を階調変換する第１階調変換ステップと、
第２の入力画像の各画素から所定範囲の画素値に基づいて前記第２の入力画像を階調変換する第２階調変換ステップと、
予め定められた複数の階調変換モードから何れかの階調変換モードを選択する選択ステップと、
前記選択ステップにおいて選択された前記階調変換モードに応じて、前記第２階調変換ステップにおける階調変換に用いる第２階調変換パラメータを決定するとともに、前記選択ステップにおいて選択された前記階調変換モードに応じて、前記第１階調変換ステップにおける階調変換に用いる第１階調変換パラメータと、露光量を調整可能な露光量調整手段における露光量との少なくとも一方を決定する決定ステップとを有し、
前記第２の入力画像は、輝度Ｙ［ｉ，ｊ］、色差Ｃｒ［ｉ，ｊ］、色差Ｃｂ［ｉ，ｊ］からなる画像であり、ここで［ｉ，ｊ］は前記第２の入力画像における位置であり、
前記第２の入力画像の位置［ｉ，ｊ］の画素値ｘ［ｉ，ｊ］は、ｘ［ｉ，ｊ］＝α・Ｙ［ｉ，ｊ］＋ａ２・｜Ｃｒ［ｉ，ｊ］｜＋ａ３・｜Ｃｂ［ｉ，ｊ］｜＋（１−α）・ＶＬ［ｉ，ｊ］（ただし、ａ２、ａ３は係数）と表され、
ここで、Ｖ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］＋ｂ２・｜Ｃｒ［ｉ，ｊ]｜・＋ｂ３・｜Ｃｂ［ｉ，ｊ]｜（ただし、ｂ２、ｂ３は係数）と表されるか、または、Ｖ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］＋ｂ２・Ｃｒ［ｉ，ｊ］＋ｂ３・Ｃｂ［ｉ，ｊ］（ただし、ｂ２、ｂ３は係数）と表され、ＶＬ［ｉ，ｊ］は、Ｖ［ｉ，ｊ］に対してローパス処理を行ったぼかし画像であり、
前記第２の入力画像を前記第２階調変換部で階調変換した画像の輝度Ｙ’［ｉ，ｊ］、色差Ｃｒ’［ｉ，ｊ］、色差Ｃｂ’［ｉ，ｊ］は次式により表され、
Ｙ’［ｉ，ｊ］＝Ｙ［ｉ，ｊ］・ｋ（ｘ［ｉ，ｊ］）
Ｃｒ’［ｉ，ｊ］＝Ｃｒ［ｉ，ｊ］・ｋ２（ｘ［ｉ，ｊ］）
Ｃｂ’［ｉ，ｊ］＝Ｃｂ［ｉ，ｊ］・ｋ２（ｘ［ｉ，ｊ］）
前記第２階調変換パラメータは、前記α、前記ｋ（ｘ［ｉ，ｊ］）、前記ｋ２（ｘ［ｉ，ｊ］）である
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置を備えた撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、輝度差の大きな被写体を撮影することにより、画像データの暗部階調が暗く潰れるという現象が知られている。そこで、特許文献１の発明では、暗部階調のゲインを上げる階調変換を行い、暗部階調の黒つぶれを改善している。
【特許文献１】特許２６６３１８９号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上述した特許文献１の発明では、上述した暗部階調のゲインを上げる階調変換にともなって、画像全体の印象も明るくなる。この結果、暗部階調のゲインを上げる階調変換を行った画像と行っていない画像とで明るさの印象が異なりユーザが違和感を感じるという問題があった。
【０００４】
本発明は、画像全体の明るさを維持しつつ画像の暗部階調の補正を行うとともに、好適な階調変換を実現することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、第１の入力画像の各画素値に依存させて前記第１の入力画像を階調変換する第１階調変換部と、第２の入力画像の各画素から所定範囲の画素値に基づいて前記第２の入力画像を階調変換する第２階調変換部と、予め定められた複数の階調変換モードから何れかの階調変換モードを選択する選択部と、前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換部による階調変換に用いる第２階調変換パラメータを決定するとともに、前記選択部により選択された前記階調変換モードに応じて、前記第１階調変換部による階調変換に用いる第１階調変換パラメータと、露光量を調整可能な露光量調整手段における露光量との少なくとも一方を決定する決定部とを備え、前記第２の入力画像は、輝度Ｙ、色差Ｃｒ、色差Ｃｂからなる画像であり、当該画素の輝度Ｙと、色差Ｃｒと、色差Ｃｂとの線形和で表される、画素に関する値をＶとし、前記第２の入力画像にローパスフィルタ処理を行うことで前記画素に関する値Ｖから作成される値をＶＬとしたときに、前記第２階調変換パラメータは、値αと、ゲインｋ（ｘ）と、ゲインｋ２（ｘ）とであり、前記値αは、前記第２階調変換部による階調変換対象の画素の画素値ｘを輝度Ｙ、色差Ｃｒ、色差Ｃｂと、値ＶＬの線形和とし、当該線形和の輝度Ｙの係数と、前記値ＶＬの係数とに関連する値であり、前記ゲインｋ（ｘ）は、前記第２階調変換部による階調変換時に前記輝度Ｙに乗じるゲインであって、前記第２階調変換部による階調変換対象の画素の画素値ｘを引数とするゲインであり、前記ゲインｋ２（ｘ）は、前記第２階調変換部による階調変換時に前記色差Ｃｒおよび前記色差Ｃｂに乗じるゲインであって、前記第２階調変換部による階調変換対象の画素の画素値ｘを引数とするゲインである。
本発明の別の画像処理装置は、第１の入力画像の各画素値に依存させて前記第１の入力画像を階調変換する第１階調変換部と、第２の入力画像の各画素から所定範囲の画素値に基づいて前記第２の入力画像を階調変換する第２階調変換部と、予め定められた複数の階調変換モードから何れかの階調変換モードを選択する選択部と、前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換部による階調変換に用いる第２階調変換パラメータを決定するとともに、前記選択部により選択された前記階調変換モードに応じて、前記第１階調変換部による階調変換に用いる第１階調変換パラメータと、露光量を調整可能な露光量調整手段における露光量との少なくとも一方を決定する決定部とを備え、前記第２の入力画像は、輝度Ｙ［ｉ，ｊ］、色差Ｃｒ［ｉ，ｊ］、色差Ｃｂ［ｉ，ｊ］からなる画像であり、ここで［ｉ，ｊ］は前記第２の入力画像における位置であり、前記第２の入力画像の位置［ｉ，ｊ］の画素値ｘ［ｉ，ｊ］は、ｘ［ｉ，ｊ］＝α・Ｙ［ｉ，ｊ］＋ａ２・｜Ｃｒ［ｉ，ｊ］｜＋ａ３・｜Ｃｂ［ｉ，ｊ］｜＋（１−α）・ＶＬ［ｉ，ｊ］（ただし、ａ２、ａ３は係数）と表され、ここで、Ｖ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］＋ｂ２・｜Ｃｒ［ｉ，ｊ]｜・＋ｂ３・｜Ｃｂ［ｉ，ｊ]｜（ただし、ｂ２、ｂ３は係数）と表されるか、または、Ｖ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］＋ｂ２・Ｃｒ［ｉ，ｊ］＋ｂ３・Ｃｂ［ｉ，ｊ］（ただし、ｂ２、ｂ３は係数）と表され、ＶＬ［ｉ，ｊ］は、Ｖ［ｉ，ｊ］に対してローパス処理を行ったぼかし画像であり、前記第２の入力画像を前記第２階調変換部で階調変換した画像の輝度Ｙ’［ｉ，ｊ］、色差Ｃｒ’［ｉ，ｊ］、色差Ｃｂ’［ｉ，ｊ］は次式により表され、Ｙ’［ｉ，ｊ］＝Ｙ［ｉ，ｊ］・ｋ（ｘ［ｉ，ｊ］）Ｃｒ’［ｉ，ｊ］＝Ｃｒ［ｉ，ｊ］・ｋ２（ｘ［ｉ，ｊ］）、Ｃｂ’［ｉ，ｊ］＝Ｃｂ［ｉ，ｊ］・ｋ２（ｘ［ｉ，ｊ］）、前記第２階調変換パラメータは、前記α、前記ｋ（ｘ［ｉ，ｊ］）、前記ｋ２（ｘ［ｉ，ｊ］）である。
なお、前記第２の入力画像は、ＲＧＢ画像から以下の式（ただし、ｃ１、ｃ２、ｃ３は係数）により変換した画像であっても良い。Ｙ＝ｃ１・Ｒ＋ｃ２・Ｇ＋ｃ３・Ｂ、Ｃｒ＝Ｒ−Ｙ、Ｃｂ＝Ｂ−Ｙ。
また、前記第２の入力画像は前記第１の入力画像を第１階調変換部で階調変換した画像であるか、もしくは、前記第１の入力画像は前記第２の入力画像を第２階調変換部で階調変換した画像であっても良い。
【０００６】
なお、好ましくは、前記決定部は、前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換パラメータと前記第１階調変換パラメータとを決定しても良い。
【０００７】
また、好ましくは、前記決定部は、前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換パラメータと、前記第１階調変換パラメータと、前記露光量とを決定しても良い。
【０００８】
また、好ましくは、前記選択部は、前記第１の入力画像または前記第２の入力画像の被写体像に基づいて、前記複数の階調変換モードから何れかの階調変換モードを選択しても良い。
【０００９】
また、好ましくは、前記第２階調変換部は、ゲインカーブを用いて階調変換を行い、前記決定部は、前記第２階調変換パラメータとして、前記ゲインカーブを決定しても良い。
【００１０】
また、好ましくは、前記第１階調変換部は、前記入力部から入力された前記第１の入力画像または前記第１の入力画像に基づく複数の色成分からなる画像の各画素値に依存させて、前記第１の入力画像または前記第１の入力画像に基づく複数の色成分からなる画像を階調変換して第２画像を生成し、前記第２階調変換部は、前記第２画像または前記第２画像を線形変換した画像の各画素から所定範囲の画素値に基づいて、前記第２画像または前記第２画像を線形変換した画像を階調変換して第３画像を生成しても良い。
【００１１】
また、好ましくは、前記第２階調変換部は、前記入力部から入力された前記第２の入力画像または前記第２の入力画像を線形変換した画像の各画素から所定範囲の画素値に基づいて、前記第２の入力画像または前記第２の入力画像を線形変換した画像を階調変換して第２画像を生成し、前記第１階調変換部は、前記第２画像または前記第２画像に基づく複数の色成分からなる画像の各画素値に依存させて、前記第２画像または前記第２画像に基づく複数の色成分からなる画像を階調変換して第３画像を生成しても良い。
【００１２】
本発明の撮像装置は、上述した何れかの画像処理装置と、露光量を調整可能な露光量調整部とを備え、前記決定部は、前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換パラメータと、前記露光量調節部における露光量とを決定する。
【００１３】
本発明の別の撮像装置は、上述した何れかの画像処理装置を備え、前記決定部は、前記選択部により選択された前記階調変換モードに応じて、前記第２階調変換パラメータと、前記第１階調変換パラメータとを決定し、前記第１階調変換部は、前記決定部により決定した前記第１階調変換パラメータを用いて階調変換を行い、前記第２階調変換部は、前記決定部により決定した前記第２階調変換パラメータを用いて階調変換を行う。
【００１４】
なお、上記発明に関する構成を、処理対象の画像に対する画像処理を実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１５】
本発明によれば、画像全体の明るさを維持しつつ画像の暗部階調の補正を行うとともに、好適な階調変換を実現することができる。
【発明を実施するための最良の形態】
【００１６】
（第１実施形態）
以下、図面を用いて本発明の第１実施形態について説明する。第１実施形態では、本発明の撮像装置の一例として、電子カメラを用いて説明する。
【００１７】
図１は、本実施形態の電子カメラ１の構成を示す図である。図１に示すように、電子カメラ１は、撮影レンズ２、絞り３、撮像素子４、表示部５の各部を備える。また、電子カメラ１は、絞り３を制御する絞り制御部６、撮像素子４を駆動制御する撮像素子駆動制御部７、表示部５を駆動する表示駆動部８、露出制御部９、画像処理部１０、画像メモリ１１の各部を備えるとともに、電子カメラ１内の各部を制御するカメラ制御部１２を備える。カメラ制御部１２は、内部に不図示のメモリを備え、各部を制御するためのプログラムを予め記録する。また、電子カメラ１は、不図示のレリーズボタン、選択ボタンなどの操作部材を備え、カメラ制御部１２は、この操作部材に対するユーザ操作を検知する。
【００１８】
図１において、撮像素子４の出力は画像メモリ１１に接続され、画像メモリ１１の出力は、表示駆動部８および画像処理部１０に接続される。また、絞り制御部６および撮像素子駆動制御部７には、露出制御部９から後述する撮影条件を示す情報が供給される。
【００１９】
図１で説明した構成の電子カメラ１は、撮影画面を間引き走査で読み出して表示するライブビューモードと、撮影画面全体を読み出す静止画撮影モードを有する。
【００２０】
ライブビューモードにおいて、カメラ制御部１２は、撮像素子駆動制御部７を制御し、ユーザの撮影者の撮影開始指示に基づいて撮像素子４からの、いわゆる間引き読み出しを開始する。カメラ制御部１２は、撮像素子４から間引き読み出しした出力を、画像メモリ１１に保存するとともに、表示駆動部８を制御して表示部５への画像の表示を行う。
【００２１】
また、カメラ制御部１２は、露出制御部９を制御し、間引き読み出しした出力の画像を用いて露出の制御を行う。露出制御部９は、画面を例えば縦５分割、横５分割の計２５個のブロックに分けて各ブロック毎の平均光量を求め、その２５個の出力の平均値、最大値、最小値等を用いて適正露光量を決定する。そして、露出制御部９は、決定した適正露光量に応じて絞り値と露光時間とを決定する。このようなマルチ測光による露出決定の具体的な方法は公知技術と同様であるため説明を省略する。また、露光量決定のためのブロック分割数は上記例に限るものではない。なお、電子カメラ１が露出制御に関して絞り優先モード、シャッタ速度優先モード、プログラムモード等のモードを備える場合には、露出制御部９は、設定されたモードにしたがって上述した適性露光量を決定する。
【００２２】
そして、露出制御部９は、決定した絞り値を、撮影条件を示す情報として絞り制御部６に供給するとともに、決定した露光時間を、撮影条件を示す情報として撮像素子駆動制御部７に供給する。絞り制御部６は、露出制御部９から供給された絞り値に基づいて、静止画撮影時の絞り３の絞りの状態を制御する。また、撮像素子駆動制御部７は、露出制御部９から供給された露光時間に基づいて、静止画撮影時の撮像素子４の露光時間を制御する。なお、撮像素子４が電子シャッタ機能を有する場合は、上述した露光時間の制御はこの電子シャッタ機能を用いて行われる。また、電子シャッタ機能を持たない場合や、露光時間以外の光の混入を厳密に嫌う場合には、撮像素子４の撮影レンズ２側にメカシャッタ部材を設けて、このメカシャッタ部により上述した露光時間の制御を行っても良い。
【００２３】
また、図１の例では、撮像素子４のライブビューモード時の画像を用いて露出制御を行う例を示したが、一眼レフシステムのように、別に露出用のセンサを持つ場合には、この露出用センサにより適性露光量を決定して、絞り値および露光時間を決定しても良い。
【００２４】
画像メモリ１１には、ライブビューモードの動作の期間は間引き画像が記録され、この間引き画像は、上述したように表示部５への表示と絞り値および露光時間の決定に使用される。そして、静止画撮影モードが実行されると、全画素のデータが画像メモリ１１に記録される。
【００２５】
次に、画像処理部１０の詳細について説明する。撮像素子４から出力された画像信号は、不図示のＡ／Ｄ変換部等を介した後、画像処理部１０に入力される。画像処理部１０は、図１に示すように、第１階調変換部１３と第２階調変換部１４とを備える。画像処理部１０は、この他に、不図示のホワイトバランス調整部、色補正部、輪郭強調処理部などを備える。これらの各部の詳細は公知技術と同様であるため、説明を省略する。
【００２６】
第１階調変換部１３は、入力された画像に対して、ガンマカーブを用いた階調変換を行う。入力画像がＲＧＢ３色の画像である場合、３成分に対してｙ＝ｆ（ｘ）なるガンマ変換を行う。すなわち、ガンマ変換後の画像Ｒ’Ｇ’Ｂ’は次式により表される。
【００２７】
Ｒ’＝ｆ（Ｒ）…（式１）
Ｇ’＝ｆ（Ｇ）…（式２）
Ｂ’＝ｆ（Ｂ）…（式３）
第１階調変換部１３による階調変換によれば、画像全体のコントラストおよび明るさを変えることができる。しかし、その一方で、例えば逆光人物の構図において人物を明るくすると、背景も明るくなりコントラストも低下する。そこで、逆光の背景の変化を抑えつつ、逆光で暗くなった人物の顔を明るくしようとするためには、画像全体に均一な処理のみでは不十分であり、画像の場所毎のローカルな特性に依存した変換が必要である。
【００２８】
第２階調変換部１４は、入力された画像に対して、このようなローカルな特性に依存した階調変換を行う。本出願人は、特開２００６−１１４００５において、画像の場所毎のローカルな特性に依存した階調変換を行う階調変換装置（方法）を提案している。その特徴は、画像の部分的な階調の立ち方を適度に調節できる点にある。すなわち、上述した第１階調変換部１３により任意の階調変換特性を用いて画像全体の明暗バランスを大局的に調整しつつ、第２階調変換部１４により細部の階調の立ち方をさらに調整することが可能となる。
【００２９】
ＲＧＢ３色の画像、もしくは、次式によりＲＧＢ画像から変換された輝度Ｙ、色差ＣｒおよびＣｂからなる画像を入力画像とする。
【００３０】
Ｙ＝ｃ１・Ｒ＋ｃ２・Ｇ＋ｃ３・Ｂ…（式４）
Ｃｒ＝Ｒ−Ｙ…（式５）
Ｃｂ＝Ｂ−Ｙ…（式６）
式４において、ｃ１からｃ３は係数である。次に、画素に関する値Ｖを次式により算出する。
【００３１】
Ｖ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］＋ｂ２・｜Ｃｒ［ｉ，ｊ］｜＋ｂ３・｜Ｃｂ［ｉ，ｊ］｜…（式７）
式７において、［ｉ，ｊ］は画素の位置を示し、ｂ２およびｂ３は、係数である。また、式７は最も単純な場合であるが、この代わりに次式を用いても良い。
【００３２】
Ｖ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］＋ｂ２・Ｃｒ［ｉ，ｊ］＋ｂ３・Ｃｂ［ｉ，ｊ］…（式８）
式８において、係数ｂ２およびｂ３は、Ｃｒ［ｉ，ｊ］とＣｂ［ｉ，ｊ］とに依存して決めるようにしても良い。
【００３３】
次に、Ｖ［ｉ，ｊ］に対してローパス処理を行い、Ｖのぼかし画像ＶＬ［ｉ，ｊ］を作成する。そして、上述した各式を用いて、各画素に関する値ｘを次式により算出する。
【００３４】
ｘ［ｉ，ｊ］＝ａ１・Ｙ［ｉ，ｊ］＋ａ２・｜Ｃｒ［ｉ，ｊ］｜＋ａ３・｜Ｃｂ［ｉ，ｊ］｜＋ａ４・ＶＬ［ｉ，ｊ］…（式９）
式９において、ａ１からａ４は係数である。また、式９において、ａ２・｜Ｃｒ［ｉ，ｊ］｜＋ａ３・｜Ｃｂ［ｉ，ｊ］｜の部分を、ａ２・Ｃｒ［ｉ，ｊ］＋ａ３・Ｃｂ［ｉ，ｊ］に代えて、係数ａ２およびａ３を、Ｃｒ［ｉ，ｊ］とＣｂ［ｉ，ｊ］とに依存して決めるようにしても良い。また、式９において、ａ４≠０、かつ、ａ２，ａ３，ｂ２，ｂ３の少なくとも１つは≠０である。
【００３５】
上述したようにローパス処理を行うことで、位置［ｉ，ｊ］における着目画素の値Ｖ［ｉ，ｊ］が、着目画素の近傍領域の位置の値の影響を受けた値ＶＬ［ｉ，ｊ］に置き換わるため、着目画素の近傍領域の影響が処理に反映される。
【００３６】
第２階調変換部１４は、入力画像の画素値ｘに対してゲインをｋ（ｘ）を与えるＬＵＴを持ち、このＬＵＴを用いて、次式によりゲインｋ（ｘ）を乗じることにより階調変換を行う。入力画像がＲＧＢ３色の画像である場合、階調変換後の画像Ｒ’Ｇ’Ｂ’は次式により表される。
【００３７】
Ｒ’＝Ｒ・ｋ（ｘ）…（式１０）
Ｇ’＝Ｇ・ｋ（ｘ）…（式１１）
Ｂ’＝Ｂ・ｋ（ｘ）…（式１２）
また、入力画像がＹＣｒＣｂの画像である場合、階調変換後の画像Ｙ’Ｃｒ’Ｃｂ’は次式により表される。
【００３８】
Ｙ’＝Ｙ・ｋ（ｘ）…（式１３）
Ｃｒ’＝Ｃｒ・ｋ（ｘ）…（式１４）
Ｃｂ’＝Ｃｂ・ｋ（ｘ）…（式１５）
最後に、第２階調変換部１４は、その後の処理の流れに合わせて、必要である場合にのみＹ’Ｃｒ’Ｃｂ’からＲ’Ｇ’Ｂ’への変換を行う。
【００３９】
なお、色差ＣｒおよびＣｂに乗じるゲインを輝度Ｙに乗じるゲインと変えて、式１４および式１５をそれぞれ次式に変えても良い。
【００４０】
Ｃｒ’＝Ｃｒ・ｋ２（ｘ）…（式１６）
Ｃｂ’＝Ｃｂ・ｋ３（ｘ）…（式１７）
なお、式１３から式１７において、ＬＵＴとして与えるゲインｋ（ｘ），ｋ２（ｘ），ｋ３（ｘ）（なお、ｋ２（ｘ）≒ｋ３（ｘ））は、例えば図２に示す特性を有する。この特性は実験的に試行錯誤で決定される。
【００４１】
以上説明した第２階調変換部１４における階調変換において、処理を変更するためには以下の３つの方法がある。
【００４２】
（１）明るさとゲインとを制御するゲインｋ（ｘ）について、複数のゲイン（例えば、ｋ＝ｋ１ａ（ｘ）およびｋ＝ｋ１ｂ（ｘ））を用意しておき、これらを使い分けることにより処理を変更する。なお、この方法は、ゲイン（ｘ）を乗じる前後の画像を加重合成することにより、等価的に複数のゲインを使い分けた場合と同等の効果を得る場合を含む。
【００４３】
（２）上述した式９において、ローカルコントラストの強さを制御する係数ａ４およびａ１の値の比を変えることにより処理を変更する。例えばａ４＝α、ａ１＝（１−α）とすると、式９は、次式で表される。
【００４４】
ｘ［ｉ，ｊ］＝α・Ｙ［ｉ，ｊ］＋ａ２・｜Ｃｒ［ｉ，ｊ］｜＋ａ３・｜Ｃｂ［ｉ，ｊ］｜＋（１−α）・ＶＬ［ｉ，ｊ］…（式１８）
そして、式１８においてαの値を変更することにより、階調変換におけるローカル特性の寄与を変更することができる。なお、階調変換におけるローカル特性の寄与を変更するために、上述したＶのぼかし画像ＶＬ［ｉ，ｊ］を作成するステップにおけるローパス処理の内容を変更しても良い。
【００４５】
（３）上述した式１６および式１７において説明したように、色差ＣｒおよびＣｂに乗じるゲインｋ２（ｘ）およびｋ３（ｘ）を、輝度Ｙに乗じるゲインｋ（ｘ）と変更することにより処理を変更すると、色の鮮やかさを制御することができる。さらに、色差ＣｒおよびＣｂに乗じるゲインをそれぞれ複数用意しておき、これらを使い分けることにより、彩度の変更が可能である。
【００４６】
第２階調変換部１４による階調変換によれば、画像の各画素から所定範囲の画素値に基づくＶＬ（Ｖの画素［ｉ，ｊ］における近傍平均量）に関連させた変換、すなわち、画像の場所毎のローカルな特性に依存した変換が可能になる。また、パラメータであるαの値を変更することで、ローカルな特性に依存させる度合いを制御して、画質をコントロールすることができる。例えば、逆光人物の構図において、明るく描写されている背景を大きく変更することなく、逆光で暗く写っている人物部分だけ明るくするような処理が可能である。また、パラメータであるαの値を調整することで、画質の好みを調整することが可能になる。さらに、ゲインｋ（ｘ）の大きさを変更することにより、階調変換における階調圧縮の度合いや階調変換後の画像の明るさを調整することが可能になる。
【００４７】
以上説明した画像処理部１０に関連して、電子カメラ１は、複数の階調圧縮モードを備える。階調圧縮モードは、ＯＮ／ＯＦＦ可能であるとともに、階調圧縮モードＯＮ時には、「弱」、「中」、「強」の３段階が選択可能である。これらのモード選択は、不図示の操作部を介したユーザ操作により行われる。なお、階調圧縮モードの選択専用の操作部材を設けても良いし、表示部５に表示するメニューと既存の操作部材との組み合わせにより階調圧縮モードの選択を行う構成としても良い。
【００４８】
階調圧縮モードＯＮ時のカメラ制御部１２の動作について、図３のフローチャートを用いて説明する。第１実施形態では、以下の表１に示すように、適正露光量と第１階調変換部１３で用いるガンマカーブと第２階調変換部１４で用いるパラメータとを決定する。
【００４９】
【表１】
0004973372.tif 000002
【００５０】
ステップＳ１において、カメラ制御部１２は、選択された階調圧縮モードを認識する。
【００５１】
ステップＳ２において、カメラ制御部１２は、露出制御部９を制御して、ステップＳ１で認識した階調圧縮モードに応じて適正露光量を決定する。適正露光量は、表１に示すように、階調圧縮モードが「弱」→「中」→「強」となるにしたがって、アンダー露出になる。露出制御部９は、決定した適正露光量に応じて絞り値と露光時間とを決定し、絞り値を絞り制御部６に供給するとともに、露光時間を撮像素子駆動制御部７に供給する。
【００５２】
ステップＳ３において、カメラ制御部１２は、不図示の操作部を介したユーザの撮影指示に応じて絞り制御部６および撮像素子駆動制御部７を制御し、被写体像を撮像する。この時、絞り制御部６および撮像素子駆動制御部７は、露出制御部９から供給された絞り値および露光時間にしたがって制御を行う。
【００５３】
ステップＳ４において、カメラ制御部１２は、ステップＳ３における撮像により生成した画像を第１画像として画像処理部１０に入力する。
【００５４】
ステップＳ５において、カメラ制御部１２は、第１階調変換部１３を制御して、第１画像の各要素を階調変換して第２画像を生成する。第１階調変換部１３は、第１画像に対して、第１ガンマカーブを用いた階調変換を行う。第１ガンマカーブは、公知技術と同様にカメラ制御部１２により決定されたガンマカーブであり、ステップＳ１で認識した階調圧縮モードにかかわらないガンマカーブである。なお、第１画像がＹＣｒＣｂ画像である場合には、カメラ制御部１２は、適宜ＲＧＢ画像に変換した後に階調変換を行う。
【００５５】
ステップＳ６において、カメラ制御部１２は、ステップＳ１で認識した階調圧縮モードに応じて第２階調変換部１４で用いるパラメータを決定する。表１に示すように、カメラ制御部１２は、階調圧縮モードが「弱」である場合には、第１パラメータ群を選択して第２階調変換部１４で用いるパラメータとして決定し、階調圧縮モードが「中」である場合には、第２パラメータ群を選択して第２階調変換部１４で用いるパラメータとして決定し、階調圧縮モードが「強」である場合には、第３パラメータ群を選択して第２階調変換部１４で用いるパラメータとして決定する。第１パラメータ群から第３パラメータ群は、それぞれ内容が異なるパラメータ群である。そして、カメラ制御部１２は、決定したパラメータを第２階調変換部１４へ供給する。
【００５６】
ステップＳ７において、カメラ制御部１２は、第２階調変換部１４を制御して、第２画像の各要素を階調変換して第３画像を生成する。この時、第２階調変換部１４は、ステップＳ６においてカメラ制御部１２から供給されたパラメータを用いて階調変換を行う。
【００５７】
以上説明したように、第１実施形態によれば、階調圧縮モードに応じて、原画像の各画素から所定範囲の画素値に基づいて原画像を階調変換する第２階調変換部で用いるパラメータと、原画像の各画素値に依存させて原画像を階調変換する第１階調変換部で用いるパラメータ（ガンマカーブ）とを決定する。したがって、第２階調変換部により画像全体の明るさを維持しつつ画像の暗部階調の補正を行うとともに、好適な階調変換を実現するためのパラメータを適切に決定することができる。また、決定したパラメータを用いて階調変換を行うことにより、第２階調変換部により画像全体の明るさを維持しつつ画像の暗部階調の補正を行うとともに、好適な階調変換を実現することができる。
【００５８】
第２階調変換部による階調変換によれば、逆光の人物において人物を明るく表現するなど、特徴的な処理が可能であり、この処理はダイナミックレンジを圧縮する機能として考えることもできる。また、この第２階調変換部による階調変換の内容を適宜変更することにより多種多様な個人毎の画質の好み等に対応して絵づくりおよび画像表現が可能である。上述したように、階調圧縮モードに応じて、第２階調変換部で用いるパラメータと第１階調変換部で用いるパラメータとを決定することにより、第２階調変換部による階調変換の特性を十分に生かすことができる。
【００５９】
また、第２階調変換部による階調変換は、組み合わせて実行される第１階調変換部による階調変換の特性に大きく影響を受ける。したがって、第１階調変換部による階調変換と第２階調変換部による階調変換とを関連付けて制御することにより、最適な組み合わせで処理を行い、画質をコントロールすることができる。
【００６０】
また、第１実施形態によれば、階調圧縮モードが「強」である場合には、階調圧縮モードが「弱」である場合に比べて、露出をアンダー露出にする。したがって、例えば、通常の撮影では一部に白とびが発生するような撮影状況において、飽和による白とびを防ぐとともに、比較的暗めに撮影された部分については、第２階調変換部によってコントラストを落とさず明るさを維持した画像処理が可能である。
【００６１】
なお、第１実施形態において、階調圧縮モードが「弱」の場合と「中」の場合とで階調変換部１４で用いるパラメータを共通にしても良い。同様に、階調圧縮モードが「中」の場合と「強」の場合とで第２階調変換部１４で用いるパラメータ共通にしても良い。
【００６２】
（第２実施形態）
以下、図面を用いて本発明の第２実施形態について説明する。第２実施形態では、第１実施形態と異なる部分についてのみ説明する。第２実施形態の電子カメラは、第１実施形態で説明した電子カメラ１と同様の構成を有する。以下では、第１実施形態と同様の符号を用いて説明する。
【００６３】
第２実施形態における階調圧縮モードＯＮ時のカメラ制御部１２の動作について、図４のフローチャートを用いて説明する。第２実施形態では、以下の表２に示すように、適正露光量と第１階調変換部１３で用いるガンマカーブと第２階調変換部１４で用いるパラメータとを決定する。
【００６４】
【表２】
0004973372.tif 000003
【００６５】
ステップＳ１１において、カメラ制御部１２は、選択された階調圧縮モードを認識する。
【００６６】
ステップＳ１２において、カメラ制御部１２は、露出制御部９を制御して、ステップＳ１で認識した階調圧縮モードに応じて適正露光量を決定する。適正露光量の決定は、第１実施形態と同様（図３ステップＳ２と同様）に行われる。露出制御部９は、決定した適正露光量に応じて絞り値と露光時間とを決定し、絞り値を絞り制御部６に供給するとともに、露光時間を撮像素子駆動制御部７に供給する。
【００６７】
ステップＳ１３において、カメラ制御部１２は、不図示の操作部を介したユーザの撮影指示に応じて絞り制御部６および撮像素子駆動制御部７を制御し、被写体像を撮像する。この時、絞り制御部６および撮像素子駆動制御部７は、露出制御部９から供給された絞り値および露光時間にしたがって制御を行う。
【００６８】
ステップＳ１４において、カメラ制御部１２は、ステップＳ１３における撮像により生成した画像を第１画像として画像処理部に入力する。
【００６９】
ステップＳ１５において、カメラ制御部１２は、ステップＳ１１で認識した階調圧縮モードに応じて第１階調変換部１３で用いるガンマカーブを決定する。表２に示すように、カメラ制御部１２は、階調圧縮モードが「弱」である場合には、第１ガンマカーブを選択して第１階調変換部１３で用いるガンマカーブとして決定し、階調圧縮モードが「中」である場合には、第２ガンマカーブを選択して第１階調変換部１３で用いるガンマカーブとして決定し、階調圧縮モードが「強」である場合には、第３ガンマカーブを選択して第１階調変換部１３で用いるガンマカーブとして決定する。第１ガンマカーブから第３ガンマカーブは、それぞれ特性が異なるガンマカーブである。そして、カメラ制御部１２は、決定したガンマカーブを第１階調変換部１３へ供給する。
【００７０】
ステップＳ１６において、カメラ制御部１２は、第１階調変換部１３を制御して、第１画像の各要素を階調変換して第２画像を生成する。この時、第１階調変換部１３は、ステップＳ１５においてカメラ制御部１２から供給されたガンマカーブを用いて階調変換を行う。なお、第１画像がＹＣｒＣｂ画像である場合には、カメラ制御部１２は、適宜ＲＧＢ画像に変換した後に階調変換を行う。
【００７１】
ステップＳ１７において、カメラ制御部１２は、ステップＳ１１で認識した階調圧縮モードに応じて第２階調変換部１４で用いるパラメータを決定する。第２階調変換部１４で用いるパラメータの決定は、第１実施形態と同様（図３ステップＳ６と同様）に行われる。そして、カメラ制御部１２は、決定したパラメータを第２階調変換部１４へ供給する。
【００７２】
ステップＳ１８において、カメラ制御部１２は、第２階調変換部１４を制御して、第２画像の各要素を階調変換して第３画像を生成する。この時、第２階調変換部１４は、ステップＳ１７においてカメラ制御部１２から供給されたパラメータを用いて階調変換を行う。
【００７３】
以上説明したように、第２実施形態によれば、階調圧縮モードに応じて、第２階調変換部で用いるパラメータと第１階調変換部で用いるパラメータ（ガンマカーブ）と露光量とを決定する。第２階調変換部による階調変換は、撮像時の露出条件にも大きく影響を受ける。したがって、第１階調変換部による階調変換と第２階調変換部による階調変換と露出条件とを関連付けて制御することにより、最適な組み合わせで処理を行い、画質をコントロールすることができる。
【００７４】
なお、第２実施形態において、階調圧縮モードが「弱」の場合と「中」の場合とで第１階調変換部１３で用いるガンマカーブを共通にしても良い。同様に、階調圧縮モードが「中」の場合と「強」の場合とで第１階調変換部１３で用いるガンマカーブを共通にしても良い。
【００７５】
また、第２実施形態において、階調圧縮モードが「弱」の場合と「中」の場合とで階調変換部１４で用いるパラメータを共通にしても良い。同様に、階調圧縮モードが「中」の場合と「強」の場合とで第２階調変換部１４で用いるパラメータ共通にしても良い。
【００７６】
なお、第１実施形態および第２実施形態では、第１階調変換部１３で用いるガンマカーブを決定して第１階調変換部１３による階調変換を行うとともに、第２階調変換部１４で用いるパラメータを決定して第２階調変換部１４による階調変換を行う例を示したが、決定したガンマカーブおよびパラメータと入力画像とを関連付けて記録しておく構成としても良い。そして、実際の階調変換（第１階調変換部１３および第２階調変換部１４による階調変換に相当）は、電子カメラ１内で行っても良いし、コンピュータなどの外部機器で行う構成としても良い。
【００７７】
また、第１実施形態および第２実施形態では、本発明の技術を電子カメラ１において実現する例について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、コンパクトタイプの電子カメラや動画撮影を行うムービーカメラなどにも本発明を同様に適用することができる。
【００７８】
（第３実施形態）
以下、図面を用いて本発明の第３実施形態について説明する。第３実施形態では、コンピュータにより構成される画像処理装置を用いて説明する。
【００７９】
図５は、本実施形態のコンピュータ１００の構成を示す図である。コンピュータ１００は、図５に示すように、コンピュータ１００は、取得部１０１、画像処理部１１０、コンピュータ制御部１１２を備える。コンピュータ１００は、この他に取得部１０１により取得した画像データなどを一時記録するメモリ、記録部、電源ボタン、マウス、キーボードなどを含む操作部、表示部などを備える。
【００８０】
取得部１０１は、有線、無線、記録媒体用のドライブなどを介して、電子カメラなどの外部機器や記録媒体から画像を取得する。また、コンピュータ制御部１１２は、各部を統合的に制御するとともに、各処理を実行するためのプログラムを予め記録している。また、画像処理部１１０は、第１階調変換部１１３および第２階調変換部１１４を備える。第１階調変換部１１３および第２階調変換部１１４の詳細は、第１実施形態および第２実施形態で説明した第１階調変換部１３および第２階調変換部１４と同様である。本実施形態において、第２階調変換部１１４は、第１階調変換部１１３により階調変換が行われた後の画像に対して階調変換を行う。
【００８１】
なお、本実施形態において階調変換の対象となる画像は、その付帯情報として、第１実施形態および第２実施形態で説明した階調圧縮モード（「弱」、「中」、「強」の３段階）の種類を示す情報を有する。また、本実施形態において階調変換の対象となる画像は、ＲＧＢ画像の他に、ＲＧＢ画像に変換可能であれば、ＹＣｂＣｒ画像などどのような画像でも良い。また、ＲＧＢ画像は、Ｒ，Ｇ，Ｂの３面を有するリニアなＲＧＢ画像であっても良いし、何らかの処理が施されたＲＧＢ画像であっても良い。
【００８２】
以下では、階調圧縮モードの種類を示す情報を有する画像に対して階調変換を行う際のコンピュータ制御部１１２の動作について、図６のフローチャートを用いて説明する。第３実施形態では、以下の表３に示すように、第１階調変換部１１３で用いるガンマカーブと第２階調変換部１１４で用いるパラメータとを決定する。
【００８３】
【表３】
0004973372.tif 000004
【００８４】
ステップＳ２１において、コンピュータ制御部１１２は、取得部１０１、不図示の記録部または画像メモリから処理対象の画像を取得し、第１画像として画像処理部１１０に入力する。
【００８５】
ステップＳ２２において、コンピュータ制御部１１２は、ステップＳ２１で取得した画像の付帯情報に基づき、階調圧縮モードを認識する。
【００８６】
ステップＳ２３において、コンピュータ制御部１１２は、ステップＳ２２で認識した階調圧縮モードに応じて第１階調変換部１１３で用いるガンマカーブを決定する。第１階調変換部１１３で用いるガンマカーブの決定は、第２実施形態と同様（図４ステップＳ１５と同様）に行われる。そして、コンピュータ制御部１１２は、決定したガンマカーブを第１階調変換部１１３へ供給する。
【００８７】
ステップＳ２４において、コンピュータ制御部１１２は、第１階調変換部１１３を制御して、第１画像の各要素を階調変換して第２画像を生成する。この時、第１階調変換部１１３は、ステップＳ２３においてコンピュータ制御部１１２から供給されたガンマカーブを用いて階調変換を行う。なお、第１画像がＹＣｒＣｂ画像である場合には、コンピュータ制御部１１２は、適宜ＲＧＢ画像に変換した後に階調変換を行う。
【００８８】
ステップＳ２５において、コンピュータ制御部１１２は、ステップＳ２２で認識した階調圧縮モードに応じて第２階調変換部１１４で用いるパラメータを決定する。第２階調変換部１１４で用いるパラメータの決定は、第１実施形態と同様（図３ステップＳ６と同様）に行われる。なお、表３において、第２階調変換部１１４で用いるパラメータ群のうち、αは、階調変換におけるローカル特性の寄与を変更するためのパラメータであり、第１実施形態の式１８中のαに対応する。また、ｋ（ｘ）およびｋ２（ｘ）は、ＬＵＴに定められたゲインであり、第１実施形態の式１０から式１７中のｋ（ｘ）およびｋ２（ｘ）（およびｋ３（ｘ）≒ｋ２（ｘ））に対応する。表３に示すように、コンピュータ制御部１１２は、階調圧縮モードが「弱」である場合には、αa，ｋa，ｋ２aを選択して第２階調変換部１１４で用いるパラメータとして決定し、階調圧縮モードが「中」である場合には、αb，ｋb，ｋ２bを選択して第２階調変換部１１４で用いるパラメータとして決定し、階調圧縮モードが「強」である場合には、αc，ｋc，ｋ２cを選択して第２階調変換部１１４で用いるパラメータとして決定する。αをαa，αbまたはαcから選択することにより、画像の各点の近傍領域の影響の寄与の大きさを変更することができる。また、ｋ２をｋ２a，ｋ２bまたはｋ２cから選択することにより、彩度の大きさを変更するができる。なお、Ｖのぼかし画像ＶＬ［ｉ，ｊ］を作成する際に用いるローパスフィルタを変更することにより、αを変更する場合と同等の効果を得ることができる。
【００８９】
そして、コンピュータ制御部１１２は、決定したパラメータを第２階調変換部１１４へ供給する。
【００９０】
ステップＳ２６において、コンピュータ制御部１１２は、第２階調変換部１１４を制御して、第２画像の各要素を階調変換して第３画像を生成する。この時、第２階調変換部１１４は、ステップＳ２５においてコンピュータ制御部１１２から供給されたパラメータを用いて階調変換を行う。
【００９１】
なお、第２階調変換部１１４により階調変換を行う際に、通常、第３画像はＲＧＢ画像である。しかし、ステップＳ２３で決定したガンマカーブの特性に応じて、第３画像をＲＧＢ画像からＹＣｒＣｂ画像に変更してから第２階調変換部１１４による階調変換を行っても良い。例えば、ステップＳ２３で決定したガンマカーブにおけるガンマ変化が所定の基準より大きい場合には、ＹＣｂＣｒ画像に変更してから第２階調変換部１１４による階調変換を行うことにより、色の調整などに関してより好ましい階調変換を実現することができる。
【００９２】
以上説明したように、第３実施形態によれば、第１階調変換部による階調変換により第２画像を生成し、第２画像または第２画像を線形変換した画像を第２階調変換部により階調変換する。したがって、第２階調変換部による階調変換を選択的に行うことができる。すなわち、第２階調変換部による階調変換を常に行うか否かを選択可能であるとともに、第２階調変換部による階調変換を行うか否かをその都度選択可能である。また、第１階調変換部による階調変換の後に、第２階調変換部による階調変換をユーザの所望のタイミングで行うことも可能である。
【００９３】
（第４実施形態）
以下、図面を用いて本発明の第４実施形態について説明する。第４実施形態では、第３実施形態と異なる部分についてのみ説明する。
【００９４】
図７は、本実施形態のコンピュータ２００の構成を示す図である。本実施形態のコンピュータ２００は、第３実施形態のコンピュータ１００とほぼ同様の構成を有するが、画像処理部２１０における第１階調変換部２１３と第２階調変換部２１４との処理順のみが異なる。第１階調変換部２１３および第２階調変換部２１４の詳細は、第３実施形態で説明した第１階調変換部１１３および第２階調変換部１１４と同様である。本実施形態において、第１階調変換部２１３は、第２階調変換部２１４により階調変換が行われた後の画像に対して階調変換を行う。
【００９５】
なお、本実施形態において階調変換の対象となる画像は、第３実施形態と同様に、その付帯情報として、第１実施形態および第２実施形態で説明した階調圧縮モード（「弱」、「中」、「強」の３段階）の種類を示す情報を有する。また、本実施形態において階調変換の対象となる画像は、第３実施形態と同様に、ＲＧＢ画像の他に、ＲＧＢ画像に変換可能であれば、ＹＣｂＣｒ画像などどのような画像でも良い。また、ＲＧＢ画像は、Ｒ，Ｇ，Ｂの３面を有するリニアなＲＧＢ画像であっても良いし、何らかの処理が施されたＲＧＢ画像であっても良い。
【００９６】
以下では、階調圧縮モードの種類を示す情報を有する画像に対して階調変換を行う際のコンピュータ制御部２１２の動作について、図８のフローチャートを用いて説明する。第４実施形態では、以下の表４に示すように、第１階調変換部２１３で用いるガンマカーブと第２階調変換部２１４で用いるパラメータとを決定する。
【００９７】
【表４】
0004973372.tif 000005
【００９８】
ステップＳ３１において、コンピュータ制御部２１２は、取得部２０１、不図示の記録部または画像メモリから処理対象の画像を取得し、第１画像として画像処理部２１０に入力する。
【００９９】
ステップＳ３２において、コンピュータ制御部２１２は、ステップＳ３１で取得した画像の付帯情報に基づき、階調圧縮モードを認識する。
【０１００】
ステップＳ３３において、コンピュータ制御部２１２は、ステップＳ３２で認識した階調圧縮モードに応じて第２階調変換部２１４で用いるパラメータを決定する。第２階調変換部２１４で用いるパラメータの決定は、第３実施形態と同様（図６ステップＳ２５と同様）に行われる。そして、コンピュータ制御部２１２は、決定したパラメータを第２階調変換部２１４へ供給する。
【０１０１】
ステップＳ３４において、コンピュータ制御部２１２は、第２階調変換部２１４を制御して、第１画像の各要素を階調変換して第２画像を生成する。この時、第２階調変換部２１４は、ステップＳ３３においてコンピュータ制御部２１２から供給されたパラメータを用いて階調変換を行う。
【０１０２】
ステップＳ３５において、コンピュータ制御部２１２は、ステップＳ３２で認識した階調圧縮モードに応じて第１階調変換部２１３で用いるガンマカーブを決定する。第１階調変換部２１３で用いるガンマカーブの決定は、第３実施形態と同様（図６ステップＳ２３と同様）に行われる。そして、コンピュータ制御部２１２は、決定したガンマカーブを第１階調変換部２１３へ供給する。
【０１０３】
ステップＳ３６において、コンピュータ制御部２１２は、第１階調変換部２１３を制御して、第２画像の各要素を階調変換して第３画像を生成する。この時、第１階調変換部２１３は、ステップＳ３５においてコンピュータ制御部２１２から供給されたガンマカーブを用いて階調変換を行う。なお、第２画像がＹＣｒＣｂ画像である場合には、コンピュータ制御部２１２は、適宜ＲＧＢ画像に変換した後に階調変換を行う。
【０１０４】
以上説明したように、第４実施形態によれば、第２階調変換部による階調変換により第２画像を生成し、第２画像または第２画像に基づく複数の色成分からなる画像を第１階調変換部により階調変換して第３画像を生成する。したがって、色の”まわり”を含む画像の最適化においてよりメリットがある。
【０１０５】
なお、第３実施形態および第４実施形態において、第１実施形態および第２実施形態で説明した露出制御に相当する画像処理を予め行っても良い。すなわち、画像全体に所定のゲインを予めかけた後に、画像処理部における階調変換を行っても良い。
【０１０６】
また、第３実施形態および第４実施形態において、階調圧縮モードが「弱」の場合と「中」の場合とで第１階調変換部１３で用いるガンマカーブを共通にしても良い。同様に、階調圧縮モードが「中」の場合と「強」の場合とで第１階調変換部１３で用いるガンマカーブを共通にしても良い。
【０１０７】
また、第３実施形態および第４実施形態において、階調圧縮モードが「弱」の場合と「中」の場合とで階調変換部１４で用いるパラメータを共通にしても良い。同様に、階調圧縮モードが「中」の場合と「強」の場合とで第２階調変換部１４で用いるパラメータ共通にしても良い。
【０１０８】
さらに、第３実施形態および第４実施形態では、階調圧縮モードに応じて、第２階調変換部で用いるパラメータ群のうち、α，ｋ（ｘ）およびｋ２（ｘ）を全て異なる値とする例を示したが、本発明はこの例に限定されない。α，ｋ（ｘ）およびｋ２（ｘ）のうち少なくとも１つが、階調圧縮モードに応じて全てまたは一部異なる値であれば良い。すなわち、表３に示した組み合わせに加えて、α，ｋ（ｘ）およびｋ２（ｘ）のうち１つが階調圧縮モードにかかわらず共通である場合（３通り）と、α，ｋ（ｘ）およびｋ２（ｘ）のうち２つが階調圧縮モードにかかわらず共通である場合（３通り）との計７種類が考えられる。
【０１０９】
また、第３実施形態および第４実施形態では、コンピュータにより構成される画像処理装置を例に挙げて説明したが、第１実施形態および第２実施形態と同様に、電子カメラにも同様に適用することができる。
【０１１０】
また、第１実施形態から第４実施形態では、階調圧縮モードＯＮ時に、「弱」、「中」、「強」の３段階に設定可能である例を示したが、段階数はこの例に限定されない。また、各制御部により「弱」、「中」、「強」の何れかを自動選択する構成としても良いし、「弱」、「中」、「強」の代わりに無段階の強度を自動的に決定する構成としても良い。例えば、画像データを複数の領域に分割し、輝度最大の領域と輝度最小の領域との輝度差を求め、その輝度差に応じて階調圧縮モードの自動選択または強度の自動決定を行う構成としても良い。また、明部のコントラストに応じて階調圧縮モードの自動選択または強度の自動決定を行う構成としても良い。
【０１１１】
また、第１実施形態から第４実施形態で説明した発明の一部または全部を適宜組み合わせても構成しても良い。例えば、第３実施形態と第４実施形態とを組み合わせ、第１階調変換部の前後のそれぞれに第２階調変換部を備える構成としても良い。このように構成すれば、第１階調変換部による階調変換の前または後の何れかを選択して第２階調変換部による階調変換を行うことができる。また、第２階調変換部による階調変換を第１階調変換部との影響を鑑みて２つに分離し、第１階調変換部による階調変換の前および後の両方に第２階調変換部による階調変換を行うことができる。
【０１１２】
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【図面の簡単な説明】
【０１１３】
【図１】第１実施形態の電子カメラ１の構成を示す図である。
【図２】ゲインｋ（ｘ），ｋ２（ｘ），ｋ３（ｘ）の特性について説明する図である。
【図３】第１実施形態のカメラ制御部１２の動作を示すフローチャートである。
【図４】第２実施形態のカメラ制御部１２の動作を示すフローチャートである。
【図５】第３実施形態のコンピュータ１００の構成を示す図である。
【図６】第３実施形態のコンピュータ制御部１１２の動作を示すフローチャート。
【図７】第４実施形態のコンピュータ２００の構成を示す図である。
【図８】第４実施形態のコンピュータ制御部２１２の動作を示すフローチャート。
【符号の説明】
【０１１４】
１…電子カメラ，１２…カメラ制御部，１３・１１３・２１３…第１階調変換部，１４・１１４・２１４…第２階調変換部，１１２・２１２…コンピュータ制御部
【図１】
0004973372.tif 000006
【図２】
0004973372.tif 000007
【図３】
0004973372.tif 000008
【図４】
0004973372.tif 000009
【図５】
0004973372.tif 000010
【図６】
0004973372.tif 000011
【図７】
0004973372.tif 000012
【図８】
0004973372.tif 000013