(57)【要約】【課題】  白飛びをもたらすような輝度の飽和をより適切に判定する。【解決手段】  画像処理部１０８はＲＡＷ画像からライブビュー画像を形成し、飽和判定部１０９はライブビュー画像が輝度飽和領域を含むかどうかを判定する。画像処理部１０８はＲＡＷ画像から輝度レベルを伸長した伸長画像を形成し、飽和判定部１１１は伸長画像が輝度飽和領域を含むかどうかを判定する。飽和判定部１０９の判定結果が真で、飽和判定部１１１の判定結果が偽の場合、中央演算装置１０７は、画像表示部１１２に飽和領域を強調してライブビュー画像を表示させる。飽和判定部１０９、１１１の判定結果が共に真の場合、中央演算装置１０７は、画像表示部１１２に飽和領域を強調してライブビュー画像と伸長画像のうちの選択された画像を表示させる。【選択図】  図１
2018117306.tif 000002
【特許請求の範囲】
【請求項１】
光学像からＲＡＷ画像を生成する撮像手段と、
前記ＲＡＷ画像からライブビュー画像を形成するライブビュー画像形成手段と、
前記ライブビュー画像に飽和領域が含まれるか否かを判定する第１の飽和判定手段と、
前記ＲＡＷ画像にホワイトバランス処理を適用した後の最大信号値まで輝度レベルを伸長した伸長画像を形成する伸長画像形成手段と、
前記伸長画像に飽和領域が含まれるか否かを判定する第２の飽和判定手段と、
画像表示手段と、
前記第１及び第２の飽和判定手段のいずれかで前記飽和領域が判定される場合に、前記画像表示手段に表示すべき画像を指定する手段と、
（１）前記第１の飽和判定手段が前記ライブビュー画像に飽和領域が含まれないと判定した場合、前記画像表示手段に前記ライブビュー画像を表示させ、（２）前記第１の飽和判定手段が前記ライブビュー画像に飽和領域が含まれると判定し、前記第２の飽和判定手段が前記伸長画像に飽和領域が含まれないと判定した場合、前記画像表示手段に前記ライブビュー画像を表示させると共にその飽和領域を強調表示させ、（３）前記第１の飽和判定手段が前記ライブビュー画像に飽和領域が含まれると判定し、かつ、前記第２の飽和判定手段が前記伸長画像に飽和領域が含まれると判定した場合、前記画像表示手段に前記ライブビュー画像と前記伸長画像のうちで前記画像表示手段により表示すべき画像として指定されている画像を表示させると共に、表示される画像の飽和領域を強調表示させる制御手段
とを有することを特徴とする撮像装置。
【請求項２】
前記第１の飽和判定手段が前記ライブビュー画像に飽和領域を含むと判定した場合に、前記伸長画像形成手段が前記伸長画像を形成し、前記第２の飽和判定手段が前記伸長画像に飽和領域が含まれるか否かを判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
更に、前記ＲＡＷ画像、前記伸長画像、及び前記ＲＡＷ画像をホワイトバランス処理した画像のいずれを記録媒体に記録するかを選択する選択手段を有することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、前記第１の飽和判定手段が前記ライブビュー画像に飽和領域を含むと判定した場合に、前記選択手段により選択される画像を前記記録媒体に記録させることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記伸長画像は適正露出以上の輝度レベルを伸長した画像であることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
撮像手段により生成されるＲＡＷ画像を処理する画像処理装置であって、
前記ＲＡＷ画像からライブビュー画像を形成するライブビュー画像形成手段と、
前記ライブビュー画像に飽和領域が含まれるか否かを判定する第１の飽和判定手段と、
前記ＲＡＷ画像にホワイトバランス処理を適用した後の最大信号値まで輝度レベルを伸長した伸長画像を形成する伸長画像形成手段と、
前記伸長画像に飽和領域が含まれるか否かを判定する第２の飽和判定手段と、
前記第１及び第２の飽和判定手段のいずれかで前記飽和領域が判定される場合に、画像表示手段に表示すべき画像を指定する手段と、
（１）前記第１の飽和判定手段が前記ライブビュー画像に飽和領域が含まれないと判定した場合、前記画像表示手段に前記ライブビュー画像を表示させ、（２）前記第１の飽和判定手段が前記ライブビュー画像に飽和領域が含まれると判定し、前記第２の飽和判定手段が前記伸長画像に飽和領域が含まれないと判定した場合、前記画像表示手段に前記ライブビュー画像を表示させると共にその飽和領域を強調表示させ、（３）前記第１の飽和判定手段が前記ライブビュー画像に飽和領域が含まれると判定し、かつ、前記第２の飽和判定手段が前記伸長画像に飽和領域が含まれると判定した場合、前記画像表示手段に前記ライブビュー画像と前記伸長画像のうちで前記画像表示手段により表示すべき画像として指定されている画像を表示させると共に、表示される画像の飽和領域を強調表示させる制御手段
とを有することを特徴とする画像処理装置。
【請求項７】
撮像手段により生成されるＲＡＷ画像を処理する画像処理方法であって、
前記ＲＡＷ画像からライブビュー画像を形成するライブビュー画像形成ステップと、
前記ライブビュー画像に飽和領域が含まれるか否かを判定する第１の飽和判定ステップと、
前記第１の飽和判定ステップで前記ライブビュー画像に飽和領域が含まれないと判定された場合、画像表示手段に前記ライブビュー画像を表示するステップと、
前記第１の飽和判定ステップで前記ライブビュー画像に飽和領域が含まれると判定された場合に、前記ＲＡＷ画像にホワイトバランス処理を適用した後の最大信号値まで輝度レベルを伸長した伸長画像を形成する伸長画像形成ステップと、
前記伸長画像に飽和領域が含まれるか否かを判定する第２の飽和判定ステップと、
前記第２の飽和判定ステップで前記伸長画像に飽和領域が含まれないと判定された場合、前記画像表示手段に前記ライブビュー画像を表示すると共にその飽和領域を強調表示するステップと、
前記第２の飽和判定ステップで前記伸長画像に飽和領域が含むと判定された場合、前記画像表示手段に前記ライブビュー画像と前記伸長画像のうちで前記画像表示手段により表示すべき画像として指定されている画像を表示すると共に、表示される画像の飽和領域を強調表示するステップ
とを有することを特徴とする画像処理方法。
【請求項８】
コンピュータを請求項６に記載の画像処理装置として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置は、ＣＣＤ型撮像素子またはＣＭＯＳ型撮像素子などの固体撮像素子から出力される画像データ（ＲＡＷデータ）を現像処理し、更に、ＪＰＥＧデータなどに圧縮符号化して、記録媒体に記録する。ＲＡＷデータをそのまま、またはそのままに近い形で記録媒体に記録する撮像装置に存在する。
【０００３】
ＲＡＷデータの段階で輝度値の基準輝度値が越える領域の有無を判定し、基準輝度値を越える領域の存在またはその領域をいわゆる「白飛び」として撮影者に通知する撮像装置が知られている（特許文献１参照）。撮影者は、この通知に応じて適宜に、輝度値が基準輝度値を越えないように撮影条件を変更する。これにより、白飛びを含む画像の記録を抑制できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２４５９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＲＡＷデータの段階で強度値の飽和を判定しているので、ＲＡＷ画像処理で飽和を回避できるケースがあり、特許文献１に記載される技術では、このようなケースでの飽和判定を回避できない。すなわち、誤った飽和判定の可能性がある。
【０００６】
本発明は、より適切に飽和判定を行える撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提示することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、光学像からＲＡＷ画像を生成する撮像手段と、前記ＲＡＷ画像からライブビュー画像を形成するライブビュー画像形成手段と、前記ライブビュー画像に飽和領域が含まれるか否かを判定する第１の飽和判定手段と、前記ＲＡＷ画像にホワイトバランス処理を適用した後の最大信号値まで輝度レベルを伸長した伸長画像を形成する伸長画像形成手段と、前記伸長画像に飽和領域が含まれるか否かを判定する第２の飽和判定手段と、画像表示手段と、前記第１及び第２の飽和判定手段のいずれかで前記飽和領域が判定される場合に、前記画像表示手段に表示すべき画像を指定する手段と、（１）前記第１の飽和判定手段が前記ライブビュー画像に飽和領域が含まれないと判定した場合、前記画像表示手段に前記ライブビュー画像を表示させ、（２）前記第１の飽和判定手段が前記ライブビュー画像に飽和領域が含まれると判定し、前記第２の飽和判定手段が前記伸長画像に飽和領域が含まれないと判定した場合、前記画像表示手段に前記ライブビュー画像を表示させると共にその飽和領域を強調表示させ、（３）前記第１の飽和判定手段が前記ライブビュー画像に飽和領域が含まれると判定し、かつ、前記第２の飽和判定手段が前記伸長画像に飽和領域が含まれると判定した場合、前記画像表示手段に前記ライブビュー画像と前記伸長画像のうちで前記画像表示手段により表示すべき画像として指定されている画像を表示させると共に、表示される画像の飽和領域を強調表示させる制御手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、輝度レベルを伸長した伸長画像で輝度飽和領域の有無を確認できるので、より適切に輝度飽和を回避できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る撮像装置の一実施例の概略構成ブロック図である。
【図２】本実施例の動作フローチャートである。
【図３】記録画像の種類を選択する画面例である。
【図４】本実施例で伸長画像を形成する際に適用するトーンカーブの説明図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１１】
図１は、本発明に係る撮像装置の一実施例の概略構成ブロック図を示す。図１を参照して、本発明の実施例１を説明する。
【００１２】
図１に示す撮像装置１００では、操作部１１３によるユーザの撮影指示操作（シャッタレリーズ操作）に応じて、中央演算装置（ＣＰＵ）１０７が、撮像素子１０２における撮像から記録媒体１０６への記録までの一連の動作を制御する。中央演算装置１０７は、後述するように各部を制御する制御手段として機能する。
【００１３】
電源オンの状態において、撮像素子１０２は、レンズ１０１による光学像を一定周期で画像信号に変換し、アナログ画像信号をＡ／Ｄ変換部１０３に出力する。Ａ／Ｄ変換部１０３は、撮像素子１０２からのアナログ画像信号をデジタル信号に変換し、画像データ（ＲＡＷデータ）を信号処理部１０４に供給する。
【００１４】
信号処理部１０４は主に、ＲＡＷデータの所定色空間の、例えばＲＧＢ形式の画像データへの変換処理（いわゆる現像処理）、色バランスを調整するホワイトバランス処理、及び強度プロファイルを調整するガンマ補正処理を担当する。信号処理部１０４は、これらのカメラ信号処理で得られた画像データを内部メモリ１０５に格納する。信号処理部１０４は、必要により、ＲＡＷデータも内部メモリ１０５に格納する。
【００１５】
ライブビュー表示のとき、中央演算装置１０７は、内部メモリ１０５に格納される画像データを読み出して画像表示部１１２に印加する。画像表示部１１２は、中央演算装置１０７からの画像データを画像表示する。これにより、撮影者またはユーザは、レンズ１０１の視野範囲とその中の被写体を画像表示部１１２に表示される画像として視覚的に確認できる。
【００１６】
中央演算装置１０７は、画像表示部１１２に表示される画像上で輝度飽和領域、すなわち白飛び領域をユーザに明示するために、以下の飽和判定処理を画像処理部１０８及び飽和判定部１０９に実行させる。すなわち、中央演算装置１０７は、内部メモリ１０５から画像データを画像処理部１０８に読み出す。画像処理部１０８は、中央演算装置１０７から供給される画像データからライブビュー画像データを形成し、飽和判定部１０９に供給する。飽和判定部１０９は画像処理部１０８からのライブビュー画像データの輝度値を飽和判定し、飽和領域を所定色で塗り潰すようにして画像表示部１１２に供給する。飽和判定部１０９はまた、飽和判定の判定結果を中央演算装置１０７に通知する。
【００１７】
画像表示部１１２は、飽和判定部１０９からの飽和領域を所定色で塗り潰されたライブビュー画像を表示する。飽和領域を所定色で塗り潰すことで、飽和領域を強調表示する。ユーザは、所定色で塗り潰された飽和領域により、白飛びの範囲と大きさを視覚的に認識できる。撮影条件、例えば露出を変更することで、画像表示部１１２の画面上で飽和領域が拡大縮小するので、ユーザは、画像表示部１１２の表示画像で確認しながら露出を適切な値に変更することができる。
【００１８】
飽和判定部１０９の判定結果が真、則ち、一部での飽和領域が存在する場合、中央演算装置１０７は、内部メモリ１０５のＲＡＷデータを画像処理部１１０にも供給する。画像処理部１１０は、中央演算装置１０７からのＲＡＷデータから、ホワイトバランス処理を適用した後の最大信号値まで輝度レベルを伸長した伸長画像データを形成し、その伸長画像データを飽和判定部１１１に供給する。
【００１９】
飽和判定部１１１は、画像処理部１１０からの伸長画像データに対して、飽和判定部１０９と同じアルゴリズムで輝度値の飽和を判定する。飽和判定部１１１は、伸長画像データの飽和領域を所定色で塗り潰した画像データを表示用に画像表示部１１２に供給し、飽和判定の判定結果を中央演算装置１０７に通知する。飽和領域を示す色は、飽和判定部１０９のそれと同じでもよいし、異なっても良い。
【００２０】
画像表示部１１２は、飽和判定部１１１からの飽和領域を所定色で塗り潰された画像データの画像を表示する。ユーザは、所定色で塗り潰された飽和領域により、白飛びの範囲と大きさを視覚的に認識できる。撮影条件、例えば、露出を変更することで、画像表示部１１２の画面上で飽和領域が拡大縮小するので、ユーザは、画像表示部１１２の表示画像で確認しながら露出を適切な値に変更することができる。
【００２１】
このように、本実施例では、画像処理部１０８がライブビュー画像形成手段として機能し、画像処理部１１０が伸長画像形成手段として機能する。単一のハードウエア、例えばデジタル信号処理装置（ＤＳＰ）をライブビュー画像形成手段及び画像処理部１１０としても機能させてもよい。
【００２２】
中央演算装置１０７は、操作部１１３によるユーザの指示に従い、または飽和判定部１０９の判定結果に従い、飽和判定部１０９、１１１のどちらの判定結果を反映した画像を画像表示部１１２に表示させるかを制御する。
【００２３】
図２は、飽和判定部１０９の判定結果に従い、飽和判定部１０９、１１１のどちらの判定結果を反映する画像を画像表示部１１２に表示するかを制御する中央演算装置１０７の動作フローチャートを示す。中央演算装置１０７は、図２に相当する処理を実現する画像処理プログラムを内蔵記憶手段から読み込み実行することで、図２に示す処理を実現する。
【００２４】
Ｓ２０１で、中央演算装置１０７は、画像処理部１０８に通常のラブビュー表示画像データを形成させ、画像処理部１０８は形成したラブビュー表示画像データを飽和判定部１０９に供給する。勿論、中央演算装置１０７が通常のライブビュー画像データを形成し、画像処理部１０８は、このライブビュー画像データを飽和判定部１０９にスルーしても良い。
【００２５】
Ｓ２０２で、飽和判定部１０９が、画像処理部１０８からのライブビュー画像データに飽和領域があるかどうかを判定し、判定結果を中央演算装置１０７に通知する。飽和領域がある場合、飽和判定部１０９は、ライブビュー画像データの飽和領域を所定色で塗り潰した画像データを画像表示部１１２の表示用に生成する。
【００２６】
Ｓ２０３で、中央演算装置１０７は、飽和判定部１０９の判定結果（飽和判定１）が真かどうか、すなわち飽和領域があるか否かを判定する。中央演算装置１０７は、飽和判定部１０９の判定結果が真である場合、Ｓ２０４に進む。飽和判定部１０９の判定結果が偽である場合、中央演算装置１０７は、Ｓ２０８に進む。
【００２７】
Ｓ２０４で、中央演算装置１０７は、画像処理部１１０に上述の伸長画像を形成させる。画像処理部１１０は、形成した伸長画像の画像データを飽和判定部１１１に供給する。
【００２８】
Ｓ２０５で、飽和判定部１１１が、画像処理部１１０からの伸長画像データに飽和領域があるかどうかを判定し、判定結果を中央演算装置１０７に通知する。飽和領域がある場合、飽和判定部１１１は、伸長画像データの飽和領域を所定色で塗り潰した画像データを画像表示部１１２の表示用に生成する。
【００２９】
Ｓ２０６で、中央演算装置１０７は、飽和判定部１１１の判定結果（飽和判定２）が真かどうか、すなわち飽和領域があるか否かを判定する。中央演算装置１０７は、飽和判定部１１１の判定結果が真である場合、Ｓ２０７に進む。飽和判定部１１１の判定結果が偽である場合、中央演算装置１０７は、Ｓ２０９に進む。
【００３０】
Ｓ２０７で、中央演算装置１０７は、飽和判定部１０９，１１１のいずれからの画像データの画像を画像表示部１１２に表示させるかを判定する。例えば、ユーザが操作部１１３を操作して、どちらの画像データの画像を表示させるかを中央演算装置１０７に指示する。飽和判定部１０９からの画像データの画像（ライブビュー画像）を画像表示部１１２に表示すべきとき、中央演算装置１０７はＳ２０９に進む。飽和判定部１１１からの画像データの画像（伸長画像）を画像表示部１１２に表示すべきとき、中央演算装置１０７はＳ２１０に進む。
【００３１】
Ｓ２０８で、中央演算装置１０７は、画像表示部１１２に通常のライブビュー画像データの画像を表示させて、図２に示す処理を終了する。
【００３２】
Ｓ２０９で、中央演算装置１０７は、飽和判定部１０９からの、飽和領域を所定色で塗り潰されたライブビュー画像データを画像表示部１１２に供給する。これにより、画像表示部１１２は、飽和領域を強調表示されたライブビュー画像を表示する。中央演算装置１０７は、Ｓ２０９の後、図２に示す処理を終了する。
【００３３】
Ｓ２１０で、中央演算装置１０７は、飽和判定部１１１からの、飽和領域を所定色で塗り潰された伸長画像データの画像を画像表示部１１２に供給する。これにより、画像表示部１１２は、飽和領域を強調表示された伸長画像を表示する。中央演算装置１０７は、Ｓ２１０の後、図２に示す処理を終了する。
【００３４】
中央演算装置１０７は、飽和領域が存在する場合に、記録媒体１０６に記録すべき画像として、通常の画像（例えば、現像処理後のＲＧＢ画像）、伸長画像及びＲＡＷ画像のいずれ１つを選択できる。図３はその選択画面例を示す。図３において、通常画像は、ライブビュー表示に使用される画像の画像である。伸長画像は、ＲＡＷデータから輝度値を伸長して生成された画像（画像処理部１１０により生成される画像）である。ＲＡＷ画像は、撮像素子１０２から出力されＡ／Ｄ変換部１０３によりデジタル化された画像である。
【００３５】
中央演算装置１０７は、図３に示すような選択画面を画像表示部１１２に表示し、ユーザは、操作部１１３により記録すべき画像の種類を中央演算装置１０７に指示する。中央演算装置１０７は、撮像画像に飽和領域があるときには、図３に示す選択画面で指定された画像を記録するように記録処理部１１４に指示する。記録処理部１１４は、中央演算装置１０７により指示された種類の画像データを内部メモリ１０５から読み出し、記録用に圧縮符号化して記録媒体１０６に記録する。
【００３６】
図４を参照して、伸長画像の形成方法を説明する。図４は、伸長画像を形成する際のトーンカーブ例を示す。横軸は、伸長前の画像データの強度値を示し、縦軸は、伸長画像の強度値を示す。図４に示す例では、適正露出以下では輝度値を伸長せず、適正露出以上の輝度値に対して伸長処理を適用する。
【００３７】
まず、撮像画像の輝度値を求める。例えば、Ａ／Ｄ変換部１０３から出力されるＲＡＷデータに黒レベル補正、ホワイトバランス処理及びデベイヤ処理などの一般処理を信号処理部１０４または中央演算装置１０７により実行する。中央演算装置１０７は、これらの処理で算出された各画素のＲ，Ｇ，Ｂ値に一般的な公式を適用して各画素の輝度信号を求め、その内の最大値、すなわち最大輝度信号を求める。中央演算装置１０７は、最大輝度信号が撮像装置ごとに決定されている規定飽和レベルを超えている場合、最大補正比率Ｋｍａｘを次の計算式により決定する。すなわち、
Ｋｍａｘ＝最大輝度信号÷規定飽和レベル
ただし、補正のし過ぎは画像全体のコントラスト低下などを招くので、２．０倍（露出補正１．０段分）程度の一定の上限値を設けた補正比率Ｋを利用する。具体的には、最大補正比率Ｋｍａｘと上限値の内の小さいほうの値を補正係数Ｋとする。すなわち、
Ｋ＝ｍｉｎ（Ｋｍａｘ，２．０）
ここでは、上限値を２．０としている。
この補正係数Ｋを各画素のＲ，Ｇ，Ｂ値に乗算する。すなわち、
Ｒｏ＝Ｋ×Ｒｉ
Ｇｏ＝Ｋ×Ｇｉ
Ｂｏ＝Ｋ×Ｂｉ
ここで、Ｒｉ，Ｇｉ，Ｂｉはそれぞれ補正前の画像のＲ，Ｇ，Ｂ値を示し、Ｒｏ，Ｇｏ，Ｂｏはそれぞれ、補正後の画像のＲ，Ｇ，Ｂ値を示す。
【００３８】
補正後の画像をそのまま利用すると、露出が適正である画素においても露出が変化してしまう。これを防いで、適正露出を維持しつつ輝度レベルの高い部分のみを伸長するため、図４に示すトーンカーブのように、適正露出以下では補正係数Ｋによる補正を行わず、適性露出以上の輝度値に対して補正係数Ｋを適用して輝度値を伸長する。
【００３９】
図１に示す実施例の一部の機能、とくに画像処理部１０８，１１０及び飽和判定部１０９、１１１の機能は、コンピュータプログラムにより実現できる。
【００４０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2018117306.tif 000003
【図２】
2018117306.tif 000004
【図３】
2018117306.tif 000005
【図４】
2018117306.tif 000006