(57)【要約】【課題】高ＩＳＯ感度撮影でもノイズの少ないライブビュー画像を表示する撮像装置を提供すること。【解決手段】制御部３０は、撮像処理として特殊画像処理を実行する場合には、異なるＩＳＯ感度で撮影を行い、第１の撮像データと第１の撮像データより高いＩＳＯ感度の第２の撮像データを出力するよう撮像部１０を制御し、第１の撮像データによる表示色を解析するよう色解析部３１を制御し、色解析部の解析結果に応じて、第２の撮像データに対し、第２の撮像データによる表示色の補正指示をするよう色補正指示部３２を制御し、色補正指示部５０の指示に従って、第２の撮像データを補正して表示用画像を生成するよう画像生成部を制御し、画像生成部で補正して生成された表示用画像を表示するよう表示部を制御する、【選択図】図２
2018186363.tif 000002
【特許請求の範囲】
【請求項１】
撮像データを出力する撮像部と、
前記撮像データにより表示される表示画像に含まれる表示色を解析する色解析部と、
前記色解析部の解析結果に応じて、色補正を指示する色補正指示部と、
前記撮像データに基づき表示用画像を生成する画像生成部と、
前記画像生成部で生成された表示用画像を表示する表示部と、
撮像処理を実行する制御部と、を備え、
前記制御部は、前記撮像処理として特殊画像処理を実行する場合には、
異なるＩＳＯ感度で撮影を行い、第１の撮像データと第１の撮像データより高いＩＳＯ感度の第２の撮像データを出力するよう前記撮像部を制御し、
前記第１の撮像データによる表示色を解析するよう前記色解析部を制御し、
前記色解析部の解析結果に応じて、前記第２の撮像データに対し表示色の補正指示をするよう前記色補正指示部を制御し、
前記色補正指示部の指示に従って、前記第２の撮像データを補正して表示用画像を生成するよう前記画像生成部を制御し、
前記画像生成部で補正して生成された前記表示用画像を表示するよう前記表示部を制御する、
ことを特徴とする撮像装置。
【請求項２】
前記色補正指示部は、前記第２の撮像データに対し、前記第１の撮像データによる表示色に含まれない表示色の補正を指示する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記色補正指示部は、前記第２の撮像データに対し、該第２の撮像データによる表示色の中で、前記第１の撮像データに含まれない表示色の彩度を低下させる補正を指示する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記色補正指示部は、前記第２の撮像データに対し、該第２の撮像データによる表示色の中で、前記第１の撮像データに含まれない表示色をグレーにする補正を指示する
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記色補正指示部は、前記第２の撮像データに対し、該第２の撮像データによる表示色の中で、前記第１の撮像データに含まれない表示色を該第１の撮像データに含まれる表示色に置換える補正を指示する
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記制御部は、前記第１の撮像データに加えて前記第２の撮像データに対しても前記色解析を行い、第１の撮像データと第２の撮像データでそれぞれ解析された表示色を照合して照合結果を出力するよう前記色解析部を制御し、
前記制御部は、前記照合結果に応じて前記色補正指示部に補正指示させるかを判断する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記色解析部は、前記撮像データを複数のブロックに分け、前記分けられた各ブロックごとに検出した表示色に基づき、当該撮像データによる表示色を解析する
ことを特徴とする請求項１乃至請求項６のいずれか一項に記載の撮像装置。
【請求項８】
前記撮像データに前記色解析部で解析の対象とする解析範囲を指示する解析範囲指示部を備える、
ことを特徴とする請求項１乃至請求項６のいずれか一項に記載の撮像装置。
【請求項９】
前記制御部は、前記撮像処理として特殊画像処理と通常画像処理の少なくとも２つの処理を選択的に実行し、
前記制御部は、ライブビュー画像表示時に特殊画像処理を実行する、
ことを特徴とする請求項１乃至請求項６のいずれか一項に記載の撮像装置。
【請求項１０】
撮影の環境の輝度を検知する環境輝度検知部を備え、
前記制御部は、前記環境輝度検知部により撮影の環境が暗部と検知された場合に、前記特殊画像処理を実行する
ことを特徴とする請求項１乃至請求項６のいずれか一項に撮像装置。
【請求項１１】
電池残量を検知する電池残量検知部を備え、
前記制御部は、前記検知した電池残量が予め設定した値より小さくなった場合に、前記撮像処理として前記特殊画像処理を実行する、
ことを特徴とする請求項１乃至請求項６のいずれか一項に記載の撮像装置。
【請求項１２】
前記制御部は、前記表示部で拡大表示する場合または前記表示部で高速表示する場合に  前記撮像処理として前記特殊画像処理を実行する、
ことを特徴とする請求項１乃至請求項６のいずれか一項に記載の撮像装置。
【請求項１３】
撮像データにより表示される表示画像に含まれる表示色を解析するものであって、第１の撮像データによる表示色を解析し、前記第１の撮像データより高いＩＳＯ感度で撮影された第２の撮像データによる表示色の中で、前記第１の撮像データによる表示色を判定する色解析部と、
前記色解析部の解析結果に応じて、前記第２の撮像データに対し表示色の補正を指示する色補正指示部と、
前記補正の指示に従って前記第２の撮像データを補正して表示用画像を生成する画像生成部と、
前記生成された表示用画像を表示部に出力する制御部と、を備える、
ことを特徴とする画像処理装置。
【請求項１４】
コンピュータに画像処理方法を実行させるプログラムにおいて、
撮像データにより表示される表示画像に含まれる表示色を解析するものであって、第１の撮像データによる表示色を解析し、前記第１の撮像データより高いＩＳＯ感度で撮影された第２の撮像データによる表示色の中で、前記第１の撮像データによる表示色を判定する色解析ステップと、
前記色解析ステップの解析結果に応じて、前記第２の撮像データに対し表示色の補正を指示する色補正指示ステップと、
前記補正の指示に従って前記第２の撮像データを補正して表示用画像を生成する画像生成ステップと、
前記生成された表示用画像を表示部に出力する出力ステップと、を含む、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、暗所等の撮影時でもフレーミングが容易にできる撮像装置に関する。
【背景技術】
【０００２】
夜間の天体撮影時や暗所の撮影では、通常のフレームレートでは表示画像（ライブビュー画像）が暗いので、フレームレートを遅くして明るい画像を表示することが行われる。しかし、フレームレートが遅くなるとライブビュー画像のタイムラグが大きくなり、フレーミングがしづらくなる。一方、フレームレートを上げると、ＩＳＯ感度も上がるので、場面によってはノイズの多い画像が表示されてしまう。特許文献１，２などでは、暗所撮影時にモノクロや２値化に切換える方法を提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３１８１００号公報
【特許文献１】特開２０１３−３８５９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１，２等で提案されたモノクロや２値化されたライブビュー画像では、フレーミングがスムーズにできないことも多い。一方、色ノイズが混じったライブビュー画像は、撮影者にストレスを与える。特に、天体撮影において、色ノイズは星と区別がつきにくくなるので、色ノイズが多いライブビュー画像は、フレーミングの大きな障害となる。
本願発明は、前記課題に鑑み、高ＩＳＯ感度撮影でもノイズの少ないライブビュー画像を表示する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記目的を達成するために、撮像装置は、撮像データを出力する撮像部と、前記撮像データにより表示される表示画像に含まれる表示色を解析する色解析部と、前記色解析部の解析結果に応じて、色補正を指示する色補正指示部と、前記撮像データに基づき表示用画像を生成する画像生成部と、前記画像生成部で生成された表示用画像を表示する表示部と、撮像処理を実行する制御部と、を備え、前記制御部は、前記撮像処理として特殊画像処理を実行する場合には、異なるＩＳＯ感度で撮影を行い、第１の撮像データと第１の撮像データより高いＩＳＯ感度の第２の撮像データを出力するよう前記撮像部を制御し、前記第１の撮像データによる表示色を解析するよう前記色解析部を制御し、前記色解析部の解析結果に応じて、前記第２の撮像データに対し表示色の補正指示をするよう前記色補正指示部を制御し、前記色補正指示部の指示に従って、前記第２の撮像データを補正して表示用画像を生成するよう前記画像生成部を制御し、前記画像生成部で補正して生成された前記表示用画像を表示するよう前記表示部を制御する。
【発明の効果】
【０００６】
本発明によれば、高ＩＳＯ感度撮影でもノイズの少ないライブビュー画像を表示する撮像装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る撮像装置の外観図である。
【図２】撮像装置の構成を示す機能ブロック図である。
【図３】撮像部及び特殊画像処理の詳細構成を示すブロック図である。
【図４】低照度下でのライブビュー画像の例である。
【図５】ＨＳＶ色空間のＨＳ平面を説明する図である。
【図６】撮像装置のおけるＣＰＵ等の構成を示すハードウェアブロック図である。
【図７】低照度下撮影時の特殊画像処理の手順を説明するフローチャートである。
【図８】特殊画像処理の手順を説明するサブルーチンである。
【図９】低ＩＳＯ感度画像の色解析結果を説明する図である。
【図１０】高ＩＳＯ感度画像の色解析結果を説明する図である。
【図１１】画像生成部による画素補正を説明する図である。
【図１２】特殊画像処理が施されたライブビュー画像である。
【図１３】解析範囲指示がされた画面である。
【図１４】特殊画像処理を行う画像処理装置の構成を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面に従って本発明の実施形態を説明する。図１は、本発明の実施形態に係る撮像装置１の外観図である。図１では、撮像装置１として、いわゆるデジタルカメラを例に示すが、撮像装置１は、スマートフォンや携帯端末に内蔵されるカメラであっても当然によい。
【０００９】
撮像装置１ａは、撮像装置１の前面の形状である。撮像装置１ｂは、撮像装置１の背面の形状である。撮像装置１は、撮像部１０のレンズ部１１を前面の中央に備える。撮像装置１は、背面に表示部７０と操作部８０を備える。操作部８０は、レリーズ８０ａ、方向指示ボタン８０ｂ及び操作ボタン８０ｃを含む。
【００１０】
図２は、撮像装置１の構成例を示す機能ブロック図である。撮像装置１は、撮像部１０、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２０、制御部３０、環境輝度検知部４０、電池残量検知部４２、画像生成部５０、画像入力部５５、記憶部６０、表示部７０、操作部８０を有する。
【００１１】
撮像部１０は、被写体像を撮影して撮像データを出力する。撮像部１０の詳細は、図３で説明する。ＳＤＲＡＭ２０は、撮像データ等の各種データを一時的に格納する。制御部３０は、撮像装置１全体を統括的に制御する。環境輝度検知部４０は、撮影の環境の輝度を検知する。電池残量検知部４２は、撮像装置１を駆動するための電池（不図示）の残量を検出する。
【００１２】
画像生成部５０は、撮像データに基づき、表示部７０に表示するライブビュー画像（表示画像とも呼ぶ）や、記憶部６０に保存記憶する静止画画像を生成する。画像生成部５０は、補間処理、ホワイトバランス処理、撮像素子１２のＲＧＢデータをＹＣデータ化する色変換処理等の画像処理を行う。また、画像生成部５０は、ノイズリダクション処理部（不図示）を有する。また、画像生成部５０は、後述する色補正指示部３２からの色補正指示により、色ノイズ補正を行い、ライブビュー画像を生成する。
【００１３】
画像入力部５５は、記憶部６０に記憶された撮像データを入力する。また、画像入力部５５が、通信手段によって外部から撮像データを入力してもよい。記憶部６０は、不揮発性のメモリで、撮像部１０で撮影された撮像データを記憶する。記憶部６０は、例えばフラッシュメモリで、着脱できるようであってもよい。
【００１４】
表示部７０は、画像生成部５０で生成されたライブビュー画像、記憶部６０に記憶された静止画画像、及び撮影情報や撮影ガイド等を表示する。表示部７０は、ＬＣＤや有機ＥＬである。操作部８０は、撮影者が指示を入力する入力部である。操作部８０は、レリーズ８０ａ、方向指示ボタン８０ｂ、操作ボタン８０ｃ等を有する。
【００１５】
さらに、撮像装置１は、色解析部３１、色補正指示部３２及び解析範囲指示部３３を有する。色解析部３１、色補正指示部３２及び解析範囲指示部３３は、後述する特殊画像処理で使用される。
【００１６】
色解析部３１は、撮像データにより表示されるライブビュー画像に含まれる表示色を解析するものである。なお、以下で「撮像データの色」とは、撮像素子の各ピクセルの色ではなく、画像生成部５０で撮像データが色変換されてライブビュー画像になった場合の色（表示色）を意味する。つまり、「撮像データの色」とは、撮像データに基づくライブビュー画像の色と言い換えることもできる。
【００１７】
色補正指示部３２は、色解析部３１の解析結果に応じて、画像生成部５０に色補正を指示する。解析範囲指示部３３は、撮像データの画面において、色解析部３１で解析の対象とする解析範囲を指示する。制御部３０、色解析部３１、色補正指示部３２及び解析範囲指示部３３は、ＡＳＩＣ（Application Specific Integrated Circuit）９０に含まれる。
【００１８】
図３は、撮像部１０と特殊画像処理の詳細構成を示す機能ブロック図である。撮像部１０は、レンズ部１１、撮像素子１２、信号処理部１３、ＡＤ（Analog to digital）変換部１４、ＡＥ（Automatic Exposure）部１５、ＡＦ（Automatic Focus）部１６、レンズ駆動部１７及び素子駆動部１８等を有する。レンズ部１１は、被写体像を撮像素子１２に結像する。撮像素子１２は、ＣＣＤやＣＭＯＳで、結像された被写体像を光電変換する。
【００１９】
信号処理部１３は、ＣＤＳ (Correlated Double Sampling）回路（不図示）やＡＧＣ（Automatic Gain Control）回路（不図示）を有し、撮像素子１２からの電気信号を設定されたＩＳＯ感度で増幅処理する。ＡＤ変換部１４は、信号処理部１３から出力される画像信号を撮像データに変換して出力する。
【００２０】
ＡＥ部１５は、画像信号に基づき測光を行い被写体の輝度値（Ｂｖ値）を算出し、プログラム線図等を参照して、ＩＳＯ感度、シャッター速や絞り値等を設定する。ＡＥ部１５は、設定したＩＳＯ感度等を制御部３０に通知する。ＡＦ部１６は、画像信号に基づき合焦位置を検出し、制御部３０に通知する。
【００２１】
レンズ駆動部１７は、レンズ部１１のＡＦレンズ（不図示）やズームレンズ（不図示）のモータを駆動する。また、レンズ駆動部１７は、レンズ部１１のシャッターや絞りのアクチュエータを駆動して、シャッター速や絞り値を調整する。レンズ駆動部１７は、制御部３０により制御される。素子駆動部１８は、制御部３０からの指示に基づき、撮像素子１２を所定のフレームレートで駆動する。
【００２２】
制御部３０は、ＡＥ部１５で設定されたＩＳＯ感度に基づき、信号処理部１３のゲインを調整する。なお、制御部３０は、設定されたＩＳＯ感度で、信号処理部１３のゲインとＡＤ変換部１４のゲインの両方を調整するようにしてもよい。
【００２３】
制御部３０は、設定されたシャッター速や絞り値等に基づき、レンズ駆動部１７を制御して、シャッター速や絞り値等を調整する。また、制御部３０は、ＡＥ部１５で検出された被写体の輝度値に基づき所定のフレームレートを設定し、素子駆動部１８を制御して撮像素子１２を所定のフレームレートで駆動する。ＡＤ変換部１４から出力される撮像データは、画像生成部５０で画像処理され、ライブビュー画像として表示部７０に表示される。
【００２４】
制御部３０は、ライブビュー画像表示の撮像処理として特殊画像処理と通常画像処理の少なくとも２つの処理を選択的に実行する。特殊画像処理とは、低ＩＳＯ感度で撮影された画像（低ＩＳＯ感度画像）と高ＩＳＯ感度で撮影された画像（高ＩＳＯ感度画像）の２つの画像の表示色の差から、ノイズの色を判断して、高ＩＳＯ感度画像において、ノイズと判定された色を補正して、ライブビュー画像として表示する処理である。
【００２５】
ノイズと判定された色の補正方法は、各種ある。ここでは、３例を紹介する。第１の補正方法は、ノイズの色の彩度を低下させる方法である（以下、低彩度化とも呼ぶ）。第２の補正方法は、ノイズの色をグレーに変換する方法である（以下、グレー化とも呼ぶ）。第３の補正方法は、ノイズの色を低ＩＳＯ感度画像の色に置き換える方法（以下、置換えとも呼ぶ）。３例の具体例は、図１１で紹介する。特殊画像処理を施すことによって、ライブビュー画像の色ノイズを低減させることができる。色解析部３１、色補正指示部３２及び解析範囲指示部３３が、ノイズ色の判定を行う。
【００２６】
制御部３０は、特殊画像処理を、所定の条件になった場合に実行する。例えば、制御部３０は、環境輝度検知部４０によって撮影の環境が暗部と検知された場合、電池残量検知部４２によって電池残量が予め設定した値より小さくなった場合に、特殊画像処理を実行する。その他、制御部３０は、操作部８０で特定の条件が設定あるいは指示された場合に、特殊画像処理を実行する。
【００２７】
ここで、低照度下（暗部あるいは夜間）の撮影時に発生するノイズについて説明する。低照度下であっても、ライブビュー画像表示のフレームレートは、通常の速度（例えば、３０ｆｐｓ）が望ましい。フレームレートが遅くなると、タイムラグの発生により、フレーミングがやりづらくなるからである。しかし、フレームレートを通常の速度にすることで、シャッター速を低速にできなくなるので、ＩＳＯ感度を上げることになる。そのため、ライブビュー画像にはノイズ、特に色ノイズが発生する。
【００２８】
図４は、天体撮影時でのライブビュー画像の例である。図４の画像Ｄ１が、低フレームレート（例えば、１ｆｐｓ）のライブビュー画像の例である。低フレームレートのため、ＩＳＯ感度の増加を抑えることができるので、色ノイズの発生は少ない。
【００２９】
図４の画像Ｄ２は、通常フレームレート（例えば、３０ｆｐｓ）のライブビュー画像の例である。高ＩＳＯ感度のライブビュー画像では、ノイズが多く発生する。ノイズはフレーム毎にチラチラと変化するランダムノイズで、主に色成分として目立つので、以下色ノイズと称す。画像Ｄ２のようなライブビュー画像では、色ノイズと星の区別がつきにくく、撮影者は適切なフレーミングを行うことが困難となる。
【００３０】
制御部３０は、特殊画像処理時には、撮像部１０を制御して異なるＩＳＯ感度で撮影を行わせ、第１の撮像データと第１の撮像データより高いＩＳＯ感度の第２の撮像データを撮像部１０から出力させる。そして、制御部３０は、第１の撮像データに含まれる色を解析するよう色解析部３１を制御する。
【００３１】
ここで、色解析部３１による色相（Ｈ）解析の例を簡単に説明する。図５は、ＨＳＶ色空間のＨＳ平面を説明する図である。図５の色相図は、ＨＳＶ色空間のＨＳ平面の例であって、色相（Ｈ）範囲を示す図である。円周方向が色相（Ｈ）で、径方向が彩度（Ｓ）である。色相図に示すように、Ｈは、下向きｙ軸を０°（始点）として、反時計回りの角度で規定される。色相図は、Ｙ（黄色）、Ｏｒ（橙）、Ｒ（赤）、ＲＰ（赤紫）、Ｐ（紫）、ＰＢ（青紫）、Ｂ（青）、Ｃｂ（緑青）、Ｃ（シアン）、ＧＣ（青緑）、Ｇ（緑）、ＧＹ（黄緑）の計１２色の色相に分類される例である。図５の表Ｔ１は、色相図で示す各色相（１２色）のＨ範囲（角度）を示す表である。
【００３２】
色解析部３１は、各画素のデータが、ＲＧＢ形式の場合には、以下の式から、各画素の画像データのＨを算出して、色相（Ｈ）を求めることができる。
Ｒ、Ｇ、Ｂの最大値をＭＡＸ、最小値をＭＩＮとし、
ＭＩＮ＝ＭＡＸの場合、Ｈ＝０
ＭＩＮ＝Ｂの場合には、Ｈ＝（６０×（Ｇ−Ｒ）／（ＭＡＸ−ＭＩＮ））＋６０
ＭＩＮ＝Ｒの場合には、Ｈ＝（６０×（Ｂ−Ｇ）／（ＭＡＸ−ＭＩＮ））＋１８０
ＭＩＮ＝Ｇの場合には、Ｈ＝（６０×（Ｒ−Ｂ）／（ＭＡＸ−ＭＩＮ））＋３００
なお、以下では、色相（Ｈ）を、簡略して色とも呼ぶ。
【００３３】
色解析部３１は、低ＩＳＯ感度画像による表示色と高ＩＳＯ感度画像による表示色をそれぞれ解析し、高ＩＳＯ感度画像による表示色の中で、低ＩＳＯ感度画像に含まれない表示色を、特定の色と判定する。制御部３０は、色解析部３１による解析結果に応じて、第２の撮像データに対し、特定の色の補正（低彩度化、グレー化あるいは置換え）を指示するよう色補正指示部３２を制御する。
【００３４】
さらに、制御部３０は、色補正指示部３２からの補正の指示に従って、第２の撮像データを補正して補正画像を生成するよう画像生成部５０を制御する。制御部３０は、画像生成部５０で生成された補正画像を表示するよう表示部７０を制御する。
【００３５】
また、制御部３０は、制御プログラムを読込んだＣＰＵがプログラムを実行するソフトウェア処理により実現される。図６は、撮像装置１のおけるＣＰＵ等の構成を示すハードウェアブロック図である。なお、色解析部３１、色補正指示部３２及び解析範囲指示部３３等も、ＣＰＵ１００によるソフトウェア処理により実現されてもよい。
【００３６】
ＣＰＵ１００は、バス１０６により、ＲＡＭ１０２及び不揮発性メモリ１０４と接続される。ＲＡＭ１０２は、読込んだプログラムを一時的に記憶するワーキングエリアである。ＲＡＭ１０２は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ２０である。不揮発性メモリ１０４は、制御プログラムや各種テーブルを格納する不揮発性の記憶部である。不揮発性メモリ１０４は、例えばフラッシュメモリである。
【００３７】
図７は、低照度下撮影時の特殊画像処理の手順を説明するフローチャートである。図７の処理は、制御部３０、色解析部３１、色補正指示部３２、解析範囲指示部３３、画像生成部５０等より実行される。また、色解析部３１、色補正指示部３２、解析範囲指示部３３及び画像生成部５０は、制御部３０の制御により各処理を行う。
【００３８】
制御部３０は、撮影者による操作部８０の電源オン操作を検出して、撮像装置１の電源をオンする（ステップＳ１０）。撮像部１０は、被写体を撮像する（ステップＳ１２）。なお、撮像部１０で撮影された撮像データの代わりに、画像入力部５５が、記憶部６０に記憶された撮像データを読み出してもよい。また、画像入力部５５が、通信手段によって外部から撮像データを入力してもよい。
【００３９】
制御部３０は、以下のステップＳ１４〜ステップＳ２２のいずれかに該当すれば、特殊画像処理を実行する。制御部３０は、撮像データが色解析済であるかを判断する（ステップＳ１４）。制御部３０は、色解析済フラグ（ＣＦｒａｇ）＝１であるかを判断する。色解析済フラグは、色解析の有無を示すフラグで、ＳＤＲＡＭ２０に記憶される。色解析済であれば、色解析済フラグ＝１となる。
【００４０】
制御部３０は、ライブビュー画像表示のフレームレートが所定以上であるかを判断する（ステップＳ１６）。所定のフレームレートとは、例えば３０ｆｐｓである。
【００４１】
制御部３０は、拡大表示が設定されているかを判断する（ステップＳ１８）。拡大表示は、デジタルズームで、操作部８０により設定される。拡大表示は、画像生成部５０によって行われるが、デジタルズーム処理によって、色ノイズが増加することがあるからである。
【００４２】
制御部３０は、環境輝度が暗いかを判断する（ステップＳ２０）。制御部３０は、環境輝度検知部４０による検出結果によって環境輝度を判断する。例えば、制御部３０は、ＢＶ値―４以下の場合に、環境輝度が暗い、つまり低照度下撮影と判断する。
【００４３】
制御部３０は、電池残量が少ないかを判断する（ステップＳ２２）。制御部３０は、電池残量検知部４２による検出結果で判断する。例えば、電池残量が５０％以下になったと検出された場合である。ノイズリダクション処理を簡略化し消費電力を抑えるためである。ノイズリダクション処理は、特殊画像処理に比べて消費電力が大きいため、電池残量が少ない場合には、ノイズリダクション処理を抑えることが望ましいからである。そして、ノイズリダクション処理を低下させた分を、特殊画像処理で補うようにする。
【００４４】
制御部３０は、上述のステップＳ１４〜ステップＳ２２のいずれも「ＮＯ」の場合には、ライブビュー画像表示に対して、通常画像処理を行う（ステップＳ２４）。制御部３０は、上述のステップＳ１４〜ステップＳ２２のいずれかが「ＹＥＳ」の場合には、ライブビュー画像表示に対して、特殊画像処理を行う（ステップＳ２６）。
【００４５】
図８は、特殊画像処理の手順を説明するサブルーチンである。制御部３０は、色解析済フラグ＝１であるかを判断する（ステップＳ１００）。制御部３０は、色解析済フラグ＝１でない、つまり０であると判断すると（ステップＳ１００のＮＯ）、ステップＳ１０２に進む。色解析済フラグ＝０は、色解析がされていない場合である。
【００４６】
制御部３０は、撮像部１０を制御して低ＩＳＯ感度で撮像させ、低ＩＳＯ感度の撮像データの色解析を色解析部３１に行わせ、解析結果を結果ａとする（ステップＳ１０２）。低ＩＳＯ感度とは、例えばＩＳＯ感度２００である。そのため、撮影は長秒時撮影になる。低ＩＳＯ感度撮影の撮像データを、低ＩＳＯ感度画像あるいは第１の撮像データとも呼ぶ。第１の撮像データは、低ＩＳＯ感度・長秒時撮影により、色ノイズの少ない画像となる。また、色解析部３１は、撮影者から特殊画像処理の範囲の指示がされた場合には、解析範囲指示部３３で指示された範囲に対して低ＩＳＯ感度画像の色解析を行う。
【００４７】
図９は、低ＩＳＯ感度画像の色解析結果を説明する図である。図９の画像Ｄ３は、表示部７０に表示される低ＩＳＯ感度（低フレームレート）のライブビュー画像である。被写体として星が撮影された画像である。ライブビュー画像上の縦横の線は、ブロック分けを示す線である。色解析部３１は、画面を複数のブロックに分割し、各ブロックの測色平均値から、各ブロックを代表する色を１つ算出する。ここでは、縦横８×９の７２ブロックに分割する例を示す。なお、ブロックを示す線は、ライブビュー画像上に表示はされない。縦横８×９のブロック分けは、一例である。
【００４８】
色解析部３１は、例えば、図５の表Ｔ１を参照して、各ブロックの色を算出する。図９のマップＭ３は、算出された各ブロックの色を表示したものである。ここでは、Ｏｒ（橙）、ＰＢ（青紫）、Ｂ（青）、Ｃｂ（緑青）、Ｇ（緑）が、各ブロックの色として検出されたとする。例えば、左上隅のブロックがＢ（青）、左下隅のブロックがＧ（緑）と検出されたとする。図９の表Ｔ３は、各ブロックで算出された色の合計数をまとめた表である。この表Ｔ３が、結果ａとなる。色解析部３１は、結果ａをＳＤＲＡＭ２０に格納する。
【００４９】
なお、結果ａとして、上位の３色（表Ｔ３では、Ｃｂ、ＰＢ、Ｂ）のみとし、Ｇ、Ｏｒを削除してもよい。また、個数が３個以上の色のみを結果ａとし、結果ａからＯｒを削除するようにしてもよい。
【００５０】
続いて、制御部３０は、撮像部１０を制御して、通常のフレームレート（例えば、３０ｆｐｓ）が維持されように、高ＩＳＯ感度の撮影を行わせ、高ＩＳＯ感度の撮像データの色解析を色解析部３１に行わせる（ステップＳ１０４）。高ＩＳＯ感度とは、例えばＩＳＯ感度２５６００である。高ＩＳＯ感度撮影の撮像データを、高ＩＳＯ感度画像あるいは第２の撮像データとも呼ぶ。第２の撮像データは、高ＩＳＯ感度で通常フレームレートの撮影であるから、色ノイズの多い画像となる。なお、低ＩＳＯ感度撮影と高ＩＳＯ感度撮影の撮影時間差は、十分に小さいものとする。同一被写体の画面でないと、色の比較が正しくできないからである。また、ステップＳ１０２と同様に、色解析部３１は、撮影者から特殊画像処理の範囲の指示がされた場合には、解析範囲指示部３３で指示された範囲に対して高ＩＳＯ感度画像の色解析を行う。
【００５１】
図１０は、高ＩＳＯ感度画像の色解析結果を説明する図である。図１０の画像Ｄ４は、表示部７０に表示される高ＩＳＯ感度のライブビュー画像であって、特殊画像処理がされていない画像（つまり、色ノイズの多い画像）を示す図である。画面を分割するブロックサイズは、図９と同じである。
【００５２】
図１０のマップＭ４は、色解析部３１で算出された高ＩＳＯ感度画像の各ブロックの色を示したものである。低ＩＳＯ感度画像で算出されたＯｒ（橙）、ＰＢ（青紫）、Ｂ（青）、Ｃｂ（緑青）、Ｇ（緑）に加えて、新たにＲ（赤）、ＲＰ（赤紫）、ＧＹ（黄緑）が、各ブロックの色として算出されたとする。つまり、Ｒ（赤）、ＲＰ（赤紫）、ＧＹ（黄緑）の３色が、結果ａにない色である。図１０の表Ｔ４は、各ブロックで算出された色の合計数をまとめた表である。この表Ｔ４が、結果ｂとなる。色解析部３１は、結果ｂをＳＤＲＡＭ２０に格納する。
【００５３】
なお、結果ｂとして、上位の３色（表Ｔ４では、ＲＰ、ＧＹ、Ｒ）のみとし、Ｂ等を削除してもよい。また、個数が３個以上の色のみを結果ｂとし、ＰＢやＯｒを削除するようにしてもよい。
【００５４】
制御部３０は、色解析済として色解析済フラグ＝１にして（ステップＳ１０６）、ステップＳ１０８に進む。また、制御部３０は、色解析済フラグが１であると判断すると（ステップＳ１００のＹＥＳ）、ステップＳ１０８に進む。
【００５５】
色解析部３１は、色解析結果を比較照合して、結果ａ＝結果ｂであるかを判定する（ステップＳ１０８）。色解析部３１は、比較照合の結果を制御部３０に出力する。高ＩＳＯ感度画像が低ＩＳＯ感度画像に比べて色ノイズが発生していなければ、結果ａ＝結果ｂとなる。
【００５６】
色解析部３１が、結果ａ＝結果ｂであると判定すると（ステップＳ１０８のＹＥＳ）、制御部３０は、高ＩＳＯ感度画像でも色ノイズが発生していないと判断して、特殊画像処理を行わず（ステップＳ１１０）、通常画像処理を行う。制御部３０は、ステップＳ１１０の後は、図７のステップＳ３０に戻る。
【００５７】
色解析部３１が、結果ａ＝結果ｂでないと判定すると（ステップＳ１０８のＮＯ）、制御部３０は、高ＩＳＯ感度撮影によって色ノイズが発生したと判断して、特殊画像処理を行う。制御部３０は、特殊画像処理の範囲が指示されたかを判断する（ステップＳ１１２）。特殊画像処理の範囲は、撮影者によって操作部８０から予め設定され、設定された範囲で、色解析及び色補正の処理が行われる。
【００５８】
制御部３０は、範囲が指示されていないと判断すると（ステップＳ１１２のＮＯ）、高ＩＳＯ感度の撮像データにおける画面の全範囲に対して、低ＩＳＯ感度画像の色解析結果に従い彩度を下げる補正を行う（ステップＳ１１４）。前述のように、グレー化あるいは置換えをしてもよい。
【００５９】
具体的には、制御部３０は、ＳＤＲＡＭ２０から結果ａを読出し、色補正指示部３２は結果ａにはない色の彩度を低下させる指示を画像生成部５０に出力する。画像生成部５０は、色補正指示部３２からの指示に従って、高ＩＳＯ感度の撮像データの全範囲で、結果ａにない色の彩度を低下させる補正をして補正画像を生成する。
【００６０】
図１１は、画像生成部５０による画素補正を説明する図である。図１１の各図は、高ＩＳＯ感度画像の一部の画素を示す図であって、画素の色を示す図である。図１１は、１エリアが１画素を示し、各画素は画像生成部５０で補間処理された後の画素を示す。前述したように色解析部３１は、複数画素から構成されるブロックの単位で色解析を行ったが、画像生成部５０による補正は、画素の単位で行われる。また、図１１の補正は、図９で説明した結果ａと図１０で説明した結果ｂによる補正例である。
【００６１】
図１１のＮ１は、高ＩＳＯ感度画像の補正前の状態を示す図である。Ｎ１で、例えば、左上隅の画素の色がＲＰ（赤紫）、左下隅の画素の色がＧ（緑）である。図９の例で説明したように、Ｏｒ（橙）、ＰＢ（青紫）、Ｂ（青）、Ｃｂ（緑青）、Ｇ（緑）の色は、低ＩＳＯ感度画像で算出された色なので、当該画素は色ノイズではない画素（画素ｎa）と判定される。色ノイズではない画素ｎaを細線の枠で示す。
【００６２】
Ｒ（赤）、ＲＰ（赤紫）、ＧＹ（黄緑）の画素は、低ＩＳＯ感度画像では算出されなかった色なので、色ノイズの画素(画素ｎｂ)と判定される。図１１のＮ１で、色ノイズの画素ｎｂを太線の枠で示す。色補正指示部３２は、画素ｎｂの補正を画像生成部５０に指示する。
【００６３】
図１１のＮ２〜Ｎ４は、Ｎ１で示す高ＩＳＯ感度画像の画素が補正処理された状態を示す図である。Ｎ２は、画像生成部５０による低彩度化された補正を示す図である。画像生成部５０は、色ノイズの画素ｎｂを低彩度化して画素ｎｃに補正して、補正画像を生成する。低彩度化とは、例えば、彩度レベルを１／５に低減することである。
【００６４】
Ｎ３は、画像生成部５０によるグレー化された補正を示す図である。画像生成部５０により、特殊画像処理として、色ノイズの画素の色をグレー化する処理が行われた場合である。グレー化によっても、高ＩＳＯ感度処理によって発生する色ノイズが抑止されるからである。画像生成部５０は、色ノイズの画素ｎｂをグレー化して画素ｎｄに補正して、補正画像を生成する。
【００６５】
Ｎ４は、画像生成部５０による置換え処理された補正画像の画素の色を示す図である。画像生成部５０により、特殊画像処理として、色ノイズの画素の色を低ＩＳＯ感度画像の色に置換えする処理が行われた場合である。低ＩＳＯ感度画像の色に置換えることで、ノイズが目立たなくなるからである。画像生成部５０は、色ノイズの画素ｎｂを、例えば低ＩＳＯ感度画像の色である「Ｂ」に置換えた画素ｎｅに補正して、補正画像を生成する。特殊画像処理として、低彩度化とグレー化と置換え化のいずれを行うかは、撮影者が選択できるようにしてもよい。
【００６６】
図１２は、特殊画像処理の効果を示すライブビュー画像である。画像Ｄ１０は特殊画像処理前のライブビュー画像（高ＩＳＯ感度画像）で、画像Ｄ１１は特殊画像処理後のライブビュー画像（高ＩＳＯ感度画像）である。
【００６７】
図１２の表Ｔ５は、検出された色ノイズを具体的に示す表である。表Ｔ５には、検出された色ノイズの色が示される。色の欄には、実際の色が表示される。表Ｔ５では、例えば、検出ＲＰ（赤紫）、ＧＹ（黄緑）及びＲ（赤）が、色ノイズとして検出されたことが示される。表Ｔ５を、画像Ｄ１０や画像Ｄ１１の一部に表示することで、撮影者は、色ノイズの色を具体的に知ることができる。
【００６８】
図８に戻る。制御部３０は、解析範囲が指示されたと判断すると（ステップＳ１１２のＹＥＳ）、色解析部３１は、指示された範囲に対して低ＩＳＯ感度画像の色解析結果に従い、画像生成部５０は指示された範囲に対して彩度を下げる補正を行う（ステップＳ１１６）。なお、前述のように、画像生成部５０は指示された範囲に対してグレー化や置換えする処理を行ってもよい。
【００６９】
具体的には、制御部３０は、ＳＤＲＡＭ２０から結果ａを読出し、色補正指示部３２に結果ａにない色の彩度を低下させる指示を画像生成部５０に出すよう指示する。画像生成部５０は、色補正指示部３２からの補正指示に従って、高ＩＳＯ感度の撮像データの指示された範囲で、解析結果ａにない色の彩度を低下させる補正をして補正画像を生成する。解析範囲指示部３３は、設定された解析範囲を色補正指示部３２に指示する。
【００７０】
図１３は、解析範囲指示の画面である。画像Ｄ１２は、補正前のライブビュー画像上で操作部８０により解析範囲Ｌが指示された例である。ライブビュー画像に解析範囲Ｌが示される。解析範囲指示部３３が、指示された解析範囲Ｌを色解析部３１に指示する。色解析部３１は、解析範囲Ｌ内で色解析を行い、結果ａや結果ｂを算出する。
【００７１】
画像Ｄ１３は、補正後のライブビュー画像である。解析範囲指示部３３は、解析範囲Ｌを補正範囲として、画像生成部５０に指示する。画像生成部５０は、解析範囲Ｌ内で、色ノイズを補正する処理を行う。解析範囲Ｌ内は補正されて色ノイズが減少し、解析範囲Ｌ外では、補正がされないので色ノイズが残る。なお、画像Ｄ１３で、破線で示される解析範囲Ｌは、説明のための表示で、実際には表示されなくても良い。
【００７２】
制御部３０は、ステップＳ１１４、ステップＳ１１６の後は、図７のステップＳ３０に戻る。
【００７３】
制御部３０は、画像生成部５０で生成されたライブビュー画像を表示部７０に表示する（ステップＳ３０）。制御部３０は、レリーズ８０ａの押下により撮影指示があったかを判断する（ステップＳ３２）。制御部３０は、撮影指示があったと判断すると（ステップＳ３２のＹＥＳ）、静止画の撮影処理を行う（ステップＳ３４）。制御部３０は、静止画撮影時には、上述した特殊画像処理は行わない。
【００７４】
制御部３０は、撮影指示がないと判断すると（ステップＳ３２のＮＯ）、電源オフ操作が行われたかを判断する（ステップＳ３６）。制御部３０は、電源オフ操作がないと判断すると（ステップＳ３６のＮＯ）、ステップＳ１２に戻る。制御部３０は、電源オフ操作がされたと判断すると（ステップＳ３６のＹＥＳ）、ＳＤＲＡＭ２０の色解析済フラグを０にして、初期化する（ステップＳ３８）。また、制御部３０は、ＳＤＲＡＭ２０の結果ａ、結果ｂの初期化も行う。制御部３０は、電源オフ処理を行い（ステップＳ４０）、制御処理を終了する。
【００７５】
なお、図７、図８のフローチャートでは、説明を簡単にするため、電源がオフされるまで、撮影環境は一定で、特殊画像処理が切換わらないことを前提にした。撮影中のステップＳ１６〜ステップＳ２２の変化に対応して、通常画像処理と特殊画像処理を切換えるようにするために、例えば、色解析済フラグが一定時間で０に初期化されるようにしてもよい。また、ステップＳ１４の後に、ステップＳ１６〜ステップＳ２２の変化を検出して、特殊画像処理から通常画像処理へ切換える処理を含めるようにしてもよい。
【００７６】
また、図８のステップＳ１０８では、結果ａと結果ｂを比較する処理を行ったが、結果ａと結果ｂを比較する処理を行わなくてもよい。色補正指示部３２は、高ＩＳＯ感度画像で、結果ａに含まれない色の画素（図９の例で表Ｔ３以外の色）について、その画素の彩度を低下等（グレー化や置換えを含む）させるよう画像生成部５０に指示するようにしてもよい。この場合には、ステップＳ１０４での、高ＩＳＯ感度画像の色解析は不要になる。
【００７７】
〈変形例〉
上述の特殊画像処理は、撮像装置以外でも実現することができる。図１４は、上述の特殊画像処理を行う画像処理装置２００の構成を示す図である。画像処理装置２００は、ＳＤＲＡＭ２０、制御部３０、色解析部３１、色補正指示部３２、解析範囲指示部３３、環境輝度検知部４０、電池残量検知部４２、画像生成部５０、画像入力部５５、記憶部６０及び入出力ＩＦ２１０を有する。ＳＤＲＡＭ２０〜記憶部６０は、図２のブロック図で説明したとの同一の機能であるので、説明は省略する。入出力ＩＦ（Interface）２１０は、画像処理装置２００と周辺デバイス間でデータの通信を行うもので、例えば、ＵＳＢ（Universal Serial Bus）規格で構成される。周辺デバイスとして、撮像部１０、表示部７０及び操作部８０等が接続される。
【００７８】
また、画像処理装置２００は、図５で説明したＣＰＵ１００等を有する。制御部３０、色解析部３１、色補正指示部３２、解析範囲指示部３３及び画像生成部５０は、制御プログラムを読込んだＣＰＵ１００によるソフトウェア処理により実現される。
【００７９】
〈効果〉
以上説明した撮像装置１（画像処理装置２００を含む）によれば、色ノイズが低減された高ＩＳＯ感度撮影によるライブビュー画像が表示されるので、低照度下等の環境でもフレーミングが容易にできるようになる。撮像装置１は、低ＩＳＯ感度画像で検出されない色を色ノイズと判定して、高ＩＳＯ感度画像で色ノイズと判定された色を補正するので、実際の被写体画像を損なうことなく、色ノイズを低減したライブビュー画像を表示することができる。また、色ノイズの補正として、色ノイズの画素について、低彩度化、グレー化、低ＩＳＯ感度画像の色に置換え等を行うので、簡単な処理でフレーミングの邪魔になる色ノイズを低減することができる。また、補正範囲を設定することもできるので、必要な範囲だけ、色ノイズを低減することができる。
【００８０】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用ができることはもちろんである。
【符号の説明】
【００８１】
１    撮像装置
１０    撮像部
１１      レンズ部
１２      撮像素子
１３      信号処理部
１４      ＡＤ変換部
１５      ＡＥ部
１６      ＡＦ部
１７      レンズ駆動部
１８      素子駆動部
２０    ＳＤＲＡＭ
３０    制御部
３１    色解析部
３２    色補正指示部
３３    解析範囲指示部
４０    環境輝度検知部
４２    電池残量検知部
５０    画像生成部
５５    画像入力部
６０    記憶部
７０    表示部
８０    操作部
９０    ＡＳＩＣ
【図１】
2018186363.tif 000003
【図２】
2018186363.tif 000004
【図３】
2018186363.tif 000005
【図４】
2018186363.tif 000006
【図５】
2018186363.tif 000007
【図６】
2018186363.tif 000008
【図７】
2018186363.tif 000009
【図８】
2018186363.tif 000010
【図９】
2018186363.tif 000011
【図１０】
2018186363.tif 000012
【図１１】
2018186363.tif 000013
【図１２】
2018186363.tif 000014
【図１３】
2018186363.tif 000015
【図１４】
2018186363.tif 000016