(57)【要約】【課題】画像信号における領域ごとのノイズ量を推定するために利用可能な情報を導出する技術を提供する。【解決手段】撮像手段により生成された第１の画像信号に対して、各画素の信号が適応的に増幅される信号処理を施すことにより第２の画像信号を生成する信号処理手段と、前記第１の画像信号及び前記第２の画像信号の信号値に基づき、前記信号処理による信号の増幅量を、１以上の画素を含む画素領域ごとに算出する算出手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】図２
2016158164.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により生成された第１の画像信号に対して、各画素の信号が適応的に増幅される信号処理を施すことにより第２の画像信号を生成する信号処理手段と、
前記第１の画像信号及び前記第２の画像信号の信号値に基づき、前記信号処理による信号の増幅量を、１以上の画素を含む画素領域ごとに算出する算出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第２の画像信号において前記増幅量が閾値よりも大きい画素領域を検出する検出手段
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ユーザ指示に従って前記閾値を設定する設定手段
を更に備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記検出手段で検出された画素領域が強調表示されるように前記第２の画像信号を処理する強調処理手段
を更に備えることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記強調処理手段は、前記第２の画像信号において、前記検出された画素領域の色及び輝度のうちの少なくとも一方を変更する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記強調処理手段は、前記第２の画像信号において、前記検出された画素領域に所定の画像を重畳する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記信号処理手段における前記信号処理の設定を変更する変更手段を更に備え、
前記増幅量が前記閾値よりも大きい画素領域が前記検出手段で検出された場合、前記変更手段は、前記信号処理による信号の増幅量を増大させる設定の変更を行わない
ことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記検出手段で検出された画素領域の増幅量と、前記第２の画像信号とを関連付けて記録する記録手段
を更に備えることを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記算出手段で算出された前記画素領域ごとの増幅量と、前記第２の画像信号とを関連付けて記録する記録手段
を更に備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記信号処理手段における前記信号処理は、ノイズリダクション処理を含み、
前記画像処理装置は、前記増幅量に基づいて前記ノイズリダクション処理の設定を更新する更新手段を更に備える
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第２の画像信号に対して、前記増幅量に応じたノイズリダクション処理を施すノイズリダクション手段
を更に備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記算出手段は、前記増幅量の算出に先立ち、前記第１の画像信号及び前記第２の画像信号の信号形式を揃える
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記算出手段は、前記増幅量として、前記第１の画像信号の信号値と前記第２の画像信号の信号値との差又は比を算出する
ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
請求項１乃至１３のいずれか１項に記載の画像処理装置と、
前記撮像手段と、
を備えることを特徴とする撮像装置。
【請求項１５】
請求項４乃至６のいずれか１項に記載の画像処理装置と、
前記撮像手段と、
前記強調処理手段により処理された前記第２の画像信号を表示する表示手段と、
を備えることを特徴とする撮像装置。
【請求項１６】
前記表示手段が表示する画像を、前記強調処理手段により処理された前記第２の画像信号と前記強調処理手段により処理されていない前記第２の画像信号との間で切り替える切り替え手段
を更に備えることを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
画像処理装置の制御方法であって、
撮像手段により生成された第１の画像信号に対して、各画素の信号が適応的に増幅される信号処理を施すことにより第２の画像信号を生成する信号処理工程と、
前記第１の画像信号及び前記第２の画像信号の信号値に基づき、前記信号処理による信号の増幅量を、１以上の画素を含む画素領域ごとに算出する算出工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項１８】
コンピュータを請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルビデオカメラなどの撮像装置が動画像を撮影する場合、撮像装置は、各種撮影設定に応じて画像信号を増幅する。例えば、撮像装置は、露出を適正にするために、画像信号を増幅するためのゲインを上げたり、ホワイトバランスを適正にするために、画像信号のうち特定の色成分を増幅したりする。また、撮像装置は、階調を良好に補正するために、信号レベルごとに増幅量を変えるような処理も行う。このような画像信号の増幅処理はノイズを生じさせるため、最終的に得られる動画像の画像が劣化する可能性がある。
【０００３】
動画像の撮影中に、ユーザは、電子ビューファインダ（ＥＶＦ）や小型モニタなどに表示されるライブビュー画像を見て、露出、色再現、及びノイズなどをある程度把握することができる。そして、ユーザは例えば、ノイズが多いと判断した場合に、ノイズを減少させるように撮影設定を変更することができる。
【０００４】
しかしながら、ユーザが動画像の撮影中にノイズをリアルタイムで正確に把握することは、容易ではない。また、ノイズが認識される度合いは、動画像の再生環境にも依存する。例えば、撮像装置が備えるＥＶＦや小型モニタでは認識されなかったノイズが、大型モニタでの動画像の再生時には大きなノイズとして認識される可能性がある。
【０００５】
ノイズに関係する従来技術として、特許文献１及び特許文献２が知られている。特許文献１は、撮影時の感度が一定の感度（例えば、ＩＳＯ４００）より高い場合に、通常よりノイズになることをユーザに報知する技術を開示している。また、特許文献２は、信号レベルに加え、撮影時の温度、ゲインなどの動的に変化する要因に対応したノイズ量をモデル化し、撮影状況に最適化したノイズ低減処理を行う技術を開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２９５２８１号公報
【特許文献２】特開２００６−０２３９５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の技術では、撮像時の感度のみに基づいて報知するか否かが決定されるため、ユーザは、画面全体としてノイズが出やすい撮影設定であることは理解できるが、画面のどの部分にノイズが多いかを認識することができない。また、特許文献２の技術では、ノイズ量の推定のために負荷の高い計算が必要になる。即ち、近年の撮像装置は複雑な補正（信号処理）を行う傾向にあるため、ノイズ量をモデル化して推定するには事前に膨大なデータを撮像装置に組み込んでおく必要があり、それに応じて計算の負荷も高くなる。また、モデル化されていない例外的な撮影条件が発生した場合、ノイズ量の推定が困難になる。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、画像信号における領域ごとのノイズ量を推定するために利用可能な情報を導出する技術を提供することを特徴とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、撮像手段により生成された第１の画像信号に対して、各画素の信号が適応的に増幅される信号処理を施すことにより第２の画像信号を生成する信号処理手段と、前記第１の画像信号及び前記第２の画像信号の信号値に基づき、前記信号処理による信号の増幅量を、１以上の画素を含む画素領域ごとに算出する算出手段と、を備えることを特徴とする画像処理装置を提供する。
【００１０】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１１】
本発明によれば、画像信号における領域ごとのノイズ量を推定するために利用可能な情報を導出することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１及び第２の実施形態に係る撮像装置１００の構成を示すブロック図。
【図２】第１の実施形態に係る画像処理のフローチャート。
【図３】図２のＳ２１０における強調処理の結果を説明するための図。
【図４】第２の実施形態に係る画像処理のフローチャート。
【図５】第３の実施形態に係る撮像装置５００の構成を示すブロック図。
【図６】第３の実施形態に係る画像処理のフローチャート。
【図７】第４の実施形態に係る撮像装置７００の構成を示すブロック図。
【図８】第４の実施形態に係る画像処理のフローチャート。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１４】
［第１の実施形態］
本発明の画像処理装置を撮像装置に適用した実施形態について説明する。図１は、第１の実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、光学系１０１、撮像素子１０２、及びアナログフロントエンド（ＡＦＥ）１０３を含む撮像部１５０と、ゲイン回路１０４、補正処理部１０５、及びＮＲ回路１０６（ノイズリダクション回路）を含む信号処理部１６０と、を有する。
【００１５】
光学系１０１は、絞りやレンズなどを含む。光学系１０１を通った光は、ＣＭＯＳやＣＣＤなどの撮像素子１０２により光電変換される。光電変換により得られた信号は、ＣＰＵやメモリ等で構成されるシステム制御部１１０で定められたシャッタースピード及びフレームレートに従って撮像素子１０２より出力される。ＡＦＥ１０３は、撮像素子１０２より出力された信号をＡ／Ｄ変換してデジタル画像信号（以下、単に「画像信号」とも呼ぶ）を生成する。
【００１６】
ＡＦＥ１０３から出力された画像信号は、ゲイン回路１０４で増幅され、補正処理部１０５に送られる。補正処理部１０５は、ホワイトバランス補正、ガンマ補正、及び輪郭補正などの補正処理、及び、切り出しサイズや拡大率の変更などの、画像信号処理を行う。ホワイトバランス補正では、被写体の色を見た目に近づけるため、赤（Ｒ）信号成分と青（Ｂ）信号成分のバランスを変え、それぞれの増幅量を変更する処理が行われる。ガンマ補正では、階調変換処理が行われ、画素ごとの信号値が変化する。例えば、暗部を持ち上げるようなガンマを適用した際には、低い信号値を持った画素の増幅量が大きくなる。輪郭補正では、微分処理や空間フィルタなどにより画像信号からエッジ成分を検出し、輪郭部が際立つよう周辺の信号成分の増幅量を変化させる処理が行われる。補正処理部１０５から出力された画像信号は、ＮＲ回路１０６に送られる。ＮＲ回路１０６は、ローパスフィルタ及び２次元フィルタを用いたスムージング処理などのノイズリダクション処理を行って各画素値を変化させることにより、画像信号のノイズを低減する。このように、信号処理部１６０における信号処理では、画像信号の各画素の信号が、一律ではなく適応的に増幅される。
【００１７】
ＮＲ回路１０６から出力される画像信号は、記録処理部１０７に送られる。記録処理部１０７は、画像信号を動画記録用のフォーマットに変換し、メモリーカードやＤＶＤ等の記録媒体１０８に画像データとして記録する。また、ＮＲ回路１０６から出力される画像信号は、画面出力部１１１にも送られ、ＬＣＤ等の表示部１１２で表示される。また、画面出力部１１１は、画像信号を外部表示部１１３に出力して表示させることもできる。
【００１８】
操作部１０９は、ユーザの操作に従い、システム制御部１１０に対し、ホワイトバランス、露出、及びズームなどの設定指示や、動画像の記録の開始指示及び終了指示などの、様々な指示を行う。システム制御部１１０は、絞りの位置やズームの位置などの光学系１０１の状態に関する情報、ユーザによる操作部１０９の操作情報、及び、信号処理部１６０より送られた輝度情報を含めた色情報などを取得する。そして、システム制御部１１０は、取得した情報に基づいて、光学系１０１、撮像素子１０２、ＡＦＥ１０３、ゲイン回路１０４、補正処理部１０５、ＮＲ回路１０６、及び記録処理部１０７に対し、制御やパラメータの設定変更などを行う。
【００１９】
増幅量算出部１１４は、ＡＦＥ１０３から、信号処理部１６０による増幅処理前の画像信号（第１の画像信号）を取得する。また、増幅量算出部１１４は、ＮＲ回路１０６から、信号処理部１６０による増幅処理後の画像信号（第２の画像信号）を取得する。そして、増幅量算出部１１４は、増幅処理前の画像信号と増幅処理後の画像信号とに基づき、信号処理部１６０における画像信号の増幅量を算出する。増幅量の算出処理に先立ち、増幅処理前の画像信号と増幅処理後の画像信号とで信号形式が異なる場合、増幅量算出部１１４は、２つの画像信号を共通の信号形式に揃える処理を行う。ここでは、共通の信号形式としてＹＣＣ信号を用いるものとするが、他の種類の輝度・色差信号、ＲＧＢ信号、Ｂａｙｅｒ信号、又は補色フィルタによる色成分信号などを用いてもよい。また、２つの画像信号の解像度が異なる場合、増幅量算出部１１４は、縮小処理や拡大処理を行って２つの画像信号の解像度を揃えてもよい。
【００２０】
増幅量の算出処理の具体例について説明する。ここでは、増幅量算出部１１４は、画素ごとに信号成分ごとの増幅量を算出するものとする。増幅量算出部１１４は、次の式により増幅量を算出する。
【００２１】
ＧＹ（ｘ，ｙ）  ＝Ｙ２（ｘ，ｙ）／Ｙ１（ｘ，ｙ）
ＧＣｂ（ｘ，ｙ）＝Ｃｂ２（ｘ，ｙ）／Ｃｂ２（ｘ，ｙ）
ＧＣｒ（ｘ，ｙ）＝Ｃｒ２（ｘ，ｙ）／Ｃｒ２（ｘ，ｙ）
ここで、（ｘ，ｙ）は対象画素のｘｙ座標系における画素位置を示し、ＧＹ（ｘ，ｙ）、ＧＣｂ（ｘ，ｙ）、ＧＣｒ（ｘ，ｙ）は対象画素の増幅量を示す。また、Ｙ１（ｘ，ｙ）、Ｃｂ１（ｘ，ｙ）、Ｃｒ１（ｘ，ｙ）は対象画素の増幅処理前の各信号成分を示し、Ｙ２（ｘ，ｙ）、Ｃｂ２（ｘ，ｙ）、Ｃｒ２（ｘ，ｙ）は対象画素の増幅処理後の各信号成分を示す。
【００２２】
なお、上の例では、除算により増幅量を算出するものとした（即ち、増幅量を、増幅処理前後の信号成分の比として定義した）が、本実施形態はこれに限定されない。例えば、増幅量を、増幅処理前後の信号成分の差と定義し、増幅後の信号成分から増幅前の信号成分を引くことにより増幅量を算出してもよい。
【００２３】
また、上の例では、画素ごとに増幅量を算出するものとしたが、本実施形態はこれに限定されない。例えば、増幅量算出部１１４は、２以上の画素を含む画素グループごとに増幅量を算出してもよい。この場合、例えば、増幅量算出部１１４は、対象画素グループの増幅処理前のＹ成分の合計値と対象画素グループの増幅処理後のＹ成分の合計値とに基づいて、対象画素グループのＹ成分の増幅量を算出することができる。従って、一般化すると、増幅量算出部１１４は、画像信号の増幅量を、１以上の画素を含む画素領域ごとに算出する。以下の説明において、画素ごとに実行されるものとして説明される各種処理（画素ごとに増幅量を算出する処理や画素ごとに増幅量を閾値と比較する処理など）は、特に断らない限り、１以上の画素を含む画素領域ごとに実行可能である。これは、他の実施形態においても同様である。
【００２４】
また、上の例では、信号成分ごとに増幅量を算出するものとしたが、本実施形態はこれに限定されない。例えば、増幅量算出部１１４は、増幅処理前の画像信号と増幅処理後の画像信号をＲＧＢ形式に揃え、対象画素の増幅処理前のＲＧＢ各成分の合計値と対象画素の増幅処理後のＲＧＢ各成分の合計値とに基づいて、対象画素の増幅量を算出してもよい。
【００２５】
再び図１を参照すると、閾値設定部１１５は、システム制御部１１０を通じて、ユーザが操作部１０９により指定した増幅量を受け取る。閾値設定部１１５に入力される増幅量は、Ｙ、Ｃｂ、Ｃｒ各成分の増幅量の形式であってもよいし、Ｙ、Ｃｂ、Ｃｒ各成分の増幅量のセットを複数格納したテーブルデータにおいて特定のセットを参照するインデックス値の形式であってもよい。閾値設定部１１５は、入力された増幅量を、増幅量比較部１１６における増幅量の比較のための閾値として設定する。即ち、閾値設定部１１５は、ユーザ指示に従って増幅量比較部１１６に閾値を設定することができる。
【００２６】
増幅量比較部１１６は、増幅量算出部１１４により算出された増幅量を、閾値設定部１１５により設定された閾値と比較し、閾値より増幅量が大きい画素（以下、「ノイズ画素」とも呼ぶ）を、信号増幅量がノイズの目立ちやすい画素と判断する。増幅量比較部１１６は、閾値より増幅量が大きい画素について、画素位置、対象信号成分（閾値より増幅量が大きい信号成分）、及び増幅量などを示す情報（以下、「ノイズ画素情報」とも呼ぶ）を、システム制御部１１０へ送る。
【００２７】
画面出力部１１１は、システム制御部１１０からノイズ画素情報を得る。画面出力部１１１は、ノイズ画素情報が示す画素位置に基づき、ノイズ画素が強調表示されるように、信号処理部１６０から取得した画像信号の対応画素に強調処理を施す。強調処理は、例えば、ノイズ画素の着色（色の変更）、及びノイズ画素の輝度の変更（例えば、輝度の向上）のうちの少なくとも一方の処理である。また、強調処理は、ノイズ画素により構成される領域に所定の画像（例えば、ゼブラパターン）を重畳する処理であってもよい。その後、画面出力部１１１は、強調処理が施された画像信号を、表示部１１２又は外部表示部１１３に出力して表示させる。
【００２８】
次に、図２のフローチャートを参照して、第１の実施形態に係る画像処理について説明する。ここでは、撮像装置１００は、動画像の撮影中に本フローチャートの画像処理を実行するものとするが、本実施形態はこれに限定されない。例えば、撮像装置１００は、静止画撮影モードにおいてライブビュー画像を表示中に本フローチャートの画像処理を実行してもよい。なお、本フローチャートの各ステップの処理は、特に断らない限り、システム制御部１１０が所定のプログラムに従って撮像装置１００の各構成要素を制御することにより実現される。
【００２９】
Ｓ２０２で、増幅量算出部１１４は、撮像部１５０から、増幅処理前の画像信号を取得する。Ｓ２０３で、増幅量算出部１１４は、信号処理部１６０から、増幅処理後の画像信号を取得する。Ｓ２０４で、増幅量算出部１１４は、Ｓ２０２及びＳ２０３において取得した２つの画像信号の形式が異なるか否かを判定する。２つの画像信号の形式が異なる場合、処理はＳ２０５に進み、そうでない場合、処理はＳ２０６に進む。Ｓ２０５で、増幅量算出部１１４は、２つの画像信号の形式を揃える。Ｓ２０６で、増幅量算出部１１４は、２つの画像信号から増幅量を算出する。Ｓ２０７で、増幅量算出部１１４は、Ｓ２０６において算出された増幅量を、閾値設定部１１５により設定された閾値と比較する。
【００３０】
Ｓ２０８で、増幅量算出部１１４は、閾値より増幅量が大きい画素があるか否かを判定する。閾値より増幅量が大きい画素がある場合、処理はＳ２０９に進み、そうでない場合、処理はＳ２１１に進む。
【００３１】
Ｓ２０９で、増幅量算出部１１４は、システム制御部１１０へノイズ画素情報を出力する。Ｓ２１０で、画面出力部１１１は、システム制御部１１０から取得したノイズ画素情報に基づき、信号処理部１６０から取得した画像信号に対してノイズ画素の強調処理を行う。Ｓ２１１で、画面出力部１１１は、信号処理部１６０から取得した画像信号を表示部１１２又は外部表示部１１３に出力して表示させる。ここで出力される画像信号は、Ｓ２１０の処理が実行された場合は、強調処理後の画像信号である。その後、処理はＳ２０２に戻り、次のフレームについて同様の処理が行われる。
【００３２】
なお、Ｓ２０８において、増幅量算出部１１４は、特定の画素の全ての色成分について増幅量が閾値よりも大きい場合に、この画素が閾値より増幅量が大きい画素であると判断するものとするが、本実施形態はこれに限定されない。例えば、増幅量算出部１１４は、特定の画素の少なくとも１成分について増幅量が閾値よりも大きい場合に、この画素が閾値より増幅量が大きい画素であると判断してもよい。
【００３３】
図３は、図２のＳ２１０における強調処理の結果を説明するための図である。図３の右側に示すように、閾値より増幅量が大きい画素（ノイズ画素）の領域がハッチングされている。これにより、ユーザは、ノイズが目立つ可能性の高い画素を容易に認識することができる。そして、ユーザは、操作部１０９を操作することにより、ハッチングされた領域が無くなるように、又は小さくなるように、撮影設定を変更することができる。また、システム制御部１１０は、操作部１０９を介したユーザ指示に従い、表示される画像を、強調処理された画像と強調処理されていない画像との間で切り替えるように画面出力部１１１を制御する。
【００３４】
以上説明したように、第１の実施形態によれば、撮像装置１００は、画素ごと（厳密には、１以上の画素を含む画素領域ごと）に画像信号の増幅量を算出し、閾値より増幅量が大きい画素を強調表示する。これにより、ユーザは、ノイズが目立つ可能性の高い画素を容易に認識することができる。
【００３５】
［第２の実施形態］
第２の実施形態では、ノイズが増加するようにユーザが撮影設定を変更することを抑制するための構成について説明する。本実施形態において、撮像装置１００の基本的な構成は、第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。
【００３６】
図４は、第２の実施形態に係る画像処理のフローチャートである。図４において、図２と同一又は同様の処理が行われるステップには同一の符号を付す。ここでは、撮像装置１００は、動画像の撮影中に本フローチャートの画像処理を実行するものとするが、本実施形態はこれに限定されない。例えば、撮像装置１００は、静止画撮影モードにおいてライブビュー画像を表示中に本フローチャートの画像処理を実行してもよい。本フローチャートの各ステップの処理は、特に断らない限り、システム制御部１１０が所定のプログラムに従って撮像装置１００の各構成要素を制御することにより実現される。
【００３７】
Ｓ２０８において閾値より増幅量が大きい画素があると判定された場合、処理はＳ２０８からＳ４０１に進む。Ｓ４０１で、システム制御部１１０は、画像信号の増幅量を増大させるような撮影設定をユーザが行うことを制限する。具体的には、ゲイン回路１０４の感度の上昇、補正処理部１０５の増幅量が増大するようなガンマ補正の変更やホワイトバランスの変更、ＮＲ回路１０６のＮＲ強度の低下などが制限される。ユーザが操作部１０９を介してこのような制限に該当する撮影設定の変更指示を行った場合、システム制御部１１０は、撮影設定の変更を行わない。また、システム制御部１１０は、画面出力部１１１を通じて、閾値より増幅量が大きい画素があるために撮影設定の変更を制限している旨の警告を、表示部１１２又は外部表示部１１３に表示する。これにより、ユーザが予め設定した増幅量の閾値を超えるような撮影設定の変更を行うことを抑制することができる。また、図４には示されていないが、第１の実施形態と同様、撮像装置１００は、ノイズ画素の強調処理を行ってもよい。また、撮像装置１００は、ユーザが操作部１０９の操作により撮影設定の制限を一時的に無効化できるように構成されていてもよい。また、撮像装置１００は、ユーザが操作部１０９の操作によりシステム制御部１１０による撮影設定の制限を禁止できるように構成されていてもよい。
【００３８】
Ｓ２０８において閾値より増幅量が大きい画素がないと判定された場合、処理はＳ２０８からＳ４０２に進む。Ｓ４０２で、システム制御部１１０は、撮影設定の制限を解除する。
【００３９】
Ｓ４０１又はＳ４０２の処理に続き、Ｓ４０３で、画面出力部１１１は、信号処理部１６０から取得した画像信号を表示部１１２又は外部表示部１１３に出力して表示させる。その後、処理はＳ２０２に戻り、次のフレームについて同様の処理が行われる。
【００４０】
以上説明したように、第２の実施形態によれば、撮像装置１００は、画素ごと（厳密には、１以上の画素を含む画素領域ごと）に画像信号の増幅量を算出する。そして、撮像装置１００は、閾値より増幅量が大きい画素がある場合、画像信号の増幅量を増大させるような撮影設定の変更を行わない。これにより、ユーザが意図せず画像信号のノイズ量を増加させてしまうことを抑制することができる。
【００４１】
［第３の実施形態］
第３の実施形態では、記録対象の画像データに対して、増幅量を示す情報をメタデータ（タグ情報）として付加する構成について説明する。この構成により、ユーザは、撮影した画像データの信号増幅量を撮影後に参照することが可能になる。なお、以下では、記録対象の画像データが動画像データであるものとして説明を行うが、本実施形態はこれに限定されず、記録対象の画像データは静止画像データであってもよい。
【００４２】
図５は、第３の実施形態に係る撮像装置５００の構成を示すブロック図である。図５において、第１の実施形態に係る撮像装置１００（図１）と同一又は同様の構成要素には同一の符号を付す。また、図５において、破線部はオプションの構成要素であり、詳細については後述する。以下、主に第１の実施形態と異なる点について説明する。
【００４３】
本実施形態では、増幅量算出部５１４は、図１の増幅量算出部１１４と同様、信号処理部１６０における画像信号の増幅量を算出する。そして、増幅量算出部５１４は、算出した増幅量をシステム制御部５１０へ送る。システム制御部５１０は、記録処理部５０７に対して、タイムコード情報や撮影条件などと共に増幅量を送る。記録処理部５０７は、図１の記録処理部１０７と同様、信号処理部１６０から取得した画像信号を記録媒体１０８に画像データとして記録する。その際に、記録処理部５０７は、タイムコード情報や撮影条件などに加え、増幅量を示す情報をメタデータ（タグ情報）として画像データに付加する。タグ情報として付加する増幅量の形式は、増幅量算出部５１４により算出された増幅量の形式そのままであってもよいし、１つのシーンファイル内の各画素各信号成分の増幅量の最大値及び平均値の形式であってもよい。或いは、時系列ごとや一定時間ごとの各画素の増幅量の形式であってもよい。また、公知の主被写体検出処理と組み合わせ、画面中の一部の領域（主被写体領域）の増幅量の形式で付加してもよい。
【００４４】
図６は、第３の実施形態に係る画像処理のフローチャートである。図６において、図２と同一又は同様の処理が行われるステップには同一の符号を付す。また、図６において、破線部はオプションのステップであり、詳細については後述する。ここでは、撮像装置５００は、動画像の撮影中に本フローチャートの画像処理を実行するものとするが、本実施形態はこれに限定されない。例えば、撮像装置５００は、静止画の撮影時に、記録対象の静止画について本フローチャートの画像処理を実行してもよい。本フローチャートの各ステップの処理は、特に断らない限り、システム制御部５１０が所定のプログラムに従って撮像装置５００の各構成要素を制御することにより実現される。
【００４５】
本実施形態では、Ｓ２０６において増幅量が算出された後、処理はＳ６０１に進む。Ｓ６０１で、増幅量算出部５１４は、システム制御部５１０へ増幅量を出力する。Ｓ６０２で、システム制御部５１０は記録処理部５０７へ増幅量を送り、記録処理部５０７は増幅量をタグ情報として動画像に付加する。Ｓ６０３で、記録処理部５０７は、タグ情報が付加された動画像（画像データ）を記録媒体１０８に記録する。その後、処理はＳ２０２に戻り、次のフレームについて同様の処理が行われる。
【００４６】
以上説明したように、第３の実施形態によれば、撮像装置５００は、画素ごと（厳密には、１以上の画素を含む画素領域ごと）に画像信号の増幅量を算出し、増幅量と画像信号とが関連付けられた画像データを記録媒体１０８に記録する。これにより、ユーザは、撮影後に動画像の増幅量を容易に参照できる。また、この動画像を処理するパーソナルコンピュータ（ＰＣ）などの情報処理装置は、増幅量に基づき、採用シーンの選別や、後処理のノイズリダクション処理の適応化などを行ってもよい。
【００４７】
なお、本実施形態においては、システム制御部５１０は増幅量の大小に関わらずこれを受け取るものとしたが、代わりに、第１の実施形態と同様、システム制御部５１０は、閾値を超えた増幅量のみを受け取ってもよい。この場合、撮像装置５００は、図５において破線部で示す閾値設定部１１５及び増幅量比較部１１６を備え、図６において破線部で示すＳ２０７乃至Ｓ２０９の処理を実行する。この場合、図６において、処理はＳ２０６からＳ２０７へ進み、第１の実施形態と同様、増幅量と閾値との間の大小関係に応じて、増幅量比較部１１６からシステム制御部５１０へノイズ画素情報が出力される。そして、Ｓ６０２で、記録処理部５０７は、システム制御部５１０から取得したノイズ画素情報に基づき、ノイズ画素の位置及び増幅量に関する情報を動画像に付加する。
【００４８】
［第４の実施形態］
第４の実施形態では、画像信号の増幅量に応じたＮＲ処理を行う構成について説明する。この構成により、信号処理により増幅されたノイズの効率的な低減が実現される。
【００４９】
図７は、第４の実施形態に係る撮像装置７００の構成を示すブロック図である。図７において、第１の実施形態に係る撮像装置１００（図１）と同一又は同様の構成要素には同一の符号を付す。また、図７において、破線部はオプションの構成要素であり、詳細については後述する。以下、主に第１の実施形態と異なる点について説明する。
【００５０】
システム制御部７１０は、第１の実施形態と同様、増幅量比較部１１６からノイズ画素情報を受け取る。そして、システム制御部７１０は、ノイズ画素情報に基づいて色成分の分布を分析し、色成分の分布情報に基づいて特定色範囲に適応したＮＲ設定を生成する。システム制御部７１０は、このＮＲ設定をＮＲ回路７０６ａに送る。ＮＲ回路７０６ａは、システム制御部７１０から受け取ったＮＲ設定を、次の画像信号のＮＲ処理から用いる。なお、ここでは、システム制御部７１０はＮＲ設定の生成を色成分の分布に基づいて行うものとしたが、輝度信号、位置情報、又は増幅量の大きさなどを用いてＮＲ設定を生成してもよい。
【００５１】
図８は、第４の実施形態に係る画像処理のフローチャートである。図８において、図２と同一又は同様の処理が行われるステップには同一の符号を付す。また、図８において、破線部はオプションのステップであり、詳細については後述する。ここでは、撮像装置７００は、動画像の撮影中に本フローチャートの画像処理を実行するものとするが、本実施形態はこれに限定されない。例えば、撮像装置７００は、静止画撮影モードにおいてライブビュー画像を表示中に本フローチャートの画像処理を実行してもよい。なお、本フローチャートの各ステップの処理は、特に断らない限り、システム制御部７１０が所定のプログラムに従って撮像装置７００の各構成要素を制御することにより実現される。
【００５２】
Ｓ２０９に続くＳ８０１で、システム制御部７１０は、前述の通りノイズ画素情報（色成分の分布又は増幅量など）に基づいてＮＲ設定を生成し、ＮＲ回路７０６ａに送る。これにより、ＮＲ回路７０６ａのＮＲ設定が更新される。Ｓ８０２で、画面出力部１１１は、信号処理部１６０から取得した画像信号を表示部１１２又は外部表示部１１３に出力して表示させる。その後、処理はＳ２０２に戻り、次のフレームについて同様の処理が行われる。
【００５３】
以上説明したように、第４の実施形態によれば、撮像装置７００は、画素ごと（厳密には、１以上の画素を含む画素領域ごと）に画像信号の増幅量を算出し、増幅量に基づいてＮＲ回路７０６ａにおけるＮＲ処理の設定を更新する。これにより、増幅量の変化に伴ってノイズ成分が増幅された画素に対して適応的にＮＲ処理を施すことができ、より効率的にノイズ低減を行うことが可能となる。
【００５４】
なお、本実施形態においては、信号処理部１６０にＮＲ回路７０６ａが含まれておりＮＲ設定をフィードバック制御によって変化させるものとして説明を行ったが、本実施形態はこれに限定されない。図７において破線で示すように、撮像装置７００が信号処理部１６０の後段にＮＲ回路７０６ｂを備え、ＮＲ設定をフィードフォーワード制御によって変化させてもよい。即ち、撮像装置７００は、信号処理部１６０から出力された信号処理後の画像信号に対して、増幅量に応じたＮＲ処理を施してもよい。
【００５５】
また、増幅量算出部１１４は、図５の増幅量算出部５１４と同様、算出した増幅量を、閾値との大小関係に関わらずシステム制御部７１０へ送ってもよい。この場合、図８において、処理はＳ２０６からＳ８０１へ進み、システム制御部７１０は、増幅量算出部１１４から受け取った増幅量に基づいてＮＲ設定を生成する。
【００５６】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５７】
１００…撮像装置、１１０…システム制御部、１１４…増幅量算出部、１５０…撮像部、１６０…信号処理部
【図１】
2016158164.tif 000003
【図２】
2016158164.tif 000004
【図３】
2016158164.tif 000005
【図４】
2016158164.tif 000006
【図５】
2016158164.tif 000007
【図６】
2016158164.tif 000008
【図７】
2016158164.tif 000009
【図８】
2016158164.tif 000010