(57)【要約】【課題】低消費電力で画質を向上させることが可能な画像処理装置を提供する。【解決手段】互いに異なる露出で得られた第１の画像信号と第２の画像信号とを用いて画像を生成する画像処理装置であって、第１の画像信号に基づいて撮影シーンを判定する判定手段（１０７）と、撮影シーンに応じて、画像の部分領域における第２の画像信号を取得するか否かを制御する制御手段（１０８）と、部分領域において第１の画像信号と第２の画像信号とを合成して画像を生成する信号処理手段（１０３）とを有する。【選択図】図１
2017192048.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる露出で得られた第１の画像信号と第２の画像信号とを用いて画像を生成する画像処理装置であって、
前記第１の画像信号に基づいて撮影シーンを判定する判定手段と、
前記撮影シーンに応じて、前記画像の部分領域における前記第２の画像信号を取得するか否かを制御する制御手段と、
前記部分領域において前記第１の画像信号と前記第２の画像信号とを合成して前記画像を生成する信号処理手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記判定手段は、前記第１の画像信号と、該第１の画像信号を取得する際の撮影条件とに基づいて、前記撮影シーンを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記画像のうち被写体が含まれる範囲を、前記第２の画像信号を取得する前記部分領域の範囲として決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記判定手段は、前記部分領域における前記第１の画像信号に基づいて算出されたヒストグラムに基づいて、前記撮影シーンを判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記判定手段は、前記ヒストグラムの積分値に基づいて、前記第２の画像信号の露出を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記信号処理手段は、
前記撮影シーンに応じた所定の条件を満たす場合、前記部分領域において前記第１の画像信号と前記第２の画像信号とを合成し、該部分領域を除く他の領域において該第１の画像信号のみを用いて前記画像を生成し、
前記所定の条件を満たさない場合、前記第１の画像信号のみを用いて前記画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
互いに異なる露出で得られた第１の画像信号と第２の画像信号とを用いて画像を生成する撮像装置であって、
撮像光学系を介して形成された光学像を光電変換して前記第１の画像信号と前記第２の画像信号とを出力する撮像素子と、
前記第１の画像信号に基づいて撮影シーンを判定する判定手段と、
前記撮影シーンに応じて、前記画像の部分領域における前記第２の画像信号を取得するか否かを制御する制御手段と、
前記部分領域において前記第１の画像信号と前記第２の画像信号とを合成して前記画像を生成する信号処理手段と、を有することを特徴とする撮像装置。
【請求項８】
前記撮像素子は、
マトリックス状に配列された複数の画素を含み、前記光学像に応じた電圧信号を出力する第１の素子部と、
前記電圧信号をデジタル信号に変換して前記第１の画像信号および前記第２の画像信号を出力する第２の素子部と、を有することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記複数の画素は、
前記第１の画像信号を出力するための第１の画素群と、前記第２の画像信号を出力するための第２の画素群と、から構成されていることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記第１の画素群および前記第２の画素群は、前記複数の画素のうち互いに異なる行に配列されていることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記制御手段は、前記第１の画素群の読み出しと同時に前記第２の画素群の読み出しを行うことを特徴とする請求項９または１０に記載の撮像装置。
【請求項１２】
互いに異なる露出で得られた第１の画像信号と第２の画像信号とを用いて画像を生成する画像処理方法であって、
前記第１の画像信号に基づいて撮影シーンを判定するステップと、
前記撮影シーンに応じて、前記画像の部分領域における前記第２の画像信号を取得するか否かを制御するステップと、
前記部分領域において前記第１の画像信号と前記第２の画像信号とを合成して前記画像を生成するステップと、を有することを特徴とする画像処理方法。
【請求項１３】
互いに異なる露出で得られた第１の画像信号と第２の画像信号とを用いて画像を生成するプログラムであって、
前記第１の画像信号に基づいて撮影シーンを判定するステップと、
前記撮影シーンに応じて、前記画像の部分領域における前記第２の画像信号を取得するか否かを制御するステップと、
前記部分領域において前記第１の画像信号と前記第２の画像信号とを合成して前記画像を生成するステップと、コンピュータに実行させることを特徴とするプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影シーンに応じてＨＤＲ合成を部分的に行うことが可能な撮像装置に関する。
【背景技術】
【０００２】
従来から、一般的なデジタルカメラに用いられる撮像素子（ＣＣＤイメージセンサやＣＭＯＳイメージセンサなど）において、階調に関するダイナミックレンジ幅が銀塩フィルムに比べて狭いという問題がある。そこで特許文献１には、露光量の異なる複数の画像を合成することにより、高ダイナミックレンジの静止画や動画を生成するＨＤＲ合成（ＨＩＧＨ  ＤＹＮＡＭＩＣ  ＲＡＮＧＥ  ＩＭＡＧＩＮＧ）方法が開示されている。露光量の異なる複数の画像とは、例えば、明るいオーバー露出のＨＩＧＨ画像、適正露出のＭＩＤＤＬＥ画像、および、暗いアンダー露出のＬＯＷ画像である。
【０００３】
特許文献２には、１フレーム期間の撮影の際に複数の異なる露出の画像を撮影することが可能なイメージセンサを用いてＨＤＲ合成を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０６−１４１２２９号公報
【特許文献２】特開２０１１−２４４３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、露出条件の異なる画像をそれぞれ独立して撮影する場合が開示されているのみである。このため、動く被写体などに対して、被写体の軌跡が途切れることや、正確な合成を行うことが難しいという問題がある。
【０００６】
一方、特許文献２の方法では、同一面内において常に画像合成を行う。このように、撮像素子をＨＤＲ合成用にＨＩＧＨ画像とＬＯＷ画像とを常に高フレームレートで読み出す場合、消費電力が増加して熱が発生する。
【０００７】
そこで本発明は、低消費電力で画質を向上させることが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、互いに異なる露出で得られた第１の画像信号と第２の画像信号とを用いて画像を生成する画像処理装置であって、前記第１の画像信号に基づいて撮影シーンを判定する判定手段と、前記撮影シーンに応じて、前記画像の部分領域における前記第２の画像信号を取得するか否かを制御する制御手段と、前記部分領域において前記第１の画像信号と前記第２の画像信号とを合成して前記画像を生成する信号処理手段とを有する。
【０００９】
本発明の他の側面としての撮像装置は、互いに異なる露出で得られた第１の画像信号と第２の画像信号とを用いて画像を生成する撮像装置であって、撮像光学系を介して形成された光学像を光電変換して前記第１の画像信号と前記第２の画像信号とを出力する撮像素子と、前記第１の画像信号に基づいて撮影シーンを判定する判定手段と、前記撮影シーンに応じて、前記画像の部分領域における前記第２の画像信号を取得するか否かを制御する制御手段と、前記部分領域において前記第１の画像信号と前記第２の画像信号とを合成して前記画像を生成する信号処理手段とを有する。
【００１０】
本発明の他の側面としての画像処理方法は、互いに異なる露出で得られた第１の画像信号と第２の画像信号とを用いて画像を生成する画像処理方法であって、前記第１の画像信号に基づいて撮影シーンを判定するステップと、前記撮影シーンに応じて、前記画像の部分領域における前記第２の画像信号を取得するか否かを制御するステップと、前記部分領域において前記第１の画像信号と前記第２の画像信号とを合成して前記画像を生成するステップとを有する。
【００１１】
本発明の他の側面としてのプログラムは、互いに異なる露出で得られた第１の画像信号と第２の画像信号とを用いて画像を生成するプログラムであって、前記第１の画像信号に基づいて撮影シーンを判定するステップと、前記撮影シーンに応じて、前記画像の部分領域における前記第２の画像信号を取得するか否かを制御するステップと、前記部分領域において前記第１の画像信号と前記第２の画像信号とを合成して前記画像を生成するステップと、コンピュータに実行させる。
【００１２】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１３】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１４】
本発明によれば、低消費電力で画質を向上させることが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態における撮像装置のブロック図である。
【図２】本実施形態における撮像素子の説明図である。
【図３】本実施形態における撮像素子の画素選択の説明図である。
【図４（ａ）】本実施形態における撮像装置の画像合成動作の説明図である。
【図４（ｂ）】本実施形態における撮像装置の画像合成動作の説明図である。
【図４（ｃ）】本実施形態における撮像装置の画像合成動作の説明図である。
【図５】本実施形態において、逆光シーンを判定するための説明図である。
【図６】本実施形態において、白飛びシーンを判定するための説明図である。
【図７】本実施形態における画像処理方法のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１７】
まず、図１を参照して、本実施形態における撮像装置について説明する。図１は、撮像装置１０のブロック図である。撮像装置１０は、例えば、動画機能付き電子スチルカメラやビデオカメラであるが、これらに限定されるものではない。
【００１８】
図１に示されるように、撮像装置１０は、レンズ１０１、イメージセンサ１０２、映像信号処理部１０３、圧縮伸長部１０４、レンズ駆動制御部１０５、評価値検出部１０６、シーン判定部１０７、および、システム制御部１０８を有する。また撮像装置１０は、発光部１０９、操作部１１０、記憶部１１１、および、表示部１１２を有する。本実施形態において、例えば、映像信号処理部１０３、シーン判定部１０７、および、システム制御部１０８により、互いに異なる露出で得られた第１の画像信号と第２の画像信号とを用いて画像を生成する画像処理装置が構成される。なお、映像信号処理部１０３、シーン判定部１０７、および、システム制御部１０８の各部の機能は、少なくとも一つのプロセッサまたは回路により実行される。
【００１９】
レンズ１０１は、光学系（撮像光学系）を構成するレンズ群である。レンズ１０１内には、フォーカスレンズが含まれる。フォーカスレンズは、ピント調整用レンズである。フォーカスレンズは、光軸ＯＡの方向（光軸方向）に沿って位置を変更可能に構成されている。レンズ駆動制御部１０５は、評価値検出部１０６により検出された評価値（撮像評価値）に基づいて、フォーカスレンズを駆動制御して焦点調節処理を実行する焦点調節手段（フォーカス制御部）としての機能を有する。
【００２０】
レンズ１０１を通過した光は、ＣＭＯＳイメージセンサなどで構成されたイメージセンサ１０２の結像面上に被写体像（光学像）として結像される。イメージセンサ１０２（撮像素子）は、後述のように、画素部（複数の画素２０１）およびＡ／Ｄコンバータを有し、例えば、いわゆるＸＹ読み出し方式のＣＭＯＳ型イメージセンサである。そしてイメージセンサ１０２は、システム制御部１０８の制御に基づいて、露光、信号読み出し、および、リセットなどの撮像動作を行い、撮像信号（画像信号）を出力する。すなわちイメージセンサ１０２は、レンズ１０１（撮像光学系）を介して形成された光学像を光電変換して第１の画像信号と第２の画像信号とを出力する。
【００２１】
評価値検出部１０６（撮像評価値検出部）は、イメージセンサ１０２により変換された画像信号に基づいて評価値（撮像評価値）を検出する。評価値検出部１０６は、例えばシステム制御部１０８から出力される所定のタイミングで、評価値を検出する。評価値（撮像評価値）とは、撮像装置１０の制御や撮影画像に対する補正などを行う際に必要なパラメータである。例えば、ＡＦ評価値、ＷＢ（ホワイトバランス）評価値、および、ＡＥ（ＡＵＴＯＭＡＴＩＣ  ＥＸＰＯＳＵＲＥ）評価値などの撮像装置１０の基本動作に必要な評価値である。
【００２２】
ＡＦ評価値とは、撮像時に被写体にピントを合わせるための評価値であり、主にフォーカスレンズを制御する際に必要である。ＷＢ評価値とは、撮像時に色を補正するために必要な評価値であり、現像の際に必要である。ＡＥ評価値とは、撮影時に露出を適正に合わせるために必要な評価値であり、主に、絞り、シャッタースピード、または、感度を設定する際に必要である。
【００２３】
そしてシステム制御部１０８は、評価値として得られるパラメータの１つであるＡＦ評価値に基づいてレンズ１０１の制御量を決定し、決定した制御量をレンズ駆動制御部１０５に出力する。レンズ駆動制御部１０５は、システム制御部１０８から得られたＡＦ評価値の制御量に基づいて、レンズ１０１を光軸方向に駆動することにより、被写体とのピントを修正する。
【００２４】
映像信号処理部１０３（信号処理手段または合成手段）は、システム制御部１０８の制御に従い、イメージセンサ１０２の出力である画像信号（第１の画像信号、第２の画像信号）に対して各種の信号処理を行う。各種の信号処理は、ホワイトバランス調整処理、色補正処理、および、ＡＥ（ＡＵＴＯ  ＥＸＰＯＳＵＲＥ）処理などであり、評価値検出部１０６により検出されたパラメータに基づいて行われる。また映像信号処理部１０３は、シーン判定部１０７により検出されたシーン判定結果に基づいて、必要に応じて画像信号に対してＨＤＲ合成処理などを施し、処理後の画像信号を画像データとして出力する。すなわち映像信号処理部１０３は、シーン判定部１０７により判定された撮影シーンに応じて、画像の部分領域において第１の画像信号と第２の画像信号とを合成し、画像を生成する。
【００２５】
圧縮伸長部１０４は、システム制御部１０８の制御に従い、映像信号処理部１０３から出力される画像データに対して、所定の静止画像データフォーマットで圧縮符号化処理を行う。所定の静止画像データフォーマットとは、例えば、ＪＰＥＧ（ＪＯＩＮＴ  ＰＨＯＴＯＧＲＡＰＨＩＣ  ＣＯＤＩＮＧ  ＥＸＰＥＲＴＳ  ＧＲＯＵＰ）方式であるが、これに限定されるものではない。また圧縮伸長部１０４は、システム制御部１０８から送られた符号化画像データに対して、伸長復号化処理を行う。なお圧縮伸長部１０４は、ＭＰＥＧ（ＭＯＶＩＮＧ  ＰＩＣＴＵＲＥ  ＥＸＰＥＲＴＳ  ＧＲＯＵＰ）方式などにより動画像データに対して圧縮符号化／伸長復号化処理を行うように構成してもよい。
【００２６】
シーン判定部１０７（判定手段）は、システム制御部１０８から得られる撮影条件（第１の画像信号を取得する際の撮影条件）と、イメージセンサ１０２から出力される画像信号（第１の画像信号）とに基づいて、撮影シーンを判定する。そしてシーン判定部１０７は、判定した撮影シーンに応じて、撮影時のイメージセンサ１０２からＨＤＲに必要な合成用の画像信号（第２の画像信号）を出力するか否かを示す情報を、システム制御部１０８（制御手段）へ送る。システム制御部１０８は、シーン判定部１０７から得られた情報に基づいて、後述のように、イメージセンサ１０２からＨＤＲに必要な合成用の画像信号（第２の画像信号）を出力（取得）するか否かを制御する。
【００２７】
システム制御部１０８は、例えば、ＣＰＵ（ＣＥＮＴＲＡＬ  ＰＲＯＣＥＳＳＩＮＧ  ＵＮＩＴ）、ＲＯＭ（ＲＥＡＤ  ＯＮＬＹ  ＭＥＭＯＲＹ）、及びＲＡＭ（ＲＡＮＤＯＭ  ＡＣＣＥＳＳ  ＭＥＭＯＲＹ）などを備えるマイクロコントローラである。そしてシステム制御部１０８は、ＣＰＵがＲＯＭに記憶されたプログラムを実行することにより、撮像装置１０の全体を統括的に制御する。
【００２８】
発光部１０９は、映像信号処理部１０３によるＡＥ処理により被写体の露光値が低いと判定されると、被写体に対して光を照射して照明を行う。発光部１０９として、例えば、キセノン管を用いたストロボ装置またはＬＥＤ発光装置が用いられる。操作部１１０は、例えば、シャッタレリーズボタンなどの各種操作キー、レバー、および、ダイヤルを有し、ユーザの入力操作に応じた操作信号をシステム制御部１０８に与える。記憶部１１１は、例えば、可搬型の半導体メモリ、光ディスク、ＨＤＤ（ＨＡＲＤ  ＤＩＳＫ  ＤＲＩＶＥ）、または、磁気テープなどの記録媒体である。記憶部１１１は、圧縮伸長部１０４により圧縮符号化された画像データや動画データを画像ファイルや動画ファイルとして記憶する。また記憶部１１１は、システム制御部１０８により指定された画像ファイルや動画ファイルを読み出し、読み出した画像ファイルや動画ファイルをシステム制御部１０８に出力する。
【００２９】
表示部１１２は、例えば、ＬＣＤ（ＬＩＱＵＩＤ  ＣＲＹＳＴＡＬ  ＤＩＳＰＬＡＹ）などの表示デバイスおよびＬＣＤに対するインタフェース回路を有する。システム制御部１０８から送られた画像データに応じた画像を表示デバイスに表示する。
【００３０】
次に、図２を参照して、イメージセンサ１０２の構成について説明する。図２は、イメージセンサ１０２の説明図であり、図２（ａ）はイメージセンサ１０２の構造を示す斜視図、図２（ｂ）はイメージセンサ１０２の構成を示すブロック図である。
【００３１】
図２（ａ）において、イメージセンサ１０２は、第１のチップ２０（画素部）および第２のチップ２１を有する。第１のチップ２０（第１の素子部）は、第２のチップ２１（第２の素子部）上に積層されている。第１のチップ２０は、マトリックス状に配列された複数の画素２０１を含み、光学像に応じた電圧信号を出力する。また第１のチップ２０は、イメージセンサ１０２の光入射側に配置されている（すなわち、第１のチップ２０は、光学像の受光側に位置している）。第２のチップ２１は、第１のチップ２０から出力された電圧信号をデジタル信号に変換し、第１の画像信号および第２の画像信号を出力する。後述のように、第２のチップ２１には、列走査回路２１３−ａ、２１３−ｂ、および、行走査回路２１２などの画素駆動回路が形成されている。このように、第１のチップ２０上に複数の画素２０１を形成し、第２のチップ２１上に画素駆動回路を形成することにより、イメージセンサ１０２の周辺回路と画素部の製造プロセスを分離することができる。その結果、周辺回路における配線の細線化および高密度化による高速化、小型化、および、高機能化を図ることが可能となる。
【００３２】
図２（ｂ）に示されるように、第１のチップ２０において、複数の画素２０１はマトリクス状に配列されている。画素２０１は、水平方向（行方向）において、転送信号線２０３、リセット信号線２０４、および、行選択信号線２０５に接続されている。また画素２０１は、垂直方向（列方向）において、列信号線２０２−ａ、２０２−ｂに接続されている。なお、列信号線２０２−ａ、２０２−ｂの各々は、読み出し行単位に応じて接続先が異なる。
【００３３】
図２（ｂ）に示されるように、画素２０１の各々は、光電変換素子であるフォトダイオードＰＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４、および、フローティングディフュージョンＦＤを有する。なお本実施形態において、各トランジスタはＮチャネルＭＯＳＦＥＴ（ＭＯＳ  ＦＩＥＬＤ−ＥＦＦＥＣＴ  ＴＲＡＮＳＩＳＴＯＲ）であるが、これに限定されるものではなくＰチャネルＭＯＳＦＥＴや他のトランジスタを用いてもよい。
【００３４】
転送トランジスタＭ１、リセットトランジスタＭ２、および、選択トランジスタＭ４のゲートには、転送信号線２０３、リセット信号線２０４、および、行選択信号線２０５がそれぞれ接続されている。転送信号線２０３、リセット信号線２０４、および、行選択信号線２０５は、水平方向に延在し、同一行の画素が同時に駆動される。これにより、ライン順次動作型のローリングシャッタまたは全行同時動作型のグローバルシャッタの動作を制御することができる。また、選択トランジスタＭ４のソースには、列信号線２０２−ａまたは列信号線２０２−ｂが行単位で接続されている。
【００３５】
フォトダイオードＰＤは、光電変換により生成された電荷を蓄積する。フォトダイオードＰＤのＰ側は接地され、Ｎ側は転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がオンすると、フォトダイオードＰＤの電荷が、フローティングディフュージョンＦＤに転送される。フローティングディフュージョンＦＤには寄生容量が存在するため、フローティングディフュージョンＦＤに転送された電荷が蓄積される。
【００３６】
増幅トランジスタＭ３のドレインには電源電圧ＶＤＤが印加され、そのゲートは、フローティングディフュージョンＦＤに接続されている。増幅トランジスタＭ３は、ＦＤの電荷（すなわち、電圧）を増幅して電圧信号に変換する。選択トランジスタＭ４は、信号を読み出す画素を行単位で選択するために用いられ、そのドレインは増幅トランジスタＭ３のソースに接続されている。また、選択トランジスタＭ４のソースは列信号線２０２に接続されている。選択トランジスタＭ４がオンすると、フローティングディフュージョンＦＤの電圧に対応する電圧信号が列信号線２０２に出力される。リセットトランジスタＭ２のドレインには電源電圧ＶＤＤが印加され、そのソースはフローティングディフュージョンＦＤに接続されている。リセットトランジスタＭ２のオンにより、フローティングディフュージョンＦＤの電圧は電源電圧ＶＤＤにリセットされる。
【００３７】
第２のチップ２１は、カラムＡＤＣブロック２１１を有し、カラムＡＤＣブロック２１１は列信号線２０２−ａまたは列信号線２０２−ｂに接続されている。また第２のチップ２１は、行走査回路２１２、列走査回路２１３−ａ、２１３−ｂ、タイミング制御回路２１４、および、水平信号線（出力手段）２１５−ａ、２１５−ｂを有する。タイミング制御回路２１４は、システム制御部１０８の制御に従い、行走査回路２１２、列走査回路２１３−ａ、２１３−ｂ、および、カラムＡＤＣブロック２１１の動作タイミングを制御する。行走査回路２１２は各行の走査を行い、列走査回路２１３Ａ、２１３Ｂはそれぞれ各列の走査を行う。水平信号線２１５−ａ、２１５−ｂは、それぞれ、列走査回路２１３−ａ、２１３−ｂで制御されるタイミングに応じてカラムＡＤＣブロック２１１の出力信号（画像信号）を転送する。
【００３８】
次に、図３を参照して、ライブビュー時の表示用動作を用いて部分ＨＤＲを行う方法について説明する。図３は、イメージセンサ１０２の画素選択の説明図である。イメージセンサ１０２の複数の画素は、第１の画像信号を出力するための第１の画素群と、第２の画像信号を出力するための第２の画素群とから構成されている。図３に示されるように、本実施形態では、行番号１、２、５、６は、常時ライブビュー表示用のための行（第１の画素群）である。一方、行番号３、４、７、８は、画像合成用のための行（第２の画素群）である。図３の構成では、読み出し走査が行単位で順次行われ、４行単位で繰り返し読み出し走査が行われることになる。ただし本実施形態はこれに限定されるものではなく、他の構成や読み出し走査を用いてもよい。
【００３９】
このように本実施形態において、第１の画素群および第２の画素群は、複数の画素のうち互いに異なる行に配列されている。システム制御部１０８は、シーン判定部１０７による判定結果に基づいて、画像合成用のための行（第２の画素群）に関するシャッタースピードや感度（ゲイン）の設定を制御し、第２の画素群の所定の領域における画素信号を出力するか否かを選択する。
【００４０】
次に、図４（ａ）〜図４（ｃ）を参照して、本実施形態における画像合成動作（ＨＤＲ合成方法）について説明する。図４（ａ）は、シーン判定部１０７による判定結果に基づいて、画像合成用の画像信号を出力する際の動作を示すタイミングチャートであり、ｎフレームからｎ＋３フレームの期間を示す。なお、図４（ａ）中に示されている、合成用画像信号の実線は、図４（Ｃ）中の「領域２」において第２の画素群として読み出されることを示している。これは、図４（ｂ）に関しても同様である。
【００４１】
図４（ａ）に示されるように、撮像タイミングは、垂直同期信号により規定されている。システム制御部１０８は、表示用画像信号として出力される第１の画素群に関して、リセット期間４０１に第１の画素群のリセット動作を行う。そして第１の画素群からの表示用画像信号（第１の画像信号）は、蓄積時間ｔｍ後の第１の画素信号の読み出し期間４０２において、画素信号として各行順に出力される。リセット期間４０１は、画面上の上の画素から順に第１の画素群に対して、リセット動作を行うことを示している。読み出し期間４０２は、読み出し画面の上から順に第１の画素信号を読み出すことを示している。
【００４２】
シーン判定部１０７は、シーン判定期間４０５において、第１の画素群（第１の画像信号）に基づいてシーン判定を行い、その判定結果に基づいて第２の画素群（第２の画像信号）を読み出すか否かを判定する。シーン判定部１０７が第２の画素群を読み出すと判定した場合、シーン判定部１０７は、シーン判定期間４０５において、第２の画素群から読み出される領域（部分領域）を選択する。そしてシステム制御部１０８は、その結果（判定結果、選択結果）に基づいて、第２の画素群のうち選択された領域を読み出すための、合成画像制御信号４０６を出力する。
【００４３】
またシーン判定部１０７は、システム制御部１０８による制御に従い、シーン判定期間４０５において、シーン判定結果に基づいて、第２の画素群を読み出すための露出条件、シャッタースピード、および、感度（ゲイン）を算出する。すなわちシーン判定部１０７は、第２の画素信号を読み出すか否かを選択する判定手段、第２の画素信号のうち読み出す領域を選択する選択手段、および、領域を読み出す際の露出条件などの撮影条件を算出する算出手段を含む。
【００４４】
システム制御部１０８は、合成画像制御信号４０６に基づいて、リセット期間４０３に第２の画素群のうち選択された行に対して順にイメージセンサ１０２のリセット動作を行う。そして蓄積時間ｔｈ後、第２の画素群からの合成用画像信号（第２の画像信号）は、第２の画素信号の読み出し期間４０４に選択された行のみの画素信号として、各行順に出力される。
【００４５】
図４（ｂ）は、ｎ＋１フレーム期間中の第１の画素群と第２の画素群との読み出し時間の関係を示している。図４（ｃ）は、一例として、全画面に対して、「領域１」は第１の画素群のみ、「領域２」は第１と第２の画素群、「領域３」は第１の画素群のみを読み出すことを示している。すなわち「領域２」は、シーン判定部１０７により第２の画素群のうち読み出す領域を選択されていることを前提としている。
【００４６】
ここで、図４（ｂ）と図４（ｃ）の読み出し期間の関係について説明する。全画面を読み出すために要する期間４０７は、領域１を読み出すための期間４０８、領域２を読み出すための期間４０９、および、領域３を読み出すための期間４１０から構成される。このように、シーン判定部１０７により第２の画素群が読み出される領域が決定される、システム制御部１０８は、第１の画素群と、第２の画素群の読み出し領域とが互いに重なるように、表示用画像信号および合成用画像信号を読み出す。このように、第２の画素群を読み出す際に、第１の画素群と同領域を読み出す際の読み出し時間を合わせることにより、動いている被写体などに対して合成時に発生するブレを最小限に抑えることが可能となる。
【００４７】
次に、シーン判定部１０７の動作例について説明する。まず、図５を参照して、逆光のように被写体が開くなるシーン（逆光シーン）について説明する。図５は、逆光シーンを判定するための説明図である。図５（ａ）において、５０はイメージセンサ１０２の第１の画素群から出力された画素信号の領域、５０１は評価値検出部１０６が被写体を検出した領域（第１の画素群のうちの被写体検出領域）である。
【００４８】
このときシーン判定部１０７は、図５（ｂ）に示されるように、領域５０１内のヒストグラムを算出する。またシーン判定部１０７は、算出したヒストグラムに基づいて、最小値の個数Ｘ、および、最大値の個数Ｙを算出し、個数Ｘ、Ｙと撮像装置１０の設計時に決定される閾値α、β（所定の閾値）とをそれぞれ比較する。すなわち、シーン判定部１０７は、以下の式（１）、（２）に関する条件（所定の条件）を満たすか否かを判定する。
【００４９】
Ｘ＞α  …  （１）
Ｙ＞β  …  （２）
ここでは、撮影シーンが逆光シーンであるため、シーン判定部１０７は、式（１）を満たし、かつ、式（２）を満たしていないと判定する。本実施形態では、この場合を所定の条件を満たすものと定義する。そしてシステム制御部１０８は、その判定結果に基づいて、第２の画素群を読み出すための制御を行い、イメージセンサ１０２の第２の画素群からは、図５（ｃ）に示される被写体検出領域５０３のみが出力される。その際の第２の画素群における蓄積時間および感度設定値は、図５（ｂ）のヒストグラムの積分値に基づいて算出される。
【００５０】
画像合成のＨＤＲ方法は、一般的に、ＨＩＧＨ（明るい）画像とＬＯＷ（暗い）画像とを合成し、適正の明るさの画像を作成する方法である。ここで、逆光時の第１の画素群から出力される被写体の画像は暗いため、ＬＯＷ画像となる。このため、画像合成用の第２の画素群からは、ＨＩＧＨ画像の信号が必要となる。したがって、第２の画素群における蓄積時間は、第１の画素群における蓄積時間よりも長く設定されるか、または、第２の画素群の感度設定値を第１の画素群の感度設定値よりも高くする。その結果、図５（ｃ）に示されるように、ＨＩＧＨ画像が得られる。その後、映像信号処理部１０３は、領域５０の表示の際に第１の画素群の画像内の領域５０１と第２の画素群の被写体検出領域５０３のみを部分的に合成（ＨＤＲ合成）し、合成画像（ＨＤＲ画像）を表示部１１２に表示する。必要に応じて、合成画像は記憶部１１１に記憶される。
【００５１】
続いて、図６を参照して、逆光とは逆に被写体が白飛びしているシーンについて説明する。図６は、白飛びシーンを判定するための説明図である。図６（ａ）において、６０は第１の画素群から出力された画素信号、６０１は評価値検出部１０６が被写体を検出した領域（第１の画素群のうちの被写体検出領域）である。このときシーン判定部１０７は、図６（ｂ）に示されるように、領域６０１内のヒストグラムを算出する。またシーン判定部１０７は、算出したヒストグラムに基づいて、最小値の個数Ｘ、および、最大値の個数Ｙを算出し、個数Ｘ、Ｙと撮像装置１０の設計時に決定される閾値α、β（所定の閾値）とをそれぞれ比較する。すなわち、シーン判定部１０７は、上記の式（１）、（２）を満たすか否かを判定する。
【００５２】
ここでは、撮影シーンが白飛びシーンであるため、シーン判定部１０７は、式（２）を満たし、かつ、式（１）を満たしていないと判定する。
そしてシステム制御部１０８は、その判定結果に基づいて、領域６０１に対応する第２の画素群を読み出すための制御を行い、イメージセンサ１０２の第２の画素群からは、図６（ｃ）に示される被写体検出領域６０３のみが出力される。その際の第２の画素群における蓄積時間および感度設定値は、図６（ｂ）のヒストグラムの積分値に基づいて算出される。
【００５３】
ここで、白飛びシーンにおいては、第１の画素群から出力される被写体の画像は明るいため、ＨＩＧＨ画像となる。このため、画像合成用の第２の画素群からは、ＬＯＷ画像の信号が必要となる。したがって、第２の画素群における蓄積時間は、第１の画素群における蓄積時間よりも短く設定されるか、または、第２の画素群の感度設定値を第１の画素群の感度設定値よりも低くする。その結果、図６（ｃ）に示されるように、ＬＯＷ画像が得られる。その後、映像信号処理部１０３は、領域６０の表示の際に第１の画素群の画像内の領域６０１と第２の画素群の被写体検出領域６０３のみを部分的に合成（ＨＤＲ合成）し、合成画像（ＨＤＲ画像）を表示部１１２に表示する。必要に応じて、合成画像は記憶部１１１に記憶される。
【００５４】
なお、シーン判定部１０７による撮影シーン判定の結果、上記の式（１）、（２）の両方を満たすか、または、両方ともに満たさない場合（すなわち、所定の条件を満たさない場合）、システム制御部１０８は、第２の画素群の読み出し動作を行わない。
【００５５】
このように本実施形態において、好ましくは、シーン判定部１０７は、画像のうち被写体が含まれる範囲（被写体検出領域５０３、６０３）を、第２の画像信号を取得する部分領域の範囲として決定する。また好ましくは、シーン判定部１０７は、部分領域における第１の画像信号に基づいて算出されたヒストグラムに基づいて、撮影シーンを判定する。より好ましくは、シーン判定部１０７は、ヒストグラムの積分値に基づいて、第２の画像信号の露出を決定する。また好ましくは、映像信号処理部１０３は、撮影シーンに応じた所定の条件を満たす場合、部分領域において第１の画像信号と第２の画像信号とを合成し、部分領域を除く他の領域において第１の画像信号のみを用いて画像を生成する。一方、映像信号処理部１０３は、所定の条件を満たさない場合、第１の画像信号のみを用いて前記画像を生成する。
【００５６】
次に、図７を参照して、本実施形態における画像処理方法（ＨＤＲ合成方法）について説明する。図７は、画像処理方法のフローチャートである。図７の各ステップは、システム制御部１０８の指令に基づいて、撮像装置１０の各部により実行される。
【００５７】
まずステップＳ７０１において、ユーザの操作により、撮像装置１０の電源がオンする。続いてステップＳ７０２において、システム制御部１０８は、各種の初期設定を行う。続いてステップＳ７０３において、システム制御部１０８は、ライブビューモードや動画記録などの動作モードに移行し、動画撮影（第１の画素群の読み出し）を開始する。
【００５８】
続いてステップＳ７０４において、評価値検出部１０６は、第１の画素群の画像信号から被写体を検出する。そしてステップＳ７０５において、評価値検出部１０６は、前述のように、被写体検出領域のヒストグラムに基づいて、画像信号の最小値の個数Ｘと最大値の個数Ｙ、および、積分値を算出する。
【００５９】
続いてステップＳ７０６において、システム制御部１０８は、第２の画素群の画素信号が読み出されているか否かを判定する。第２の画素群の画素信号が読み出されていない場合、ステップＳ７０７に進む。ステップＳ７０７において、映像信号処理部１０３は、第１の画素群の画素信号のみに対して現像処理を行い、記憶部１１１への動画記録や、表示部１１２のライブビュー表示などを行う。
【００６０】
一方、ステップＳ７０６にて第２の画素群の画素信号が読み出されている場合、ステップＳ７０８に進む。ステップＳ７０８において、映像信号処理部１０３は、第１の画素群から読み出された画素信号と、後述するステップＳ７１２において第２の画素群から読み出された画素信号とを用いて、部分ＨＤＲ画像の現像処理を行う。そしてステップＳ７０７において、映像信号処理部１０３は、記憶部１１１への動画記録や、表示部１１２のライブビュー表示などを行う。
【００６１】
続いてステップＳ７０９において、システム制御部１０８は、撮影が終了したか否かを判定する。ステップＳ７０９にて撮影が継続して行われる場合、ステップＳ７１１に進む。ステップＳ７１１において、シーン判定部１０７は、ステップＳ７０５にて算出されたヒストグラムの最小値の個数Ｘと最大値の個数Ｙに関し、上記の式（１）、（２）のいずれか一方の条件を満たしているか否かを判定する。
【００６２】
式（１）、（２）のいずれか一方の条件を満たしていると判定された場合、ステップＳ７１２へ進む。ステップＳ７１２において、システム制御部１０８は、ステップＳ７０５にて算出された積分値に基づいて、第２の画素群の画素信号を読み出すための撮影条件の蓄積時間および感度設定値を算出する。そしてシステム制御部１０８は、その撮影条件に応じて、第１の画素群の読み出しと同時に第２の画素群の読み出しを行う。その後、ステップＳ７０４へ戻り、同様の動作を繰り返す。
【００６３】
一方、ステップＳ７１１にて、式（１）、（２）の両方を満たしていないか、または、式（１）、（２）の両方を満たしていると判定された場合、システム制御部１０８は第２の画素群を読み出さず、ステップＳ７１３に進む。ステップＳ７１３において、システム制御部１０８は、第１の画素群の画素信号のみを読み出すようにイメージセンサ１０２を制御する。その後、ステップＳ７０４へ戻り、同様の動作を繰り返す。
【００６４】
前述のように、本実施形態において、シーン判定部１０７は、ライブビュー撮像や動画記録時に、第１の画素群の画像信号（画素信号）に基づいて撮影シーン判定を行う。そしてシステム制御部１０８は、その判定結果に基づいて第２の画素群を読み出し、ダイナミックレンジ拡大（ＨＤＲ合成）を行う。その結果、フレームレートを落とすことなく、画質の向上が可能となる。また、不要な第２の画素群の読み出し領域を制限することができる、消費電力を削減することも可能である。
【００６５】
本実施形態では、第１の画素群と第２の画素群の読み出し行をそれぞれ２行単位で分けているが、これに限定されるものではなく、分割割合を変更ししてもよい。例えば、図３の行番号において、１から４行目までを常時表示用、５から８までを合成用とすること、または、１から４行目までを常時表示用、５から６までを合成用とすることなどによっても、本実施形態は適用可能である。
【００６６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６７】
本実施形態によれば、ライブビュー表示や動画記録の際にＨＤＲ合成を行う場合、撮影シーンに応じて、画像合成が必要な部分に対してのみ、部分的に画像合成を行う。その結果、フレームレートを落とすことなく画質が向上し、消費電力の削減も可能となる。このため本実施形態によれば、低消費電力で画質を向上させることが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【００６８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６９】
１０３  映像信号処理部（信号処理手段）
１０７  シーン判定部（判定手段）
１０８  システム制御部（制御手段）
【図１】
2017192048.tif 000003
【図２】
2017192048.tif 000004
【図３】
2017192048.tif 000005
【図４（ａ）】
2017192048.tif 000006
【図４（ｂ）】
2017192048.tif 000007
【図４（ｃ）】
2017192048.tif 000008
【図５】
2017192048.tif 000009
【図６】
2017192048.tif 000010
【図７】
2017192048.tif 000011