(57)【要約】【課題】被写体が動体である領域の解像度（以下、動解像度という）をさらに向上させつつ、低照度においても動解像度の低下の抑制と静止領域のノイズ増加の抑制を両立させる画像処理装置を提供する。【解決手段】撮像系制御回路１０４は、並行して異なる電荷蓄積時間で被写体像を撮像できるよう撮像素子を分割し、制御する。動き検出回路１１２は、異なる電荷蓄積時間で撮像される複数の画像を取得し、画像から被写体像の動き領域を検出する。画像合成回路２０３は、動き領域であるか否かに応じて合成比率を変更し複数の画像を合成する。【選択図】図４
2017022596.tif 000002
【特許請求の範囲】
【請求項１】
並行して異なる電荷蓄積時間で撮像される複数の画像を取得する取得手段と、
前記電荷蓄積時間を制御する制御手段と、
前記画像から被写体像の動き領域を検出する検出手段と、
前記動き領域であるか否かに応じて合成比率を変更し前記複数の画像を合成する合成手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記検出手段は、前記電荷蓄積時間の異なる画像の比較により前記動き領域を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、さらに、前記被写体像の動き量を検出し、
前記合成手段は、前記動き量に応じて前記合成比率を変更する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記制御手段は、被写体像の明るさに応じて前記電荷蓄積時間の異なる複数の画像を同時に撮影できるよう画素を分割して、分割した画素群ごとに前記電荷蓄積時間を制御する
ことを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
前記制御手段は、さらに、前記動き量に応じて前記電荷蓄積時間を制御する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、第１の画素群と、前記第１の画素群より前記電荷蓄積時間の長い第２の画素群とに撮像素子の分割を行う駆動切り替え制御を行い、前記電荷蓄積時間を制御し、
前記合成手段は、前記動き領域では、前記第１の画素群から取得された画像と前記第２の画素群から取得された画像を第１の合成比率で合成し、前記動き領域以外の領域では、前記第１の合成比率より前記第１の画素群から取得された画像の合成比率の低い第２の合成比率で合成する
ことを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記複数の画像は動画像であることを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
【請求項８】
請求項１ないし７のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項９】
画像処理装置の制御方法であって、
並行して異なる電荷蓄積時間で撮像される複数の画像を取得する取得工程と、
前記電荷蓄積時間を制御する制御工程と、
前記画像から被写体像の動き領域を検出する検出工程と、
前記動き領域であるか否かに応じて合成比率を変更し前記複数の画像を合成する合成工程とを有する
ことを特徴とする画像処理装置の制御方法。
【請求項１０】
請求項９に記載した画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
撮像素子を用いた動画像撮像装置が広く一般に普及している。ＣＣＤまたはＣＭＯＳイメージセンサなどの撮像素子は、各画素で入射光を電荷に変換して蓄積し、蓄積した電荷を増幅することで電気信号を出力する光電変換を行い、画像を生成する。これらの撮像装置は、絞り機構制御、撮像素子における電荷の蓄積時間制御および撮像信号のゲイン制御を適切に行うことで、適正露出画像を得ている。しかし夜景などの暗い被写体を撮影する場合には、絞りを開放に制御し、長秒露出を行ってもなお露出不足を補えないことがある。この場合、撮像信号のゲインを増大して適正信号とするため、ノイズが増加し、撮影画像の画質が低下してしまう。また、露出不足を補うために過剰に長秒露出に制御すると、被写体が動体である領域の解像度が低下してしまう。
【０００３】
そこで、電荷蓄積時間を見直す制御や、撮影する被写体の動きを解析し画像の動き領域と静止領域で異なる画像処理を行う撮像装置が提案されている。
特許文献１では、撮像素子の読み出し周期を動画像の記録レートよりも長く設定するとともに蓄積時間を可変とする露出制御を行うことで、被写体照度不足を補うためのゲイン増大による画質の劣化を回避する方法が開示されている。
また、特許文献２では、撮像素子より読み出した画像信号と、該画像信号に基づいて撮像領域を複数のブロックに分割してブロック毎に被写体の動き検出を行う。そして、ブロック毎に蓄積時間制御ならびに信号処理を行った画像信号とを、ブロック領域毎に合成比率を制御することで、静止部分のノイズ特性と動き部分の解像度を両立させる方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３１５５８３０号公報
【特許文献２】特許第２５５００４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、撮像素子の読み出し周期を記録周波数よりも長く設定するとともに蓄積時間を可変とする露出制御を行うことで、被写体照度不足によりただちにゲイン増大によるノイズの増加を回避することを可能としている。しかしながら、長秒露光となるために動く被写体に対する解像度は低下する。
特許文献２では、撮像素子より読み出した画像信号と、該画像信号に基づいて撮像領域を複数のブロックに分割してブロック毎に被写体の動き検出を行う。そして、ブロック毎に蓄積時間制御ならびに信号処理を行った画像信号とを、ブロック領域毎に合成比率を制御することで、静止部分のノイズ特性と動き部分の解像度を両立させることを可能としている。しかしながら、ある時刻に読み出した画像信号とひとつ前に読み出した画像信号の差異により被写体の動き検出を行っているため、２フレームにわたる長い周期での動き検出となってしまう。
【０００６】
そこで本発明は、被写体が動体である領域の解像度（以下、動解像度という）をさらに向上させつつ、低照度においても動解像度の低下の抑制と静止領域のノイズ増加の抑制を両立させる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この課題を解決するために、本発明の画像処理装置は、並行して異なる電荷蓄積時間で撮像される複数の画像を取得する取得手段と、前記電荷蓄積時間を制御する制御手段と、前記画像から被写体像の動き領域を検出する検出手段と、前記動き領域であるか否かに応じて合成比率を変更し前記複数の画像を合成する合成手段とを備える。
【発明の効果】
【０００８】
本発明の画像処理装置によれば、動き領域の動解像度と静止領域のノイズ特性を両立した動画像の撮影が可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の撮像装置の概略構成を示す図である。
【図２】図１におけるデジタル信号処理回路１０８の構成の一例を示す図である。
【図３】本実施形態の撮影装置の撮影動作のフローチャート図である。
【図４】図３における撮影のサブルーチンのフローチャート図である。
【図５】動き検出や被写体合成を行う一例を示す概略図ある。
【図６】明るさに応じて電荷蓄積時間の制御を行う一例を示す概略図ある。
【発明を実施するための形態】
【００１０】
（第１実施形態）
以下、本発明を実施するための形態について図面等を参照して説明する。
図１は本発明の実施形態を適用した撮像装置の概略構成を示す図である。
本実施形態の撮像装置は、光学系１０１より入射した光を撮像素子１０３上に結像させることで被写体を撮像する。光学系制御回路１０２は、光学系１０１の絞りやメカシャッタ、ズーム、フォーカス、光学式ブレ補正等を制御する。撮像素子１０３は、結像された光学像を光電変換して電気信号に変換する。撮像系制御回路１０４は、撮像素子１０３の蓄積動作、読み出し動作、リセット動作等を制御する。
【００１１】
アナログ信号処理回路１０５は、撮像素子１０３の出力にクランプ、ゲインをかける等の処理を行う。ゲイン制御回路１０６は、アナログ信号処理回路１０５に対して撮像信号に対するゲイン量を指定するなどの制御を行う。Ａ／Ｄ（アナログ／デジタル）変換器１０７はアナログ信号からデジタル信号にＡ／Ｄ変換を行う。デジタル信号処理回路１０８はＡ／Ｄ変換されたデジタル信号の現像処理を行って出力画像データを生成する。
【００１２】
内部記憶媒体１０９は、デジタル信号処理回路１０８にて出力画像データを生成する際の画像データや、ライブ画像を表示する電子ビューファインダ（以下、ＥＶＦという）用の画像データなどを一時的に格納する。また後述する動き検出回路１１２により検出された動き検出領域情報など、各種演算データの一時記憶用途でも使用される。Ｉ／Ｆ（インターフェース）１１０は、生成された出力画像データを最終的に保存するための外部記録装置とつながっている。画像表示器１１１は、ＥＶＦの表示機能を備え、ライブ画像のほか撮像装置の各種設定情報などを表示する。
【００１３】
動き検出回路１１２は、デジタル信号処理回路１０８にて現像処理された出力画像データについて、後述する動き検出方法により動き検出を行い、被写体の動きが検出された領域情報や動き量情報を出力する。
システム制御回路１１３は、後述する撮影動作のフローチャートに従って光学系制御回路１０２や撮像系制御回路１０４、ゲイン制御回路１０６を制御し、その制御情報をデジタル信号処理回路１０８に提供するなど、システム全体の制御を行う。スイッチ１１４は撮影スタンバイ動作を行うためのスイッチ（以下、ＳＷ１という）である。スイッチ１１５はＳＷ１の操作後、撮影を行う撮影スイッチ（以下、ＳＷ２という）である。スイッチ１１６はシステムに電源を投入するためのメインスイッチ（以下、メインＳＷという）である。
【００１４】
本実施形態における撮像素子１０３は、第１の画素群と第２の画素群に分割制御可能な画素群により構成され、同時刻に並行して異なる電荷蓄積時間にて露光制御し、別々に読み出し動作を行える。そのため、撮像系制御回路１０４の制御系は第１の画素群と第２の画素群それぞれに対して異なる制御を行う。従って、例えばＣＭＯＳ構造であれば蓄積電荷の転送信号線やリセット信号線などを第１の画素群と第２の画素群向けに切り替えて制御する構成を備える。第１の画素群で得られた撮像信号と第２の画素群で得られた撮像信号との間の視差は小さくほうが良いため、１ライン毎に第１の画素群と第２の画素群に振り分けることが望ましい。勿論、１ライン毎でなくとも、第１の画素群に属する画素と第２の画素群に属する画素が交互に配置される構成であれば良い。あるいはそれぞれ別々の信号線を配線した構造としてもよい。また、第１の画素群より読み出した撮像信号と第２の画素群より読み出した撮像信号についてそれぞれ画像処理を行う。そのため、本実施形態におけるアナログ信号処理回路１０５、Ａ／Ｄ変換器１０７、デジタル信号処理回路１０８は、それぞれの画素群の画像信号を個別に処理することが可能な構成となっている。
【００１５】
図２は図１におけるデジタル信号処理回路１０８の構成の一例を示す図である。
現像パラメータ設定回路２０１は、システム制御回路１１３より撮影条件情報や撮影時設定を取得し、それに応じて最適な現像処理を行うための現像パラメータを設定する。現像処理回路２０２は、現像パラメータ設定回路２０１で設定された現像パラメータを用いて現像処理を行い、出力画像データを生成する。
【００１６】
画像合成回路２０３は動き検出回路１１２による動き検出結果に基づいて、現像処理回路２０２にて現像された第１の画素群による出力画像データと第２の画素群による出力画像データ信号を、画像領域ごとに合成比率を変更して合成を行う。動き検出による合成処理を行わない場合には、現像処理回路２０２より入力された出力画像データをそのまま出力する。
画像圧縮回路２０４は画像合成回路２０３の出力画像データを圧縮処理し、Ｉ／Ｆ１１０を介して外部記録装置に記録して保存する。本実施形態の撮像装置は、現像処理回路２０２の出力画像データを単独、または連続して複数フレーム記録することで静止画及び動画を撮影可能としている。
【００１７】
図３は本発明の実施形態を適用した撮像装置の撮影動作を表すフローチャート図である。
まず、ステップＳ３０１ではシステムに電源を投入するメインＳＷの状態を検出し、ＯＮであればステップＳ３０２へ進む。
ステップＳ３０２ではＩ／Ｆ１１０を介して外部記録装置の残容量を調べ、残容量が０であればステップＳ３０３へ進み、そうでなければステップＳ３０４へ進む。ステップＳ３０３では残容量が０であることを警告してステップＳ３０１に戻る。警告は画像表示器１１１に表示するか又は図示しない音声出力器から警告音を出すか、又はその両方を行ってもよい。
【００１８】
ステップＳ３０４では、撮像手段から出力されたライブ画像を画像表示器１１１に表示するＥＶＦ動作を開始する。ＥＶＦ動作においては、適正露出を得るためのＡＥ動作、および適切なフォーカス状態とするためのＡＦ動作を所定周期で行う。ＡＥ動作は、Ａ／Ｄ変換器１０７の出力を積分して所定値と比較するなどして適正露出となっているか調べ、必要に応じて絞り設定や電荷蓄積時間（電子シャッタ）設定、あるいは撮像信号のゲイン設定を所定の線図に従って制御する。ＡＥ動作によって例えば被写体照度が低い場合であっても、ゲイン制御回路１０６によりゲインアップするなどして適正露出の画像データを得ることが可能となる。ＡＦ動作は、デジタル信号処理回路１０８の出力画像データの高周波成分の強弱を前フレームと比較するなどして、光学系制御回路１０２にてフォーカスレンズを適切に制御する。また動き検出回路１１２において動き検出を行う。
【００１９】
ステップＳ３０５ではＳＷ１の状態を調べ、ＯＮであればステップＳ３０７へ進み、そうでなければステップＳ３０６へ進む。ここでＳＷ１の機能は、ＡＦやＡＥなどの撮影スタンバイ動作を行うことである。ステップＳ３０６ではメインＳＷの状態を調べ、ＯＮであればステップＳ３０４へ、そうでなければステップＳ３０１へ進む。
ステップＳ３０７では光学系制御回路１０２や撮像系制御回路１０４、あるいはゲイン制御回路１０６を介して露出を制御してＡＥ処理を行う。ステップＳ３０８では光学系制御回路１０２を介してフォーカスレンズを制御してＡＦ処理を行う。ステップＳ３０７のＡＥ処理およびステップＳ３０８のＡＦ処理は撮影スタンバイ動作であり、ステップＳ３０４でのＥＶＦ動作時よりも良い精度でＡＥおよびＡＦ制御する。
ステップＳ３０９は、ＳＷ２のＯＮによる撮影動作スタート前準備状態であり、ライブ画像を画像表示器１１１に表示して、撮影者のＳＷ２操作を待つ。さらに、ステップＳ３０４と同様に、動き検出回路１１２おいて動き検出を行う。
【００２０】
ステップＳ３１０ではＳＷ２の状態を調べＯＮであれば、すなわち撮影を開始するためにＳＷ２が押下されればステップＳ３１１へ、そうでなければステップＳ３０５へ進む。ここでのＳＷ２の機能は、ＳＷ１の操作後撮影動作を開始することである。
ステップＳ３１１では後述する図４のフローチャートにしたがって撮影動作を行う。撮影動作が終了したら、ステップＳ３０２に戻る。
【００２１】
図４は図３のフローチャートにおける撮影のサブルーチンのフローチャート図である。
まず、ステップＳ４０１では静止画撮影であるか動画撮影であるかを調べ、静止画撮影であればステップＳ４０２へ、動画撮影であればステップＳ４０８へ進む。動画撮影において、録画中の処理は、撮影前に設定された例えば６０ＦＰＳ（Ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）などの記録フレームレートの周期で行われる。
【００２２】
ステップＳ４０１において静止画撮影であると判断された場合、ステップＳ４０２では、撮像素子の駆動切り換えなど静止画撮影の準備を行う。静止画撮影時には被写体ぶれを注意する必要はあるが動解像度を気にする必要はなく、撮像素子の全ての画素を用いて高解像度画像を得る目的などにより、２つの画素群に分けた読み出しではなく全ての画素を読み出す駆動へ切り換える。
ステップＳ４０３では撮像素子１０３への露光を行う。撮像素子面上に結像された像は光電変換されてアナログ信号となり、Ａ／Ｄ変換器１０７へと送られる。
ステップＳ４０４ではＡ／Ｄ変換器１０７において、出力ノイズ除去や非線形処理などの前処理を行った後、アナログ信号をデジタル信号に変換する。ステップＳ４０５ではデジタル信号処理回路１０８にてデジタル信号の現像処理を行い、出力画像データを生成する。ステップＳ４０６では出力画像データを画像圧縮回路２０４でＪＰＥＧフォーマット等への画像フォーマット変換を行う。ステップＳ４０７では、Ｉ／Ｆ１１０を介しカメラに装着されたメモリカードなどの外部記憶媒体へと転送し記録する。
【００２３】
一方、ステップＳ４０１において動画撮影であると判断された場合、ステップＳ４０８では、撮像素子の駆動切り換えなど動画撮影の準備を行う。動画撮影時には、動解像度の高い画像とノイズの小さな画像という２種類の画像を得るために、２つの画素群に分けた読み出しを行う駆動へ切り換える。
ステップＳ４０９では動画の録画を開始し、撮像素子１０３への露光を行う。撮像素子面上に結像された像は光電変換されてアナログ信号となり、Ａ／Ｄ変換器１０７へと送られる。ステップＳ４１０ではＡ／Ｄ変換器１０７において、出力ノイズ除去や非線形処理などの前処理を行った後、アナログ信号をデジタル信号に変換する。ステップＳ４１１ではデジタル信号処理回路１０８にてデジタル信号の現像処理を行い、出力動画像データを生成する。
図５で後述するように、ステップＳ４１２では動き検出回路１１２において、取得した動画像データを基に被写体像の動き検出が行われる。ステップＳ４１３では画像合成回路２０３において、動き検出の結果に基づいて動画像の合成が行われる。
【００２４】
図５は動画撮影時の本実施形態の撮像装置における第１の画素群と第２の画素群で得られる動画像より、動き検出や被写体合成を行う一例を示す概略図である。
第１の画素群から読み出された画像信号と第２の画素群から読み出された画像の画角はほぼ同じ画角に設定される。また、それぞれの画素群から読み出された画像信号は、それぞれ適正露出となるよう、電荷蓄積時間とＩＳＯ感度によって制御されている。
【００２５】
図５（Ａ）に示すように、第１の画素群から読み出される画像信号は、動解像度を優先する設定となっている。そのため、電荷蓄積時間は記録フレームレートよりも短く、アナログ信号処理回路１０５におけるゲイン量は大きく、すなわち短秒露出−高感度の組み合わせで制御される。
一方、図５（Ｂ）に示すように、第２の画素群から読み出される画像信号は、ノイズ特性を優先する設定となっている。そのため、電荷蓄積時間は記録フレームレートよりも長く、アナログ信号処理回路１０５におけるゲイン量は小さく、すなわち長秒露出−低感度の組み合わせで制御される。
【００２６】
図５（Ｃ）は、第１の画素群のＴフレームおよびＴ＋１フレームで読み出された画像と第２の画素群の同時間Ｔ＆Ｔ＋１のフレームで読みだされた画像を示す図である。いずれの画像においても、被写体が動いていることに起因する被写体像のブレが生じているが、そのブレ量はＴ＆Ｔ＋１のフレームで読みだされた画像のほうが大きい。図５（Ｃ）に示すように、蓄積時間の間にも動く被写体像は、異なる時間の画像の比較もしくは蓄積時間の異なる画像の比較により検出することができる。
動き検出回路１１２は、取得した第１の画素群のＴフレーム、Ｔ＋１フレーム、および第２の画素群の同時間Ｔ＆Ｔ＋１のフレームのいずれか２つの画像により被写体像の動き検出を行う。動き検出の方法は、ブロックに分割しブロック毎に評価する方法や、精度良く検出するために比較画像間の各画素値の差分を所定の閾値と比較し、この差分が閾値より大きい場合は動き領域であると判断するなどの方法を用いればよい。なお、動き検出の手段は、動き領域であるか否かの検出のみでなく、被写体像の動き量を取得する構成であってもよい。
【００２７】
電荷蓄積時間の異なる画像により動き検出を行う場合は、電荷蓄積時間の異なる画像間の比較、例えば、図５（Ａ）に示す第１の画素群のＴフレームまたはＴ＋１フレームと、図５（Ｂ）に示す第２の画素群の同時間Ｔ＆Ｔ＋１のフレームの画像の比較を行う。同じ電荷蓄積時間の画像により動き検出を行う場合は、同じ電荷蓄積時間の画像間の比較、例えば、図５（Ａ）に示す第１の画素群のＴフレームとＴ＋１フレームなど、連続画像についてフレームの画像の比較を行う。
なお、第１の画素群と第２の画素群は同一撮像素子の異なる画素からの読み出しであるため、ほぼ同じ画角の画像信号であっても、第１の画素群と第２の画素群の位相差が動き検出の結果に影響する。そのため、この第１の画素群と第２の画素群の位相差を相殺するように、それぞれの画素群における読み出し時の間引き率設定を適切に行う。
【００２８】
図５（Ｄ）は、画像合成回路２０３による合成画像出力を示す図である。
第１の画素群から得られた画像と第２の画素群から得られた画像を合成するにあたり、動き検出において動き領域とされた領域は、動解像度の低下を抑制するため、電荷蓄積時間が短く動解像度の高い第１の画素群の比率を大きくする。動きが検出されなかった、動き領域以外の領域は、ノイズ増加を抑制するため電荷蓄積時間が長く低感度でノイズの少ない第２の画素群の比率を大きくする。
動き検出において被写体像の動き量まで検出している場合は、動き量に応じて画像の合成比率を変更する構成としてもよい。この場合、動き量が大きいほど電荷蓄積時間が短く動解像度の高い第１の画素群の比率が大きくなる。
【００２９】
図４の説明に戻り、ステップＳ４１４では画像圧縮回路２０４において、出力動画像データをＭＰＥＧ−４フォーマット等への動画像フォーマット変換を行う。出力動画像データは、合成を行った後の合成動画像データのみであってもよく、それに加えて第１の画素群及び第２の画素群から得られた動画像データを含んでいてもよい。Ｓ４１５ではＩ／Ｆ１１０を介しカメラに装着されたメモリカードなどの外部記憶媒体へと転送し記録する。
【００３０】
ステップＳ４１６ではＳＷ２の状態を調べＯＮであれば、すなわち動画撮影を終了させるためにＳＷ２が押下された状態であれば、ステップＳ４１８へ進み、そうでなければステップＳ４１７へ進む。ここでのＳＷ２の機能は、撮影動作を終了させることである。
録画中の内部記憶媒体１０９は主にバッファメモリとして機能し、そのデータはＩ／Ｆ１１０を介して外部記憶媒体へと転送され記録されるが、記録媒体の転送速度が遅い場合には、バッファメモリの処理容量を越えて録画を続けることが不可能になる。また、記録媒体の残り容量がなくなった場合にも録画を続けることができない。上記の状況を避けるため、ステップＳ４１７では、バッファメモリおよび記録媒体の残り容量の確認と記録媒体への転送状況の確認を行い、転送ＯＫであればステップＳ４０９へ進み、そうでなければステップＳ４１８へ進む。
ステップＳ４１８では、録画を終了し、バッファメモリ内のデータが記録媒体へ転送され、保存処理が終了されたことを確認する。
【００３１】
本実施形態では第１の画素群の電荷蓄積時間は記録フレームレートにより設定された１フレームあたりの処理時間よりも短く、第２の画素群の電荷蓄積時間は記録フレームレートにより設定された１フレームあたりの処理時間よりも長く設定する構成とした。しかし、これに限られるものではない。
例えば、被写体が非常に暗く被写体の動きもほぼ無い場合が想定される。この場合、明るさ確保しつつノイズの増加を抑制するため、電荷蓄積時間を１フレームあたりの処理時間の２倍と６倍に設定し、電荷蓄積時間が長くかつ低感度で撮影した画像を合成する構成とし、ノイズ特性をさらに改善する方法がある。
また、被写体が明るい場合や、被写体の動き検出を高速に行いたい場合、または記録フレームレートが長い場合が想定される。この場合、電荷蓄積時間を１フレームあたりの処理時間の１／８倍と１／２倍に設定し、１フレーム内での動き検出を可能して、動解像度を優先する方法がある。
【００３２】
画素を分割する場合、本実施形態では、ステップＳ４０８において、動解像度の高い画像とノイズの小さな画像という２種類の画像を得るために、全画素を２つの画素群に分ける構成とした。しかし、画素群は２つに限られず、電化蓄積時間の異なる２つ以上の複数の画素群に分ける構成であればよい。また、被写体像が十分に明るく、動解像度を優先した電荷蓄積時間の短い設定での撮影のみでノイズ特性も得られる場合には、画素群に分割する必要はなく、撮像素子全体で一つの画像を得るように制御してもよい。
【００３３】
以上説明したように、本発明の画像処理装置によれば、動き領域の動解像度と静止領域のノイズ特性を両立した動画像の撮影が可能となる。
【００３４】
（第２実施形態）
第１実施形態においては、撮像素子の電荷蓄積時間を撮影中に変更する制御は行わなかったが、第２実施形態においては、撮影中であっても被写体像の明るさに応じて撮像素子の電荷蓄積時間及び分割を行う駆動切り替え制御を行う。また、画像合成回路２０３は、動き検出の結果に加え、被写体像の明るさを考慮して動画像の合成を行う。
図６は、明るさに応じて電荷蓄積時間の制御や撮像素子の分割を行う一例を示す概略図ある。
【００３５】
図６（Ａ）は、動解像度を優先する設定となっている。そのため、電荷蓄積時間は記録フレームレートよりも短く、アナログ信号処理回路１０５におけるゲイン量は大きく、すなわち短秒露出−高感度の組み合わせで制御される。これは明るい場所での撮影に適している。
図６（Ｂ）は、中秒露出−中感度の組み合わせで制御される。これは標準的な明るさの場所での撮影に適している。
図６（Ｃ）は、ノイズ特性を優先する設定となっている。そのため、電荷蓄積時間は記録フレームレートよりも長く、アナログ信号処理回路１０５におけるゲイン量は小さく、すなわち長秒露出−低感度の組み合わせで制御される。これは暗い場所での撮影に適している。
【００３６】
図６（Ｄ）に示すように、被写体像の明るさに応じて、撮像系制御回路１０４により、撮像素子の分割を行う駆動切り替え制御及び各画素群の電荷蓄積時間の制御が行われる。
例えば、被写体像が十分に明るい場合（明×３）には、動解像度とノイズ特性を両立させるために撮像素子を分割して電荷蓄積時間の異なる画像を合成する必要はなく、短秒露出−高感度の組み合わせのみで適正露出の画像を得ることができる。そのため、撮像系制御回路１０４は、撮像素子を電荷蓄積時間の異なる画素群に分割する駆動切り換え制御を行うことなく、撮像素子全体をひとつの画素群として制御する。また、被写体像が明るい場合（明明）には、撮像系制御回路１０４は、撮像素子を電荷蓄積時間の異なる画素群に分割する駆動切り換え制御を行う。第１の画素群では短秒露出−高感度、第２の画素群では中秒露出−中感度となるように電荷蓄積時間が制御される。画像合成回路２０３において画像を合成する場合には、短秒露出−高感度で得られた画像の合成比率を大きく（メイン）する。
【００３７】
被写体像が暗い場合（暗）には、短秒露出で得られた画像では暗すぎて合成に使用できないため、短秒露出−高感度となるように制御されていた第１の画素群の電荷蓄積時間を、長秒露出−低感度となるように切り替えて制御する。したがって、第１の画素群では長秒露出−低感度、第２の画素群では中秒露出−中感度となるように電荷蓄積時間が制御される。画像合成回路２０３において画像を合成する場合には、中秒露出−中感度で得られた画像の合成比率を大きく（メイン）する。
被写体像の明るさは、Ａ／Ｄ変換器１０７の出力を積分して所定値と比較するなどして判断される。
【００３８】
第２実施形態によれば、撮影中に被写体像の明るさが変化した場合でも、撮影中に撮像素子の分割を行う駆動切り替え制御及び各画素群の電荷蓄積時間の制御を行い、得られた画像を適正な合成比率で合成する。それによって、動き領域の動解像度と静止領域のノイズ特性を両立した適正露出の動画像の撮影が可能となる。
【００３９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４０】
１０４    撮像系制御回路
１１２    動き検出回路
２０３    画像合成回路
【図１】
2017022596.tif 000003
【図２】
2017022596.tif 000004
【図３】
2017022596.tif 000005
【図４】
2017022596.tif 000006
【図５】
2017022596.tif 000007
【図６】
2017022596.tif 000008