(57)【要約】【課題】複数の画像を取得して被写体像の像ブレを低減する構成において、画質の劣化を抑制しつつ画像データ量を効果的に低減することが可能な撮像装置を提供する。【解決手段】撮像素子が、複数の単位画素を有する画素アレイ部と、複数の単位画素が出力する複数のアナログ信号をＡＤ変換して複数の画像データを出力するＡＤ変換部と、画素アレイ部とＡＤ変換部とを駆動して画像データの読出し動作を実行する読出し駆動部と、画素アレイ部に投影された被写体の像ブレ量Ｄ（ｔ）を取得すると共に、取得した被写体の像ブレ量Ｄ（ｔ）に基づいて読出し動作の実行を制御するブレ検出部と、を備える。【選択図】図４
2020191504.tif 000002
【特許請求の範囲】
【請求項１】
複数の単位画素を有する画素アレイ部と、
複数の前記単位画素が出力する複数のアナログ信号をＡＤ変換して複数の画像データを出力するＡＤ変換部と、
前記画素アレイ部と前記ＡＤ変換部とを駆動して前記画像データの読出し動作を実行する読出し駆動部と、
前記画素アレイ部に投影された被写体の像ブレ量を取得すると共に、取得した前記被写体の像ブレ量に基づいて前記読出し動作の実行を制御する解析制御部と、を備えることを特徴とする撮像装置。
【請求項２】
前記読出し駆動部は、１回の露光期間において複数回の前記読出し動作を実行し、
前記解析制御部は、前記像ブレ量に関する指標値が所定の閾値を上回った場合に前記読出し駆動部に前記読出し動作を実行させる、ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記解析制御部は、前記指標値が前記閾値を上回った時刻を１回の前記読出し動作の起点として新たに前記像ブレ量に関する前記指標値の取得を開始する、ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記指標値は、１回の前記読出し動作の期間における前記像ブレ量の最大値と最小値との差分である、ことを特徴とする請求項２または請求項３に記載の撮像装置。
【請求項５】
前記解析制御部は、前記被写体の像ブレ量に加えて、複数の前記画像データから検出した前記被写体の動きを示す動き指標に基づいて、前記読出し動作の実行を制御する、ことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記動き指標は、前記被写体の動きの方向および大きさに相当する動きベクトルであり、
前記解析制御部は、前記動きベクトルが示す前記方向と前記被写体の像ブレ量の発生方向とが類似すると判定した場合に、前記動きベクトルを相殺するように前記被写体の像ブレ量を補正する、ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
１回の露光期間における複数回の前記読出し動作によって出力された複数の前記画像データを統合して１枚の統合画像データを取得する統合処理部をさらに備える、ことを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
【請求項８】
請求項１から請求項６のいずれか１項に記載の撮像装置と、
１回の露光期間における複数回の前記読出し動作によって出力された複数の前記画像データを統合して１枚の統合画像データを取得する統合処理部と、を備えることを特徴とするカメラ装置。
【請求項９】
前記被写体の像ブレ量に基づいて前記読出し動作の実行が制御されていることを表示する表示部をさらに備える、ことを特徴とする請求項８に記載のカメラ装置。
【請求項１０】
画素アレイ部に含まれる複数の単位画素が出力する複数のアナログ信号をＡＤ変換して複数の画像データを出力する工程と、
前記アナログ信号の出力および前記ＡＤ変換を制御して前記画像データの読出し動作を実行する工程と、
前記画素アレイ部に投影された被写体の像ブレ量を取得すると共に、取得した前記被写体の像ブレ量に基づいて前記読出し動作の実行を制御する工程と、を備えることを特徴とする制御方法。
【請求項１１】
請求項１０に記載の制御方法をコンピュータに実行させる、ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置を備えるカメラ装置、制御方法、およびプログラムに関する。
【背景技術】
【０００２】
信号読出し時に発生するランダムノイズ抑制の技術向上に伴い、ＣＭＯＳセンサ等の撮像装置において、画像の蓄積期間を複数回に分割して複数の画像（分割画像）を取得し、複数の画像を加算して１枚の画像（統合画像）を取得する撮影手法が提案されている。
【０００３】
また近年、アバランシェフォトダイオードを用いたＳＰＡＤ（Single-Photon Avalanche Diode）という撮像装置も提案されている。ＳＰＡＤは、入射する１つの光子（フォトン）を高利得に増倍することによってフォトンカウンティングを実行し、読出しノイズの低減を実現している。以上のような撮像装置の登場によって、前述の撮影手法の実現性がより高まっている。
【０００４】
前述の撮影手法を実現するカメラ装置は、通常動作では撮像素子が飽和してしまう撮影条件において、画像の蓄積期間を複数回に分割して読出しを実行し、読み出された複数の画像を後から加算する。以上の手法によれば、分割の回数に応じてダイナミックレンジを増大させることができる。
【０００５】
また、前述の撮影手法を実現するカメラ装置は、画像を複数回に亘って分割して読み出すので、画像の蓄積期間中において撮影の途中経過を確認する機能や、確認内容を踏まえて撮影を中断する機能を実現することができる。以上の機能は、夜景撮影やバルブ撮影等の長い蓄積期間を要する撮影において特に有用である。
【０００６】
特許文献１には、撮影時の手ブレ等に起因する被写体像のブレ（像ブレ）を低減するために、撮影時の露光期間を複数回に分割して複数の画像を取得し、像ブレが生じていない画像を選択して加算することで１枚の画像を取得する撮影手法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１５−１５９３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示されている手法においては、像ブレが生じている画像が画像加算をする際に除外される。そのため、撮像装置のブレが顕著に生じているような場合には、像ブレが生じていない画像が取得される頻度が低下するので、加算後の画像の画質が劣化する可能性がある。
【０００９】
また、像ブレが生じていない画像を充分に取得するために分割回数を増加させると、撮影される画像の枚数自体が増加するので、取り扱うべき画像データ量が増大してしまう。
【００１０】
以上の事情に鑑み、本発明の目的は、複数の画像を取得して被写体像の像ブレを低減する構成において、画質の劣化を抑制しつつ画像データ量を効果的に低減することが可能な撮像装置、カメラ装置、制御方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の撮像装置は、複数の単位画素を有する画素アレイ部と、複数の前記単位画素が出力する複数のアナログ信号をＡＤ変換して複数の画像データを出力するＡＤ変換部と、前記画素アレイ部と前記ＡＤ変換部とを駆動して前記画像データの読出し動作を実行する読出し駆動部と、前記画素アレイ部に投影された被写体の像ブレ量を取得すると共に、取得した前記被写体の像ブレ量に基づいて前記読出し動作の実行を制御する解析制御部と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、複数の画像を取得して被写体像の像ブレを低減する構成において、画質の劣化を抑制しつつ画像データ量を効果的に低減することが可能である。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る撮像素子の構成を示すブロック図である。
【図２】本発明の第１実施形態に係る単位画素の構成を示す等価回路図である。
【図３】本発明の第１実施形態に係る単位画素の動作を示すタイミングチャートである。
【図４】本発明の第１実施形態における像ブレ量に基づいた信号読出し動作の制御についての説明図である。
【図５】本発明の第１実施形態における画像データの取得動作の説明図である。
【図６】本発明の第１実施形態に係るカメラ装置の全体構成を示すブロック図である。
【図７】本発明の第２実施形態に係る撮像素子の構成を示すブロック図である。
【図８】本発明の第２実施形態における画像データの取得動作および解析動作の説明図である。
【図９】本発明の第２実施形態における画像データの取得動作の説明図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の実施形態は、本発明が適用される装置の構成や各種条件に応じて適宜修正または変更することが可能である。したがって、本発明の範囲は、以下の実施形態に記載される構成によって限定されるものではない。以下の実施形態に係る撮像素子（撮像装置）は、デジタルスチルカメラ、デジタルビデオカメラ、監視カメラ、工業用カメラ、医療用カメラ等の種々のカメラ装置に搭載され得る。
【００１５】
＜第１実施形態＞
図１から図６を参照して、本発明の第１実施形態に係る撮像素子（撮像装置）１０００およびカメラ装置Ｃについて説明する。
【００１６】
図１は、第１実施形態に係る撮像素子１０００の構成を示すブロック図である。撮像素子１０００は、例えば、後述されるカメラ装置Ｃに用いられるＣＭＯＳイメージセンサである。
【００１７】
撮像素子１０００は、画素アレイ部１００と、ＡＤ変換部２００と、読出し駆動部３００と、ブレ検出部（解析制御部）４００と、加算処理部５００とを有する。
【００１８】
画素アレイ部１００は、行列状に配列された複数の単位画素１０を有する。各単位画素１０は、光電変換素子を有する要素であって、入射する光に応じたアナログ信号（画素信号）をＡＤ変換部２００に出力する。
【００１９】
ＡＤ変換部２００は、画素アレイ部１００から出力された単位画素１０ごとのアナログ信号を受信して、単位画素１０ごとのデジタル信号（画像信号）に変換し、加算処理部５００に出力する。なお、画素アレイ部１００とＡＤ変換部２００との間に、単位画素１０から出力されたアナログ信号を増幅してＡＤ変換部２００に出力するアンプ部が設けられてもよい。
【００２０】
読出し駆動部３００は、画素アレイ部１００の単位画素１０を行単位で駆動すると共にＡＤ変換部２００を制御することによって、画素アレイ部１００（単位画素１０）とＡＤ変換部２００とにおける信号の読出し動作を制御する。以上の読出し動作の制御によって、画像データに相当するデジタル信号がＡＤ変換部２００から加算処理部５００に対して出力される。
【００２１】
ブレ検出部４００は、撮像光学系を介して撮像素子１０００に投影された被写体像のブレ量（ブレの方向および大きさ）を測定する。ブレ検出部４００は、角速度センサや加速度センサ等の慣性センサと、慣性センサからの出力に基づいてブレ量を取得する演算器とを有する。ブレ検出部４００は、測定したブレ量に応じて読出し動作を制御すると共に、測定したブレ量を加算処理部５００に対して出力する。加えて、ブレ検出部４００は、後述されるブレ補正データを加算処理部５００に出力する。なお、ブレ検出部４００の慣性センサは任意の位置に配置され得る。例えば、撮像素子１０００の外部に慣性センサが配置され、慣性センサからの出力が演算器に入力されてもよい。
【００２２】
加算処理部５００は、ＡＤ変換部２００から出力された画像データ（分割画像データ）と、ブレ検出部４００から出力されたブレ補正データとを関連付けて保持する。加算処理部５００は、複数の分割画像データを蓄積して加算処理を実行することによって、加算された画像データ（統合画像データ）を生成し、撮像素子１０００の外部へ出力する。なお、加算処理部５００は、図１に示すように撮像素子１０００に含まれていてもよいし、撮像素子１０００の外部に設けられていてもよい。例えば、撮像素子１０００の後段に設けられた画像処理部が加算処理部５００を有してもよい。また、加算処理部５００は、加算処理以外の手法によって複数の画像データを統合してもよい。
【００２３】
図２は、第１実施形態に係る単位画素１０の構成を示す回路図である。
【００２４】
単位画素１０は、光電変換素子であるフォトダイオード（以下、「ＰＤ」と称する）１１と、信号出力回路に相当する転送スイッチ１２と、フローティングディフュージョン（以下、「ＦＤ」と称する）１３と、増幅ＭＯＳアンプ１４と、行選択スイッチ１５と、リセットスイッチ１６とを有する。
【００２５】
ＰＤ１１は、撮像光学系を介して入射する光に応じた電荷を発生させる。転送スイッチ１２は、そのゲート端子に入力される転送パルスＰＴＸによって駆動され、ＰＤ１１において発生した電荷をＦＤ１３に転送する。ＦＤ１３は、電荷を一時的に蓄積すると共に蓄積した電荷を電圧信号に変換する電荷電圧変換部として機能する。
【００２６】
増幅ＭＯＳアンプ１４は、行選択スイッチ１５と垂直出力線２１とＡＤ変換部２００内の不図示の定電流回路と共にソースフォロアとして機能する。増幅ＭＯＳアンプ１４のゲートにはＦＤ１３で電荷電圧変換された電圧信号が入力される。増幅ＭＯＳアンプ１４のドレインは電源線ＶＤＤに接続されており、増幅ＭＯＳアンプ１４のソースは行選択スイッチ１５に接続されている。
【００２７】
行選択スイッチ１５は、そのゲートに入力される行選択パルスＰＳＥＬによって駆動される。行選択スイッチ１５のドレインは増幅ＭＯＳアンプ１４に接続されており、行選択スイッチ１５のソースは垂直出力線２１に接続されている。
【００２８】
リセットスイッチ１６は、そのゲートに入力されるリセットパルスＰＲＥＳによって駆動されることでＦＤ１３に蓄積されている電荷を除去（リセット）する。リセットスイッチ１６のドレインは電源線ＶＤＤに接続されており、リセットスイッチ１６のソースはＦＤ１３に接続されている。
【００２９】
垂直出力線２１は、列方向（図２の縦方向）に配列された複数の単位画素１０に共通して接続されると共に、ＡＤ変換部２００に接続される。
【００３０】
転送パルスＰＴＸ、行選択パルスＰＳＥＬ、およびリセットパルスＰＲＥＳの各々が読出し駆動部３００から供給されることによって、行単位で読出し制御が実行される。
【００３１】
アクティブレベル（Ｈレベル）の行選択パルスＰＳＥＬによって行選択スイッチ１５が導通状態になると、対応する増幅ＭＯＳアンプ１４のソースが垂直出力線２１に接続される。垂直出力線２１に接続された増幅ＭＯＳアンプ１４は、リセットパルスＰＲＥＳによってＦＤ１３がリセットされた状態において、リセット信号をＡＤ変換部２００へ出力する。他方、転送パルスＰＴＸによってＰＤ１１の電荷が転送された状態において、増幅ＭＯＳアンプ１４は、ＰＤ１１の光電変換信号を含む転送信号をＡＤ変換部２００へ出力する。
【００３２】
図３は、第１実施形態に係る単位画素１０の動作を示すタイミングチャートである。
【００３３】
図３（ａ）は、単位画素１０において露光が開始される際の動作を示している。期間Ｔ１１は未だ露光が行われていない前露光期間であり、期間Ｔ１２は露光が行われている露光期間である。前露光期間Ｔ１１では、リセットパルスＰＲＥＳおよび転送パルスＰＴＸが共にＨレベルであって、ＰＤ１１およびＦＤ１３に存在している電荷が除去される。露光期間Ｔ１２では、転送パルスＰＴＸがＬレベルにセットされることによって、ＰＤ１１における電荷の蓄積が開始される。
【００３４】
図３（ｂ）は、単位画素１０における露光中の信号読出し動作を示している。第１実施形態における信号読出し動作は、単位画素１０の行単位で実行される。本明細書および図面において、ｎ行目の行選択パルスＰＳＥＬのことを「ＰＳＥＬ（ｎ）」と、ｎ行目のリセットパルスＰＲＥＳのことを「ＰＲＥＳ（ｎ）」と、ｎ行目の転送パルスＰＴＸのことを「ＰＴＸ（ｎ）」と、添字ｎを付して表記することがある。
【００３５】
ｎ行目の信号読出し動作の期間（Ｔ２１〜Ｔ２４）においては、行選択パルスＰＳＥＬ（ｎ）がＨレベルにセットされることによって、ｎ行目の単位画素１０が対応する垂直出力線２１に対してそれぞれ信号出力を実行する。より詳細には以下の通りである。
【００３６】
期間Ｔ２１においては、リセットパルスＰＲＥＳ（ｎ）がＨレベルにセットされることによって、ＦＤ１３に蓄積されている不要な電荷が除去されてＦＤ１３の電位がリセットされる。
【００３７】
期間Ｔ２２においては、リセットパルスＰＲＥＳ（ｎ）がＬレベルにセットされることによって、ｎ行目の単位画素１０が対応する垂直出力線２１に対してそれぞれリセット信号を出力する。リセット信号は、静定時間を掛けて垂直出力線２１に反映され、静定後にＡＤ変換部２００にてＡＤ変換される。ＡＤ変換部２００は、リセット信号のＡＤ変換結果を保持する。
【００３８】
期間Ｔ２３においては、転送パルスＰＴＸ（ｎ）がＨレベルにセットされることによって、ＰＤ１１に蓄積された電荷がＦＤ１３に転送される。
【００３９】
期間Ｔ２４においては、転送パルスＰＴＸ（ｎ）がＬレベルにセットされることによって、ｎ行目の単位画素１０が対応する垂直出力線２１に対してそれぞれ転送信号を出力する。転送信号は、静定時間を掛けて垂直出力線２１に反映され、静定後にＡＤ変換部２００にてＡＤ変換される。ＡＤ変換部２００において、期間Ｔ２２において保持されたＡＤ変換結果（リセット信号）を転送信号から減算することによって、光電変換信号が取得される。
【００４０】
以上の信号読出し動作が画素アレイ部１００の各行に対して実行されることによって画像データが取得される。取得された画像データはＡＤ変換部２００から加算処理部（統合処理部）５００へと出力される。
【００４１】
なお、期間Ｔ２３以前にＰＤ１１に入射した光が光電変換されて得られた信号電荷は、期間Ｔ２３において読み出される。他方、期間Ｔ２４以降にＰＤ１１に入射した光が光電変換されて得られた信号電荷は、次の信号読出し動作において読み出される。
【００４２】
以上説明したように、露光期間中に蓄積された光電変換信号の読出し動作が実行される。露光を終了する場合は、リセットパルスＰＲＥＳおよび転送パルスＰＴＸを共にＨレベルに設定することによって、ＰＤ１１に蓄積されている電荷の除去が実行される。
【００４３】
図４は、第１実施形態における像ブレ量に基づいた信号読出し動作の制御についての説明図である。図中の１回の露光期間は、ユーザの指示や自動露出機能等によって、すなわち撮像素子１０００の外部から設定された値である。図４上部の曲線が像ブレ量Ｄ（ｔ）を示し、図４下部の点線が露光開始動作を示し、図４下部の実線が信号読出し動作を示す。
【００４４】
時刻ｔ１０１にて露光が開始されると、読出し駆動部３００は、画素アレイ部１００に含まれる単位画素１０を行単位で走査することで、順次に露光開始動作を実行する。同時に、ブレ検出部４００は、角速度センサや加速度センサ等のセンサからの出力情報および撮像素子１０００を含む撮像光学系の設計情報に基づいて、露光中の被写体像の像ブレ量を随時に観測（取得）する。なお、撮像素子１０００とは別の撮像系で取得された画像から得られた動きベクトルによって像ブレ量が算出され、ブレ検出部４００に入力されてもよい。
【００４５】
ブレ検出部４００は、時刻ｔ１０１から取得を開始している像ブレ量Ｄ（ｔ）について、逐次、像ブレ量Ｄ（ｔ）における最大値Ｄｍａｘと最小値Ｄｍｉｎとの差分であるＰ−Ｐ値（指標値）を更新し、更新したＰ−Ｐ値と所定の閾値Ｄｔｈとを比較する。閾値Ｄｔｈは、例えば、画素アレイ部１００における画素ピッチ、撮像光学系の画角、ピント位置情報等の光学パラメータに基づいて決定される。
【００４６】
本例では、時刻ｔ１０１ａでは、像ブレ量Ｄ（ｔ）の最大値ＤｍａｘがＤ（ｔ１０１ａ）に更新され、時刻ｔ１０２では、像ブレ量Ｄ（ｔ）の最小値ＤｍｉｎがＤ（ｔ１０２）に更新される。ブレ検出部４００は、時刻ｔ１０１を起点とした時刻ｔ１０２におけるＰ−Ｐ値（Ｄｍａｘ−Ｄｍｉｎ＝Ｄ（ｔ１０１ａ）−Ｄ（ｔ１０２））が、閾値Ｄｔｈを上回ったことを検出する。
【００４７】
ブレ検出部４００は、時刻ｔ１０２においてＰ−Ｐ値が閾値Ｄｔｈを上回ったことを検出すると、被写体像のブレ（像ブレ）が発生したと判定して、読出し駆動部３００に対して読出し動作を指示する信号を送信する。
【００４８】
読出し駆動部３００は、ブレ検出部４００から読出し動作を指示する信号を受信すると、画素アレイ部１００の単位画素１０を行単位で走査して順次に読出し動作を実行させる。ブレ検出部４００は、読出し動作を指示する信号を送信した後、像ブレが発生した時刻である時刻ｔ１０２を起点として、新たに像ブレ量Ｄ（ｔ）のＰ−Ｐ値の取得を実行する。
【００４９】
以降、被写体の像ブレ量のＰ−Ｐ値が閾値Ｄｔｈを上回ったことをブレ検出部４００が検出する度に、上記した時刻ｔ１０１〜ｔ１０２における動作が繰り返して実行される。
【００５０】
露光期間が終了する時刻ｔ１０７が到来すると、読出し駆動部３００は、画素アレイ部１００の単位画素１０を行単位で走査して順次に読出し動作を実行させる。
【００５１】
上記したように、第１実施形態に係る撮像素子１０００では、露光期間中に像ブレが発生した場合に信号の読出し動作を実行することによって、被写体像にブレが発生したまま光信号が積分されてしまうことを抑制できる。以上の構成によれば、像ブレの発生頻度や強弱に応じて画像データ取得のための読出し動作が実行されるので、固定的な間隔で読出し動作を実行する構成と比較して、効果的に画像データ量を削減できる。加えて、以上の構成によれば、１回の露光期間中の光信号の全てが加算されるので、画像データにおける画質の劣化が抑制される。
【００５２】
図５は、第１実施形態における画像データの取得動作の説明図である。概略的には、複数回の読出し動作により取得された複数枚の画像データが統合され、被写体像の像ブレが補正された１枚の画像（統合画像）が取得される。
【００５３】
ブレ検出部４００は、読出し駆動部３００に対して読出し動作の制御を実行する。読出し駆動部３００は、ブレ検出部４００による制御の下、信号の読出し動作を複数回に亘って実行するようにＡＤ変換部２００を制御する。複数回の読出し動作によって、ＡＤ変換部２００から複数枚の画像データが出力され、加算処理部５００に入力される。
【００５４】
また、ブレ検出部４００は、複数回の読出し動作の各々に関して、加算処理時に被写体像の像ブレを補正するのに用いられるブレ補正用データを、加算処理部５００に対して出力する。ブレ補正用データは、例えば、読出し動作の各対応期間において検出された、撮像素子１０００を含む撮像光学系の３次元空間における重心位置および傾きの少なくともいずれかを含む。ブレ検出部４００は、上記した重心位置および傾きに関する情報に、撮像光学系の画角情報等の光学情報を加えてもよい。ブレ検出部４００は、以上の情報を加工して、複数の画像データ間での相対的なズレ量や歪み情報を取得して加算処理部５００に入力してもよい。カメラ装置Ｃが他の手ブレ補正手段を有する場合、ブレ検出部４００は、以上の情報に併せて、他の手ブレ補正手段に関する情報を加算処理部５００に入力してもよい。他の手ブレ補正手段は、例えば、撮影レンズに組み込まれたレンズ式光学手ブレ補正手段や、撮像素子１０００を実装している撮像ユニットそのものを動作させるボディ内光学手ブレ補正手段である。
【００５５】
加算処理部５００は、読出し動作が実行される度に、ＡＤ変換部２００から入力される画像データとブレ検出部４００から入力されるブレ補正用データとを対応付けて保持する。
【００５６】
露光期間が終了して画像データおよびブレ補正用データの取得が全て完了すると、加算処理部５００は、対応するブレ補正用データに基づいて各画像データのブレ補正（被写体像のズレや歪みの補正）を実行する。次いで、加算処理部５００は、補正後の複数枚の画像データを加算することで、ブレ補正後の１枚の画像データ（統合画像データ）を取得し、撮像素子１０００の外部へ出力する。
【００５７】
図６は、第１実施形態に係る撮像素子１０００を有するカメラ装置Ｃの全体的な構成を示すブロック図である。
【００５８】
カメラ装置Ｃは、撮像素子１０００と、レンズ部１００１と、レンズ駆動部１００２と、画像処理回路１００３と、撮影モード・タイミング発生部１００４と、メモリ部１００５と、制御演算部１００６と、インターフェース１００７と、表示部１００９とを有する。撮像素子１０００については先に詳述した通りである。
【００５９】
レンズ部１００１は、撮像光学系を有するレンズユニットであって、例えば、カメラ装置Ｃに対して着脱可能に装着される交換レンズである。レンズ部１００１は、被写体の光学像を撮像素子１０００において結像させる。
【００６０】
レンズ駆動部１００２は、レンズ部１００１内の各部を駆動する要素であって、レンズ部１００１におけるズーム制御、フォーカス制御、絞り制御、光学式手ブレ補正制御等の光学的な制御を実行する。
【００６１】
画像処理回路１００３は、被写体の光学像に基づいて撮像素子１０００にて取得され出力される画像データに対して、各種の補正処理、データ圧縮処理、合成処理等の様々な画像処理を実行する論理回路である。画像処理回路１００３は、複数の画像を合成することによって、広ダイナミックレンジの画像を取得することが可能である。前述の加算処理部５００が、画像処理回路１００３内に存在していてもよい。
【００６２】
撮影モード・タイミング発生部１００４は、撮像素子１０００および画像処理回路１００３に対して、撮影モード指示信号および各種のタイミング信号を出力する論理回路である。
【００６３】
メモリ部１００５は、種々の記憶素子、例えば、ＲＯＭ（Read Only Memory）等の不揮発性メモリとＲＡＭ（Random Access Memory）等の揮発性メモリとを有する。メモリ部１００５は、制御用のプログラムおよびデータを記憶していると共に、画像処理回路１００３が出力した画像データを一時的に記憶することができる。
【００６４】
制御演算部１００６は、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro Processing Unit）等のプロセッサを有する制御装置である。制御演算部１００６は、メモリ部１００５の不揮発性メモリ内のプログラムを揮発性メモリに展開して実行することにより、カメラ装置Ｃが有する各機能単位の動作を制御する他、各種の演算処理を実行する。
【００６５】
インターフェース１００７は、記録媒体１００８が着脱されるインターフェースである。インターフェース１００７を介して、記録媒体１００８に対する書込みまたは読出しが実行される。
【００６６】
記録媒体１００８は、画像データが記録される着脱可能な半導体メモリであって、例えばフラッシュメモリである。
【００６７】
表示部１００９は、制御演算部１００６による制御の下、画像撮影に関する各種の情報および撮影画像を表示する表示装置である。
【００６８】
次いで、カメラ装置Ｃにおける撮影動作について概略的に説明する。
【００６９】
カメラ装置Ｃのメイン電源が投入されると、まず、制御演算部１００６等のコントロール系回路に電源が供給され、次いで、画像処理回路１００３等の撮像系回路に電源が供給される。カメラ装置Ｃの各部に電源が供給され制御プログラムが実行されると、カメラ装置Ｃが撮影可能な状態となる。
【００７０】
不図示のレリーズボタンがユーザによって押下されると、撮影動作が開始される。
【００７１】
撮影動作が開始されると、撮影モード・タイミング発生部１００４が撮像素子１０００に対して撮影を指示する撮影信号を供給する。撮像素子１０００は、供給された撮影信号に従って撮影動作を実行し、被写体の光学像に対応した画像信号を取得する。
【００７２】
撮影動作が終了すると、撮像素子１０００から出力された画像信号が画像処理回路１００３に入力される。画像処理回路１００３が加算処理部５００を有する構成においては、像ブレの発生頻度や強弱に応じて画像データが取得されるので、撮像素子１０００から画像処理回路１００３に送られる画像データ量が効果的に削減される。
【００７３】
画像処理回路１００３は、撮像素子１０００からの画像信号（画像データ）とブレ検出部４００からのブレ補正用データとに基づいて、被写体像のズレや歪みの補正を実行できる。画像処理回路１００３は、補正後の画像データに対して加算処理等の画像処理を実行する。画像処理が実行された画像信号は、制御演算部１００６による制御に基づいてメモリ部１００５に書き込まれる。
【００７４】
メモリ部１００５に書き込まれた画像データは、制御演算部１００６による制御に基づいて、インターフェース１００７を介して記録媒体１００８に書き込まれる。
【００７５】
上記したように、第１実施形態に係る撮像素子１０００では、露光期間中に像ブレが発生した場合に信号の読出し動作を実行することによって、被写体像にブレが発生したまま光信号が積分されてしまうことを抑制できる。以上の構成によれば、前述したように、像ブレの発生頻度や強弱に応じて画像データ取得のための読出し動作が実行されるので、固定的な間隔で読出し動作を実行する構成と比較して、効果的に画像データ量を削減できる。結果として、ブレ補正処理や加算処理（統合処理）等の画像処理の負荷、画像データの転送量、記録すべき画像データの容量等を抑制することが可能である。加えて、以上の構成によれば、露光期間中の光信号の全てが加算されるので、画像データにおける画質の劣化が抑制される。
【００７６】
なお、加算処理前の複数枚の画像データとブレ補正用データとが記録媒体１００８に記録され、コンピュータ等の外部装置にてブレ補正処理や加算処理等の画像処理が実行されてもよい。第１実施形態の構成によれば像ブレの発生頻度や強弱に応じて画像データが取得されるので、記録媒体１００８に記録される画像データ量が効果的に削減される。
【００７７】
また、撮像素子１０００から出力された画像データが、不図示の外部インターフェースを介してコンピュータ等の外部装置に直接的に供給され、外部装置にてブレ補正処理や加算処理等の画像処理が実行されてもよい。
【００７８】
また、制御演算部１００６による制御の下、表示部１００９が、上述したような被写体の像ブレ量に基づいて読出し動作の実行が制御されていることを表示して、ユーザに認識を促すと好適である。
【００７９】
＜第２実施形態＞
第１実施形態では、上記したように、露光期間中に像ブレが発生した場合に信号の読出し動作を実行することによって、被写体像にブレが発生したまま光信号が積分されることを抑制している。
【００８０】
ところが、第１実施形態に係る撮像素子１０００を有するカメラ装置Ｃを使用するユーザが、流し撮り等のように意図的にカメラ装置Ｃにブレを発生させて撮影を行うと、ブレ検出部４００によって像ブレが発生したと判定される頻度が増大する。結果として、信号の読出し動作の頻度も増大し、画像データ量が増大してしまう。
【００８１】
第２実施形態では、以上のようなケースにおいても画像データ量を効果的に削減可能な構成を実現する。以下、図７から図９を参照して、本発明の第２実施形態に係る撮像素子（撮像装置）２０００について説明する。なお、以下に例示する各実施形態において、作用、機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の説明を適宜に省略する。
【００８２】
図７は、第２実施形態に係る撮像素子２０００の構成を示すブロック図である。撮像素子２０００は、ブレ検出部４００に代えて、ブレ・動きベクトル検出部（解析制御部）６００を有する。
【００８３】
ブレ・動きベクトル検出部６００は、第１実施形態におけるブレ検出部４００が有する機能に加えて、複数枚の画像データから被写体の動きを示す動きベクトル（動き指標）を検出する動きベクトル検出機能を有する。ブレ・動きベクトル検出部６００は、像ブレの発生に応じて取得した画像データを動きベクトル検出機能によって解析することで、以降の像ブレ発生の判定基準へのフィードバックを行うことが可能である。後述されるように、第２実施形態においては、動きベクトル検出機能を用いることによって、露光期間中の被写体像のブレの発生に起因して取得された複数枚の画像データが解析される。そして、発生した像ブレがユーザの意図によるものか否かが判定され、以降の像ブレ発生の判定基準へのフィードバックが実行される。
【００８４】
図８は、第２実施形態における画像データの取得動作および解析動作の説明図である。概略的には、ブレ・動きベクトル検出部６００が、像ブレの発生に応じて取得された複数枚の画像データを解析し、発生した像ブレがユーザの意図によるものか否かを判定する。
【００８５】
ブレ・動きベクトル検出部６００は、前述と同様に、被写体像のブレが発生したと判定すると、読出し駆動部３００に対して読出し動作を指示する信号を送信する。次いで、ブレ・動きベクトル検出部６００は、連続する２枚の画像データをＡＤ変換部２００から取得する。画像データの取得動作自体は第１実施形態と同様に実行される。
【００８６】
ブレ・動きベクトル検出部６００は、取得した連続する２枚の画像データに対して、対応するブレ補正用データに基づいてブレ補正（被写体像のズレや歪みの補正）を実行する。次いで、ブレ・動きベクトル検出部６００は、補正後の２枚の画像データに対して動きベクトル検出処理を実行する。ブレ補正がなされているので、連続する２枚の画像データにおいて静止している被写体に関しては動きベクトルが検出されない（または、零ベクトルが検出される）。他方、連続する２枚の画像データにおいて動いている被写体に関しては、その動きの方向および大きさに相当する動きベクトルが検出される。
【００８７】
カメラ装置Ｃを使用するユーザが被写体を追跡しながら撮影する流し撮りを行っている場合、ブレ・動きベクトル検出部６００が補正後の２枚の画像データから検出した被写体の動きベクトルの方向と、像ブレの発生方向とが類似する可能性が高い。そこで、ブレ・動きベクトル検出部６００は、連続する２枚の画像データから検出した被写体の動きベクトルの方向と像ブレの発生方向とが類似する場合、発生した像ブレがユーザの意図によるものであると判定する。より具体的には、例えば、上記した動きベクトルの方向と像ブレの発生方向とのなす角が、所定の閾値角度Ｒｔｈ（例えば、５°）を下回る場合に、発生した像ブレがユーザの意図によるものであると判定されてよい。
【００８８】
なお、ユーザが意図せずに発生した像ブレの発生方向と同じ方向に被写体が動く可能性もあるので、上記以外の判定手法も併用して判定精度を向上させると好適である。例えば、撮像素子２０００を含む撮像光学系が自動焦点機能を有する場合には、動きベクトルが検出された被写体が合焦の対象である（上記被写体に合焦しようとしている、または既に合焦した）ことを上記判定の追加条件としてもよい。
【００８９】
図９は、第２実施形態における画像データの取得動作の説明図である。概略的には、発生した像ブレがユーザの意図によるものであると判定された場合、判定以降の読出し動作の制御が変更される。
【００９０】
時刻ｔ２０１にて露光期間が開始すると、ブレ・動きベクトル検出部６００は、第１実施形態と同様の読出し動作によって連続する２枚の画像データを取得する。図９の例では、時刻ｔ２０２および時刻ｔ２０３において、Ｐ−Ｐ値が閾値Ｄｔｈを上回ったことに起因して２回の読出し動作が実行され２枚の画像データが取得される。
【００９１】
次いで、ブレ・動きベクトル検出部６００は、取得された連続する２枚の画像データについて、検出した被写体の動きベクトルの方向と像ブレの発生方向とが類似するか否かを判定する。動きベクトルの方向と像ブレの発生方向とが類似する場合、ブレ・動きベクトル検出部６００は、発生した像ブレがユーザの意図によるものであると判定する。
【００９２】
像ブレがユーザの意図によるものであると判定すると、ブレ・動きベクトル検出部６００は、検出された動きベクトルを相殺するように以上の判定以降の像ブレ量Ｄ（ｔ）を補正して、補正後の像ブレ量Ｄｃ（ｔ）を取得する。そして、ブレ・動きベクトル検出部６００は、補正後の像ブレ量Ｄｃ（ｔ）に対してＰ−Ｐ値の観測を実行する。
【００９３】
以上の判定以降の動作においては、動きベクトルが検出された被写体のみを対象として判定処理が実行される。動きベクトルが検出された被写体に像ブレが発生した場合に読出し動作が実行され、像ブレが許容範囲を超える前に画像データが取得される。
【００９４】
上記した像ブレ量Ｄｃ（ｔ）の補正と並行して、ブレ・動きベクトル検出部６００は、連続する２枚の画像データに対応するブレ補正用データも、検出された動きベクトルを相殺するように補正して、画像データと共に加算処理部５００に出力する。
【００９５】
以上の判定以降、ブレ・動きベクトル検出部６００は、補正後の像ブレ量Ｄｃ（ｔ）に対してＰ−Ｐ値の観測およびブレ補正用データの取得を行い、露光期間が終了するまで第１実施形態と同様の読出し動作を継続する。
【００９６】
上記したように、本実施形態に係る撮像素子１０００においては、第１実施形態と同様の技術的効果が奏される。加えて、発生した像ブレがユーザの意図によるものであると判定された場合、検出された動きベクトルを相殺するように像ブレ量Ｄ（ｔ）が補正されて読出し動作が制御される。そのため、ユーザの意図を判定せずに読出し動作を制御する構成と比較して、効果的に画像データ量を削減できる。結果として、ブレ補正処理や加算処理（統合処理）等の画像処理の負荷、画像データの転送量、記録すべき画像データの容量等を抑制することが可能である。
【００９７】
図９の下部に示すように、上記した像ブレ量の補正を実行した場合、すなわち、補正後の像ブレ量Ｄｃ（ｔ）について取得したＰ−Ｐ値と閾値Ｄｔｈとの比較判定に基づいて読出し制御を実行した場合、４回の読出し動作が実行される。他方、図９の上部に示すように、上記した像ブレ量の補正を実行しない第１実施形態と同様の場合、すなわち、補正前の像ブレ量Ｄ（ｔ）について取得したＰ−Ｐ値と閾値Ｄｔｈとの比較判定に基づいて読出し制御を実行した場合、８回の読出し動作が実行される。以上から理解されるように、本実施形態の像ブレ量の補正を実行することによって、露光期間における読出し動作の回数が削減され、ひいては画像データ量が効果的に削減される。
【００９８】
なお、以上の構成においては、連続する２枚の画像データから検出した被写体の動きベクトルに基づいて、発生した像ブレがユーザの意図によるものであるか否かを判定している。しかしながら、被写体の動きは任意の手法で判定され得る。例えば、取得された像ブレ量Ｄ（ｔ）から、ブレ速度の定数成分を検出して被写体の動きが判定されてもよい。
【００９９】
＜変形例＞
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１００】
１０  単位画素
１００  画素アレイ部
２００  ＡＤ変換部
３００  読出し駆動部
４００  ブレ検出部（解析制御部）
５００  加算処理部
６００  ブレ・動きベクトル検出部（解析制御部）
１０００  撮像素子（撮像装置）
１００３  画像処理回路
１００５  メモリ部
１００６  制御演算部
１００８  記録媒体
１００９  表示部
２０００  撮像素子（撮像装置）
【図１】
2020191504.tif 000003
【図２】
2020191504.tif 000004
【図３】
2020191504.tif 000005
【図４】
2020191504.tif 000006
【図５】
2020191504.tif 000007
【図６】
2020191504.tif 000008
【図７】
2020191504.tif 000009
【図８】
2020191504.tif 000010
【図９】
2020191504.tif 000011