(57)【要約】【課題】動きのある被写体を撮影した際、歪みの無い被写体画像を得る事が出来、かつ被写体の速度を検出する事が可能な撮像装置及び撮像装置の制御方法を提供すること。【解決手段】グローバルシャッタ搭載センサとローリングシャッタ搭載センサを有し、被写体距離測定手段を有する撮像装置において、上記グローバルシャッタ搭載センサからの出力画像とローリングシャッタ搭載センサからの出力画像との差分から被写体の移動方向、画像上での移動量を検出し、被写体距離測定手段にてカメラから被写体までの距離を検出し、上記で求めた被写体の移動方向、被写体の画像上での移動量、カメラから被写体までの距離を元に被写体の速度ベクトルを検出することを特徴とする。【選択図】図９
2018191026.tif 000002
【特許請求の範囲】
【請求項１】
グローバルシャッタ搭載センサとローリングシャッタ搭載センサを有し、被写体距離測定手段を有する撮像装置において、上記グローバルシャッタ搭載センサからの出力画像とローリングシャッタ搭載センサからの出力画像との差分から被写体の移動方向、画像上での移動量を検出し、被写体距離測定手段にてカメラから被写体までの距離を検出し、上記で求めた被写体の移動方向、被写体の画像上での移動量、カメラから被写体までの距離を元に被写体の速度ベクトルを検出することを特徴とする撮像装置。
【請求項２】
上記ローリングシャッタ搭載センサに焦点検出用画素を有し、被写体距離測定手段として焦点検出画素からのデータを元に被写体までの距離を算出する位相差信号処理部を有する事を特徴とする請求項１に記載の撮像装置。
【請求項３】
グローバルシャッタ搭載センサとローリングシャッタ搭載センサの蓄積時間の位相を、被写体位置に応じて変えることを特徴とする請求項１に記載の撮像装置。
【請求項４】
検出した被写体動き情報を、出力画像に付加することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の速度検出することが可能な撮像装置に関する。
【背景技術】
【０００２】
従来技術において、ローリングシャッタ動作で動作する１つの撮像素子上に複数の個眼レンズを有し、撮像素子から読出した複数の個眼像を比較することによって被写体の動きを検出する動き検出方法が開示されている（特許文献１）。
【０００３】
また、互いに上から下、下から上と逆向きの走査方向に走査する２つのローリングシャッタ方式のＣＭＯＳセンサを有し、被写体に動きがある場合に生じる画像歪みから動きの有無とその方向等を検出する方法が開示されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４４６４９号公報
【特許文献２】特開２０１１−２０５２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術では、被写体までの距離が既知でなければ速度を検出することはできない。特許文献２では、被写体の動きの有無は分かるが被写体速度までは検出できない。また、上記いずれの従来技術においても、被写体の動きは検出出来るが、歪みのない被写体画像を得ることは困難である。
【０００６】
そこで、本発明の目的は、動きのある被写体を撮影した際、歪みの無い被写体画像を得る事が出来、かつ被写体の速度を検出する事が可能な撮像装置及び撮像装置の制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明に係る撮像装置は、
グローバルシャッタ搭載センサとローリングシャッタ搭載センサを有し、被写体距離測定手段を有する撮像装置において、上記グローバルシャッタ搭載センサからの出力画像とローリングシャッタ搭載センサからの出力画像との差分から被写体の移動方向、画像上での移動量を検出し、被写体距離測定手段にてカメラから被写体までの距離を検出し、上記で求めた被写体の移動方向、被写体の画像上での移動量、カメラから被写体までの距離を元に被写体の速度ベクトルを検出することを特徴とする。
【発明の効果】
【０００８】
本発明に係る撮像装置によれば、一度の撮影で被写体の速度を算出する事ができ、かつローリング歪みの無い画像を得る事が可能な撮像装置を実現することができる。そのため本発明を利用する事で、撮影画像に速度情報を付加することが可能になり、静止画であっても、被写体の動きベクトルを含む高画質で臨場感のある情報を提供する事が可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置のシステム構成を示すブロック図である。
【図２】本発明の実施形態に係る撮像ユニットの構成を示す図である。
【図３】本発明の実施形態に係る撮像素子の構成を示すブロック図である。
【図４】本発明の実施形態に係る撮像素子の画素の回路構成を示す図である。
【図５】本発明の実施形態に係る撮像素子の画素の回路構成を示す図である。
【図６】本発明の実施形態における撮像素子の撮像用画素の平面図と断面図である。
【図７】本発明の実施形態における撮像素子の焦点検出用画素の断面図と平面図である。
【図８】本発明の実施形態における撮像素子の撮像用画素と焦点検出用画素の画素配置図である。
【図９】本発明の実施形態に係る処理フロー図である。
【図１０】本発明の実施形態における撮像素子の駆動タイミングを示す図である。
【図１１】本発明の実施形態における被写体速度算出の概念を示す図である。
【図１２】本発明の実施形態における画像への速度表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１１】
《第１の実施形態》
以下、本発明の第１の実施形態について、図１〜図１２を用いて説明する。本実施形態では、１つの光学系を通した被写体像を２つの撮像素子（グローバルシャッタを有する撮像素子とローリングシャッタを有する撮像素子）で受ける構成を有する撮像装置を例に説明する。
【００１２】
図１は、撮像装置の構成を示している。１０１は光学鏡筒、１０２は撮像ユニット、１０３は制御演算部、１０４は映像信号処理部、１０５は圧縮伸張部、１０６は位相差信号処理部、１０７はデータ記録部、１０８は発光部、１０９は操作部、１１０は画像表示部、１１１は画像記録部である。
【００１３】
光学鏡筒１０１は、レンズと、フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３、シャッタ機構部１０１４などから構成されている。光学鏡筒１０１内のレンズを通った被写体像は絞り機構部１０１３にて適切な光量に調整され、撮像ユニット１０２内の撮像素子上の撮像面に結像される。フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３、シャッタ機構部１０１４は制御演算部１０３からの制御信号に基づいて駆動される。
【００１４】
撮像ユニット１０２では、制御演算部１０３からの制御信号に応じて露光や信号読み出しやリセットなどの撮像動作が実施され、対応する画像信号を出力する。映像信号処理部１０４は、撮像素子１０２から画像信号を受けて、ＡＥ処理、ＨＤＲ信号処理やホワイトバランス調整処理、色補正処理などの各種信号処理を施し映像信号を出力する。
【００１５】
圧縮伸張部１０５は、制御演算部１０３の制御の下で動作し、映像信号処理部１０４からの映像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。または、記録画素部１１１から供給された静止画像の符号化データを伸張復号化処理する。さらに、ＭＰＥＧ（Moving Picture Experts Group）方式などにより動画像の圧縮符号化／伸張復号化処理を実行可能なようにしてもよい。
【００１６】
位相差信号処理部１０６は、撮像素子１０２からの異なる瞳面の画素信号（位相差信号）を得て、その位相差信号から公知の位相差検出処理を行うことで位相差検出信号を得る。位相差信号処理部１０６では、制御演算部１０３からの制御信号により、撮像素子１０２から、異なる瞳面の画素信号（位相差信号）を得て、その位相差信号から公知の位相差検出処理を行うことで位相差検出信号を得る。
【００１７】
位相差検出信号算出の際、異なる瞳面からの画素信号間で、瞳面が異なること以外の要因で出力レベルに差がある信号を用いる場合には、出力レベル補正を行った上で位相差信号処理部１０６にて位相差検出処理を実施する。位相差信号処理部１０６にて算出された位相差検出信号は、制御演算部１０３へ送られ、制御演算部１０３では位相差検出信号に基づいて撮像光学系の焦点状態を示すデフォーカス量を算出や、被写体までの距離算出を実施する。
【００１８】
制御演算部１０３で算出されたデフォーカス量から合焦状態を得るために必要なフォーカスレンズの駆動量を算出し、フォーカス機構部１０１１へと制御信号を送る。また、制御演算部１０３で算出した被写体距離の情報は、被写体の速度ベクトル演算に用いられる。詳細は、後述する。
【００１９】
フォーカス機構部１０１１は制御演算部１０３からの制御信号に従って、ＡＦ機構を駆動させ所望の位置にまでフォーカスレンズを移動させる。
【００２０】
制御演算部１０３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムの実行により、この撮像装置の各部を統括的に制御する。
【００２１】
データ記録部１０７は、制御演算部１０３にて演算され得られたパラメータ等を記録する。
【００２２】
発光部１０８は、信号処理部１０４でのＡＥ処理によって被写体の露出値が低いと判断された場合に、被写体に対して光を照射する装置であり、キセノン管を用いたストロボ装置やＬＥＤ発光装置などに代表される。
【００２３】
操作部１０９は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を制御演算部１０３に出力する。
【００２４】
画像表示部１１０は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスや、これに対するインタフェース回路などからなり、制御演算部１０３から供給された映像信号から表示デバイスに表示させるための映像信号を生成する。そして、この信号を表示デバイスに供給して画像を表示させる。
【００２５】
画像記録部１１１は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどとして実現され、圧縮伸張部１０５により符号化された画像データファイルを制御演算部１０３から受け取って記憶する。また、制御演算部１０３からの制御信号を基に指定されたデータを読み出し、制御演算部１０３に出力する。
【００２６】
図２は、本実施形態における撮像ユニット１０２の構成を説明する図である。
【００２７】
２０１はローリングシャッタ方式の撮像素子の撮像素子、２０２はグローバルシャッタ方式、２０３はハーフミラーである。撮像素子２０１と撮像素子２０２は、画素の回路構成は当然異なるが、撮像素子のそれ以外の構成要素の概要は同じものとする。
【００２８】
撮像素子２０１は、画素の種類として撮像用画素と焦点検出用画素の両方を有するものとする。一方、撮像素子２０２は撮像用画素のみを有するものとする。撮像素子２０１、撮像素子２０２の画素配置、撮像用画素と焦点検出用画素についての説明は後述する。
【００２９】
被写体からの入射光はハーフミラーで２つの光に分割され、一方の光は撮像素子２０１へ、もう一方の光は撮像素子２０２へと入射する。つまり同様の被写体像を撮像素子２０１と撮像素子２０２で同時に受光することが可能な構成となっている。
【００３０】
図３は、本実施形態における撮像ユニット内の撮像素子２０１、２０２の構成の概要説明する図である。
【００３１】
図３において、３０１は画素、３０２は垂直出力線、３０３は垂直走査回路、３０４は画素駆動配線、３０５は増幅ＭＯＳアンプの負荷となる定電流源、３０６は選択スイッチ、３０７は出力アンプ、３０８は読み出し回路、３０９は水平走査回路。なお、図２では図の簡略化のために、画素３０１を４行×４列の画素配列のみ示しているが、実際には非常に多数の画素３０１が２次元に配置された画素配列が構成され、２０１、２０２ともに同一の画素サイズ（ピッチ）同一の画素配列である。また、画素駆動配線３０４は、一本の線で表現されているが、実際には複数の駆動配線が存在している。
【００３２】
画素３０１において被写体から入射した光は電圧に変換され、垂直出力線３０２を経て読み出し回路３０８に出力される。さらに水平走査回路３０９により駆動された選択スイッチ３０６により出力する信号が選択され、出力アンプ３０７を経て撮像素子外部に順次出力される。
【００３３】
次に、撮像素子２０１、２０２における画素３０１の回路構成を図４、図５を用いて説明する。図４はローリングシャッタ方式の撮像素子２０１の画素の回路構成を示している。
【００３４】
図４において、４０１はフォトダイオード（ＰＤ）、４０２は転送スイッチ、４０３はフローティングディフュージョン（ＦＤ）、４０４はソースフォロアとして機能する増幅ＭＯＳアンプ、４０５は選択スイッチ、４０６はリセットスイッチである。
【００３５】
ＰＤ４０１において光を電荷に変換し、ＰＤ４０１で発生した電荷は転送スイッチ４０２により転送パルスφＴＸにて転送し、ＦＤ４０３に一時的に蓄積しておく。
【００３６】
増幅ＭＯＳアンプ４０４のドレインは電源電圧ＶＤＤとされ、ゲートはＦＤ４０３に接続されている。増幅ＭＯＳアンプ４０４は、ＦＤ４０３の電圧を電気信号に変換する。
【００３７】
選択スイッチ４０５は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅ＭＯＳアンプ４０４のソースに、ソースは垂直出力線３０２に接続されている。
【００３８】
ＦＤ４０３、増幅ＭＯＳアンプ４０４、及び定電流源３０５でソースフォロアアンプが構成され、選択パルスφＳＥＬによって選択スイッチ４０５で選択された画素の信号電荷は電圧に変換され、垂直出力線３０２へ出力される。ＦＤ４０３に蓄積された電荷の除去はリセットパルスφＲＥＳによりリセットスイッチ４０６にて行われ、ＦＤ４０３の電圧を電源電圧ＶＤＤにリセットする。
【００３９】
転送スイッチ４０２、選択スイッチ４０５、リセットスイッチ４０６は垂直走査回路３０３にて選択が行われる。
【００４０】
ローリングシャッタ方式の撮像素子２０１では、画素配列の上部の行から順次ＰＤ４０１およびＦＤ４０３を行単位でリセットさせた後、ＰＤ４０１の電荷蓄積を開始する。そして、ＰＤ４０１に電荷蓄積後、同様に画素配列の上部の行から行単位で順次ＰＤ４０１からＦＤ４０３への転送、ＦＤ４０３から垂直出力線３０２への出力を行う。そのため、電荷蓄積時刻が行毎に異なる事となる。
【００４１】
図５は、グローバルシャッタ方式の撮像素子２０２の画素の回路構成を示している。
【００４２】
図５において、５０１はフォトダイオード（ＰＤ）、５０２、５０３、５０４は転送スイッチ、５０５はフローティングディフュージョン（ＦＤ）、５０６はソースフォロアとして機能する増幅ＭＯＳアンプ、５０７は選択スイッチ、５０８はリセットスイッチである。
【００４３】
転送スイッチ５０２〜５０４では、それぞれに対応する転送チャンネルの電荷の蓄積状態と障壁状態が転送パルスφＴＸ１〜φＴＸ３により制御される。上記のようにチャンネルの電荷の蓄積状態と障壁状態を制御して電荷を制御する電荷転送素子として代表的なものにＣＣＤがあげられる。
【００４４】
転送スイッチ５０２〜５０４の制御では、それぞれに対応する転送パルスφＴＸ１〜φＴＸ３が高電位の時にトランジスタがＯＮに相当する電荷の蓄積状態となる。また、低電位の時にトランジスタがＯＦＦに相当する障壁状態（非蓄積状態）となる。
【００４５】
転送スイッチ５０２と転送スイッチ５０４に対応するチャンネルを障壁状態とし、転送スイッチ５０３に対応するチャンネルを蓄積状態とすることで、転送スイッチ５０３に対応するチャンネルに電荷を独立させた状態で蓄積することが可能となっている。
【００４６】
ＰＤ５０１において光を電荷に変換し、ＰＤ５０１で発生した電荷は転送スイッチ５０２〜５０４の転送パルスφＴＸ１、φＴＸ２を高電位、転送パルスφＴＸ３が低電位としてから、φＴＸ１を低電位に切替えることで転送スイッチ５０３に対応するチャネルに電荷を蓄積する。その後、転送パルスφＴＸ３を高電位とし、転送パルスφＴＸ２を低電位としてからφＴＸ３を低電位とすることで、ＦＤ５０５に電荷を転送する。
【００４７】
増幅ＭＯＳアンプ５０６のドレインは電源電圧ＶＤＤとされ、ゲートはＦＤ５０５に接続されている。増幅ＭＯＳアンプ５０６は、ＦＤ５０５の電圧を電気信号に変換する。
【００４８】
選択スイッチ５０７は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅ＭＯＳアンプ５０６のソースに、ソースは垂直出力線３０２に接続されている。
【００４９】
ＦＤ５０５、増幅ＭＯＳアンプ５０６、及び定電流源３０５でソースフォロアアンプが構成され、選択パルスφＳＥＬによって選択スイッチ５０７で選択された画素の信号電荷は電圧に変換され、垂直出力線３０２へ出力される。ＦＤ５０５に蓄積された電荷の除去はリセットパルスφＲＥＳによりリセットスイッチ５０８にて行われ、ＦＤ５０５の電圧を電源電圧ＶＤＤにリセットする。
【００５０】
転送スイッチ５０２、５０３、５０４、選択スイッチ５０７、リセットスイッチ５０８は垂直走査回路３０３にて選択が行われる。
【００５１】
グローバルシャッタ方式の撮像素子２０２では、画素配列に存在する全ての画素において、転送スイッチ５０２、５０３、５０４に対応するチャンネル、ＰＤ５０１およびＦＤ５０５をリセットさせて同時にＰＤ５０１の電荷蓄積を開始する。そして、電荷蓄積後、画素配列に存在する全ての画素において同時にＰＤ５０１から読み出し、転送スイッチ５０３に対応するチャンネルに電荷を独立させた状態で蓄積させる。その後、画素配列の上部の行から行単位で順次転送スイッチ５０３に対応するチャンネルからＦＤ５０５への転送、ＦＤ５０５から垂直出力線３０２への出力を行う。そのため、電荷蓄積時刻は全ての画素で同じになる。
【００５２】
図６に撮像用画素の配置と構造を示す。図６（ａ）は２行×２列の撮像用画素の平面図である。周知のごとく、ベイヤ配列では対角方向にＧ画素が、他の２画素にＲ画素とＢ画素が配置される。そしてこの２行×２列の構造が繰り返し配置される。図６（ａ）の断面Ａ−Ａを図６（ｂ）に示す。
【００５３】
ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（赤色）のカラーフィルタ、ＣＦＧはＧ（緑色）のカラーフィルタ。ＰＤはフォトダイオードを模式的に示したもの、ＣＬはＣＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層、ＴＬは撮影光学系を模式的に示したもの、ＥＰは射出瞳を示す。
【００５４】
撮像用画素のオンチップマイクロレンズＭＬとフォトダイオードＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。つまり、撮影光学系ＴＬの射出瞳ＥＰとフォトダイオードＰＤは、マイクロレンズＭＬにより共役関係にあり、フォトダイオードＰＤの有効面積は可能な限り大面積に設計される。図６（ｂ）ではＲ画素の入射光束についてのみ図示しているが、Ｇ画素及びＢ画素も同一の構造となっている。各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎ特性が可能な限り良くなるよう設計されている。
【００５５】
図７に撮影レンズの水平方向（横方向）に瞳分割を行うための焦点検出用画素の配置と構造を示す。図７（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。撮像信号を得る場合、Ｇ画素は輝度情報の主成分をなす。また、人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認められやすい。
【００５６】
一方でＲ画素もしくはＢ画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そのため実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素の一部を焦点検出用画素としている。これを図７（ａ）においてＳＡ及びＳＢで示す（それぞれＳＡ画素、ＳＢ画素と記載）。図７ではＳＡ画素とＳＢ画素は斜め方向で隣接しているが必ずしもこの配置である必要性はない。
【００５７】
図７（ａ）のＳＡ画素とＳＢ画素を真横に並べたときの断面Ａ−Ａを図７（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＷはＷ（白色）のカラーフィルタ。ＰＤはフォトダイオードを模式的に示したもの、ＣＬはＣＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層、ＴＬは撮影光学系を模式的に示したものを示す。
【００５８】
ＯＰＨＡ、ＯＰＨＢは、それぞれＳＡ画素の開口部、ＳＢ画素の開口部である。ＥＰＨＡ、ＥＰＨＢは、それぞれ撮影レンズＴＬの左側、右側の射出瞳である。
【００５９】
マイクロレンズＭＬと、フォトダイオードＰＤは図６（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は出力画像の生成には用いないため、カラーフィルタＣＦＷは色分離用カラーフィルタの代わりに透明膜（Ｗｈｉｔｅ）が配置されている。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏って配置されている。
【００６０】
具体的には、ＳＡ画素および、その開口部ＯＰＨＡは右側に偏って配置しているため、撮影レンズＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、ＳＢ画素の開口部ＯＰＨＢは左側に偏って配置しているため、撮影レンズＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、ＳＡ画素を水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、ＳＢ画素も水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像から像ずれ量を算出し、この像ずれ量から被写体像のデフォーカス量を算出することができる。また、垂直方向（縦方向）のでデフォーカス量を検出したい場合には、例えばＳＡおよび、その開口部ＯＰＨＡを上側に、ＳＢおよび、その開口部ＯＰＨＢを下側に偏って配置させて構成すればよい。 
【００６１】
図８は、本実施形態において撮像用画素および焦点検出用画素の配置を示した画素配置図である。図８（ａ）は撮像素子２０１の画素配置、図８（ｂ）撮像素子２０２の画素配置を示す。
【００６２】
図８において、図中のＲ、Ｇ、Ｂはそれぞれ図６におけるＲ画素、Ｇ画素、Ｂ画素である。また、図中のＳＡ、ＳＢは図７におけるＳＡ画素、ＳＢ画素を示す。焦点検出用画素群が、撮像用に使用できないことを考慮して、本実施形態では、Ｘ、Ｙ方向にある程度の間隔をおいて、離散的に配置されるように構成される。また、焦点検出用画素の画素配置は、ＳＡ画素、ＳＢ画素が画素ペアを構成し、画素ペアが等間隔で配置されている。
【００６３】
次に、図１〜図８を用いて述べた撮像装置による被写体の速度ベクトル検出の方法について図９を用いて述べる。図９は撮像装置による被写体の速度ベクトル検出の手順を示したフローチャートである。
【００６４】
まず、ステップＳ９０１にてローリングシャッタ方式の撮像素子２０１（ＲＳセンサと表記）と、グローバルシャッタ方式の撮像素子２０２（ＧＳセンサと表記）にて同一の被写体を、それぞれの撮像素子の特定の同一行は同じ時刻になるように撮影する。上記撮影タイミングについて図１０を用いて説明する。撮像素子２０１から出力された画像をＲＳ出力画像、撮像素子２０２から出力された画像をＧＳ出力画像と後述する。
【００６５】
図１０（ａ）は２つの撮像素子２０１、２０２で同一の被写体を撮影した際の出力画像を示している。主被写体として画面の水平方向右側（ｘ軸の正の方向）へ移動する電車を撮影しているものとし、背景は動いていないものとする。下側がローリングシャッタ方式の撮像素子２０１で撮影した画像。上側がグローバルシャッタ方式の撮像素子２０２で撮影した画像。この時、主被写体の中心軸上に位置する行を基準行（この場合Ｍ行目）とする。２つの撮像素子２０１、２０２は、常にこの基準行の露光時間が一致するように露光時間を制御する。
【００６６】
この基準行は、操作部１０９からユーザが指定した主被写体、もしくは１つ前のフレームの画像上で、主被写体となっている被写体が写っている上端の行、下端の行の中間の行を基準行とする。
【００６７】
なお、以後画面の水平右方向をｘ軸の正の方向、画面垂直下方向をｙ軸の正の方向とし、位置、ベクトル等はこのＸ−Ｙ座標系で記述する事とする。
【００６８】
図１０（ｂ）は２つの撮像素子２０１、２０２の露光開始、露光終了のタイミングを示している。１００１はローリングシャッタ方式の撮像素子２０１のタイミング。１００２はグローバルシャッタ方式の撮像素子２０２のタイミングを示している。
【００６９】
撮像素子２０１は時刻ｔ０に１行目から下方の行に向かって順に露光を開始して行く。そして時刻ｔ２にはＭ行を、時刻ｔ３には最終行の露光を開始する。時刻ｔ４から時刻ｔ６にかけて１行目から順次ＰＤ４０１から電荷を読み出して露光を終了する。基準行（Ｍ行目）は時刻ｔ５にＰＤ４０１から電荷を読み出す。
【００７０】
一方、撮像素子２０２は時刻ｔ２で全ての行で同時に露光を開始し、時刻ｔ５に全ての行のＰＤ５０１から電荷を読み出して、転送スイッチ５０３に対応するチャンネルに電荷を独立した形で蓄積させる。その後、１行目から順次、転送スイッチ５０４に対応するチャンネル、ＦＤ５０５を経て選択スイッチ５０７から垂直出力線３０２に出力信号を読み出す。
【００７１】
上記から分かる通り、撮像素子２０１と撮像素子２０２において、基準行（Ｍ行目）の露光期間は同一時刻である時刻ｔ２から時刻ｔ５までを露光期間としている。この基準行を基準として以下で被写体の移動距離の算出を行う。
【００７２】
ステップＳ９０２では、ＲＳ出力画像とＧＳ出力画像についてそれぞれの同じアドレスの画素を全画素にわたって比較し、双方で数画素にわたって出力レベルが一致しない領域を抽出する。図１０（ｃ）は図１０（ａ）に示すＲＳ出力画像とＧＳ出力画像とを比較し、一致しない画素領域を抽出した例を示している。
【００７３】
図１０（ａ）において、ＲＳ出力画像とＧＳ出力画像の背景は同じ画像が得られる。しかしながら、列車は画面の水平方向に移動しており、ＧＳ出力画像では静止した列車の画像として得られるが、ＲＳ出力画像ではローリング歪みが発生した画像として得られるため、双方の画像は一致しない。
図１０（ｃ）では、抽出された画素領域はＬ行〜Ｎ行にわたって存在しているものとする。
【００７４】
ステップＳ９０３では、ＲＳ出力画像を用い被写体までの距離Ｋ（レンズから被写体までの距離）を求める。距離Ｋは、ＲＳ出力画像に含まれるＳＡ画素の信号データから得られるＡ像、ＳＢ画素の信号データから得られるＢ像を用いて位相差信号処理部１０６で公知の方法で算出する。
【００７５】
距離Ｋが分かれば、レンズから撮像素子面までの距離ｋは既知であるから、撮像素子面に映しだされた被写体の大きさｚとすると、実際の被写体のサイズＺは下記の式で表される。
【００７６】
Ｚ＝ｚ×Ｋ／ｋ                                         （１）
ステップＳ９０４では、被写体の移動方向、移動量を抽出する。Ｓ９０２で抽出されたＲＳ出力画像の領域のＬ行〜Ｎ行について、同様にステップＳ９０２で抽出されたＧＳ出力画像の領域内に出力レベルの一致する行がないか探索する。そして、出力レベルが一致する行が有った場合にどちらの方向にどれだけ移動させた場所に有るのかその移動方向と移動量を求める。そして、画素領域毎に移動量の最も大きかった行から、移動方向、移動量を算出する。
【００７７】
図１０（ｃ）の例では、抽出した画素領域の中で最も移動量の大きい行は、基準行から最も距離の遠いＬ行（もしくはＮ行）である。この時、抽出されたＲＳ出力画像のＬ行目は水平方向にΔｘ移動させると抽出されたＧＳ出力画像に一致するものする。
【００７８】
移動方向はＲＳ出力画像上の特定の点を原点（０,０）とし、上記点に対応するＧＳ出力画像上の点に向けて引いた大きさ１のベクトルとして表現する事とする。また、移動量はＲＳ出力画像上の特定の点から対応するＧＳ出力画像上の点までの距離として求める。
【００７９】
移動方向は２次元平面上の原点（０，０）を矢印の根元とし、矢印の向う方向の座標で表現するとこの場合は（１，０）と表現できる。
【００８０】
【数１】
2018191026.tif 000003
【００８１】
この移動量Δｘは、画像上の移動画素数に画素ピッチをかけた値になる。
【００８２】
【数２】
2018191026.tif 000004
【００８３】
【数３】
2018191026.tif 000005
【００８４】
ただし、ΔｔはＬ行の読み出し開始時間とＭ行の読み出し開始時間の差として算出される時間とする。
【００８５】
【数４】
2018191026.tif 000006
【００８６】
図１１（ａ）は、四角い被写体が静止している際の画像を示している。図１１（ｂ）は等速で水平軸上を右方向（ｘ軸正の方向）に動いている図１１（ａ）の被写体を、撮像素子２０１と撮像素子２０２で撮影し、数画素にわたって出力レベルが一致しない領域を抽出した画像を示している。図１１（ｃ）は等速で垂直軸上を下方向（ｙ軸正の方向）に動いている図１１（ａ）の被写体を、撮像素子２０１と撮像素子２０２で撮影し、数画素にわたって出力レベルが一致しない領域を抽出した画像を示している。
【００８７】
図１１（ｄ）は等速で垂直軸上を右下方向（ｘ軸正の方向かつｙ軸正の方向）に動いている図１１（ａ）の被写体を、撮像素子２０１と撮像素子２０２で撮影し、数画素にわたって出力レベルが一致しない領域を抽出した画像を示している。
【００８８】
図１１（ｂ）（ｃ）（ｄ）にて実線で描かれているのはＧＳ出力画像の一部分領域画像。１点鎖線で描かれているのはＲＳ出力画像の一部分領域画像である。１点鎖線は基準行を表している。図１１（ｂ）（ｃ）（ｄ）において、ＲＳ出力画像において基準行から最も遠い行とＧＳ出力画像の対応する行の露光開始時刻の差をΔｔとする。
【００８９】
図１１（ｂ）においてＧＳ出力画像は水平方向に伸びているが、ＲＳ出力画像は水平方向に伸び、かつひし形に変形している。この２つの画像の差分Δｘは、ＲＳ出力画像において基準行から最も遠い行とＧＳ出力画像の対応する行の露光開始時刻の差Δｔの間の被写体の移動量に相当する。
【００９０】
【数５】
2018191026.tif 000007
【００９１】
図１１（ｃ）においては、撮像素子２０２で撮影した被写体像は垂直方向に伸びているが、撮像素子２０１で撮影した被写体像は垂直方向により大きく伸びている。
この２つの画像の差分Δｙは、ＲＳ出力画像において基準行から最も遠い行とＧＳ出力画像の対応する行の露光開始時刻の差Δｔの間の被写体の移動量に相当する。
【００９２】
【数６】
2018191026.tif 000008
【００９３】
【数７】
2018191026.tif 000009
【００９４】
図１１（ｄ）においては、撮像素子２０２で撮影した被写体像は水平方向、垂直方向ともに伸びているが、撮像素子２０１で撮影した被写体像は水平方向、垂直方向ともに伸び、かつひし形に変形している。
【００９５】
この２つの画像の差分Δを水平方向の成分Δｘと垂直方向の成分Δｙに分けて考える。このとき、差分Δｘ、Δｙは、ＲＳ出力画像において基準行から最も遠い行とＧＳ出力画像の対応する行の露光開始時刻の差Δｔの間の被写体の水平方向と垂直方向の移動量に相当する。移動方向はそれぞれｘ軸の正の方向、ｙ軸の正の方向に動いているため、水平方向の移動方向を
【００９６】
【数８】
2018191026.tif 000010
【００９７】
【数９】
2018191026.tif 000011
【００９８】
【数１０】
2018191026.tif 000012
【００９９】
図１２は、動く被写体の被写体速度を算出し、速度を検出した被写体の付近に被写体速度とその方向を表示した画像の例を示している。図１２では１つの被写体の被写体速度を同時取得し表示しているが、動く被写体が複数ある場合であっても、Ｓ９０２で抽出された被写体毎に上記で説明した方法を用い被写体速度を検出することで、表示することが可能である。
【０１００】
以上のように本実施形態によれば、撮影画像に速度情報を付加することが可能になり、静止画であっても、被写体の動きベクトルを含み高画質で臨場感のある情報を提供する事が可能となる。
【０１０１】
また、本実施形態では１つの光学系に２つの撮像素子を有する撮像装置の構成で説明した。しかし、２つの光学系を有し、一方の光学系はローリングシャッタ方式の撮像素子を、他方の光学系はグローバルシャッタ方式の撮像素子を有する撮像装置の構成で有っても同様のことが行えることは言うまでもない。
【０１０２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１０３】
１０１  光学鏡筒、１０１１  フォーカス機構部、１０１２  ズーム機構部、
１０１３  絞り機構部、１０１４  シャッタ機構部、１０２  撮像ユニット、
１０３  制御演算部、１０４  映像信号処理部、１０５  圧縮伸張部、
１０６  位相差信号処理部、１０７  データ記録部、１０８  発光部、
１０９  操作部、１１０  画像表示部、１１１  画像記録部、
２０１  撮像素子、２０２  撮像素子、２０３  ハーフミラー
【図１】
2018191026.tif 000013
【図２】
2018191026.tif 000014
【図３】
2018191026.tif 000015
【図４】
2018191026.tif 000016
【図５】
2018191026.tif 000017
【図６】
2018191026.tif 000018
【図７】
2018191026.tif 000019
【図８】
2018191026.tif 000020
【図９】
2018191026.tif 000021
【図１０】
2018191026.tif 000022
【図１１】
2018191026.tif 000023
【図１２】
2018191026.tif 000024