(57)【要約】      （修正有）【課題】画像間の動きベクトルから撮像装置の動き量を検出する際に、記録画像の撮影周期より短い周期のぶれを検出できる撮像装置を提供する。【解決手段】撮像装置１００は、二つの撮像センサと、二つの撮像センサを独立して制御するタイミング制御部と、二枚の画像から動きベクトルを算出するベクトル算出部と、ベクトル算出部で算出した動きベクトルから撮像センサの動き量を算出する動き量算出部とを備える。二つの撮像センサのうち、第一の撮像センサは、記録もしくは表示に適した読み出し周期で画像データの読み出しを行う。第二の撮像センサは、第一の撮像センサより早い読み出し周期で画像データの読み出しを行い、出力した画像データを用いて、動きベクトル算出部及び動き量算出部により動き量を求めることにより、第一センサの読み出し期間内の撮像センサの動き量の算出する。【選択図】図１
2019149601.tif 000002
【特許請求の範囲】
【請求項１】
二つの撮像センサと、
前記二つの撮像センサを独立して制御するタイミング制御部と、
二枚の画像から動きベクトルを算出するベクトル算出部と、
前記ベクトル算出部で算出した前記動きベクトルから前記撮像センサの動き量を算出する動き量算出部と、
を備え、
前記二つの撮像センサのうち、第一の撮像センサは記録もしくは表示に適した読み出し周期で画像データの読み出しが行われ、
第二の撮像センサは前記第一の撮像センサより早い読み出し周期で画像データの読み出しを行い、
前記第二の撮像センサが出力した画像データを用いて、前記動きベクトル算出部及び、前記動き量算出部により動き量を求めることにより、前記第一センサの読み出し期間内の前記撮像センサの動き量の算出することを特徴とする撮像装置。
【請求項２】
前記第二の撮像センサは読み出す画像データの画素数を前記第一の撮像センサより少なくすることにより画像データを高速に読み出しすること、
を特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第二の撮像センサの読み出し期間中の動きベクトルを用いて前記第一の撮像センサのローリングシャッタ歪みの補正を行うこと、
を特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関するもので、撮影画像からの動きベクトルの検出方法に関する。
【背景技術】
【０００２】
近年、スマートフォンやデジタルカメラに２つの撮像ユニットを搭載するものが登場している。同一の撮影範囲を複数の撮像ユニットを用いて、異なるピント位置で同時に撮影することで、撮影後にピントの位置を変更可能な画像を取得することが可能である。また、撮影範囲のずれた２つの撮像ユニットを用いて取得した２枚の画像を合成することで、より広角な画像を取得することが可能である。上述したように、複数の撮像ユニットを搭載することで様々な機能が実現されている。
【０００３】
また、スマートフォンやデジタルカメラの多くでは、ローリングシャッタ方式のＣＭＯＳ撮像センサが用いられている。この方式の撮像センサでは、画素毎に電荷の蓄積開始と読み出しを行うため撮像のタイムラグが生じ、撮像中の撮像センサの変位に応じて出力画像が歪むといった課題がある。例えば、上記撮像センサで左上から水平方向に画像データを読み込み、１ライン読み込んだら次のラインを読み込む制御を行った際、パンニングで撮影画像が斜めに歪み、チルティングでは撮影画像が伸び縮みする。そして、手ぶれが加わると撮影画像が波を打ったように歪む。この現象をローリングシャッタ歪みと呼ぶ。
【０００４】
このようなローリングシャッタ歪みの問題に対して、特許文献１では、ジャイロセンサなどの動き検出センサで得られた手振れ情報に基づいて、各ラインの記録画素の開始位置を変更することでローリングシャッタ歪みを補正する方法について記載されている。
【０００５】
また、特許文献２では、ジャイロセンサなどの動き検出センサを搭載せずに、前後の撮影画像を用いて動き量を検出する方法について記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−３５８９９９号公報
【特許文献２】特許第４７５３８５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された技術では、ジャイロセンサなどの動き検出センサを搭載する必要があるため、コストあがってしまう問題がある。
【０００８】
また、特許文献２に開示された技術では、前後の撮影画像を用いるため、前後の画像間の動きベクトルから動き量を推定する必要があり、撮影周期より手ぶれ周期が短い場合に正確に動き量を算出できない問題がある。
【０００９】
そこで本発明では、ジャイロセンサなどの動き検出センサを搭載することなく、周期が短い動き量を精度よく検出する手段を提供することにある。
【課題を解決するための手段】
【００１０】
前記の課題を解決するため、本発明の撮像装置では、
二つの撮像センサと、
前記二つの撮像センサを独立して制御するタイミング制御部と、
二枚の画像から動きベクトルを算出するベクトル算出部と、
前記ベクトル算出部で算出した前記動きベクトルから前記撮像センサの動き量を算出する動き量算出部と、
を備え、
前記二つの撮像センサのうち、第一の撮像センサは記録もしくは表示に適した読み出し周期で画像データの読み出しが行われ、
第二の撮像センサは前記第一の撮像センサより早い読み出し周期で画像データの読み出しを行い、
前記第二の撮像センサが出力した画像データを用いて、前記動きベクトル算出部及び、前記動き量算出部により動き量を求めることにより、前記第一センサの読み出し期間内の前記撮像センサの動き量の算出を行う。
【発明の効果】
【００１１】
本発明によれば、周期の短い動き量を精度よく検出し、ローリングシャッタ歪みを補正することが可能である。
【図面の簡単な説明】
【００１２】
【図１】本実施例における撮像装置の構成を示す図である。
【図２】本実施例における撮像装置の画像信号の出力タイミングを説明する図である。
【図３】本実施例における撮像装置の２つの撮像ユニットの画像信号の出力タイミングを説明する図である。
【図４】本実施例における撮像装置の動き量算出部の算出方法を説明するための図である。
【図５】本実施例における撮像装置の制御を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１４】
［実施例］
図１は、本発明に係る撮像装置の構成の一例を示すブロック図である。図１の撮像装置１００は、内部バス１０１、システム制御部１０２、ＲＯＭ１０３、メモリ１０４、第一の撮像センサ１０５、第一の撮像ユニット１３５、第二の撮像センサ１０６、第二の撮像ユニット１３６を備える。さらに、タイミング制御部１０７、画像処理部１０８、動きベクトル算出部１０９、動き量算出部１１０を備える。
【００１５】
内部バス１０１は、各ブロックに接続され、映像信号や制御信号のやりとりが行われる。システム制御部１０２は、撮像装置１００全体の制御を行う。ＲＯＭ１０３は、電気的に消去・記録可能なメモリである。ＲＯＭ１０３には、システム制御部１０２の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートなどを実行するためのプログラムのことである。
【００１６】
メモリ１０４は、画像データやシステム制御部１０２の一時データを格納する。メモリ１０４は所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。
【００１７】
第一の撮影レンズ１１５及び、第二の撮像レンズ１１６は被写体の光学像を取り込む光学レンズ群である。第一の撮像センサ１０５、及び第二の撮像センサ１０６は、ローリングシャッタ方式のＣＭＯＳ撮像センサである。第一のＡ／Ｄ変換部１２５及び、第二のＡ／Ｄ変換部１２６はアナログ信号をデジタル信号に変換する。
【００１８】
第一の撮像ユニット１３５及び、第二の撮像ユニット１３６は、各々の撮影レンズ１１５乃至、１１６と、撮像センサ１０５乃至、１０６、Ａ／Ｄ変換部１２５乃至、１２６から構成される。各撮像ユニット１３５及び、１３６は、各撮像レンズ１１５及び、１１６から入射された光学像を各撮像センサ１０５及び、１０６により画像信号に変換することで画像データを取得することができる。なお、撮像センサ１０５及び、１０６はＣＭＯＳ撮像センサでなくてもよく、結像された像をライン毎にデジタル信号に変換し、ラインを走査することで像全体の画像データを得ることが可能な構成であれば、どのような構成でもよい。
【００１９】
第一の撮像ユニット１３５は記録、及び、表示に適したフレームレートで動作し、記録、及び、表示用いる画像データを出力する。第二の撮像ユニット１３６は、第一の撮像ユニット１３５より早いフレームレートで画像データを取得し、後述する動きベクトルの算出に用いられる画像データの出力を行う。
【００２０】
タイミング制御部１０７は、第一の撮像センサ１０５、及び第二の撮像センサ１０６の画像信号の出力タイミングの制御を行う。第一の撮像センサ１０５、及び第二の撮像センサ１０６に対して独立したタイミングで制御を行う。また、システム制御部１０２は、第二の撮像ユニット１３６の出力タイミングにおける第一の撮像ユニット１３５の出力画像の露光期間となるラインをタイミング情報として取得し、メモリ１０４に格納する。
【００２１】
画像処理部１０８は、システム制御部１０１の制御により、各撮像センサ１０５、及び、１０６から出力した画像信号に対して、色変換処理やガンマ補正などの現像処理を行い、得られた撮影画像データをメモリ１０４に格納する。また、メモリ１０４に格納された画像データに対し、リサイズやトリミング処理、ローリングシャッタ歪みの補正処理などを行い、得られた画像データをメモリ１０４に格納する。
【００２２】
動きベクトル算出部１０９は第二の撮像ユニット１３６から出力された時間軸で連続して撮像された複数の画像データを用いて、画像データ間の相関に基づいて動きベクトルを算出する。動き量算出部１１０は、システム制御部１０２の制御により、動きベクトル算出部１０９で算出した動きベクトル及び、タイミング制御部１０７のタイミング情報に基づいて第一の撮像ユニット１３５の１フレーム内の動き量を算出する。算出した動き量は、システム制御部１０２の制御に基づいて、画像処理部１０８のローリングシャッタ歪み補正処理の制御に用いられる。
【００２３】
まず、図２を用いてローリングシャッタ歪みについて説明する。図２は各撮像センサ１０５、及び、１０６のライン毎の画像信号出力タイミングを示している。２０１は各撮像センサ１０５、及び、１０６から出力される画像信号である。２０２は画像信号２０１の光学像を取り込む露光期間を示しており、２０３の斜線部は画像信号２０１の読み出しタイミングを示している。２０４の点線は露光期間２０２の中心のタイミング（以後、露光タイミングと呼ぶ）を示している。
【００２４】
画像信号２０１の点線で区切られた矩形領域が１ライン分の画像信号を示しており（中間部のラインは省略）、ライン順に右方向へタイムラグｄをもって露光される。即ち、有効画像がライン数Ｎの各撮像センサ１０５、１０６において、先頭のライン１の出力タイミングを０とすると、終端のラインＮの出力タイミングは、Ｔ（＝（Ｎ−１）×ｄ）となる。ローリングシャッタ歪みは、撮像装置のブレや動体被写体を撮影した場合に、ライン毎の露光タイミングが異なることに起因して発生する。
【００２５】
次に、動きベクトル算出部１０９における動きベクトルの検出方法について説明する。動きベクトルの検出方法としては、従来から行われている相関法やブロックマッチング法を用いることができる。例えば、ブロックマッチング法は、まず、入力された画像信号を複数の適当な大きさのブロック領域（例えば８画素×８ライン）に分割する。そして、このブロック単位で前のフレームの一定範囲の画素との差を計算し、この差の絶対値の和が最小となる前のフレームのブロックを探索する方法である。そして、画面間の相対的なずれが、そのブロックの動きベクトルを示している。上述の方法で、動きベクトル算出部１０９では、第二の撮像ユニット１３６から出力された画像データを用いて、動きベクトルを算出する。
【００２６】
次に、動き量算出部１１０で行う第一の撮像ユニット１３５の動き量の算出方法について、図３、図４を用いて説明する。
【００２７】
図３（ａ）は各撮像ユニット１３５及び、１３６の画像信号の出力タイミングを示した図である。３１１は、第一の撮像ユニット１３５の画像信号の露光タイミングを示している。３２１、３２２、３２３、３２４、３２５は第二の撮像ユニット１３６の画像信号の露光タイミングを示しており、第一の撮像ユニット１３５より早いフレームレートで第二の撮像ユニットが動作している。
【００２８】
図３（ｂ）は各撮像ユニット１３５及び、１３６の出力信号を示した図である。３３１は、第一の撮像ユニット１３５の露光タイミング３１１で出力した画像信号である。３４１、３４２、３４３、３４４、３４５は、第二の撮像ユニット１３６の各々の露光タイミング３２１、３２２、３２３、３２４、３２５で出力した画像信号である。動きベクトル算出部１０９で算出される動きベクトルは、画像信号の露光タイミングにおける、フレームレートを単位とした単位時間当りの撮像面上での被写体の移動量である。
【００２９】
そのため、第二の撮像ユニット１３６の画像信号３４１と画像信号３４２から算出した動きベクトルは、ｔ１からｔ２で露光タイミングとなっている第一の撮像ユニット１３５の画像信号３３１のライン１からラインＸ１までの動きベクトルとなる。同様に、第二の撮像ユニット１３６の画像信号３４２と画像信号３４３から算出される動きベクトルは、ｔ２からｔ３のタイミングで露光タイミングとなる画像信号３３１のラインＸ１からラインＸ２までの動きベクトルとなる。
【００３０】
図４（ａ）は領域毎に算出した動きベクトルを示した図である。４０１は第二の撮像ユニット１３６の画像信号３４１と画像信号３４２を用いて、動きベクトル算出部１０９で算出した動きベクトルである。同様に、４０２、４０３、４０４は、各々の画像信号３４２と画像信号３４３、画像信号３４３と画像信号３４４、画像信号３４４と画像信号３４５を用いて算出した動きベクトルである。
【００３１】
図４（ｂ）は第一の撮像ユニット１３５の画像信号３３１の露光タイミングにおける動き量を示した図である。前述したように、各動きベクトル４０１、４０２、４０３、４０４は、各々が第一の撮像ユニット１３５の図３の画像信号３３１の各ライン（０〜Ｘ１、Ｘ１〜Ｘ２、Ｘ２〜Ｘ３、Ｘ３〜Ｎ）の動きベクトルとなる。動き量算出部１１０では、動きベクトル４０１〜４０４を用いて、第一の撮像ユニット１３５の動き量の算出を行う。４００の矢印は、算出した第一の撮像ユニット１３５の画像信号３３１におけるフレーム内の動き量である。動きベクトルから動き量の算出については、公知であるため、省略する。
【００３２】
４１１は、第二の撮像ユニット１３６の画像信号３４１の露光タイミングｔ１における第一の撮像ユニット１３５の撮影範囲である。同様に、４１２、４１３，４１４、４１５は、第二の撮像ユニット１３６の各々の画像信号３４２、３４３、３４４、３４５の露光タイミングｔ２、ｔ３、ｔ４、ｔ５における第一の撮像ユニット１３５の撮影範囲である。第一の撮像ユニット１３５の撮影範囲は、動き量４００に沿って撮影範囲４１１〜４１５へと移動している。
【００３３】
図５は、撮像装置１００のローリングシャッタ歪みの補正処理について説明するためのフローチャートである。図５を用いて、本発明における制御フローを詳細に説明する。
【００３４】
ステップＳ５０１では、タイミング制御部１０７の制御に従って、各撮像ユニット１３５、及び、１３６の動作を開始する。第一の撮像ユニットは記録、表示に適したフレームレートで動作させ、第二の撮像ユニット１３６は、第一の撮像ユニット１３５より早いフレームレートで動作させる。
【００３５】
ステップＳ５０２では、第二の撮像ユニット１３６の画像データの出力完了を待つ。出力が完了した後に、第二の画像データ及び、第二の画像データに関するタイミング情報をメモリ１０４に格納し、ステップＳ５０３に進む。
【００３６】
ステップＳ５０３では、次のフレームの第二の撮像ユニット１３６の動作を開始する。ステップＳ５０４では、ステップＳ５０１で動作を開始した第一の撮像ユニット１３６の画像データの出力が完了したか否かの判定を行う。画像データの出力が完了していた場合、ステップＳ５０５に進む。画像データの出力が完了していない場合は、ステップＳ５０２で再度、第二の撮像ユニット１３６の画像データの出力完了を待つ。前述の図３（ａでは、第一の撮像ユニット１３５の画像データを１枚撮影する際に、第二の撮像ユニット１３６の画像データを５枚撮影しているため、ステップＳ５０２〜ステップＳ５０４の処理を４回繰り返している。
【００３７】
ステップＳ５０５では、ステップＳ５０２でメモリ１０４に格納された第二の撮像ユニット１３６の連続する２枚の画像データを用いて、動きベクトル算出部１０９で動きベクトルを算出する。また、動きベクトル算出に用いた第二の撮像ユニット１３６の画像データのタイミング情報をタイミング制御部１０７より取得する。
【００３８】
ステップＳ５０６では、ステップＳ５０５で算出した動きベクトル、及び、タイミング情報に基づいて、動き量算出部１１０で第一の撮像ユニット１３５の対応する１フレーム内の動き量を算出する。
【００３９】
ステップＳ５０７では、システム制御部１０１に従って、算出した１フレーム内の動き量に基づいて、画像処理部１０８で第一の撮像ユニット１３５の画像データに対してローリングシャッタ歪補正を行い、補正された画像データをメモリ１０４に格納する。動き量に基づいてのローリングシャッタ歪みの補正については公知なので説明を省略する。
【００４０】
一般に、早いフレームレートの画像はローリングシャッタ歪の影響を殆ど受けていないので、第二の撮像ユニット１３６の画像データに基づいて、第一の撮像ユニット１３５の画像データについてローリングシャッタ歪の補正が行われる。
【００４１】
ステップＳ５０８では、終了指示があるまで、ステップＳ５０１〜ステップＳ５０７の処理を繰り返す。終了指示を受けると処理を終了する。
【００４２】
以上のようにして、記録及び、表示用の画像データを出力する第一の撮像ユニット１３５より早いフレームレートの第二の撮像ユニット１３６の出力画像データから動き量を算出することで、周期が短い動き量を精度よく検出することが可能となる。
【符号の説明】
【００４３】
１００  撮像装置
１０１  内部バス
１０２  システム制御部
１０３  ＲＯＭ
１０４  メモリ
１０５  第一の撮像センサ
１３５  第一の撮像ユニット
１０６  第二の撮像センサ
１３６  第二の撮像ユニット
１０７  タイミング制御部
１０８  画像処理部
１０９  動きベクトル算出部
１１０  動き量算出部
【図１】
2019149601.tif 000003
【図２】
2019149601.tif 000004
【図３】
2019149601.tif 000005
【図４】
2019149601.tif 000006
【図５】
2019149601.tif 000007