(57)【要約】【課題】  ローリングシャッタ方式の複数の撮像センサから取得した画像データを合成する際に、合成部分にローリングシャッタ歪みによるずれが発生する。【解決手段】それぞれの画角が部分的に重なるように近接配置される複数の撮像部と、複数の撮像部の画像信号の出力タイミングを、各々の撮像部に対して制御するタイミング制御部と、複数の撮像部から取得された各々の画像間の対応する位置を算出する対応位置算出部と、対応位置算出部で算出した画像間の対応位置から複数の撮像部の各々の出力タイミングのずれ量を算出するタイミング算出部と、複数の撮像部から取得された複数の画像から広角画像を生成する画像合成部と、を有し、タイミング算出部で算出した出力タイミングのずれ量に基づいて、複数の撮像部の各々の対応位置における出力タイミングが同期するように制御すること。【選択図】  図３
2018074222.tif 000002
【特許請求の範囲】
【請求項１】
画角の異なる複数画像から広角な画像を生成する撮像装置において、
それぞれの画角が部分的に重なるように近接配置される複数の撮像部と、
前記複数の撮像部の画像信号の出力タイミングを、各々の撮像部に対して制御するタイミング制御部と、
前記複数の撮像部から取得された各々の画像間の対応する位置を算出する対応位置算出部と、
対応位置算出部で算出した前記画像間の対応位置から前記複数の撮像部の各々の出力タイミングのずれ量を算出するタイミング算出部と、
前記複数の撮像部から取得された複数の画像から広角画像を生成する画像合成部と、
を有し、
前記タイミング算出部で算出した前記出力タイミングのずれ量に基づいて、前記複数の撮像部の各々の前記対応位置における出力タイミングが同期するように制御することを特徴とする撮像装置。
【請求項２】
前記対応位置取得部は、
前記複数の撮像部の各々の位置関係及び、焦点距離から、画像間の対応位置を算出することを
を特徴とする請求項１に記載の撮像装置。
【請求項３】
前記複数の撮像部は、
ラインの走査方向及び、各ライン走査の読み出し順序方向が各撮像部で同一の方向になるよう配置し、さらに、各ライン走査の読み出し順序方向の直線上に配置すること
を特徴とする請求項１に記載の撮像装置。
【請求項４】
前記複数の撮像部に設定される焦点距離が、各撮像部で同じであること
を特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関するもので、複数のローリングシャッタ方式の撮像センサの画像信号出力タイミングの制御方法に関する。
【背景技術】
【０００２】
近年、スマートフォンやデジタルカメラに２つの撮像ユニットを搭載するものが登場している。撮影範囲のずれた２つの撮像ユニットを用いて取得した２枚の画像を合成することで、より広角な画像を取得することが可能である。
【０００３】
また、スマートフォンやデジタルカメラの多くでは、ローリングシャッタ方式のＣＭＯＳ撮像センサが用いられている。この方式の撮像センサでは、ライン毎に撮像のタイムラグがあることから、パンニングで撮影画像が斜めに歪む、チルティングで撮影画像が伸び縮みする、手ぶれで撮影画像が波を打ったように歪むといった課題がある。この現象をローリングシャッタ歪みと呼ぶ。
【０００４】
このようなローリングシャッタ方式の撮像センサを用いて、複数の画像から広角な画像を取得する場合、合成部分での撮像センサの画像信号の出力タイミングが異なるため、ローリングシャッタ歪みの歪み方が異なってしまい、合成部分でずれが発生してしまう。特許文献１では、取得した複数の画像における被写体の同一の点に対応する画像上の点、及び、同一の点が露光された時刻を算出することで被写体の動きを推定することができる。また、推定した動きよりローリングシャッタ歪みを補正した合成画像を作成が可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１２０４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載されている方法では、画像間の同一の点と露光時刻に基づいて、動き推定及び、画像補正等の処理が必要であり、処理を実行するのに時間がかかってしまう。
【０００７】
そこで本発明では、複雑な補正処理を行わずにローリングシャッタ歪みによる合成部分のずれを抑制する手段を提供することにある。
【課題を解決するための手段】
【０００８】
前記の課題を解決するため、本発明の撮像装置では、
それぞれの画角が部分的に重なるように近接配置される複数の撮像部と、
前記複数の撮像部の画像信号の出力タイミングを、各々の撮像部に対して制御するタイミング制御部と、
前記複数の撮像部から取得された各々の画像間の対応する位置を算出する対応位置算出部と、
対応位置算出部で算出した前記画像間の対応位置から前記複数の撮像部の各々の出力タイミングのずれ量を算出するタイミング算出部と、
前記複数の撮像部から取得された複数の画像から広角画像を生成する画像合成部と、
を有し、
前記タイミング算出部で算出した前記出力タイミングのずれ量に基づいて、前記複数の撮像部の各々の前記対応位置における出力タイミングが同期するように制御するように制御を行う。
【発明の効果】
【０００９】
本発明によれば、撮影範囲のずれた複数の撮像センサから取得した画像データから広角画像を生成する際の、ローリングシャッタ歪みによる合成部分のずれを防ぐことが可能である。
【図面の簡単な説明】
【００１０】
【図１】本実施例における撮像装置の構成を示す図である。
【図２】本実施例における撮像装置の画像信号の出力タイミングを説明する図である。
【図３】本実施例における撮像装置の対応位置における画像信号の出力タイミングを説明する図である。
【図４】本実施例における撮像装置の制御を説明するフローチャートである。
【図５】本実施例における撮像装置の撮像センサの画像信号出力タイミングの制御方法を説明する図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
［実施例］
図１は、本発明に係る撮像装置の構成の一例を示すブロック図である。図１の撮像装置１００は、内部バス１０１、システム制御部１０２、ＲＯＭ１０３、メモリ１０４、第一の撮像センサ１０５、第一の撮像ユニット１３５、第二の撮像センサ１０６、第二の撮像ユニット１３６、タイミング制御部１０７、画像処理部１０８、対応位置算出部１０９、タイミング算出部１１０を備える。
【００１２】
内部バス１０１は、各ブロックに接続され、映像信号や制御信号のやりとりが行われる。システム制御部１０２は、撮像装置１００全体の制御を行う。ＲＯＭ１０３は、電気的に消去・記録可能なメモリである。ＲＯＭ１０３には、システム制御部１０２の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートなどを実行するためのプログラムのことである。メモリ１０４は、画像データやシステム制御部１０２の一時データを格納する。メモリ１０４は所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。
【００１３】
第一の撮影レンズ１１５及び、第二の撮像レンズ１１６は被写体の光学像を取り込む光学レンズ群である。第一の撮像センサ１０５、及び第二の撮像センサ１０６は、ローリングシャッタ方式のＣＭＯＳ撮像センサである。第一のＡ／Ｄ変換部１２５及び、第二のＡ／Ｄ変換部１２６はアナログ信号をデジタル信号に変換する。
【００１４】
第一の撮像ユニット１３５及び、第二の撮像ユニット１３６は、各々の撮影レンズ１１５乃至、１１６と、撮像センサ１０５乃至、１０６、Ａ／Ｄ変換部１２５乃至、１２６から構成される。各撮像ユニット１３５及び、１３６は、各撮像レンズ１１５及び、１１６から入射された光学像を各撮像センサ１０５及び、１０６により画像信号に変換することで画像データを取得することができる。また、各撮像ユニット１３５及び、１３６は、撮像された各画像データが部分的に重なるように近接配置され、撮影範囲の異なる画像データを出力する。
【００１５】
なお、撮像センサ１０５及び、１０６はＣＭＯＳ撮像センサでなくてもよく、結像された像をライン毎にデジタル信号に変換し、ラインを走査することで像全体の画像データを得ることが可能な構成であれば、どのような構成でもよい。タイミング制御部１０７は、システム制御部１０１の制御により、第一の撮像センサ１０５、及び第二の撮像センサ１０６の画像信号の出力タイミングの制御を行う。第一の撮像センサ１０５、及び第二の撮像センサ１０６に対して独立したタイミングで制御を行う。
【００１６】
画像処理部１０８は、システム制御部１０１の制御により、各撮像センサ１０５、及び、１０６から出力した画像信号に対して、色変換処理やガンマ補正などの現像処理を行い、得られた撮影画像データをメモリ１０４に格納する。また、メモリ１０４に格納された画像データに対し、リサイズやトリミング処理、複数画像からの広角画像の生成処理などを行い、得られた画像データをメモリ１０４に格納する。
【００１７】
対応位置算出部１０９は、第一の撮像ユニット１３５、及び第二の撮像ユニット１３６の配置、及び、焦点距離より、第一の撮像センサ１０５、及び第二の撮像センサ１０６の出力画像信号における画像間の対応位置を算出する。タイミング算出部１１０は、対応位置算出部１０９で算出した対応位置における第一の撮像センサ１０５、及び第二の撮像センサ１０６の画像信号の出力タイミングが同じになるように出力タイミングの差分量を算出する。
【００１８】
図２は、各撮像センサ１０５、及び、１０６のライン毎の画像信号出力タイミングを示している。２０１は各撮像センサ１０５、及び、１０６から出力される画像信号である。点線で区切られた矩形領域が１ライン分の画像信号を示しており（中間部のラインは省略）、ライン順に右方向へタイムラグｄをもって出力される。
【００１９】
即ち、有効画像がライン数Ｎの各撮像センサ１０５、１０６において、先頭のライン０の出力タイミングを０とすると、終端のラインＮの出力タイミングは、Ｔ（Ｎ×ｄ）となる。なお、実際の撮像センサの画像信号出力では、水平ブランキング期間や、ＯＢ（ＯｐｔｉｃａｌＢｌａｃｋ）領域なども存在するが、ここでは説明を単純にするため省略している。
【００２０】
図３は、第一の撮像センサ１０５及び、第二の撮像センサ１０６のライン毎の画像信号出力タイミングと、各撮像センサの出力信号の対応位置を示す図である。図３（ａ）の撮像装置１００には、各撮像センサ１０５及び、１０６のライン出力順序方向上に、第一の撮像ユニット１３５と第二の撮像ユニット１３６が配置されている。また、配置された各撮像ユニット１３５及び、１３６の各撮像センサ１０５及び、１０６は、各々のライン出力順序方向が同一の方向になるよう制御する。３０１は第一の撮像センサ１０５の撮影画角を示しており、３０５の実線は撮影画角３０１を撮影した際に出力される画像信号を示している。
【００２１】
同様に、３０２は第二の撮像センサ１０６の撮影画角を示しており、３０６の点線は撮影画角３０２を撮影した際に出力される画像信号を示している。各撮像ユニット１３５及び、１３６は、同一の焦点距離になるように設定され、撮影画角３０１と撮影画角３０２の角度は同じになるように制御する。３０７は第一の撮像センサ１０５と第二の撮像センサ１０６から出力された各々の画像信号３０５、３０６の対応位置を示している。
【００２２】
対応位置は、各撮像ユニット１３５、及び、１３６の配置及び、焦点距離に基づいて、各撮像ユニット１３５、及び、１３６の各撮影画角３０１、及び、３０２の重なりあった領域から決定する。本実施例では、重複領域の真ん中を対応位置としているが、重複領域であれば、対応位置を自由に設定可能である。
【００２３】
図３（ｂ）は、各撮像センサ１０５、及び、１０６における画像信号の出力タイミングを示している。３１１は第一の撮像センサ１０５の出力信号を示しており、ラインＭが第二の撮像センサ１０６の出力信号３１２との対応位置３０７を示している。同様に、３１２は第二の撮像センサ１０６の出力信号を示しており、ラインＬが第一の撮像センサ１０５の出力信号３１１との対応位置３０７を示している。
【００２４】
対応位置３０７における第一の撮像センサ１０５の画像信号の出力タイミングは、Ａ（Ｍ×ｄ）となり、第二の撮像センサ１０６の画像信号の出力タイミングは、Ｂ（Ｌ×ｄ）となる。そのため、第一の撮像センサ１０５と第二の撮像センサ１０６の対応位置２０７の画像信号の出力タイミングの差分量Ｃは、下記の式（１）で表せられる。
【００２５】
差分量Ｃ  ＝（Ｍ×ｄ）−（Ｌ×ｄ）          ・・・    式（１）
タイミング算出部１１０では、対応位置算出部１０９の算出した対応位置３０７を基づいて、上記の式（１）で画像信号の出力タイミングの差分量Ｃを算出する。
【００２６】
図４は、撮像装置１００の広角画像の生成処理について説明するためのフローチャートである。図４を用いて、本発明における制御フローを詳細に説明する。ステップＳ４０１では、システム制御部１０２の制御に従って、第一の撮像ユニット１３５及び、第二の撮像ユニット１３６に設定されている焦点距離情報を取得する。各撮像ユニット１３５、及び、１３６の配置情報は、あらかじめ各撮像ユニット１３５及び、１３６の配置に合わせて、ＲＯＭ１０３に記憶してある情報を、システム制御部１０２の制御に従って取得する。
【００２７】
ステップＳ４０２では、対応位置算出部１０９で、ステップＳ４０１で取得した焦点距離情報、及び、配置情報をもとに対応位置の算出を行う。対応位置算出部１０９は、焦点距離情報及び、配置情報から第一の撮像ユニット１３５及び、第二の撮像ユニット１３６の撮影範囲の重複部分を算出することで対応位置を算出する。
【００２８】
ステップＳ４０３では、タイミング算出部１１０で、ステップＳ４０２で算出した対応位置における画像信号の出力タイミングの差分量を算出する。差分量は前述の図３で説明したように、前述の式（１）を用いて算出を行う。ステップＳ４０４では、ステップＳ４０５で算出した画像信号の出力タイミングの差分量を用いて、タイミング制御部１０７で各撮像センサ１０５、及び、１０６の出力タイミングの制御を行う。
【００２９】
画像信号の出力タイミングの制御について、図５を用いて、詳細に説明する。図５（ａ）は、ステップＳ４０３で算出した画像信号の出力タイミングの差分量を用いずに、同タイミングで第一の撮像センサ１０５及び、第二の撮像センサ１０６の制御を行った場合の図である。同タイミングで各撮像センサ１０５、及び、１０６の画像信号の出力制御を行うため、対応位置となる第一の撮像センサ１０５の出力画像信号のラインＭと第二の撮像センサ１０６の出力画像信号ラインＬの出力タイミングに差分量Ｃのずれが発生している。
【００３０】
図５（ｂ）は、ステップＳ４０３で算出した画像信号の出力タイミングの差分量を用いて、同タイミングで第一の撮像センサ１０５及び、第二の撮像センサ１０６の制御を行った場合の図である。画像信号の出力タイミングの差分量Ｃ（斜線の領域）の分だけ、第二の撮像センサ１０６の画像信号の出力タイミングを遅らせ、出力画像信号ラインＭと出力画像信号ラインＬの出力タイミングの差分量が０になるよう出力タイミングを制御する。
【００３１】
ステップＳ４０４では、図５（ｂ）で示したように、画像信号の出力タイミングの差分量に基づいて、第二の撮像センサ１０６の出力タイミングの制御を行う。ステップＳ４０５では、システム制御部１０２の制御に従って、ステップＳ４０４のタイミング制御をもとに各撮像センサ１０５、及び、１０６より画像信号の出力を行う。出力された各画像信号は、画像処理部１０８で色変換処理やガンマ補正などの現像処理を行い、出力された画像データをメモリ１０４に格納する。
【００３２】
ステップＳ４０６では、システム制御部１０２の制御に従って、ステップＳ４０５でメモリ１０４に格納した各撮像ユニット１３５、及び、１３６の画像データを用いて、画像処理部１０８で広角画像の生成を行う。広角画像の生成処理は、ステップＳ４０２の対応位置算出部１０９で算出した対応位置に基づいて、各画像データを繋ぎ合わせることで広角画像の生成を行う。広角画像の生成が可能であれば、対応位置に基づいて加重平均を行うことで、広角画像を生成しても良い。また、広角画像の生成方法はこれに限らない。広角画像の生成処理を行ったのち、処理を終了する。
【００３３】
本実施例では、撮像ユニットが２つの場合の処理を説明したが、撮像ユニットが３つ以上の場合であっても、同様に処理を行うことが可能である。
【００３４】
以上のようにして、第一の撮像センサ１０５、及び、第二の撮像センサ１０６の対応位置における画像信号の出力タイミングのずれ量をなくすことで、広角画像生成時のローリングシャッタ歪みによる合成位置におけるずれをなくすことが可能となる。
【符号の説明】
【００３５】
１００  撮像装置
１０１  内部バス
１０２  システム制御部
１０３  ＲＯＭ
１０４  メモリ
１０５  第一の撮像センサ
１３５  第一の撮像ユニット
１０６  第二の撮像センサ
１３６  第二の撮像ユニット
１０７  タイミング制御部
１０８  画像処理部
１０９  対応位置算出部
１１０  タイミング算出部
【図１】
2018074222.tif 000003
【図２】
2018074222.tif 000004
【図３】
2018074222.tif 000005
【図４】
2018074222.tif 000006
【図５】
2018074222.tif 000007