(57)【要約】【課題】  撮像装置のブレにより検出した動きベクトルの精度が低下してしまう。【解決手段】  撮像装置は、１回の撮像で露出の異なる複数の画像の組を生成する撮像動作を繰り返し行う撮像手段と、前記撮像手段の動きを検出する第１の検出手段と、前記撮像手段で生成された画像から動きベクトルを検出する第２の検出手段と、前記撮像手段で生成された画像から、前記第２の検出手段が前記動きベクトルを検出するために用いる画像を選択する選択手段と、前記動きベクトルに基づいて、前記撮像手段で生成された画像の少なくとも一部に対して位置合わせを行い、合成画像を生成する合成手段と、を有し、前記選択手段は、前記第１の検出手段が検出した前記撮像手段の動きに基づいて、前記露出の異なる複数の画像の組から、前記動きベクトルを検出するために用いる画像を選択する。【選択図】  図９
2020017860.tif 000002
【特許請求の範囲】
【請求項１】
１回の撮像で露出の異なる複数の画像の組を生成する撮像動作を繰り返し行う撮像手段と、
前記撮像手段の動きを検出する第１の検出手段と、
前記撮像手段で生成された画像から動きベクトルを検出する第２の検出手段と、
前記撮像手段で生成された画像から、前記第２の検出手段が前記動きベクトルを検出するために用いる画像を選択する選択手段と、
前記動きベクトルに基づいて、前記撮像手段で生成された画像の少なくとも一部に対して位置合わせを行い、合成画像を生成する合成手段と、を有し、
前記選択手段は、前記第１の検出手段が検出した前記撮像手段の動きに基づいて、前記露出の異なる複数の画像の組から、前記動きベクトルを検出するために用いる画像を選択することを特徴とする撮像装置。
【請求項２】
前記合成手段が、前記露出が対応する画像に対して前記合成を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合成手段が、前記撮像手段が１回の撮像で撮像した前記画像のうちの１つの画像に対して前記位置合わせを行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記露出の異なる前記画像は、異なる露出時間で撮像されたことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１の検出手段が検出した前記撮像手段の動きを示す速度が、予め定められた閾値より大きければ、前記選択手段が、露出の小さい前記画像を選択することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記画像の輝度を検出する第３の検出手段を有し、
前記選択手段が、前記第３の検出手段が検出した前記輝度に基づいて、前記動きベクトルを検出する画像を選択することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記選択手段が、前記第３の検出手段が検出した前記輝度が、予め定められた範囲にある画像から、前記動きベクトルを検出する画像を選択することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記合成手段が、前記第２の検出手段が前記１回の撮像で撮像した複数の画像のいずれかから検出した前記動きベクトルを用いて、前記選択手段が選択した該１回の撮像で撮像した画像の位置合わせを行うことを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
【請求項９】
撮像手段が１回の撮像で露出の異なる複数の画像の組を生成する撮像動作を繰り返し行う撮像ステップと、
前記撮像手段の動きを検出する第１の検出ステップと、
前記撮像ステップにおいて生成された画像から動きベクトルを検出する第２の検出ステップと、
前記撮像ステップにおいて生成された画像から、前記第２の検出ステップにおいて前記動きベクトルを検出するために用いる画像を選択する選択ステップと、
前記動きベクトルに基づいて、前記撮像ステップにおいて生成された画像の少なくとも一部に対して位置合わせを行い、合成画像を生成する合成ステップと、を有し、
前記選択ステップにおいては、前記第１の検出ステップにおいて検出した前記撮像手段の動きに基づいて、前記露出の異なる複数の画像の組から、前記動きベクトルを検出するために用いる画像を選択することを特徴とする撮像方法。
【請求項１０】
撮像装置のコンピュータに動作させるコンピュータのプログラムであって、
撮像手段が１回の撮像で露出の異なる複数の画像の組を生成する撮像動作を繰り返し行う撮像ステップと、
前記撮像手段の動きを検出する第１の検出ステップと、
前記撮像ステップにおいて生成された画像から動きベクトルを検出する第２の検出ステップと、
前記撮像ステップにおいて生成された画像から、前記第２の検出ステップにおいて前記動きベクトルを検出するために用いる画像を選択する選択ステップと、
前記動きベクトルに基づいて、前記撮像ステップにおいて生成された画像の少なくとも一部に対して位置合わせを行い、合成画像を生成する合成ステップと、を行わせ、
前記選択ステップにおいては、前記第１の検出ステップにおいて検出した前記撮像手段の動きに基づいて、前記露出の異なる複数の画像の組から、前記動きベクトルを検出するために用いる画像を選択することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成してパノラマ画像を作成する撮像装置に関するものである。
【背景技術】
【０００２】
デジタルカメラなどを移動させながら複数の画像を撮像し、撮像した複数の画像を繋ぎ合わせることによるパノラマ合成の技術が知られている。パノラマ合成では、違和感のない合成画像を取得するために、画像の位置合わせが不可欠である。特許文献１では、動きベクトルを用いて、位置合わせを行うという方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２８７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、デジタルカメラを移動させている中、ブレ等が発生してしまうと、前述した動きベクトルの精度が落ちてしまい、また、動きベクトルが検出できなくなる可能性もあり、パノラマ合成が困難になることがある。
【０００５】
本発明は、上記の課題を鑑みてなされたものであり、露出時間の異なる画像を出力できる撮像素子を用いて、ブレ等が起きても高い精度を有する動きベクトルを検出する。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本願発明は、１回の撮像で露出の異なる複数の画像の組を生成する撮像動作を繰り返し行う撮像手段と、前記撮像手段の動きを検出する第１の検出手段と、前記撮像手段で生成された画像から動きベクトルを検出する第２の検出手段と、前記撮像手段で生成された画像から、前記第２の検出手段が前記動きベクトルを検出するために用いる画像を選択する選択手段と、前記動きベクトルに基づいて、前記撮像手段で生成された画像の少なくとも一部に対して位置合わせを行い、合成画像を生成する合成手段と、を有し、前記選択手段は、前記第１の検出手段が検出した前記撮像手段の動きに基づいて、前記露出の異なる複数の画像の組から、前記動きベクトルを検出するために用いる画像を選択する撮像装置を提供する。
【発明の効果】
【０００７】
本発明の構成によれば、パノラマ撮像において、露出時間の異なる画像を出力することによって、ブレなどが起きても検出する動きベクトルの低減を抑制できる撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。
【図２】本発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。
【図３】従来方法を用いるパノラマ撮像中のデジタルカメラの動く方向と画像データの切り出し領域との関係を説明するための図である。
【図４】従来方法を用いるパノラマ画像の合成処理の流れを説明する図である。
【図５】本発明の実施形態における撮像素子の出力値と露出時間との関係を説明するためのグラフである。
【図６】本発明の実施形態における撮像素子のベイヤー配列の例を説明するための図である。
【図７】本発明の実施形態における撮像動作を実現するための撮像素子の構造を説明するための図である。
【図８】本発明の実施形態における中間電圧の印加を説明するための図である。
【図９】第１の実施形態を説明するためのフローチャートである。
【図１０】本発明の実施形態における撮像画像を説明するための図である。
【図１１】第２の実施形態を説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１０】
（第１の実施形態）
図１は、本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。
【００１１】
デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮像モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮像指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１４１が設けられている。
【００１２】
デジタルカメラ１００は、有線あるいは無線通信を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、記録媒体スロットに対してメモリカード等の記録媒体１３０を挿抜することができるようになっている。
【００１３】
記録媒体スロットに格納された記録媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、デジタルカメラ１００の本体に内蔵されていてもよい。
【００１４】
図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮像レンズ２０２、シャッタ２０３及び撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮像レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子であり、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。なお、シャッタ２０３は、機械式シャッタ（以下、メカシャッタという）であってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。
【００１５】
デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。
【００１６】
画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、色変換処理等を行う。また、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００１７】
画像処理部２０６は、複数の画像からパノラマ画像を合成し、またその合成結果の判断を行う画像合成処理回路を有する。画像合成処理回路は、単純な加算平均合成だけでなく、合成対象の画像データの各領域において最も明るい値または暗い値を持つ画素を選択して１枚の画像データを生成する比較明合成や比較暗合成等の処理を行うことができる。また、合成結果を特定の基準に基づいて評価し、判定する。たとえば、合成された画像の数が所定数に満たさない場合や、合成後の画像の長さが基準値に満たさない場合に、合成に失敗したと判定する。なお、画像処理部２０６を備える構成の代わりに、システム制御部２１０によるソフトウェア処理によって画像合成処理の機能を実現する構成としてもよい。
【００１８】
Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、あるいは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、パノラマ画像合成結果を格納することができる記憶容量を備えている。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。
【００１９】
メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像が表示される。表示部１０１は、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１における画像表示のオン／オフは、システム制御部２１０によって切り替えられ、画像表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、スルー画像を表示する電子ビューファインダ機能を実現することができる。
【００２０】
デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。
【００２１】
システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。なお、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロやセンサを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパノラマ撮像時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。
【００２２】
図２に示される表示部１０１、操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１４１は、図１を参照して説明したものと同じである。
【００２３】
操作部１０２を構成する各種の操作部材は、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面毎に機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＤＩＳＰボタン等が挙げられる。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。
【００２４】
回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。
【００２５】
シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮像準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮像開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記録媒体１３０への画像データの書き込みまでの一連の撮像動作を行う。
【００２６】
モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮像モード、動画撮像モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画撮像モードは、オート撮像モード等の他に、パノラマ撮像によりパノラマ画像を合成するパノラマ画像撮像モードを含む。
【００２７】
デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。
【００２８】
デジタルカメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とシステム制御部２１０との間の通信を可能にするための記録媒体Ｉ／Ｆ２１６を備える。記録媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。
【００２９】
次に、パノラマ撮像の方法と、複数の撮像画像からパノラマ画像を合成する方法について説明する。最初に、パノラマ画像を合成するために撮像画像の画像データから所定の領域を切り出す処理について説明する。
【００３０】
図３は、従来方法を用いるパノラマ撮像中のデジタルカメラ１００の動く方向と画像データの切り出し領域との関係を説明するための図である。
【００３１】
図３（ａ）は、撮像部２０４が有する撮像素子の有効画像領域を示しており、“Ｗｖ”は水平方向の有効画素数であり、“Ｈｖ”は垂直方向の有効画素数である。図３（ｂ）は、撮像画像の画像データから切り出した切り出し領域を示しており、“Ｗｃｒｏｐ”は水平方向の切り出し画素数であり、“Ｈｃｒｏｐ”は垂直方向の切り出し画素数である。
【００３２】
図３（ｃ）は、矢印で示す水平方向にデジタルカメラ１００を移動させながらパノラマ撮像を行った場合の画像データに対する切り出し領域を示す図である。図３（ｃ）においてハッチングにて示した領域Ｓ１が画像データからの切り出し領域を示しており、下記の（式１）および（式２）を満たす。
Ｗｖ＞Ｗｃｒｏｐ      ・・・・・・（式１）
Ｈｖ＝Ｈｃｒｏｐ      ・・・・・・（式２）
【００３３】
同様に、図３（ｄ）は、矢印で示す鉛直方向にデジタルカメラ１００を移動させながらパノラマ撮像を行った場合の画像データに対する切り出し領域を示す図である。図３（ｄ）においてハッチングにて示した領域Ｓ２が画像データの切り出し領域を示しており、下記の（式３）および（式４）を満たす。
Ｗｖ＝Ｗｃｒｏｐ      ・・・・・・（式３）
Ｈｖ＞Ｈｃｒｏｐ      ・・・・・・（式４）
【００３４】
撮像画像の画像データの切り出し領域は、画像データ毎に異なるようにしてもよい。また、パノラマ撮像の開始時とパノラマ撮像の終了時の画像データについては、画角を広くするために切り出し領域を広くしてもよい。画像データの切り出し領域の決定方法は、例えば、撮像直後のデジタルカメラ１００の角度と１フレーム前のデジタルカメラ１００の角度との差等により決定することができる。パノラマ画像の合成処理に必要な画像データのみを切り出して保存することにより、メモリ２０９の記憶容量を節約することができる。
【００３５】
次に、パノラマ画像の合成方法について説明する。システム制御部２１０は、パノラマ撮像時に保存された切り出し領域をメモリ２０９から読み出し、読み出した画像データにパノラマ合成を行う。
【００３６】
図４は、従来方法を用いたパノラマ画像の合成処理の流れを説明する図である。図４では、ドットハッチングされた領域は、被写界にある並木を模式的に表した領域であり、斜線ハッチングされた領域は、画像データの切り出し領域を表している。図４（ａ）は、ユーザがシャッタボタン１２１を押下し、第１スイッチＳＷ１がオンにされた状態を示し、ユーザは、主被写体に対してピント合わせを行うことを示している。図４（ｂ）は、シャッタボタン１２１の第２スイッチＳＷ２がオンにされた位置を示しており、ユーザが合成しようとしているパノラマ画像の一方の端に合わせて画角を設定している。図４（ｂ）では、撮像部２０４は画像４１０を撮像する。図４（ｃ）乃至図４（ｅ）では、ユーザが合成しようとしているパノラマ画像の他方の端に向けてデジタルカメラ１００を移動させながら、パノラマ撮像を行っている状態を模式的に示している。図４（ｅ）は、ユーザがシャッタボタン１２１の押下をやめ、パノラマ撮像が終了した状態を示している。図４（ｂ）乃至図４（ｅ）では、撮像部２０４が画像４１０乃至４７０計７枚の画像を撮像したが、画像４３０、４５０および４６０は不図示である。画像処理部２０６は、撮像部２０４が撮像した画像４１０乃至４７０に対して切り出し処理を行い、切り出し領域４１１乃至４７１を生成する。システム制御部２１０において、切り出し領域の幅は、予め定めてもよいが、パノラマ撮像中のデジタルカメラ１００の移動速度などに応じて変化させてもよい。
【００３７】
図４（ｆ）は、画像処理部２０６が、撮像部２０４が撮像した複数の画像を合成してできたパノラマ画像を示している。ここで、システム制御部２１０は、合成を行う前に、画像に対して位置合わせを行う。また、手振れなどのため、切り出し領域４１１乃至４７１の上辺と下辺とは合っていないため、画像処理部２０６は、縦方向に対しても画像の一部を切り出す切り出し処理を行う。その結果、画像処理部２０６は、領域４００が示したようなパノラマ画像を生成する。
【００３８】
システム制御部２１０は、画像処理部２０６が検出した複数の動きベクトルに基づいて、位置合わせを行う。一例としては、画像処理部２０６は、切り出し領域を任意のサイズの小ブロックに分割し、小ブロック毎に輝度の差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。システム制御部２１０は、算出したＳＡＤが最小となる対応点より、動きベクトルを算出することができる。システム制御部２１０は、ＳＡＤのほかに、差分二乗和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。
【００３９】
図４では、図を見やすくするため、切り出し領域４１１乃至４７１の互いに重畳する領域がなく、かつ、互いに隣接しているように示している。しかしながら、実際にＳＡＤなどの位置合わせのための処理のために、切り出し領域に重畳する領域が存在する必要がある。重畳する領域が存在していれば、重畳する領域の中央を境目として、画像処理部２０６は、その左側に片方の切り出し領域、右側にもう片方の切り出し領域の画素情報を合成画像に出力する。もしくは、画像処理部２０６は、境目上に両方の切り出し領域の画素情報を５０％ずつ合成した値を出力し、境目からの距離が離れるに従って境目の左側では片方の切り出し領域を、境目の右側ではもう片方の切り出し領域の割合を大きくしながら合成を行う。
【００４０】
上述したように、本実施形態を実施するために、正しく動きベクトルを検出することが不可欠である。しかしながら、実際に様々な要因で、動きベクトルを検出できない場合がある。その一例としては、手持ちでパノラマ撮像を行うとき、手振れなどにより特徴点の検出が困難になり、動きベクトルの精度が低くなる。
【００４１】
上記の課題を解決するために、本実施形態では、１回の撮像で２つの異なる露出時間を持つ画像を生成できる撮像素子を用いて、動きベクトルの精度の低下を防ぐことを図る。図５は、本実施形態における撮像素子の出力値と露出時間との関係を説明するためのグラフである。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成するフォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。
【００４２】
例えば、フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、実線５１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、点線５２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【００４３】
時間ｔ０〜ｔ３が長時間露出画像を取得するための露出時間ＴＬに相当する。この長時間の露出時間ＴＬとしても点線５２は、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して、露出時間ＴＬにわたる正確な階調表現を得ることができる。
【００４４】
それに対して、実線５１において、例えば図に示す時刻ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露出時間ＴＳ（ｔ１〜ｔ２）とした短時間露出を実行する。すなわち、図に示す短時間露出開始点Ｐ２〜短時間露出終了点Ｐ３までの期間の短時間露出を行なう。この短時間露出によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００４５】
なお、長時間露出によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、短時間露出によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露出を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００４６】
上述したような２種類の露出時間の決め方のどちらかを、撮像素子に設けている複数のフォトダイオードにそれぞれを適用させることで、同時に露出時間の異なる画像を得ることができる。
【００４７】
図６は、本実施形態における撮像素子のベイヤー配列の例を説明するための図である。図６に示したように、長時間露出画素と短時間露出画素とを交替的に配列したベイヤーを用いて、同時に露出時間の異なる画像を撮像することができる。
【００４８】
なお、長時間露出と短時間露出とが行われる画素は、電気的な制御により切り替えることができるとする。たとえば、図５に示した時刻ｔｊにおいて、非破壊読み出しによってイメージセンサの全体の画素に蓄積された電荷量を判断し、それぞれの画素において長時間露出か短時間露出かを行ってよいかを改めて判断してもよい。つまり、長時間露出画素において、白とびが起きるか、短時間露出画素において、黒つぶれが起きるか、時刻ｔｊの時点の電荷量を用いて判断する。白とびが起きる可能性のある長時間露出画素は、短時間露出に替え、同様に、黒つぶれが起きる可能性のある短時間露出画素は、長時間露出に替える。ごく部分的に長時間露出画素と短時間露出画素との置き換えは、後述する本実施形態の動きベクトルなどの検出に影響しないとする。
【００４９】
当然ながら、時刻ｔ１は時刻ｔｊの後に設定しなければならない。
【００５０】
このような判断は行わない場合、短時間露出は、時刻ｔ０から行われてもよい。
【００５１】
図７は、本実施形態における撮像動作を実現するための撮像素子の構造を説明するための図である。
【００５２】
単位画素は、フォトダイオード７１に加えて、たとえば転送トランジスタ７２、リセットトランジスタ７３、増幅トランジスタ７４および選択トランジスタ７５の４つのトランジスタを有する画素構成となっている。これらのトランジスタ７２乃至７５として、たとえばＮＭＯＳトランジスタを用いる。
【００５３】
転送トランジスタ７２は、フォトダイオード７１のカソード電極と電荷電圧変換部であるＦＤ（フローティングディフュージョン）部７６との間に接続され、フォトダイオード７１で光電変換され、ここに蓄積された信号電荷を、ゲート電極（制御電極）に転送パルスＴＲＧが与えられることによってＦＤ部７６に転送する。
【００５４】
リセットトランジスタ７３は、画素電源ＶＤＤにドレイン電極が、ＦＤ部７６にソース電極がそれぞれ接続され、フォトダイオード７１からＦＤ部７６への信号電荷の転送に先立って、ゲート電極にリセットパルスＲＳＴが与えられることによってＦＤ部７６の電位を所定電位にリセットする。
【００５５】
増幅トランジスタ７４は、ＦＤ部７６にゲート電極が、画素電源ＶＤＤにドレイン電極がそれぞれ接続され、リセットトランジスタ７３によってリセットされた後のＦＤ部７６の電位をリセットレベルとして出力し、さらに転送トランジスタ７２によって信号電荷が転送された後のＦＤ部７６の電位を信号レベルとして出力する。
【００５６】
選択トランジスタ７５は、例えば、ドレイン電極が増幅トランジスタ７４のソース電極に、ソース電極が垂直信号線７１１にそれぞれ接続され、ゲート電極に選択パルスＳＥＬが与えられることによってオン状態となり、単位画素を選択状態として増幅トランジスタ７４から出力される信号を垂直信号線７１１に出力する。
【００５７】
なお、選択トランジスタ７５については、画素電源ＶＤＤと増幅トランジスタ７４のドレイン電極との間に接続した構成を採ることも可能である。また、画素回路としては、上述した４トランジスタの構成に限られるものではなく、選択トランジスタ７５を省略し、増幅トランジスタ７４を選択トランジスタ７５として兼用するトランジスタや、増幅トランジスタ７４を複数の単位画素間で共有する構成などであってもよい。
【００５８】
図８は、本実施形態における中間電圧の印加を説明するための図である。図７に示したような構造を有する画素において、転送トランジスタ７２のゲート電極に中間電圧Ｖｔｒｇを供給すると、ポテンシャルが低下する。フォトダイオード７１に蓄積された電子数が多く、中間電圧Ｖｔｒｇの印加後のポテンシャルを超える場合は、フォトダイオード７１に蓄積された電子は部分的にＦＤ部７６に転送される。フォトダイオード７１に蓄積された電子数が中間電圧Ｖｔｒｇに対応するレベルになる。これを利用し、短時間露出画素の動作を実現できる。一方、転送トランジスタ７２のゲート電極に完全転送電圧（ここでは２Ｖｔｒｇ）を供給すると、フォトダイオード７１に蓄積された電子はすべてＦＤ部７６に転送される。
【００５９】
図９は、本実施形態を説明するためのフローチャートである。
【００６０】
ステップＳ９０１で、ユーザが操作部１０２などを通じて撮像するための設定を行う。ここで、ユーザがパノラマ画像の合成に用いる画像の枚数またはパノラマ画像のサイズなどを決定してもよい。
【００６１】
ステップＳ９０２で、システム制御部２１０は、スイッチＳＷ１がオンしたかどうかを判断し、オンの場合ステップＳ９０３に進む。
【００６２】
ステップＳ９０３では、システム制御部２１０は、ＡＥ処理とＡＦ処理を行い、撮像条件を決定する。ここで、長露出時間と短露出時間との２つの露出時間を設定する。
【００６３】
ステップＳ９０４では、システム制御部２１０は、スイッチＳＷ２がオンしたかどうかを判断し、オンの場合ステップＳ９０５に進む。
【００６４】
ステップＳ９０５で、撮像部２０４がステップＳ９０３で設定された撮像条件のもとで撮像を行う。ここで、前述した長露出時間と短露出時間との２つの露出時間で、２枚の画像を取得する。図１０は、本実施形態における撮像画像を説明するための図である。画像１０１ａ乃至１０５ａは、長露出時間で撮像された画像で、画像１０１ｂ乃至１０５ｂは、短露出時間で撮像された画像である。
【００６５】
ステップＳ９０６で、検出部２１５が、デジタルカメラ１００の動き情報を検出する。ここでいう動き情報は、デジタルカメラ１００がステップＳ９０５で撮像を行うときの速度を指す。
【００６６】
ステップＳ９０７では、システム制御部２１０は、ステップＳ９０５で撮像部２０４が撮像した２つの画像のうち、動きベクトルの検出に用いる画像を選択する。ここでは、システム制御部２１０は、後述するステップ９１０で動きベクトルの検出に用いられる画像を選ぶ。具体的に、システム制御部２１０は、同一の画角を有する２つの露出時間の異なる画像から、動きベクトルの検出に用いる画像を選択する。
【００６７】
前述したように、パノラマ撮像を行うとき、手振れなどの影響で、画像から動きベクトルを検出できないことがある。このような影響は、露出時間が長いほど深刻になる。したがって、本実施形態では、検出部２１５が検出したデジタルカメラ１００の動き情報を用いて、動きベクトルの検出に用いられる画像を選ぶ。つまり、システム制御部２１０は、検出部２１５が検出した動き情報を示す速度と予め定められた閾値とを比較する。前述速度が予め定められた閾値より小さければ、長露出時間で得られた画像から動きベクトルを検出する。一方、前述速度が予め定められた閾値以上なら、短露出時間で得られた画像から動きベクトルを検出する。
【００６８】
次に、ステップＳ９０８とステップＳ９０９とのそれぞれの処理は、ステップＳ９０５とステップＳ９０６とのそれぞれと同様である。ステップＳ９０５での撮像およびステップＳ９０８で、複数回撮像することで、２つの露出時間を有する複数の画像を得ることができる。
【００６９】
ステップＳ９１０で、ステップＳ９０７と同様に、システム制御部２１０は、ステップＳ９０８で撮像部２０４が撮像した２つの画像から、動きベクトルの検出に用いられる画像を選ぶ。
【００７０】
次に、ステップＳ９１１で、システム制御部２１０は、選択した画像から動きベクトルを検出する。
【００７１】
例えば、画像１０１ａと画像１０１ｂとを撮像したとき、検出部２１５が検出した速度が閾値を超えたとし、画像１０２ａと画像１０２ｂを撮像したとき、検出部２１５が検出した速度が閾値以下とする。システム制御部２１０は、短露出時間で撮像された画像１０１ｂと長露出時間で撮像された画像１０２ａとから動きベクトルを検出する。ここで、画像処理部２０６が適宜にゲイン調整をしてもよい。検出の方法は、前述したように、ＳＡＤ、ＳＳＤ、ＮＣＣなどを用いて２つの画像における対応点を検出し、対応点を通して動きベクトルを検出する。
【００７２】
次に、ステップＳ９１２で、ステップＳ９１１で検出した動きベクトルとその直前に検出した動きベクトルとから、位置合わせの係数を算出する。この係数は、たとえば下記の（式５）に示したアフィン係数とあげられる。
【００７３】
【数１】
2020017860.tif 000003
【００７４】
（式５）では、（ｘ´，ｙ´）は位置合わせを行った後の座標を示し、（ｘ，ｙ）は位置合わせを行う前の座標を示す。行列ＡはステップＳ９１２でシステム制御部２１０が算出する位置合わせのための係数を示す。アフィン係数を正しく算出するために、ステップＳ９１１で少なくとも３つ互いに平行しない動きベクトルを検出することが必要である。
【００７５】
なお、ステップＳ９０５とステップＳ９０８では、長露出時間の画像と短露出時間の画像が同時に同画角で得られている。そのため、動きベクトルが長露出時間の画像と短露出時間の画像とのどちらかから検出されても、ステップＳ９１２で算出した位置合わせの係数は、長露出時間の画像と短露出時間の画像とのどちらにも使える。
【００７６】
ステップＳ９１３で、画像処理部２０６は、ステップＳ９１２で算出した位置合わせのための係数を用いて合成に用いる画像に対して位置合わせを行う。ここで合成に用いる画像とは、一般的に長露出時間で得られた画像と短露出時間で得られた画像とのどちらかを指す。つまり、画像処理部２０６は、画像１０１ａ乃至１０５ａに対して位置合わせを行うか、画像１０１ｂ乃至１０５ｂに対して位置合わせを行う。これは、主に後述の合成処理で、同様な露出で得られた画像から作成された合成画像のつなぎ目がより自然なためである。ただしこれに限らず、長露出時間で得られた画像と短露出時間で得られた画像とに対して、ゲイン調整を行いながら、互いに合成させてもよい。
【００７７】
ステップＳ９１４で、システム制御部２１０は、撮像が終了するかどうかを判断する。システム制御部２１０は、撮像した枚数、撮像した画像のサイズ、ＳＷ２の押下が終了されるなどを基準に撮像が終了するかどうかを判断する。撮像が終了しない場合、ステップＳ９０８に戻り、撮像が終了する場合、ステップＳ９１５に進む。
【００７８】
ステップＳ９１５で、画像処理部２０６は、位置合わせした後の画像に対して合成を行い、パノラマ画像を生成する。
【００７９】
第１の実施形態によれば、パノラマ撮像を行うデジタルカメラ１００において、動き情報に基づいて動きベクトルを検出する画像を選択することで、ブレによる位置合わせの精度の影響を低減できる。
【００８０】
（第２の実施形態）
第２の実施形態では、第１の実施形態と異なり、画像の輝度も考慮して、動きベクトルを検出する画像を選択する。本実施形態の詳細は、以下で図を用いて説明する。なお、第１の実施形態と同様な所は省略する。
【００８１】
パノラマ撮像において、輝度が極端に大きい場合または小さい場合にも動きベクトルの検出の精度が悪くなることがある。本実施形態では、輝度を考慮して動きベクトルを検出する画像を選択する。
【００８２】
図１１は、本実施形態を説明するためのフローチャートである。図１１に示したフローチャートでは、第１の実施形態と異なり、ステップＳ１１２１とステップＳ１１２２では、撮像された画像に対して、画像処理部２０６が輝度検出を行う。輝度検出の方法の一例として、画像処理部２０６は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式６）を用いて輝度Ｙを算出する。
Ｙ  ＝  ０．２９９Ｓｒ  ＋  ０．５８７Ｓｇ  ＋  ０．１１４Ｓｂ・・・（式６）
【００８３】
本実施形態のステップＳ１１０７とステップＳ１１１０での動きベクトルの検出に用いる画像の選択においては、画像の輝度も考慮して画像を選択する。
【００８４】
画像の輝度が極端に小さい場合でも、極端に大きい場合でも、前述した特徴点の検出の精度が悪くなるので、極端に輝度が小さい画像または大きい画像を用いるのを避ける。
【００８５】
ここで輝度の適正範囲（または輝度の閾値あるいは最大値、最小値）を定め、輝度が定めた範囲にある画像のみ動きベクトルの検出に用いる。つまり、第１の実施形態で述べた検出部２１５が検出した速度が速度の閾値を超えないとしても、輝度が定めた範囲から外れると、動きベクトルの検出に用いない。
【００８６】
たとえば、画像１０１ａと１０１ｂとを撮像したとき、検出部２１５が検出した速度が速度の閾値を超えなかったとする。しかし、画像１０１ａの輝度が、予め定められた輝度の範囲から外れたとする。第１の実施形態では、優先的に、長露出時間で撮像された画像１０１ａを用いて動きベクトルを検出するようになっているが、第２の実施形態では、輝度が予め定められた輝度の範囲から外れた画像を用いない。つまり、画像１０１ｂを用いて動きベクトルを検出する。
【００８７】
ただし、２つの画像の輝度がともに予め定められた輝度の範囲を外れると、予め定められた輝度の範囲により近い輝度を持つ画像を用いて動きベクトルの検出を行う。または、第１の実施形態と同様に、長露出時間で撮像された画像を優先的に用いる。
【００８８】
同様に、もし、画像１０１ａと１０１ｂとを撮像したとき、検出部２１５が検出した速度が速度の閾値を超えたとする。画像１０２ｂの輝度が、予め定められた輝度の範囲から外れたとする。第１の実施形態では、短露出時間で撮像された画像１０１ｂを用いて動きベクトルを検出する。
【００８９】
第２の実施形態によれば、第１の実施形態と比べ、輝度を考慮して動きベクトルの検出に用いる画像を選択することで、極端な輝度による検出する動きベクトルの精度の低下を防ぐことができる。
【００９０】
（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、パノラマ撮像および合成機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。
【００９１】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９２】
１００  デジタルカメラ
１０２  操作部
１０４  モード切替スイッチ
１３０  記録媒体
２０４  撮像部
２０６  画像処理部
２０７  メモリ制御部
２０９  メモリ
２１０  システム制御部
２１５  検出部
２１６  Ｉ／Ｆ
【図１】
2020017860.tif 000004
【図２】
2020017860.tif 000005
【図３】
2020017860.tif 000006
【図４】
2020017860.tif 000007
【図５】
2020017860.tif 000008
【図６】
2020017860.tif 000009
【図７】
2020017860.tif 000010
【図８】
2020017860.tif 000011
【図９】
2020017860.tif 000012
【図１０】
2020017860.tif 000013
【図１１】
2020017860.tif 000014