(57)【要約】【課題】  露出の大きく変わるシーンにおいてパノラマ合成のための位置合わせが困難。【解決手段】  撮像装置は、複数の画像を撮像する撮像手段と、前記複数の画像の少なくとも一部のそれぞれの画像において、第１の領域と第２の領域と第３の領域とを設定する設定手段と、前記第２の領域と前記第３の領域との露出の調整を行う調整手段と、前記第１の領域に対して位置合わせを行う位置合わせ手段と、合成を行う合成手段と、を有し、前記画像の前記第２の領域の露出と該画像の前のフレームの画像の前記第３の領域の露出とが同じでないとき、前記調整手段が、該第２の領域の露出と該第３の領域の露出とが同じになるように輝度を調整してから、前記位置合わせ手段が、該第２の領域と該第３の領域とに対して位置合わせのための係数を算出し、該係数を用いて前記第１の領域に対して位置合わせを行う。【選択図】  図３
2019205100.tif 000002
【特許請求の範囲】
【請求項１】
少なくともイメージセンサを有し、複数の画像を撮像する撮像手段と、
前記複数の画像の少なくとも一部の画像のそれぞれにおいて、第１の領域と第２の領域と第３の領域とを設定する設定手段と、
前記第２の領域と前記第３の領域との露出の調整を行う調整手段と、
前記複数の画像の少なくとも一部の画像のそれぞれの前記第１の領域に対して位置合わせを行う位置合わせ手段と、
前記位置合わせ手段が前記位置合わせを行った後の前記第１の領域に対して合成を行う合成手段と、を有し、
前記画像の前記第２の領域の露出と、該画像の前のフレームの画像の前記第３の領域の露出とが同じでないとき、前記調整手段が、該第２の領域の露出と該第３の領域の露出とが同じになるように該画像と該画像の前のフレームの画像との輝度を調整してから、前記位置合わせ手段が、該画像の該第２の領域と該画像の前のフレームの画像の該第３の領域とに対して位置合わせのための係数を算出し、
前記位置合わせ手段が、該係数を用いて前記第１の領域に対して位置合わせを行うことを特徴とする撮像装置。
【請求項２】
前記撮像手段は、露出を固定にして前記複数の画像を撮像することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記調整手段は、前記第２の領域と前記第３の領域とに対して、再度現像すること、または、ゲインをかけることで前記調整を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記調整手段は、前記第３の領域の露出が適正露出になるように前記調整を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記位置合わせ手段は、特徴点を検出し、動きベクトルを算出することで前記位置合わせを行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記位置合わせのための係数は、アフィン係数であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
１つの前記画像における前記第２の領域と前記第３の領域とが互いに重ならないことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記設定手段は、前記複数の画像のうちの１枚目の画像に前記第３の領域を設定し、前記第２の領域を設定しないことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記設定手段は、前記複数の画像のうちの２枚目以降の画像に対して、該画像と該画像の前のフレームの画像との露出を比較することで、前記第２の領域と前記第３の領域とを設定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記設定手段は、前記複数の画像のうちの２枚目以降の画像に対して、それぞれ同じ位置に予め第１の部分と第２の部分とを設定し、該画像の適正露出と該画像の前のフレームの画像の露出との第１の部分と第２の部分とにおける差を算出し、前記差の小さいほうに前記第２の領域を設定することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記第１の領域と前記第２の領域と前記第３の領域とは、前記画像の中央に位置することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項１２】
前記第１の領域と前記第２の領域と前記第３の領域とは、前記画像の同じ位置に位置することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項１３】
前記第２の領域と前記第３の領域とは、ラインごとに配列されることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項１４】
前記第１の領域は、ラインごとに配列されることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項１５】
複数の画像を撮像する撮像ステップと、
前記複数の画像の少なくとも一部の画像のそれぞれにおいて、第１の領域と第２の領域と第３の領域とを設定する設定ステップと、
前記第２の領域と前記第３の領域との露出の調整を行う調整ステップと、
前記複数の画像の少なくとも一部の画像のそれぞれの前記第１の領域に対して位置合わせを行う位置合わせステップと、
前記位置合わせステップにおいて前記位置合わせを行った後の前記第１の領域に対して合成を行う合成ステップと、を有し、
前記画像の前記第２の領域の露出と、該画像の前のフレームの画像の前記第３の領域の露出とが同じでないとき、前記調整ステップにおいては、該第２の領域の露出と該第３の領域の露出とが同じになるように該画像と該画像の前のフレームの画像との輝度を調整してから、前記位置合わせステップにおいて、該画像の該第２の領域と該画像の前のフレームの画像の該第３の領域とに対して位置合わせのための係数を算出し、
前記位置合わせステップにおいては、該係数を用いて前記第１の領域に対して位置合わせを行うことを特徴とする撮像方法。
【請求項１６】
画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
複数の画像を撮像する撮像ステップと、
前記複数の画像の少なくとも一部の画像のそれぞれにおいて、第１の領域と第２の領域と第３の領域とを設定する設定ステップと、
前記第２の領域と前記第３の領域との露出の調整を行う調整ステップと、
前記複数の画像の少なくとも一部の画像のそれぞれの前記第１の領域に対して位置合わせを行う位置合わせステップと、
前記位置合わせステップにおいて前記位置合わせを行った後の前記第１の領域に対して合成を行う合成ステップと、を行わせ、
前記画像の前記第２の領域の露出と、該画像の前のフレームの画像の前記第３の領域の露出とが同じでないとき、前記調整ステップにおいては、該第２の領域の露出と該第３の領域の露出とが同じになるように該画像と該画像の前のフレームの画像との輝度を調整してから、前記位置合わせステップにおいて、該画像の該第２の領域と該画像の前のフレームの画像の該第３の領域とに対して位置合わせのための係数を算出し、
前記位置合わせステップにおいては、該係数を用いて前記第１の領域に対して位置合わせを行うことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成してパノラマ画像を作成する撮像装置に関するものである。特に、撮像中に露出が変化するシーンにおいてパノラマ画像を作成する撮像装置に関するものである。
【背景技術】
【０００２】
撮像装置がパンニング動作をされながら連続撮像した複数の画像を位置合わせして合成することで、より画角の広い画像に合成するパノラマ撮像が広く行われている（特許文献１）。パノラマ撮像では、合成画像に露出の段差による不自然が生じないよう、撮像画角に存在する主要被写体の適正露出に露出条件を固定して全画角を撮像することが一般的である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−４６３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の方法を用いて、以下のような課題が生じることがある。図９は、被写体の露出が大きく変化したシーンにおけるパノラマ撮像を説明するための図である。図９（ａ）には被写体の露出がパノラマ撮像の間に大きく変化するシーン（落陽を主被写体とした風景シーン）が示されている。図９（ａ）では、中央の領域９０１に対して測光し得られた露出条件を固定にしてパノラマ画像９００を撮像する。しかし、露出を領域９０１における適正露出とは異なる適正露出の領域９０２を撮像する際に適正露出とならず、領域９０２を適正露出で撮像した場合には信号がある領域９０３が非常に低信号（以下、黒つぶれと表現する）となる。黒つぶれした領域では位置合わせのための特徴点が取得できず、位置合わせが困難となる。ゆえに、被写体の露出が撮像の間に大きく変化するシーンでは位置合わせが困難で、合成画像が作成できないこともある。逆に、暗い被写体を主被写体とするシーン（トンネルを主被写体とする風景シーンなど）では、適正露出で撮像した場合には信号がある部分が略飽和した信号（以下、白飛びと表現する）となり、位置合わせが困難となる。
【０００５】
本発明は、上記の課題を鑑みてなされたものであり、露出が大きく変わるようなシーンにおいて、位置合わせの失敗を減らし、パノラマ画像を作成できる撮像装置を提供するものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本願発明は、少なくともイメージセンサを有し、複数の画像を撮像する撮像手段と、前記複数の画像の少なくとも一部のそれぞれの画像において、第１の領域と第２の領域と第３の領域とを設定する設定手段と、前記第２の領域と前記第３の領域との露出の調整を行う調整手段と、前記複数の画像の少なくとも一部の画像のそれぞれの前記第１の領域に対して位置合わせを行う位置合わせ手段と、前記位置合わせ手段が前記位置合わせを行った後の前記第１の領域に対して合成を行う合成手段と、を有し、前記画像の前記第２の領域の露出と該画像の前のフレームの画像の前記第３の領域の露出とが、同じでないとき、前記調整手段が、該第２の領域の露出と該第３の領域の露出とが同じになるように調整してから、前記位置合わせ手段が、該画像の該第２の領域と該画像の前のフレームの画像の該第３の領域とに対して位置合わせのための係数を算出し、前記位置合わせ手段が、該係数を用いて前記第１の領域に対して位置合わせを行う撮像装置を提供する。
【発明の効果】
【０００７】
本発明の構成によれば、露出の大きく変わるシーンにおいても、パノラマ画像を作成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。
【図２】本発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。
【図３】第１の実施形態におけるパノラマ撮像を説明するためのフローチャートである。
【図４】第１の実施形態における位置合わせを説明するための図である。
【図５】第１の実施形態におけるイメージセンサの変更例を説明するための図である。
【図６】第２の実施形態におけるパノラマ撮像を説明するためのフローチャートである。
【図７】第２の実施形態における撮像および画像処理を説明するための図である。
【図８】第２の実施形態におけるイメージセンサの変更例を説明するための図である。
【図９】被写体の露出が大きく変化したシーンにおけるパノラマ撮像を説明するための図である。
【発明を実施するための形態】
【０００９】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１０】
（第１の実施形態）
図１は、本発明の実施形態に係るデジタルカメラ１００の概略構成を示す背面斜視図である。
【００１１】
デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮像モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮像指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１４１が設けられている。
【００１２】
デジタルカメラ１００は、有線あるいは無線通信を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、記録媒体スロットに対してメモリカード等の記録媒体１３０を挿抜することができるようになっている。
【００１３】
記録媒体スロットに格納された記録媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、デジタルカメラ１００の本体に内蔵されていてもよい。
【００１４】
図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮像レンズ２０２、シャッタ２０３及び撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮像レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子であり、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。なお、シャッタ２０３は、機械式シャッタ（以下、メカシャッタという）であってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。
【００１５】
または、撮像部２０４を、ステレオ画像が取得できる、１つ画素に複数の光電変換部に設けられる構造にすれば、後述する自動焦点検出（ＡＦ）処理がより素早くできる。
【００１６】
デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。
【００１７】
画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、色変換処理などを行う。また、画像処理部２０６は、画像の切り出し（トリミング）や変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００１８】
画像処理部２０６は、複数の画像からパノラマ画像を合成し、またその合成結果の判断を行う画像合成処理回路を有する。画像合成処理回路は、単純な加算平均合成だけでなく、合成対象の画像データの各領域において最も明るい値または暗い値を持つ画素を選択して１枚の画像データを生成する比較明合成や比較暗合成等の処理を行うことができる。また、合成結果を特定の基準に基づいて評価し、判定する。たとえば、合成された画像の数が所定数に満たさない場合や、合成後の画像の長さが基準値に満たさない場合に、合成に失敗したと判定する。
【００１９】
また、画像処理部２０６は、撮像で得られた画像データをＪＰＥＧなどの画像形式に変換する圧縮・伸長の機能も有する。それ以外、画像処理部２０６は、後述するテンプレートマッチングを実現するための機能も有する。テンプレートマッチングの詳細については後述する。なお、画像処理部２０６を備える構成の代わりに、システム制御部２１０によるソフトウェア処理によって画像合成処理の機能を実現する構成としてもよい。
【００２０】
Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、パノラマ画像合成結果を格納することができる記憶容量を備えている。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。
【００２１】
メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像が表示される。表示部１０１は、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１における画像表示のオン／オフは、システム制御部２１０によって切り替えられ、画像表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、スルー画像を表示する電子ビューファインダ機能を実現することができる。
【００２２】
デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。
【００２３】
システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。なお、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロセンサや加速度センサを含み、デジタルカメラ１００の角速度情報、加速度情報、および、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパノラマ撮像時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。
【００２４】
図２に示される表示部１０１、操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１４１は、図１を参照して説明したものと同じである。
【００２５】
操作部１０２を構成する各種の操作部材は、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面毎に機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＤＩＳＰボタン等が挙げられる。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。
【００２６】
回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。
【００２７】
シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮像準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮像開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記録媒体１３０への画像データの書き込みまでの一連の撮像動作を行う。
【００２８】
モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮像モード、動画撮像モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画撮像モードは、オート撮像モード等の他に、パノラマ撮像によりパノラマ画像を合成するパノラマ画像撮像モードを含む。
【００２９】
デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。
【００３０】
デジタルカメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とシステム制御部２１０との間の通信を可能にするための記録媒体Ｉ／Ｆ２１６を備える。記録媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。
【００３１】
図３は、本実施形態におけるパノラマ撮像を説明するためのフローチャートである。図３に示したフローの処理は、デジタルカメラ１００がパンニング動作しながら行うとする。以下では、図３に示したフローチャートを用いて本実施形態について説明する。
【００３２】
ステップＳ３０１で、ＳＷ１が押下されたら、ステップＳ３０２に進む。
【００３３】
ステップＳ３０２で、ユーザがデジタルカメラ１００を主被写体に向けるように移動させ、撮像部２０４が撮像光学系を通して輝度情報などを取得し、測光する。続いてステップＳ３０３で、システム制御部２１０は、主被写体が適正露出となるような絞り、感度、シャッタ速度を算出する。主被写体が注目されやすいので、主被写体が適正露出となることがユーザに求められる。
【００３４】
ステップＳ３０４で、ＳＷ２が押下されたら、ステップＳ３０５に進む。このとき、ユーザが、すでにパノラマ撮像のためのパンニング動作を開始し、デジタルカメラ１００が最初の撮像位置に向けているとする。なお、ここの「パンニング」という言葉は、水平に動くことに限定されず、つまりティルティングなども含まれているとする。
【００３５】
ステップＳ３０５で、撮像部２０４が再度測光する。この時点で、パンニング動作がすでに始まったので、デジタルカメラ１００が主被写体と異なる場所に向かい、その場所に対して測光する。
【００３６】
ステップＳ３０６で、システム制御部２１０は、ステップＳ３０５での撮像部２０４の測光結果に基づいて、ステップＳ３０５で撮像した部分の適正露出を算出する。
【００３７】
ステップＳ３０７で、撮像部２０４が撮像する。ここでの撮像では、システム制御部２１０は、ステップＳ３０３で算出した条件のもとで行われる。システム制御部２１０がステップＳ３０６で算出した適正露出で撮像するのではない。
【００３８】
ステップＳ３０８で、システム制御部２１０は、ステップＳ３０７で撮像部２０４が撮像した画像が１枚目の画像かどうかについて判断する。１枚目の画像である場合、ステップＳ３１４に進み、１枚目の画像でない場合、ステップＳ３０９に進む。
【００３９】
ステップＳ３０９では、画像処理部２０６は、合成用領域を現像する。ここでいう合成用領域は、パノラマ画像の合成に用いられる領域である。画像の歪などを防ぐために、画像処理部２０６は、ステップＳ３０７で撮像部２０４が撮像した画像の中央付近を切り出して合成用領域とする。
【００４０】
最終的なパノラマ画像では、露出の段差による違和感を防ぐため、合成に用いられる各々の領域の露出が一定でなければならない。従って、ステップＳ３０９での現像は、主被写体が適正露出となるように現像する。つまり、ステップＳ３０２での測光で得られた条件のもとで現像する。
【００４１】
ステップＳ３１０で、画像処理部２０６は、位置合わせ用領域を現像する。ここでいう位置合わせ用領域とは、合成に用いられる合成用領域の位置合わせのための領域である。ステップＳ３１０での現像の詳細は後述する。
【００４２】
ステップＳ３１１で、画像処理部２０６は、露出追従用領域を適正露出で現像する。ここでいう露出追従用領域とは、前述した位置合わせ用領域と位置合わせするための領域である。
【００４３】
図４は、本実施形態における位置合わせを説明するための図である。１枚目の画像に対して、画像処理部２０６は、まず、主被写体が適正露出となるような条件（ステップＳ３０３で算出した条件）で現像し、合成用領域４１１を得る。次に、画像処理部２０６は、合成用領域４１１が適正露出となるように合成用領域４１１を再度現像し、露出追従用領域４１３を作成する。
【００４４】
次に、撮像部２０４が２枚目の画像を撮像し、画像処理部２０６は同様に主被写体が適正露出となるような条件（ステップＳ３０３で算出した条件）で現像し、合成用領域４２１を得る。次に、画像処理部２０６は、合成用領域４２１が露出追従用領域４１３の露出と同様になるように輝度を調整し（合成用領域４１２に対しゲインをかけ）、位置合わせ用領域４２２を作成する。そして、画像処理部２０６は、合成用領域４２１が適正露出となるように合成用領域４２１に対して輝度を調整し（合成用領域４１２に対しゲインをかけ）、露出追従用領域４２３を作成する。このように、位置合わせ用領域と露出追従用領域との露出を調整する。
【００４５】
画像処理部２０６は、３枚目の画像に対しても同様な処理を行う。まず、画像処理部２０６は同様に主被写体が適正露出となるような条件（ステップＳ３０３で算出した条件）で現像し、合成用領域４３１を得る。次に、画像処理部２０６は、合成用領域４３１が露出追従用領域４２３の露出と同様になるように現像し、位置合わせ用領域４３２を作成する。そして、画像処理部２０６は、合成用領域４３１が適正露出となるように合成用領域４３１を再度現像し、露出追従用領域４３３を作成する。
【００４６】
ステップＳ３１２では、画像処理部２０６は、ステップＳ３１０で作成した位置合わせ用領域を用いて位置合わせを行う。具体的に、画像処理部２０６は、前のフレームの画像の露出追従用領域と現在のフレームの位置合わせ用領域とに対して位置合わせを行う。ステップＳ３１０で作成した位置合わせ用領域は、ステップＳ３０９で作成した合成用領域から作成されるもので、合成用領域と位置合わせ用領域との位置が同じである。従って、画像処理部２０６は、位置合わせ用領域に対して位置合わせをできれば、合成用領域に対しても位置合わせができる。
【００４７】
以下では、アフィン変換を例として、位置合わせの方法について簡単に説明する。アフィン変換のほかに、回転や平行移動が可能なユークリッド変換、さらに台形補正が可能な射影変換などがあるが、平行移動のできない線形変換は使用できない。アフィン変換は、Ｘ軸、Ｙ軸への移動や回転のほかに、拡大、スキューなども補正可能である。
【００４８】
まず、ユーザを中心にデジタルカメラ１００がパンニングすることが多いために、必要に応じて架空の円筒に撮像された画像を投影する円筒変換を後述する位置合わせの処理の前に行うことが好ましい。
【００４９】
最初に、画像処理部２０６は、位置合わせの対象のうちの１つの領域（例えば現在のフレームの位置合わせ用領域）を任意のサイズの小ブロックに分割する。ブロック数が少ないとデジタルカメラ１００のあおりによる台形や光軸方向の回転などの補正が正確にできないが、ブロック数が大きすぎると１ブロックのサイズが小さくなり、特徴点が近くなるため誤差を含むようになる。このようなことから特徴点の見つけやすさ、被写体の画角などによって適宜最適なブロック数を決めるようにする。画像処理部２０６は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、画像処理部２０６は、もう１つの領域（例えば、前のフレームの露出追従用領域）に、設定したそれぞれのブロックと同じ位置に、該ブロックよりも広い範囲を、探索範囲を設定する。最後に、画像処理部２０６は、それぞれの探索範囲に、最初に設定したブロックとの輝度の差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。画像処理部２０６は、最初に設定したブロックの中心と前述した対応点から、動きベクトルを算出する。また、画像のある領域にコントラストが設定された閾値より低い場合、検出した動きベクトルの誤差が大きくなるので、該領域から検出した動きベクトルを使用しないようにする。画像処理部２０６は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。
【００５０】
次に、画像処理部２０６は、検出した動きベクトルを用いてアフィン係数の算出を行う。画像処理部２０６は、（式１）に示した式を用いて変換を行うことができる。
【００５１】
【数１】
2019205100.tif 000003
【００５２】
（式１）では、（ｘ´、ｙ´）は変換を行った後の座標を示し、（ｘ、ｙ）は変換を行う前の座標を示す。行列Ａは前述した変換係数を示す。こうして、画像処理部２０６は、検出した動きベクトルを用いてアフィン係数を算出する。変換係数Ａを位置合わせの対象の領域にそれぞれの座標にある画素に（式１）を用いて変換後の座標を算出すると、位置合わせを行うことができる。
【００５３】
ステップＳ３１３で、画像処理部２０６は、位置合わせした後の合成用領域を用いて合成を行う。
【００５４】
一方、ステップＳ３０８でシステム制御部２１０は、ステップＳ３０７で撮像部２０４が撮像した画像が１枚目の画像でないと判断した場合、ステップＳ３１４に進む。画像処理部２０６は、ステップＳ３１４で合成用領域を現像し、ステップＳ３１５で露出追従用領域を現像する。それぞれの現像の方法は、ステップＳ３０９、ステップＳ３１１と同様である。
【００５５】
ステップＳ３１８で、システム制御部２１０は、撮像を終了するかどうかについて判断する。判断の基準としては、たとえば、ＳＷ２が離されたか、または、記録媒体１３０の容量の上限に達したか、または、予め定められた撮像枚数に達したかなどでよい。撮像を終了する場合、ステップＳ３１９に進み、撮像を終了しない場合、ステップＳ３０４に戻る。
【００５６】
なお、以上の説明では、合成用領域、位置合わせ用領域、露出追従用領域は、１回撮像して得られた画像を異なる方法で３回現像することで作成するように説明しているが、これに限りではない。とくに、撮像部２０４に設けられるイメージセンサの構造を変更すればより便利に上記の領域が得られる。
【００５７】
図５は、本実施形態におけるイメージセンサの変更例を説明するための図である。
【００５８】
図５は、合成用領域、位置合わせ用領域、露出追従用領域の作成に用いられる画素が分けられるようなイメージセンサを示している。領域５０１、５０２、５０３のそれぞれで取得した画像信号は、合成用領域、位置合わせ用領域、露出追従用領域の生成に用いられる。このようなイメージセンサを用いて、合成画像の解像度が低下するが、特徴点の偏りが弱くなる。
【００５９】
本実施形態によれば、複数回現像し異なる露出の画像領域を作成し、露出が同様な２つの領域を用いて位置合わせのための係数を算出することで、位置合わせが失敗する可能性を低くすることができる。
【００６０】
（第２の実施形態）
第１の実施形態では、合成用領域、位置合わせ用領域、露出追従用領域が撮像画像の同じ位置にある構成を有している。それに対して、第２の実施形態は、合成用領域、位置合わせ用領域、露出追従用領域が撮像画像の異なる位置にある構成を有している。以下では、第２の実施形態の詳細について説明する。なお、第１の実施形態と同様な所については説明を省略する。
【００６１】
図６は、第２の実施形態におけるパノラマ撮像を説明するためのフローチャートである。ステップＳ６０１乃至ステップＳ６０８での処理は、第１の実施形態のステップＳ３０１乃至ステップＳ３０８と同様である。
【００６２】
ステップＳ６０９で、画像処理部２０６は、合成用領域を現像する。合成用領域についての詳細は後述する。
【００６３】
ステップＳ６２０で、画像処理部２０６は、位置合わせ用領域および露出追従用領域の設定を行う。具体的に、まず、画像処理部２０６がステップＳ６０７で撮像部２０４が得た画像信号を２つの領域に分ける。次に、ステップＳ６２１で、システム制御部２１０は、それぞれの領域において、前のフレームの撮像露出と現在のフレームの適正露出との差を算出する。ここでの撮像露出は、つまり、主被写体が適正露出となるような条件で撮像するときの露出である。最後に、ステップＳ６２２で、画像処理部２０６は、ステップＳ６２１で算出した差の小さいほうの領域を位置合わせ用領域として設定し、差の大きいほうの領域を露出追従用領域として設定する。
【００６４】
ステップＳ６１０乃至Ｓ６１５での処理は、第１の実施形態のステップＳ３１０乃至Ｓ３１５と概ね同様である。次に、図を用いて本実施形態における位置合わせの処理について説明する。
【００６５】
図７は、本実施形態における位置合わせを説明するための図である。画像処理部２０６は、右半分の領域７１２と左半分の領域７１３とを分けて、前述した「２つの領域」とする。画像処理部２０６は、まず、１枚目の画像に対して、第１の実施形態と同様に、画像信号の中央付近の領域を合成用領域として設定し、主被写体が適正露出となるような条件で現像する。次に、画像処理部２０６は、領域７１２と７１３を、露出追従用領域として設定し、それぞれを適正露出で現像する。２枚目の画像に対して、画像処理部２０６が同様に、まず、中央付近の領域７２１を合成用領域として設定し、主被写体が適正露出となるような条件で現像する。次に、画像処理部２０６は、左半分の領域７２２を位置合わせ用領域として設定し、領域７１３と同じ露出で現像する。さらに、画像処理部２０６は、右半分の領域７２３を露出追従用領域として設定し、領域７２３が写る被写体が適正露出となるように現像する。同様に、３枚目の画像に対して、画像処理部２０６がまず、中央付近の領域７３１を合成用領域として設定し、主被写体が適正露出となるような条件で現像する。次に、画像処理部２０６は、右半分の領域７３２を位置合わせ用領域として設定し、領域７２３と同じ露出で現像する。さらに、画像処理部２０６は、右半分の領域７２３を露出追従用領域として設定し、領域７２３が写る被写体が適正露出となるように現像する。
【００６６】
なお、図７において、領域７１１、７２１、７３１は、それぞれの画像と上下ずれているように示されているが、あくまでも見やすくするために図示を変えているだけで、実際の撮像画像において、領域７１１、７２１、７３１の上下がずれているものではない。
【００６７】
次に位置合わせについて説明する。位置合わせの方法は、一例として第１の実施形態で述べたアフィン係数を用いる方法でよい。
【００６８】
ステップＳ６１２において、システム制御部２１０は、２枚目以降のそれぞれのフレームの位置合わせ用領域と前のフレームの露出追従用領域とに対してアフィン係数の算出を行う。つまり、システム制御部２１０は、領域７１３と領域７２２に対して、領域７２３と領域７３２に対してアフィン係数の算出を行う。また、これに限らず、領域７２２と領域７３３に対してアフィン係数の算出を行ってもよい。画像処理部２０６は、算出したアフィン係数を用いて領域７１１、７２１、７３１に対して位置合わせを行う。最後に、ステップＳ６１３で画像処理部２０６は位置合わせした後の領域７１１、７２１、７３１に対して合成を行う。
【００６９】
なお、ステップＳ６１２で位置合わせを行う際に、十分な特徴点が取得できず位置合わせができない場合、一例として、前述したステップＳ６２２での設定を逆にしてもう一度処理してよい。つまり、前述したステップＳ６２２で、画像処理部２０６は、露出の差が小さい領域を露出追従用領域として設定し、差の大きい領域を位置合わせ用領域として設定する。
【００７０】
図７に示した方法では、位置合わせ用領域の重複領域は、範囲７１４と範囲７２４にあたるが、図４に示した方法では、位置合わせ用領域の重複領域は、範囲７１５と範囲７２５にあたる。一般的に、重複領域が広いほど位置合わせの精度がよいので、第２の実施形態で用いられる方法は第１の実施形態より精度がよいと思われる。
【００７１】
第２の実施形態も、イメージセンサの構造を変更することで、より便利に合成用領域、位置合わせ用領域、露出追従用領域の信号を得ることができる。
【００７２】
図８は、本実施形態におけるイメージセンサの変更例を説明するための図である。
【００７３】
図８は、位置合わせ用領域、露出追従用領域が合成用領域の両側にラインごとに配列している構造を有しているイメージセンサを示している。このような構造を用いると、前述した図５と同じように特徴点の偏りが弱くなる。
【００７４】
前述したように、第２の実施形態では、画像処理部２０６は、領域を分けて一画面上に位置合わせ用領域、露出追従用領域を設定することで、より精度のよい位置合わせが実現できる。
【００７５】
（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、パノラマ撮像および合成機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。
【００７６】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７７】
１００  デジタルカメラ
１０２  操作部
１０４  モード切替スイッチ
１３０  記録媒体
２０４  撮像部
２０６  画像処理部
２０７  メモリ制御部
２０９  メモリ
２１０  システム制御部
２１５  検出部
２１６  Ｉ／Ｆ
【図１】
2019205100.tif 000004
【図２】
2019205100.tif 000005
【図３】
2019205100.tif 000006
【図４】
2019205100.tif 000007
【図５】
2019205100.tif 000008
【図６】
2019205100.tif 000009
【図７】
2019205100.tif 000010
【図８】
2019205100.tif 000011
【図９】
2019205100.tif 000012