(57)【要約】【課題】  繋ぎ目に不自然さが生じにくいパノラマ画像を合成するとともに、露出アンダーやオーバーの少ない画像を得ることができる撮像装置を提供する。【解決手段】  撮像装置は、画像を撮像する撮像手段と、撮像条件を設定する設定手段と、撮像された複数の画像を繋ぎ合わせる合成処理を行う合成手段を有する。第１の画像群としての複数の画像を撮像する間に、第２の画像群としての複数の画像を複数回に分けて撮像するとともに、第１の画像群としての複数の画像を撮像する際には、共通する撮像条件を設定するのに対して、第２の画像群としての複数の画像を撮像する際には、それぞれの画像に対して共通でない撮像条件を設定する。そして、少なくとも第１の画像群としての複数の画像を用いて合成処理を行う。【選択図】  図２
2017212698.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
前記撮像手段が画像を撮像する際の撮像条件を設定する設定手段と、
前記撮像手段で撮像された複数の画像を繋ぎ合わせる合成処理を行う合成手段と、を有し、
前記撮像手段は、第１の画像群としての複数の画像を撮像する間に、前記第１の画像群と異なる第２の画像群としての複数の画像を複数回に分けて撮像し、
前記設定手段は、前記第１の画像群としての複数の画像を撮像する際には、共通する撮像条件を設定するのに対して、前記第２の画像群としての複数の画像を撮像する際には、それぞれの画像に対して共通でない撮像条件を設定し、
前記合成手段は、少なくとも前記第１の画像群に含まれる複数の画像を用いて前記合成処理を行うことを特徴とする撮像装置。
【請求項２】
前記合成手段は、前記第１の画像群としての複数の画像に対して位置合わせを行って前記合成処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像条件は、露出値を含むことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記露出値は絞り値と撮像時間と感度値の組み合わせにより決まるものであることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記設定手段は、前記第２の画像群としての複数の画像のそれぞれを撮像する度に、先に前記撮像手段が撮像した画像に基づいて露出値の算出を行い、前記露出値に基づいて、前記第２の画像群としてのそれぞれの画像の撮像条件を設定することを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
前記設定手段は、前記第１の画像群としての複数の画像を撮像する際に、先に前記撮像手段が撮像した画像に基づいて露出値の算出を行い、前記露出値に基づいて、前記第１の画像群としての複数の画像に対して共通の撮像条件を設定することを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記設定手段は、前記第１の画像群としての最初の画像を撮像する前に、前記第１の画像群としての複数の画像に対する共通の撮像条件を設定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第１の画像群としての複数の画像に対して設定された共通の撮像条件に基づいて、  前記第２の画像群としての少なくとも一部の画像に対して輝度値の調整を行う調整手段を有し、
前記合成手段は、前記第１の画像群としての複数の画像に加えて、前記第２の画像群としての複数の画像を用いて、前記合成処理を行うことを特徴とする請求項３乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記調整手段は、ゲイン処理を行うことによって、前記輝度値の調整を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記第１の画像群としての複数の画像は、前記第２の画像群としての複数の画像よりも多いことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮像手段は、所定の条件を満たす場合に第２の画像群としての画像を撮像するものであって、前記所定の条件には、撮像装置の移動距離、回転角度、および、撮像回数、撮像間隔の少なくともいずれかを含むことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記合成手段は、前記撮像手段が撮像した画像の一部を切り出して繋ぎ合わせることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記合成手段によって合成処理が行われた画像を記憶するとともに、前記第２の画像群としての複数の画像をＲＡＷ画像として記憶する記憶手段を有することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
画像を撮像する撮像ステップと、
前記撮像ステップにおいて画像を撮像する際の撮像条件を設定する設定ステップと、
前記撮像ステップで撮像された複数の画像を繋ぎ合わせる合成処理を行う合成ステップと、を含み、
前記撮像ステップでは、第１の画像群としての複数の画像を撮像する間に、前記第１の画像群と異なる第２の画像群としての複数の画像を複数回に分けて撮像し、
前記設定ステップでは、前記第１の画像群としての複数の画像を撮像する際には、共通する撮像条件を設定するのに対して、前記第２の画像群としての複数の画像を撮像する際には、それぞれの画像に対して共通でない撮像条件を設定し、
前記合成ステップでは、少なくとも前記第１の画像群としての複数の画像を用いて前記合成処理を行うことを特徴とする撮像装置の制御方法。
【請求項１５】
撮像装置のコンピュータに動作させるプログラムであって、
前記コンピュータに、
画像を撮像する撮像ステップと、
前記撮像ステップにおいて画像を撮像する際の撮像条件を設定する設定ステップと、
前記撮像ステップで撮像された複数の画像を繋ぎ合わせる合成処理を行う合成ステップと、を実行させ、
前記撮像ステップでは、第１の画像群としての複数の画像を撮像する間に、前記第１の画像群と異なる第２の画像群としての複数の画像を複数回に分けて撮像し、
前記設定ステップでは、前記第１の画像群としての複数の画像を撮像する際には、共通する撮像条件を設定するのに対して、前記第２の画像群としての複数の画像を撮像する際には、それぞれの画像に対して共通でない撮像条件を設定し、
前記合成ステップでは、少なくとも前記第１の画像群としての複数の画像を用いて前記合成処理を行うことを特徴とするコンピュータのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法およびプログラムに関し、特にパノラマ画像を生成するための撮像動作に関する。
【背景技術】
【０００２】
ユーザが撮像装置を一振りする間に撮像装置が複数の画像を撮像し、これらの画像を用いてパノラマ画像を合成する技術が知られている。
【０００３】
パノラマ画像を合成する際に、隣接する画像を撮像する際の絞りや露出時間などの撮像条件に設定に差があると、合成したときの繋ぎ目が目立ってしまう。そのため、パノラマ画像の合成に用いる複数の画像を撮像する際には、撮像条件を固定することが望ましい。
【０００４】
そこで、特許文献１には、スイング式パノラマ撮像において、パノラマ画像の合成に用いる複数の画像を撮像する本撮像の前にプレ撮像を行い、プレ撮像で生成した画像に基づいて決定した１つの撮像条件を用いて、本撮像を行う構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１６２１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、パノラマ画像は画角が広いため、適切な撮像条件が異なる被写体（例えば逆光状態と順光状態の被写体など）が混在する可能性が高い。そのため、特許文献１に記載の方法を用いたとしても、適切な輝度が、パノラマ画像全体の適切な輝度から大きく離れた被写体が存在すると、その被写体が露出アンダーまたは露出オーバーの状態になってしまう。
【０００７】
そこで本発明はつなぎ目に不自然さが生じにくいパノラマ画像を合成することができるとともに、露出アンダーや露出オーバーを低減できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、画像を撮像する撮像手段と、前記撮像手段が画像を撮像する際の撮像条件を設定する設定手段と、前記撮像手段で撮像された複数の画像を繋ぎ合わせる合成処理を行う合成手段と、を有し、前記撮像手段は、第１の画像群としての複数の画像を撮像する間に、前記第１の画像群と異なる第２の画像群としての複数の画像を複数回に分けて撮像し、前記設定手段は、前記第１の画像群としての複数の画像を撮像する際には、共通する撮像条件を設定するのに対して、前記第２の画像群としての複数の画像を撮像する際には、それぞれの画像に対して共通でない撮像条件を設定し、前記合成手段は、少なくとも前記第１の画像群としての複数の画像を用いて前記合成処理を行うことを特徴とする撮像装置を提供するものである。
【発明の効果】
【０００９】
本発明によれば、繋ぎ目に不自然さが生じにくいパノラマ画像を合成するとともに、露出アンダーや露出オーバーを低減した画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明におけるデジタルカメラの機能構成を示すブロック図である。
【図２】第１の実施形態におけるデジタルカメラでのパノラマ画像用の撮像処理を説明するためのフロー図である。
【図３】本発明における露出値の算出方法を説明するための図である。
【図４】本発明におけるベクトル検出を説明するための図である。
【図５】本発明に係る位置合わせを説明するための図である。
【図６】本発明に係る合成画像の生成を説明するための図である。
【図７】第２の実施形態におけるデジタルカメラでのパノラマ画像用の撮像処理を説明するための図である。
【図８】第２の実施形態における静止画撮像時の露出値の調整に用いる関数を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の好適な実施形態を説明する。なお、撮像装置の例として、デジタルカメラを挙げて説明するが、本発明は以下で説明される構成に限定されるものではない。
【００１２】
（第１の実施形態）
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサである。制御部１０１は、デジタルカメラ１００が備える各ブロックの動作プログラムを記録媒体としてのＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。制御部１０１は、ＲＯＭ１０２から動作プログラムなど、制御に必要なパラメータなどを読み出しながらデジタルカメラ１００の動作上に必要な制御を行う。たとえば、後述するように、制御部１０１が、撮像部１０５に対して撮像の開始と終了について指令を出したり、画像処理部１０６に対して画像処理の指令を出したりする。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１３】
光学系１０４は、被写体像を撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られた画像信号を画像処理部１０６に出力する。
【００１４】
画像処理部１０６は、撮像部１０５から出力された画像、あるいはＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を適用する。この画像処理部１０６は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０２から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０６の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０６の全ての機能を兼用する場合には、画像処理部１０６をハードウェアとして有する必要はなくなる。
【００１５】
記録媒体１０７はメモリカードや内蔵メモリ等であり、画像処理部で処理された画像を記録する。また、制御部１０１による指示で、処理しようとする画像を画像処理部１０６に出力する。
【００１６】
表示部１０８は、液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ等の表示デバイスにて構成される。表示部１０８は、撮像部１０５で取り込まれた被写体像を、制御部１０１を経由して取得し、リアルタイム表示する、あるいは記録媒体１０７に記録された画像を表示するなど、様々な情報を表示する。
【００１７】
装置動き検出部１０９はジャイロセンサによって構成され、デジタルカメラ１００の動きを検出するデバイスであり、デジタルカメラ１００の単位時間当たりの角度変化、すなわち角速度に基づいてヨー方向とピッチ方向の動きを検出する。
【００１８】
操作部１１０は、ボタン、スイッチ、あるいはタッチパネルなどによって構成される。ユーザによる指令は、操作部１１０を通して、制御部１０１に達する。
【００１９】
以上述べたようなデジタルカメラを動かしながら撮像を行い、複数の画像からなる画像群を取得することができる。
【００２０】
図２は、第１の実施形態におけるデジタルカメラ１００でのパノラマ画像用の撮像処理を説明するためのフロー図である。本実施形態は、パノラマ画像用の複数の画像を撮像する間に、静止画用の画像も撮像する処理を行うことを特徴とする。なお、パノラマ画像用の画像の撮像を開始する前から、通常のライブビュー用の画像の撮像が行われているものとする。制御部１０１が、ユーザが操作部１１０に対して例えば操作部１１０に含まれるシャッターボタンを押し下げるなどの所定の動作を行ったことを検知した場合に、図２のフローを開始する。あるいは、例えば、パノラマ撮影のモードに切り替えられてから所定時間経過するなどの予め設定した条件が満たされたと判断した場合に、図２のフローを開始するようにしてもよい。
【００２１】
ステップＳ２０１では、制御部１０１は、画像を撮像するための制御を、パノラマ画像用の複数の画像を撮像するための制御に切り替える。
【００２２】
ステップＳ２０２では、制御部１０１が、予め設定した判断条件に従い、これから撮像する画像がパノラマ画像の合成用の画像か、あるいは、静止画用の画像かを判断する。
【００２３】
たとえば、デジタルカメラがパノラマ画像の合成用の画像の撮像を開始した位置、あるいは、前回静止画の撮像を行った位置から、予め設定した距離ｄ１を移動した場合に、撮像部１０５がこれから撮像する画像を静止画とする。そして、デジタルカメラの移動距離がｄ１に達する前に撮像される画像は全てパノラマ用の画像とする。そのため、パノラマ用の画像のほうが、静止画よりも多く撮像される。こうして、一定の距離ごとに、パノラマ用の画像を撮像することで、パノラマ合成用の複数の画像の撮像を行う間に、静止画の撮像が複数回に分けて行われる。なお、この距離ｄ１を１回の撮影画角と等しい、あるいは、１回の撮影画角よりやや小さい値としておけば、それぞれの静止画が重畳する面積を小さくすることができる。なお、距離ｄ１を１回の撮影画角よりも大きな値にしてしまうと、静止画で撮像されない被写体が存在することになってしまうため、この点に留意する。
【００２４】
なお、パノラマ用の画像についても、例えばカメラの移動距離がｄ１に達しておらず、かつ、ｄ１よりも小さなｄ２に達する度に、撮像部１０５がこれから撮像する画像をパノラマ用の画像とする、といった条件を設定しても構わない。また、画像の両側の歪などによる影響を減らすために、パノラマ画像の合成処理において、合成に用いる各々の画像の中央の短冊部分だけを切り取ってから合成を行うようにしてもよい。こうした場合は、パノラマ画像の合成に用いる画像の枚数を最小にするために、短冊の幅に応じてｄ２を設定し、移動距離がｄ２に達するたびに、パノラマ画像のための画像を撮像することが望ましい。
【００２５】
また、別の撮像パターンの例としては、距離ｄ１およびｄ２の代わりに、回転角度ａ１およびａ２を設定したり、撮像回数ｎ１およびｎ２を設定したり、あるいは、時間間隔ｔ１およびｔ２を設定したりするようにしてもよい。これらの判断条件は予め設定しておいても、ユーザが選択できるようにしてもよい。このように構成することで、パノラマ画像の合成用の画像と静止画用の画像とを交替させつつ複数回にわたり撮像することができる。
【００２６】
ステップＳ２０２で、パノラマ画像の合成用の画像と判断した場合には、ステップＳ２０３に進み、パノラマ画像の合成用の画像でなく静止画用の画像と判断した場合には、ステップＳ２１０に進む。
【００２７】
ステップＳ２０３で、制御部１０１は、後述するステップ２０６で撮像する画像が、パノラマ画像の合成に用いる複数の画像の中で最初に撮像する１枚目の画像かどうかを判断する。ここで、制御部１０１は、１枚目の画像と判断した場合、ステップＳ２０４に進む。ステップＳ２０４で、制御部１０１は、後述する算出方法で露出値を算出し、算出した露出値に基づいて、絞り値、シャッター速度（露出時間と同義であり、機械的なシャッターに限らず蓄積時間制御による撮像時間を含む）やＩＳＯ値（感度値）など撮像条件の設定を行う。そして、制御部１０１が設定した撮像条件をＲＡＭ１０３に一時保存させる。
【００２８】
次に、ステップＳ２０４での露出値の算出方法について、図３を用いて説明する。
【００２９】
図３（ａ）で示した、パノラマ画像の合成に用いる１枚目の画像が撮像される前に画像処理部に出力された画像３０１に対して、画面の明るさを評価し、露出値を算出する。まず、図３（ｂ）で示したように、画像３０１の領域に対し、複数のブロックに分割したうえで、ブロック３０２のような１つ１つのブロックに対し、各ブロックの輝度信号の平均値の算出を行う。各々のブロックに含まれる各画素の輝度信号の算出方法として、Ｒ、Ｇ、Ｂ信号値を抽出し、（式１）で示した変換式を用いて、Ｒ、Ｇ、Ｂ信号値から各画素の輝度信号Ｂｃｙを算出する方法が一般的に使われている。
Ｂｃｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ      ・・・（式１）
【００３０】
全ブロック数をｎと、各ブロックで得られた輝度信号Ｂｃｙの平均値をＢｙ、各ブロックの重みづけ係数をｗとすると、画面の明るさの評価値Ｅｙは（式２）を用いて算出できる。
【００３１】
【数１】
2017212698.tif 000003
【００３２】
ブロックの重みづけ係数は、画面内におけるブロックの位置に応じるもので、図３（ｃ）に一例を示している。図３（ｃ）で示した係数分布３０３では、ブロックの重みづけ係数は、ブロックが画面中央に配置されているほど値が大きい。また、図３（ｄ）のように、強調したい領域３０４を指定し、図３（ｅ）に示すように、領域３０４に対応するブロックに、より大きい重みづけ係数を与えるような係数分布にしてもよい。
【００３３】
（式２）で算出した画面の明るさの評価値Ｅｙを用いて、下記の（式３）を用いて露出値ＥＶを算出することができる。ｒｅｆ＿Ｙは露出値の算出に使用する目標輝度値で、ＥＶ０は画像３０１は現在設定されている露出値である。
【００３４】
【数２】
2017212698.tif 000004
【００３５】
また、ステップＳ２０３で、画像処理部１０６は、ステップＳ２０６で撮像するパノラマ画像の合成用の画像が１枚目の画像でないと判断した場合、ステップＳ２０５に進む。ステップＳ２０５で、制御部１０１が、ステップＳ２０６で撮像するパノラマ画像の合成用の画像の撮像条件を、１枚目の画像とほぼ同じになるようにＲＡＭ１０３から読み出して設定する。このように、互いに共通する撮像条件の設定の下で、撮像部１０５が複数のパノラマ画像の合成用の画像を撮像する。なお、本実施例において、共通する撮像条件とは完全に同一の条件に限定されないことは言うまでもない。後述するステップＳ２０９でこうした同じ撮像条件の下で撮像した画像を用いてパノラマ画像を生成すると、繋ぎ目の両側の画像は明るさや色調などの差が少なく、より自然なパノラマ画像を生成できる。
【００３６】
ステップＳ２０６で、撮像部１０５が、ステップＳ２０４またはステップＳ２０５で設定した撮像条件の下で撮像を行う。
【００３７】
ステップＳ２０２で、制御部１０１が静止画用の画像と判断した場合、ステップＳ２１０に進む。
【００３８】
ステップＳ２１０で、制御部１０１は、パノラマ画像の合成用に直前に撮像された画像に基づいて露出値を算出し、算出した露出値に基づいて撮像条件を設定する。すなわち、ステップＳ２０５のようにＲＡＭ１０３から読み出した共通の撮像条件を設定するのではなく、その都度好適な撮像条件を算出して設定する。
【００３９】
ここで、撮像条件のうち、パノラマ画像を撮像する際の撮像条件に比べて絞り値を大きく変更してしまうと、静止画用に絞りを変更し、静止画撮像後に、再びパノラマ用に絞りを戻す必要があるため、絞りの駆動に要する時間が増えてしまう。そのため、絞りの駆動量に上限を設定し、露出時間（撮像時間）やＩＳＯでカバーするようにすればよい。
【００４０】
また、静止画用の露出時間があまり長くなってしまうと、パノラマ用の画像を撮像する撮像間隔が空いてしまい、画角の抜けが生じてしまう恐れがあるため、露出時間についても上限を設けるようにしてもよい。
【００４１】
次に、ステップＳ２１１で、ステップＳ２１０で設定した撮像条件の下で、撮像部１０５が撮像を行う。
【００４２】
ステップＳ２１２で、制御部１０１はＲＡＷ画像を記録するかどうかを判断する。ＲＡＷ画像を記録すると設定している場合は、ステップＳ２１３に進み、ＲＡＷ画像を記録した後に、ステップＳ２０７で現像処理を行う。ＲＡＷ画像を記録しないと設定している場合は、直接、ステップＳ２０７に進む。ＲＡＷ画像は、現像処理を行わず、撮像部１０５が撮像した画像のデジタルデータに対し、デジタルデータの色成分の配列を変更せずにそのまま保存したデータであるで、直接表示部１０８に表示できない。しかしながら、ＲＡＷ画像は、圧縮処理などしていないため、ユーザが後で任意の方法を選択して現像を行うことが可能である。なおＲＡＷ画像は非圧縮のものに限らず、ＲＡＷ画像に対して可逆圧縮や弱い圧縮処理をしても構わない。本実施例のＲＡＷ画像はそのようなものも含む。
【００４３】
ステップＳ２０７では、画像処理部１０６が、ステップＳ２０６またはステップＳ２１１で撮像した画像に対して現像処理を行う。現像処理では、画像処理部１０６が、画像に対してノイズリダクション処理やエッジ強調処理、ガンマ処理など公知の処理を行い、ＪＰＥＧなどの形式のファイルを生成する。
【００４４】
ステップＳ２０８では、制御部１０１は、ユーザが操作部１１０に対して、例えば操作部１１０に含まれるシャッターボタンを押し下げる動作を止めるなどの所定の動作を行ったことを検知することによって、終了指示があるかどうかを判断する。あるいは、パノラマ画像の合成用に撮像した画像の枚数が一定値を超えたり、撮像された画角の変化が一定の角度を超えたりすることを検知して、終了指示があるかどうかを判断するようにしてもよい。ステップＳ２０８で終了指示があると判断した場合、パノラマ画像の合成用の画像の撮像を終了してステップＳ２０９に進み、合成処理を行う。ステップＳ２０８で終了指示がないと判断した場合は、ステップＳ２０２に戻る。
【００４５】
ステップＳ２０９では、ステップＳ２０６で撮像部１０５が撮像し、ステップＳ２０７で現像処理が済んだパノラマ画像の合成用の画像に対して、合成処理を行う。なお、ステップＳ２１１で撮像した静止画用の画像は、このステップＳ２０９での合成処理には用いず、パノラマ画像とは別に記録媒体１０７に保存される。
【００４６】
合成処理では、一般的に、画像間の特徴量を抽出し、動きベクトルを検出し、位置合わせを行い、各画像の一部を切り出して合成する。以下で詳細を説明する。
【００４７】
図４に、時系列で連続して撮像した２つの画像を示す。図４（ａ）は、ベクトル検出画像（２つの画像のうち時間的に後の画像）であり、ベクトル検出領域群を４２０で示している。ベクトル検出領域群４２０に含まれるそれぞれのベクトル検出領域４２１に含まれる画像は、ベクトル検出を行うときのテンプレート画像として用いられ、各テンプレート画像に対して１つのベクトルを求める。
【００４８】
画像処理部１０６は、画像の間の動きベクトルの検出を行う。動きベクトルの検出方法は公知の方法でよく、一例としてテンプレートマッチング方式が挙げられる。この方法では、画像の間のズレ量を所定の範囲のテンプレートを設定して比較し、比較値が最も小さくなる位置（画像間で最も相関が高い位置）のズレ量をベクトルとして検出する。
【００４９】
テンプレートマッチングについては、図４を用いて説明する。テンプレートマッチングを行う際には、移動量を検出するためにベクトル検出画像のベクトル検出領域群からテンプレート４２１ａを決定する。本実施形態では、ベクトル検出領域群を画像の一部の領域のみに設定しているため、画像全体から動きベクトルを検出する場合に比べて、動くベクトルの検出に要する演算負荷を軽減することができる。このテンプレート４２１ａは、コントラストが予め設定した基準値以上と判定された小領域に対応するベクトル検出領域に対してのみ設定されてもよい。基準画像４００とベクトル検出画像４０１の画像の対応領域（同じ被写体が写っている範囲）を点線４５１から４５２までの間で示している。ベクトル検出画像から決定したテンプレート４２１ａの領域と、基準画像上においてテンプレート４２１ａに対応する基準画像の領域とをベクトル探索開始位置とする。基準画像上において、ベクトル検出画像におけるテンプレート４２１ａの座標と同じ座標となる基準画像の領域を、領域４３１と仮定する。そして、領域４３１を中心として領域４３１よりも広く設定したベクトル探索範囲４４１において、テンプレート４２１ａと比較演算を行い、もっとも相関が高い位置とベクトル探索開始位置とのズレを動きベクトルとして検出する。この操作を、設定されたテンプレート画像の全てに対して行い、テンプレート画像の数に対応する個数の動きベクトルを検出する。
【００５０】
次に、検出した動きベクトルを用いて、位置合わせ処理を行う。位置合わせ処理は、図５を用いて説明する。
【００５１】
位置合わせ処理を行うために、画像間の変形量を補正するための位置合わせ係数を算出する。撮像時、並進成分に加え手振れが発生することで回転やあおりの成分が発生し、その結果、画像５０２のように画像が回転やあおりの影響を受けた画像が撮像される場合がある。このような場合に並進成分や回転成分、あおり成分を幾何変形によって補正するための係数として、変換係数を算出する。この幾何変形を行う変換係数を位置合わせ係数と呼ぶ。例えば、幾何変形前の画像５０２を模式的に表したものが枠５０３であり、幾何変形後の画像５０２を模式的に表したものが枠５０４である。矢印５１１に相当する位置合わせ係数Ａは一般的に（式４）で表され、画像の座標をＩ（ｘ座標，ｙ座標）とすると（式２）の演算を行うことで、枠５０３から枠５０４への幾何変形が行われる。
【００５２】
【数３】
2017212698.tif 000005
【００５３】
【数４】
2017212698.tif 000006
【００５４】
位置合わせ係数を算出するために、位置合わせの基準とする画像と、補正対象の画像との２つの画像を設定する。そして、テンプレートマッチングによりベクトルを算出する。
【００５５】
続いて求めたベクトル群を用いて、幾何変換係数を求める。例えば、（式５）のように、位置合わせ対象画像の特徴点の座標Ｉに所定の変換係数Ａを掛けることで求めた座標Ｉ´と、基準画像の特徴点の座標との差分εが最も小さくなる変換係数Ａを求める。
【００５６】
この変換係数Ａを求める手法としては、ニュートン法やガウスニュートン法等、公知の最適化手法を用いて求める。求められた変換係数Ａを位置合わせ係数として採用する。
【００５７】
最後に、前述した位置合わせ処理を行った画像に対して、画像間の境界付近を合成する処理を行う。画像合成処理について図６を用いて説明する。図６の画像６０１〜６０３は、位置合わせ処理を行った後の画像である。この３つの画像の境界部で順次合成を行う。
【００５８】
画像６０１と画像６０２とを合成する場合、画像６０１の水平の中心位置のライン６２１を境界として合成を行う。具体的にはライン６２１から左の領域に画像６０１を出力し、ライン６２１から右の領域に画像６０２を出力し、ライン６２１上は両方の画像の画素情報をミックスして繋ぎ目を自然に見せる処理を行う。あるいは、ライン上に画像６０１と画像６０２との画素情報を５０％ずつ合成した値を出力し、ラインからの距離が離れるに従ってラインの左側では画像６０１を、ラインの右側では画像６０２の割合を大きくしながら合成を行う。合成後の画像は、合成画像６１１となる。
【００５９】
続いて、合成画像６１１と画像６０３との合成を行う。このときは１つ前の画像６０２の水平中心のライン６２２を境界とした合成を行う。合成後の画像は合成画像６１２となる。このように、順次位置合わせをした後に画像の合成を行う。画像６０２、画像６０３に対して画像合成を行うことで画像６０１に対して領域６３１の領域分だけ画角を拡大することができる。
【００６０】
このように、第１の実施形態によれば、スイング式パノラマ撮像を行うとき、一回のスイング動作で、パノラマ画像と静止画とを、それぞれにとって適切な撮像条件で両方撮像することができるようになる。
【００６１】
従来は、パノラマ画像内では適切ではない露出制御が行われてしまった被写体を切り出して表示しようとした場合には、適切な露出制御が行われていない被写体像が拡大表示されてしまっていた。これに対し、本発明によれば、この被写体を拡大表示する際には、静止画から該当領域を切り出して表示することで、部分的な画像に対しても好適な露出制御が行われた状態で拡大表示をすることができる。
【００６２】
また、静止画をＲＡＷ画像として記録しておけば、後から任意の現像処理を行うことが可能となる。そのため、ユーザが指定した被写体が好適な輝度となるようにパラメータを設定した現像処理を行うことが可能となる。また、ユーザが指定した被写体が複数の画像の境界部に係る場合には、この境界部における歪の形状が一致するように歪補正のパラメータを制御して現像処理を行うことも可能となる。
【００６３】
（第２の実施形態）
第２の実施形態は、第１の実施形態と比べ、静止画用の画像もパノラマ画像の合成に用いるという点で、第１の実施形態と異なる。図７を参照して、主に第１の実施形態との異なるところに重点を置いて第２の実施形態を説明する。なお、ステップＳ７０２乃至Ｓ７０８の処理は、第１の実施形態のステップＳ２０２乃至Ｓ２０８の処理と同様である。
【００６４】
ステップＳ７０２で、これから撮像する画像がパノラマ画像の合成用の画像でなく、静止画であると判断した場合、ステップＳ７１０に進む。ステップＳ７１０では、第１の実施形態のステップＳ２１０と同様な方法で露出値の算出を行う。ステップＳ７１１で、制御部１０１は、後述する方法で露出値の調整を行うかどうかを決める。制御部１０１は、調整を行うと決定した場合は、図８で示したような関数に沿って、ステップＳ７１２で露出値の調整を行い、この調整した露出値に基づいて絞り、シャッター速度（露出時間、撮像時間）あるいはＩＳＯなどの撮像条件の設定を行う。制御部１０１は、調整を行わないと決定した場合は、ステップＳ７１４に進み、ステップＳ７１０で算出した露出値を直接使用して、絞り、シャッター速度あるいはＩＳＯなどの撮像条件の設定を行う。
【００６５】
ステップＳ７１５において、ステップＳ７１３あるいはＳ７１４で設定した撮像条件の下で、撮像部１０５が撮像を行う。
【００６６】
ステップＳ７１６で、制御部１０１はＲＡＷ画像を記録するかどうかを判断する。ＲＡＷ画像を記録すると設定している場合は、ステップＳ７１７に進み、ＲＡＷ画像を記録した後に、ステップＳ７１８に進む。ＲＡＷ画像を記録しないと設定している場合は、直接、ステップＳ７１８に進む。
【００６７】
ステップＳ７１８では、画像処理部１０６は、静止画の輝度を、パノラマ画像の合成用に撮像された画像の輝度に合わせるためのゲイン（感度値）処理を行う。本実施形態では、静止画もパノラマ画像の合成に用いるため、パノラマ画像の合成用に撮像された画像と、静止画として撮像された画像の輝度を一致させる必要がある。具体的には、画像処理部１０６は、パノラマ画像の合成用の画像を撮像したときの撮像条件と、静止画を撮像したときの撮像条件の差に応じて設定されたゲインを、静止画に対して適用する処理を行う。
【００６８】
ステップＳ７１８で用いられるゲインをＧａｉｎとし、補正前の画像の画素位置（ｘ，ｙ）における信号レベルをｉｎ（ｘ，ｙ）とし、補正後の画像の画素位置（ｘ，ｙ）における信号レベルをｏｕｔ（ｘ，ｙ）とすると、次の（式６）と（式７）とが成り立つ。
【００６９】
【数５】
2017212698.tif 000007
【００７０】
【数６】
2017212698.tif 000008
【００７１】
ただし、ＥＶｐは、パノラマ画像の合成用の画像の露出値で、ＥＶはステップＳ７１０で設定された静止画としての画像ために算出した露出値である。ＥＶｐは、ステップＳ７０４での算出により得られるが、事前の見積もり値として与えてもよい。この場合、パノラマ用の画像がなくても、静止画用の撮像条件を得ることができ、静止画用の画像を撮像することができる。
【００７２】
このような処理を行うことにより、静止画として撮像した画像の輝度値をパノラマ画像の合成用として撮像した画像の輝度値と同等なレベルまで調整する。そのため、通常の静止画撮像で撮像した画像をパノラマ合成に使ってもより違和感なくパノラマ画像を生成することができる。
【００７３】
ステップＳ７０７では、画像処理部１０６が、ステップＳ７０６またはステップＳ７１５で撮像した画像に対して現像処理を行う。
【００７４】
ステップＳ７０８では、制御部１０１が終了指示があるか否かを判断し、終了指示があればパノラマ画像の合成用の画像の撮像を終了してステップＳ７０９に進み、終了指示がないと判断した場合は、ステップＳ７０２に戻る。
【００７５】
ステップＳ７０９では、第１の実施形態と異なり、現像処理が済んだパノラマ画像の合成用として撮像した画像だけでなく、静止画として撮像した画像も用いて、合成処理を行う。パノラマ画像の合成用として撮像した画像のみを用いて合成を行うと、静止画として撮像した画像の位置だけ画像の密度が低くなってしまうが、本実施形態では静止画として撮像した画像も合成に用いるため、画像の密度が担保される。
【００７６】
ここで、ステップＳ７１１とステップＳ７１２に戻り、これらの処理について説明を行う。本実施形態では、静止画として撮像した画像もパノラマ画像の合成に用いるため、ステップＳ７１８でゲイン処理を行い、静止画として撮像した画像をパノラマ画像の合成用の画像と同じ程度の輝度値に補正する必要が生じる。ここで、静止画を撮像したときの撮像条件が、パノラマ画像の合成用の画像を撮像したときの撮像条件よりも、画像が明るくなる設定になっていると、ステップＳ７１８でのゲイン処理では、ゲインダウンを行うことになる。もし静止画として撮像された画像に飽和部が含まれていると、飽和部の画像信号が、飽和部であるにも関わらず画像信号の上限値よりも小さい値に補正されてしまうことになってしまう。
【００７７】
そこで、ステップＳ７１１では、制御部１０１は、静止画を撮像したときの撮像条件が、パノラマ画像の合成用の画像を撮像したときの撮像条件よりも、画像が明るくなる設定になっているかどうかを判定し、なっている場合に露出値の調整が必要と判断する。
【００７８】
さらに、ステップＳ７１２において、ステップＳ７１８でゲインダウンを行う必要が内容にするため、図８に示す関数に従って、露出値の調整を行う。
【００７９】
この図８に示した関数は、ステップＳ７１０で算出した露出値が、パノラマ画像用の撮像時の露出値よりもオーバー側の値である場合に、算出した露出値をパノラマ画像用の撮像時の露出値に一致するように調整することを意味している。ただし、図８に示した関数はステップＳ７１２での露出値の調整の一例にすぎず、図８に示した関数グラフの傾きと飽和値とを、ユーザの設定により変更することができる。
【００８０】
以上説明したように、第２の実施形態によれば、第１の実施形態と比べ、同じ撮像動作をして、静止画もパノラマ合成に使うため、パノラマ合成に使える画像をより多く撮像することができる。
【００８１】
（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。
【００８２】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８３】
以上で説明したような処理によれば、ユーザがデジタルカメラを用いて、パノラマ用の画像を撮像するとともに、適正な露出の静止画を撮像することができる。静止画を撮像するとき、より適切な露出値を設定することにより、ユーザにとって観察しやすい画像を提供することが可能になる。
【符号の説明】
【００８４】
１００  デジタルカメラ
１０１  制御部
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  光学系
１０５  撮像部
１０６  画像処理部
１０７  記録媒体
１０８  表示部
１０９  装置動き検出部
１１０  操作部
【図１】
2017212698.tif 000009
【図２】
2017212698.tif 000010
【図３】
2017212698.tif 000011
【図４】
2017212698.tif 000012
【図５】
2017212698.tif 000013
【図６】
2017212698.tif 000014
【図７】
2017212698.tif 000015
【図８】
2017212698.tif 000016