(57)【要約】      （修正有）【課題】被写体の距離情報に応じた適切な素材画像から広角画像を生成する撮像装置を提供する。【解決手段】システム制御部は、最初の撮影時に焦点距離（距離情報）を取得し、２番目以降の設定領域については撮影時のカメラの姿勢情報（検出位置及び検出角度）を取得し、距離情報と姿勢情報とに基づいて、設定領域ごとに、撮影画像が素材画像として採用可能かを判断する。その際、評価値は距離情報を反映して算出され、評価値が閾値を下回る画像が素材画像として選択・決定され、素材画像として採用した設定領域ごとの画像を合成して広角画像を生成する。【選択図】図６
2017011657.tif 000002
【特許請求の範囲】
【請求項１】
複数の設定領域ごとに合成用の素材画像を取得し、該取得した複数の素材画像を合成して、前記素材画像よりも画角が大きい１つの広角画像を生成する撮像装置であって、
被写体を撮像して撮像画像を得る撮像手段と、
前記複数の設定領域を設定する設定手段と、
被写体の距離に関する距離情報を取得する第１の取得手段と、
前記撮像手段による撮像時の前記撮像装置の位置及び角度に関する姿勢情報を取得する第２の取得手段と、
前記第１の取得手段により取得された距離情報と前記第２の取得手段により取得された姿勢情報とに基づいて、前記設定手段により設定された前記設定領域ごとに、前記撮像手段により得られた撮像画像が前記素材画像として採用可能か否かを判断する判断手段と、
前記判断手段により前記素材画像として採用可能と判断された前記設定領域ごとの撮像画像を前記素材画像として採用し、これら採用した素材画像の位置合わせを経て前記広角画像を生成する生成手段と、を有することを特徴とする撮像装置。
【請求項２】
前記設定手段は、前記複数の設定領域のうち１つを基準設定領域とし、それ以外の設定領域については、前記基準設定領域に対する相対量として目標位置及び目標角度を設定し、
前記判断手段は、前記基準設定領域以外の設定領域については前記設定領域ごとに、前記目標位置及び前記目標角度に対する前記撮像画像の撮像領域の位置及び角度に関するずれ量を、前記距離情報及び前記姿勢情報に基づいて算出し、該算出したずれ量が閾値を下回る場合に、前記撮像画像が前記素材画像として採用可能と判断することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記生成手段は、前記設定領域ごとに、前記素材画像として採用可能と判断された撮像画像が複数ある場合は、それらの撮像画像のうち前記ずれ量が最小のものを前記素材画像として採用することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記判断手段は、前記ずれ量を算出する際、前記距離情報が示す被写体距離が長いほど角度の重み付けを重くすることを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記判断手段は、前記ずれ量を算出する際、前記距離情報が示す被写体距離が短いほど位置の重み付けを重くすることを特徴とする請求項２〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記設定手段は、前記距離情報が示す被写体距離が長いほど、前記目標位置を小さい値に設定すると共に前記目標角度を大きい値に設定することを特徴とする請求項２〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記設定手段は、前記撮像手段により最初に撮像された領域を前記基準設定領域とすることを特徴とする請求項２〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像手段による撮像に際し、前記目標位置及び前記目標角度を報知する報知手段を有することを特徴とする請求項２〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記設定手段は、前記基準設定領域以外の設定領域に対して順番を決め、
前記報知手段は、決められた順番に従って、次に撮像の対象となる設定領域の前記目標位置及び前記目標角度を報知することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記第１の取得手段は、前記撮像手段の焦点距離から前記距離情報を取得することを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置において特に複数枚の画像から広角な画像を合成する技術に関する。
【背景技術】
【０００２】
近年、テレビジョンカメラ、デジタルカメラ等の画像の取り込みに、ＣＣＤ撮像素子、ＣＭＯＳ撮像素子等の固体撮像素子が多く使用されている。固体撮像素子のダイナミックレンジ拡大、ノイズの低減、手持ち撮影時の手ぶれの抑制、画角の拡大等を目的として、同一シーンにおける複数枚の画像を撮影し、これら複数の画像を何らかの演算によって合成する手法が提案されている。
【０００３】
例えば、撮像装置の撮影範囲を動かしながら連続撮影し、得られた複数の画像を合成することで広角な画像を生成する手法が提案されている（特許文献１）。以下、このような画像合成手法を広角画像合成と呼び、広角画像合成に使用される画像を素材画像と呼ぶ。特許文献１では、合成する広角画像を予め複数の撮像領域に区分して、各撮像領域それぞれに対して適切な画像が撮像された場合、その画像を素材画像として保存して、適切でない画像は破棄する。
【０００４】
広角画像合成では一般的に、撮影した画像を投影し、投影した画像で位置合わせを行い合成する。その投影方法には、図１０（ａ）、（ｂ）に示すような平面投影法、図１０（ｃ）、（ｄ）に示すような円筒投影法等、様々な方法がある。図１０（ｂ）は、図１０（ａ）に示す基準平面に画像が投影される様子を示す。図１０（ｄ）は、図１０（ｃ）に示す円筒面に画像が投影される様子を示す。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２０５３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、平面投影法を用いて広角画像合成を行う場合、一般的に射影変換により画像を投影する方法が用いられる。図１１（ａ）に示すように被写体距離が近距離である場合は、撮像装置を平行移動させることで撮影対象となる領域を十分に変えることができる。その一方、撮像装置の角度を変えると射影変換の幾何変形量が大きくなるという不利がある。そのため、撮像装置の角度をなるべく変えずに主に撮像装置を平行移動させることで撮影対象となる領域を変え、それによって撮影した画像を素材画像として合成に使用することが望ましい。
【０００７】
また、図１１（ｂ）に示すように被写体距離が遠距離である場合は、撮像装置を平行移動させるだけでは撮影対象となる領域があまり変化しない。そのため、図１１（ｃ）に示すように撮像装置の角度を適切に変えて撮影した画像を素材画像として合成に使用することが望ましい。このように、被写体距離によって、広角画像合成に適した素材画像を取得する撮影領域は異なる。しかし、特許文献１では、素材画像の取得において、被写体距離は考慮されていない。そのため、広角画像合成に採用する素材画像を適切に取得することに関し、改善の余地があった。
【０００８】
本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、被写体の距離情報に応じた適切な素材画像から広角画像を生成することことにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明は、複数の設定領域ごとに合成用の素材画像を取得し、該取得した複数の素材画像を合成して、前記素材画像よりも画角が大きい１つの広角画像を生成する撮像装置であって、被写体を撮像して撮像画像を得る撮像手段と、前記複数の設定領域を設定する設定手段と、被写体の距離に関する距離情報を取得する第１の取得手段と、前記撮像手段による撮像時の前記撮像装置の位置及び角度に関する姿勢情報を取得する第２の取得手段と、前記第１の取得手段により取得された距離情報と前記第２の取得手段により取得された姿勢情報とに基づいて、前記設定手段により設定された前記設定領域ごとに、前記撮像手段により得られた撮像画像が前記素材画像として採用可能か否かを判断する判断手段と、前記判断手段により前記素材画像として採用可能と判断された前記設定領域ごとの撮像画像を前記素材画像として採用し、これら採用した素材画像の位置合わせを経て前記広角画像を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、被写体の距離情報に応じた適切な素材画像から広角画像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置の外観を示す斜視図である。
【図２】デジタルカメラの構成例を示すブロック図である。
【図３】カメラの角度と位置の座標系を示す図である。
【図４】広角画像の画角と素材画像の画角との関係を示す図である。
【図５】素材画像を取得するために設定される領域を示す図である。
【図６】広角画像合成モードの処理の流れを示すフローチャートである。
【図７】図６の続きのフローチャートである。
【図８】ガイド情報を表示させた表示部の表示例を示す図である。
【図９】素材画像と広角合成画像の例を示す図である。
【図１０】投影方法を示す図である。
【図１１】平面投影法での射影変換による画像投影の様子を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面を参照して説明する。
【００１３】
図１は、本発明の一実施の形態に係る撮像装置の外観を示す斜視図である。この撮像装置は、例えば、デジタルカメラ１００として構成される。このカメラ１００は、少なくとも静止画の撮影（撮像）を行うことができる。
【００１４】
カメラ１００の背面側に表示部２８が配置されており、この表示部２８には画像及び各種情報が表示される。カメラ１００の上面には電源オン／オフを切り替える電源スイッチ７２が配置されるとともに、シャッタボタン６１が配置されている。表示部２８の右側には、各種モードを切り替えるモードダイアル（モード切替スイッチともいう）６０が配置されるとともに、ユーザからの各種操作を受け付ける操作部７０が配置されている。
【００１５】
操作部７０にはユーザからの各種操作を受け付けるための各種スイッチ、ボタン、タッチパネルなどが備えられている。さらに、操作部７０にはコントローラホイール７３が備えられており、このコントローラホイール７３は回転操作に応じた指令を送出する。カメラ１００には、カメラ１００と外部機器（図示せず）とを接続するための接続ケーブル１１１を接続可能である。接続ケーブル１１１はコネクタ１１２によってカメラ１００に接続される。
【００１６】
カメラ１００には記録媒体スロット２０１が形成されており、この記録媒体スロット２０１にはメモリカードまたはハードディスクなどの記録媒体２００が収納される。ユーザは、記録媒体スロット２０１に記録媒体２００を収納する際には、カメラ１００に設けられた蓋部２０２を開いて、記録媒体スロット２０１に記録媒体２００を収納する。
【００１７】
図２は、デジタルカメラ１００の構成例を示すブロック図である。図２において、撮影レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群である。撮影レンズ１０３の後段には絞り機能を備えるシャッタ１０１が配置されている。シャッタ１０１の後側には、光学像を電気信号（アナログ信号）に変換するＣＣＤ又はＣＭＯＳ素子を有する撮像手段としての撮像部２２が配置されている。撮像部２２の出力であるアナログ信号はＡ／Ｄ変換器２３によってデジタル信号（画像データ）に変換される。撮影レンズ１０３の前面側にはバリア１０２が配置されており、このバリア１０２は撮影レンズ１０３、シャッタ１０１、及び撮像部２２等を覆って、汚れおよび破損を防止する。
【００１８】
画像処理部２４はＡ／Ｄ変換器２３の出力である画像データ、またはメモリ制御部１５から画像データを受けて、それらに対し、所定の画素補間及び縮小等のリサイズ処理と色変換処理とを行う。また、画像処理部２４は、撮像の結果得られた画像データを用いて所定の演算処理を行う。そして、システム制御部５０は当該演算結果に基づいて露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理が行われる。
【００１９】
さらに、画像処理部２４は撮像の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。また、画像処理部２４は、複数枚の画像を合成して、広角な合成画像を生成する広角画像合成を行う。広角画像合成についての詳細は後述する。
【００２０】
Ａ／Ｄ変換器２３からの出力である画像データは、画像処理部２４およびメモリ制御部１５を介して、或いは直接メモリ制御部１５を介して、メモリ３２に書き込まれる。このメモリ３２は、所定枚数の静止画像又は所定時間の動画像および音声を格納するための十分な記憶容量を備えている。
【００２１】
メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３を介して表示部２８に与えられて、画像として表示される。なお、表示部２８は、例えばＬＣＤであり、Ｄ／Ａ変換器１３からのアナログ信号に応じた画像を表示する。また、メモリ３２に蓄積された画像データをＤ／Ａ変換器１３においてＤ／Ａ変換して表示部２８に逐次転送して表示すれば、表示部２８は電子ビューファインダとして機能し、スルー画像表示を行うことができる。
【００２２】
システム制御部５０はカメラ１００全体の制御を司る。不揮発性メモリ５６にはシステム制御部５０の動作用の定数、変数、およびプログラムなどが格納されている。このプログラムには、後述する各種フローチャートを実行するためのプログラムが含まれる。不揮発性メモリ５６は電気的に消去・記録可能なメモリであって、例えば、ＥＥＰＲＯＭである。システム制御部５０は、不揮発性メモリ５６に記録されたプログラムを実行することで、後述する各処理を実現する。
【００２３】
システムメモリ５２は、例えばＲＡＭであり、システム制御部５０は不揮発性メモリ５６から動作用の定数、変数、およびプログラムなどを読み出して、システムメモリ５２に展開する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。システム制御部５０にはシステムタイマ５３が接続されており、システムタイマ５３は各種制御に用いる時間や、内蔵された時計の時間を計測し、システム制御部５０に与える。
【００２４】
モード切替スイッチ６０、シャッタボタン６１及び操作部７０は、システム制御部５０に各種の動作指示を入力するための操作子である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、広角画像合成モード、カスタムモード等がある。モード切替スイッチ６０により、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６により静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【００２５】
シャッタボタン６１には、第１シャッタースイッチ６２及び第２シャッタースイッチ６３が含まれる。第１シャッタースイッチ６２は、シャッタボタン６１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１シャッタースイッチ信号ＳＷ１を発生させる。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作を開始する。第２シャッタースイッチ６３は、シャッタボタン６１の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生させる。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２６】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。その機能ボタンとしては例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面を見て、４方向キーおよびＳＥＴボタンを用いて直感的に各種設定を行うことができる。
【００２７】
図１に示すコントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンとともに選択項目を指示する際などに用いられる。コントローラホイール７３を回転操作すると、操作量に応じた電気的なパルス信号が発生する。システム制御部５０は当該パルス信号に基づいてカメラ１００を制御する。システム制御部５０はパルス信号によって、コントローラホイール７３が回転操作された角度及びその回転数を判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、コントローラホイール７３はユーザの回転操作に応じてパルス信号を発生させるダイヤル操作部材であってもよい。また、コントローラホイール７３は回転することなく、タッチセンサよりなる操作部材であってユーザの指の回転動作などを検出するものであってもよい（いわゆるタッチホイール）。
【００２８】
電源制御部３１は、電池検出回路、ＤＣ−ＤＣコンバータ、及び通電するブロックを切り替えるスイッチ回路等を備え、電池の装着の有無、電池の種類、及び電池残量を検出する。また、電源制御部３１は、上記の検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含むカメラ１００の各部に供給する。
【００２９】
電源部３０は、アルカリ電池やリチウム電池等の一次電池、またはＮｉＣｄ電池、ＮｉＭＨ電池またはＬｉ電池等の二次電池を備えるとともに、ＡＣアダプター等を有している。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースであり、記録媒体２００には撮影の結果得られた画像データが記録される。この記録媒体２００は、例えば、半導体メモリ又は磁気ディスクから構成される。
【００３０】
検出部８０は、ジャイロセンサや加速度センサ等から構成される。システム制御部５０は、検出部８０の検出結果からデジタルカメラ１００の角度と位置を算出する。例えば、検出部８０の検出結果が角速度、加速度の場合、システム制御部５０は、これらの検出値から積分演算を用いて角度、位置を算出する。
【００３１】
図３に、カメラ１００の角度と位置の座標系を示す。システム制御部５０は、角度（α、β、γ）と位置（Ｘ、Ｙ、Ｚ）をそれぞれ３軸で算出する。また、システム制御部５０は角度と位置を、基準値からの相対値として算出する。例えば、システム制御部５０は、最初の撮影に同期した検出部８０の検出結果を基準値として、それを角度（０°、０°、０°）と位置（０、０、０）とする。基準値を算出した後は、システム制御部５０は、基準値からの相対値としてデジタルカメラ１００の角度と位置とを算出する。これら、基準値に対する相対量としての角度及び位置が、カメラ１００の「姿勢情報」となる。
【００３２】
なお、カメラ１００の角度及び位置を直接または演算を介して取得できる検出機構であれば、検出部８０の構成は限定されない。
【００３３】
広角画像合成モードについて、詳細は図６、図７のフローチャートで説明するが、まずは図４、図５で概要を説明する。広角画像合成モードは、デジタルカメラ１００の撮影範囲を動かしながら連続撮影し、得られた複数の画像を合成することで、画角Ｇ１と比較して広い画角Ｇ２の画像を合成するモードである。ここで、本実施の形態では、被写体の距離と撮影時（撮像時）のカメラ１００の位置及び角度とに基づいて、広角画像合成に使用する合成用の撮像画像（素材画像）を決定する。なお、画素が有限大の開口を有することの影響を補正するアパチャー補正など、一般的に行われている処理については説明を省略するが、記載のない処理の実施がなされてもよい。
【００３４】
図４（ａ）、（ｂ）は、広角画像の画角と素材画像の画角との関係を示す図である。画角Ｇ１は、広角画像合成モードで使用する素材画像の画角である。画角Ｇ２は、広角画像合成モードで合成される広角画像の画角であり、画角Ｇ１よりも大きい。
【００３５】
図５（ａ）〜（ｅ）は、素材画像を取得するために設定される領域を示す図である。広角画像合成モードでは、画角Ｇ２に対応して、複数に区分された領域が設定される。これらの領域を設定領域Ｒと記す。区分数に限定はないが、図５では設定領域Ｒ０〜Ｒ４の５つが設定される例を示している。設定領域Ｒごとに素材画像が取得される。広角画像合成においては、５つの設定領域Ｒのそれぞれについて取得された素材画像の位置合わせを経て広角画像が生成される。５つの設定領域Ｒのうち１つが、素材画像の位置合わせにおける基準とされ、ここでは設定領域Ｒ０が基準設定領域とされる。
【００３６】
図５に例示したように、設定領域Ｒ０が基準設定領域となった場合は、設定領域Ｒ０の素材画像を位置合わせの基準として、設定領域Ｒ１〜Ｒ４に対応する素材画像を使用して広角画像が合成される。システム制御部５０は、各設定領域Ｒについて撮影の順番を決め、次の撮影領域の指標をユーザに報知する。撮影順番については、例えば、最初に設定領域Ｒ０について撮影した後、領域Ｒ１、領域Ｒ２、領域Ｒ３、領域Ｒ４の順番で撮影するものとする。システム制御部５０は、メモリ３２に素材画像と後述する評価値ＶＡＬを保持する領域を確保する。なお、位置合わせの基準は、中央に位置する設定領域Ｒ０としたが、これ以外の設定領域Ｒとしてもよい。また、撮影の順番も例示に限定されない。
【００３７】
図６及び図７は、広角画像合成モードの処理の流れを示すフローチャートである。この処理は、モード切替スイッチ６０により広角画像合成モードが選択された場合に実行される。
【００３８】
まず、システム制御部５０は、操作部７０における設定ボタンが押下されたか否かを判別する（ステップＳ１００）。そして設定ボタンが押下された場合は、システム制御部５０は、入力された設定内容に従って、広角合成画像の画角Ｇ２、撮影枚数、撮影領域、素材画像の撮影順番などの設定状態を変更して（ステップＳ１０１）、処理をステップＳ１０２へ進める。ここで、システム制御部５０は、広角合成画像の画角Ｇ２の範囲内で撮影枚数分の撮影領域を設定領域Ｒとして設定する。その際、システム制御部５０は、隣接する設定領域Ｒ同士に重なりが生じるように設定領域Ｒを設定し、各設定領域Ｒに対して撮影順番も設定する。システム制御部５０は、本発明における設定手段に該当する。ステップＳ１００の判別の結果、設定ボタンが押下されない場合は上記設定状態の変更をすることなく処理をステップＳ１０２へ進める。
【００３９】
上記設定状態の初期値はデフォルトで決められている。例えば、撮影枚数は５枚、５つの撮影領域は、図５に例示した位置に設定され、撮影順番は設定領域Ｒ０、Ｒ１、Ｒ２、Ｒ３、Ｒ４とされている。
【００４０】
ステップＳ１０２では、システム制御部５０は、第１シャッタースイッチ６２が押されたか否かを判別し、第１シャッタースイッチ６２が押されていな場合は、処理をステップＳ１００に戻す。第１シャッタースイッチ６２が押された場合は、システム制御部５０は、ＡＥ処理及びＡＦ処理を実施する（ステップＳ１０３）。続いて、システム制御部５０は、上記ＡＥ処理の結果に基づき撮影感度などの撮影条件を決定する（ステップＳ１０４）。
【００４１】
次に、システム制御部５０は、被写体の距離に関する距離情報を取得する（ステップＳ１０５）。具体的には、システム制御部５０は、ステップＳ１０３でのＡＦ処理で焦点を合わせたときの焦点距離を検出し、この焦点距離を距離情報として取得する。システム制御部５０は、本発明における第１の取得手段に該当する。
【００４２】
続いて、システム制御部５０は、第２シャッタースイッチ６３が押されたか否かを判別する（ステップＳ１０６）。その判別の結果、第２シャッタースイッチ６３が押されなかった場合は、システム制御部５０は、第１シャッタースイッチ６２が押されたままであるか否か（いわゆる半押しのままか否か）を判別する（ステップＳ１０７）。システム制御部５０は、第１シャッタースイッチ６２が押されたままであれば処理をステップＳ１０６に戻す一方、第１シャッタースイッチ６２の押下が解除された場合は、処理をステップＳ１００に戻す。
【００４３】
ステップＳ１０６の判別の結果、第２シャッタースイッチ６３が押された場合は、システム制御部５０は、ステップＳ１０４で決定した撮影条件で撮影する（ステップＳ１０８）。これにより、基準設定領域における素材画像が取得される。例えば、設定領域Ｒや撮影順番の設定が図５に示した状態であったとすると、最初に撮影する領域が、広角画像の画角Ｇ２における中心の設定領域Ｒ０であるとされる。設定領域Ｒ０に対応する画像が基準設定領域に対応する１番目の素材画像となる。
【００４４】
次に、システム制御部５０は、第２シャッタースイッチ６３が押された時のカメラ１００の位置と角度とをカメラ１００の基準位置と基準角度として決定する（ステップＳ１０９）。これにより、設定領域Ｒ０が、設定領域Ｒ１、Ｒ２、Ｒ３、Ｒ４の位置決めの基準となる。続いて、システム制御部５０は、ステップＳ１０８で撮影した画像を１番目の設定領域Ｒ０の素材画像としてメモリ３２に保存する（ステップＳ１１０）。
【００４５】
次にステップＳ１１１では、システム制御部５０は、距離情報を用いて、基準設定領域以外の設定領域Ｒごとに、目標位置（Ｘtar、Ｙtar、Ｚtar）、目標角度（αtar、βtar、γtar）を決定する。さらに、システム制御部５０は、距離情報を用いて、基準設定領域以外の設定領域Ｒごとに、重み係数ω（ωＸ、ωＹ、ωＺ、ωα、ωβ、ωγ）、閾値Ｎを決定する。
【００４６】
ここで、目標位置及び目標角度は、基準設定領域以外の（２番目以降の）設定領域Ｒ１〜Ｒ４において最適な素材画像を取得するためにデジタルカメラ１００がとるべき姿勢を示す値であり、基準設定領域を基準とする相対量として表される。重み係数ωは、２番目以降の設定領域Ｒごとに最適な素材画像を選択するために使用される。閾値Ｎは、２番目以降の設定領域Ｒごとの画像の素材画像としての採用可否を判断するために用いられる。目標位置及び目標角度は、演算により算出してもよいし、不揮発性メモリ５６に予め保存したルックアップテーブルを参照して決定してもよい。重み係数ωと閾値Ｎについては、例えば、不揮発性メモリ５６に予め保存したルックアップテーブルを参照して決定されるとする。
【００４７】
ところで、２番目以降の各設定領域Ｒにおいて撮影された画像が素材画像として採用するに値するか（採用可能か）どうかは、後述するステップＳ１２０において、評価値ＶＡＬにより評価される。評価値ＶＡＬは、数式１により算出される。
［数１］
ＶＡＬ＝ωＸ(Ｘtar−Ｘcor)＋ωＹ(Ｙtar−Ｙcor)＋ωＺ(Ｚtar−Ｚcor)＋ωα(αtar−αcor)＋ωβ(βtar−βcor)＋ωγ(γtar−γcor)
【００４８】
Ｘcor、Ｙcor、Ｚcor及び、αcor、βcor、γcorは、基準設定領域以外の設定領域（領域Ｒ１〜Ｒ４）ごとの画像取得時のカメラ１００の姿勢情報（検出位置及び検出角度）である。評価値ＶＡＬは、２番目以降の設定領域Ｒ１〜Ｒ４の検出位置及び、検出角度の、目標に対するずれの程度を示すずれ量である。評価値ＶＡＬが小さいほど、２番目以降の各設定領域Ｒで取得された画像は目標位置（Ｘtar、Ｙtar、Ｚtar）、目標角度（αtar、βtar、γtar）に対して一致の度合いが高いため、素材画像として採用するのに好ましい。
【００４９】
ステップＳ１１２以降の処理では、２番目以降の設定領域Ｒごとに画像が取得され、評価値ＶＡＬが算出される。そして評価値ＶＡＬが閾値Ｎを下回る画像が取得されるまで撮影が繰り返される。
【００５０】
ここで、システム制御部５０は、数式１により評価値ＶＡＬを算出する際、距離情報が示す被写体距離が長いほど角度の重み付けを重くする。これは、被写体が遠い場合は、２番目以降の設定領域Ｒごとの撮影時におけるカメラ１００の平行ずれはある程度許容できるが角度ずれは小さい方がよいからである。また、システム制御部５０は、被写体距離が短いほど位置の重み付けを重くする。これは、被写体距離が近い場合は、カメラ１００の平行ずれの影響が大きくなるので、平行ずれは小さい方がよいからである。具体的には、ステップＳ１１１では、被写体距離が長いほど、角度用の重み係数ωα、ωβ、ωγは大きい値、位置用の重み係数ωＸ、ωＹ、ωＺは小さい値に設定される。あるいは、位置用の重み係数ωＸ、ωＹ、ωＺに対して相対的に角度用の重み係数ωα、ωβ、ωγが大きくなるように設定される。
【００５１】
また、システム制御部５０は、一例として、距離情報が示す被写体距離が長いほど、目標位置（Ｘtar、Ｙtar、Ｚtar）を小さい値に設定すると共に目標角度（αtar、βtar、γtar）を大きい値に設定する。被写体が遠い場合は、カメラ１００の位置を移動させても撮像領域があまり変化しないが、角度を切り替えることで撮像領域を大きく変化させることができるからである。なお、閾値Ｎは、許容可能なずれ量であり、被写体距離、撮影枚数、画角Ｇ等の少なくともいずれかに応じて設定されるとするが、固定値としてもよい。
【００５２】
次に、システム制御部５０は、設定されている複数の設定領域Ｒと撮影順番とに応じて、今回の撮影対象とする設定領域Ｒを設定する（ステップＳ１１２）。例えば、前回の撮影対象が設定領域Ｒ１であったとすると、今回の撮影対象は設定領域Ｒ２に設定される。次に、システム制御部５０は、ステップＳ１１１で設定された設定領域Ｒごとの値に従って、今回の設定領域Ｒに対応する目標位置、目標角度、重み係数ω、閾値Ｎを設定する（ステップＳ１１３）。すなわち、目標位置（Ｘtar、Ｙtar、Ｚtar）、目標角度（αtar、βtar、γtar）、重み係数（ωＸ、ωＹ、ωＺ、ωα、ωβ、ωγ）、閾値Ｎが設定される。
【００５３】
続いて、システム制御部５０は、目標位置、目標角度に撮影範囲がくるようにデジタルカメラ１００をユーザに動かしてもらうことを促すための補助情報として、表示部２８にガイド情報を表示させる（ステップＳ１１４）。図８（ａ）〜（ｈ）は、ガイド情報を表示させた表示部２８の表示例を示す図である。
【００５４】
システム制御部５０は、目標位置とカメラ１００の最後の撮影時の位置との差分、目標角度とカメラ１００の最後の撮影時の角度との差分から、カメラ１００の姿勢（位置、角度）を変化させる方向を算出する。そして、システム制御部５０は、その算出結果をガイド情報として矢印等の図で表示部２８に表示する。例えば、図８（ａ）、（ｂ）の例では、設定領域Ｒ０の撮影直後のスルー画像にガイド情報を併せて表示させた図である。図８（ａ）の例では、角度αと角度βの方向にカメラ１００を回転させるように矢印で促している。図８（ｂ）の例では、Ｘ、Ｙ方向に関し、斜め左方上方にカメラ１００を平行移動させるように矢印で促している。なお、角度γの方向への回転移動を促す場合は、例えば、欠円型の矢印（時計回りまたは反時計回りの矢印）等を表示してもよい。Ｚ方向（前後）への平行移動を促す場合は、二重丸や×印入りの丸等のマークを表示してもよい。
【００５５】
２番目の設定領域Ｒの撮影において、初回は、目標位置及び角度とカメラ１００の設定領域Ｒ１の撮影時の位置及び角度との差分からガイド情報が生成され、表示される。２番目以降の各設定領域Ｒの撮影において、ステップＳ１１４の実行が２回目以降である場合は、前回の撮影時の位置及び角度との差分からガイド情報が生成され、表示される。
【００５６】
従って、例えば、ガイド情報は、図８（ｃ）〜（ｈ）に例示されるように、広角合成画像の画角Ｇ２に合うように、設定領域Ｒ０の撮影済みの画像に、設定領域Ｒ１〜Ｒ４のスルー画像を重ねて表示させてもよい。その場合のスルー画像の表示位置は、後述するステップＳ１１６で検出したカメラ１００の位置と角度から算出される。図８（ｃ）〜（ｈ）では、説明簡略化のために、カメラ１００を平行移動のみさせる場合を示しているが、角度に関しても矢印等の表示が異なるだけで、同様に考えることができる。なお、図８に示すガイド情報は一例であり、次に撮影すべき領域の目標位置及び目標角度を報知する手法はこの例に限定されない。
【００５７】
続いて、システム制御部５０は、ステップＳ１０４で決定した撮影条件で撮影する（ステップＳ１１５）。これにより、基準設定領域以外の設定領域Ｒにおける素材画像が取得される。続いて、システム制御部５０は、ステップＳ１１５における撮影タイミングと同期して検出部８０で検出された結果から、カメラ１００の位置と角度とを検出する（ステップＳ１１６）。すなわち、システム制御部５０は、今回の設定領域Ｒの撮影時のカメラ１００の姿勢情報として検出位置（Ｘcor、Ｙcor、Ｚcor）及び検出角度（αcor、βcor、γcor）を取得する。システム制御部５０は、本発明における第２の取得手段に該当する。
【００５８】
次に、システム制御部５０は、今回の設定領域Ｒに対して設定された目標位置、目標角度及び重み係数ωと、ステップＳ１１６で取得した姿勢情報とに基づいて、評価値ＶＡＬを算出する。すなわち、システム制御部５０は、数式１を用いて評価値ＶＡＬを算出する（ステップＳ１１７）。
【００５９】
続いて、システム制御部５０は、今回の設定領域ＲについてステップＳ１１５で撮影した画像が素材画像の候補として適しているか否かを判別する（ステップＳ１１８）。システム制御部５０は、今回の設定領域Ｒに対応する素材画像がメモリ３２に記憶されていない場合、今回の撮影画像が素材画像の候補として適しているものと判断する。そこでシステム制御部５０は、今回の撮影画像と今回算出された評価値ＶＡＬを対応付けてメモリ３２に保存する（ステップＳ１１９）。従って、今回の設定領域Ｒについての撮影が初回である場合は、今回の撮影画像は素材画像の候補として保存される。
【００６０】
一方、今回の設定領域Ｒに対応する素材画像がメモリ３２に記憶されている場合、システム制御部５０は、保存されている素材画像に対応付けられて保存されている評価値ＶＡＬと今回算出された評価値ＶＡＬとを比較する。その比較によって、システム制御部５０は、今回の撮影画像が素材画像の候補として適しているか否かを判断する。具体的には、システム制御部５０は、今回算出された評価値ＶＡＬ＜保存されている評価値ＶＡＬが成立する場合に、今回の撮影画像が素材画像の候補として適していると判断する。これは、前回以前に取得された撮影画像よりも今回取得した撮影画像の方が目標位置及び角度に近く、素材画像の候補としてより適切だからである。従って、システム制御部５０は、今回の撮影画像と今回算出された評価値ＶＡＬを対応付けてメモリ３２に保存する（ステップＳ１１９）。この場合、撮影画像及び評価値ＶＡＬは既存のものに対する上書きという形で保存される。
【００６１】
しかし、今回算出された評価値ＶＡＬ＜保存されている評価値ＶＡＬが成立しない場合は、前回以前に取得された撮影画像の方が素材画像の候補としてより適している。そのため、システム制御部５０は、ステップＳ１１９を経ることなく処理をステップＳ１２０に進め、今回の撮影画像は保存しない。ステップＳ１１９の後も、処理はステップＳ１２０に進む。
【００６２】
ステップＳ１２０では、今回の設定領域Ｒに関し、メモリ３２に保存されている評価値ＶＡＬが閾値Ｎよりも小さいか否か（ＶＡＬ＜Ｎ）を判別する。その判別の結果、ＶＡＬ＜Ｎが成立しない場合は、システム制御部５０は、現在保存されている撮影画像は目標からのずれ量が大きいため採用するのにふさわしくなく、採用可能でないと判断できる。一方、ＶＡＬ＜Ｎが成立する場合は、今回の設定領域Ｒに関し、現在保存されている撮影画像は素材画像として採用するのにふさわしく、採用可能と判断できる。システム制御部５０は、本発明における判断手段に該当する。
【００６３】
ステップＳ１２０の判別の結果、ＶＡＬ＜Ｎが成立しない場合は、システム制御部５０は、撮影が継続しているか否か判別する（ステップＳ１２１）。撮影が継続しているか否かは、カメラ１００の位置及び角度の情報を用いて判別される。例えば、システム制御部５０は、ガイド情報に表示している方向と著しく異なる方向へカメラ１００が移動したことを、１フレーム前のカメラ１００の位置及び角度の情報との比較により判定する。
【００６４】
そして、システム制御部５０は、撮影が継続していると判別した場合は処理をステップＳ１１４に戻す。これにより、今回の設定領域Ｒについて、ＶＡＬ＜Ｎが成立する画像が取得されるまで撮影がやり直される。一方、システム制御部５０は、撮影が継続していないと判定された場合は、合成失敗を通知して（ステップＳ１２２）、処理をステップＳ１００に戻す。
【００６５】
一方、ステップＳ１２０の判別の結果、ＶＡＬ＜Ｎが成立する場合は、システム制御部５０は、今回の設定領域Ｒについての採用可能な画像の取得は完了したと判断し、続くステップＳ１２３で、全ての設定領域Ｒの撮影が完了したか否かを判別する。その判別の結果、撮影未完了の設定領域Ｒがある場合は、システム制御部５０は、処理をステップＳ１１２に戻す。これにより、順番が次の設定領域Ｒに関する画像取得へ移行する。一方、全ての設定領域Ｒの撮影が完了した場合は、システム制御部５０は、広角画像合成の処理を実行する（ステップＳ１２４）。すなわち、システム制御部５０は、全ての設定領域Ｒのそれぞれについて素材画像として採用された画像の位置合わせを行い、それらから広角画像を生成する。システム制御部５０は、本発明における生成手段に該当する。
【００６６】
この広角画像合成では例えば、システム制御部５０は、メモリ３２に保存された設定領域Ｒ１〜Ｒ４の各素材画像のそれぞれに射影変換などの投影を行い、設定領域Ｒ０の素材画像を位置合わせの基準とし、投影した画像で位置合わせを行って合成する。位置合わせは、画像を任意のサイズの小ブロックに分割して、小ブロック毎に輝度のＳＡＤ（Ｓｕｍ ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）が最小となる対応点を算出して、動きベクトルを算出する方法などにより行われる。図９に、素材画像と広角合成画像の例を示す。図９（ａ）〜（ｅ）は各設定領域Ｒの素材画像を示し、図９（ｆ）は広角合成画像を示す。その後、本処理が終了する。
【００６７】
本実施の形態によれば、システム制御部５０は、最初の撮影時に焦点距離（距離情報）を取得し、２番目以降の設定領域Ｒについては撮影時のカメラ１００の姿勢情報（検出位置及び検出角度）を取得する（ステップＳ１０５、Ｓ１１６）。そしてシステム制御部５０は、距離情報と姿勢情報とに基づいて、設定領域Ｒごとに、撮影画像が素材画像として採用可能かを判断する（ステップＳ１１８、Ｓ１２０）。その際、数式１により算出される評価値ＶＡＬは距離情報を反映して算出され、評価値ＶＡＬが閾値Ｎを下回る画像が素材画像として選択・決定される。そして、システム制御部５０は、素材画像として採用した設定領域Ｒごとの画像を合成して広角画像を生成する（ステップＳ１２４）。
【００６８】
これにより、被写体の距離情報に応じた適切な素材画像から広角画像を生成することができる。特に、設定領域に対して近い撮像領域で得られた画像を素材画像として採用することができ、精度が高まる。
【００６９】
特に、システム制御部５０は、数式１により評価値ＶＡＬを算出する際、被写体距離が長いほど角度の重み付けを重くし、被写体距離が短いほど位置の重み付けを重くする。これにより、設定領域に対する撮影領域の位置及び角度のずれの程度を、被写体距離を考慮して評価でき、被写体距離に応じた適切な画像を素材画像として採用することができる。
【００７０】
ところで、本実施の形態では、２番目以降の各設定領域Ｒについて、ＶＡＬ＜Ｎが成立する画像が１つでも取得されると、その画像が今回の設定領域Ｒの素材画像として採用される構成であった。従って、２番目以降の各設定領域Ｒについての撮影回数は１回となる場合もあり得、処理が簡単であった。しかし、２番目以降の各設定領域Ｒについての撮影回数を必ず複数回となるように制御してもよい。
【００７１】
そのためには例えば、ステップＳ１２０とステップＳ１２３との間に「今回撮影は、今回の設定領域Ｒについて所定回目の撮影か？」という判別ステップを挿入する。「所定回目」には、２回目以上の複数値を適用する。システム制御部５０は、この判別ステップで、ＹＥＳの場合は、処理をステップＳＳ１２３に進めるが、ＮＯの場合は、処理をステップＳ１１４に戻す。これにより所定回目の撮影となるまで、今回の設定領域Ｒについての撮影が繰り返される。
【００７２】
このように構成した場合、ステップＳ１１７で算出される評価値ＶＡＬのうち最小のものが、それに対応する撮影画像と共にステップＳ１１９で保存される。従って、ＶＡＬ＜Ｎが成立する画像が２個以上取得された場合でも、評価値ＶＡＬが最小となる画像が素材画像として採用されることになる。よって、広角画像の生成に用いる素材画像として、被写体の距離情報に応じた最適な画像を採用することができる。
【００７３】
ところで、被写体の距離に関する距離情報としてＡＦ処理で検出した焦点距離を採用したが、これに限るものではない。例えば、連続撮影で撮影した複数の画像から視差情報を抽出して、その視差情報から検出される被写体の距離を採用してもよい。あるいは、撮像部２２を、一部の画素が焦点検出用画素であって、撮像面で位相差検出方式の焦点を検出する撮像面位相差検出機構を有する構成とし、当該機構の検出結果から検出される被写体の距離を採用してもよい。あるいは、撮像部２２を、１つのマイクロレンズの下に複数の画素を有して複数の画素の一部から複数の画像を生成する構成とし、複数の画像のずれ量を算出し、算出した画像のずれ量からから検出される被写体の距離を採用してもよい。
【００７４】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【符号の説明】
【００７５】
２２  撮像部
５０  システム制御部
ＶＡＬ  評価値
【図１】
2017011657.tif 000003
【図２】
2017011657.tif 000004
【図３】
2017011657.tif 000005
【図４】
2017011657.tif 000006
【図５】
2017011657.tif 000007
【図６】
2017011657.tif 000008
【図７】
2017011657.tif 000009
【図８】
2017011657.tif 000010
【図９】
2017011657.tif 000011
【図１０】
2017011657.tif 000012
【図１１】
2017011657.tif 000013