(57)【要約】【課題】広角画像合成で使われる投影方法に応じて適切な素材画像を決定して、広角合成画像の画質を向上させることを目的とする。【解決手段】本発明の撮像装置１００は、素材画像を使用して広角合成画像を生成する撮像装置１００であって、撮像手段２２と、撮像装置１００の位置及び角度のうち少なくともいずれか一方を検出する検出手段８０と、撮像手段２２での撮像時に検出手段８０が検出する撮像装置１００の位置及び角度のうち少なくともいずれか一方、及び、設定された投影方法に基づいて、撮像手段２２で撮像された画像を素材画像とするか否かを決定する決定手段と、決定手段で素材画像とすると決定された画像を投影方法に対応する変換方法で変換し、変換された画像を合成して広角合成画像を生成する生成手段と、を備えることを特徴とする。【選択図】図５
2017055268.tif 000002
【特許請求の範囲】
【請求項１】
素材画像を使用して広角合成画像を生成する撮像装置であって、
撮像手段と、
前記撮像装置の位置及び角度のうち少なくともいずれか一方を検出する検出手段と、
前記撮像手段での撮像時に前記検出手段が検出する前記撮像装置の位置及び角度のうち少なくともいずれか一方、及び、設定された投影方法に基づいて、前記撮像手段で撮像された画像を素材画像とするか否かを決定する決定手段と、
前記決定手段で素材画像とすると決定された画像を前記投影方法に対応する変換方法で変換し、変換された画像を合成して広角合成画像を生成する生成手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記決定手段は、前記投影方法が平面投影のとき、前記撮像手段での撮像時に前記検出手段が検出する前記撮像装置の位置及び角度が、基準となる位置及び角度から平行移動した位置及び角度か否かに基づいて、前記撮像手段で撮像された画像を素材画像とするか否かを決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記決定手段は、前記投影方法が円筒投影のとき、前記撮像手段での撮像時に前記検出手段が検出する前記撮像装置の位置及び角度が、基準となる位置及び角度から所定の軸を回転軸として回転した位置及び角度か否かに基づいて、前記撮像手段で撮像された画像を素材画像とするか否かを決定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記決定手段は、前記投影方法が球面投影のとき、前記撮像手段での撮像時に前記検出手段が検出する前記撮像装置の位置及び角度が、基準となる位置及び角度から所定の点を中心に回転した位置及び角度か否かに基づいて、前記撮像手段で撮像された画像を素材画像とするか否かを決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
繰り返し撮像するように前記撮像手段を制御する制御手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記決定手段は、前記広角合成画像を区分した領域毎に、前記素材画像を決定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記決定手段は、前記撮像手段が撮像する毎に、撮像された画像を素材画像とするか否かを決定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像装置の位置及び角度のうち少なくともいずれか一方の変更の案内を表示する表示手段をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
素材画像を使用して広角合成画像を生成する撮像装置の制御方法であって、
撮像ステップと、
前記撮像装置の位置及び角度のうち少なくともいずれか一方を検出する検出ステップと、
前記撮像ステップでの撮像時に前記検出ステップで検出する前記撮像装置の位置及び角度のうち少なくともいずれか一方、及び、設定された投影方法に基づいて、前記撮像ステップで撮像された画像を素材画像とするか否かを決定する決定ステップと、
前記決定ステップで素材画像とすると決定された画像を前記投影方法に対応する変換方法で変換し、変換された画像を合成して広角合成画像を生成する生成ステップと、を備えることを特徴とする撮像装置の制御方法。
【請求項１０】
素材画像を使用して広角合成画像を生成する撮像装置を制御するためのプログラムであって、
撮像ステップと、
前記撮像装置の位置及び角度のうち少なくともいずれか一方を検出する検出ステップと、
前記撮像ステップでの撮像時に前記検出ステップで検出する前記撮像装置の位置及び角度のうち少なくともいずれか一方、及び、設定された投影方法に基づいて、前記撮像ステップで撮像された画像を素材画像とするか否かを決定する決定ステップと、
前記決定ステップで素材画像とすると決定された画像を前記投影方法に対応する変換方法で変換し、変換された画像を合成して広角合成画像を生成する生成ステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、テレビジョンカメラ、デジタルカメラ等の画像の取り込み手段として、ＣＣＤ撮像素子、ＣＭＯＳ撮像素子等の固体撮像素子が多く使用されている。この固体撮像素子のダイナミックレンジ拡大やノイズの低減、手持ち撮影時の手ぶれの抑制、画角の拡大等を目的として、同一シーンにおける複数枚の画像を撮影し、この複数の画像を何らかの演算で合成する手法が提案されている。
例えば、特許文献１では、撮像装置の撮影範囲を動かしながら連続撮影し、得られた複数の画像を位置合わせして合成することで広角な画像を生成する手法が提案されている。以下、このような手法を広角画像合成と呼び、広角画像合成に使用される画像を素材画像と呼び、合成された画像を広角合成画像と呼ぶ。特許文献１では、合成される広角画像を領域に区分して、領域毎に合成に適した素材画像をメモリに保存する。
【０００３】
広角画像合成では、種々の投影方法が使われる。例えば、平面に投影する方法や円筒面に投影する方法がある。そして、使われる投影方法に応じて、適切な素材画像が異なる。なお、以下では、平面に投影する方法を平面投影と呼び、円筒面に投影する方法を円筒投影と呼び、円筒面に投影する幾何変形を円筒変換と呼ぶ。
【０００４】
ここで、図１２を参照して平面投影及び円筒投影について説明する。
まず、図１２（ａ）を参照して平面投影について説明する。平面投影は、投影の中心７０２から、撮影した画像７０１を、基準となる平面である投影面７００に投影させる投影方法である。なお、図１２（ａ）では、撮影した画像７０１が５つあり、中心にある画像７０１を含む面を投影面７００とする。
広角画像合成で平面投影を使う場合、まず、素材画像を投影面７００に投影させた画像に変換する。そして、変換した素材画像を合成して広角合成画像を生成する。この素材画像の変換には、平面投影に対応する変換方法である射影変換が使われる。したがって、素材画像は、投影面７００に対して平行移動して撮影した画像が、幾何変形量が少なくなるため、望ましい。
【０００５】
次に、図１２（ｂ）を参照して円筒投影について説明する。円筒投影は、投影の中心７１２から、撮影した画像７１１を、基準となる円筒面である投影面７１０に投影させる投影方法である。図１２（ｃ）は、図１２（ｂ）の画像７１１の１つ、及び、投影面７１０の一部の斜視図である。
広角画像合成で円筒投影を使う場合、まず、素材画像を投影面７１０に投影させた画像に変換する。この素材画像の変換には、円筒投影に対応する変換方法である円筒変換が使われる。そして、変換した素材画像を合成して広角合成画像を生成する。円筒投影する場合、素材画像は、ＮＰＰ（No Parallax Point）と呼ばれる視差がつかない点を回転中心として撮影した画像７１１が望ましいことが広く知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２０５３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、広角画像合成で使われる投影方法によって適切な素材画像が異なる点が考慮されておらず、広角合成画像の画質が十分ではないことがある。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、広角画像合成で使われる投影方法に応じて適切な素材画像を決定して、広角合成画像の画質を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の撮像装置は、素材画像を使用して広角合成画像を生成する撮像装置であって、撮像手段と、前記撮像装置の位置及び角度のうち少なくともいずれか一方を検出する検出手段と、前記撮像手段での撮像時に前記検出手段が検出する前記撮像装置の位置及び角度のうち少なくともいずれか一方、及び、設定された投影方法に基づいて、前記撮像手段で撮像された画像を素材画像とするか否かを決定する決定手段と、前記決定手段で素材画像とすると決定された画像を前記投影方法に対応する変換方法で変換し、変換された画像を合成して広角合成画像を生成する生成手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像手段での撮像時に検出する撮像装置の位置及び角度のうち少なくともいずれか一方、及び、設定された投影方法に基づいて、撮像された画像を素材画像とするか否かを決定する。したがって、広角画像合成で使われる投影方法に応じて適切な素材画像を決定して、広角合成画像の画質を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態におけるデジタルカメラの背面外観を示す外観図である。
【図２】第１実施形態におけるデジタルカメラの構成を示すブロック図である。
【図３】第１実施形態におけるデジタルカメラの位置及び角度の表し方を説明する概念図である。
【図４】第１実施形態における広角画像合成モードを説明するための概念図であって、（ａ）はユーザがデジタルカメラを移動させる方向と素材画像の画角との関係を示す概念図であり、（ｂ）は広角合成画像の画角と素材画像の画角との関係を示す概念図である。
【図５】第１実施形態におけるデジタルカメラの広角画像合成モードでの処理を示すフローチャートである。
【図６】第１実施形態における撮影領域の区分数を設定するときの画面を示す図であって、（ａ）は区分数設定画面を示す図であり、（ｂ）は基準画面等設定画面を示す図である。
【図７】第１実施形態における投影方法を設定する画面を示す図であって、（ａ）は平面投影が設定されたときの画面を示す図であり、（ｂ）は円筒投影が設定されたときの画面を示す図である。
【図８】第１実施形態におけるガイド表示を示す図であって、（ａ）は平面投影が設定されたときのガイド表示を示す図であり、（ｂ）は円筒投影が設定されたときのガイド表示を示す図である。
【図９】第１実施形態における素材画像及び広角合成画像を示す図であって、（ａ）は第１素材画像を示す図であり、（ｂ）は第２素材画像を示す図であり、（ｃ）は第３素材画像を示す図であり、（ｄ）は広角合成画像を示す図である。
【図１０】第２実施形態におけるＮＰＰを説明する概念図である。
【図１１】第２実施形態における素材画像及び広角合成画像を示す図であって、（ａ）は第１素材画像を示す図であり、（ｂ）は第２素材画像を示す図であり、（ｃ）は第３素材画像を示す図であり、（ｄ）は円筒投影で変換された第１素材画像を示す図であり、（ｅ）は円筒投影で変換された第２素材画像を示す図であり、（ｆ）は円筒投影で変換された第３素材画像を示す図であり、（ｇ）は広角合成画像を示す図である。
【図１２】投影方法を説明する概念図であって、（ａ）は平面投影を説明する概念図であり、（ｂ）は円筒投影を説明する概念図であり、（ｃ）は１つの画像についての円筒投影を説明する概念図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１実施形態）
撮像装置の一例であるデジタルカメラ１００について説明する。デジタルカメラ１００は、連続撮影した最初の画像を位置合わせの基準画像とし、投影方法として平面投影を用いて水平方向に広角となる広角画像合成を行う。広角画像合成の詳細は後述する。なお、画素が有限大の開口を有することの影響を補正するアパチャー補正等、一般的に行われている処理については説明を省略する。
【００１３】
まず、図１を参照して、デジタルカメラ１００の外観を説明する。図１は、デジタルカメラ１００の背面外観を示す外観図である。
表示部２８は、画像や各種情報を表示する。表示部２８には、例えば液晶ディスプレイが使われる。
コネクタ１１２は、外部機器に繋がれた接続ケーブル１１１をデジタルカメラ１００に接続するための部品である。
操作部７０は、ユーザからの各種操作を受け付けるものであり、シャッターボタン６１、モード切替スイッチ６０、電源スイッチ７２、及び、コントローラホイール７３を備える。また、操作部７０は、これら以外の各種スイッチ、ボタン、タッチパネル等の操作部材を備えていてもよい。
【００１４】
シャッターボタン６１は、撮影指示を行うための操作部材である。
モード切替スイッチ６０は、各種モードを切り替えるための操作部材である。
電源スイッチ７２は、電源オン、電源オフを切り替えるための操作部材である。
コントローラホイール７３は、回転操作可能な操作部材である。
記録媒体２００は、画像データ等を記憶する記憶手段であり、記録媒体２００には例えばメモリカードやハードディスク等が使われる。
記録媒体スロット２０１は、記録媒体２００を格納するためのスロットであり、記録媒体スロット２０１を閉じるための蓋２０２が取り付けられている。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。
【００１５】
次に、図２を参照して、デジタルカメラ１００の構成を説明する。図２は、デジタルカメラ１００の構成を示すブロック図である。
撮影レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群である。
シャッター１０１は、絞り手段を備えるシャッターである。
撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。
Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。
バリア１０２は、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
【００１６】
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理が行われる。画像処理部２４は、更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。また、画像処理部２４は、画像データについて、射影変換や円筒変換等の幾何変換を行う。また、画像処理部２４は、画像データの位置合わせを行い、位置合わせした複数枚の画像を合成して、広角な合成画像を生成する広角画像合成を行う。本実施例における広角画像合成の詳細は後述する。
【００１７】
メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。
メモリ制御部１５は、メモリ３２へのデータの書き込み、及び、メモリ３２からのデータの読み込みを制御する。
Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８に表示される。
表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。また、表示部２８を電子ビューファインダとして機能させ、表示部２８にスルー画像表示を行うことができる。表示部２８を電子ビューファインダとして機能させるときは、Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送する。
【００１８】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでのプログラムは、本実施形態にて後述する各種フローチャートを実行するためのプログラムである。
システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
システムメモリ５２は、ＲＡＭであり、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。
システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００１９】
モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６３等の操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、広角画像合成モード、カスタムモード等がある。モード切替スイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【００２０】
第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、画像処理部２４は、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作を開始する。
第２シャッタースイッチ６３は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２１】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作すること等により、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。
機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２２】
コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際等に使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したか等を判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作等を検出するものであってもよい（いわゆる、タッチホイール）。
【００２３】
電源制御部３１は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部３１は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。
記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。
記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
検出部８０は、ジャイロセンサや加速度センサ等から構成される。システム制御部５０は、検出部８０の検出結果からデジタルカメラ１００の位置及び角度を算出する。例えば、検出部８０の検出結果が角速度もしくは加速度の場合、システム制御部５０は、それぞれ積分することで、デジタルカメラ１００の位置及び角度を算出する。
【００２４】
次に、図３を参照して、デジタルカメラ１００の位置及び角度について説明する。図３は、デジタルカメラ１００の位置及び角度の座標系を説明する概念図である。デジタルカメラ１００の位置及び角度は、図３に示すように、Ｘ軸、Ｙ軸及びＺ軸からなる直交座標系を使って表される。
デジタルカメラ１００の位置は、Ｘ軸、Ｙ軸及びＺ軸の座標値を使って（ｘ、ｙ、ｚ）と表される。ここで、基準となるデジタルカメラ１００の位置を（０、０、０）とする。また、デジタルカメラ１００の角度は、Ｘ軸方向の軸、Ｙ軸方向の軸及びＺ軸方向の軸を回転軸として回転した角度を使って、（α、β、γ）と表される。ここで、基準となるデジタルカメラ１００の角度を（０°、０°、０°）とする。
デジタルカメラ１００の基準となる位置及び角度は、例えば、デジタルカメラ１００が最初に撮影した時のデジタルカメラ１００の位置及び角度とする。システム制御部５０は、最初の撮影に同期した検出部８０の検出結果を、基準値、すなわち、角度（０°、０°、０°）と位置（０、０、０）とする。基準値を算出した後は、システム制御部５０は、基準値からの相対値としてデジタルカメラ１００の位置及び角度を算出する。
【００２５】
次に、図４を参照して、デジタルカメラ１００の広角画像合成モードの概要を説明する。図４は広角画像合成モードを説明するための概念図であって、図４（ａ）はユーザがデジタルカメラを移動させる方向と素材画像の画角Ｇ１との関係を示す概念図であり、図４（ｂ）は広角合成画像の画角Ｇ２と素材画像の画角Ｇ１との関係を示す概念図である。
図４（ａ）及び（ｂ）に示す画角Ｇ１は、広角画像合成モードで使用する素材画像の画角である。図４（ｂ）に示す画角Ｇ２は、広角画像合成モードで合成する広角合成画像の画角である。本実施形態では、投影方法として平面投影を使って合成する場合について説明する。
【００２６】
図４（ａ）に示すように、本実施形態では、デジタルカメラ１００が最初に撮影した画像を位置合わせの基準画像として、ユーザがデジタルカメラ１００の撮影範囲を水平方向に平行に動かしながら連続撮影する。図４（ｂ）で画角Ｇ２の垂直方向の画角が画角Ｇ１の垂直方向の画角と比較して狭くなっているが、連続撮影時の垂直方向のずれを想定しているためである。ユーザがデジタルカメラ１００を水平方向に動かすので、垂直方向に関しては撮影範囲のずれが生じ、被写体のデータが存在しない範囲が出るため、素材画像の全てに被写体のデータが存在する領域を広角合成画像の画角Ｇ２とする。
【００２７】
次に、図５を参照して、デジタルカメラ１００の広角画像合成モードでの処理を説明する。図５は、デジタルカメラ１００の広角画像合成モードでの処理を示すフローチャートである。デジタルカメラ１００は、モード切替スイッチ６０で、広角画像合成モードが選択された場合に図５の処理を実行する。
ステップＳ１００において、システム制御部５０は、操作部７０の設定ボタンが押されたか否かの判定を行う。システム制御部５０は、設定ボタンが押されたと判定したときステップＳ１０１に処理を進め、設定ボタンが押されていないと判定したときステップＳ１０２に処理を進める。
【００２８】
ステップＳ１０１において、システム制御部５０は、ユーザの指定に応じて、広角合成画像の投影方法、広角合成画像の画角、撮影領域の区分数、素材画像の撮影順番、基準画像等の設定を変更して、処理をステップＳ１０２に進める。また、システム制御部５０は、ユーザの指定に応じて、広角合成画像とする領域を設定してもよい。なお、投影方法や広角合成画像の画角等の設定によっては、ステップＳ１０１で設定の変更が不要になるものもある。
本実施形態では、ユーザが投影方法として平面投影を設定し、連続撮影の最初に撮影される画像を基準画像とするように設定したものとする。また、撮影領域の区分数は設定せず、ユーザがデジタルカメラ１００を平行移動させて連続撮影した範囲を広角合成画像の画角とするように設定したものとする。
デジタルカメラ１００が起動した後、初めて広角画像合成モードでの処理を行う場合に、設定ボタンが押されずにステップＳ１０２に処理が進むときは、予め定義されている初期設定値が使用される。
【００２９】
なお、区分数を設定する場合、システム制御部５０は、図６（ａ）に示す区分数設定画面３００を表示部２８に表示する。区分数設定画面３００には、区分数となる複数の数値が表示される。ユーザがいずれかの数値を選択することで、システム制御部５０は、選択された数値を区分数として設定する。また、システム制御部５０は、図６（ｂ）に示す基準画面等設定画面３１０を表示部２８に表示する。基準画面等設定画面３１０には、広角合成画像の画角と撮影領域の区分数の設定に応じて、基準画像及び撮影順番の組み合わせが複数表示される。ユーザがいずれかの組み合わせを選択することで、システム制御部５０は、基準画像及び撮影順番を設定する。
【００３０】
ステップＳ１０２において、システム制御部５０は、表示部２８に、図７（ａ）に示す説明画面４００を表示する。説明画面４００は、投影方法、及び、撮影するときデジタルカメラ１００の動かし方の説明を表示する画面である。本実施形態では、上記の通り、平面投影が設定されているため、説明画面４００には、投影方法が平面投影である旨が表示される。また、投影方法が平面投影のときは、デジタルカメラ１００を平行移動させて撮影した画像が素材画像として望ましい。そこで、説明画面４００には、撮影時にユーザはデジタルカメラ１００を平行移動させる必要がある旨が表示される。
【００３１】
ステップＳ１０３において、システム制御部５０は、第１シャッタースイッチ６２が押されたか否かを判定する。システム制御部５０は、第１シャッタースイッチ６２が押されたと判定したとき、処理をステップＳ１０４に進め、第１シャッタースイッチ６２が押されなかったと判定したとき、処理をステップＳ１００に戻す。
ステップＳ１０４において、システム制御部５０は、画像処理部２４を制御して、ＡＥ処理とＡＦ処理を行う。
ステップＳ１０５において、システム制御部５０は、ステップＳ１０３のＡＥ処理結果に基づき撮影感度等の撮影条件を決定する。
ステップＳ１０６において、システム制御部５０は、第２シャッタースイッチ６３が押されたか否かを判定する。システム制御部５０は、第２シャッタースイッチ６３が押されたと判定したとき、処理をステップＳ１０８に進め、第２シャッタースイッチ６３が押されなかったと判定したとき、処理をステップＳ１０７に進める。
ステップＳ１０７において、システム制御部５０は、第１シャッタースイッチ６２が押されたままか否か（いわゆる半押しのままか否か）を判定する。システム制御部５０は、第１シャッタースイッチ６２が離されたと判定したとき、処理をステップＳ１００に戻し、第１シャッタースイッチ６２が押されたままと判定したとき、処理をステップＳ１０６に戻す。
【００３２】
ステップＳ１０８において、システム制御部５０は、ステップＳ１０５で決定した撮影条件で撮影する。ステップＳ１０８で撮影された画像は、位置合わせの基準画像とされる。システム制御部５０は、ステップＳ１０８で撮影された画像を素材画像としてメモリ３２に保存する。
ステップＳ１０９において、システム制御部５０は、第２シャッタースイッチ６３が押されたタイミングと同期して検出部８０で検出した結果から、デジタルカメラ１００の位置及び角度を検出する。システム制御部５０は、このデジタルカメラ１００の位置及び角度を、デジタルカメラ１００の基準となる位置及び角度とする。
ステップＳ１１０において、システム制御部５０は、広角合成画像の投影方法や焦点距離等に応じて、デジタルカメラ１００の目標となる位置及び角度である目標位置及び目標角度、重み係数、並びに、閾値を設定する。目標位置は、（Ｘtar、Ｙtar、Ｚtar）と表され、それぞれ、Ｘ軸、Ｙ軸及びＺ軸の座標値である。目標角度は、（αtar、βtar、γtar）と表され、それぞれ、Ｘ軸方向の軸、Ｙ軸方向の軸及びＺ軸方向の軸を回転軸として回転した角度である。重み係数は、６つの数値からなり、それぞれの数値を（ωX、ωY、ωZ、ωα、ωβ、ωγ）と表す。目標位置及び目標角度は、演算により算出してもよいし、予め不揮発性メモリ５６に記憶させたルックアップテーブルに格納された値を使ってもよい。重み係数及び閾値は、予め不揮発性メモリ５６に記憶させたルックアップテーブルに格納された値を使うものとする。
本実施形態では、投影方法が平面投影であるため、デジタルカメラ１００を平行移動させて撮影した画像が、素材画像として望ましい。したがって、目標位置及び目標角度は、基準となる位置及び角度からデジタルカメラ１００を平行させたときの値になるように設定する。例えば、図３に示すＸ軸方向にデジタルカメラ１００を平行させるように目標位置及び目標角度を定める場合、目標位置及び目標角度を、Ｙtar＝０、Ｚtar＝０、αtar＝０、βtar＝０、γtar＝０と設定し、後述する評価関数で使用する。
【００３３】
ステップＳ１１１において、システム制御部５０は、ユーザにデジタルカメラ１００の撮影範囲を動かしてもらうことを促すために、図８（ａ）に示すように、表示部２８にガイド情報５００を表示する。ガイド情報５００は、次に説明するステップＳ１１２で撮影する画像を素材画像とするためのデジタルカメラ１００の位置及び角度の案内となるものである。システム制御部５０は、目標位置とデジタルカメラ１００の位置との差分、及び、目標角度とデジタルカメラ１００の角度の差分から、デジタルカメラ１００を移動させる方向を算出する。ガイド情報５００は、この算出結果を表す矢印等の図形である。図８（ａ）に示す例では、矢印の向きにデジタルカメラ１００を平行移動させるように促すようなガイド情報５００が表示される。ステップＳ１１１の処理は、表示手段による処理の一例である。なお、ガイド情報５００は、矢印以外の表示、例えば、矢印以外の図形や文章であってもよく、音声での案内であってもよい。
【００３４】
ステップＳ１１２において、システム制御部５０は、ステップＳ１０５で決定した撮影条件で撮影する。このとき、撮像部２２による撮像が行われる。
ステップＳ１１３において、システム制御部５０は、ステップＳ１１２での撮影タイミングと同期して検出部８０が検出した結果から、撮像部２２による撮像時のデジタルカメラ１００の位置及び角度を検出する。システム制御部５０は、検出したデジタルカメラ１００の位置を（Ｘcor、Ｙcor、Ｚcor）とし、角度を（αcor、βcor、γcor）とする。
ステップＳ１１４において、システム制御部５０は、次の式１に示す評価関数を使って、ステップＳ１１２で撮影した画像が素材画像として適しているか否かを判定するための評価値ＶＡＬを算出する。
ＶＡＬ＝ωX(Ｘtar−Ｘcor)＋ωY(Ｙtar−Ｙcor)＋ωZ(Ｚtar−Ｚcor)＋ωα(αtar−αcor)＋ωβ(βtar−βcor)＋ωγ(γtar−γcor)  ・・・  （式１）
【００３５】
ステップＳ１１５において、システム制御部５０は、ステップＳ１１２で撮影した画像が素材画像として適しているか否かを、評価値ＶＡＬと閾値とを比較して判定する。この閾値は、ステップＳ１１０で設定された値である。
システム制御部５０は、評価値ＶＡＬが閾値よりも大きい又は等しい場合、ステップＳ１１２で撮影した画像は素材画像として適していないと判断し、処理をステップＳ１１７に進める。システム制御部５０は、評価値ＶＡＬが閾値よりも小さいと判定された場合、ステップＳ１１２で撮影した画像は素材画像として適していると判断し、ステップＳ１１２で撮影した画像を素材画像として扱う決定をして、処理をステップＳ１１６に進める。なお、ステップＳ１１５の処理は、決定手段による処理の一例である。
【００３６】
ステップＳ１１６において、システム制御部５０は、ステップＳ１１２で撮影した画像を素材画像としてメモリ３２に保存する。なお、システム制御部５０は、ステップＳ１１３で検出したデジタルカメラ１００の位置及び角度の情報を、素材画像に関連付けてメモリ３２に保存してもよい。
ステップＳ１１７において、システム制御部５０は、デジタルカメラ１００の位置及び角度の情報を用いて、撮影が継続しているか否かを判定する。例えば、システム制御部５０は、前回の撮影時（１フレーム前）のデジタルカメラ１００の位置及び角度の情報と、今回の撮影時のデジタルカメラ１００の位置及び角度の情報とを比較する。そして、システム制御部５０は、ガイド情報に表示している方向と著しく異なる方向へデジタルカメラ１００が移動したと判断したときに、撮影が継続していないと判定する。システム制御部５０は、撮影が継続していると判定したとき処理をステップＳ１１０に戻し、撮影が継続していないと判定したとき処理をステップＳ１１８に進める。なお、ステップＳ１１７の処理は、制御手段による処理の一例である。
【００３７】
ステップＳ１１８において、システム制御部５０は、メモリ３２に２枚以上の素材画像が保存されているか否かを判定する。システム制御部５０は、メモリ３２に２枚以上の素材画像が保存されているとき、処理をステップＳ１２０に進め、メモリ３２に２枚以上の素材画像が保存されていないとき、処理をステップＳ１１９に進める。
ステップＳ１１９において、システム制御部５０は、合成失敗を通知する。合成失敗の通知は、例えば、表示部２８に、広角画像合成に失敗した旨を表示することで行う。そして、システム制御部５０は処理をステップ１００に戻す。
【００３８】
ステップＳ１２０において、システム制御部５０は、画像処理部２４を制御して、メモリ３２に保存されている素材画像を射影変換により変換（幾何変形）する。素材画像の射影変換は、基準画像を含む平面が投影面となるように行われる。そして、システム制御部５０は、画像処理部２４を制御して、基準画像を位置合わせの基準として、変換後の素材画像の位置合わせを行う。位置合わせは、画像を任意のサイズの小ブロックに分割して、小ブロック毎に輝度のＳＡＤ（Sum of Absolute Difference）が最小となる対応点を算出して、動きベクトルを算出する方法等により行う。
ステップＳ１２１において、システム制御部５０は、画像処理部２４を制御して、ステップＳ１２０で位置合わせした変換後の素材画像を合成し、広角合成画像を生成する。なお、ステップＳ１２０及びＳ１２１の処理は、生成手段による処理の一例である。
ステップＳ１２２において、システム制御部５０は、ステップＳ１２１で生成した広角合成画像を記録媒体２００に記録して、広角画像合成モードを終了する。
【００３９】
次に、図９を参照して、広角合成画像の生成例を示す。図９（ａ）、（ｂ）、（ｃ）に示す画像が、それぞれ、第１素材画像６００、第２素材画像６０１、第３素材画像６０２である。そして、第１〜第３素材画像６００〜６０２を使って広角画像合成をすることで、図９（ｄ）に示す広角合成画像６０３が得られる。
【００４０】
このように、本実施形態では、投影方法が平面投影であり、図５のステップＳ１１５の処理により素材画像として適していると判定された画像が、広角合成画像の素材画像として扱われる。したがって、平面投影に対応する射影変換を行う広角画像合成において、広角合成画像として適切な画像を素材画像とし、広角合成画像の画質を向上させることができる。
また、図８（ａ）に示すように、表示部２８にガイド情報５００を表示する。したがって、ユーザは、ガイド情報５００にしたがってデジタルカメラ１００を移動させることで、広角合成画像として適切な素材画像を容易に撮影できる。
【００４１】
（第２実施形態）
上記の実施形態では、投影方法として平面投影を用いて水平方向に広角となる広角画像合成を行う例を説明した。本実施形態では、撮影した最初の画像を位置合わせの基準画像とし、投影方法として円筒投影を用いて水平方向に広角となる広角画像合成を行う例を説明する。なお、上記の実施形態と同様の点については、説明を省略又は簡略化する。
デジタルカメラ１００の位置及び角度は、図３に示した第１実施形態の場合と同様に、Ｘ軸、Ｙ軸及びＺ軸からなる直交座標系を使って表される。また、図１０に示すように、Ｘ軸、Ｙ軸及びＺ軸の原点はＮＰＰである。
【００４２】
本実施形態では、図５のステップＳ１０１において、ユーザが投影方法として円筒投影を設定し、連続撮影の最初に撮影される画像を基準画像とするように設定したものとする。この設定を円筒投影設定と呼ぶこととする。
円筒投影設定が設定されているとき、図５のステップＳ１０２において、システム制御部５０は、表示部２８に、図７（ｂ）に示す説明画面４０１を表示する。説明画面４０１は、投影方法、及び、撮影するときデジタルカメラ１００の動かし方の説明を表示する画面である。本実施形態では、上記の通り、円筒投影が設定されているため、説明画面４０１には、投影方法が円筒投影である旨が表示される。また、投影方法が円筒投影のときは、デジタルカメラ１００を、ＮＰＰを中心として回転させて撮影した画像が、素材画像として望ましい。そこで、説明画面４０１には、撮影時にユーザは、デジタルカメラ１００を、ＮＰＰを通るＹ軸を回転軸として回転させる必要がある旨が表示される。
【００４３】
円筒投影設定が設定されているとき、デジタルカメラ１００を、ＮＰＰを中心として回転させて撮影した画像が、素材画像として望ましい。そこで、本実施形態では、図５のステップＳ１１０において、ＮＰＰを中心とし、Ｙ軸を回転軸としてデジタルカメラ１００を回転させるように目標位置及び目標角度を定める。例えば、目標位置及び目標角度を、Ｘtar＝０、Ｙtar＝０、Ｚtar＝０、αtar＝０、γtar＝０と設定し、ステップＳ１１４の評価関数（式１）で使用する。
【００４４】
円筒投影設定が設定されているとき、ステップＳ１１１において、システム制御部５０は、ユーザにデジタルカメラ１００の撮影範囲を動かしてもらうことを促すために、図８（ｂ）に示すように、表示部２８にガイド情報５０１を表示する。図８（ｂ）に示す例では、デジタルカメラ１００を、Ｙ軸を回転軸として回転させるように促すようなガイド情報５０１が表示される。
円筒投影設定が設定されているとき、ステップＳ１２０において、システム制御部５０は、画像処理部２４を制御して、メモリ３２に保存されている素材画像を円筒変換により変換（幾何変形）する。そして、システム制御部５０は、画像処理部２４を制御して、変換後の素材画像の位置合わせを行う。
【００４５】
次に、図１１を参照して、広角合成画像の生成例を示す。図１１（ａ）、（ｂ）、（ｃ）に示す画像が、それぞれ、第１素材画像６１０、第２素材画像６１１、第３素材画像６１２である。第１素材画像６１０を円筒変換することで、図１１（ｄ）に示す第１変換素材画像６１３が生成される。同様に、第２素材画像６１１及び第３素材画像６１２を円筒変換することで、それぞれ、図１１（ｅ）に示す第２変換素材画像６１４、及び、図１１（ｆ）に示す第３変換素材画像６１５が生成される。そして、第１〜第３変換素材画像６１３〜６１５を位置合わせした後に合成することで、図１１（ｇ）に示す広角合成画像６１６が得られる。
【００４６】
なお、本実施形態では、デジタルカメラ１００を、ＮＰＰを中心とし、Ｙ軸を回転軸として回転させて撮影した画像を素材画像とする。しかし、Ｙ軸以外の所定の軸、例えば、Ｘ軸を回転軸としてもよい。
【００４７】
このように、本実施形態では、投影方法が円筒投影であり、図５のステップＳ１１５の処理により素材画像として適していると判定された画像が、広角合成画像の素材画像として扱われる。したがって、円筒投影に対応する円筒変換を行う広角画像合成において、広角合成画像として適切な画像を素材画像にでき、広角合成画像の画質を向上させることができる。
また、図８（ｂ）に示すように、表示部２８にガイド情報５０１を表示する。したがって、ユーザは、ガイド情報５０１にしたがってデジタルカメラ１００を移動させることで、広角合成画像として適切な素材画像を容易に撮影できる。
【００４８】
（その他の実施形態）
上記の実施形態では、図５のステップＳ１１５及びＳ１１６に示すように、システム制御部５０は、評価値ＶＡＬが閾値よりも小さい場合、全ての画像を素材画像としてメモリ３２に残す処理を示した。しかし、合成される広角合成画像を領域に区分して、領域毎に合成に最適な画像をメモリ３２に保存する構成としてもよい。
例えば、システム制御部５０は、広角合成画像を所定数の領域（第１領域〜第Ｎ領域）に区分する。そして、システム制御部５０は、ステップＳ１１０において、目標位置、目標角度、重み係数及び閾値を、広角画像合成で使われる投影方法に基づいて、広角合成画像の第ｎ領域に使われる素材画像として適した画像を得ることができる値に設定する。
【００４９】
また、上記の実施形態では、素材画像をメモリ３２に保存する構成とした。しかし、システム制御部５０は、素材画像を記録媒体２００に記録し、広角画像合成を生成した後に記録媒体２００から素材画像を削除してもよい。
また、上記の実施形態では、平面投影と円筒投影に関する処理を示したが、投影方法として球面に投影する投影方法である球面投影等、他の投影方法で投影してもよい。投影方法を球面投影にする場合、例えば、デジタルカメラ１００を、ＮＰＰを中心の点とし、ＮＰＰを中心に回転させながら撮像した画像を素材画像とする。
また、上記の実施形態では、検出部８０は、デジタルカメラ１００の位置及び角度を検出する。しかし、検出部８０は、デジタルカメラ１００の位置及び角度のいずれか一方のみを検出するようにしてもよい。例えば、投影方法として平面投影を用いる場合、検出部８０は、位置のみを検出するようにして、式１において、ωα、ωβ及びωγを０として評価値ＶＡＬを算出する。また、投影方法として円筒投影を用いる場合、検出部８０は、角度のみを検出するようにして、式１において、ωX、ωY及びωZを０として評価値ＶＡＬを算出する。
【００５０】
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５１】
１００  デジタルカメラ、２８  表示部、５０  システム制御部
【図１】
2017055268.tif 000003
【図２】
2017055268.tif 000004
【図３】
2017055268.tif 000005
【図４】
2017055268.tif 000006
【図５】
2017055268.tif 000007
【図６】
2017055268.tif 000008
【図７】
2017055268.tif 000009
【図８】
2017055268.tif 000010
【図９】
2017055268.tif 000011
【図１０】
2017055268.tif 000012
【図１１】
2017055268.tif 000013
【図１２】
2017055268.tif 000014