(57)【要約】【課題】  輝度が大きく異なる画像の重ね合せを行う場合に、被写体の位置合わせを正確に行うこと。【解決手段】  補助光源による発光の有無が異なる２種類の画像からなり、２種類の画像のうち一方の種類の画像の前後に、発光の有無が異なる他方の種類の画像を少なくとも１枚ずつ含む時間的に連続して撮影された複数枚の画像を入力する画像入力部と、２種類の画像のうち一方の種類の複数の画像を互いに比較し、一方の種類の複数の画像間のずれ量を算出する算出部と、算出部により算出されたずれ量に基づいて、２種類の画像のうち他方の種類の画像の相対的なずれ量を推定する推定部とを有する。【選択図】    図１
2013141105.tif 000002
【特許請求の範囲】
【請求項１】
補助光源による発光の有無が異なる２種類の画像からなり、前記２種類の画像のうち一方の種類の画像の前後に、前記発光の有無が異なる他方の種類の画像を少なくとも１枚ずつ含む時間的に連続して撮影された複数枚の画像を入力する画像入力部と、
前記２種類の画像のうち一方の種類の複数の前記画像を互いに比較し、前記一方の種類の複数の前記画像間のずれ量を算出する算出部と、
前記算出部により算出された前記ずれ量に基づいて、前記２種類の画像のうち前記他方の種類の前記画像の相対的なずれ量を推定する推定部と
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像入力部は、前記補助光源を発光させて撮影した少なくとも１枚の発光撮影画像と、前記少なくとも１枚の発光撮影画像の前後に前記補助光源を発光させずに撮影した少なくとも１枚ずつの非発光撮影画像とを含む時間的に連続して撮影された複数枚の画像を入力し、
前記算出部は、複数の前記非発光撮影画像を互いに比較し、複数の前記非発光撮影画像間の前記ずれ量を算出し、
前記推定部は、前記算出部により算出された前記ずれ量に基づいて、前記少なくとも１枚の発光撮影画像の相対的なずれ量を推定する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記算出部による算出結果と、前記推定部による推定結果とに基づいて、前記画像入力部により入力した前記複数枚の画像を合成する合成処理を行う画像合成部をさらに有する
ことを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３の何れか１項に記載の画像処理装置において、
前記推定部は、前記画像入力部により入力した前記複数枚の画像の撮影時刻と、各画像の位置との関係について、内挿処理を行うことにより、前記ずれ量を推定する
ことを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４の何れか１項に記載の画像処理装置において、
前記画像入力部は、前記複数枚の画像が撮影された際の撮像装置の動き情報を、前記複数枚の画像とともに入力し、
前記算出部は、前記動き情報を加味して前記ずれ量を算出し、
前記推定部は、前記動き情報を加味して前記ずれ量を推定する
ことを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５の何れか１項に記載の画像処理装置において、
前記推定部は、前記２種類の画像のうち前記補助光源を発光させて撮影した少なくとも１枚の画像に対して所定のゲイン調整を行い、前記ゲイン調整後の前記補助光源を発光させて撮影した少なくとも１枚の画像と、前記２種類の画像のうち前記補助光源を発光させずに撮影した少なくとも１枚の画像とを比較し、比較結果を加味して前記ずれ量を推定する
ことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記推定部は、前記補助光源を発光させずに撮影した少なくとも１枚の画像における高輝度部分の画像と、前記ゲイン調整後の前記補助光源を発光させて撮影した少なくとも１枚の画像において前記高輝度部分に対応する部分の画像とを比較する
ことを特徴とする画像処理装置。
【請求項８】
時間的に連続して複数枚の画像を撮影する撮像部と、
補助光源を発光する発光部と、
前記複数枚の画像のうち予め設定した時間位置の画像を撮影する時に前記発光部の前記補助光源を発光させ、補助光源による発光の有無が異なる２種類の画像からなり、前記２種類の画像のうち一方の種類の画像の前後に、前記発光の有無が異なる他方の種類の画像を少なくとも１枚ずつ含む時間的に連続して撮影された複数枚の画像を前記撮像部により生成させる制御部と、
前記２種類の画像のうち一方の種類の複数の前記画像を互いに比較し、前記一方の種類の複数の前記画像間のずれ量を算出する算出部と、
前記算出部により算出された前記ずれ量に基づいて、前記２種類の画像のうち前記他方の種類の前記画像の相対的なずれ量を推定する推定部と
を有することを特徴とする電子カメラ。
【請求項９】
請求項８に記載の電子カメラにおいて、
前記制御部は、前記補助光源を発光させて撮影した少なくとも１枚の発光撮影画像と、前記少なくとも１枚の発光撮影画像の前後に前記補助光源を発光させずに撮影した少なくとも１枚ずつの非発光撮影画像とを含む時間的に連続して撮影された複数枚の画像を前記撮像部により生成させ、
前記算出部は、複数の前記非発光撮影画像を互いに比較し、複数の前記非発光撮影画像間の前記ずれ量を算出し、
前記推定部は、前記算出部により算出された前記ずれ量に基づいて、前記少なくとも１枚の発光撮影画像の相対的なずれ量を推定する
ことを特徴とする電子カメラ。
【請求項１０】
請求項８または請求項９に記載の電子カメラにおいて、
前記算出部による算出結果と、前記推定部による推定結果とに基づいて、前記撮像部により生成した前記複数枚の画像を合成する合成処理を行う画像合成部をさらに有する
ことを特徴とする電子カメラ。
【請求項１１】
請求項８から請求項１０の何れか１項に記載の電子カメラにおいて、
前記推定部は、前記撮像部により生成した前記複数枚の画像の撮影時刻と、各画像の位置との関係について、内挿処理を行うことにより、前記ずれ量を推定する
ことを特徴とする電子カメラ。
【請求項１２】
請求項８から請求項１１の何れか１項に記載の電子カメラにおいて、
前記撮像部による撮影時の電子カメラの動きを検出する検出部をさらに備え、
前記算出部は、前記検出部により検出した動き情報を加味して前記ずれ量を算出し、
前記推定部は、前記動き情報を加味して前記ずれ量を推定する
ことを特徴とする電子カメラ。
【請求項１３】
請求項８から請求項１２の何れか１項に記載の電子カメラにおいて、
前記推定部は、前記２種類の画像のうち前記補助光源を発光させて撮影した少なくとも１枚の画像に対して所定のゲイン調整を行い、前記ゲイン調整後の前記補助光源を発光させて撮影した少なくとも１枚の画像と、前記２種類の画像のうち前記補助光源を発光させずに撮影した少なくとも１枚の画像とを比較し、比較結果を加味して前記ずれ量を推定する
ことを特徴とする電子カメラ。
【請求項１４】
請求項１３に記載の電子カメラにおいて、
前記推定部は、前記補助光源を発光させずに撮影した少なくとも１枚の画像における高輝度部分の画像と、前記ゲイン調整後の前記補助光源を発光させて撮影した少なくとも１枚の画像において前記高輝度部分に対応する部分の画像とを比較する
ことを特徴とする電子カメラ。
【請求項１５】
補助光源による発光の有無が異なる２種類の画像からなり、前記２種類の画像のうち一方の種類の画像の前後に、前記発光の有無が異なる他方の種類の画像を少なくとも１枚ずつ含む時間的に連続して撮影された複数枚の画像を入力する画像入力手順と、
前記２種類の画像のうち一方の種類の複数の前記画像を互いに比較し、前記一方の種類の複数の前記画像間のずれ量を算出する算出手順と、
前記算出部により算出された前記ずれ量に基づいて、前記２種類の画像のうち前記他方の種類の前記画像の相対的なずれ量を推定する推定手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関する。
【背景技術】
【０００２】
従来より、明るい部分を適正露光で撮影した画像と、暗い部分を適正露光で撮影した画像とを合成する手法が知られている。この手法は、例えば、電子カメラで撮影可能なダイナミックレンジを越える画像を撮影する場合、明るい部分の白飛びや暗い部分の黒潰れが生じるという問題に対応する場合などに用いられている。例えば、特許文献１の発明では、画像を重ね合わせる処理において、画像を分割して特徴検出を行った後、画像位置を合わせることにより、正確に被写体が重なるように被写体の位置を合わせる技術が検討されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４１３６０４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の発明における合成方法は、輝度が大きく異なる画像の重ね合せを行う際に、被写体の位置合わせを正確に行うことができない場合があった。位置合わせが正確に行われないと、合成処理により生成された画像の画質が低くなるというさらなる問題が発生する。
【０００５】
本発明は、輝度が大きく異なる画像の重ね合せを行う場合に、被写体の位置合わせを正確に行うことを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、補助光源による発光の有無が異なる２種類の画像からなり、前記２種類の画像のうち一方の種類の画像の前後に、前記発光の有無が異なる他方の種類の画像を少なくとも１枚ずつ含む時間的に連続して撮影された複数枚の画像を入力する画像入力部と、前記２種類の画像のうち一方の種類の複数の前記画像を互いに比較し、前記一方の種類の複数の前記画像間のずれ量を算出する算出部と、前記算出部により算出された前記ずれ量に基づいて、前記２種類の画像のうち前記他方の種類の前記画像の相対的なずれ量を推定する推定部とを有する。
【０００７】
なお、前記画像入力部は、前記補助光源を発光させて撮影した少なくとも１枚の発光撮影画像と、前記少なくとも１枚の発光撮影画像の前後に前記補助光源を発光させずに撮影した少なくとも１枚ずつの非発光撮影画像とを含む時間的に連続して撮影された複数枚の画像を入力し、前記算出部は、複数の前記非発光撮影画像を互いに比較し、複数の前記非発光撮影画像間の前記ずれ量を算出し、前記推定部は、前記算出部により算出された前記ずれ量に基づいて、前記少なくとも１枚の発光撮影画像の相対的なずれ量を推定しても良い。
【０００８】
また、前記算出部による算出結果と、前記推定部による推定結果とに基づいて、前記画像入力部により入力した前記複数枚の画像を合成する合成処理を行う画像合成部をさらに有しても良い。
【０００９】
また、前記推定部は、前記画像入力部により入力した前記複数枚の画像の撮影時刻と、各画像の位置との関係について、内挿処理を行うことにより、前記ずれ量を推定しても良い。
【００１０】
また、前記画像入力部は、前記複数枚の画像が撮影された際の撮像装置の動き情報を、前記複数枚の画像とともに入力し、前記算出部は、前記動き情報を加味して前記ずれ量を算出し、前記推定部は、前記動き情報を加味して前記ずれ量を推定しても良い。
【００１１】
また、前記推定部は、前記２種類の画像のうち前記補助光源を発光させて撮影した少なくとも１枚の画像に対して所定のゲイン調整を行い、前記ゲイン調整後の前記補助光源を発光させて撮影した少なくとも１枚の画像と、前記２種類の画像のうち前記補助光源を発光させずに撮影した少なくとも１枚の画像とを比較し、比較結果を加味して前記ずれ量を推定しても良い。
【００１２】
また、前記推定部は、前記補助光源を発光させずに撮影した少なくとも１枚の画像における高輝度部分の画像と、前記ゲイン調整後の前記補助光源を発光させて撮影した少なくとも１枚の画像において前記高輝度部分に対応する部分の画像とを比較しても良い。
【００１３】
また、上述した何れかの画像処理装置を有し、前記画像入力部を、撮像部および発光部で構成する電子カメラも本発明の具体的態様として有効である。
【００１４】
また、上述した何れかの画像処理装置の機能をコンピュータに実行させるための画像処理プログラムも、本発明の具体的態様として有効である。
【発明の効果】
【００１５】
本発明によれば、輝度が大きく異なる画像の重ね合せを行う場合に、被写体の位置合わせを正確に行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態に係る電子カメラ１０１の構成例を示す図である。
【図２】合成処理の概要を示す図である。
【図３】合成処理の概要を示す別の図である。
【図４】制御部１０８および画像処理部１０７の構成例を示す図である。
【図５】「合成撮影モード」での撮影処理を示すフローチャートである。
【図６】「合成撮影モード」での合成処理を示すフローチャートである。
【図７】位置合わせ処理について説明する図である。
【図８】位置の推定処理について説明する図である。
【発明を実施するための形態】
【００１７】
以下、本発明に係る画像処理装置および電子カメラ、並びに画像処理プログラムの実施形態について図面を用いて詳しく説明する。なお、以下の実施形態では、本発明に係る画像処理装置を含み、本発明に係る画像処理プログラムを利用する電子カメラの例について説明する。
【００１８】
［電子カメラ１０１の構成例］
図１は、本実施形態に係る電子カメラ１０１の構成例を示す図である。図１において、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、制御部１０８と、メモリ１０９と、表示部１１０と、操作部１１１と、メモリカードＩＦ（インターフェース）１１２と、補助光源１１３と、ジャイロセンサ１１４とで構成される。
【００１９】
図１において、光学系１０２に入射される被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞り機構などを有し、制御部１０８によって、ズームレンズ位置、フォーカスレンズ位置、絞り値などが制御される。
【００２０】
撮像素子１０４は、例えばＣＭＯＳ型固体撮像素子で構成され、受光面に二次元状に配置された画素の光電変換部により受光量に応じた画像信号を出力する。
【００２１】
Ａ／Ｄ変換部１０５は、撮像素子１０４が出力する画像信号を各画素毎にデジタル値の画像データに変換し、画像バッファ１０６に取り込む。
【００２２】
画像バッファ１０６は、例えば揮発性の高速メモリで構成される。画像バッファ１０６は、Ａ／Ｄ変換部１０５が出力する画像データを一時的に記憶するだけでなく、画像処理部１０７が画像処理を行う時のバッファメモリとしても使用される。或いは撮影時の画像やメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を読み出して表示部１１０に表示する時の表示メモリとしても使用される。
【００２３】
画像処理部１０７は、画像バッファ１０６に取り込まれた画像データに対して、ホワイトバランス処理、色補間処理、ガンマ補正処理、彩度強調処理、輪郭強調処理などの画像処理を行う。また、画像処理部１０７は、画像処理後の画像データに対してＪＰＥＧ規格などに準拠した画像圧縮方法を用いて圧縮処理を行う。さらに本実施形態に係る電子カメラ１０１では、後に説明するように、画像処理部１０７は連写された複数枚の画像を合成する画像合成処理を行う。
【００２４】
制御部１０８は、例えば内部に記憶されたプログラムに従って動作するＣＰＵで構成される。制御部１０８は電子カメラ１０１の動作を制御し、例えば操作部１１１の撮影モード選択ダイヤル１１１ａで電子カメラ１０１の撮影モードを設定したり、レリーズボタン１１１ｂの押下時には光学系１０２のレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉し、撮像素子１０４で被写体画像を撮像する。そして、制御部１０８は、撮像素子１０４から予め設定された解像度で画像信号を読み出し、Ａ／Ｄ変換部１０５でデジタル値に変換された画像データを画像バッファ１０６に取り込む制御を行う。さらに、制御部１０８は、画像バッファ１０６に取り込まれた画像データに対して所定の画像処理を施すよう画像処理部１０７に指令し、画像処理後の画像データ（例えばＪＰＥＧデータ）に所定のファイル名やヘッダ情報を付加してメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存する。或いは、画像バッファ１０６に取り込まれた画像データを表示部１１０に撮影画像として表示する。特に、本実施形態に係る電子カメラ１０１では、撮影モード選択ダイヤル１１１ａで「合成撮影モード」が選択されている場合に、制御部１０８は、撮像素子１０４で予め設定された複数枚の画像を連写して画像バッファ１０６に取り込む。ここで、制御部１０８は、複数枚の画像を連写する時に予め設定された位置の画像だけ補助光源１１３を発光させて撮影する。そして、制御部１０８は、画像処理部１０７に指令して、取り込まれた複数枚の画像を合成する。なお、画像処理部１０７の画像合成処理については後で詳しく説明する。
【００２５】
メモリ１０９は、例えばフラッシュメモリなどの不揮発性の半導体メモリで構成される。電子カメラ１０１の撮影モードや露出情報、フォーカス情報などのパラメータが記憶される。制御部１０８は、これらのパラメータを参照して電子カメラ１０１の動作を制御する。特に本実施形態に係る電子カメラ１０１では、後に説明するように、「合成撮影モード」に関するパラメータがメモリ１０９に記憶される。なお、これらのパラメータは、操作部１１１を介して行われるユーザ操作に応じて適宜更新される。
【００２６】
表示部１１０は、液晶モニタなどで構成される。そして、制御部１０８によって、撮影画像や電子カメラ１０１の操作に必要な設定メニューなどが表示される。特に本実施形態に係る電子カメラ１０１では、操作部１１１の設定メニューボタン１１１ｃが押下された時に表示部１１０にメニュー画面を表示し、使用者は十字キー１１１ｄで「合成撮影モード」のパラメータ設定項目を選択して設定内容を変更することができる。
【００２７】
操作部１１１は、撮影モード選択ダイヤル１１１ａ、レリーズボタン１１１ｂ、設定メニューボタン１１１ｃ、十字キー１１１ｄなどで構成される。ユーザは、これらの操作ボタンを操作して電子カメラ１０１を使用する。例えば撮影モード選択ダイヤル１１１ａでは、「オート撮影モード」、「高感度撮影モード」、「合成撮影モード」などを行う。なお、これらの操作部１１１の操作情報は制御部１０８に出力され、制御部１０８は操作部１１１から入力する操作情報に応じて電子カメラ１０１の動作を制御する。
【００２８】
メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースである。そして、制御部１０８はメモリカードＩＦ１１２を介してメモリカード１１２ａに画像データを読み書きする。特に本実施形態に係る電子カメラ１０１では、「合成撮影モード」で合成された画像を保存する。なお、「合成撮影モード」で合成する前の複数枚の画像をメモリカード１１２ａに保存するように、「合成撮影モード」の設定メニュー画面で設定できるようにしてもよい。この場合は、「合成撮影モード」でレリーズボタン１１１ｂが押下された場合に、連写された複数枚の画像を合成せずにメモリカード１１２ａに保存する。或いは、合成処理を行った画像と連写された複数枚の画像の両方をメモリカード１１２ａに保存するようにしてもよい。さらに、連写された複数枚の画像をまとめて管理できるように、例えば連写枚数が３枚の場合は、「ｇｏｕｓｅｉ−１．ｊｐｇ」、「ｇｏｕｓｅｉ−２．ｊｐｇ」、「ｇｏｕｓｅｉ−３．ｊｐｇ」として、同一名称で関連付けて末尾に撮影順序を示す番号を付加してメモリカード１１２ａに保存する。或いは、「合成撮影モード」で連写撮影する毎にフォルダを作成し、連写された複数枚の画像を１つのフォルダにまとめて保存するようにしてもよい。または、画像ファイルのヘッダ情報として、複数枚の画像を関連付ける独自の情報を付加してもよい。さらに、この場合、補助光源１１３を発光して撮影された画像であるか否かの情報も付加するようにしてもよい。これにより、後から合成処理を行う際に、この情報を利用して同様の処理を行うことができる。また、ジャイロセンサ１１４による出力に基づく情報も付加するようにしてもよい。これにより、後から合成処理を行う際に、この情報を利用して同様の処理を行うことができる。
【００２９】
補助光源１１３は、一般的なカメラに搭載されているフラッシュに相当し、撮影時に被写体に対して閃光を発する発光素子で構成される。そして、制御部１０８が指令するタイミングで閃光を発する。
【００３０】
ジャイロセンサ１１４は、電子カメラ１０１の姿勢を検出するセンサであり、電子カメラ１０１の動きを角度や角速度の指標で検出するものである。ジャイロセンサ１１４の構成は公知技術と同様であるため説明を省略する。なお、ジャイロセンサ１１４は、後述する合成処理に用いる情報を取得するためだけに備えられたものでも良いし、手ぶれ補正機能などに利用するために備えられたものを兼用しても良い。
【００３１】
以上が電子カメラ１０１の構成および基本動作である。なお、電子カメラ１０１ではなく、本発明に係る単体の画像処理装置を構成する場合は、図１において、光学系１０２、メカニカルシャッタ１０３、撮像素子１０４、Ａ／Ｄ変換部１０５、補助光源１１３およびジャイロセンサ１１４で構成される撮像に必要なブロックを取り除いた装置に対応し、メモリカード１１２ａから画像バッファ１０６に画像データを読み出す制御部１０８の処理が画像処理装置の画像入力部の処理に対応する。そして、制御部１０８（画像処理装置の制御部に相当）は、撮影済みの画像データをメモリカード１１２ａから画像バッファ１０６に読み出し、画像処理部１０７で画像処理を行って表示部１１０に表示する。或いは、画像処理後の画像データを再びメモリカード１１２ａに保存する。ここで、画像処理装置の場合は、操作部１１１は、レリーズボタン１１１ｂの代わりにメモリカード１１２ａから撮影済みの画像を画像バッファ１０６に読み出すための再生ボタンを設け、表示部１１０に表示された撮影済みの画像の中から画像処理を行う画像を十字キー１１１ｄで選択する。また、撮影モード選択ダイヤル１１１ａの代わりに画像処理内容を選択するための画像処理選択ダイヤルを設け、十字キー１１１ｄで選択された画像に対して、画像処理選択ダイヤルで選択された画像処理を行う。例えば、画像処理選択ダイヤルで「合成処理モード」を選択すると、十字キー１１１ｄで選択された画像に対応する連写撮影された複数枚の画像データをメモリカード１１２ａから画像バッファ１０６に読み出す。そして、画像バッファ１０６に読み出された連写された複数枚の画像データを画像処理部１０７で合成する処理は、電子カメラ１０１の場合と同じである。このように、電子カメラ１０１の「合成撮影モード」で撮影された複数枚の画像が記憶されたメモリカード１１２ａから画像データを読み出して合成処理を行う専用の画像処理装置としても実現可能である。
【００３２】
なお、画像処理装置をコンピュータで実現しても構わない。この場合、制御部１０８はコンピュータのＣＰＵに相当し、コンピュータのメモリカードＩＦに接続されたメモリカード１１２ａから画像データを読み込んで表示部１１０の代わりにモニタに表示する。なお、画像合成プログラムがコンピュータにインストールされているものとする。
【００３３】
［合成撮影モード］
次に、本実施形態に係る電子カメラ１０１の「合成撮影モード」について説明する。一般に、電子カメラで撮影可能なダイナミックレンジを越える被写体（夜景など）を撮影する場合、明るい部分の白飛びや暗い部分の黒潰れが生じる。そこで、明るい部分を適正露光で撮影した画像と、暗い部分を適正露光で撮影した画像とを合成して、明るい部分も暗い部分もきれいに撮影された画像を作成することが行われている。
【００３４】
例えば図２において、被写体１５１の例に示すように、夜景を背景として人物を撮影する場合（撮影構図１５２）、フラッシュ有りで撮影した画像１５３とフラッシュ無しで撮影した画像１５４とを合成して、人物と背景の両方を良好な露出（適正または適正に近い露出）になるように合成した画像１５５を得ることができる。
【００３５】
画像１５３と画像１５４とを重ね合わせる合成処理では、重ね合わせに先だって位置合わせが行われる。画像１５３と画像１５４とでは主要被写体の明るさが大きく異なるため、色の比較や輪郭の比較などによる主要被写体の位置検出や同じ被写体であるか否かの判別を正確に行うことができず、重ね合わせる２つの画像の主要被写体の位置合わせが難しくなる。
【００３６】
特に、図２に示したように夜景を背景として人物を撮影する場合、フラッシュ有りで撮影した画像１５３には、人物が明るく写っているが背景の夜景は暗く写っている。一方、フラッシュ無しで撮影した画像１５４には、背景の夜景が明るく写っているが人物は暗く写っている。したがって、これらの画像の位置合わせを行う際には、比較に好適な特徴点が十分に存在せず、十分な位置合わせの精度が得られない可能性がある。位置合わせの精度が低い場合、これらの画像の信号を加算または平均して合成する処理（単純合成と称する）を行った場合、主要被写体の位置がブレて合成され、合成処理により生成される画像の画質が低下する可能性がある。
【００３７】
そこで、本実施形態に係る電子カメラ１０１では、位置合わせの方法を工夫することにより、連写された複数枚の画像の中に輝度が大きく異なる画像がある場合でも、主要被写体の位置ずれが少なくなるように合成することができる。
【００３８】
［画像合成方法］
次に、本実施形態に係る電子カメラ１０１における画像合成方法について説明する。図３は、連写された複数枚の画像例として、連写枚数が５枚の場合の撮影画像例を示してある。図３において、撮影順に、画像１６１は１枚目（最初）に撮影される画像、画像１６２は２枚目に撮影される画像、画像１６３は３枚目に撮影される画像、画像１６４は４枚目に撮影される画像、画像１６５は５枚目（最後）に撮影される画像である。また、画像１６１、画像１６２、画像１６４および画像１６５の４枚はフラッシュ無しで撮影した画像、画像１６３はフラッシュ有りで撮影した画像である。ここで、フラッシュ無しの撮影では、合成処理により生成される画像において、背景である被写体の明るさが適正露出になるように絞り値やシャッタ速度が制御される。
【００３９】
なお、図３の例は一例であり、フラッシュ有りで撮影した画像の前後に、少なくとも１枚ずつのフラッシュ無しで撮影した画像が含まれれば、それぞれの画像の枚数および撮影順はどのような組み合わせであっても良い。
【００４０】
図３の例に示すように、フラッシュ無しで撮影した４枚の画像（画像１６１、画像１６２、画像１６４および画像１６５）と、フラッシュ有りで撮影した画像（画像１６３）を比較すると、写っている被写体が大きく異なる。したがって、これらの画像の画像情報に基づいて位置合わせを行うのは困難である。一方、フラッシュ無しで撮影した４枚の画像（画像１６１、画像１６２、画像１６４および画像１６５）同士を比較すると、写っている被写体が略同様である。したがって、これらの画像の画像情報に基づいて位置合わせを行うのは比較的容易である。
【００４１】
そこで、本実施形態に係る電子カメラ１０１では、図３の例のように、連写された複数枚の画像を合成する時の位置合わせの方法を工夫している。先ず、フラッシュ無しで撮影した４枚の画像（画像１６１、画像１６２、画像１６４および画像１６５）同士を比較して位置合わせを行う。次に、フラッシュ無しで撮影した４枚の画像の位置合わせ結果に基づいて、フラッシュ有りで撮影した画像の相対的な位置を推定する。
【００４２】
［画像処理部１０７の構成例］
次に、画像処理部１０７の構成例について図４を用いて説明する。なお、図４において、図１と同符号のものは同じものを示す。図４において、画像処理部１０７は、合成部２０１を有する。さらに、合成部２０１は、位置合わせ処理部２５１と、位置推定部２５２と、合成処理部２５３とで構成される。また、制御部１０８は、操作部１１１で「合成撮影モード」が選択された場合に、合成画像を生成する処理を実行する合成画像撮影制御部３０１を有する。
【００４３】
先ず撮影者は、操作部１１１の撮影モード選択ダイヤル１１１ａで「合成撮影モード」を選択する。そして、撮影者がレリーズボタン１１１ｂを押下すると、制御部１０８の合成画像撮影制御部３０１は、メモリ１０９に予め記憶された「合成撮影モード」のパラメータを参照して撮影を開始する。ここで、メモリ１０９に記憶された「合成撮影モード」のパラメータは、例えば、連写枚数：５枚、フラッシュ撮影位置：３枚目とする。
【００４４】
そして、レリーズボタン１１１ｂの押下により、合成画像撮影制御部３０１は、撮像部１０４に指令して連写を開始する。ここでは、時間的に連続する２枚の画像を画像バッファ１０６に取り込んだ後、補助光源１１３を発光させて３枚目の画像を撮影して画像バッファ１０６に取り込む。さらに、補助光源１１３を発光させずに、時間的に連続する２枚の画像を画像バッファ１０６に取り込む。なお、この段階で、画像バッファ１０６に取り込まれた５枚の撮影画像をメモリカード１１２ａに保存するようにしてもよい。
【００４５】
次に、合成画像撮影制御部３０１は、画像処理部１０７に指令して、画像バッファ１０６に取り込まれた５枚の撮影画像を合成する処理を画像処理部１０７に指令する。画像処理部１０７の合成部２０２における位置合わせ処理部２５１は、図３で説明したように、フラッシュ無しで撮影した４枚の画像同士を比較することにより位置合わせを行う。
【００４６】
位置推定部２５２は、位置合わせ処理部２５１で行われた位置合わせの結果に基づいて、フラッシュ有りで撮影した画像の相対的な位置を推定する。
【００４７】
合成処理部２５３は、位置合わせ処理部２５１で行われた位置合わせの結果と、位置推定部２５２で行われたフラッシュ有りで撮影した画像の相対的な位置の推定結果とに基づいて、画像バッファ１０６に取り込まれた５枚の撮影画像を合成する合成処理を行う。
【００４８】
次に、「合成撮影モード」で画像を撮影する時の処理および撮影された画像を合成する時の詳細な処理についてそれぞれ説明する。
【００４９】
図５は、「合成撮影モード」で画像を撮影する時の処理を示したフローチャートである。なお、図５の処理は、制御部１０８の合成画像撮影制御部３０１が行う。
【００５０】
（ステップＳ１０１）撮影者は、撮影を開始する前に、操作部１１１の撮影モード選択ダイヤル１１１ａで「合成撮影モード」を選択する。
【００５１】
（ステップＳ１０２）合成画像撮影制御部３０１は、撮影者が操作部１１１のレリーズボタン１１１ｂを押下したか否かを判別し、レリーズボタン１１１ｂが押下されると次のステップに進む。なお、この時点で、合成画像撮影制御部３０１は、連写中に次に撮影する画像が何枚目であるかを示すカウンタのカウント値を１（１枚目）に設定する。また、カウンタは、制御部１０８で実行される画像処理プログラムのソフト的な変数である。
【００５２】
（ステップＳ１０３）合成画像撮影制御部３０１は、メモリ１０９に記憶されている「合成撮影モード」のパラメータを参照して、カウンタのカウント値がフラッシュ撮影する画像位置（ここでの例では３枚目）であるか否かを判別する。そして、フラッシュ撮影する画像位置である場合はステップＳ１０４に進み、フラッシュ撮影する画像位置ではない場合はステップＳ１０５に進む。
【００５３】
（ステップＳ１０４）合成画像撮影制御部３０１は、光学系１０２の絞り値およびメカニカルシャッタ１０３のシャッタ速度を制御して補助光源１１３を発光させ、撮像素子１０４で撮像した画像をＡ／Ｄ変換部１０５を介して画像バッファ１０６に取り込む（フラッシュ有り撮影）。そして、合成画像撮影制御部３０１は、次に撮影する画像が何枚目であるかを示すカウンタのカウント値を１つ増やす。なお、このフラッシュ撮影では、適正露出になるように制御される。
【００５４】
（ステップＳ１０５）合成画像撮影制御部３０１は、光学系１０２の絞り値およびメカニカルシャッタ１０３のシャッタ速度を制御して、撮像素子１０４で撮像した画像をＡ／Ｄ変換部１０５を介して画像バッファ１０６に取り込む（フラッシュ無し撮影）。そして、合成画像撮影制御部３０１は、次に撮影する画像が何枚目であるかを示すカウンタのカウント値を１つ増やす。なお、この撮影では、合成画像撮影制御部３０１は、メモリ１０９に記憶されている「合成撮影モード」のパラメータを参照して撮影する。また、フラッシュ無し撮影での適正露出は、レリーズボタン１１１ｂ押下時の測光値（例えば撮像素子１０４の出力から測光）により求められているものとする。
【００５５】
（ステップＳ１０６）合成画像撮影制御部３０１は、カウンタのカウント値が示す撮影済の画像枚数（カウント値は次の撮影画像の枚数なので撮影済みの枚数より１枚多くなっているため１つ減らした枚数とする）がメモリ１０９に記憶されている「合成撮影モード」の連写枚数に一致するか否かを判別する。そして、連写枚数の撮影が終了している場合は「合成撮影モード」を終了し、連写枚数の撮影が終了していない場合はステップＳ１０３に戻って同様の撮影処理を繰り返す。例えば、「合成撮影モード」のパラメータの連写枚数が５枚で、次に撮影する画像が何枚目であるかを示すカウンタのカウント値が６（枚目）である場合は撮影を終了し、カウント値が５枚目以下である場合はステップＳ１０３に戻る。
【００５６】
このようにして、「合成撮影モード」が撮影モード選択ダイヤル１１１ａで選択されている場合にレリーズボタン１１１ｂが押下されると、メモリ１０９に記憶されている「合成撮影モード」のパラメータに従って、所定の画像位置でフラッシュ撮影が行われ、連写された所定枚数の画像が画像バッファ１０６に取り込まれる。
【００５７】
（ステップＳ１０７）合成画像撮影制御部３０１は、ステップＳ１０６で画像バッファ１０６に取り込まれた連写画像を、メモリカードＩＦ１１２を介してメモリカード１１２ａに保存する。或いは、表示部１１０に合成画像を表示する。このとき、合成画像撮影制御部３０１は、各画像に対応づけて撮影時刻を記録する。なお、撮影時刻は、例えば、フラッシュ無しで撮影した画像については、露光開始から露光終了までの中間の時刻を撮影時刻とし、フラッシュ有りで撮影した画像については、フラッシュの発光を開始した時刻を撮影時刻とする。さらに、合成画像撮影制御部３０１は、各画像に対応づけて、ジャイロセンサ１１４の出力値も記録する。
【００５８】
なお、メモリカード１１２ａをコンピュータや専用の画像処理装置などに接続して「合成撮影モード」で撮影された複数枚の画像の合成処理をコンピュータや画像処理装置で行うことができる。そして、この場合、コンピュータや画像処理装置は、後述する画像合成処理を実行する画像処理プログラムが搭載されている。
【００５９】
次に、「合成撮影モード」で連写撮影された複数枚の画像を合成する処理について、図６のフローチャートを用いて説明する。なお、図６の処理は、制御部１０８の合成画像撮影制御部３０１の指令により、画像処理部１０７が行う。なお、画像処理部１０７は、図４で説明した処理ブロックを有する。
【００６０】
（ステップＳ２０１）位置合わせ処理部２５１は、画像バッファ１０６から「合成撮影モード」で撮影された複数枚の画像を読み出す。なお、コンピュータや画像処理装置の場合は、メモリカード１１２ａから「合成撮影モード」で撮影された複数枚の画像を読み出す。
【００６１】
（ステップＳ２０２）位置合わせ処理部２５１は、ステップＳ２０１で読み出した複数枚の画像のうち、フラッシュ無しで撮影した４枚の画像間の位置合わせ処理を行う。４枚の画像（図３の画像１６１、画像１６２、画像１６４および画像１６５）間の位置合わせ処理は、どのような順番で行っても良い。例えば、画像１６１および画像１６２の位置合わせと、画像１６２および画像１６４の位置合わせと、画像１６４および画像１６５の位置合わせとを順次行っても良いし、画像１６１を基準画像として、画像１６１および画像１６２の位置合わせと、画像１６１および画像１６４の位置合わせと、画像１６１および画像１６５の位置合わせとを順次行っても良い。
【００６２】
位置合わせ処理は、公知技術と同様に、画像情報に基づいて行われる。なお、フラッシュ無しで撮影した４枚の画像（図３の画像１６１、画像１６２、画像１６４および画像１６５）は、何れもフラッシュ無しで撮影された画像なので、主要被写体の露出条件が類似しており、色の比較や輝度の比較などによる主要被写体の位置検出や同じ被写体であるか否かの判別を正確に行うことができる。
【００６３】
また、位置合わせ処理部２５１は、位置合わせ処理にジャイロセンサ１１４の出力値を加味しても良い。例えば、図７に示すように、ジャイロセンサ１１４の出力値に基づいて、画像の移動量を求め、この移動量を打ち消すようにずれ量を求める。なお、電子カメラ１０１がレンズシフト機能やセンサシフト機能を有する場合には、ジャイロセンサ１１４の出力値に、レンズやセンサのシフト量を加味してずれ量を求めればよい。また、ジャイロセンサ１１４の出力値に基づく位置合わせ処理を行ってから、上述した画像情報に基づいた位置合わせ処理を行うことにより、画像情報に基づいた位置合わせ処理を行う範囲を制限することも可能である。すなわち、ジャイロセンサ１１４の出力値に基づく位置合わせ処理により大まかな位置合わせを行い、範囲を限定した上で、画像情報に基づいた詳細な位置合わせ処理を行うことができる。
【００６４】
（ステップＳ２０３）位置推定部２５２は、ステップＳ２０２で行った位置合わせ処理の結果に基づいて、フラッシュ有りで撮影した画像の相対的な位置の推定を行う。
【００６５】
位置推定部２５２は、以下のＡ〜Ｃの３つの方法で、フラッシュ有りで撮影した画像の相対的な位置の推定を行う。
【００６６】
（Ａ）ジャイロセンサ１１４の出力に基づく位置の推定
位置推定部２５２は、フラッシュ無しで撮影した４枚の画像（図３の画像１６１、画像１６２、画像１６４および画像１６５）の少なくとも１枚と、フラッシュ有りで撮影した画像（図３の画像１６３）とについて、ジャイロセンサ１１４の出力に基づいて、ステップＳ２０２で説明した処理と同様に位置合わせ処理を行い、フラッシュ有りで撮影した画像の位置を推定する。このとき、比較の対象とするのは、フラッシュ無しで撮影した４枚の画像のうち、何れの画像であっても良いが、時間的に近い画像１６２や画像１６４を比較の対象とすると好ましい。
【００６７】
（Ｂ）フラッシュ無しで撮影した画像の位置合わせ処理結果に基づく位置の推定
位置推定部２５２は、ステップＳ２０２で説明したフラッシュ無しで撮影した４枚の画像（図３の画像１６１、画像１６２、画像１６４および画像１６５）間の位置合わせ処理の結果に基づいて、フラッシュ有りで撮影した画像の位置を推定する。
【００６８】
図８は、各画像の撮影時刻と、位置の関係を示す一例である。図８の横軸は、各画像の撮影時刻（Ｔ１〜Ｔ５）を示し、縦軸は各画像のＸ方向の位置を示す。なお、図８において、経過時間（ΔＴ１〜ΔＴ４）のうち、ΔＴ２のみ他の経過時間より長いのは、３枚目の撮影がフラッシュ有りの撮影のため、撮影準備に時間を要するためである。
【００６９】
ステップＳ２０２の位置合わせ処理の結果、１枚目の画像の撮影時刻＝Ｔ１、Ｘ方向の位置＝Ｐ１であり、２枚目の画像の撮影時刻＝Ｔ２、Ｘ方向の位置＝Ｐ２であり、４枚目の画像の撮影時刻＝Ｔ４、Ｘ方向の位置＝Ｐ４であり、５枚目の画像の撮影時刻＝Ｔ５、Ｘ方向の位置＝Ｐ４である場合、フラッシュ有りで撮影した画像である３枚目の画像（撮影時刻＝Ｔ３）のＸ方向の位置が未知である。
【００７０】
そこで、位置推定部２５２は、まず、フラッシュ無しで撮影した４枚の画像について、撮影時刻とＸ方向の位置との関係をプロットし、これらの点を通るスプライン曲線Ｌを作成する。そして、スプライン曲線Ｌ上において、撮影時刻Ｔ３に対応するＸ方向の位置を、フラッシュ有りで撮影した画像である３枚目の画像のＸ方向の位置（＝Ｐ３）とする。
【００７１】
なお、フラッシュ無しで撮影した画像が２枚の場合には、スプライン曲線に代えて一時補間を行えばよい。
【００７２】
また、位置推定部２５２は、Ｙ方向についても、Ｘ方向と同様の処理を行い、フラッシュ有りで撮影した画像である３枚目の画像のＹ方向の位置を推定する。
【００７３】
（Ｃ）画像情報に基づく位置の推定
位置推定部２５２は、フラッシュ無しで撮影した４枚の画像（図３の画像１６１、画像１６２、画像１６４および画像１６５）の少なくとも１枚と、フラッシュ有りで撮影した画像（図３の画像１６３）とについて、画像情報に基づいて公知技術と同様に位置合わせ処理を行い、フラッシュ有りで撮影した画像の位置を推定する。このとき、比較の対象とするのは、フラッシュ無しで撮影した４枚の画像のうち、何れの画像であっても良いが、時間的に近い画像１６２や画像１６４を比較の対象とすると好ましい。
【００７４】
なお、位置推定部２５２は、位置合わせ処理に先立って、フラッシュ有りで撮影した画像に対して所定のゲイン調整を行ってから、位置合わせ処理を行っても良い。上述した所定のゲイン調整とは、フラッシュ有りで撮影した画像の背景部分の輝度レベルを、フラッシュ無しで撮影した画像の背景部分の輝度レベルに合わせるための調整である。このようなゲイン調整を行うことにより、フラッシュ有りで撮影した画像の背景部分に写っている点光源などの高輝度部分を、フラッシュ無しで撮影した画像の相当部分と比較可能な程度に強調することができる。なお、ゲイン調整は、フラッシュ有りで撮影した画像のコピーに対して行っても良いし、フラッシュ有りで撮影した画像そのものに行っても良い。フラッシュ有りで撮影した画像そのものにゲイン調整を行った場合には、位置の推定後に逆方向のゲイン調整を行えば良い。
【００７５】
位置推定部２５２は、上述した３つの方法の何れか１つを行ってフラッシュ有りで撮影した画像の位置を推定しても良いし、２つ以上の方法を組み合わせても良い。例えば、（Ａ）で説明した推定の結果に基づいて、（Ｂ）と（Ｃ）との少なくとも一方の推定処理の処理範囲を限定することにより、処理負荷を軽減するとともに、効率よく推定処理を行うことができる。同様に、（Ｂ）で説明した推定の結果に基づいて、（Ｃ）の推定処理の処理範囲を限定することにより、処理負荷を軽減するとともに、効率よく推定処理を行うことができる。
【００７６】
さらに、上述した各種方法のうち、どのような方法で推定処理を行うかは、操作部１１１を介したユーザ操作に基づいて指定可能としても良い。
【００７７】
（ステップＳ２０４）合成処理部２５３は、ステップＳ２０２で行った位置合わせ処理の結果と、ステップＳ２０３で行った位置の推定の結果とに基づいて、ステップＳ２０１で読み出した複数枚の画像の合成処理を行う。
【００７８】
合成処理は、公知技術と同様に行われる。合成処理部２５３は、例えば、位置合わせや位置の推定の結果に基づいて、合成位置を決定し、各画像の対応する画素の信号を加算または平均する。また、カラー画像の場合は、各色毎に同様の処理を行う。
【００７９】
なお、合成処理によって生成される画像は、手ぶれなどの影響により画角がずれているので合成後の画像に違和感が生じる場合がある。このような場合には、合成後の処理として、画像１６１から画像１６５までの画角の重複する部分を切り取るトリミング処理を行い、トリミング後の画像を最終画像としてメモリカード１１２ａに保存するようにしてもよい。
【００８０】
（ステップＳ２０５）画像処理部１０７は、合成処理部２５３による合成処理によって生成された画像を出力する。なお、合成後の画像は、次の撮影が行われるまで、一旦、画像バッファ１０６に保持される。そして、制御部１０８は、画像バッファ１０６に保持されている合成後の画像を表示部１１０に表示するとともに、合成後の画像の画像データに予め決められたファイル名（例えば通し番号や撮影日時など）を自動的に付加してメモリカードＩＦ１１２を介してメモリカード１１２ａに保存する。
【００８１】
このようにして、本実施形態に係る電子カメラ１０１は、複数の非発光撮影画像を互いに比較し、複数の非発光撮影画像間のずれ量を算出するとともに、算出されたずれ量に基づいて、発光撮影画像の相対的なずれ量を推定する。したがって、輝度が大きく異なる画像の重ね合せを行う場合に、被写体の位置合わせを正確に行うことができる。
【００８２】
また、本実施形態に係る電子カメラ１０１は、複数の非発光撮影画像間のずれ量と、推定した発光撮影画像の相対的なずれ量とに基づいて、複数枚の画像を合成する合成処理を行う。したがって、背景はノイズが少なく、画面全体が適切な明るさの合成画像を得ることができる。
【００８３】
（変形例）
上記実施形態では、連写する枚数が５枚で、３枚目のみフラッシュ有りで撮影を行い、前後の２枚ずつはフラッシュ無しで撮影を行う例を示したが、本発明はこの例に限定されない。例えば、連写する枚数は、フラッシュ有り撮影とフラッシュ無し撮影との両方が含まれ、３枚以上であれば何枚であっても良い。
【００８４】
例えば、フラッシュ無し撮影、フラッシュ有り撮影、フラッシュ無し撮影の順に３枚の連写を行う場合には、前後のフラッシュ無し撮影により生成した画像間の位置合わせ処理の結果に基づいて、真ん中のフラッシュ有り撮影により生成した画像の相対的なずれ量を推定することができる。逆に、フラッシュ有り撮影、フラッシュ無し撮影、フラッシュ有り撮影の順に３枚の連写を行う場合には、前後のフラッシュ有り撮影により生成した画像間の位置合わせ処理の結果に基づいて、真ん中のフラッシュ無し撮影により生成した画像の相対的なずれ量を推定することができる。何れの場合も、写っている被写体が略同様である画像同士の比較により位置合わせ処理を行い、その結果に基づいて、位置が未知の画像の相対的な位置を推定すればよい。
【００８５】
また、フラッシュ有り撮影により生成した画像が２枚以上であっても良い。フラッシュ有り撮影により生成した画像が時間的に連続している場合、まず、これらのフラッシュ有り撮影により生成した画像間の位置合わせ処理を行い、合成処理を行う。そして、合成処理後のフラッシュ有り撮影により生成した画像の相対的な位置を、上記実施形態と同様に推定すればよい。また、フラッシュ有り撮影により生成した画像が離散的に生成される（時間的に連続していない）場合、フラッシュ有り撮影により生成した画像ごとに、その前後のフラッシュ無し撮影により生成した画像に基づいて、上記実施形態と同様の処理を行えばよい。
【００８６】
また、上記実施形態においては、電子カメラ１０１に「合成撮影モード」を備え、この「合成撮影モード」の実行時に一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、「夜景モード」など、本発明の処理が有効な撮影モードがユーザに選択された際に、自動で一連の処理を行っても良い。また、被写体情報など基づいてカメラ側で撮影モードを設定する構成においては、本発明の処理が有効と判断できる場合に自動で一連の処理を行っても良い。また、上記実施形態で説明した一連の処理を、その他の処理と組み合わせて実行しても良い。
【００８７】
また、上記実施形態で説明した電子カメラの構成は一例であり、本発明はこの例に限定されない。例えば、一眼レフタイプのカメラであっても良いし、携帯電話などの情報端末に搭載されたカメラであっても良い。何れの場合も、上述した一連の処理を実行可能なプログラムを予め記憶していれば良い。また、上記実施形態で説明した処理をコンピュータで実現するためのプログラムも本発明の具体的態様として有効である。このプログラムは、媒体に記録されたものであっても良いし、インターネットなどの通信を介してサーバーなどからダウンロード可能なものであっても良い。
【００８８】
以上、本発明に係る画像処理装置および電子カメラ、並びに画像処理プログラムについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【００８９】
１０１…電子カメラ，１０４…撮像素子，１０７…画像処理部，１０８…制御部，１１３…補助光源，１１４…ジャイロセンサ，２０１…合成部，２５１…位置合わせ処理部，２５２…位置推定部，２５３…合成処理部，３０１…合成画像撮影制御部
【図１】
2013141105.tif 000003
【図２】
2013141105.tif 000004
【図３】
2013141105.tif 000005
【図４】
2013141105.tif 000006
【図５】
2013141105.tif 000007
【図６】
2013141105.tif 000008
【図７】
2013141105.tif 000009
【図８】
2013141105.tif 000010