(57)【要約】【課題】結合部の違和感を低減し、画像全体で適正露出を有するパノラマ写真を取得可能な撮像装置を提供する。【解決手段】第１の画像および第２の画像を含む複数の画像からパノラマ画像を生成可能な撮像装置であって、画像信号を処理する信号処理手段と、信号処理手段を制御する制御手段と、第１の露出および第２の露出で撮影した第１の画像、および、第１の露出および第３の露出で撮影した第２の画像を記憶する記憶手段とを有し、制御手段は、第１の露出および前記第３の露出を用いて複数の画像の全体で適正であると判定される第４の露出を算出し、信号処理手段は、第４の露出の第１の画像および第４の露出の第２の画像を結合してパノラマ画像を生成する。【選択図】図３ａ
2014230018.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像および第２の画像を含む複数の画像からパノラマ画像を生成可能な撮像装置であって、
画像信号を処理する信号処理手段と、
前記信号処理手段を制御する制御手段と、
第１の露出および第２の露出で撮影した第１の画像、および、該第１の露出および第３の露出で撮影した第２の画像を記憶する記憶手段と、を有し、
前記制御手段は、前記第１の露出および前記第３の露出を用いて前記複数の画像の全体で適正であると判定される第４の露出を算出し、
前記信号処理手段は、前記第４の露出の前記第１の画像および該第４の露出の前記第２の画像を結合して前記パノラマ画像を生成する、ことを特徴とする撮像装置。
【請求項２】
前記第１の画像は、前記パノラマ画像を生成するために最初に撮影した画像であり、
前記第２の画像は、前記パノラマ画像を生成するために前記第１の画像の後に撮影した少なくとも一つの画像であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の露出は、前記第１の画像として適正である判定された第１の適正露出であり、
前記第２の露出は、前記第１の画像として露出アンダーまたは露出オーバーと判定された露出であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第３の露出は、前記第２の画像として適正であると判定された第２の適正露出であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記第４の露出は、前記第１の露出と前記第３の露出との平均値であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記信号処理手段は、前記第４の露出が前記第１の露出または前記第３の露出と同一である場合、前記記憶手段に記憶された該第１の露出または該第３の露出の前記第２の画像を用いて前記パノラマ画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記信号処理手段は、前記第４の露出が前記第１の露出と前記第３の露出との間の露出である場合、前記記憶手段に記憶された該第１の露出および該第３の露出の前記第２の画像を合成して、該第４の露出の第２の画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記信号処理手段は、前記記憶手段に記憶された前記第１の露出および前記第３の露出の前記第２の画像に対して加算平均合成を行うことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記信号処理手段は、前記記憶手段に記憶された前記第１の露出および前記第３の露出の前記第２の画像に対してハイダイナミックレンジ合成を行うことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記制御手段は、撮影シーン解析処理を行って被写体の見栄えを重視するか否かを判定し、
前記信号処理手段は、
前記被写体の見栄えを重視すると判定された場合、前記記憶手段に記憶された前記第１の露出および前記第３の露出の前記第２の画像に対してハイダイナミックレンジ合成を行い、
前記被写体の見栄えを重視しないと判定された場合、前記記憶手段に記憶された前記第１の露出および前記第３の露出の前記第２の画像に対して加算平均合成を行うことを特徴とする請求項７に記載の撮像装置。
【請求項１１】
前記信号処理手段は、前記第４の露出が前記第１の露出と前記第３の露出との間の露出でない場合、該第１の露出または該第３の露出の前記第２の画像をゲインアップして、該第４の露出の第２の画像を生成することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
レンズ装置と、
請求項１乃至１１のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
【請求項１３】
第１の画像および第２の画像を含む複数の画像からパノラマ画像を生成可能な撮像装置の制御方法であって、
第１の露出および第２の露出で前記第１の画像を撮影して該第１の画像を記憶するステップと、
前記第１の露出および第３の露出で前記第２の画像を撮影して該第２の画像を記憶するステップと、
前記第１の露出および前記第３の露出を用いて前記複数の画像の全体で適正であると判定される第４の露出を算出するステップと、
前記第４の露出の前記第１の画像および該第４の露出の前記第２の画像を結合して前記パノラマ画像を生成するステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１４】
請求項１３に記載の撮像装置の制御方法をコンピュータに実行させるように構成されていることを特徴とするプログラム。
【請求項１５】
請求項１４に記載のプログラムを格納していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ撮影が可能な撮像装置に関する。
【背景技術】
【０００２】
従来から、パノラマ撮影が可能な撮像装置（デジタルカメラ）が知られている。各撮影画像で撮影条件が互いに異なることにより、隣接した撮影画像で明るさや色が異なるパノラマシーンが構築されることを防ぐ（撮影画像の結合部の違和感を低減する）ため、１枚目の撮影条件に合わせて２枚目以降の撮影を行う方法が提案されている。
【０００３】
特許文献１には、パノラマ撮影の際に、１枚目の撮影では自動露出制御および自動ホワイトバランス処理を行い、２枚目以降の撮影では自動露出制御および自動ホワイトバランス制御を行わず、１枚目と同じ制御で撮影および記録を行う撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１１７１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の構成では、１枚目の露出がその後に撮影する画像の適正露出と離れている場合、全体的に明るすぎ、または暗すぎるパノラマ写真になってしまう場合がある。
【０００６】
一方、各画像を適正露出で撮影して各撮影画像に対するゲインアップを行うことにより各撮影画像を調整する方法もある。ただし、ゲインアップを行って得られた画像は、白飛びや黒つぶれが発生し、適正露出が得られない（ダイナミックレンジが損なわれる）場合がある。
【０００７】
そこで本発明は、結合部の違和感を低減し、画像全体で適正露出を有するパノラマ写真を取得可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての撮像装置は、第１の画像および第２の画像を含む複数の画像からパノラマ画像を生成可能な撮像装置であって、画像信号を処理する信号処理手段と、前記信号処理手段を制御する制御手段と、第１の露出および第２の露出で撮影した第１の画像、および、該第１の露出および第３の露出で撮影した第２の画像を記憶する記憶手段とを有し、前記制御手段は、前記第１の露出および前記第３の露出を用いて前記複数の画像の全体で適正であると判定される第４の露出を算出し、前記信号処理手段は、前記第４の露出の前記第１の画像および該第４の露出の前記第２の画像を結合して前記パノラマ画像を生成する。
【０００９】
本発明の他の側面としての撮像システムは、前記撮像装置と、前記撮像装置に着脱可能な前記レンズとを有する。
【００１０】
本発明の他の側面としての撮像装置の制御方法は、第１の画像および第２の画像を含む複数の画像からパノラマ画像を生成可能な撮像装置の制御方法であって、第１の露出および第２の露出で前記第１の画像を撮影して該第１の画像を記憶するステップと、前記第１の露出および第３の露出で前記第２の画像を撮影して該第２の画像を記憶するステップと、前記第１の露出および前記第３の露出を用いて前記複数の画像の全体で適正であると判定される第４の露出を算出するステップと、前記第４の露出の前記第１の画像および該第４の露出の前記第２の画像を結合して前記パノラマ画像を生成するステップとを有する。
【００１１】
本発明の他の側面としてのプログラムは、前記撮像装置の制御方法をコンピュータに実行させるように構成されている。
【００１２】
本発明の他の側面としての記憶媒体は、前記プログラムを格納している。
【００１３】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１４】
本発明によれば、結合部の違和感を低減し、画像全体で適正な露出を有するパノラマ写真を取得可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】各実施例における撮像装置の構成を示すブロック図である。
【図２ａ】各実施例におけるパノラマ撮影処理の概念図である。
【図２ｂ】各実施例におけるパノラマ撮影処理の概念図である。
【図３ａ】各実施例におけるパノラマ撮影処理のプローチャートである。
【図３ｂ】各実施例におけるパノラマ画像作成処理のフローチャートである。
【図３ｃ】実施例３における適正露出の画像合成処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。まず、図１を参照して、本実施形態における撮像装置の構成について説明する。本実施例の撮像装置は、後述のように、第１の画像および第２の画像を含む複数の画像からパノラマ画像を生成可能な撮像装置である。図１は、本実施形態における撮像装置１００（一眼レフデジタルカメラ）の構成を示すブロック図である。
【００１７】
図１において、１０１は撮影レンズ（レンズユニット）である。１０２はＡＦ（オートフォーカス）駆動部である。ＡＦ駆動部１０２は、例えばＤＣモータやステッピングモータを備えて構成されており、マイクロコンピュータ１２３（制御手段）の制御に基づいて撮影レンズ１０１のフォーカスレンズ位置を変化させることによりピントを合わせる。１０３はズーム駆動部である。ズーム駆動部１０３は、例えばＤＣモータやステッピングモータを備えて構成されており、マイクロコンピュータ１２３の制御に基づいて撮影レンズ１０１の変倍レンズ位置を変化させることにより撮影レンズ１０１の焦点距離を変化させる。１０４は絞りである。１０５は絞り駆動部である。絞り駆動部１０５は、絞り１０４を駆動する。絞り１０４の駆動量はマイクロコンピュータ１２３により算出され、絞り駆動部１０５は光学的な絞り値を変化させる。
【００１８】
１０６は、撮影レンズ１０１から入射した光束をファインダ側と撮像素子側とに切替えるための主ミラーである。主ミラー１０６は、通常、ファインダへ光束を導くように（すなわち、撮影レンズ１０１から入射した光束を反射させるように）配置されている。一方、撮影の際には、主ミラー１０６は撮像素子１１２へ光束を導くように上方に跳ね上がり、撮影光路から退避する。また主ミラー１０６は、その中央部が光束の一部が透過可能であるようにハーフミラーとなっている。主ミラー１０６を透過した光束（光束の一部）は、後述のように、焦点検出を行うためのセンサに入射する。
【００１９】
１０７は、主ミラー１０６を透過した光束を反射させて、焦点検出を行うためのセンサ（焦点検出回路１０９内に配置されている）に導くためのサブミラーである。１０８は、ファインダを構成するペンタプリズムである。ファインダは、ペンタプリズム１０８の他に、ピント板およびアイピースレンズ（不図示）などを備えて構成される。１０９は焦点検出回路である。主ミラー１０６の中央部を透過してサブミラー１０７で反射された光束は、焦点検出回路１０９の内部に配置されたセンサ（光電変換を行うためのセンサ）に到達する。フォーカス演算に用いるためのデフォーカス量は、センサの出力を演算することにより求められる。マイクロコンピュータ１２３は、その演算結果を評価してＡＦ駆動部１０２に指示し、撮影レンズ１０１（フォーカスレンズ）を駆動する。
【００２０】
１１０は、フォーカルプレーンシャッタである。１１１はシャッタ駆動回路であり、フォーカルプレーンシャッタ１１０を駆動する。フォーカルプレーンシャッタ１１０の開口時間は、マイクロコンピュータ１２３により制御される。１１２は撮像素子である。撮像素子１１２は、ＣＣＤセンサやＣＭＯＳセンサなどを備えて構成されている。撮像素子１１２は、撮影レンズ１０１により結像された被写体像（光学像）を光電変換して、電気信号（アナログ信号）に変換する。
【００２１】
１１３はクランプ回路である。１１４はＡＧＣ回路である。クランプ回路１１３およびＡＧＣ回路１１４は、撮像素子１１２から出力されたアナログ信号に対してＡ／Ｄ変換を行う前に基本的なアナログ信号処理を行う。クランプ回路１１３のクランプレベルおよびＡＧＣ回路１１４のＡＧＣ基準レベルは、マイクロコンピュータ１２３により変更される。１１５はＡ／Ｄ変換器である。Ａ／Ｄ変換器１１５は、撮像素子１１２のアナログ信号をデジタル信号に変換する。
【００２２】
１１６は画像信号および音声信号を処理する信号処理回路（信号処理手段）であり、ゲートアレイなどのロジックデバイスにより実現される。１１７はＥＶＦ（電子ビューファインダ）駆動回路である。１１８はＥＶＦモニタである。１１９はメモリコントローラである。１２０はメモリである。１２１は、コンピュータなどの外部装置と接続可能な外部インタフェースである。１２２はバッファメモリである。
【００２３】
信号処理回路１１６は、デジタル化された画像データ（Ａ／Ｄ変換器１１５の出力信号）に対して、フィルタ処理、色変換処理、および、ガンマ処理を行うとともに、ＪＰＥＧなどの画像圧縮処理を行い、メモリコントローラ１１９に出力する。また信号処理回路１１６は、マイク１３２または音声ライン入力部１３３からＡ／Ｄ変換器１３４を介して入力された音声データ（音声信号）の圧縮処理を行い、メモリコントローラ１１９に出力する。
【００２４】
信号処理回路１１６は、撮像素子１１２からの画像データ（画像信号）や、逆にメモリコントローラ１１９から入力される画像データを、ＥＶＦ駆動回路１１７を通じてＥＶＦモニタ１１８に出力することも可能である。これらの機能切り替えは、マイクロコンピュータ１２３の指示により行われる。信号処理回路１１６は、必要に応じて、撮像素子１１２からの信号の露出情報やホワイトバランスなどの情報をマイクロコンピュータ１２３に出力する。マイクロコンピュータ１２３は、これらの情報に基づいて、ゲイン調整やホワイトバランス調整を指示する。
【００２５】
連続撮影動作の場合、信号処理回路１１６は、一旦、未処理画像のままバッファメモリ１２２に撮影データを格納し、メモリコントローラ１１９を介して未処理の画像データを読み出し、画像処理や圧縮処理を行う。連像撮影枚数は、バッファメモリ１２２の大きさに依存する。信号処理回路１１６は、マイク１３２または音声ライン入力部１３３からの音声データを、Ｄ／Ａ変換器１３５を介してスピーカー１３６に出力することも可能である。
【００２６】
メモリコントローラ１１９は、信号処理回路１１６から入力された未処理のデジタル画像データや音声データをバッファメモリ１２２に格納し、処理済みのデジタル画像や音声データをメモリ１２０に格納する。またメモリコントローラ１１９は、逆に、バッファメモリ１２２やメモリ１２０から画像データや音声データを信号処理回路１１６に出力する。メモリ１２０は、撮像装置１００から取り外し可能に構成されている場合もある。メモリコントローラ１１９は、コンピュータなどの外部装置と接続可能な外部インタフェース１２１を介して、メモリ１２０に記憶されている画像および音声を出力可能である。
【００２７】
１２３はマイクロコンピュータである。１２４は操作部材である。操作部材１２４は、マイクロコンピュータ１２３に操作部材１２４の状態を伝達する。マイクロコンピュータ１２３は、操作部材１２４の状態変化に応じて、撮像装置１００の各部を制御する。１２５は第１のスイッチ（以下、「ＳＷ１」という。）である。１２６は第２のスイッチ（以下、「ＳＷ２」という。）である。スイッチＳＷ１およびスイッチＳＷ２は、レリーズボタンの操作でオンまたはオフするスイッチであり、それぞれ、操作部材１２４の入力スイッチのうちの１つである。スイッチＳＷ１のみオンの状態はレリーズボタンの半押し状態である。この状態において、マイクロコンピュータ１２３は、オートフォーカス動作や測光動作の制御を行う。スイッチＳＷ１、ＳＷ２がともにオンの状態は、レリーズボタンの全押し状態である。この状態において、撮影が行われ、撮影画像が記録される。またスイッチＳＷ１、ＳＷ２がオンし続けている間、連続撮影動作が行われる。その他に、操作部材１２４には、ＩＳＯ設定ボタン、画像サイズ設定ボタン、画質設定ボタン、情報表示ボタンなど不図示のスイッチが接続されており、操作部材１２４は各スイッチの状態を検出する。
【００２８】
１２７は液晶駆動回路である。１２８は外部液晶表示部材である。１２９はファインダ内液晶表示部材である。液晶駆動回路１２７は、マイクロコンピュータ１２３の表示内容命令に従って、外部液晶表示部材１２８またはファインダ内液晶表示部材１２９を駆動する。また、ファインダ内液晶表示部材１２９には、ＬＥＤなどのバックライト（不図示）が配置されており、そのバックライトも液晶駆動回路１２７により駆動される。マイクロコンピュータ１２３は、撮影前に設定されているＩＳＯ感度、画像サイズ、および、画質などに応じた予測値データに基づいて、メモリコントローラ１１９を介してメモリ１２０の容量を確認することにより、撮影可能残数を演算することができる。撮影可能残数は、必要に応じて、外部液晶表示部材１２８またはファインダ内液晶表示部材１２９にも表示することができる。
【００２９】
１３０は不揮発性メモリ（ＥＥＰＲＯＭ）である。不揮発性メモリ１３０は、撮像装置１００に電源が入れられていない状態でも、データを保存することができる。１３１は電源部である。電源部１３１は、撮像装置１００の各ＩＣや駆動系などの構成要素に必要な電源を供給する。
【００３０】
１３２はマイクである。１３３は音声ライン入力部である。１３４はＡ／Ｄ変換器である。Ａ／Ｄ変換器１３４は、マイク１３２または音声ライン入力部１３３から出力されたアナログ信号をデジタル信号に変換する。１３５はＤ／Ａ変換器である。Ｄ／Ａ変換器１３５は、デジタル信号をアナログ出力信号に変換する。１３６はスピーカーである。
【００３１】
なお本実施形態において、撮影レンズ１０１は、撮像装置１００と一体的に構成されているが、これに限定されるものではない。本実施形態は、撮像装置１００（撮像装置本体）に対して、撮像装置１００に着脱可能な撮影レンズ１０１（レンズ装置）を取り付けられて構成される撮像システムにも適用可能である。
【実施例１】
【００３２】
次に、図２、図３ａ、および、図３ｂを参照して、本発明の実施例１におけるパノラマ撮影処理およびパノラマ画像作成処理（撮像装置１００の制御方法）について説明する。図２は、本実施例におけるパノラマ撮影処理の概念図である。図３ａは、本実施例におけるパノラマ撮影処理のプローチャートである。図３ｂは、本実施例におけるパノラマ画像作成処理のフローチャートである。図３ａおよび図３ｂの各ステップは、マイクロコンピュータ１２３（制御手段）の指令（信号処理回路１１６の制御）に基づいて実行される。
【００３３】
本実施例において、操作者は撮像装置１００（カメラ）の操作部材１２４を操作し、撮像装置１００をパノラマ撮影モードに設定する。すると、マイクロコンピュータ１２３は、図３ａおよび図３ｂのフローチャートに示される制御を開始する。
【００３４】
まず、図３ａのステップＳ１０１において、マイクロコンピュータ１２３は、撮像装置１００の操作部材１２４のレリーズＳＷ（スイッチＳＷ１、ＳＷ２の両方）がオンであるか否かを判定する。マイクロコンピュータ１２３は、レリーズＳＷがオンになるまでこの判定を繰り返す。一方、レリーズＳＷがオンである場合、ステップＳ１０２に進む。
【００３５】
ステップＳ１０２において、撮像装置１００は、マイクロコンピュータ１２３の指令に基づいて、その場面（シーン）での最適露出（第１の露出）を測定し、最適露出の画像２１１（第１の露出で撮影した第１の画像）を撮影する。また撮像装置１００は、露出オーバーの画像２１２および露出アンダーの画像２１３（第２の露出で撮影した第１の画像）を撮影する。ここで、第１の露出とは、第１の画像として適正であると判定された第１の適正露出である。第２の露出とは、第１の画像として露出アンダーまたは露出オーバーと判定された露出である。このように本実施例では、第１の画像として合計３枚の画像が互いに異なる露出で撮影され、バッファメモリ１２２（記憶手段）に記憶される。これらの画像は、なお本実施例において、「最適」とは適正であると評価される露出（適正露出）を含む意味であり、必ずしも最適露出に限定されるものではない。
【００３６】
本実施例において、第１の画像とは、パノラマ画像を生成するために最初に撮影した画像である。また本実施例において、第１の画像として、適正露出、第２の露出で撮影した第１の画像として、露出オーバーの画像２１２および露出アンダーの画像２１３を撮影しているが、いずれか一方の画像のみを撮影するように構成してもよい。
【００３７】
続いてステップＳ１０３において、マイクロコンピュータ１２３は、操作部材１２４のレリーズＳＷ（スイッチＳＷ１、ＳＷ２の両方）がオンであるか否かを判定する。この判定は、レリーズＳＷがオンになるまで繰り返される。一方、レリーズＳＷがオンである場合、ステップＳ１０４に進む。
【００３８】
ステップＳ１０４において、マイクロコンピュータ１２３は、２回目の画像（パノラマ画像を生成するために第１の画像の後に撮影した少なくとも一つの画像）の最適露出（適正露出）を測定する。そしてマイクロコンピュータ１２３は、２回目の撮影画像（第２の画像）として、最初の画像（第１の画像）の適正露出（第１の露出）の画像２２１、および、２回目の画像の適正露出（第３の露出）の画像２２２を撮影する（図２ａ）。ステップＳ１０４は、パノラマ画像を生成するために必要な画像数（撮影回数）だけ繰り返される。例えば、３回目の撮影画像がある場合、マイクロコンピュータ１２３は、３回目の撮影画像（第２の画像）として、最初の画像（第１の画像）の適正露出（第１の露出）の画像２３１と、３回目の画像の適正露出（第３の露出）の画像２３２を撮影する（図２ａ）。これらの画像は、バッファメモリ１２２（記憶手段）に記憶される。本実施例において、第３の露出とは、第２の画像（第１の画像の後に撮影した少なくとも一つの画像）として適正であると判定された第２の適正露出である。
【００３９】
続いてステップＳ１０５において、マイクロコンピュータ１２３は、パノラマ撮影が終了したか否かを判定する。パノラマ撮影がまだ終了していない場合、ステップＳ１０３に戻り、ステップＳ１０３〜Ｓ１０５を繰り返す。一方、パノラマ撮影が終了した場合、ステップＳ１０６に進む。ステップＳ１０６において、マイクロコンピュータ１２３は、パノラマ画像を作成し、作成したパノラマ画像をメモリ１２０に記録する。パノラマ画像作成処理の詳細については後述する。そして、パノラマ撮影処理は終了する。
【００４０】
次に、図３ｂのフローチャートを参照して、本実施例におけるパノラマ画像作成処理（図３ａ中のステップＳ１０６）について詳述する。まずステップＳ２０１において、マイクロコンピュータ１２３は、撮影した全ての場面（パノラマ画像を生成するための全ての撮影画像）における最適露出（適正露出）の平均値から、パノラマ画像を作成する際の全体として最適露出（適正露出）を求める。すなわちマイクロコンピュータ１２３は、第１の露出（１回目の撮影画像の適正露出）および第３の露出（２回目およびそれ以降の撮影画像の適正露出）を用いて、複数の画像の全体で適正であると判定される第４の露出を算出する。本実施例において、第４の露出は、第１の露出と第３の露出との平均値である。続いてステップＳ２０２において、ステップＳ２０３〜Ｓ２０７の処理を、撮影回数だけ繰り返す。その後、ステップＳ２０８に進む。
【００４１】
ステップＳ２０３において、マイクロコンピュータ１２３は、ｎ回目に撮影した画像（第１の露出および第３の露出の画像）に、ステップＳ２０１にて求められた最適露出（第４の露出）と同一の露出の画像があるか否かを判定する。最適露出と同一の露出の画像がある場合、ステップＳ２０７に進む。例えば本実施例において、図２ｂに示されるように、ステップＳ２０１にて算出された最適露出（第４の露出）は、１回目の撮影画像に対して、露出オーバーである画像２１２（画像３１１）の露出と同一である。また、第４の露出は、３回目の撮影画像に対して、３回目の画像２３２（画像３３１）の適正露出（第３の露出）と同一である。このように、本実施例では１回目と３回目の撮影画像に関しては、適正露出の画像が既に撮影されて記憶されているため、ステップＳ２０７に進む。
【００４２】
一方、最適露出と同一の露出の画像がない場合、ステップＳ２０４に進む。ステップＳ２０４において、マイクロコンピュータ１２３は、ｎ回目に撮影した画像の露出（第１の露出と第３の露出）の間に、ステップＳ２０２にて求められた最適露出（第４の露出）と同一の露出の画像があるか否かを判定する。最適露出と同一の露出の画像がある場合、ステップＳ２０５に進む。一方、最適露出と同一の露出の画像がない場合、ステップＳ２０６に進む。ステップＳ２０５において、マイクロコンピュータ１２３は、２枚の画像からステップＳ２０２にて求められた最適露出と同一の露出の画像３２１を合成して（例えば加算平均合成を用いて）生成する。例えば本実施例において、図２ａ、２ｂに示されるように、複数の画像の全体の適正露出（第４の露出）は、２回目の撮影画像に対する画像２２１の露出（第１の露出）と画像２２２の露出（第３の露出）の間の露出である。このため、２回目の撮影画像に対しては、画像２２１、２２２を合成して第４の露出の画像３２１を生成する。そして、ステップＳ２０７に進む。
【００４３】
ステップＳ２０６において、マイクロコンピュータ１２３は、最適露出（第４の露出）に近い露出の画像（第１の露出または第３の露出の画像）をゲインアップして、ステップＳ２０２にて求められた最適露出（第４の露出）と同一の露出の画像を生成する。そして、ステップＳ２０７に進む。
【００４４】
ステップＳ２０７において、マイクロコンピュータ１２３は、指定された画像をｎ回目の撮影時のパノラマ用画像として選択し、バッファメモリ１２２に保存する。続いてステップＳ２０８において、図２ｂに示されるように、ステップＳ２０７にて保存された画像３１１、３２１、３３１をつなげて（結合して）パノラマ画像を作成する。すなわち信号処理回路１１６は、第４の露出の第１の画像および第４の露出の第２の画像を結合してパノラマ画像を生成する。そして、本実施例のパノラマ画像作成処理は終了する。
【００４５】
このように本実施例において、信号処理回路１１６は、第４の露出が第１の露出または第３の露出と同一である場合、バッファメモリ１２２に記憶された第１の露出または第３の露出の第２の画像を用いてパノラマ画像を生成する。また信号処理回路１１６は、第４の露出が第１の露出と第３の露出との間の露出である場合、バッファメモリに記憶された第１の露出および第３の露出の第２の画像を合成して、第４の露出の第２の画像を生成する。このとき信号処理回路１１６は、例えば、第１の露出および第３の露出の第２の画像に対して加算平均合成を行う。また信号処理回路１１６は、第４の露出が第１の露出と第３の露出との間の露出でない場合、第１の露出または第３の露出の第２の画像をゲインアップして、第４の露出の第２の画像を生成する。
【００４６】
本実施例によれば、パノラマ撮影時に、撮影ごとに複数の露出の画像をそれぞれ撮影し、全ての画像を撮影し終わってから全体として適正露出の画像を作成しつなぎ合わせる（結合する）。これにより、結合部の違和感が少なくダイナミックレンジ損失が少ない、全体として適正露出のパノラマ写真を提供することができる。
【実施例２】
【００４７】
次に、本発明の実施例２におけるパノラマ画像作成処理について説明する。本実施例は、図３ｂのステップＳ２０５にて作成される最適露出（適正露出）の画像を、ハイダイナミックレンジ合成（ＨＤＲ合成）を用いて作成する点で、２枚の画像の加算平均合成を用いて最適露出の画像を作成する実施例１と異なる。すなわち信号処理回路１１６は、図３ｂのステップＳ２０５において、第１の露出および第３の露出の第２の画像に対してハイダイナミックレンジ合成を行う。
【００４８】
本実施例によれば、パノラマ撮影時に、撮影ごとに複数の露出の画像をそれぞれ撮影し、全ての画像を撮影し終わってから全体として適正露出の画像を作成しつなぎ合わせる（結合する）。これにより、結合部の違和感が少なく、よりダイナミックレンジ損失が少ない、全体として適正露出のパノラマ写真を提供することができる。
【実施例３】
【００４９】
次に、図３ｃを参照して、本発明の実施例３におけるパノラマ画像作成処理について説明する。本実施例は、図３ｂのステップＳ２０５にて作成される最適露出（適正露出）の画像を、撮影シーンに応じて（シーン解析処理により）加算平均合成またはハイダイナミックレンジ合成（ＨＤＲ合成）のいずれかを選択して作成する点で、実施例１、２と異なる。
【００５０】
図３ｃは、本実施例における適正露出の画像合成処理（図３ｂのステップＳ２０５）のフローチャートである。図３ｃの各ステップは、マイクロコンピュータ１２３（制御手段）の指令（信号処理回路１１６の制御）に基づいて実行される。まずステップＳ３０１において、マイクロコンピュータ１２３は、撮影画像のシーン解析（撮影シーン解析処理）を行う。続いてステップＳ３０２において、マイクロコンピュータ１２３は、ステップＳ３０１での撮影シーン解析処理の結果、撮影画像のシーンが被写体の見栄えを重視するシーンであるか否かを判定する。被写体の見栄えを重視するシーンである場合、ステップＳ３０３に進む。一方、被写体の見栄えを重視するシーンでない場合、ステップＳ３０４に進む。
【００５１】
ステップＳ３０３において、マイクロコンピュータ１２３は、２枚の画像から最適露出と同一の露出の画像を、ハイダイナミックレンジ合成（ＨＤＲ合成）を用いて生成する。そして、最適露出の画像合成処理を終了する。一方、ステップＳ３０４において、マイクロコンピュータ１２３は、２枚の画像から最適露出と同一の露出の画像を、加算平均合成を用いて生成する。そして、最適露出の画像合成処理を終了する。
【００５２】
本実施例によれば、撮影シーンに応じて、最適露出の画像合成処理方法を変更する。これにより、パノラマ画像の結合部の違和感が少なく、よりダイナミックレンジ損失が少ない、全体として適正露出のパノラマ写真を提供することができる。
【００５３】
（他の実施形態）
本発明の目的は、以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００５４】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００５５】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００５６】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【００５７】
また、本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
【００５８】
各実施例によれば、結合部の違和感を低減し、画像全体で適正露出を有するパノラマ写真を取得可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。
【００５９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６０】
１００  撮像装置
１１６  信号処理回路
１２２  バッファメモリ
１２３  マイクロコンピュータ
【図１】
2014230018.tif 000003
【図２ａ】
2014230018.tif 000004
【図２ｂ】
2014230018.tif 000005
【図３ａ】
2014230018.tif 000006
【図３ｂ】
2014230018.tif 000007
【図３ｃ】
2014230018.tif 000008