(57)【要約】【課題】パノラマ画像の合成不良の発生を回避できるようにする。【解決手段】複眼撮影装置１０に第１及び第２撮像部１２，１３を設ける。両撮像部１２，１３により得られた撮影画像を、それぞれライブビュー像としてＬＣＤ１８に２画面表示する。ライブビューとして表示される撮影画像から、各撮影画像同士で重なり合うオーバーラップ領域５９を検出する。オーバーラップ領域５９内で、複眼撮影装置１０に最も近い位置にある最至近被写体までの被写体距離（最短被写体距離）を求める。最短被写体距離が所定のしきい値未満となる場合、各ライブビュー像内の最至近被写体をゼブラパターンで表示する。これにより、撮影を実行したときに、視差の影響によりパノラマ画像の合成不良が発生することを警告することができる。【選択図】図１０
2011004340.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、
撮影指示がなされた場合に、前記各撮像手段により得られた各撮影画像を合成してパノラマ画像を生成する画像合成手段と、
撮影待機状態時に、前記各撮影画像をそれぞれ表示する表示手段と、
前記各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出手段と、
前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定手段と、
前記被写体距離測定手段の測定結果が予め定めたしきい値未満である場合に、前記画像合成手段により生成される前記パノラマ画像中の前記被写体に不具合が生じることを示す警告パターンを、前記表示手段に表示されている前記被写体に重ね合わせて表示する警告手段と、
を備えることを特徴とする撮影装置。
【請求項２】
前記被写体距離測定手段は、前記オーバーラップ領域の画像に基づき、前記被写体及び前記各撮像手段をそれぞれ結ぶ各直線と、前記各撮像手段間を結ぶ直線とがそれぞれなす角度を求めるとともに、求めた前記角度と既知の前記各撮像手段間の距離とに基づいて、ステレオ測距の原理により前記被写体距離を算出することを特徴とする請求項１記載の撮影装置。
【請求項３】
撮影指示がなされた場合に、前記パノラマ画像を記録媒体に記録する撮影モードと、前記記録媒体から読み出された前記パノラマ画像を前記表示手段に表示する再生モードとを有していることを特徴とする請求項１または２記載の撮影装置。
【請求項４】
前記撮影モードは、静止画を撮影する静止画撮影モードを含み、
撮影指示を行うための操作手段と、
前記静止画撮影モード時に前記警告手段が作動している場合、前記操作手段からの撮影指示を無効にする撮影指示無効手段とを備えることを特徴とする請求項３記載の撮影装置。
【請求項５】
前記撮影モードは、静止画を撮影する静止画撮影モードを含み、
前記静止画撮影モード時に前記警告手段が作動していない場合、撮影指示を自動的に発する自動撮影制御手段を備えることを特徴とする請求項３または４記載の撮影装置。
【請求項６】
前記撮影モードは、動画像を撮影する動画撮影モードを含み、前記画像合成手段は、前記動画撮影モード時に撮影指示がなされた場合、前記各撮像手段によりそれぞれ得られたフレーム画像を合成してパノラマフレーム画像を生成し、
前記動画撮影モード時に前記警告手段が作動している場合、前記画像合成手段により生成された前記パノラマフレーム画像が前記記録媒体に記録されないように、前記パノラマフレーム画像の前記記録媒体への記録を制御する記録制御手段を備えることを特徴とする請求項３ないし５いずれか１項記載の撮影装置。
【請求項７】
前記撮影モード時に前記警告手段が作動している場合は、前記画像合成手段により生成された前記パノラマ画像に対して、当該パノラマ画像が不良であることを示す警告情報を付与する警告情報付与手段を備えることを特徴とする請求項３ないし６いずれか１項記載の撮影装置。
【請求項８】
前記再生モード時に、前記記録媒体から読み出された前記パノラマ画像に前記警告情報が付与されている場合には、当該パノラマ画像と共に前記警告情報を前記表示手段に表示させる第１表示制御手段を備えることを特徴とする請求項７記載の撮影装置。
【請求項９】
前記再生モード時に、前記警告情報が付与されている前記パノラマ画像の表示を行わないように前記表示手段を制御する第２表示制御手段を備えることを特徴とする請求項７記載の撮影装置。
【請求項１０】
前記撮影モードは、動画像を撮影する動画撮影モードを含み、前記画像合成手段は、前記動画撮影モード時に撮影指示がなされた場合、前記各撮像手段によりそれぞれ得られたフレーム画像を合成してパノラマフレーム画像を生成するとともに、
前記第２表示制御手段は、前記表示手段が前記記録媒体から読み出された前記パノラマフレーム画像を連続的に表示する場合、前記警告情報が付与されている前記パノラマフレーム画像はスキップするように前記表示手段を制御することを特徴とする請求項９記載の撮影装置。
【請求項１１】
前記警告情報が付与されている前記パノラマフレーム画像の前後の良好な前記パノラマフレーム画像から、補間フレーム画像を生成する補間フレーム画像生成手段を備え、
前記第２表示制御手段は、スキップする前記パノラマフレーム画像の代わりに、前記補間フレーム画像を前記表示手段に表示させることを特徴とする請求項１０記載の撮影装置。
【請求項１２】
撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、撮影指示がなされた場合に、前記各撮像手段により得られた各撮影画像を合成してパノラマ画像を生成する画像合成手段とを備える撮影装置の制御方法において、
撮影待機状態時に、前記各撮影画像をそれぞれモニタに表示する表示ステップと、
前記各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出ステップと、
前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定ステップと、
前記被写体距離測定ステップの測定結果が予め定めたしきい値未満である場合に、前記画像合成手段により生成される前記パノラマ画像中の前記被写体に不具合が生じることを示す警告パターンを、前記モニタに表示されている前記被写体に重ね合わせて表示する警告ステップと、
を有することを特徴とする撮影装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点から被写体を撮影してパノラマ画像を生成する撮影装置及びその制御方法に関するものである。
【背景技術】
【０００２】
近年、ＣＣＤイメージセンサなどの固体撮像素子で撮像した被写体光をデジタルの画像データに変換し、内蔵メモリやメモリカードなどの記録媒体に記録するデジタルカメラが普及している。このようなデジタルカメラの１つとして、撮影光学系及び固体撮像素子からなる撮像部を複数備えた複眼撮影装置が良く知られている（特許文献１参照）。
【０００３】
複眼撮影装置は、各撮像部により撮影方向の異なる複数の画像を同時に取得し、各画像を、これら各画像同士が重なり合うオーバーラップ領域で重ね合わせるように合成してパノラマ画像を生成する（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−６７０２０号公報
【特許文献２】特開平１０−１７８５６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、複眼撮影装置の各撮像部は、同一の被写体を異なる視点から撮像しているので、各撮像部により取得された各画像には視差が生じている。ここで、視差とは、いろいろな定義が可能であるが、例えば、各画像の同じ点（対応点）を表す画素のずれ量である。この視差の大きさは、複眼撮影装置から被写体までの距離が短くなるのに従って大きくなる。このため、各画像のオーバーラップ領域に、複眼撮影装置に極端に近い被写体が含まれていると、視差の影響により、この被写体がずれた状態で２重に表示されるようなパノラマ画像の合成不良が発生する（図１２（Ｂ）参照）。
【０００６】
本発明は上記問題を解決するためのものであり、視差の影響による合成不良の発生を回避することができる撮影装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の撮影装置は、撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、撮影指示がなされた場合に、前記各撮像手段により得られた各撮影画像を合成してパノラマ画像を生成する画像合成手段と、撮影待機状態時に、前記各撮影画像をそれぞれ表示する表示手段と、前記各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出手段と、前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定手段と、前記被写体距離測定手段の測定結果が予め定めたしきい値未満である場合に、前記画像合成手段により生成される前記パノラマ画像中の前記被写体に不具合が生じることを示す警告パターンを、前記表示手段に表示されている前記被写体に重ね合わせて表示する警告手段と、を備えることを特徴とする。
【０００８】
前記被写体距離測定手段は、前記オーバーラップ領域の画像に基づき、前記被写体及び前記各撮像手段をそれぞれ結ぶ各直線と、前記各撮像手段間を結ぶ直線とがそれぞれなす角度を求めるとともに、求めた前記角度と既知の前記各撮像手段間の距離とに基づいて、ステレオ測距の原理により前記被写体距離を算出することが好ましい。
【０００９】
撮影指示がなされた場合に、前記パノラマ画像を記録媒体に記録する撮影モードと、前記記録媒体から読み出された前記パノラマ画像を前記表示手段に表示する再生モードとを有していることが好ましい。
【００１０】
前記撮影モードは、静止画を撮影する静止画撮影モードを含み、撮影指示を行うための操作手段と、前記静止画撮影モード時に前記警告手段が作動している場合、前記操作手段からの撮影指示を無効にする撮影指示無効手段とを備えることが好ましい。
【００１１】
前記撮影モードは、静止画を撮影する静止画撮影モードを含み、前記静止画撮影モード時に前記警告手段が作動していない場合、撮影指示を自動的に発する自動撮影制御手段を備えることが好ましい。
【００１２】
前記撮影モードは、動画像を撮影する動画撮影モードを含み、前記画像合成手段は、前記動画撮影モード時に撮影指示がなされた場合、前記各撮像手段によりそれぞれ得られたフレーム画像を合成してパノラマフレーム画像を生成し、前記動画撮影モード時に前記警告手段が作動している場合、前記画像合成手段により生成された前記パノラマフレーム画像が前記記録媒体に記録されないように、前記パノラマフレーム画像の前記記録媒体への記録を制御する記録制御手段を備えることが好ましい。
【００１３】
前記撮影モード時に前記警告手段が作動している場合は、前記画像合成手段により生成された前記パノラマ画像に対して、当該パノラマ画像が不良であることを示す警告情報を付与する警告情報付与手段を備えることが好ましい。
【００１４】
前記再生モード時に、前記記録媒体から読み出された前記パノラマ画像に前記警告情報が付与されている場合には、当該パノラマ画像と共に前記警告情報を前記表示手段に表示させる第１表示制御手段を備えることが好ましい。
【００１５】
前記再生モード時に、前記警告情報が付与されている前記パノラマ画像の表示を行わないように前記表示手段を制御する第２表示制御手段を備えることが好ましい。
【００１６】
前記撮影モードは、動画像を撮影する動画撮影モードを含み、前記画像合成手段は、前記動画撮影モード時に撮影指示がなされた場合、前記各撮像手段によりそれぞれ得られたフレーム画像を合成してパノラマフレーム画像を生成するとともに、前記第２表示制御手段は、前記表示手段が前記記録媒体から読み出された前記パノラマフレーム画像を連続的に表示する場合、前記警告情報が付与されている前記パノラマフレーム画像はスキップするように前記表示手段を制御することが好ましい。
【００１７】
前記警告情報が付与されている前記パノラマフレーム画像の前後の良好な前記パノラマフレーム画像から、補間フレーム画像を生成する補間フレーム画像生成手段を備え、前記第２表示制御手段は、スキップする前記パノラマフレーム画像の代わりに、前記補間フレーム画像を前記表示手段に表示させることが好ましい。
【００１８】
また、本発明は、撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、撮影指示がなされた場合に、前記各撮像手段により得られた各撮影画像を合成してパノラマ画像を生成する画像合成手段とを備える撮影装置の制御方法において、撮影待機状態時に、前記各撮影画像をそれぞれモニタに表示する表示ステップと、前記各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出ステップと、前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定ステップと、前記被写体距離測定ステップの測定結果が予め定めたしきい値未満である場合に、前記画像合成手段により生成される前記パノラマ画像中の前記被写体に不具合が生じることを示す警告パターンを、前記モニタに表示されている前記被写体に重ね合わせて表示する警告ステップと、を有することを特徴とする。
【発明の効果】
【００１９】
本発明の撮影装置及びその制御方法は、複数の撮像手段により得られた各撮影画像を合成してパノラマ画像を形成する前に、各撮影画像のオーバーラップ領域内で各撮像手段に最も近い被写体（最至近被写体）までの被写体距離が所定のしきい値未満である場合、ライブビュー画像中の最至近被写体に警告パターンを重ね合わせて表示するようにしたので、視差の影響によりパノラマ画像が不良になることを警告することができる。また、この場合には、問題となる最至近被写体を容易に判別することができるので、最至近被写体がオーバーラップ領域内に入らないようにフレーミング行うことが容易となり、さらに、この最至近被写体との間に距離をおくようにユーザを促すことができる。その結果、パノラマ画像の不良の発生を回避することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の複眼撮影装置の正面斜視図である。
【図２】複眼撮影装置の背面斜視図である。
【図３】複眼撮影装置の電気的構成を示すブロック図である。
【図４】オーバーラップ領域の検出処理を説明するための説明図である。
【図５】ステレオ測距による被写体距離の算出を説明するための説明図である。
【図６】パノラマ静止画像ファイルの構成を説明するための説明図である。
【図７】パノラマ動画像ファイルの構成を説明するための説明図である。
【図８】ＣＰＵの機能ブロック図である。
【図９】静止画像の撮影処理の流れを説明するためのフローチャートである。
【図１０】ＬＣＤに表示されるライブビュー像を説明するための説明図である。
【図１１】静止画像の再生表示処理の流れを説明するためのフローチャートである。
【図１２】ＬＣＤに再生表示される静止画像を説明するための説明図である。
【図１３】ＬＣＤに表示されるＩＮＤＥＸ画像を説明するための説明図である。
【図１４】動画像の撮影処理の流れを説明するためのフローチャートである。
【図１５】動画像の再生表示処理の流れを説明するための説明図である。
【図１６】中間フレームの生成を行う他実施形態における、動画像の再生表示処理の流れを説明するための説明図である。
【発明を実施するための形態】
【００２１】
図１に示すように、複眼撮影装置（複眼カメラ）１０のカメラ本体１１の前面には、左右一対の第１及び第２撮像部１２，１３、ストロボ発光部１４等が設けられている。両撮像部１２，１３は、互いの光軸が略平行または逆ハ字状となるように、所定間隔を隔てて設けられている。カメラ本体１１の上面には、シャッタボタン（操作手段）１５、電源スイッチ１６が設けられている。
【００２２】
図２に示すように、カメラ本体１１の背面には、液晶ディスプレイ（ＬＣＤ）１８、操作部１９が設けられている。ＬＣＤ１８は、撮影待機状態時には電子ビューファインダとして機能し、ライブビュー像（スルー画ともいう）を表示する。なお、ライブビューとは、各撮像部１２，１３（イメージセンサ）で撮像した画像をすぐにＬＣＤ１８に表示することである。また、画像再生時にはメモリカード（記録媒体）２０に記録されている画像データに基づき、ＬＣＤ１８に画像が再生表示される。
【００２３】
操作部１９は、モード切替スイッチ２２、メニューボタン２３、十字キー２４、実行キー２５などから構成されている。モード切替スイッチ２２は、複眼撮影装置１０の動作モードを切り替える際に操作される。動作モードは、広角のパノラマ静止画像を撮影する静止画撮影モード、広角のパノラマ動画像を撮影する動画撮影モード、撮影により得られたパノラマ画像をＬＣＤ１８に再生表示する再生モードがある。
【００２４】
メニューボタン２３は、ＬＣＤ１８にメニュー画面や複眼撮影装置１０の設定画面を表示する際などに操作される。十字キー２４は、メニュー画面や設定画面内に表示されるカーソルを移動する際などに操作される。実行キー２５は、カメラの設定を確定する際などに操作される。
【００２５】
複眼撮影装置１０の設定は、自動撮影設定、撮影操作無効設定、不良フレーム記録禁止設定、不良画像再生禁止設定などがある。自動撮影設定は、撮影により良好なパノラマ静止画像を得られる場合に、シャッタボタン１５の押下操作に関係なく、自動的に撮影を行う設定である。
【００２６】
撮影操作無効設定は、撮影を実行したときに良好なパノラマ静止画像が得られない場合に、シャッタボタン１５の押下操作を無効にする設定である。不良フレーム記録禁止設定は、動画撮影時に得られたパノラマ動画像のフレーム画像（以下、パノラマフレーム画像という）が不良である場合、この不良フレーム画像の記録を禁止する設定である。不良画像再生禁止設定は、画像再生時に再生するパノラマ画像（パノラマ静止画像、パノラマフレーム画像）が不良である場合、このパノラマ画像の再生を禁止する設定である。
【００２７】
カメラ本体１１の底面には、図示は省略するが、メモリカード２０が着脱自在に装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。
【００２８】
図３に示すように、ＣＰＵ２７は、シャッタボタン１５及び操作部１９からの入力信号に基づき、図示しないＲＯＭから読み出した各種プログラムやデータを逐次実行することで、複眼撮影装置１０の各部を統括的に制御する。
【００２９】
ＳＤＲＡＭ２８は、ＣＰＵ２７が処理を実行するためのワークメモリとして機能する。ＶＲＡＭ２９は、連続した２フィールド画分を記憶するライブビュー用のメモリエリアがあり、表示用の画像データを一時的に記憶する。
【００３０】
第１撮像部１２は、撮影レンズ３１が組み込まれたレンズユニット３２、ＣＣＤイメージセンサ（以下、ＣＣＤという）３３、ＡＦＥ（アナログフロントエンド）３４などから構成される。なお、ＣＣＤの代わりにＭＯＳ型のイメージセンサを用いてもよい。
【００３１】
レンズユニット３２には、図示しないズーム機構、フォーカス機構、絞り装置が組み込まれている。ズーム機構は、撮影レンズ３１を移動してズーミングを行う。フォーカス機構は、撮影レンズ３１に組み込まれたフォーカスレンズを移動してピント合せを行う。絞り装置は、図示しない絞りを調節することで、ＣＣＤ３３に入射する被写体光の強度を調節する。ズーム機構，フォーカス機構，絞り装置は、レンズドライバ３５を介してＣＰＵ２７によって動作制御される。
【００３２】
撮影レンズ３１の背後には、多数のフォトダイオードが受光面に並べられたＣＣＤ３３が配置され、撮影レンズ３１からの被写体光を電気的な撮像信号に変換して出力する。ＣＣＤ３３には、ＣＰＵ２７によって制御されるＣＣＤドライバ３６が接続されている。ＣＣＤドライバ３６は、ＴＧ（Timing Generator）３７からの同期パルスによって駆動され、ＣＣＤ３３の電荷蓄積時間と電荷読み出し転送タイミングを制御する。
【００３３】
ＣＣＤ３３から出力された撮像信号は、ＡＦＥ３４に入力される。ＡＦＥ３４は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（自動ゲイン調整アンプ）、Ａ／Ｄ変換器から構成され、ＴＧ３７からの同期パルスが入力されることで、ＣＣＤ３３の電荷読み出し転送動作と同期して作動する。ＣＤＳ回路は、相関二重サンプリングを行って撮像信号からノイズを除去する。ＡＧＣ回路は、ＣＰＵ２７によって設定される撮影感度に応じたゲインで撮像信号を増幅する。Ａ／Ｄ変換器は、ＡＧＣ回路からのアナログの撮像信号をデジタル画像信号（以下、左画像信号という）に変換し、変換した左画像信号を画像入力コントローラ３９へ送る。
【００３４】
第２撮像部１３は、第１撮像部１２と同じ構成であり、レンズユニット４１、ＣＣＤ４２、ＡＦＥ４３、レンズドライバ４４、ＣＣＤドライバ４５、ＴＧ４６などから構成され、右画像信号を画像入力コントローラ３９へ送る。
【００３５】
ＣＰＵ２７には、バス４８を介して、ＳＤＲＡＭ２８、ＶＲＡＭ２９、画像入力コントローラ３９、信号処理回路４９、ＡＦ検出回路５０、ＡＥ／ＡＷＢ検出回路５１、オーバーラップ領域検出回路（以下、単に領域検出回路という）５２、被写体距離演算回路５３、画像処理回路５４、表示回路５５、圧縮・伸張処理回路５６、メディアコントローラ５７等が接続されている。
【００３６】
画像入力コントローラ３９は、所定容量のバッファを有しており、第１及び第２撮像部１２，１３からそれぞれ出力された左右画像信号を蓄積し、それぞれ１フレーム分の左右画像信号が蓄積されたときに、１フレーム分の画像に対応する左右画像信号を信号処理回路４９へ送る。
【００３７】
信号処理回路４９は、画像入力コントローラ３９からの左右画像信号に対して階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種処理を施すことで、それぞれ１フレームの画像に対応する左右画像データを生成し、これらをＶＲＡＭ２９に記憶する。
【００３８】
ＡＦ検出回路５０は、画像入力コントローラ３９からの左右画像信号に基づき、左右画像ごとにコントラストを評価したＡＦ評価値を算出する。ＣＰＵ２７は、ＡＦ検出回路５０からのＡＦ評価値に基づき、レンズドライバ３５，４４を制御して、撮影レンズ３１のピント調節を行う。
【００３９】
ＡＥ／ＡＷＢ検出回路５１は、左右画像信号に基づき、被写体輝度の検出と、ホワイトバランス補正に用いられるＷＢ評価値の算出とを行う。ＣＰＵ２７は、ＡＥ／ＡＷＢ検出回路５１からの被写体輝度情報に基づき、レンズドライバ３５，４４やＣＣＤドライバ３６，４５を制御して、露出制御を行う。また、ＣＰＵ２７は、ＡＥ／ＡＷＢ検出回路５１からのＷＢ評価値に基づき、被写体像のホワイトバランスが適正となるように、信号処理回路４９を制御する。
【００４０】
図４に示すように、領域検出回路５２は、ＶＲＡＭ２９に記憶された左画像データに基づく左画像と、右画像データに基づく右画像とが互いに重なり合うオーバーラップ領域（図中太線で囲まれた領域）５９を検出する。オーバーラップ領域５９は、各撮像部１２，１３の間隔、ズーム倍率などによって一義的に決まる。これらパラメータのうち、各撮像部１２，１３の間隔は固定値である。このため、領域検出回路５２には、ズーム倍率を変化させた際のオーバーラップ領域５９の範囲を示すデータを予め記憶したＲＯＭ（図示せず）が設けられている。領域検出回路５２は、ズーム倍率に基づき、ＲＯＭを参照して左右画像データのオーバーラップ領域５９を決定する。なお、オーバーラップ領域５９を求める方法は、上述の方法に限定されるものではなく、各種方法を用いてよい。
【００４１】
被写体距離演算回路５３は、複眼撮影装置１０からオーバーラップ領域５９に含まれる被写体までの被写体距離を算出する。具体的に、被写体距離演算回路５３は、オーバーラップ領域５９内の全画素について、個々の画素に対応する被写体上の点までの被写体距離をステレオ測距の原理を用いて算出する。以下、図５を用いてステレオ測距の原理を説明する。
【００４２】
図５において、実空間を表す座標として（ｘ，ｙ，ｚ）を用い、画像面［２台のカメラ（第１及び第２撮像部１２，１３に相当）の撮像面］上の位置を示す座標としてＸ，Ｙを用いる。ただし、２台のカメラを区別するために、左カメラの画像面上の位置を示す座標として（ＸＬ  ，ＹＬ  ）を用い、右カメラの画像面上の位置を表す座標として，（ＸＲ  ，ＹＲ  ）を用いる。ｘ軸とＸＡ  軸、ｘ軸とＸＢ  軸、ｙ軸とＹＡ  軸、ｙ軸とＹＢ  軸は互いに平行であり、ｚ軸と左右カメラの光軸とは平行であるとする。実空間上における座標系の原点を左右カメラの主点の中点Ｃにとり、主点間の距離を基線長と呼び、その長さを２ａで表す。また、主点と画像面との距離（焦点距離）をｆで表す。
【００４３】
また、実空間上の点ｐが左画像面上の点ＰＬ  （ＸＬ  ，ＹＬ  ）、右画像面上のＰＲ  （ＸＲ  ，ＹＲ  ）にそれぞれ投影されたとする。ステレオ測距では、画像面における点ＰＬ  、ＰＲ  を決定し、３角測量の原理で点ｐの実空間上の座標（ｘ，ｙ，ｚ）を求める。ここでは、左右カメラの光軸が同一平面上にあり、ｘ軸とＸＡ  ，ＸＢ  軸を平行にとっていることから、ＹＬ  とＹＲ  は同じ値をとる。画像面上の座標（ＸＬ  ，ＹＬ  ）、（ＸＲ  ，ＹＲ  ）と実空間内の座標（ｘ，ｙ，ｚ）との関係は、下記式（１）あるいは式（２）のいずれかの式で求められる。なお、ｄ=ＸＬ  −ＸＲ  は視差を示す。
【００４４】
式（１）
【数１】
2011004340.tif 000003
【００４５】
式（２）
【数２】
2011004340.tif 000004
【００４６】
ａ＞０であるので、式（２）から、ＸＬ  ＞ＸＲ  かつＹＬ  ＝ＹＲ  となる。これは、一方の画像面上の１点に対応する他方の画像面上での対応点は、エピポーラ線Ｅである同じ走査線上、かつＸＬ  ＞ＸＲ  の範囲に存在することを表す。従って、一方の画像面の１点に対応した他方の画像面上の点は、対応点が存在する可能性のある直線上における小領域についてのみ画像の類似性を評価した結果に基づき、検出すればよい。つまり、通常の対応点検出では、オーバーラップ全領域に対して探索（類似性の評価）を行うが、今回のようにカメラの光軸が平行である場合、探索範囲を限定することができる。このように、２つのカメラを用いることにより、点ｐの座標（ｘ，ｙ，ｚ）が求められるので、撮影対象までの被写体距離を求めることができる。
【００４７】
図３に戻って、被写体距離演算回路５３は、オーバーラップ領域５９内の全画素について、それぞれステレオ測距を行い、被写体距離を求めた後、各画素の位置座標と被写体距離との関係を示す被写体距離データを生成する。
【００４８】
画像処理回路５４は、画像合成処理部６１とパターン重ね合わせ処理部（以下、単に重ね合わせ処理部という）６２とを備えている。画像合成処理部６１は、撮影指示がなされた時に、ＶＲＡＭ２９に格納されている左右画像データをオーバーラップ領域５９で重ね合わせるように合成して、１つのパノラマ画像データ（図１２参照）を生成する。なお、パノラマ画像データを生成する方法は、例えば、特開平９−９１４０７号公報などに記載されている方法が知られている。
【００４９】
重ね合わせ処理部６２は、本発明の警告手段に相当するものであり、画像合成処理部６１によるパノラマ画像データの生成が実行されたときに、パノラマ画像データの合成不良が発生するおそれがある場合に作動する。パノラマ画像データの合成不良とは、複眼撮影装置１０から十分に離れている被写体（風景など）でマッチングをとって合成した場合、オーバーラップ領域５９内にある、複眼撮影装置１０に極端に近い被写体が、視差の影響により２重に表示されたり、消失してしまうことである（図１２（Ｂ）参照）。重ね合わせ処理部６２は、ＶＲＡＭ２９に格納されている左右画像データに、警告用のゼブラパターン（図１０参照）を重ね合わせる重ね合わせ処理を実行する。ゼブラパターンは、オーバーラップ領域５９内で最も複眼撮影装置１０に近い被写体（以下、最至近被写体という）に重ね合わせられる。
【００５０】
圧縮・伸張処理回路５６は、画像合成処理部６１から送られる非圧縮のパノラマ画像データに圧縮処理を行い、所定のファイル形式の圧縮パノラマ画像データを生成する。また、圧縮・伸張処理回路５６は、画像再生時にはメモリカード２０に記録された圧縮パノラマ画像データに伸張処理を行い、非圧縮のパノラマ画像データを生成する。メディアコントローラ５７は、メモリカード２０に対するパノラマ画像データの記録、及び読み出しを制御する。
【００５１】
パノラマ静止画像の画像ファイルは、例えばＥｘｉｆに準拠したＪＰＥＧ形式である。また、パノラマ動画像の画像ファイルは、例えば１フレーム毎のＪＰＥＧ画像がまとめられたＭｏｔｉｏｎ  ＪＰＥＧ形式である。
【００５２】
図６に示すように、パノラマ静止画像ファイル６４のＥｘｉｆヘッダ６５には、付帯情報が格納されている。付帯情報には、撮影日、撮影機種名、サムネイル画像、最短被写体距離情報、合成不良警告情報などが含まれる。最短被写体距離情報は、最至近被写体までの被写体距離を表す。合成不良警告情報は、パノラマ画像データの合成不良が発生している場合に付帯される。
【００５３】
図７に示すように、パノラマ動画像ファイル６６の先頭には撮影日、撮影機種情報、サムネイル画像などが格納されたファイルヘッダ６７が設けられ、続いてパノラマ動画像ファイル６６を構成するパノラマフレーム画像データが一定時間毎に格納される。また、各画像データには、上述の最短被写体撮影距離や合成不良警告情報などを含む付帯情報が付帯されている。この付帯情報はフレームヘッダ６８に格納される。合成不良警告情報は、合成不良を起こしたパノラマフレーム画像データに付帯される。
【００５４】
図３に戻って、表示回路５５は、ＶＲＡＭ２９からの左右画像データまたは圧縮・伸張処理回路７６で伸張された非圧縮パノラマ画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これを一定のタイミングでＬＣＤ１８へ出力する。これにより、ＬＣＤ１８には、静止画及び動画撮影モード時に、各撮像部１２，１３で撮像されたライブビュー像（左ライブビュー像、右ライブビュー像）がリアルタイムに２画面表示される（図１０参照）。また、ＬＣＤ１８には、再生モード時に、メモリカード２０から読み出されたパノラマ静止画像あるいは動画像が再生表示される。
【００５５】
表示回路５５には、インジケータ表示部７０と、枠表示部７１と、警告マーク表示部（第１表示制御手段）７２とが設けられている。インジケータ表示部７０は、上述の被写体距離データからリアルタイムで求められた最短被写体距離情報、あるいはパノラマ画像データに付帯されている最短被写体距離情報に基づき、最短被写体距離を示すインジケータ７３（図１０、図１２参照）をＬＣＤ１８のインジケータ表示領域に表示する。
【００５６】
枠表示部７１は、領域検出回路５２の検出結果に基づき、オーバーラップ領域５９を示す枠７４（図１０参照）をそれぞれ左右ライブビュー像に重ねてＬＣＤ１８に表示する。また、枠表示部７１は、最短被写体距離が所定のしきい値以上となる場合には枠７４を青色で表示するとともに、しきい値未満となる場合には枠７４を赤色で表示する。
【００５７】
警告マーク表示部７２は、再生モード時において、圧縮・伸張処理回路７６からの非圧縮パノラマ画像データに合成不良警告情報が付帯されている場合に作動する。警告マーク表示部７２は、合成不良が発生していること示す合成不良警告マーク（以下、単に警告マークという、図１２参照）７５を、ＬＣＤ１８の警告マーク表示領域に表示する。
【００５８】
図８に示すように、ＣＰＵ２７は、ＲＯＭから読み出した各種プログラムやデータを逐次実行することで、最短被写体距離特定部７７、合成不良警告制御部７８、撮影制御部７９、記録制御部８０、再生制御部８１として機能する。
【００５９】
最短被写体距離特定部７７は、被写体距離演算回路５３とともに本発明の被写体距離測定手段を構成するものであり、被写体距離演算回路５３から取得した被写体距離データに基づき、最短被写体距離を特定する。最短被写体距離は、例えば、被写体距離データに含まれる被写体距離の中で最小値を選択してもよい。また、被写体距離データに含まれる各画素の位置座標及び被写体距離に基づき、最至近被写体を構成する画素を特定し、特定した各画素における被写体距離の平均値として求めてもよい。
【００６０】
合成不良警告制御部７８は、最短被写体距離特定部７７が特定した最短被写体距離が所定のしきい値未満となる場合、ＶＲＡＭ２９に記録されている左右画像の最至近被写体にゼブラパターンが重ね合わせられるように、重ね合わせ処理部６２を制御する。
【００６１】
撮影制御部７９は、本発明の自動撮影制御手段及び撮影指示無効手段に相当するものであり、静止画撮影に係る制御を行う。撮影制御部７９は、上述の自動撮影設定がＯＮされ、かつ最短被写体距離がしきい値以上である場合に、シャッタボタン１５の押下操作に関係なく自動的に撮影指示を発行する。また、撮影制御部７９は、上述の撮影操作無効設定がＯＮされ、かつ最短被写体距離がしきい値未満である場合に、シャッタボタン１５の押下操作によりなされた撮影指示を無効にする。
【００６２】
記録制御部８０は、本発明の警告情報付与手段及び記録制御手段に相当するものであり、パノラマ画像データの圧縮伸張処理、付帯情報の格納、及び圧縮画像データのメモリカード２０への記録に係る制御を行う。記録制御部８０は、合成不良を起こしたパノラマ画像データ（以下、不良画像データという）に合成不良警告情報が付帯されるように、圧縮・伸張処理回路５６を制御する。また、記録制御部８０は、動画撮影モード時に不良フレーム記録禁止設定がＯＮされている場合、不良フレーム画像データの記録を行わないように、圧縮・伸張処理回路５６及びメディアコントローラ５７を制御する。
【００６３】
再生制御部８１は、本発明の第２表示制御手段に相当するものであり、表示回路５５によるパノラマ静止画像やパノラマ動画像の再生表示を制御する。再生制御部８１は、不良画像再生禁止設定がＯＮされている場合、合成不良警告情報が付帯されているパノラマ画像データの再生表示を行わないように、表示回路５５を制御する。
【００６４】
次に、図９のフローチャートを用いて複眼撮影装置１０のパノラマ静止画像撮影処理について説明する。電源スイッチ１６をＯＮすると、ＣＰＵ２７がＲＯＭから制御プログラムをロードし、複眼撮影装置１０の動作制御を開始する。次いで、操作部１９のメニューボタン２３、十字キー２４、実行キー２５などを用いて複眼撮影装置１０の設定操作を行うと、自動撮影設定、撮影操作無効設定、不良フレーム記録禁止設定、不良画像再生禁止設定がそれぞれＯＮまたはＯＦＦされる。
【００６５】
パノラマ静止画像の撮影を行う場合には、モード切替スイッチ２２を静止画撮影モードに設定する。各撮像部１２，１３の撮影レンズ３１を介して入射された被写体光は、ＣＣＤ３３，４２において光電変換され、さらにＡＦＥ３４，４３においてデジタル画像信号に変換される。各撮像部１２，１３から出力された左右画像信号は、画像入力コントローラ３９を介して信号処理回路４９に送られて各種の画像処理を施される。こうして１フレーム分の左右画像データがＶＲＡＭ２９に記録される。
【００６６】
左右画像データの記録後、ＣＰＵ２７は、領域検出回路５２に対してオーバーラップ領域検出指令を発する。この検出指令を受けて、領域検出回路５２は、ＶＲＡＭ２９に記録された左右画像データのオーバーラップ領域５９を検出し、この検出結果をＣＰＵ２７に送る。ＣＰＵ２７は、オーバーラップ領域検出結果を受けて、被写体距離演算回路５３に対してオーバーラップ領域検出結果を送るとともに、被写体距離算出指令を発する。
【００６７】
被写体距離演算回路５３は、被写体距離算出指令を受けて、上述の図５を用いて説明したように、左右画像データとオーバーラップ領域検出結果に基づき、オーバーラップ領域５９内の各画素毎にそれぞれ被写体距離を求めて、被写体距離データを生成する。被写体距離演算回路５３は、生成した被写体距離データをＣＰＵ２７に送る。
【００６８】
ＣＰＵ２７の最短被写体距離特定部７７は、被写体距離演算回路５３から入力された被写体距離データに基づき最短被写体距離を特定し、最短被写体距離情報を合成不良警告制御部７８に送る。合成不良警告制御部７８は、最短被写体距離特定部７７から取得した最短被写体距離情報と、しきい値とを比較する。
【００６９】
［最短被写体距離≧しきい値］
最短被写体距離がしきい値以上の場合、ＣＰＵ２７は、表示回路５５に対してオーバーラップ領域検出結果及び最短被写体距離情報を送るとともに、ライブビュー像表示指令を発する。表示回路５５は、ライブビュー像表示指令を受けて、ＶＲＡＭ２９から左右画像データを読み出し、左右ライブビュー像をＬＣＤ１８に表示させる。
【００７０】
図１０（Ａ）に示すように、ＬＣＤ１８に左右ライブビュー像が２画面表示される。この際に、インジケータ表示部７０は、ＣＰＵ２７から取得した最短被写体距離情報に基づき、インジケータ７３をインジケータ表示領域に表示する。インジケータ７３には、最短被写体距離を示す被写体距離バー７３ａと、しきい値を示すしきい値バー７３ｂとが表示される。また、枠表示部７１は、ＣＰＵ２７から取得したオーバーラップ領域検出結果に基づき、オーバーラップ領域５９を示す青色（黒色ベタ塗りで表示）の枠７４をそれぞれ左右ライブビュー像に重ね合わせて表示する。これにより、ＬＣＤ１８の表示画面で最短被写体距離、及びこの最短被写体距離がしきい値未満か否かを確認しながらフレーミングを行うことができる。
【００７１】
図９に戻って、自動撮影設定がＯＦＦされている場合、シャッタボタン１５の半押し操作に応答して、ＡＦ検出回路５０及びＡＥ／ＡＷＢ検出回路５１が作動して焦点制御や露出制御などの撮影準備処理が行われ、撮影準備状態となる。
【００７２】
撮影準備の完了後、シャッタボタン１５の全押し操作に応答して被写体の撮影が実行される。ＣＣＤ３３，４２からそれぞれ１フレーム分の画像信号が読み出され、ＡＦＥ３４，４３及び信号処理回路４９にて所定の信号処理が施され、左右画像データがＶＲＡＭ２９に記録される。その後、ＣＰＵ２７は、画像合成処理部６１に対して画像合成指令を発する。
【００７３】
画像合成処理部６１は、画像合成指令を受けて、ＶＲＡＭ２９から左右画像データを読み出して合成し、パノラマ静止画像データを形成する。その後、パノラマ静止画像データは圧縮・伸張処理回路５６に送られる。圧縮・伸張処理回路５６は、記録制御部８０からの圧縮指令を受けて、パノラマ静止画像データに対して、ＪＰＥＧ形式に従いデータ圧縮処理を施す。圧縮画像データ（パノラマ静止画像ファイル６４）は、メディアコントローラ５７を経由してメモリカード２０へ記録される。
【００７４】
自動撮影設定がＯＮされている場合、撮影制御部７９は、複眼撮影装置１０の各部に対して撮影指示を発する。この撮影指示を受けて、撮影準備処理、ＣＣＤ３３，４２からの画像信号の読み出し、各種信号処理、左右画像データのＶＲＡＭ２９への記録、パノラマ静止画像データの生成及び圧縮、圧縮画像データ（パノラマ静止画像ファイル６４）のメモリカード２０への記録が順番に実行される。このように自動撮影設定がＯＮされている場合は、良好なパノラマ画像だけをメモリカード２０に記録することができる。
【００７５】
［最短被写体距離＜しきい値］
一方、最短被写体距離がしきい値未満の場合、合成不良警告制御部７８は、最初に、被写体距離データに含まれる各画素の位置座標及び被写体距離などに基づき、最至近被写体を構成する画素を特定する。例えば、最至近被写体が木である場合、この木を構成する画素の被写体距離αは、ほぼ同じ大きさになる。これに対して、最至近被写体の後方にある被写体（図１０中の山や家など）を構成する画素の被写体距離βは、αよりもはるかに大きい値となるので、木を構成する画素を特定することができる。次いで、合成不良警告制御部７８は、重ね合わせ処理部６２に対して、特定した各画素の位置座標データを送るとともに、重ね合わせ処理指令を発する。
【００７６】
重ね合わせ処理部６２は、重ね合わせ処理指令を受けて、ＶＲＡＭ２９に格納されている左右画像データを読み出す。次いで、重ね合わせ処理部６２は、合成不良警告制御部７８から取得した位置座標データに基づき、左右画像データにそれぞれ重ね合わせ処理を施して、最至近被写体を構成する画素領域にゼブラパターンを重ね合わせる。重ね合わせ処理が施された左右画像データは、ＶＲＡＭ２９に再度記録される。
【００７７】
重ね合わせ処理の終了後、ＣＰＵ２７は、表示回路５５に対して、オーバーラップ領域検出結果及び最短被写体距離情報を送るとともに、ライブビュー像表示指令を発して、左右ライブビュー像をＬＣＤ１８に表示させる。
【００７８】
図１０（Ｂ）に示すように、ＬＣＤ１８には、左右画像の最至近被写体がゼブラパターンで表示される。また、インジケータ７３の被写体距離バー７３ａが、しきい値よりも値が小さくなる位置で表示されるとともに、枠７４が赤色（網掛け処理で表示）で表示される。これにより、撮影を実行したときに、パノラマ画像データの合成不良が発生することを警告することができる。このため、最至近被写体がオーバーラップ領域５９内に入らないようにフレーミングを行う、あるいは最至近被写体から離れるように、ユーザを促すことができる。その結果、視差の影響による合成不良の発生を回避することができる。
【００７９】
図９に戻って、撮影操作無効設定がＯＮされている場合、シャッタボタン１５が押下されたとしても、撮影制御部７９は、シャッタボタン１５からの撮影指示を無効化する。これにより、合成不良の発生を防止することができ、さらに不良画像データのメモリカード２０への記録が防止される。
【００８０】
撮影操作無効設定がＯＦＦされている場合、シャッタボタン１５の半押し操作に応答して撮影準備処理が行われ、さらにシャッタボタン１５の全押し操作に応答して被写体の撮影が実行される。これにより、上述したようにパノラマ静止画像データが生成される。
【００８１】
パノラマ静止画像データの生成後、記録制御部８０は、圧縮・伸張処理回路５６に対して圧縮指令及び警告情報付与指令を発する。圧縮・伸張処理回路５６は、圧縮指令を受けて、圧縮画像データを生成するとともに、警告情報付与指令を受けて、圧縮画像データのＥｘｉｆヘッダ６５に合成不良警告情報を記録する。圧縮画像データ（パノラマ静止画像ファイル６４）は、メディアコントローラ５７を経由してメモリカード２０へ記録される。以下、静止画撮影モードが終了するまで、上述の処理が繰り返し実行される。
【００８２】
［再生モード（パノラマ静止画像）］
図１１に示すように、メモリカードに記録されたパノラマ静止画像の再生表示を行う場合には、モード切替スイッチ２２を再生モードに設定する。再生モードが設定されると、ＣＰＵ２７からのサムネイル画像表示指令に応じて、メモリカード２０から、各圧縮画像データのサムネイル画像が読み出されて表示回路５５へ送られる。これにより、ＬＣＤ１８に、各画像データのサムネイル画像を順番に並べたＩＮＤＥＸ画像が表示される。
【００８３】
十字キー２４や実行キー２５を操作して再生すべき画像が選択されると、ＣＰＵ２７からの画像読出し指令に応じて、選択した圧縮画像データが、メディアコントローラ５７を介して、メモリカード２０から圧縮・伸張処理回路５６へ送られる。圧縮・伸張処理回路５６は、ＣＰＵ２７からの伸張指令を受けて、圧縮画像データを非圧縮のパノラマ静止画像データに変換し、変換したパノラマ静止画像データを表示回路５５へ送る。
【００８４】
再生制御部８１は、パノラマ静止画像データに合成不良警告情報が付帯されていない場合、あるいは、合成不良警告情報が付帯されているが、不良画像再生禁止設定がＯＦＦされている場合、表示回路５５に対して再生表示指令を発する。表示回路５５は、ＣＰＵ２７からの再生表示指令を受けて、パノラマ静止画像をＬＣＤ１８に表示させる。
【００８５】
図１２（Ａ）に示すように、合成不良警告情報が付帯されていないパノラマ静止画像データの場合、ＬＣＤ１８には良好なパノラマ静止画像が表示される。また、インジケータ表示部７０は、パノラマ静止画像データに付帯されている最短被写体距離情報に基づき、インジケータ７３をインジケータ表示領域に表示する。
【００８６】
（Ｂ）に示すように、合成不良警告情報が付帯されている不良画像データの場合、パノラマ静止画像内の最至近被写体がゼブラパターンで表示される。また、警告マーク表示部７２により、警告マーク７５がＬＣＤ１８の警告マーク表示領域に表示される。これにより、不良画像であることが容易に判別可能となる。
【００８７】
図１１に戻って、再生制御部８１は、パノラマ静止画像データに合成不良警告情報が付帯されており、さらに不良画像再生禁止設定がＯＮされている場合、表示回路５５に対してエラーメッセージ表示指令を発する。表示回路５５は、ＣＰＵ２７からのエラーメッセージ表示指令を受けて、例えば「合成不良が発生しています。」といったエラーメッセージをＬＣＤ１８に表示させる。これにより、不良画像を見る時間を削減することができるので、効率的な画像視聴を行うことができる。
【００８８】
以下、再生モードが設定されている間、再生すべき画像の選択操作がなされる度に、上述の処理が繰り返し実行される。
【００８９】
なお、図１３に示すように、ＬＣＤ１８に、各圧縮画像データのサムネイル画像８５を順番に並べたＩＮＤＥＸ画像８６を表示する際に、合成不良警告情報が付帯されている画像データのサムネイル画像８５に警告マーク８７を重ねて表示してもよい。これにより、良好なパノラマ静止画像だけを選択することができるので、効率的な画像視聴を行うことができる。
【００９０】
次に図１４のフローチャートを用いて複眼撮影装置１０のパノラマ動画像撮影処理について説明する。モード切替スイッチ２２を動画撮影モードに設定すると、上述のパノラマ静止画像撮影処理で説明したように、ＬＣＤ１８に左右ライブビュー像が２画面表示される。この状態でシャッタボタン１５が全押しされるとパノラマ動画像の撮影が開始され、一定のフレームレート（例えば、３０フレーム／秒）で被写体の撮影が開始される。撮影により得られた左右フレーム画像データは、順次ＶＲＡＭ２９に取り込まれる。
【００９１】
上述のパノラマ静止画像撮影処理と同様に、新たな左右フレーム画像データがＶＲＡＭ２９に取り込まれる度に、オーバーラップ領域５９の検出処理、被写体距離の算出処理、最短被写体距離の特定処理、最短被写体距離がしきい値未満であるか否かの判定処理が順番に実行される。この判定処理で最短被写体距離がしきい値以上となった場合、ＣＰＵ２７からの指令に基づき、画像合成処理部６１は、判定処理済みの左右フレーム画像データからパノラマフレーム画像データを生成して圧縮・伸張処理回路５６へ送る。
【００９２】
一方、最短被写体距離がしきい値未満となった場合、ＣＰＵ２７からの指令に基づき、重ね合わせ処理部６２は、左右フレーム画像データに対してゼブラパターンの重ね合わせ処理を施すとともに、画像合成処理部６１は、重ね合わせ処理済みの左右フレーム画像データからパノラマフレーム画像データを生成して圧縮・伸張処理回路５６に送る。圧縮・伸張処理回路５６は、記録制御部８０からの圧縮指令を受けて、画像合成処理部６１から逐次入力されるパノラマフレーム画像データに対してデータ圧縮処理を逐次施す。
【００９３】
この際に、記録制御部８０は、データ圧縮処理を施すパノラマフレーム画像データが不良フレーム画像データであり、かつ不良フレーム記録禁止設定がＯＦＦされている場合、圧縮・伸張処理回路５６に対して警告情報付与指令を発する。圧縮・伸張処理回路５６は、警告情報付与指令を受けて、不良フレーム画像データのフレームヘッダ６８に合成不良警告情報を記録する。データ圧縮処理が施された圧縮フレーム画像データは、メモリカード２０に所定のファイル形式（図７参照）で逐次記録される。
【００９４】
また、記録制御部８０は、パノラマフレーム画像データが不良フレーム画像データであり、かつ不良フレーム記録禁止設定がＯＮされている場合、圧縮・伸張処理回路５６及びメディアコントローラ５７に対してスキップ指令を発する。圧縮・伸張処理回路５６及びメディアコントローラ５７は、スキップ指令を受けて、不良フレーム画像データのメモリカード２０への記録を行わない。これにより、メモリカード２０の記録容量の無駄な消費が防止される。なお、不良フレーム記録禁止設定がＯＮされている場合は、最短被写体距離がしきい値未満であると判定された時点で左右フレーム画像データを削除してもよい。
【００９５】
以下、シャッタボタン１５が再度全押しされて、パノラマ動画像撮影処理が終了するまで、上述の各処理が繰り返し実行される。１回の動画撮影で得られた各圧縮フレーム画像データは、上述したように、１つのパノラマ動画像ファイル６６としてメモリカード２０に記録される。
【００９６】
［再生モード（パノラマ動画像）］
メモリカード２０に記録されたパノラマ動画像の再生表示を行う場合には、モード切替スイッチ２２を再生モードに設定する。再生モードが設定されると、上述のパノラマ静止画像再生表示時と同様にして、ＬＣＤ１８に、各パノラマ動画像ファイル６６のサムネイル画像を順番に並べたＩＮＤＥＸ画像が表示される。
【００９７】
十字キー２４などを操作して再生すべき画像が選択されると、ＣＰＵ２７からの画像読出し指令に応じて、選択したパノラマ動画像ファイル６６を構成する圧縮フレーム画像データがメモリカード２０から読み出されて、圧縮・伸張処理回路５６に逐次送られる。圧縮・伸張処理回路５６は、ＣＰＵ２７からの伸張指令を受けて、圧縮フレーム画像データを非圧縮のパノラマフレーム画像データに逐次変換して表示回路５５に出力する。
【００９８】
再生制御部８１は、不良画像再生禁止設定がＯＦＦされている場合、パノラマフレーム画像データが表示回路５５に入力される度に、表示回路５５に対して再生表示指令を行う。
【００９９】
図１５（Ａ）に示すように、表示回路５５は、再生制御部８１からの再生表示指令を受けて、パノラマフレーム画像をＬＣＤ１８に連続的に表示させる。この際に、警告マーク表示部７２は、パノラマフレーム画像データに合成不良警告情報が付帯されている場合、警告マーク８８を不良フレーム画像（図中第３フレーム及び第４フレーム）に重ね合わせて表示させる。
【０１００】
一方、再生制御部８１は、パノラマフレーム画像データに合成不良警告情報が付帯されており、さらに不良画像再生禁止設定がＯＮされている場合、この不良フレーム画像データが表示回路５５に入力されたときに、表示回路５５に対してスキップ指令を行う。
【０１０１】
図１５（Ｂ）に示すように、表示回路５５は、スキップ指令を受けて、不良フレーム画像データの再生表示をスキップする。これにより、例えば、第３及び第４フレームの画像データが不良フレーム画像データであった場合、ＬＣＤ１８に、第２フレームの画像が再生表示された後、第３及び第４フレームの画像をスキップして、第５フレームの画像が再生表示される。これにより、不良画像を見る時間を削減することができる。
【０１０２】
以下、再生モードが設定されている間、再生すべき動画像ファイルの選択操作がなされる度に、上述の処理が繰り返し実行される。
【０１０３】
次に本発明の第２実施形態について説明を行う。第２実施形態では、動画再生時に不良フレーム画像の再生表示をスキップする際に、この不良フレーム画像の代わりに中間フレーム（補間フレーム）画像を生成してＬＣＤ１８に表示する。なお、第２実施形態において、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
【０１０４】
図１６に示すように、圧縮・伸張処理回路５６には、中間フレーム生成回路（補間フレーム画像生成手段）８９が接続されている。中間フレーム生成回路８９は、動画像再生時に不良画像再生禁止設定がＯＮされ、かつ圧縮・伸張処理回路５６により伸張されたパノラマフレーム画像データが不良フレーム画像データである場合に作動する。中間フレーム生成回路８９は、不良フレーム画像データの前後の良好なパノラマフレーム画像データから、中間フレーム画像データを生成する。
【０１０５】
例えば、中間フレーム生成回路８９は、前後の良好なパノラマフレーム画像データを解析し、人物、建造物または車などの主要被写体の輪郭を特徴点として抽出する。次いで、特徴点の重複する部分が共通の主要被写体であると判定し、前フレーム画像と後フレーム画像の主要被写体の座標の平均をとることで、中間フレーム画像における主要被写体の座標を算出する。そして、前後のパノラマフレーム画像データから、主要被写体の周辺部の画像を合成して、中間フレーム画像データを生成する。
【０１０６】
生成された中間フレーム画像データは、不良フレーム画像データに置き換えて、表示回路５５へ出力される。例えば、第３及び第４フレームの画像データが不良フレーム画像データであった場合、第２及び第５フレームの画像データ９０，９１から中間フレーム画像データ９２が生成されて表示回路５５へ出力される。このため、ＬＣＤ１８には、第２フレームの画像が表示された後、第２及び第３フレームの画像の代わりに、中間フレーム画像が表示される。これにより、フレームスキップによる動解像度の低下を抑制することができる。また、フレームの欠落によるブラックアウトを回避することができる。
【０１０７】
上記第１実施形態では、各撮影モード時に最短被写体距離が所定のしきい値未満となる場合、最至近被写体の画像にゼブラパターンを重ね合わせているが、この最至近被写体の判別を容易に行うことが可能であればその表示方法は特に限定されず、ゼブラパターン以外の各種パターンを重ね合わせたり、最至近被写体の画像を赤色表示あるいは点滅表示したりしてもよい。また、ＬＣＤ１８に各種の警告メッセージを表示してもよい。
【０１０８】
上記第１実施形態では、被写体距離演算回路５３がステレオ測距の原理によって被写体距離を算出する場合を例に説明を行ったが、被写体距離を求める方法は特に限定されず、周知の各種の方法を用いてよい。
【０１０９】
上記第１実施形態では、ＬＣＤ１８に表示する警告マーク７５，８７，８８として「！」を例に挙げて説明を行ったが、マークの種類は特に限定はされない。また、警告マーク７５，８７，８８の表示位置や大きさも適宜変更してよい。さらに、警告マーク７５，８７，８８として、不良画像であること示す警告メッセージを表示してもよい。
【０１１０】
上記第２実施形態では、スキップする不良フレーム画像の代わりに中間フレーム画像を生成してＬＣＤ１８に表示しているが、中間フレーム画像の生成を行う代わりに、例えば、不良フレーム画像の前の良好なパノラマフレーム画像の表示をフリーズしてもよい。
【０１１１】
上記第１実施形態では、オーバーラップ領域５９内の最至近被写体の数が１つの場合を例に挙げて説明を行ったが、例えば、複眼撮影装置１０に極端に近い位置に複数の人（人以外でも可）が横一列に並んでいるような場合には、これら全てを最至近被写体としてゼブラパターンなどで表示してもよい。
【０１１２】
上記第１実施形態では、最短被写体距離がしきい値未満となるときに、ライブビュー像中の最至近被写体をゼブラパターンで表示しているが、最至近被写体を、例えば網掛けパターン、最至近被写体を囲む枠パターンなどの各種の警告パターンで表示してもよい。また、この場合には、警告パターンを点滅表示させてもよい。
【０１１３】
上記第１実施形態では、最短被写体距離がしきい値未満となるときに、最至近被写体をゼブラパターンで表示しているが、例えば、しいき値未満の被写体距離にある全ての被写体をゼブラパターンなどで表示してもよい。また、この場合には、被写体距離の大きさに応じて、表示するパターンの種類（ゼブラパターン、網掛けパターン等）や色などを変えてもよい。
【０１１４】
上記各実施形態では、複眼撮影装置を例に挙げて説明を行ったが、複数のカメラユニットと、各カメラユニットの制御及び信号処理を行う本体とから構成される撮影装置など、複数の撮像部により得られた画像に基づきパノラマ画像を生成する各種撮影装置に本発明を適用することができる。
【符号の説明】
【０１１５】
１０  複眼撮影装置
１２  第１撮像部
１３  第２撮像部
１８  ＬＣＤ
２７  ＣＰＵ
５２  オーバーラップ領域検出回路
５９  オーバーラップ領域
６１  画像合成処理部
６２  パターン重ね合わせ処理部
６５  表示回路
７２  警告マーク表示部
７７  最短被写体距離特定部
７８  合成不良警告制御部
７９  撮影制御部
８０  記録制御部
８１  再生制御部
【図１】
2011004340.tif 000005
【図２】
2011004340.tif 000006
【図３】
2011004340.tif 000007
【図４】
2011004340.tif 000008
【図５】
2011004340.tif 000009
【図６】
2011004340.tif 000010
【図７】
2011004340.tif 000011
【図８】
2011004340.tif 000012
【図９】
2011004340.tif 000013
【図１０】
2011004340.tif 000014
【図１１】
2011004340.tif 000015
【図１２】
2011004340.tif 000016
【図１３】
2011004340.tif 000017
【図１４】
2011004340.tif 000018
【図１５】
2011004340.tif 000019
【図１６】
2011004340.tif 000020