(57)【要約】【課題】複数の画像から切り出した短冊領域を連結して３次元画像表示に適用する左目用合成画像と右目用合成画像を生成する装置および方法を提供する。【解決手段】複数画像から切り出した短冊領域を連結して３次元画像表示用の左目用合成画像と右目用合成画像を生成する。画像合成部が視点の異なる左目用合成画像と右目用合成画像を生成可能とするための左および右目用の画像短冊の設定位置の許容範囲をメモリから取得または算出する。この許容範囲に左と右目用の短冊を設定する。具体的には、左目用画像短冊と前記右目用画像短冊の設定領域に重なり領域が発生せず、画像用メモリの格納範囲内となるように短冊設定位置を決定する。これらの短冊設定処理により確実に３次元画像表示処理に適用可能な左目用合成画像と右目用合成画像を生成することができる。【選択図】図１１
2011135246.tif 000002
【特許請求の範囲】
【請求項１】
異なる位置から撮影された複数の画像を入力し、各画像から切り出した短冊領域を連結して合成画像を生成する画像合成部を有し、
前記画像合成部は、
各画像に設定した左目用画像短冊の連結合成処理により３次元画像表示に適用する左目用合成画像を生成し、
各画像に設定した右目用画像短冊の連結合成処理により３次元画像表示に適用する右目用合成画像を生成する構成であり、
３次元画像表示に適用可能な視点の異なる左目用合成画像と右目用合成画像を生成可能とする左目用画像短冊と右目用画像短冊の設定位置の許容範囲をメモリから取得または算出して、該許容範囲に前記左目用画像短冊と右目用画像短冊を設定する処理を行なう画像処理装置。
【請求項２】
前記画像合成部は、
２次元合成画像の生成に適用する画像切り出し領域である２次元合成画像用短冊から、前記左目用画像短冊あるいは前記左目用画像短冊までの離間距離である短冊オフセットの許容最小値と許容最大値を前記許容範囲として前記メモリから取得または算出する処理を行う請求項１に記載の画像処理装置。
【請求項３】
前記画像合成部は、
前記左目用画像短冊と前記右目用画像短冊の設定領域に重なり領域の発生しない短冊設定位置を前記許容範囲として前記メモリから取得または算出する処理を行う請求項１または２に記載の画像処理装置。
【請求項４】
前記画像合成部は、
前記左目用画像短冊と前記右目用画像短冊の設定領域が画像用メモリの格納範囲内となる短冊設定位置を前記許容範囲として前記メモリから取得または算出する処理を行う請求項１〜３いずれかに記載の画像処理装置。
【請求項５】
前記短冊オフセットの許容最小値は、
（ａ）前記複数の画像を撮影した撮像装置の撮像素子の一画素当たりの画角μ、
（ｂ）前記複数の画像を撮影した撮像装置の画像撮影時の移動角速度ｄ、
（ｃ）前記複数の画像を撮影した撮像装置の連写速度ｓ、
上記（ａ）〜（ｃ）の各パラメータを適用して算出される値であり、
前記画像合成部は、前記短冊オフセットの許容最小値を上記（ａ）〜（ｃ）の各パラメータを適用して算出、または算出済みの値を前記メモリから取得する処理を行う請求項２〜４いずれかに記載の画像処理装置。
【請求項６】
前記撮像素子の一画素当たりの画角μは、前記複数の画像一枚当たりの画角αに基づいて算出される値であり、
前記画角αは、
（ｄ）前記複数の画像を撮影した撮像装置のレンズの焦点距離ｆ、
（ｅ）前記複数の画像を撮影した撮像装置の撮像素子の画素ピッチｐ、
（ｆ）前記複数の画像を撮影した撮像装置の撮像素子の水平画素数ｈ、
上記（ｄ）〜（ｆ）の各パラメータを適用して算出される値であり、
前記画像合成部は、前記短冊オフセットの許容最小値を上記（ａ）〜（ｆ）の各パラメータを適用して算出、または算出済みの値を前記メモリから取得する処理を行う請求項５に記載の画像処理装置。
【請求項７】
前記短冊オフセットの許容最大値は、
画像用メモリの格納範囲に対応する画像一枚の水平有効サイズｔと、前記短冊オフセットの許容最小値に基づいて算出される値であり、
前記画像合成部は、前記短冊オフセットの許容最大値を前記水平有効サイズｔと、前記短冊オフセットの許容最小値を適用して算出、または算出済みの値を前記メモリから取得する処理を行う請求項２〜６いずれかに記載の画像処理装置。
【請求項８】
画像を撮影に適用するレンズ部と、
撮影画像の光電変換を行う撮像素子と、
前記請求項１〜７いずれかに記載の画像合成部を備えた撮像装置。
【請求項９】
画像処理装置において画像合成処理を実行する画像処理方法であり、
画像合成部が、異なる位置から撮影された複数の画像を入力し、各画像から切り出した短冊領域を連結して合成画像を生成する画像合成ステップを有し、
前記画像合成ステップは、
３次元画像表示に適用可能な視点の異なる左目用合成画像と右目用合成画像を生成可能とする左目用画像短冊と右目用画像短冊の設定位置の許容範囲をメモリから取得または算出して、該許容範囲に前記左目用画像短冊と右目用画像短冊を設定するステップと、
各画像に設定した左目用画像短冊の連結合成処理により３次元画像表示に適用する左目用合成画像を生成するステップと、
各画像に設定した右目用画像短冊の連結合成処理により３次元画像表示に適用する右目用合成画像を生成するステップと、
を有する画像処理方法。
【請求項１０】
画像処理装置において画像合成処理を実行させるプログラムであり、
画像合成部に、異なる位置から撮影された複数の画像を入力し、各画像から切り出した短冊領域を連結して合成画像を生成させる画像合成ステップを実行させ、
前記画像合成ステップにおいて、
３次元画像表示に適用可能な視点の異なる左目用合成画像と右目用合成画像を生成可能とする左目用画像短冊と右目用画像短冊の設定位置の許容範囲をメモリから取得または算出して、該許容範囲に前記左目用画像短冊と右目用画像短冊を設定するステップと、
各画像に設定した左目用画像短冊の連結合成処理により３次元画像表示に適用する左目用合成画像を生成するステップと、
各画像に設定した右目用画像短冊の連結合成処理により３次元画像表示に適用する右目用合成画像を生成するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、カメラを移動させながら撮影した複数の画像を利用して３次元画像（３Ｄ画像）表示用の画像の生成処理を行う画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
３次元画像（３Ｄ画像またはステレオ画像とも呼ばれる）を生成するためには、異なる視点からの画像、すなわち左目用画像と右目用画像を撮影することが必要となる。これらの異なる視点からの画像を撮影する方法は大別すると２通りに区分できる。
第１の手法は、複数のカメラユニットを用いて同時に異なる視点から被写体を撮像する、いわゆる多眼式カメラを用いた手法である。
第２の手法は、単一のカメラユニットを用いて撮像装置を移動させて、異なる視点からの画像を連続的に撮像する、いわゆる単眼式カメラを用いた手法である。
【０００３】
例えば、上記第１の手法に利用される多眼式カメラシステムは離間した位置にレンズを備え、異なる視点からの被写体を同時に撮影可能とした構成を持つ。しかし、このような多眼式カメラシステムは、複数のカメラユニットが必要なためカメラシステムが高価となるという問題がある。
【０００４】
これに対して、上記第２の手法に利用される単眼式カメラシステムは、従来型のカメラと同様の１つのカメラユニットを備えた構成でよい。１つのカメラユニットを備えたカメラを移動させて異なる視点からの画像を連続的に撮影し、複数の撮影画像を利用して３次元画像を生成するものである。
このように、単眼式カメラシステムを利用する場合、従来型のカメラと同様の１つのカメラユニットのみでよく比較的安価なシステムとして実現できる。
【０００５】
なお、単眼式カメラを移動しながら撮影した画像から被写体の距離情報を得る手法を開示した従来技術として、非特許文献１［「全方位視野の距離情報獲得」（電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，Ｎｏ．４，１９９１）］がある。なお、非特許文献２［「Ｏｍｎｉ−Ｄｉｒｅｃｔｉｏｎａｌ  Ｓｔｅｒｅｏ」ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  Ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  Ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＶＯＬ．１４，Ｎｏ．２，Ｆｅｂｒｕａｒｙ  １９９２］にも非特許文献１と同一の内容の報告が記載されている。
【０００６】
これらの非特許文献１，２は、カメラを回転台上の回転中心から一定距離、離間した円周上に固定して設置し、回転台を回転させながら連続的に画像を撮影して２本の垂直スリットを通して得られる２つの画像を用いて被写体の距離情報を得る手法を開示している。
【０００７】
また特許文献１（特開平１１−１６４３２６号公報）は、非特許文献１，２の構成と同様、カメラを回転台上の回転中心から一定距離おいて設置して回転させながら画像を撮影し、２本のスリットを通して得られる２つの画像を用いることで、３次元画像表示に適用する左目用のパノラマ画像と右目用のパノラマ画像を取得する構成を開示している。
【０００８】
このように、複数の従来技術において、カメラを回転させてスリットを通して得られる画像を用いることで、３次元画像表示に適用する左目用の画像と右目用の画像を取得することが可能であることが開示されている。
【０００９】
一方、カメラを移動させながら画像を撮影して、複数の撮影画像を連結することでパノラマ画像、すなわち２次元の横長画像を生成する手法が知られている。例えば特許文献２（特許第３９２８２２２号公報）や、特許文献３（特許第４２９３０５３号公報）などにパノラマ画像の生成手法が開示されている。
このように２次元のパノラマ画像の生成に際してもカメラの移動による複数の撮影画像が利用される。
【００１０】
上記非特許文献１，２や上記特許文献１は、パノラマ画像の生成処理と同様の撮影処理によって撮影された複数の画像を適用して、所定領域の画像を切り出して連結することで３次元画像としての左目用画像と右目用画像が得られる原理つにいて説明している。
【００１１】
しかし、これらの文献は原理の開示にとどまっており、例えば一般のユーザがカメラを手に持ってカメラを振りながらパノラマ画像を撮影した場合、３次元画像に適用可能な左目用画像と右目用画像を確実に取得するための条件等については明らかにしていない。ユーザが手にカメラを持ってカメラを移動させながら複数の画像を撮影する場合、カメラの移動速度等が状況に応じて変化する。このような様々な撮影条件の下で３次元画像に適用可能な左目用画像と右目用画像を取得するためには、どのような条件が必要となるか等については、例えば上記の文献等の従来技術からは明らかにされていない。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平１１−１６４３２６号公報
【特許文献２】特許第３９２８２２２号公報
【特許文献３】特許第４２９３０５３号公報
【非特許文献】
【００１３】
【非特許文献１】「全方位視野の距離情報獲得」（電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，Ｎｏ．４，１９９１）
【非特許文献２】「Ｏｍｎｉ−Ｄｉｒｅｃｔｉｏｎａｌ  Ｓｔｅｒｅｏ」ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  Ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  Ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＶＯＬ．１４，Ｎｏ．２，Ｆｅｂｒｕａｒｙ  １９９２
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、例えば、上述の問題点に鑑みてなされたものであり、様々な設定の撮影装置や撮影条件において、カメラを移動させて撮影した複数の画像から３次元画像表示に適用する左目用の画像と右目用の画像を確実に生成する制御を行うことを可能とした画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の第１の側面は、
異なる位置から撮影された複数の画像を入力し、各画像から切り出した短冊領域を連結して合成画像を生成する画像合成部を有し、
前記画像合成部は、
各画像に設定した左目用画像短冊の連結合成処理により３次元画像表示に適用する左目用合成画像を生成し、
各画像に設定した右目用画像短冊の連結合成処理により３次元画像表示に適用する右目用合成画像を生成する構成であり、
３次元画像表示に適用可能な視点の異なる左目用合成画像と右目用合成画像を生成可能とする左目用画像短冊と右目用画像短冊の設定位置の許容範囲をメモリから取得または算出して、該許容範囲に前記左目用画像短冊と右目用画像短冊を設定する処理を行なう画像処理装置にある。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記画像合成部は、２次元合成画像の生成に適用する画像切り出し領域である２次元合成画像用短冊から、前記左目用画像短冊あるいは前記左目用画像短冊までの離間距離である短冊オフセットの許容最小値と許容最大値を前記許容範囲として前記メモリから取得または算出する処理を行う。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記画像合成部は、前記左目用画像短冊と前記右目用画像短冊の設定領域に重なり領域の発生しない短冊設定位置を前記許容範囲として前記メモリから取得または算出する処理を行う。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記画像合成部は、前記左目用画像短冊と前記右目用画像短冊の設定領域が画像用メモリの格納範囲内となる短冊設定位置を前記許容範囲として前記メモリから取得または算出する処理を行う。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記短冊オフセットの許容最小値は、
（ａ）前記複数の画像を撮影した撮像装置の撮像素子の一画素当たりの画角μ、
（ｂ）前記複数の画像を撮影した撮像装置の画像撮影時の移動角速度ｄ、
（ｃ）前記複数の画像を撮影した撮像装置の連写速度ｓ、
上記（ａ）〜（ｃ）の各パラメータを適用して算出される値であり、
前記画像合成部は、前記短冊オフセットの許容最小値を上記（ａ）〜（ｃ）の各パラメータを適用して算出、または算出済みの値を前記メモリから取得する処理を行う。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記撮像素子の一画素当たりの画角μは、前記複数の画像一枚当たりの画角αに基づいて算出される値であり、
前記画角αは、
（ｄ）前記複数の画像を撮影した撮像装置のレンズの焦点距離ｆ、
（ｅ）前記複数の画像を撮影した撮像装置の撮像素子の画素ピッチｐ、
（ｆ）前記複数の画像を撮影した撮像装置の撮像素子の水平画素数ｈ、
上記（ｄ）〜（ｆ）の各パラメータを適用して算出される値であり、
前記画像合成部は、前記短冊オフセットの許容最小値を上記（ａ）〜（ｆ）の各パラメータを適用して算出、または算出済みの値を前記メモリから取得する処理を行う。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記短冊オフセットの許容最大値は、画像用メモリの格納範囲に対応する画像一枚の水平有効サイズｔと、前記短冊オフセットの許容最小値に基づいて算出される値であり、前記画像合成部は、前記短冊オフセットの許容最大値を前記水平有効サイズｔと、前記短冊オフセットの許容最小値を適用して算出、または算出済みの値を前記メモリから取得する処理を行う。
【００２２】
さらに、本発明の第２の側面は、
画像を撮影に適用するレンズ部と、
撮影画像の光電変換を行う撮像素子と、
前記請求項１〜７いずれかに記載の画像合成部を備えた撮像装置にある。
【００２３】
さらに、本発明の第３の側面は、
画像処理装置において画像合成処理を実行する画像処理方法であり、
画像合成部が、異なる位置から撮影された複数の画像を入力し、各画像から切り出した短冊領域を連結して合成画像を生成する画像合成ステップを有し、
前記画像合成ステップは、
３次元画像表示に適用可能な視点の異なる左目用合成画像と右目用合成画像を生成可能とする左目用画像短冊と右目用画像短冊の設定位置の許容範囲をメモリから取得または算出して、該許容範囲に前記左目用画像短冊と右目用画像短冊を設定するステップと、
各画像に設定した左目用画像短冊の連結合成処理により３次元画像表示に適用する左目用合成画像を生成するステップと、
各画像に設定した右目用画像短冊の連結合成処理により３次元画像表示に適用する右目用合成画像を生成するステップと、
を有する画像処理方法にある。
【００２４】
さらに、本発明の第４の側面は、
画像処理装置において画像合成処理を実行させるプログラムであり、
画像合成部に、異なる位置から撮影された複数の画像を入力し、各画像から切り出した短冊領域を連結して合成画像を生成させる画像合成ステップを実行させ、
前記画像合成ステップにおいて、
３次元画像表示に適用可能な視点の異なる左目用合成画像と右目用合成画像を生成可能とする左目用画像短冊と右目用画像短冊の設定位置の許容範囲をメモリから取得または算出して、該許容範囲に前記左目用画像短冊と右目用画像短冊を設定するステップと、
各画像に設定した左目用画像短冊の連結合成処理により３次元画像表示に適用する左目用合成画像を生成するステップと、
各画像に設定した右目用画像短冊の連結合成処理により３次元画像表示に適用する右目用合成画像を生成するステップと、
を実行させるプログラムにある。
【００２５】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２７】
本発明の一実施例の構成によれば、異なる位置から撮影された複数の画像から切り出した短冊領域を連結して３次元画像表示に適用する左目用合成画像と右目用合成画像を生成する画像合成部を有する。画像合成部は３次元画像表示に適用可能な視点の異なる左目用合成画像と右目用合成画像を生成可能とする左目用画像短冊と右目用画像短冊の設定位置の許容範囲をメモリから取得または算出して、該許容範囲に左目用画像短冊と右目用画像短冊を設定する処理を行なう。具体的には、左目用画像短冊と前記右目用画像短冊の設定領域に重なり領域が発生せず、画像用メモリの格納範囲内となるように短冊設定位置を決定する。これらの短冊設定処理により確実に３次元画像表示処理に適用可能な左目用合成画像と右目用合成画像を生成することができる。
【図面の簡単な説明】
【００２８】
【図１】パノラマ画像の生成処理について説明する図である。
【図２】３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の生成処理について説明する図である。
【図３】３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の生成原理について説明する図である。
【図４】仮想撮像面を用いた逆モデルについて説明する図である。
【図５】パノラマ画像（３Ｄパノラマ画像）の撮影処理のモデルについて説明する図である。
【図６】パノラマ画像（３Ｄパノラマ画像）の撮影処理において撮影される画像と左目用画像および右目用画像の短冊の設定例について説明する図である。
【図７】短冊領域の連結処理と、３Ｄ左目用合成画像（３ＤパノラマＬ画像）および３Ｄ右目用合成画像（３ＤパノラマＲ画像）の生成処理例について説明する図である。
【図８】カメラ移動速度と短冊幅との対応について説明する図である。
【図９】２つの短冊領域間に重複領域（オーバラップ領域）が設定された場合の問題点について説明する図である。
【図１０】２つの短冊領域間に重複領域（オーバラップ領域）が設定された場合の問題点について説明する図である。
【図１１】本発明の画像処理装置の一実施例である撮像装置の構成例について説明する図である。
【図１２】本発明の画像処理装置の実行する画像撮影および合成処理シーケンスについて説明するフローチャートを示す図である。
【図１３】カメラの移動速度が早い場合の左目用画像短冊と右目用画像短冊の重なり領域の発生態様について説明する図である。
【図１４】左目用画像短冊と、右目用画像短冊間のオフセットが少ない場合の重なり領域の発生態様について説明する図である。
【図１５】左目用画像短冊と右目用画像短冊間のオフセットが過大になることで合成画像生成が不可能になる場合の例について説明する図である。
【図１６】左目用画像短冊と右目用画像短冊間のオフセットが過大になることで合成画像生成が不可能になる場合の例について説明する図である。
【図１７】画像を撮影する撮像装置（カメラ）の構成例について説明する図である。
【図１８】連写画像間の移動量（カメラの振り角速度）に応じたオーバーラップやデータ不足を回避するためのパラメータのターゲット範囲であるオフセット許容量について示す図である。
【図１９】連写画像間の移動量（カメラの振り角速度）に応じたオーバーラップやデータ不足を回避するためのパラメータのターゲット範囲であるオフセット許容量について示す図である。
【図２０】画像合成部２１０の構成と処理について説明する図である。
【図２１】画像合成部２１０の構成と処理について説明する図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら、本発明の画像処理装置、撮像装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．パノラマ画像の生成と３次元（３Ｄ）画像生成処理の基本構成について
２．カメラ移動により撮影した複数画像の短冊領域を利用した３Ｄ画像生成における問題点
３．本発明の画像処理装置の構成例について
４．画像撮影および画像処理シーケンスについて
５．短冊の重複領域（オーバラップ領域）の発生を防止するための制御について
６．短冊オフセットの上限について
７．短冊オフセットの制御処理について
８．画像合成部の構成と処理の具体例について
【００３０】
［１．パノラマ画像の生成と３次元（３Ｄ）画像生成処理の基本構成について］
本発明は、撮像装置（カメラ）を移動させながら連続的に撮影した複数の画像を用い、各画像から短冊状に切り出した領域（短冊領域）を連結して３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を生成する処理に関する。
【００３１】
なお、カメラを移動させながら連続的に撮影した複数の画像を用いて２次元のパノラマ画像（２Ｄパノラマ画像）を生成することを可能としたカメラは、すでに実現され利用されている。まず、２次元合成画像として生成されるパノラマ画像（２Ｄパノラマ画像）の生成処理について図１を参照して説明する。図１には、
（１）撮影処理
（２）撮影画像
（３）２次元合成画像（２Ｄパノラマ画像）
これらを説明する図を示している。
【００３２】
ユーザは、カメラ１０をパノラマ撮影モードにして、カメラ１０を手に持ち、シャッターを押して図１（１）に示すように左（Ａ点）から右（Ｂ点）にカメラを移動させる。カメラ１０はパノラマ撮影モード設定下でユーザによるシャッター押下を検出すると、連続的な画像撮影を実行する。例えば、数１０〜１００枚程度の画像を連続的に撮影する。
【００３３】
これらの画像が図１（２）に示す画像２０である。これら複数の画像２０は、カメラ１０を移動させながら連続撮影した画像であり、異なる視点からの画像となる。例えば１００枚の異なる視点から撮影された画像２０がメモリ上に順次記録される。カメラ１０のデータ処理部は、図１（２）に示す複数画像２０をメモリから読み出して、各画像からパノラマ画像を生成するための短冊領域を切り出して、切り出した短冊領域を連結する処理を実行して図１（３）に示す２Ｄパノラマ画像３０を生成する。
【００３４】
図１（３）に示す２Ｄパノラマ画像３０は、２次元（２Ｄ）の画像であり、単に、撮影画像の一部を切り出して連結することで横長にした画像である。図１（３）に示す点線が画像の連結部を示している。各画像２０の切り出し領域を短冊領域と呼ぶ。
【００３５】
本発明の画像処理装置あるいは撮像装置は、この図１に示すと同様の画像撮影処理、すなわち、図１（１）に示すようにカメラを移動させながら連続撮影した複数の画像を利用して３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を生成する。
【００３６】
この左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を生成する処理の基本構成について図２を参照して説明する。
図２（ａ）には、図１（２）に示すパノラマ撮影において撮影された１枚の画像２０を示している。
【００３７】
３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）は、図１を参照して説明した２Ｄパノラマ画像の生成処理と同様、この画像２０から所定の短冊領域を切り出して連結することで生成する。
ただし、切り出し領域とする短冊領域は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）とでは異なる位置とする。
【００３８】
図２（ａ）に示すように、左目用画像短冊（Ｌ画像短冊）５１と、右目用画像短冊（Ｒ画像短冊）５２は、切り出し位置が異なっている。図２には１つの画像２０についてのみ示しているが、図１（２）に示すカメラを移動させて撮影した複数の画像各々について、異なる切り出し位置の左目用画像短冊（Ｌ画像短冊）と、右目用画像短冊（Ｒ画像短冊）を各々設定する。
【００３９】
その後、左目用画像短冊（Ｌ画像短冊）のみを集めて連結することで、図２（ｂ１）３Ｄ左目用パノラマ画像（３ＤパノラマＬ画像）を生成することができる。
また、右目用画像短冊（Ｒ画像短冊）のみを集めて連結することで、図２（ｂ２）３Ｄ右目用パノラマ画像（３ＤパノラマＲ画像）を生成することができる。
【００４０】
このように、カメラを移動させながら撮影した複数画像各々からの切り出し位置を異ならせて設定した短冊を連結することで、３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を生成することが可能となる。図３を参照してこの原理について説明する。
【００４１】
図３には、カメラ１０を移動させて２つの撮影地点（ａ），（ｂ）において被写体８０を撮影した状況を示している。（ａ）地点では被写体８０の画像は、カメラ１０の撮像素子７０の左目用画像短冊（Ｌ画像短冊）５１に左側から見た画像が記録される。次に、カメラ１０が移動した（ｂ）地点では被写体８０の画像は、カメラ１０の撮像素子７０の右目用画像短冊（Ｒ画像短冊）５２に右側から見た画像が記録される。
【００４２】
このように、同一被写体に対する異なる視点からの画像が撮像素子７０の所定領域（短冊領域）に記録される。
これらを個別に抽出、すなわち、左目用画像短冊（Ｌ画像短冊）のみを集めて連結することで、図２（ｂ１）３Ｄ左目用パノラマ画像（３ＤパノラマＬ画像）が生成され、右目用画像短冊（Ｒ画像短冊）のみを集めて連結することで、図２（ｂ２）３Ｄ右目用パノラマ画像（３ＤパノラマＲ画像）が生成される。
【００４３】
なお、図３では、理解を容易にするためカメラ１０が被写体８０の左側から右側に被写体をクロスする移動の設定として示しているが、このようにカメラ１０が被写体８０をクロスする移動を行うことは必須ではない。カメラ１０の撮像素子７０の所定領域に異なる視点からの画像が記録できれば、３Ｄ画像表示に適用する左目用画像と右目用画像を生成することができる。
【００４４】
次に、図４を参照して、以下の説明において適用する仮想撮像面を用いた逆モデルについて説明する。図４には、
（ａ）画像撮影構成
（ｂ）順モデル
（ｃ）逆モデル
これらの各図を示している。
【００４５】
図４（ａ）に示す画像撮影構成は、図３を参照して説明したと同様のパノラマ画像の撮影時の処理構成を示す図である。
図４（ｂ）は、図４（ａ）に示す撮影処理において実際にカメラ１０内の撮像素子７０に撮り込まれる画像の例を示している。
撮像素子７０には、図４（ｂ）に示すように左目用画像７２、右目用画像７３が上下反転して記録される。このような反転した画像を利用して説明すると混乱しやすいため、以下の説明では、図４（ｃ）に示す逆モデルを利用して説明する。
なお、この逆モデルは撮像装置の画像の解説等においては頻繁に利用されるモデルである。
【００４６】
図４（ｃ）に示す逆モデルは、カメラの焦点に対応する光学中心１０２の前方に仮想撮像素子１０１を設定し、この仮想撮像素子１０１に被写体像が撮り込まれるものと想定している。図４（ｃ）に示すように仮想撮像素子１０１には、カメラ前方左側の被写体Ａ９１が左側、カメラ前方右側の被写体Ｂ９２が右側に撮り込まれ、上下も反転しない設定となり、実際の被写体の位置関係をそのまま反映している。すなわち、仮想撮像素子１０１上の画像は、実際の撮影画像と同じ画像データである。
【００４７】
以下の説明では、この仮想撮像素子１０１を用いた逆モデルを適用して説明を行う。
ただし、図４（ｃ）に示すように、仮想撮像素子１０１上では、左目用画像（Ｌ画像）１１１は、仮想撮像素子１０１上の右側に撮り込まれ、右目用画像（Ｒ画像）１１２は仮想撮像素子１０１上の左側に撮り込まる。
【００４８】
［２．カメラ移動により撮影した複数画像の短冊領域を利用した３Ｄ画像生成における問題点］
次に、カメラ移動により撮影した複数画像の短冊領域を利用した３Ｄ画像生成における問題点について説明する。
【００４９】
パノラマ画像（３Ｄパノラマ画像）の撮影処理のモデルとして、図５に示す撮影モデルを想定する。図５に示すように、カメラ１００の光学中心１０２が回転中心である回転軸Ｐから距離Ｒ（回転半径）だけ離れた位置に設定されるようにカメラ１００を置く。
仮想撮像面１０１は光学中心１０２から、焦点距離ｆだけ回転軸Ｐから外側に設定される。
このような設定で、カメラ１００を回転軸Ｐ回りに右回り（ＡからＢ方向）に回転させて、連続的に複数枚の画像を撮影する。
【００５０】
各撮影ポイントにおいて、左目用画像短冊１１１、右目用画像短冊１１２の各画像が仮想撮像素子１０１上に記録される。
記録画像は例えば図６に示すような構成となる。
図６は、カメラ１００によって撮影された画像１１０を示している。なお、この画像１１０は仮想撮像面１０１上の画像と同じである。
画像１１０に対して、図６に示すように画像中心部から左にオフセットさせて短冊状に切り抜いた領域（短冊領域）を右目用画像短冊１１２とし、右にオフセットさせて短冊状に切り抜いた領域（短冊領域）を左目用画像短冊１１１とする。
【００５１】
なお、図６には、参考として２次元（２Ｄ）パノラマ画像生成時に利用する２Ｄパノラマ画像用短冊１１５を示している。
図６に示すように、２次元合成画像用の短冊である２Ｄパノラマ画像短冊１１５と左目用画像短冊１１１との距離、および２Ｄパノラマ画像短冊１１５と右目用画像短冊１１２との距離を、
「オフセット」、または「短冊オフセット」
と定義する。
さらに、左目用画像短冊１１１と右目用画像短冊１１２との距離を、
「短冊間オフセット」
と定義する。
なお、
短冊間オフセット＝（短冊オフセット）×２
となる。
【００５２】
短冊幅ｗは、２Ｄパノラマ画像短冊１１５と、左目用画像短冊１１１と、右目用画像短冊１１２ともすべて共通の幅ｗとなる。この短冊幅は、カメラの移動速度等によって変化する。カメラの移動速度が早い場合は短冊幅ｗは広くなり、遅い場合は狭くなる。この点については後段でさらに説明する。
【００５３】
短冊オフセットや短冊間オセットは様々な値に設定可能である。例えば短冊オフセットを大きくすれば、左目用画像と右目用画像の視差がより大きくなり、短冊オフセットを小さくすれば、左目用画像と右目用画像の視差が小さくなる。
【００５４】
短冊オフセット＝０とした場合は、
左目用画像短冊１１１＝右目用画像短冊１１２＝２Ｄパノラマ画像短冊１１５
となる。
この場合は、左目用画像短冊１１１を合成して得られる左目用合成画像（左目用パノラマ画像）と、右目用画像短冊１１２を合成して得られる右目用合成画像（右目用パノラマ画像）は全く同じ画像、すなわち、２Ｄパノラマ画像短冊１１５を合成して得られる２次元パノラマ画像と同じ画像となり、３次元画像表示には利用できなくなる。
なお、以下の説明では、短冊幅ｗや、短冊オフセット、短冊間オフセットの長さは画素数（ｐｉｘｅｌ）によって規定される値として説明する。
【００５５】
カメラ１００内のデータ処理部は、カメラ１００を移動させながら連続撮像された画像間の動きベクトルを求め、前述した短冊領域の絵柄が繋がるように位置あわせをしながら、各画像から切り出す短冊領域を順次決定し、各画像から切り出した短冊領域を連結する。
【００５６】
すなわち各画像から左目用画像短冊１１１のみを選択して連結合成して左目用合成画像（左目用パノラマ画像）を生成し、右目用画像短冊１１２のみを選択して連結合成して右目用合成画像（右目用パノラマ画像）を生成する。
【００５７】
図７（１）は短冊領域の連結処理例を示す図である。各画像の撮影時間間隔をΔｔとして、撮影時間：Ｔ＝０〜ｎΔｔの間にｎ＋１枚の画像を撮影したことを想定している。これらｎ＋１枚の各画像から取り出した短冊領域を連結する。
【００５８】
ただし、３Ｄ左目用合成画像（３ＤパノラマＬ画像）を生成する場合は、左目用画像短冊（Ｌ画像短冊）１１１のみを抽出して連結する。また、３Ｄ右目用合成画像（３ＤパノラマＲ画像）を生成する場合は、右目用画像短冊（Ｒ画像短冊）１１２のみを抽出して連結する。
【００５９】
このように左目用画像短冊（Ｌ画像短冊）１１１のみを集めて連結することで、図７（２ａ）３Ｄ左目用合成画像（３ＤパノラマＬ画像）が生成される。
また、右目用画像短冊（Ｒ画像短冊）１１２のみを集めて連結することで、図７（２ｂ）３Ｄ右目用合成画像（３ＤパノラマＲ画像）が生成される。
【００６０】
図６、図７を参照して説明したように、
画像１００の中心から右側にオフセットした短冊領域をつなぎ合わせて、図７（２ａ）３Ｄ左目用合成画像（３ＤパノラマＬ画像）が生成される。
画像１００の中心から左側にオフセットした短冊領域をつなぎ合わせて、図７（２ｂ）３Ｄ右目用合成画像（３ＤパノラマＲ画像）が生成される。
【００６１】
これら２枚の画像には、先に図３を参照して説明したように、基本的に同じ被写体が写っているが、同じ被写体でも互いに異なる位置から撮像されているので、視差が生じている。これら視差を有する２つの画像を３Ｄ（ステレオ）画像を表示可能な表示装置に表示することで、撮像対象の被写体を立体的に表示することができる。
【００６２】
なお、３Ｄ画像の表示方式には様々な方式がある。
例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する３Ｄ画像表示方式、あるいは、液晶シャッターを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する３Ｄ画像表示方式などがある。
上述した短冊連結処理によって生成された左目用画像、右目用画像は、これらの各方式に適用可能である。
【００６３】
しかし、このようにカメラ１００を移動させながら連続撮像された複数の画像の各々から短冊領域を切り出して左目用画像と右目用画像を生成した場合、３次元（３Ｄ）画像として適用できない画像が生成されてしまう場合がある。以下、この問題点について説明する。
【００６４】
各短冊領域を切り出して、切り出した短冊領域を連結してパノラマ画像等の１つの合成画像を生成する場合、画像間の動きベクトルに依存して各画像から切り出す短冊幅が変化する。すなわち、カメラ移動速度に応じて、各画像から切り出す短冊幅が変化する。カメラ移動速度と短冊幅との対応について図８を参照して説明する。
【００６５】
図８（ａ）に示すように、カメラ移動速度が早い場合は、連続して撮影する画像（フレームｆ０１〜ｆ０４）の間の重複領域が少なくなる。この場合、各画像から抽出すべき短冊幅［ｗ］は広くなる。
一方、図８（ｂ）に示すように、カメラ移動速度が早い場合は、連続して撮影する画像（フレームｆ０１〜ｆ０４）の間の重複領域が多くなる。この場合、各画像から抽出すべき短冊幅［ｗ］は狭くなる。
例えばカメラの移動速度が早すぎて、図８（ｃ）のような状況である場合、画像の切り出しの連結によるパノラマ画像の生成は不可能となる。
この短冊幅［ｗ］の設定は２Ｄパノラマ画像用の短冊でも、３Ｄ用の合成画像に用いる左右の目用の画像の各短冊の場合も同じである。
【００６６】
ただし、３Ｄ画像表示に適用する左目用画像と右目用画像の短冊を各撮影画像に設定する場合は、以下のような問題がある。
第１の問題は、１つの画像に設定する左目用画像短冊領域と右目用画像短冊領域の間に十分な間隔が無いと、３Ｄ画像として成立しない場合があるという問題である。
これは、被写体に対する異なる視点からの画像を取得できなくなることに起因する。すなわち２つの異なる視点からの視差画像を取得できない場合が発生するということである。
【００６７】
このような状況は、１つの画像に設定する左目用画像短冊領域と右目用画像短冊領域の間に十分な間隔が無くなり、２つの短冊領域間に重複領域（オーバラップ領域）が設定された場合に発生する。重複領域が発生すると一枚の撮像画から左目用にも右目用にも同じ画像を使用する共通使用領域が生じることになる。この結果、この共通使用領域は、２つの異なる視点からの画像が設定されない領域となってしまう。
【００６８】
図９、図１０を参照してこの問題点について説明する。
図９には１つの撮影画像に対する短冊領域設定態様として２つの例を示している。
（ａ）短冊の重なり領域がない場合
（ｂ）短冊の重なり領域がある場合
これらの２つの例である。
【００６９】
図９（ａ）に示す例では、１つの画像１００に設定される左目用画像短冊領域１１１と、右目用画像短冊領域１１２とが離間して設定され、左目用画像短冊領域１１１と、右目用画像短冊領域１１２とには重なり領域（オーバーラップ領域）が存在していない。
【００７０】
一方、図９（ｂ）に示す例では、１つの画像１００に設定される左目用画像短冊領域１１１と、右目用画像短冊領域１１２とが重なって設定され、左目用画像短冊領域１１１と、右目用画像短冊領域１１２とには重なり領域（オーバーラップ領域）１１３が存在する。
【００７１】
この図９（ｂ）のように左目用画像短冊領域１１１と、右目用画像短冊領域１１２とが重なり、重なり領域（オーバーラップ領域）１１３が存在する場合、３Ｄ画像に適用するための視差画像が取得できなくなる。この状況の具体例について図１０を参照して説明する。
【００７２】
図１０（１）は被写体ａ〜ｄを撮影した画像ｆ０１と画像ｆ０２を示している。画像ｆ０１，ｆ０２はカメラを移動して連続撮影した画像である。
図１０（１）に示すフレームｆ０１には被写体ａ〜ｄが記録され、フレームｆ０２にも、カメラの移動量に従ってずれた位置に被写体ａ〜ｄが記録されている。
【００７３】
先行して撮影されたフレームｆ０１には、
右目用画像短冊ｆ０１Ｒに被写体ａ，ｂ、
左目用画像短冊ｆ０１Ｌに被写体ｂ，ｃ、
これらの被写体が記録されている。
右目用画像短冊ｆ０１Ｒと、左目用画像短冊ｆ０１Ｌには重なり領域が存在し、
重なり領域に被写体ｂが記録されている。
【００７４】
また、後続して撮影されたフレームｆ０２には、
右目用画像短冊ｆ０２Ｒに被写体ｃ，ｄ、
左目用画像短冊ｆ０２Ｌに被写体ｄ
これらの被写体が記録されている。
右目用画像短冊ｆ０２Ｒと、左目用画像短冊ｆ０２Ｌには重なり領域が存在し、
重なり領域に被写体ｄの一部が記録されている。
【００７５】
これらの画像ｆ０１，ｆ０２・・・から３Ｄ画像表示に適用する左目用パノラマ画像と右目用パノラマ画像を生成する場合、
左目用パノラマ画像は、左目用画像短冊のみを抽出して連結する合成処理により生成される。
右目用パノラマ画像は、右目用画像短冊のみを抽出して連結する合成処理により生成される。
これらの合成処理の結果、得られる合成画像が図１０（２）に示す２つのパノラマ画像である。
【００７６】
この図１０（２）に示す２つの合成画像（パノラマ画像）において、
右目用パノラマ画像に含まれる被写体（ｂ）は、図１０（１）に示す画像フレームｆ０１Ｌの右目用画像短冊ｆ０１Ｒに記録された画像である。
また、左目用パノラマ画像に含まれる被写体（ｂ）も、図１０（１）に示す画像フレームｆ０１Ｌの左目用画像短冊ｆ０１Ｌに記録された画像である。
すなわち、これら２つのパノラマ画像に含まれる被写体（ｂ）の画像は、短冊の重複領域の画像であり、フレームｆ０１を撮影した１つの視点から撮影された画像となってしまう。
【００７７】
このように被写体（ｂ）の画像は、左目用パノラマ画像と右目用パノラマ画像とで、同じ視点からの画像が共通に使用されてしまうことになり、３Ｄ画像として利用可能な視差のある２つの画像の組み合わせではなくなってしまう。結果としてこれらのパノラマ画像を利用して３Ｄ画像表示を行っても被写体ｂの部分は同じ画像のみが表示され、３Ｄ画像ではなく平面的な２次元の２Ｄ画像として表示されることになる。
【００７８】
このように短冊領域に重複領域が発生すると、一部領域が２Ｄ画像、一部領域が３Ｄ画像とした合成画像（パノラマ画像）が生成される。これにより、合成画像の一部に立体感の不連続な領域が発生する。このような合成画像を３Ｄ（ステレオ）表示装置で表示すると立体視した際に不自然に沈み込みだり飛び出たりして見えてしまう。
【００７９】
なお、左目用画像短冊領域と、右目用画像短冊領域間に重なり領域が発生しないようにするためには、所定の移動速度でカメラを移動させるなど、撮影処理に際して注意が必要となる。しかし、一方、左目用と右目用に用いる短冊領域の重なりを避けるように各短冊領域間のスペースを大きくするような撮影処理を行うと、必要な短冊領域が、画像の端部より外側の画像領域をはみ出してしまうこともある。このような事態が発生すると、画像の連結処理自体が不可能となるという問題が発生する。
【００８０】
本発明は、このように３Ｄ画像に適用するための左目用画像と右目用画像を移動して撮影された複数画像に設定した短冊領域を連結する合成処理によって生成する構成において、３Ｄ画像として成立する２つの異なる視点からの合成画像を確実に生成可能とするための構成を提供する。以下、この処理の詳細について説明する。
【００８１】
［３．本発明の画像処理装置の構成例について］
まず、本発明の画像処理装置の一実施例として撮像装置の構成例について図１１を参照して説明する。
図１１に示す撮像装置２００は、先に図１を参照して説明したカメラ１０に相当し、例えばユーザが手に持ち、パノラマ撮影モードで複数の画像を連続撮影することが可能な構成を持つ。
【００８２】
被写体からの光はレンズ系２０１を経て撮像素子２０２に入射する．撮像素子２０２は例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーによって構成される。
【００８３】
撮像素子２０２に入射した被写体像は、撮像素子２０２によって電気信号に変換される。なお、図示しないが、撮像素子２０２は所定の信号処理回路を有し、信号処理回路において変換された電気信号をさらにデジタル画像データに変換して、画像信号処理部２０３に供給する。
【００８４】
画像信号処理部２０３では、ガンマ補正や輪郭強調補正等の画像信号処理を行い、信号処理結果としての画像信号を表示部２０４に表示する。
さらに、画像信号処理部２０３の処理結果としての画像信号は、
合成処理に適用するための画像メモリである画像メモリ（合成処理用）２０５、
連続撮影された各画像間の移動量を検出するための画像メモリである画像メモリ（移動量検出用）２０６、
各画像間の移動量を算出する移動量算出部２０７、
これらの各部に提供される。
【００８５】
移動量検出部２０７は、画像信号処理部２０３から供給される画像信号とともに、画像メモリ（移動量検出用）２０６に保存された１フレーム前の画像を取得し、現在の画像と１フレーム前の画像の移動量を検出する。例えば連続して撮影された２つの画像を構成する画素間のマッチング処理、すなわち同一被写体の撮影領域を判別するマッチング処理を実行して、各画像間での移動した画素数を算出するものである。なお、基本的には被写体は静止していると仮定した処理を行う。移動被写体が存在する場合は、画像全体の動きベクトルと異なる動きベクトルが検出されるが、これらの移動被写体に対応する動きベクトルは検出対象外として処理を行う。すなわち、カメラ移動に伴って発生する画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバルモーションベクトル）を検出する。
【００８６】
なお移動量は例えば移動画素数として算出する。画像ｎの移動量は、画像ｎと、先行画像ｎ−１との比較により実行し、検出された移動量（画素数）を画像ｎに対応する移動量として移動量メモリ２０８に格納する。
【００８７】
なお、画像メモリ（合成処理用）２０５には、連続撮影された画像の合成処理、すなわちパノラマ画像を生成するための画像を保存するメモリである。この画像メモリ（合成処理用）２０５は、パノラマ撮影モードで撮影された例えばｎ＋１枚の画像のすべての画像を保存する構成としてもよいが、例えば画像の端部を切り落とし、パノラマ画像の生成に必要となる短冊領域を確保できるような画像の中央領域のみを選択して保存しておく設定としてもよい。このような設定とすることで、必要とするメモリ容量を削減することが可能となる。
【００８８】
撮影終了後、画像合成部２１０は、画像メモリ（合成処理用）２０５から画像を取り出して短冊領域を切り出して連結する画像合成処理を実行し、左目用合成画像（左目用パノラマ画像）と、右目用合成画像（右目用パノラマ画像）を生成する。
【００８９】
画像合成部２１０は、撮影終了後に、画像メモリ(合成処理用)２０５から撮影中に保存された複数の画像（あるいは部分画像）とともに、移動量メモリ２０８に保存された各画像対応の移動量、さらにメモリ２０９から左目用画像短冊と右目用画像短冊の設定位置を決定するための許容オフセット情報、あるいは許容オフセットを算出するための各種パラメータを入力する。
【００９０】
画像合成部２１０は、これらの入力情報を用いて連続して撮影された画像に左目用画像短冊と右目用画像短冊を設定し、これらを切り出して連結合成する処理を実行して左目用合成画像（左目用パノラマ画像）と、右目用合成画像（右目用パノラマ画像）を生成する。さらに、各画像についてＪＰＥＧ等の圧縮処理を行った後、記録部（記録メディア）２１１に記録する。
なお、画像合成部２１０は、の具体的構成例と処理については後段で詳細に説明する。
【００９１】
記録部（記録メディア）２１１は、画像合成部２１０において合成された合成画像、すなわち、左目用合成画像（左目用パノラマ画像）と、右目用合成画像（右目用パノラマ画像を保存する。
記録部（記録メディア）２１１は、デジタル信号を記録可能な記録媒体であれば、どのような記録媒体でも良く、例えばハードディスク、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＭＤ（Ｍｉｎｉ  Ｄｉｓｋ  ）、半導体メモリ、磁気テープといった記録媒体を用いることができる。
【００９２】
なお、図１１には示していないが、図１１に示す構成以外に撮像装置２００はユーザによる操作の可能なシャッターや、モード設定処理などの各種入力を行なうための入力操作部、さらに、撮像装置２００において実行される処理の制御を行う制御部や、制御部他の各構成部での処理のプログラム、パラメータを記録した記憶部（メモリ）等を有する。
【００９３】
図１１に示す撮像装置２００の各構成部の処理やデータ入出力は、撮像装置２００内の制御部の制御に従って行われる。制御部は、撮像装置２００内のメモリに予め格納されたプログラムを読み出して、プログラムに従って、撮影画像の取得、データ処理、合成画像の生成、生成した合成画像の記録処理、あるいは表示処理等、撮像装置２００において実行される処理の全般的な制御を実行する。
【００９４】
［４．画像撮影および画像処理シーケンスについて］
次に、図１２に示すフローチャートを参照して本発明の画像処理装置の実行する画像撮影および合成処理シーケンスの一例について説明する。
図１２に示すフローチャートに従った処理は、例えば図１１に示す撮像装置２００内の制御部の制御のもとに実行される。
図１２に示すフローチャートの各ステップの処理について説明する。
まず、画像処理装置（例えば撮像装置２００）は電源ＯＮにより、ハードウェアの診断や初期化を行った後、ステップＳ１０１へ移行する。
【００９５】
ステップＳ１０１では、各種の撮影パラメータを計算する。このステップＳ１０１では、例えば露出計により識別された明るさに関する情報を取得し、絞り値やシャッター速度等の撮影パラメータを計算する。
【００９６】
次にステップＳ１０２へ移行し、制御部は、ユーザによるシャッター操作が行われたか否かを判定する。なお、ここでは、既に３Ｄ画像パノラマ撮影モードに設定されているものとする。
３Ｄ画像パノラマ撮影モードではユーザのシャッター操作により複数毎の画像を連続撮影し、撮影画像から左目用画像短冊と右目用画像短冊を切り出して３Ｄ画像表示に適用可能な左目用合成画像（パノラマ画像）と右目用合成画像（パノラマ画像）を生成して記録する処理が実行される。
【００９７】
ステップＳ１０２において、制御部がユーザによるシャッター操作の検出がなされない場合は、ステップＳ１０１に戻る。
一方、ステップＳ１０２において、制御部がユーザによるシャッター操作があったことを検出するとステップＳ１０３に進む。
ステップＳ１０３では、制御部は、ステップＳ１０１において計算したパラメータに基づく制御を行い撮影処理を開始する。具体的には、例えば、図１１に示すレンズ系２０１の絞り駆動部の調整等を実行して、画像の撮影を開始する。
【００９８】
画像の撮影処理は、連続的に複数の画像を撮影する処理として行われる。図１１に示す撮像素子２０２から連続撮影画像各々に対応する電気信号が、順次読み出されて画像信号処理部２０３においてガンマ補正や輪郭強調補正等の処理が実行され、処理結果が表示部２０４に表示されるとともに、各メモリ２０５，２０６、移動量検出部２０７に順次、供給される。
【００９９】
次にステップＳ１０４に移行し、画像間移動量を算出する。この処理は、図１１に示す移動量検出部２０７の処理である。
移動量検出部２０７は、画像信号処理部２０３から供給される画像信号とともに、画像メモリ（移動量検出用）２０６に保存された１フレーム前の画像を取得し、現在の画像と１フレーム前の画像の移動量を検出する。
【０１００】
なお、ここで算出する移動量は、前述したように例えば連続して撮影された２つの画像を構成する画素間のマッチング処理、すなわち同一被写体の撮影領域を判別するマッチング処理を実行して、各画像間での移動した画素数を算出するものである。なお、基本的には被写体は静止していると仮定した処理を行う。移動被写体が存在する場合は、画像全体の動きベクトルと異なる動きベクトルが検出されるが、これらの移動被写体に対応する動きベクトルは検出対象外として処理を行う。すなわち、カメラ移動に伴って発生する画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバルモーションベクトル）を検出する。
【０１０１】
なお移動量は例えば移動画素数として算出する。画像ｎの移動量は、画像ｎと、先行画像ｎ−１との比較により実行し、検出された移動量（画素数）を画像ｎに対応する移動量として移動量メモリ２０８に格納する。
この移動利用保存処理がステップＳ１０５の保存処理に対応する。ステップＳ１０５では、ステップＳ１０４で検出した画像間の移動量を各連写画像のＩＤと関連付けて、図１１に示す移動量メモリ２０８に保存する。
【０１０２】
次に、ステップＳ１０６に移行し、ステップＳ１０３において撮影され、画像信号処理部２０３において処理された画像を図１１に示す画像メモリ（合成処理用）２０５に格納する。なお、前述したように、画像メモリ（合成処理用）２０５は、パノラマ撮影モード（または３Ｄ画像パノラマ撮影モード）で撮影された例えばｎ＋１枚の画像のすべての画像を保存する構成としてもよいが、例えば画像の端部を切り落とし、パノラマ画像（３Ｄパノラマ画像）の生成に必要となる短冊領域を確保できるような画像の中央領域のみを選択して保存しておく設定としてもよい。このような設定とすることで、必要とするメモリ容量を削減することが可能となる。なお、画像メモリ（合成処理用）２０５には、ＪＰＥＧ等の圧縮処理を行った後、保存する構成としてもよい。
【０１０３】
次にステップＳ１０７に移行し、制御部は、ユーザによるシャッターの押圧が継続しているか否を判定する。すなわち、撮影終了のタイミングを判別する。
ユーザによるシャッターの押圧が継続している場合は、撮影を継続させるべくステップＳ１０３へ戻り、被写体の撮像を繰り返す。
一方、ステップＳ１０７において、シャッターの押圧が終了していると判断すると、撮影の終了動作へ移行すべくステップＳ１０８へ進む。
【０１０４】
パノラマ撮影モードでの連続画像撮影が終了すると、ステップＳ１０８に進む。
ステップＳ１０８において、画像合成部２１０は、３Ｄ画像として成立する左目用画像と右目用画像の生成条件を満たす短冊領域のオフセット条件、すなわち許容オフセット量をメモリ２０９から取得する。あるいはメモリ２０９から許容オフセット量を算出するために必要なパラメータを取得して許容オフセット量を算出する。この処理の詳細については後述する。
【０１０５】
次に、ステップＳ１０９に進み、撮影画像を利用した第１画像合成処理を行う。さらに、ステップＳ１１０に進み、撮影画像を利用した第２画像合成処理を行う。
これらステップＳ１０９〜Ｓ１１０の画像合成処理は、３Ｄ画像表示に適用する左目用合成画像と右目用合成画像の生成処理である。合成画像は例えばパノラマ画像として生成される。
【０１０６】
前述したように、左目用合成画像は、左目用画像短冊のみを抽出して連結する合成処理により生成される。右目用合成画像は、右目用画像短冊のみを抽出して連結する合成処理により生成される。これらの合成処理の結果、例えば図７（２ａ），（２ｂ）に示す２つのパノラマ画像が生成されることになる。
【０１０７】
ステップＳ１０９〜Ｓ１１０の画像合成処理は、ステップＳ１０２のシャッター押下判定がＹｅｓとなってからステップＳ１０７でシャッター押下終了が確認されるまでの連続画像撮影中に画像メモリ（合成処理用）２０５に保存された複数の画像（または部分画像）を利用して実行される。
【０１０８】
この合成処理に際して、画像合成部２１０は、複数の画像各々に関連づけられた移動量を移動量メモリ２０８から取得し、さらに、メモリ２０９から許容オフセット量を取得する。あるいはメモリ２０９から許容オフセット量を算出するために必要なパラメータを取得して許容オフセット量を算出する。
【０１０９】
画像合成部２１０は、移動量および取得または算出した許容オフセット量に基づいて各画像の切り出し領域としての短冊領域を決定する。
すなわち、左目用合成画像を構成するための左目画像用短冊と右目用合成画像を構成するための右目画像用短冊の各短冊領域を決定する。
左目用合成画像を構成するための左目画像用短冊は、画像中央から右側へ所定量オフセットした位置に設定する。
右目用合成画像を構成するための右目画像用短冊は、画像中央から左側へ所定量オフセットした位置に設定する。
【０１１０】
画像合成部２１０は、この短冊領域の設定処理に際して、３Ｄ画像として成立する左目用画像と右目用画像の生成条件を満たすオフセット条件を満たすように短冊領域を決定する。すなわちステップＳ１０８においてメモリから取得またはメモリから取得したパラメータに基づいて算出したオフセット許容量を満たすように短冊のオフセットを設定して画像切り出しを実行する。なお、この処理の詳細については後述する。
【０１１１】
画像合成部２１０は、各画像について左目用および右目用画像短冊を切り出して連結することで画像合成を行い、左目用合成画像と右目用合成画像を生成する。
なお、画像メモリ（合成処理用）２０５に保存された画像（または部分画像）がＪＰＥＧ等で圧縮されたデータである場合は、処理速度の高速化を図るため、ステップＳ１０４で求められた画像間の移動量に基づいて、ＪＰＥＧ等の圧縮を解凍する画像領域を、合成画像として利用する短冊領域のみに設定する適応的な解凍処理を実行する構成としてもよい。
【０１１２】
ステップＳ１０９、Ｓ１１０の処理によって、３Ｄ画像表示に適用する左目用合成画像と右目用合成画像が生成される。
最後に、次にステップＳ１１１に移行し、ステップＳ１０９、Ｓ１１０で合成された画像を適切な記録フォーマット（例えば、ＣＩＰＡ  ＤＣ−００７  Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ  Ｆｏｒｍａｔ等）に従って生成し、記録部（記録メディア）２１１に格納する。
【０１１３】
以上のようなステップを実行すれば、３Ｄ画像表示に適用するための左目用、および右目用の２枚の画像が合成できる。
ただし、合成画像の生成時に設定するオフセット量によっては、正しい３Ｄ画像表示ができない合成画像になってしまう場合がある。
これは、先に、図１０を参照して説明した短冊領域間の重複領域（オーバラップ領域）の発生などによって引き起こされる。
【０１１４】
以下では、このような３Ｄ画像に適用できない合成画像の生成を防止するためのオフセットの設定処理について説明する。
【０１１５】
［５．短冊の重複領域（オーバラップ領域）の発生を防止するための制御について］
先に図１０を参照して説明した通り、短冊領域間の重複領域（オーバラップ領域）が発生すると、３Ｄ画像として利用できない左目用画像と右目用画像が生成されてしまう。
短冊の重なり領域は主に以下の２つの要因で発生する。
（１）カメラの移動速度が早い場合、
（２）左目用画像短冊と、右目用画像短冊間の距離である短冊間オフセットが少ない場合、
これらの２つの要因で短冊の重なり領域が発生する。
【０１１６】
まず、図１３を参照して、カメラの移動速度が早い場合の左目用画像短冊と右目用画像短冊の重なり領域の発生態様について説明する。
図１３には、以下の２つのカメラ移動速度態様での撮影画像の例を示している。
（Ａ）カメラの振り速度（移動速度）が遅い場合
（Ｂ）カメラの振り速度（移動速度）が遅い場合
【０１１７】
（Ａ）カメラの振り速度（移動速度）が遅い場合は、図１３（Ａ）に示すように画像１１０に設定される左目用画像短冊１１１と、右目用画像短冊１１２とは離間して設定され、重なり領域は発生しない。
しかし、（Ｂ）カメラの振り速度（移動速度）が遅い場合は、図１３（Ｂ）に示すように画像１１０に設定される左目用画像短冊１１１と、右目用画像短冊１１２とは離間せずに設定され、重なり領域１１３が発生する。
【０１１８】
次に、図１４を参照して、左目用画像短冊と、右目用画像短冊間のオフセットが少ない場合の重なり領域の発生態様について説明する。
連写画像間の移動量が一定（カメラの振り速度が一定）でも、左目用画像に用いる短冊領域と右目用画像に用いる短冊領域の間の距離（短冊間オフセット）が広い場合は、短冊の重なりはなくなり、短冊間オフセットが狭い場合は、短冊の重なりが生じてしまう。
図１４には、以下の２つの短冊間オフセット設定態様の撮影画像の例を示している。
（Ａ）短冊間オフセットが広い場合、
（Ｂ）短冊間オフセットが狭い場合、
【０１１９】
（Ａ）短冊間オフセットが広い場合は、図１４（Ａ）に示すように画像１１０に設定される左目用画像短冊１１１と、右目用画像短冊１１２とは離間して設定され、重なり領域は発生しない。
しかし、（Ｂ）短冊間オフセットが狭い場合は、図１４（Ｂ）に示すように画像１１０に設定される左目用画像短冊１１１と、右目用画像短冊１１２とは離間せずに設定され、重なり領域１１３が発生する。
【０１２０】
このように、短冊の重なり領域は主に以下の２つの要因で発生する。
（１）カメラの移動速度が早い場合、
（２）左目用画像短冊と、右目用画像短冊間の距離である短冊間オフセットが少ない場合、
従って、これらの２つの要因を取り除く制御を行うことで、短冊の重なり領域の発生を防止することが可能となる。
すなわち、短冊間の重なり領域の発生を防止するためには、カメラの移動速度について考慮することと、各画像に設定される左目用画像短冊と、右目用画像短冊間の距離である短冊間オフセットが小さくならないように考慮することが必要となる。
【０１２１】
［６．短冊オフセットの上限について］
図１３、図１４を参照して説明したように短冊間の重なり領域の発生を防止するためには、カメラの移動速度と、各画像に設定される左目用画像短冊と右目用画像短冊間の距離である短冊間オフセットが小さくならないように考慮することが必要となる。しかし、この考慮のみでは左目用画像短冊と右目用画像短冊間の距離、すなわち短冊間オフセットが過大になってしまう場合が発生し、これによる新たな問題が発生する場合がある。
【０１２２】
連写画像間の移動量が同一（即ち、短冊幅ｗが同一）でも、短冊間オフセットが狭い場合は使用したい短冊領域が撮像画像１１０内に設定される（図１５Ａ）が、短冊間オフセットが広くなると、使用したい短冊領域が撮像画像１１０あるいはメモリ（合成処理用）２０５の格納画像領域からはみ出てデータが欠落する（図１５Ｂ）ので、合成画像が生成できなくなる。
なお、短冊間オフセットが同一の時でも、連写画像間の移動量が大きいと短冊幅が大きくなり、短冊が撮像面、あるいはメモリ格納エリアからはみ出る場合がある。
【０１２３】
先に図６を参照して説明したように、
２Ｄパノラマ画像短冊１１５と左目用画像短冊１１１との距離、および２Ｄパノラマ画像短冊１１５と右目用画像短冊１１２との距離を、
「オフセット」、または「短冊オフセット」
と定義する。
さらに、左目用画像短冊１１１と右目用画像短冊１１２との距離を、
「短冊間オフセット」
と定義する。
なお、
短冊間オフセット＝（短冊オフセット）×２
となる。
【０１２４】
図１５を参照して、左目用画像短冊と右目用画像短冊間のオフセットが過大になることで合成画像生成が不可能になる場合の例について説明する。
図１５には、以下の２つの左右目用の短冊間オフセットの態様を示している。
（Ａ）左右目用の短冊が撮像画像１１０内にある場合、
（Ｂ）左右目用の短冊が撮像画像１１０からはみ出てしまう場合、
【０１２５】
図１５（Ａ）に示すように、左右目用の短冊が撮像画像１１０内にある場合には、左目用画像短冊１１１も右目用画像短冊１１２もいずれも撮影画像１１０内にあり、これらの画像データは、図１１に示す撮像装置２００のメモリ（合成処理用）２０５に格納されている。従って画像合成部２１０は、メモリ（合成処理用）２０５から各短冊を取得して合成画像を生成することができる。
【０１２６】
すなわち、画像合成部２１０は、左目用画像短冊１１１をメモリ２０５から取り出して合成して左目用合成画像（パノラマ画像）を生成し、右目用画像短冊１１２をメモリ２０５から取り出して合成して右目用合成画像（パノラマ画像）を生成することができる。
【０１２７】
しかし、図１５（Ｂ）に示すように、（Ｂ）左右目用の短冊が撮像画像１１０からはみ出てしまう場合にはこれらの合成画像の生成が不可能となる。
図１５（Ｂ）に示す例は、右目用画像短冊１１２は、画像１１０内にあり、画像合成部２１０は、この右目用画像短冊１１２についてはメモリ（合成処理用）２０５から取得することができる。
しかし、左目用画像短冊１１１の一部は、画像１１０内になく画像１１０の外側の領域として設定されている。この左目用画像短冊１１１の画像１１０の外側部分データは、メモリ（合成処理用）２０５に格納されたデータではない。すなわち、メモリ（合成処理用）２０５には最大でも、画像１１０より大きな画像領域の画像データは格納されない。従って、画像合成部２１０は、メモリ（合成処理用）２０５から取得できるのは、左目用画像短冊１１１の一部データのみであり、全体データを取得することができない。結果として、左目合成画像を生成することができなくなる。
【０１２８】
なお、前述したように、メモリ（合成処理用）２０５にはパノラマ撮影モードにおやいて撮影された複数の画像データを蓄積する必要があるため、画像の端部を切り落とした中心部のみの画像を予め切り出して格納する設定とする場合がある。
【０１２９】
例えば、図１６に示すようにメモリ（合成処理用）２０５に記録する画像領域がメモリ格納データ領域１１５のような設定であり、画像の左右端部が切り取られた画像のみがメモリ（合成処理用）２０５に保存される設定とする。
【０１３０】
このような設定では、左目用画像短冊１１１と右目用画像短冊１１２とが画像１１０内に設定されている場合でも、メモリ格納データ領域１１５からはみ出てしまう場合が発生する。このような場合においても画像合成部２１０は、メモリ（合成処理用）２０５から短冊画像の全体データを取得することができなくなり、合成画像を生成することができなくなる。
【０１３１】
このように左目用画像短冊と右目用画像短冊間の距離である短冊間オフセットが過大になり、メモリ（合成処理用）２０５に格納される画像領域外に短冊がはみ出てしまった場合は、合成画像を生成することができなくなる。
【０１３２】
［７．短冊オフセットの制御処理について］
以上のような問題点を考慮した上で、短冊オフセットを制御することで３Ｄ画像の表示に適用する左目用合成画像と右目用合成画像を生成する構成について説明する。
【０１３３】
上述したように、右目用画像に用いる短冊領域と左目用画像に用いる短冊領域のオーバーラップやデータ不足が発生する要因は、連写画像間の移動量に大きく依存する。以降、これらを回避するための短冊オフセット決定のためのターゲット値を算出する一例を示す。
【０１３４】
なお、前述したように、短冊オフセットと短冊間オフセットの関係は、
短冊オフセット＝（短冊間オフセット）／２
上記式の関係にある。
また、短冊オフセットおよび短冊間オフセットは画像や撮像素子の画素数（ピクセル数）によって定義する。
【０１３５】
画像を撮影する撮像装置（カメラ）の構成を図１７に示す構成とする。
焦点距離＝ｆ［ｍｍ］、
撮像素子の画素ピッチ＝ｐ［ｕｍ］、
撮像素子の水平画素数＝ｈ［ｐｉｘｅｌ］、
このような設定のカメラで、画像を撮影するものとする。
このカメラの撮影する一枚の画像の画角α［ｄｅｇ］は次の式（式１）に従って計算できる。
【０１３６】
【数１】
2011135246.tif 000003
・・・（式１）
【０１３７】
上記式１によつて算出される画角α［ｄｅｇ］を用いると、撮像素子を構成する一画素辺りの画角（以降、これを画素密度と呼ぶ）μ［ｄｅｇ／ｐｉｘｅｌ］は次の式（式２）のように定義できる。
【０１３８】
【数２】
2011135246.tif 000004
・・・（式２）
【０１３９】
次に、カメラを移動させながら撮影するパノラマモード（左目用画像と右目用画像を生成する３Ｄパノラマモード）における画像の連写スピード、すなわち１秒あたりの撮影画像フレーム数をｓ［ｆｐｓ］とすると、カメラの振り角速度ｄ［ｄｅｇ／ｓｅｃ］のとき、画像に設定する１つの（最大）短冊幅ｗ［ｐｉｘｅｌ］は、次の式（式３）のように定義できる。なお、１つの画像に設定する左目用画像短冊と右目用画像短冊の短冊幅ｗは共通である。
【０１４０】
【数３】
2011135246.tif 000005
・・・（式３）
【０１４１】
上記式（式３）によって、カメラのある振り角速度ｄ［ｄｅｇ／ｓｅｃ］での短冊幅ｗが決まる。
この振り角速度において許容できる短冊オフセット、つまり左目用画像短冊と右目用画像短冊の重なりが発生しない（オーバーラップしない）最小の許容短冊オフセット量、すなわち、
最小短冊オフセット量：ｍｉｎ＿ｏｆｓｔ［ｐｉｘｅｌ］
は次の式（式４）のように表わせる。
【０１４２】
【数４】
2011135246.tif 000006
・・・（式４）
【０１４３】
但し、短冊オフセット量の定義は、先に図１５（Ａ）を参照して左目用画像短冊と右目用画像短冊を画像中心から左右対称にオフセットすることを前提とし、先に図１５（Ａ）を参照して説明したように、左目用画像短冊と右目用画像短冊間の距離に相当する短冊間オフセットの１／２の距離に相当する。
すなわち、
短冊オフセット＝（短冊間オフセット）／２
となる。
【０１４４】
一方、図１５、図１６を参照して説明した合成画像の生成に利用する短冊領域が画像メモリ（合成処理用）２０５に格納される画像領域の外にはみ出ない設定とするための最大の許容短冊オフセット量、すなわち、
最大短冊オフセット量：ｍａｘ＿ｏｆｓｔ［ｐｉｘｅｌ］
は次の式（式５）のように表わせる。
【０１４５】
【数５】
2011135246.tif 000007
・・・（式５）
ただし、上記式（式５）において、
ｔは、カメラの撮影する画像一枚の水平有効サイズｔ［ｐｉｘｅｌ］である。水平有効サイズｔ［ｐｉｘｅｌ］は、図１１に示す画像メモリ（合成処理用）２０５に格納される画像の横幅である水平画素数に対応する。
【０１４６】
例えば、画像撮影に用いるカメラの構成が以下の構成であるとする。
焦点距離ｆが４．５［ｍｍ］、
撮像素子の画素ピッチｐ＝５［ｕｍ］、
撮像素子の水平画素数ｈ＝１０００［ｐｉｘｅｌ］、
このような設定のカメラで、画像を撮影するものとする。
このカメラの撮影する一枚の画像の画角α［ｄｅｇ］は、前述の式（式１）に従って以下のように計算できる。
画角α［ｄｅｇ］＝５８．１［ｄｅｇ］
【０１４７】
また、撮像素子を構成する一画素辺りの画角である画素密度μ［ｄｅｇ／ｐｉｘｅｌ］は前述の式（式２）に従って以下のように計算できる。
画素密度μ［ｄｅｇ／ｐｉｘｅｌ］＝０．０５８１［ｄｅｇ／ｐｉｘｅｌ］
【０１４８】
このような設定となり、連写画像一枚当たりの水平有効サイズｔを１０００［ｐｉｘｅｌ］として、連写画像間の移動量（カメラの振り角速度）に応じたオーバーラップやデータ不足を回避するためのパラメータのターゲット範囲を図示すると、図１８に示す斜線領域に示される範囲となる。
【０１４９】
図１８に示すグラフは、
横軸がカメラの振り角速度：ｄ［ｄｅｇ／ｓｅｃ］
縦軸が、画像の画素数を表わす。
なお、縦軸の画素数はカメラの振り方向の画素数であり、例えば水平方向にカメラを移動させる場合は画像の水平方向の画素数となる。
なお、縦軸の画素数は、短冊幅のオフセット方向、この場合は水平方向の画素数に対応する。
【０１５０】
図１８に示すラインＡは、前述の式（式４）の定義式に従ったラインである。
すなわち、左目用画像短冊と右目用画像短冊の重なりが発生しない（オーバーラップしない）最小の許容短冊オフセット量の定義式に従った直線である。
すなわち、
最小短冊オフセット量：ｍｉｎ＿ｏｆｓｔ［ｐｉｘｅｌ］＝ｗ／２
上記式に従った直線を示している。
【０１５１】
また、図１８に示すラインＢは、前述の式（式５）の定義式に従ったラインである。
すなわち、合成画像の生成に利用する短冊領域が画像メモリ（合成処理用）２０５に格納される画像領域の外にはみ出ない設定とするための最大の許容短冊オフセット量の定義式に従った直線である。
すなわち、
最大短冊オフセット量：ｍａｘ＿ｏｆｓｔ［ｐｉｘｅｌ］＝（ｔ−ｍｉｎ＿ｏｆｓｔ［ｐｉｘｅｌ］）／２
上記式に従った直線を示している。
【０１５２】
なお、ラインＣは、参考として示すラインであり、前述の式（式３）において定義されるカメラの振り角速度ｄ［ｄｅｇ／ｓｅｃ］に応じた画像に設定する１つの（最大）短冊幅ｗ［ｐｉｘｅｌ］を示す直線である。この直線はカメラの構成情報に基づいて予め算出した値に基づいて算出した直線である。
【０１５３】
なお、グラフ上の数値は、合成用処理に際して連結部に設定するマージンとて１６［ｐｉｘｅｌ］を考慮した値となっている
【０１５４】
撮影画像に設定する左目用画像短冊と右目用画像短冊の短冊オフセット量（＝（短冊間オフセット量）／２）を、図１８に示す直線ラインＡＢ間の斜線領域に設定することで、
（条件１）左目用画像短冊と右目用画像短冊の短冊の重なりが発生しない、
かつ、
（条件２）画像メモリ（合成処理用）２０５に格納される画像領域の外にはみ出ない、
これらの条件１，２を満足することが可能となる。
【０１５５】
すなわち、撮影画像に設定する左目用画像短冊と右目用画像短冊の短冊オフセット量（＝（短冊間オフセット量）／２）を、図１８に示す直線ラインＡＢ間の斜線領域に設定することで、３Ｄ画像表示に適用する左目用合成画像と右目用合成画像を確実に生成する短冊領域を各撮影画像から取得することが可能となり、破綻の無い３次元画像生成処理が可能となる。
【０１５６】
図１８の斜線領域、すなわち、上述の式４と式５によって定義される直線間の範囲の短冊オフセット量は、図１１に示す画像合成部２１０がメモリ２０９に格納されたパラメータを利用して算出する。あるいは予め算出済みの許容オフセットをメモリ２０９から取得する。
この処理が図１２に示すフローチャートのステップＳ１０８の処理となる。
【０１５７】
図１２に示すフローチャートのステップＳ１０９，Ｓ１１０では、ステップＳ１０８において取得または算出した許容オフセットの範囲でオフセットを設定して左目用短冊と右目用短冊の位置を決定する。
この処理により、３Ｄ画像表示に適用する左目用合成画像と右目用合成画像を確実に生成する短冊領域を各撮影画像から取得することが可能となり、破綻の無い３次元画像生成処理が可能となる。
なお、左目用短冊と右目用短冊の短冊幅は、画像合成部２１０が移動量メモリ２０８から取得した各画像対応の移動量を適用して決定する。
【０１５８】
撮像装置（カメラ）には、画像間の移動量を算出する移動量検出部２０７が設けられているが、一般的に移動量検出部２０７の検出可能な移動量には限界が設定されている。すなわち測定限界を超えた移動量の検出はできない。例えば移動量の検出限界が１１０［ｄｅｇ／ｓｅｃ］であるとする。
【０１５９】
この場合、図１８に示す斜線部分の右側領域は、実際には利用できない領域となる。カメラの移動量の検出限界が１１０［ｄｅｇ／ｓｅｃ］である場合、オフセットの設定許容範囲は図１９に示す斜線領域となる。
【０１６０】
図１９に示す中央の垂直ラインが、移動量の検出限界：１１０［ｄｅｇ／ｓｅｃ］を示すラインであり、これより左側の領域は、カメラの移動量が多き過ぎて移動量検出ができない領域となる。従って、移動量の検出限界：１１０［ｄｅｇ／ｓｅｃ］以下の左側で、かつ、前述した直線ラインＡＢ間の範囲に短冊オフセットを設定する。
【０１６１】
このように短冊オフセット量を設定することで、
（条件１）左目用画像短冊と右目用画像短冊の短冊の重なりが発生しない、
かつ、
（条件２）画像メモリ（合成処理用）２０５に格納される画像領域の外にはみ出ない、
これらの条件１，２を満足することが可能となる。
結果として、３Ｄ画像表示に適用する左目用合成画像と右目用合成画像を確実に生成する短冊領域を各撮影画像から取得することが可能となり、破綻の無い３次元画像生成処理が可能となる。
【０１６２】
例えば、図１９に示す設定において、
カメラの振り角速度＝７０［ｄｅｇ／ｓｅｃ］
の場合、図１９に示すＰＱ間の画素数が短冊オフセット量としての許容範囲となる。
Ｐ＝最小オフセット量＝７７［ｐｉｘｅｌ］
Ｑ＝最大オフセット量＝４２５［ｐｉｘｅｌ］
従って、短冊オフセット量の許容範囲は７７〜４２５画素（ｐｉｘｅｌ）となる。
【０１６３】
図１２に示すフローチャートのステップＳ１０８において、この許容オフセットの取得または算出が実行される。ステップＳ１０９，Ｓ１１０では、この許容範囲で短冊オフセット量を設定して各画像に左目用画像短冊領域と右目用画像短冊領域を設定した上で、設定した短冊領域の連結処理を実行して左目用合成画像と右目用合成画像を生成する。
【０１６４】
［８．画像合成部の構成と処理の具体例について］
図１８、図１９を参照して説明したように、本発明の画像処理装置は、短冊オフセット許容範囲となる許容オフセットを取得または算出して、許容オフセットの範囲となるオフセットを設定した左目用画像短冊と右目用画像短冊を各撮影画像上に設定する。その後、これらの短冊を連結する合成処理を行なうことで、３Ｄ画像表示に適用可能な左目用合成画像と右目用合成画像を生成する。
【０１６５】
このような画像合成処理を実行するための画像合成部２１０の構成と処理について、図２０を参照して説明する。
図２０に示すように、画像合成部２１０は、パラメータ入力部３０１、許容オフセット算出部３０２、短冊設定部３０３、短冊切り出し部３０４、短冊連結部３０５を有する。
【０１６６】
パラメータ入力部２０１は、許容オフセット算出部３０２において許容オフセットを算出するために必要となるパラメータをメモリ２０９から入力して許容オフセット算出部３０２に提供する。
すなわち、先に説明した数式１〜５を適用して説明した最小短冊オフセット量および最大短冊オフセット量を算出するために必要とするパラメータをメモリ２０９から入力する。具体的には、焦点距離［ｆ（ｍｍ）］、撮像素子の画素ピッチ［ｐ（μｍ）］、水平画素数［ｈ（ｐｉｘｅｌ）］、連写スピード［ｓ（ｆｐｓ）］、カメラの振り角速度［ｄ（ｄｅｇ／ｓｅｃ）］等の情報である。
【０１６７】
許容オフセット算出部３０２は、パラメータ入力部２０１がメモリ２０９から入力した各パラメータを利用して、前述の数式１〜５を適用して最小短冊オフセット量および最大短冊オフセット量を算出する。
すなわち、
最小短冊オフセット量：ｍｉｎ＿ｏｆｓｔ［ｐｉｘｅｌ］＝ｗ／２
最大短冊オフセット量：ｍａｘ＿ｏｆｓｔ［ｐｉｘｅｌ］＝（ｔ−ｍｉｎ＿ｏｆｓｔ［ｐｉｘｅｌ］）／２
これらの各値を算出する。
なお、ここで算出される値は、所定のパラメータを利用して算出した最小短冊オフセット量と最大短冊オフセット量の値であり、例えば図１９に示すＰとＱの各値となる。すなわち、
Ｐ＝最小オフセット量＝７７［ｐｉｘｅｌ］
Ｑ＝最大オフセット量＝４２５［ｐｉｘｅｌ］
このような値を出する。
【０１６８】
許容オフセット算出部３０２は、この最小オフセット量と最大オフセットを許容オフセット量として短冊設定部３０３に提供する。
短冊設定部３０３は、画像メモリ（合成処理用）２０５から、短冊を設定する画像を取得し、さらに、その画像に対応する移動量情報を移動量メモリ２０８から取得する。短冊設定部３０３は、移動量に応じて短冊幅を決定し、さらに、左目用画像短冊と右目用画像短冊の短冊オフセットを、許容オフセット算出部３０２の算出した許容オフセット範囲内になるように設定する。
なお、前述したように、
短冊幅オフセット＝（短冊間オフセット）／２
の関係である。
【０１６９】
ただし、例えば移動量の値によっては、許容オフセット算出部３０２の算出した許容オフセット範囲内になるような短冊設定が不可能となる場合がある。この場合は、短冊設定部３０３は、例えは制御部に対して、短冊設定が不可能であることを示すデータを出力する。制御部は、この出力に応じて警告を出力する。例えばカメラの表示部に対して警告メッセージを表示する、あるいはアラームを出力する等の処理を行う。例えばユーザは、この警告に応じて撮影のやり直し等を行うことができる。
【０１７０】
短冊設定部３０３が、許容オフセット算出部３０２の算出した許容オフセット範囲内になる短冊設定が可能である場合、画像に左目用画像短冊と右目用画像短冊領域を設定する。次に短冊切り出し部３０４が短冊設定部３０３の設定した短冊領域の切り出しを実行する。さらに、短冊連結部３０５が、短冊切り出し部３０４の切り出した短冊を連結して合成画像を生成する。
【０１７１】
なお、短冊切り出し、および連結処理は、左目用合成画像と右目用合成画像を個別に行う。
すなわち、左目用合成画像の生成に際しては左目用画像短冊のみを連結する処理を行い、右目用合成画像の生成に際しては右目用画像短冊のみを連結する処理を行う。
これらの処理を実行することで、図７（２ａ），（２ｂ）に示す３Ｄ左目用パノラマ画像、３Ｄ右目用パノラマ画像が生成できる。
【０１７２】
なお、先に説明したように許容オフセットは、予め算出済みの値をメモリ２０９に格納し、画像合成部２１０が許容オフセットをメモリから取得して利用する構成としてもよい。すなわち、各種パラメータを利用した許容オフセットの算出処理を省略した構成としてもよい。
【０１７３】
この場合の画像合成部２１０の構成と処理例について図２１を参照して説明する。
図２１に示す画像合成部２１０は、許容オフセット取得部３１０、短冊設定部３０３、短冊切り出し部３０４、短冊連結部３０５を有する。
【０１７４】
許容オフセット取得部３１０は、メモリ２０９から、予め算出済みの許容オフセット情報、すなわち、例えば図１９に示す斜線領域の
最小短冊オフセット量：ｍｉｎ＿ｏｆｓｔ［ｐｉｘｅｌ］＝ｗ／２
最大短冊オフセット量：ｍａｘ＿ｏｆｓｔ［ｐｉｘｅｌ］＝（ｔ−ｍｉｎ＿ｏｆｓｔ［ｐｉｘｅｌ］）／２
これらの範囲の許容オフセット情報を取得する。
【０１７５】
許容オフセット取得部３１０は、メモリから取得した許容オフセット情報を短冊設定部３０３に提供する。
短冊設定部３０３は、画像メモリ（合成処理用）２０５から、短冊を設定する画像を取得し、さらに、その画像に対応する移動量情報を移動量メモリ２０８から取得する。短冊設定部３０３は、移動量に応じて短冊幅を決定し、さらに、左目用画像短冊と右目用画像短冊の短冊オフセットを、許容オフセット取得部３１０から提供された許容オフセット範囲内になるように設定する。
【０１７６】
ただし、この場合も例えば移動量の値によっては、許容オフセット取得部３１０から取得した許容オフセット範囲内になる短冊設定が不可能となる場合がある。この場合は、短冊設定部３０３は、例えは制御部に対して、短冊設定が不可能であることを示すデータを出力する。制御部は、この出力に応じて警告を出力する。例えばカメラの表示部に対して警告メッセージを表示する、あるいはアラームを出力する等の処理を行う。例えばユーザは、この警告に応じて撮影のやり直し等を行うことができる。
【０１７７】
短冊設定部３０３が、許容オフセット取得部３１０から提供された許容オフセット範囲内になる短冊設定が可能である場合、画像に左目用画像短冊と右目用画像短冊領域を設定する。次に短冊切り出し部３０４が短冊設定部３０３の設定した短冊領域の切り出しを実行する。さらに、短冊連結部３０５が、短冊切り出し部３０４の切り出した短冊を連結して合成画像を生成する。
【０１７８】
なお、短冊切り出し、および連結処理は、左目用合成画像と右目用合成画像を個別に行う。
すなわち、左目用合成画像の生成に際しては左目用画像短冊のみを連結する処理を行い、右目用合成画像の生成に際しては右目用画像短冊のみを連結する処理を行う。
これらの処理を実行することで、図７（２ａ），（２ｂ）に示す３Ｄ左目用パノラマ画像、３Ｄ右目用パノラマ画像が生成できる。
【０１７９】
なお、先に説明したように許容オフセットは、予め算出済みの値をメモリ２０９に格納し、画像合成部２１０が許容オフセットをメモリから取得して利用する構成としてもよい。すなわち、各種パラメータを利用した許容オフセットの算出処理を省略した構成としてもよい。
【０１８０】
このような処理を実行することで、３Ｄ画像表示に適用できる視点の異なる位置からの画像である左目用合成画像と右目用合成画像を確実に生成することが可能となる。
【０１８１】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１８２】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１８３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１８４】
以上、説明したように、本発明の一実施例の構成によれば、異なる位置から撮影された複数の画像から切り出した短冊領域を連結して３次元画像表示に適用する左目用合成画像と右目用合成画像を生成する画像合成部を有する。画像合成部は３次元画像表示に適用可能な視点の異なる左目用合成画像と右目用合成画像を生成可能とする左目用画像短冊と右目用画像短冊の設定位置の許容範囲をメモリから取得または算出して、該許容範囲に左目用画像短冊と右目用画像短冊を設定する処理を行なう。具体的には、左目用画像短冊と前記右目用画像短冊の設定領域に重なり領域が発生せず、画像用メモリの格納範囲内となるように短冊設定位置を決定する。これらの短冊設定処理により確実に３次元画像表示処理に適用可能な左目用合成画像と右目用合成画像を生成することができる。
【符号の説明】
【０１８５】
１０  カメラ
２０  画像
２１  ２Ｄパノラマ画像用短冊
３０  ２Ｄパノラマ画像
５１  左目用画像短冊
５２  右目用画像短冊
７０  撮像素子
７２  左目用画像
７３  右目用画像
１００  カメラ
１０１  仮想撮像面
１０２  光学中心
１１０  画像
１１１  左目用画像短冊
１１２  右目用画像短冊
１１３  重なり領域
１１５  ２Ｄパノラマ画像用短冊
２００  撮像装置
２０１  レンズ系
２０２  撮像素子
２０３  画像信号処理部
２０４  表示部
２０５  画像メモリ（合成処理用）
２０６  画像メモリ（移動量検出用）
２０７  移動量検出部
２０８  移動量メモリ
２０９  メモリ
２１０  画像合成部
２１１  記録部
３０１  パラメータ入力部
３０２  許容オフセット算出部
３０３  短冊設定部
３０４  短冊切り出し部
３０５  短冊連結部
３１０  許容オフセット取得部
【図１】
2011135246.tif 000008
【図２】
2011135246.tif 000009
【図３】
2011135246.tif 000010
【図４】
2011135246.tif 000011
【図７】
2011135246.tif 000012
【図８】
2011135246.tif 000013
【図９】
2011135246.tif 000014
【図１０】
2011135246.tif 000015
【図１１】
2011135246.tif 000016
【図１２】
2011135246.tif 000017
【図１３】
2011135246.tif 000018
【図１４】
2011135246.tif 000019
【図１６】
2011135246.tif 000020
【図１７】
2011135246.tif 000021
【図２０】
2011135246.tif 000022
【図２１】
2011135246.tif 000023
【図５】
2011135246.tif 000024
【図６】
2011135246.tif 000025
【図１５】
2011135246.tif 000026
【図１８】
2011135246.tif 000027
【図１９】
2011135246.tif 000028