(57)【要約】【課題】  特殊な装置を使用することなく適切な多視点画像群の取得が可能な画像処理装置および画像処理プログラムを提供する。【解決手段】  視点が異なる第１の複数の画像間での対応関係を示す対応情報を生成する情報生成手段（ステップ）と、該対応情報に基づいて、第１の複数の画像から、視点および視線方向のうち少なくとも一方に関して所定の関係を有する第２の複数の画像を選択する選択手段（ステップ）とを有する。【選択図】図１
2006113807.tif 000002
【特許請求の範囲】
【請求項１】
視点が異なる第１の複数の画像間での対応関係を示す対応情報を生成する情報生成手段と、
該対応情報に基づいて、前記第１の複数の画像から、前記視点および視線方向のうち少なくとも一方に関して所定の関係を有する第２の複数の画像を選択する選択手段とを有することを特徴とする画像処理装置。
【請求項２】
前記所定の関係は、隣り合う前記視点間の間隔が略一定となる関係であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の関係は、前記視点の移動軌跡に対して直交する方向における前記視点の位置が略等しい関係であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記所定の関係は、前記視線方向が略等しい関係であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記所定の関係を変更する変更手段を有することを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
前記情報生成手段は、前記第１の複数の画像間で相互に対応する対応点を探索し、該対応点を示す前記対応情報を生成することを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
【請求項７】
前記選択手段は、前記対応情報に基づいて前記第１の複数の画像におけるそれぞれの前記視点および視線方向のうち少なくとも一方を算出し、該算出結果に基づいて前記第２の複数の画像を選択することを特徴とする請求項１から６のいずれか１つに記載の画像処理装置。
【請求項８】
前記選択手段は、前記算出結果に基づく近似演算により前記第１の複数の画像における前記視点の移動軌跡および前記視線方向のうち少なくとも一方の代表情報を求め、該代表情報を用いて前記第２の複数の画像を選択することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第２の複数の画像におけるそれぞれの前記視点および視線方向のうち少なくとも一方の前記代表情報との差に基づいて該第２の複数の画像を補正する補正手段をさらに有することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第２の複数の画像から立体視可能な第３の画像を生成する画像生成手段をさらに有することを特徴とする請求項１から９のいずれか１つに記載の画像処理装置。
【請求項１１】
視点が異なる第１の複数の画像間での対応関係を示す対応情報を生成するステップと、
該対応情報に基づいて、前記第１の複数の画像から、前記視点および視線方向のうち少なくとも一方に関して所定の関係を有する第２の複数の画像を選択するステップとを有することを特徴とする画像処理プログラム。
【請求項１２】
前記第２の複数の画像から立体視可能な第３の画像を生成するステップをさらに有することを特徴とする請求項１１に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやビデオカメラを用いて複数の視点で撮影等した複数の画像（多視点画像群）から立体画像を生成する技術に関するものである。
【背景技術】
【０００２】
デジタルスチルカメラ、ビデオカメラ等で撮影された多視点画像群を合成して立体画像を生成し、該立体画像を立体ディスプレイデバイス等を介して観察させることにより、立体感を有する像（立体像）を提示することができる。
【０００３】
但し、多視点画像群の撮影においては、従来、カメラを平行移動させるレール等の設備や、撮影位置を移動することなく多視点画像群を撮影できる多眼カメラといった特殊な装置が必要であった（特許文献１参照）。
【特許文献１】特開２００２−０７７９４２号公報（段落００２９、図２等）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
これらのレール等の設備や特殊な装置を使用せずに多視点画像群を撮影すると、手振れ等に起因するカメラの振動やカメラの移動速度の不均一さ等により、各視点画像の視線方向が変化したり視点間隔が不均一になったりするため、これらの多視点画像群をそのまま合成しても、観察位置によって立体感が不自然に変動するような立体画像が得られてしまう。
【０００５】
本発明は、特殊な装置を使用することなく適切な多視点画像群の取得が可能な画像処理装置および画像処理プログラムを提供することを目的の１つとする。
【課題を解決するための手段】
【０００６】
１つの観点としての本発明の画像処理装置（画像処理プログラム）は、視点が異なる第１の複数の画像間での対応関係を示す対応情報を生成する情報生成手段（ステップ）と、該対応情報に基づいて、第１の複数の画像から、視点および視線方向のうち少なくとも一方に関して所定の関係を有する第２の複数の画像を選択する選択手段（ステップ）とを有する。
【発明の効果】
【０００７】
本発明によれば、第１の複数の画像間の対応情報に基づいて、視点や視線方向に関して所定の関係を有する第２の複数の画像を選択するので、第１の複数の画像を撮影する際に特殊な装置を使用することなく、適切な、すなわち、例えばそれらの合成により観察位置による立体感の変動が少ない立体画像を得ることが可能な多視点画像群を取得することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【０００９】
図１は本発明の実施例１に係る立体画像合成装置の構成を示すブロック図である。３０１は多視点画像群に相当する画像群を画像合成装置に入力する画像入力装置で、ＣＦカード（登録商標）やスマートメディア（登録商標）等の固定記録メディアに記録された画像ファイルを読み込む入出力装置により構成したり、入出力インターフェースを持つデジタルカメラ、デジタルビデオカメラ等の撮像機器や、スキャナ、フィルムスキャナ等のアナログメディアから画像情報をデジタルデータとして読み込みを行う画像入力機器で構成してもよい。また、画像入力装置３０１はネットワークと接続可能で、遠隔地のカメラで撮像され、ネットワーク上に存在する多視点画像群を入力することもできる。
【００１０】
３０２は入力された少なくとも２枚以上の多視点画像群の中から、合成する立体画像の視点数に合わせて少なくとも２枚以上の多視点画像を選択し、立体画像データを合成する画像合成（処理）装置である。該画像合成装置３０２は例えば汎用のパーソナルコンピュータにより構成することができる。
【００１１】
３０３はＣＲＴディスプレイ等のディスプレイで、コンピュータ若しくはこの立体画像合成を目的とする装置の表示部である。このディスプレイ３０３は立体画像合成において必要な情報を取得する手順を対話的に補助しつつ行ったり、処理状況、メニュー、立体画像を構成する選択された多視点画像等を表示する。３０４はマウスまたはキーボード、ジョイスティック等の操作入力部で、ディスプレイ３０３上に表示されたメニュー項目（画像）を参照しながら、メニューを選択する。
【００１２】
３０５は外部機器との入出力部であり、ネットワークに接続されたイーサーネット等のネットワークポート、若しくはフロッピー(登録商標)ディスク、ＭＯ（登録商標）、ＺＩＰ（登録商標）、ＣＤ−ＲＯＭ等の固定記録メディアが該入出力部３０５として設けられる。そして、該入出力部３０５を介して入出力機器、ネットワーク端末装置等が接続され、立体画像データや他の装置で算出した多視点画像間の動きパラメータ等をファイルとして画像合成装置３０２へ出力または入力する。３０６は画像合成装置３０２で合成された立体画像を印刷するプリンタである。
【００１３】
なお、入出力部３０５を上記画像入力装置３０１とは別に設けているが、画像入力装置３０１の入出力部を本実施例の画像合成装置３０２の入出力部として用いることも可能である。また、キーボード、マウス、ジョイスティック等の入力手段からカメラの運動パラメータを入力したり、ディスプレイ３０３に多視点画像のサブセットの選択結果をビジュアル的に表示したりすることも可能である。
【００１４】
また、画像合成装置３０２は、装置全体の制御を司る中央演算装置であるＣＰＵ３０２１と、画像入力装置３０１等により読み込まれた多視点画像群を保存したり、補正後の多視点画像群、立体画像データ保存するハードディスク等の大容量記憶装置３０２２と、大容量記憶装置３０２１に保存された多視点画像群から隣り合う画像対を順次選択し、特徴点対応付けの対象となるステレオ画像対のみを主記憶領域上に展開したり、算出された対応点情報やカメラ変位情報を記憶したり、補正後の画像を大容量記憶装置３０２２に記憶したり、入出力部３０５から出力する以前に一次記憶しておくＲＡＭ等の主記憶装置３０２３とが設けられている。
【００１５】
次に図２及び図３を用いて、本発明の実施例１における画像合成装置３０２の処理フローについて説明する。
【００１６】
ここで、図２の１０１はデジタルカメラ等の撮像装置であり、１０２及び１０３は多視点画像群のシーンを構成する被写体である。そして本実施例の多視点画像の撮影では、理想的にはカメラ１０１をカメラ１０１の光軸方向に垂直、且つカメラの画像のスキャンライン方向に平行に図中の矢印の方向に移動して視点（撮影位置）を変えながら、カメラの連射機能やムービー機能、ビデオカメラを利用したり、視点移動のたびにカメラのシャッターを切ることにより、非常に狭い間隔で、立体画像の視点数に比べて多い多視点画像を撮影する。
【００１７】
図４にカメラを固定手段等で固定せずに手持ちでこのような撮影を行う場合の視点の変動の様子を示す。それぞれの画像中心を視点として手持ちで撮影を行う場合、カメラの移動速度が一定でないために、撮影画像の視点間隔が不均一になってしまったり、手振れにより視点位置（視点高さ）が移動方向に対し垂直な方向にも微小に変動してしまったりする。また、カメラの向きによって視線方向（撮影方向）も同様に変動する。そこで本実施例１では、以下の処理を行う。
【００１８】
図３において、ステップ２０１の画像入力処理では、図１に示すような撮影方法により撮影した多視点画像群を画像入力装置３０１から入力し、大容量記憶装置３０２２に記憶する。
【００１９】
ステップ２０２において、まず、隣り合った画像（第１の複数の画像）間における特徴点の対応付けを行う。このとき、まず、各画像に対して微分処理等を行い、画像輝度値が空間的に大きく変化する点の画像中での位置を特徴点として抽出し、その後、隣り合った画像間で抽出された特徴点同士の対応付けを行う。この対応付けは、抽出された特徴点同士の近傍領域の輝度分布が類似しているもの同士が対応するように行う。
【００２０】
図５は被写体が立方体の場合の隣り合った画像間での抽出された特徴点の例であり、ｖ１１〜ｖ１７、ｖ２１〜ｖ２７が抽出された特徴点である。また、本実施例では領域ベースの一手法である、差分和を用いた単純なテンプレートマッチング手法を特徴点の対応付けに用いている。図６を用いて対応点探索処理について説明する。
【００２１】
図６において、２つの画像データのうち撮影した視点位置が左側に相当する左画像を基準画像７０１とし、視点位置が右側に相当する右画像を参照画像７０２として、左画像を基準としてテンプレートマッチングを行う。
【００２２】
まず、左画像中のある特徴点を選択する。ここではこの点を基準点７０４とし、基準点７０４を中心とした所定サイズの部分領域をテンプレート７０３として抽出する。次に、大まかな視点の移動量、手振れによる視点の変動、視線方向の変動を考慮して、任意に定めた参照画像７０２中の所定の対応点探索領域７０７において、順次参照画像７０２内の対応点探索領域内に存在する特徴点である参照点７０５を選択し、注目画素７０５を中心としたテンプレートと同一のサイズのウィンドウ領域７０６について、左画像７０１のテンプレート７０３との相関値を求める。
【００２３】
例えば、本実施例１のように図２に示す如くカメラ１０１が移動（運動）する場合、探索領域は図６の領域７０７のように、画像座標の水平方向に長辺を持つ長方形の領域として与える事が多い。図６の配置においては、図５において存在する特徴点ｖ２１、ｖ２２、ｖ２５、ｖ２７が、ｖ１１に対応する探索領域内に存在する。注目点に対応する対応点は、相関値の最も大きい特徴点に決定される。但し、対応点位置での相関値が所定の値より小さい場合、対応点位置での相関値と２番目に小さい相関値との差が所定の値より小さい場合、あるいは対応点位置近傍での相関値の変化が所定の値より小さい場合は、対応点探索処理に関して信頼性が低いと考えられるので、その点に対しては未対応とする。
【００２４】
これらの対応点探索処理により、基準画像７０１のテンプレートマッチングによる対応情報が求められる。以上のような対応付けを基準画像７０１内の他の特徴点についても繰り返す。なお、逆に右画像を基準画像とし、左画像を参照画像として同様な処理を行ってもよい。左画像基準、及び右画像基準の両方の対応付けを行った場合は、対応情報の対称性を用いて特徴点の対応付けの結果を特徴点同士が１対１に対応するように対応付けの結果の修正を行ってもよい。以上の特徴点の対応付けを他の隣り合った画像間でも順次行う。
【００２５】
次に、図３のステップ２０３では、ステップ２０２の画像間特徴点の対応付けで得られた対応情報に基づいて、隣り合った画像間での相対的なカメラの変位、すなわち画像視点の位置と方向の算出をする。
【００２６】
まず、画像間のエピポーラ幾何を表す基礎行列Ｆを求める。対応点の一方の画像の特徴点の位置を（ｕ，ｖ）、それに対応するもう一方の画像の特徴点の位置を（ｕ´，ｖ´）とし、これらを斉次表現に置き換えるとｘ＝（ｕ，ｖ，１）、ｘ´＝（ｕ´，ｖ´，１）となる。そして、エピポーラ拘束条件式ｘ´Ｆｘ＝０…(１)を利用し、全ての対応付けの結果を用いて最小２乗法によりＦを求めることができる(但し、Ｆは３×３の行列)。
【００２７】
そして、基礎行列Ｆを分解することにより、方向の変化を表す三次元回転行列Ｒ及び視点位置の変化を表す移動ベクトルｔを求める。そして、順次他の隣り合った画像間においても順次Ｒ、ｔを求めていく。その結果、それぞれの隣り合った画像間で求められたカメラ変位を結びつけることにより、撮影した画像の撮影光軸の方向における全ての撮影視点、及び視線方向の相対関係が求まる。
【００２８】
但し、以上計算したカメラ変位のうち、多視点画像撮影時の各多視点画像の内部パラメータ、特にズーム等により変動する焦点距離等が不明な場合は、２画像からではカメラ変位のうち移動ベクトルの絶対量が曖昧なため算出できない。この場合は３つの画像間の特徴点の対応を利用して再計算することが望ましい。
【００２９】
次に、図３のステップ２０４では理想的な軌跡の算出処理を行う。ステップ２０３で求めた各画像視点の相対的な、視点位置及び視線方向（撮影位置及び撮影方向）を結合して得られた、ある１枚の撮影画像を基準とした全体的な視点及び視線方向を利用して、近似的若しくは代表的な視点である理想軌跡及び、理想視線方向を決定する。視点位置については、各視点位置に最も近くなる３次元空間中の直線を最小２乗法等の近似演算により求めることにより手振れ等の影響を除いた、理想的なカメラ軌跡を算出することができる。図７(ａ)の５０２の一点鎖線が算出された理想的なカメラ軌跡である。また、視線方向についても、多視点画像の撮影にわたって一定の視線方向での撮影であるので、最小２乗法等により、理想視線方向を求めることができる。
【００３０】
そして、ステップ２０５では、上記対応情報から決定された理想軌跡、理想視点方向に基づいて多視点画像群から立体画像の視点数に応じた多視点画像を選択する。図７(ａ)の画像（図７（ａ）において着色された画像）のようにステップ２０４で算出した理想軌跡５０２に対し、ほぼ等間隔で立体画像の視点数に対応する画像、すなわち等間隔（略一定）であり、かつ視線方向が略同じものを選択する。
【００３１】
言い換えれば、対応情報に基づいて算出された理想軌跡及び理想視線方向（代表情報）に関して視点間隔が略一定、すなわち該間隔が所定範囲内にある多視点画像群を選択する。より具体的には、視点の理想軌跡に対して直交する方向における該視点の位置が略等しい（理想軌跡に対して所定範囲内にある）、又は理想視線方向に対して所定の範囲内にある関係を満たす多視点画像群（第２の複数の画像）を選択する。
【００３２】
また、立体画像における提示視差を大きくしたい場合は視点間隔を変更して該間隔を広くし、立体画像における提示視差を小さくしたい場合はこの間隔を狭くする。これにより、図７(ｂ)のように多視点画像群からの立体画像の視点数に対応する数の多視点画像群のサブセットが選択される。
【００３３】
ステップ２０６の画像補正パラメータの算出では、まず、ステップ２０５の多視点画像の選択で選択された多視点画像群のサブセットに対し、ステップ２０４の理想軌跡の計算により算出された多視点画像の視点の理想軌跡及び理想視点方向（代表情報）に対する視線方向の変動（差）を再計算し、多視点画像と理想軌跡、理想視線方向のずれを小さくするための補正パラメータを求める。図７(ｂ)の５０３の一点鎖線が再計算された多視点画像群のサブセットに対する理想的なカメラ軌跡を表している。なお、図７（ａ）、（ｂ）において、細線５０１は実際のカメラ軌跡に対応している。
【００３４】
そして、理想的な視点、視線方向との差（誤差）から補正処理パラメータを算出する。まず、カメラの理想視線方向からのずれについては、３次元回転行列からなる視線変換のパラメータを算出し、補正量を計算する。
【００３５】
なお、カメラの視点の軌跡が理想軌跡からずれることによる画像への影響は、厳密には奥行きに依存するため、各画像点の奥行きが不明な状態では補正は困難であるが、視点の理想軌跡に対する奥行き方向（Ｚ）のずれは理想視線方向へのカメラ移動に伴って小さいと考えられるため、本実施例のように画像面における並進により近似的に補正を行う。
【００３６】
図３のステップ２０７の画像の補正処理では、ステップ２０６の画像補正パラメータの算出により求めた画像補正パラメータに基づいて、アフィン変換、射影変換を行ない、各多視点画像に対し幾何学的画像補正を行う。この幾何学的画像補正により、図７（ｃ）に示すように視線方向が一定で、カメラの光軸方向に垂直、且つ画像のスキャンライン方向に水平な方向にカメラを等間隔で移動させながら撮影したような、立体画像の視点数と同じ数の補正後の多視点画像が得られる。
【００３７】
その後、ステップ２０８の立体画像の合成処理に進み、補正処理を行ってシーケンス間で滑らかに視点及び視線方向が変化するように補正された多視点画像（ステップ２０７）を立体画像に合成し、プリンタ３０６により印刷する。又は入出力部３０５を介して該立体画像をデータ（ファイル）として出力する。
【００３８】
なお、レンチキュラ−板を観察デバイスに用いる立体画像の合成処理は、多視点画像群から立体ストライプ画像を合成することにより行う。このとき、多視点画像群の各画像の同一座標の画素を画像の視点配列に従い、隣接画素として配列するように立体ストライプ画像を合成する。ｊ番目の視点の画素値をＰｊｍｎ(但し、ｍ，ｎはそれぞれ水平、垂直方向の画素配列のインデックス)とした時のｊ番目の画像データは以下のような２次元配列として表される。
【００３９】
【数１】
2006113807.tif 000003
【００４０】
そして、この合成処理は、それぞれの視点の画像を垂直方向に１ラインごとに短冊状に分解し、視点位置の逆順に視点数分だけ合成する。したがって、合成後の画像は以下に示すようなストライプ画像となる。
【００４１】
【数２】
2006113807.tif 000004
【００４２】
ここで、上記配列は視点１が左端、視点Ｎが右端の位置関係に対応する画像を表している。なお、視点位置の配列順を逆順にするのはレンチキュラ板（レンチキュラレンズ）により観察をする際、レンチキュラの１ピッチ内で画像が左右逆に観察されるためである。この立体ストライプ画像は、元の多視点画像がＨ×ｖのサイズのＮ視点画像である場合、Ｘ（＝Ｎ×Ｈ）×ｖのサイズとなる。
【００４３】
次に、この立体ストライプ画像に対して、レンチキュラ板のピッチと画像のピッチとを合わせる。１ピッチのＲＰ(ｄｐｉ)の画素がＮ画素分存在するので、１ピッチＮ／ＲＰ(ｉｎｃｈ)となるが、レンチキュラ板のピッチがＲＬ(ｉｎｃｈ)であるので、画像を水平方向にＲＬ×ＲＰ／Ｎ倍してピッチをあわせる。また、垂直方向の画素数は、アスペクト比を保存したい場合は、(ＲＬ×ＲＰ／Ｎ)×Ｙ画素となることから、垂直方向に(ＲＬ×ＲＰ×Ｙ)／(Ｎ×ｖ)のサイズとなる。なお、印刷の解像度をＲＰ(ｄｐｉ)、印刷サイズをＸＰ×ＹＰ、印刷する画像サイズをＸ(ＲＰ×ＸＰ)×Ｙ(ＲＰ×ＹＰ)画素、レンチキュラ板のピッチをＲＬ(ｉｎｃｈ)としている。
【００４４】
立体ストライプ画像に上述のような水平、垂直方向の変倍処理を行ない印刷用の画像データとする。変倍処理は例えば、双線形補間などにより行う。
【００４５】
ステップ２０９の印刷処理では、ステップ２０８における立体画像合成処理にて合成された立体画像を印刷する。そして、最終的に印刷結果にレンチキュラ板等の光学部材を重ね合わせて観察することで、視点移動をした際に違和感のない多視点からなる立体画像を観察することが可能となる。
【００４６】
このように本実施例では、第１の複数の画像間において対応情報を算出し、該対応情報から決定されるカメラの近似的な理想軌跡及び理想視点方向（代表情報）関して所定の関係を有する多視点画像（第２の複数の画像）を選択するので、第１の複数の画像を撮影する際に特殊な装置を使用することなく、それらの合成により観察位置による立体感の変動が少ない立体画像を得ることが可能な多視点画像群を取得することができる。
【００４７】
言い換えれば、特殊な装置を使用せずに手持ちでカメラを移動させて視点を変更しながら多視点画像群を撮影しても、多視点の立体画像の構成に必要な画像数の画像を、立体画像において良好な立体感を提示するような視差を持ち、且つほぼ等速で視点が変動するように選択している。さらには、対応情報から算出された理想軌跡及び理想視点方向（代表情報）に基づく画像補正パラメータを用いて画像補正を行っている。
【００４８】
このため、運動視差及び両眼視差による立体感の滑らかな変動の得られる立体画像を合成することが可能な画像処理装置を実現することができる。
【００４９】
また、この立体画像を印刷した多視点の立体画像を観察しても、視点を変化させた際の両眼視差による立体感の変動や運動視差が自然な立体画像を合成することが可能となる。
【００５０】
以上、上記実施例において、立体画像としてレンチキュラレンズシートを用いた場合の画素配列に従う立体画像の合成方法について説明したが、立体画像を同様に多視点画像から合成する立体画像の提示方式である、斜めレンチキュラシート、パララックスステレオグラム、フォログラフィックステレオグラム等の方式を適用してもよい。
【００５１】
また、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用してもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって実現でき、上記実施例に限定されるものではない。
【００５２】
なお、この場合、記憶媒体から読み出されたプログラムコード自体が上記実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本実施例を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることが出来る。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述の実施形態の機能が実現される場合も含まれる。
【００５３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によって上述の実施例の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施例１に係る画像合成装置の構成ブロック図。
【図２】本発明の実施例１に係る画像処理装置の多視点画像の入力の様子を示す図。
【図３】本発明の実施例１に係る画像処理装置における立体画像合成方法の処理フローを示すフローチャート図。
【図４】本発明の実施例１に係る撮影された多視点画像のカメラ変位の視点位置の変動の様子を示す図。
【図５】本発明の実施例１に係る多視点画像からの特徴点の抽出の様子を示す図。
【図６】本発明の実施例１に係る多視点画像対における特徴点の対応付けの様子を示す図。
【図７】本発明の実施例１に係る多視点画像群からの多視点画像の選択、補正処理の様子を示す図。
【符号の説明】
【００５５】
１０１          カメラ
１０２，１０３  被写体
３０１          画像入力装置
３０２          画像処理装置
３０２１        ＣＰＵ
３０２２        大容量記憶装置
３０２３        主記憶装置
３０３          ディスプレイ
３０４          操作入力部
３０５          入出力部
３０６          プリンタ
【図１】
2006113807.tif 000005
【図２】
2006113807.tif 000006
【図３】
2006113807.tif 000007
【図４】
2006113807.tif 000008
【図５】
2006113807.tif 000009
【図６】
2006113807.tif 000010
【図７】
2006113807.tif 000011