(57)【要約】【課題】装置規模の増大を抑えること。【解決手段】同じ被写体を撮像する２つの撮像部と、２つの撮像部の撮影映像の間で対応点を検出し、２つの撮像部の撮影映像の視差情報を算出する視差算出部と、２つの撮像部それぞれの視点を基準として、視差情報および２つの撮像部の撮影映像に基づき、該撮影映像よりも画素数の多い映像を合成し、２系統の画素数の多い映像を生成する合成処理部とを備えることを特徴とする。【選択図】図２
2012029199.tif 000002
【特許請求の範囲】
【請求項１】
同じ被写体を撮像する２つの撮像部と、
前記２つの撮像部の撮影映像の間で対応点を検出し、前記２つの撮像部の撮影映像の視差情報を算出する視差算出部と、
前記２つの撮像部それぞれの視点を基準として、前記視差情報および前記２つの撮像部の撮影映像に基づき、該撮影映像よりも画素数の多い映像を合成し、２系統の前記画素数の多い映像を生成する合成処理部と
を備えることを特徴とする立体撮像装置。
【請求項２】
前記撮像部は、
被写体の像を撮像面に結像させる光学系と、
撮像面に結像した被写体の撮影映像の信号を生成する撮像素子と
を備え、
一方の前記撮像部は、他方の前記撮像部と比較して、前記光学系に対する前記撮像素子の位置が、該撮像素子の撮影画素の半分だけ上下いずれかにずれていること
を特徴とする請求項１に記載の立体撮像装置。
【請求項３】
前記撮像部を、３つ以上備え、
前記撮像部のうち、横並びの撮像部の間では、前記光学系に対する前記撮像素子の位置が、該撮像素子の撮影画素の半分だけ上下いずれかにずれており、
前記撮像部のうち、縦並びの撮像部の間では、前記光学系に対する前記撮像素子の位置が、該撮像素子の撮影画素の半分だけ左右いずれかにずれていること
を特徴とする請求項２に記載の立体撮像装置。
【請求項４】
４つの前記撮像部が、各辺が水平または鉛直方向のいずれかに沿う正方形の頂点に配置され、
前記視差算出部は、前記４つの撮像部のうち、前記正方形の隣接する頂点に配置されている２つの撮像部の撮影映像の視差情報を算出し、
前記合成処理部は、前記映像の合成の際に行う前記撮影映像の水平方向および鉛直方向の視差補正に、前記視差情報を用いること
を特徴とする請求項１に記載の立体撮像装置。
【請求項５】
少なくとも３つの前記撮像部を備え、
前記合成処理部は、少なくとも３つの前記撮像部それぞれの視点を基準として、前記視差情報および少なくとも２つの前記撮像部の撮影映像に基づき、該撮影映像よりも画素数の多い映像を合成し、少なくとも３系統の前記画素数の多い映像を生成すること
を特徴とする請求項１に記載の立体撮像装置。
【請求項６】
同じ被写体を撮像する２つの撮像部を備える立体撮像装置における撮像方法であって、
前記２つの撮像部の撮影映像の間で対応点を検出し、前記２つの撮像部の撮影映像の視差情報を算出する第１の過程と、
前記２つの撮像部それぞれの視点を基準として、前記視差情報および前記２つの撮像部の撮影映像に基づき、該撮影映像よりも画素数の多い映像を合成し、２系統の前記画素数の多い映像を生成する第２の過程と
を有することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体撮像装置およびその撮像方法に関する。
【背景技術】
【０００２】
近年、映像の迫力や臨場感を高めるために立体映像装置の開発が盛んである。立体画像を生成する技術としては、左チャンネル（Ｌ）用と右チャンネル（Ｒ）用の２台の撮像装置を左右に配置し、２台の撮像装置で被写体を同時に撮影する技術が知られている。また、立体画像を表示する技術としては、左チャンネル（Ｌ）の画像と右（Ｒ）チャンネルの画像を一つの表示画面上に１画素毎に交互に表示すると共に、かまぼこ型のレンズを所定の間隔で並べたレンチキュラーレンズや、細かいスリットを所定の間隔で並べたでパララックスバリアや、微細偏光素子を規則正しく配列させたパターニング位相差板などの特殊な光学系を用いて鑑賞者の左目と右目で見える領域を調整して、鑑賞者の左目には左チャンネル（Ｌ）の画像のみが、右目には右チャンネル（R）の画像のみが見えるようにする技術が知られている。
【０００３】
更に近年、複数のカメラを用いて高精細な映像を生成する技術も開発されている。例えば撮像レンズ、カラーフィルタ、検出器アレイから構成される４つのサブカメラを組み合わせて、サブピクセル解像度を有する薄型カラーカメラも提案されている（例えば、特許文献１参照）。この薄型カラーカメラは、図１８に示すように４つのレンズ２２ａ〜２２ｄと、４つのカラーフィルタ２５ａ〜２５ｄと、検出器アレイ２４から構成される。カラーフィルタ２５は、赤色光（Ｒ）を透過するフィルタ２５ａ、緑色光（Ｇ）を透過するフィルタ２５ｂと２５ｃ、青色光（Ｂ）を透過するフィルタ２５ｄから構成され、検出器アレイ２４は赤色、緑色、青色の画像を撮影する。この構成で、人間の視覚系で高い感度をもつ緑色の２つの画像から高解像度の合成画像を形成し、赤色と青色と組み合わせてフルカラー画像を得ることができるとしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００７−５２０１６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の立体画像を撮像する技術においては、一つの立体画像を得るために左チャンネル（Ｌ）用と右チャンネル（Ｒ）用の２台の撮像装置を必要とするため、装置構成が大規模になってしまうという問題がある。例えば、左チャンネルと、右チャンネルとに、特許文献１に記載の撮像装置を用いると、その撮像装置を２台並べて配置することになる。特許文献１に記載する撮像装置は、４つのサブカメラを備えるため、その２倍の８つのサブカメラが必要となる。
【０００６】
本発明は、このような事情に鑑みてなされたもので、その目的は、装置規模の増大を抑えた立体撮像装置およびその撮像方法を提供することにある。
【課題を解決するための手段】
【０００７】
（１）この発明は上述した課題を解決するためになされたもので、本発明の立体撮像装置は、同じ被写体を撮像する２つの撮像部と、前記２つの撮像部の撮影映像の間で対応点を検出し、前記２つの撮像部の撮影映像の視差情報を算出する視差算出部と、前記２つの撮像部それぞれの視点を基準として、前記視差情報および前記２つの撮像部の撮影映像に基づき、該撮影映像よりも画素数の多い映像を合成し、２系統の前記画素数の多い映像を生成する合成処理部とを備えることを特徴とする。
【０００８】
（２）また、本発明の立体撮像装置は、上述の立体撮像装置であって、前記撮像部は、被写体の像を撮像面に結像させる光学系と、撮像面に結像した被写体の撮影映像の信号を生成する撮像素子とを備え、一方の前記撮像部は、他方の前記撮像部と比較して、前記光学系に対する前記撮像素子の位置が、該撮像素子の撮影画素の半分だけ上下いずれかにずれていることを特徴とする。
【０００９】
（３）また、本発明の立体撮像装置は、上述の立体撮像装置であって、前記撮像部を、３つ以上備え、前記撮像部のうち、横並びの撮像部の間では、前記光学系に対する前記撮像素子の位置が、該撮像素子の撮影画素の半分だけ上下いずれかにずれており、前記撮像部のうち、縦並びの撮像部の間では、前記光学系に対する前記撮像素子の位置が、該撮像素子の撮影画素の半分だけ左右いずれかにずれていることを特徴とする。
【００１０】
（４）また、本発明の立体撮像装置は、上述の立体撮像装置であって、４つの前記撮像部が、各辺が水平または鉛直方向のいずれかに沿う正方形の頂点に配置され、前記視差算出部は、前記４つの撮像部のうち、前記正方形の隣接する頂点に配置されている２つの撮像部の撮影映像の視差情報を算出し、前記合成処理部は、前記映像の合成の際に行う前記撮影映像の水平方向および鉛直方向の視差補正に、前記視差情報を用いることを特徴とする。
【００１１】
（５）また、本発明の立体撮像装置は、上述の立体撮像装置であって、少なくとも３つの前記撮像部を備え、前記合成処理部は、少なくとも３つの前記撮像部それぞれの視点を基準として、前記視差情報および少なくとも２つの前記撮像部の撮影映像に基づき、該撮影映像よりも画素数の多い映像を合成し、少なくとも３系統の前記画素数の多い映像を生成することを特徴とする。
【００１２】
（６）また、本発明の撮像方法は、同じ被写体を撮像する２つの撮像部を備える立体撮像装置における撮像方法であって、前記２つの撮像部の撮影映像の間で対応点を検出し、前記２つの撮像部の撮影映像の視差情報を算出する第１の過程と、前記２つの撮像部それぞれの視点を基準として、前記視差情報および前記２つの撮像部の撮影映像に基づき、該撮影映像よりも画素数の多い映像を合成し、２系統の前記画素数の多い映像を生成する第２の過程とを有することを特徴とする。
【発明の効果】
【００１３】
この発明によれば、装置規模の増大を抑えることができる。
【図面の簡単な説明】
【００１４】
【図１】この発明の第一の実施形態における立体撮像装置１０の概観を示す概観図である。
【図２】同実施形態における立体撮像装置１０の構成を示す概略ブロック図である。
【図３】同実施形態における撮像レンズおよび撮像素子の配置例を示す図である。
【図４】同実施形態における撮像レンズおよび撮像素子の別の配置例を示す図である。
【図５】同実施形態における視差算出部２１の構成を示す概略ブロック図である。
【図６】同実施形態における参照画像ＲＧを示す図である。
【図７】同実施形態における基準画像ＢＧを示す図である。
【図８】同実施形態における参照注目ブロックＲＢの構成を示す図である。
【図９】同実施形態における基準注目ブロックＢＢの構成を示す図である。
【図１０】同実施形態における視差データの算出処理を説明するフローチャートである。
【図１１】同実施形態における高解像度合成処理部２０の機能構成を示す概略ブロック図である。
【図１２】同実施形態における合成処理部９０６の動作を説明する図である。
【図１３】この発明の第二の実施形態における立体撮像装置１１１の概観を示す概観図である。
【図１４】同実施形態における立体撮像装置１１１の機能構成を示す概略ブロック図である。
【図１５】同実施形態における撮像レンズと、撮像素子との配置を説明する図である。
【図１６】同実施形態における多眼高解像度合成処理部１２１の機能構成を示す概略ブロック図である。
【図１７】同実施形態における多眼合成処理部１３１の動作を説明する図である。
【図１８】従来の高精細な映像を生成するカメラの構成を示す概略構成図である。
【発明を実施するための形態】
【００１５】
〔第一の実施形態〕
本発明の第一の実施形態について、図面を参照して詳細に説明する。本発明の実施形態に係る立体撮像装置１０の概観を図１に、その機能構成を示す概略ブロック図を図２に示す。図１及び２に示すように、立体撮像装置１０は、横並びに配置された撮像部１０１と撮像部１０２と、視差算出部２１と、高解像度合成処理部２０とを備える。撮像部１０１は、撮像レンズ１１−１と撮像素子１２−１を備える。撮像部１０２は、撮像レンズ１１−２と撮像素子１２−２を備える。なお、撮像部１０１と撮像部１０２とは、同じ被写体を撮像するように、光軸が平行になるように配置されている。
【００１６】
なお、撮像レンズ１１−１と、撮像レンズ１１−２とは、設置されている位置以外は同様の構成であるので、共通する部分の説明については、撮像レンズ１１と表記して説明する。また、撮像素子１２−１、撮像素子１２−２とは、設置されている位置以外は同様の構成であるので、共通する部分の説明については、撮像素子１２と表記して説明する。撮像レンズ１１は被写体からの光を撮像素子１２上に結像する。なお、撮像素子１２（光学系）は、図２に示すように、一つの凸レンズから構成されていてもよいし、複数のレンズからなる光学系であってもよい。撮像素子１２は、ＣＭＯＳ撮像素子などであり、結像されたイメージを光電変換して映像信号として出力する。以降、撮像部１０１の撮像素子１２−１が出力する映像信号を、映像信号Ｒといい、撮像部１０２の撮像素子１２−２が出力する映像信号を、映像信号Ｌという。
【００１７】
撮像部１０１と撮像部１０２とにより出力された２系統の映像信号（映像信号Ｒ、映像信号Ｌ）は視差算出部２１と高解像度合成処理部２０に入力される。視差算出部２１は入力された２つの映像信号の間で対応点探索を行い、その探索結果から撮像部１０１の視点を基準としたＲ基準視差データＲＳと、撮像部１０２の視点を基準としたＬ基準視差データＬＳを算出して、高解像度合成処理部２０に出力する。高解像度合成処理部２０は入力された２つの映像信号を、これらの視差データ（視差情報）に基づき合成処理して、右目用映像信号ＲＣと左目用映像信号ＬＣとを出力する。
【００１８】
図３は、撮像レンズおよび撮像素子の配置例を示す図である。図３において、水平方向（横方向）にｘ軸をとり、鉛直方向（上下方向）にｙ軸をとり、奥行き方向にｚ軸をとる。すなわち、図３は、立体撮像装置１０を正面から見たときの撮像レンズ、撮像素子の配置示す。図３に示すように、撮像レンズ１１−１と、撮像レンズ１１−２とは、ｙ軸方向には同じ位置に配置されている。一方、撮像素子１２−１は、撮像素子１２−２より、ｙ軸方向（上下方向）に、ｐｙ／２だけ上にずれて配置されている。ここで、ｐｙは、撮像素子１２における画素のｙ軸方向の長さである。すなわち、撮像素子１２−１と、撮像素子１２−２とは、ｙ軸方向（上下方向）に、撮像素子１２の画素の高さの半分だけずれて配置されている。
【００１９】
これにより、撮像部１０１は、撮像部１０２と比較して、撮像レンズに対する撮像素子の位置が、撮像素子の撮影画素の半分だけ上にずれている。なお、逆に、撮像素子１２−１が、撮像素子１２−２より、ｙ軸方向（上下方向）に、ｐｙ／２だけ下にずれて配置されていてもよい。その場合、後述する高解像度合成処理部２０において合成処理する際の画素の配置順が逆となる。
【００２０】
図４は、撮像レンズおよび撮像素子の別の配置例を示す図である。図４において、水平方向（横方向）にｘ軸をとり、鉛直方向（上下方向）にｙ軸をとり、奥行き方向にｚ軸をとる。図４に示す例では、撮像レンズ１１−１は、撮像レンズ１１−２より、ｙ軸方向（上下方向）に、ｐｙ／２だけ上にずれて配置されている。一方、撮像素子１２−１と、撮像素子１２−２とは、ｙ軸方向には同じ位置に配置されている。すなわち、撮像レンズ１１−１と、撮像レンズ１１−２とは、ｙ軸方向（上下方向）に、撮像素子１２の画素の高さの半分だけずれて配置されている。
【００２１】
これにより、撮像部１０１は、撮像部１０２と比較して、撮像レンズ１１に対する撮像素子１２の位置が、撮像素子１２の撮影画素の半分だけ上にずれている。なお、逆に、撮像素子１２−１が、撮像素子１２−２より、ｙ軸方向（上下方向）に、ｐｙ／２だけ下にずれて配置されていてもよい。その場合、後述する高解像度合成処理部２０において合成処理する際の画素の配置順が逆となる。
【００２２】
次に、視差算出部２１について図５を参照し詳細に説明する。図５は、視差算出部２１の構成を示す概略ブロック図である。視差算出部２１は、図１の撮像部１０１から出力された映像信号Ｒと、撮像部Ｌ１０２から出力された映像信号Ｌとから、視差データを算出する。視差算出部２１は、座標変換部３１、３２、右カメラパラメータ記憶部３０Ｒ、左カメラパラメータ記憶部３０Ｌ、対応点探索部３３を備える。
【００２３】
右カメラパラメータ記憶部３０Ｒは、撮像部１０１固有の焦点距離やレンズ歪みパラメータなどの内部パラメータと、２つの撮像部１０１、１０２間の位置関係を表す外部パラメータとを含むカメラパラメータを保持している。同様に、左カメラパラメータ記憶部３０Ｌは、撮像部１０２固有のカメラパラメータを保持している。
座標変換部３１は、撮像部１０１と撮像部１０２の映像を同一平面上に乗せることを目的に、撮像部１０１が出力した映像信号Ｒが表す映像を公知の方法で幾何学変換（座標変換）してエピポーララインを平行化する。このとき、座標変換部３１は、右カメラパラメータ記憶部３０Ｒが記憶するカメラパラメータを用いる。座標変換部３２は、撮像部１０１と撮像部１０２の映像を同一平面上に乗せることを目的に、撮像部１０２が出力した映像信号Ｌが表す映像を公知の方法で幾何学変換してエピポーララインを平行化する。このとき、座標変換部３２は、左カメラパラメータ記憶部３０Ｌが記憶するカメラパラメータを用いる。
【００２４】
対応点探索部３３は、座標変換部３１と座標変換部３２によりエピポーララインが平行化された映像間の対応画素を探索し、撮像部１０１の視点と１０２の視点との視差を表す視差データを求める。対応点探索部３３は２種類の視差データを算出するブロックから構成される。１つは、Ｒ基準視差算出部３４であり、もう１つは、Ｌ基準視差算出部３５である。Ｒ基準視差算出部３４は、エピポーララインが平行化された撮像部１０１の映像を基準映像とし、エピポーララインが平行化された撮像部１０２の映像を参照映像として、基準映像の各画素に対応する参照映像の画素を探索して、Ｒ基準視差データＲＳを算出する。Ｌ基準視差算出部３５は、エピポーララインが平行化された撮像部１０２の映像を基準映像、エピポーララインが平行化された撮像部１０１の映像を参照映像として、基準映像の各画素に対応する参照映像の画素を探索して、Ｌ基準視差データを算出する。Ｒ基準視差算出ブロック３４とＬ基準視差算出ブロック３４は基準映像と参照映像が逆になっているだけで対応点探索動作は同じである。
【００２５】
次に、図６から  図９を参照して、Ｒ基準視差算出部３４による対応画素を探索する処理動作について説明する。図６は、参照画像ＲＧを示す図である。図７は、基準画像ＢＧを示す図である。なお、上述したように、参照画像ＲＧ、基準画像ＢＧともに、エピポーララインは平行化されている。基準画像ＢＧ上の画素に対応する参照画像ＲＧ上の画素（対応画素）を求めるために、基準画像ＢＧ上の注目画素の移動方法について図７を参照して説明する。Ｒ基準視差算出部３４は、基準画像ＢＧ上の注目画素を中心とするブロック（以下、基準注目ブロックＢＢという）を基準画像ＢＧの左上端（基準開始ブロックＢＳ）からラインに沿って右側へ１画素毎に移動させ、移動させた基準注目ブロックＢＢがラインの右端に到達した場合は、１ライン下の左端からラインに沿って右側へ１画素毎に基準注目ブロックＢＢを移動させる。これを基準画像ＢＧの右下端のブロック（基準終了ブロックＢＥ）に到達するまで繰り返す。
【００２６】
次に、Ｒ基準視差算出部３４が、図７に示す基準画像ＢＧ上のある１つの注目ブロック（基準注目ブロックＢＢ）に類似する参照画像ＲＧ上のブロックを探索する処理動作について、図６を参照して説明する。Ｒ基準視差算出部３４は、図７に示す基準画像ＢＧ上の基準注目ブロックＢＢの座標（ｘ、ｙ）と同じ座標となる参照画像ＲＧ上のブロック（参照開始ブロックＲＳ）を、まず、参照注目ブロックＲＢとし、以降、ラインに沿って右側へ参照注目ブロックを１画素毎に移動させていく。そして、図６に示すように参照開始ブロックＲＳから探索範囲だけ右側に離れた参照終了ブロックＲＥまで移動させる。ここで探索する範囲（探索範囲）は、撮影した被写体の最大視差に応じた値であり、設定した探索範囲によって、視差データを算出できる被写体までの最短の距離が決まる。Ｒ基準視差算出部３４は、上述の参照注目ブロックの探索を、図７に示した基準画像ＢＧ上の各基準注目ブロックＢＢについて行う。
【００２７】
次に、Ｒ基準視差算出部３４による基準注目ブロックと類似する参照注目ブロックの決定方法について図８および図９を参照して説明する。図９は、基準注目ブロックＢＢの構成を示す図である。基準注目ブロックＢＢは、基準画像ＢＧ上の注目画素を中心とする横Ｍ×縦Ｎのサイズのブロックである。図８は、参照注目ブロックＲＢの構成を示す図である。参照注目ブロックＲＢは、参照画像ＲＧ上の注目画素を中心とする横Ｍ×縦Ｎのサイズのブロックである。図８に示す参照注目ブロックＲＢおよび図９に示す基準注目ブロックＢＢ上の任意の画素を表すために、横方向をｉ、縦方向をｊとした座標（ｉ、ｊ）の画素値をそれぞれＲ（ｉ、ｊ）、Ｔ（ｉ、ｊ）とする。
【００２８】
Ｒ基準視差算出部３４は、各基準注目ブロックＢＢと、参照注目ブロックＲＢとの組み合わせに対して類似度を算出して、各基準注目ブロックＢＢに類似する参照注目ブロックＲＢを決定する。類似度を求める方法には、一般的に多く用いられているＳＡＤ（Sum of Absolute Difference）を用いる。ＳＡＤは、（１）式に示す類似度判定式のようにＲ（ｉ、ｊ）とＴ（ｉ、ｊ）の差分の絶対値をブロックの全画素について求め、それを合計した値（ＳＳＡＤ）である。Ｒ基準視差算出部３４は、ある基準注目ブロックＢＢに対応する参照画像ＲＧ上の探索範囲内の各参照注目ブロックＲＧの中で（１）式のＳＳＡＤの値が最も小さくなる参照注目ブロックを、その基準注目ブロックと類似していると決定する。そして、Ｒ基準視差算出部３４は、基準注目ブロックＢＢに類似する参照注目ブロックＲＢの中心にある画素を、基準注目ブロックＢＢの中心にある注目画素に対応する画素とする。
【００２９】
【数１】
2012029199.tif 000003
【００３０】
なお、Ｌ基準視差算出部３５による対応画素を探索する処理動作は、Ｒ基準視差算出部３４と、ほぼ同じであるが、探索する範囲が異なる。Ｌ基準視差算出部３５の場合、参照開始ブロックＲＳは、基準注目ブロックＢＢと同じ座標から左側へ探索範囲だけ離れたブロックであり、参照終了ブロックＲＥは、基準注目ブロックＢＢと同じ座標にあるブロックである。
【００３１】
以上の説明は、視差データの算出方法を処理単位毎に説明したものである。次に、図６〜図９及び図１０に示す処理フローを参照して、入力画素のシーケンスに沿った説明をする。Ｒ基準視差算出部３４は、まず、基準注目ブロックを基準画像ＢＧ（図７）の先頭（基準開始ブロックＢＳ）に設定する（ステップＳ９００）。そして、基準注目ブロックＢＢの全画素値を基準画像ＢＧから読み出す（ステップＳ９０１）。次に、Ｒ基準視差算出部３４は、基準注目ブロックＢＢと同じ座標の参照画像ＲＧ（図６）中のブロック、すなわち参照画像ＲＧの先頭（参照開始ブロックＲＳ）を、参照注目ブロックＲＢに設定する（ステップＳ９０２）。そして、参照注目ブロックＲＢの全画素値を参照画像ＲＧから読み出す（ステップＳ９０３）。Ｒ基準視差算出部３４は、読み出した基準注目ブロックＢＢと参照注目ブロックＲＢの画素値のＳＳＡＤ値を、（１）式に従って算出し、記憶する（ステップＳ９０４）。
【００３２】
次に、Ｒ基準視差算出部３４は、探索範囲が終了したか否かを判定し（ステップＳ９０５）、終了していなければ参照注目ブロックをライン方向に沿って右側に１画素移動させ（ステップＳ９０６）、再度ステップＳ９０３およびステップＳ９０４を行う。これらステップＳ９０３からステップＳ９０６を、参照注目ブロックＲＢが探索範囲内にある間、繰り返し、探索範囲内の全ＳＳＡＤ値を算出する。Ｒ基準視差算出部３４はこれらの算出結果に基づき、ＳＳＡＤ値が最小の参照注目ブロックＲＢを検出する（ステップＳ９０７）。ここで、ステップＳ９０７で算出した最小のＳＳＡＤ値が必ずしも正しい類似ブロックとなるとは限らない。例えば、基準注目ブロックＢＢに特徴点となる模様（テクスチャー）や輪郭がない場合や、参照画像ＲＧ上の探索領域がオクルージョン領域の場合などに視差が正しく検出できない。この視差が正しく検出できたかは、最小のＳＳＡＤ値がどれくらい小さい値になっているかから判断できる。
【００３３】
そこで、Ｒ基準視差算出部３４は、最小のＳＳＡＤ値を閾値と比較して（ステップ９０８）、ＳＳＡＤ値が閾値以下のとき（即ち類似度が高い場合）は、基準注目ブロックＢＢの中心（基準画像ＢＧ上の注目画素）のｘ座標と、検出した参照注目ブロックＲＢの中心（参照画像ＲＧ上の対応する画素）のｘ座標との差分を、その注目画素の視差データとして出力する（ステップＳ９０９）。一方、ＳＳＡＤ値が閾値を超えているとき（即ち類似度が低い場合）は、Ｒ基準視差算出部３４は、視差が検出できなかったと判断して、エラーフラグとして視差データを０もしくはユニークな値にして出力する（ステップ９１０）。
【００３４】
最後に、Ｒ基準視差算出部３４は、基準注目ブロックＢＢが基準終了ブロックＢＥに到達したか否か、すなわち処理が終了したか否かを判定し（ステップＳ９１１）、終了していなければ基準注目ブロックＢＢをライン方向に沿って右側に１画素移動させ（ステップＳ９１２）、再度ステップＳ９０１からステップＳ９１０を行う。ステップＳ９１１にて終了したと判定したときは、処理を終了する。このようにして、基準注目ブロックＢＢが基準画像ＢＧの探索終了ブロックとなるまで、これらステップＳ９０１からステップＳ９１０を繰り返し、基準画像ＢＧ上の各画素の視差データを求める。
【００３５】
以上の説明において、図５の対応点探索部３３の処理方法の一例として、基準画像上の注目画素に類似する参照画像上の画素をＳＡＤの類似度評価関数で探索したが、この手法に限定されるものではなく、基準画像上と参照画像上の類似画素を探索する手法であればどのような手法を使用して、視差データを求めても良い。
【００３６】
次に、図１１と図１２を参照して図２に示す高解像度合成処理部２０の詳細な構成と動作を説明する。図１１は、高解像度合成処理部２０の機能構成を示す概略ブロック図である。図１１に示すように高解像度合成処理部２０は、左目用映像信号ＬＣを生成する左目用合成部９０８と、右目用映像信号ＲＣを生成する右目用合成部９０９と、右カメラパラメータ記憶部９０２Ｒと、左カメラパラメータ記憶部９０２Ｌとを具備する。左目用合成部９０８と右目用合成ブロック部９０９の各々は、位置合わせ補正処理部９０１と補正処理部９０３と合成処理部９０６とを備える。左目用合成部９０８と右目用合成部９０９は入力される視差データの組み合わせが異なるだけで基本動作は同じであるため、ここでは左目用合成部９０８の動作を説明し、右目用合成部９０９の説明は省略する。
【００３７】
左目用合成部９０８において、撮像部１０１の映像信号Ｒは位置合わせ補正処理部９０１に、撮像部１０２の映像信号Ｌは補正処理部９０３に入力される。位置合わせ補正処理部９０１は、右カメラパラメータ記憶部９０２Ｒが記憶する撮像部１０１のレンズ歪の状態を示すカメラパラメータに基づき、映像信号Ｒが表す映像のレンズ歪みを補正した後、視差算出部２１から入力されるＬ基準視差データＬＳと、右カメラパラメータ記憶部９０２Ｒが記憶する撮像部１０１の向きや姿勢を示すカメラパラメータに基づき、レンズ歪を補正した映像の各画素が撮像部１０２の映像（補正処理部９０３により補正された映像）中の同じ座標の画素と同じ被写体位置を捕らえるように位置合わせを行う。
【００３８】
ただし、この位置合わせにおいて、図３、図４で説明した、撮像部１０１を、撮像部１０２と比較すると、撮像レンズ１１−１に対する撮像素子１２−１の位置が、撮像素子１２−１の撮影画素の半分だけ上にずれている状態については、補正を行なわない。すなわち、位置合わせ補正処理部９０１の処理結果の座標（ｘ、ｙ）の画素は、補正処理部９０３の処理結果の座標（ｘ、ｙ）の画素と、座標（ｘ、ｙ−１）の画素との間の被写体位置を捕らえている。一方、補正処理部９０３は、左カメラパラメータ記憶部９０２Ｌが記憶するレンズ歪の状態を示すカメラパラメータに基づき、映像信号Ｌが表す映像のレンズ歪みを補正する。
【００３９】
すなわち、位置合わせ補正処理部９０１と、補正処理部９０３とは、カメラパラメータを用いたエピポーララインの平行化と、L基準視差データＬＳを用いた視差の補正とを行う。ここで、エピポーララインの平行化は、公知の方法で行うことができる。また、視差の補正として、位置合わせ補正処理部９０１は、映像信号Ｒの表す映像に対してエピポーララインの平行化をした映像の画素を、Ｌ基準視差データＬＳが示す視差分だけ、画素を左に移動させる。例えば、座標（ｘ、ｙ）におけるＬ基準視差データＬＳがｄであれば、座標（ｘ＋ｄ、ｙ）の画素を、座標（ｘ、ｙ）に移動させる。なお、右目用合成部９０９の補正処理部９０３には、映像信号Ｒと、撮像部１０１のカメラパラメータとが入力され、位置合わせ補正処理部９０１には、映像信号Ｌと、撮像部１０２のカメラパラメータと、Ｒ基準視差データＲＳとが入力される。また、右目用合成部９０９の位置合わせ補正処理部９０１における視差の補正では、視差データＲＳが示す視差分だけ、画素を右に移動させる。
【００４０】
次に、図１２を参照して、左目用合成部９０８の合成処理部９０６の動作を説明する。図１２において、横軸はｙ軸方向の空間の広がり（大きさ）、縦軸は光の振幅（光強度）示している。符号４０ａのグラフは、撮像部１０１、１０２の撮像素子１２−１、１２−２のうち、撮像レンズ１１−１、１１−２により被写体の像が結像されて、ある縦一列の画素に入射する光の分布を示す。符号４０ｅのグラフは、撮像部１０１の撮像素子１２−１の画素のうち、グラフ４０ａの光が入射している画素に対応する位置合わせ補正処理部９０１の出力の分布を示す。符号４０ｆのグラフは、撮像部１０２の撮像素子１２−２の画素のうち、グラフ４０ａの光が入射している画素に対応する補正処理部９０３の出力の分布を示す。符号４０ｇのグラフは、符号４０ｅ、符号４０ｆの分布に対する合成処理部９０６の出力の分布を示す。なお、ここでは、説明を簡易にするため、グラフ間の関係について、位置合わせ補正処理部９０１、補正処理部９０３による補正の影響を無視して説明する。
【００４１】
図中の縦線のうち、実線は、撮像部１０１の撮像素子１２−１の画素の境界線であり、破線は、撮像部１０２の撮像素子１２−２の画素の境界線である。すなわち、図中の符号４０ｂと符号４０ｃはそれぞれ撮像部１０１と撮像部１０２の画素であり、相対位置関係が符号４０ｄの矢印で示すオフセット分だけずれている。なお、このオフセットは、そのずれ量を撮像素子１２−１と撮像素子１２−２の画素（符号４０ｂ、符号４０ｃ）の半分の大きさに設定することが好ましい。半画素のオフセットにより最も高精細な画像を生成することが可能となる。撮像素子１２−１、１２−２は画素単位で光強度を積分することになるため、符号４０ａで示す被写体の像を撮像素子１２−１で撮影すると、符号４０ｅで示す光強度分布の映像信号が得られ、撮像素子１２−２で撮影すると符号４０ｆで示す光強度分布の映像信号が得られる。
【００４２】
合成処理部９０６は、ｙ軸方向に、位置合わせ補正処理部９０１の出力と、補正処理部９０３の出力とを交互に並べることで、画像を合成し、撮像部１０１、１０２の出力に比べてｙ軸方向の解像度が２倍になった左目用映像信号ＬＣを生成する。このとき、撮像部１０１は、撮像部１０２と比較して、撮像レンズ１１−１に対する撮像素子１２−１の位置が、撮像素子１２−１の撮影画素の半分だけ上にずれていることを考慮し、撮像部１０１に由来する位置合わせ補正処理部９０１の画素ａと同じ座標の画素であって、撮像部１０２に由来する補正処理部９０３の画素ｂを、画素ａの下に配置する。すなわち、画像の右上を原点とし、右方向にｘ軸、下方向にｙ軸をとったとき、位置合わせ補正処理部９０１の出力中の座標（ｘ、ｙ）の画素は、合成処理部９０６の出力中の座標（２ｘ、２ｙ）の画素となり、補正処理部９０３の出力中の座標（ｘ、ｙ）の画素は、合成処理部９０６の出力中の座標（２ｘ、２ｙ＋１）の画素となる。
【００４３】
合成処理部９０６は、このようにして、２つの画像を合成することで、符号４０ｇに示すグラフ４０ａに近い高精細な画像を再現することができる。
なお、右目用合成部９０９の合成処理部９０６は、左目用合成部９０８の合成処理部９０６と同様に動作するが、撮像部１０１に由来する補正処理部９０３の画素ｃと同じ座標の画素であって、撮像部１０２に由来する位置合わせ補正処理部９０１の画素ｄを、画素ｃの下に配置する。
【００４４】
以上の合成動作が左目用合成部９０８と右目用合成部９０９で実行される。その結果、左目用合成部９０８からは撮像部１０２の位置から撮影した（即ち左目から見た）高精細な映像の信号である左目用映像信号ＬＣが出力され、右目用合成部９０９からは撮像部１０２の位置から撮影した（即ち右目から見た）高精細な映像の信号である右目用映像信号ＲＣが出力される。この左目用と右目用の映像を立体表示装置で表示することで、撮像部１０１、１０２の２倍の解像度を持つ立体映像を表示することが可能となる。
【００４５】
このように、立体撮像装置１０が出力する左目用映像信号ＬＣと、右目用映像信号ＲＣとは、撮像部１０１、１０２が出力する映像信号Ｒ、Ｌと比較すると、２倍の解像度を有している。したがって、立体撮像装置１０は、撮像部１０１が出力する映像信号と同等の解像度を有する立体撮像装置と同等の装置規模で、その２倍の解像度の立体映像を生成することができる。
【００４６】
〔第二の実施形態〕
本発明の第二の実施形態について、図面を参照して詳細に説明する。なお、第一の実施形態と同じ機能の部分については同じ符号を用いて説明を省略する。図１３は、本実施形態における立体撮像装置の概観を示す概観図である。図１３に示すように、本実施形態における立体撮像装置１１１は、撮像部の数が第一の実施形態と異なり、２眼（符号１０１，１０２）から４眼（符号１０１，１０２，１０３，１０４）と増えている。すなわち、立体撮像装置１１１は、撮像部１０１、撮像部１０２、撮像部１０３、撮像部１０４を具備する。また、撮像部１０１は、撮像レンズ１１−１、撮像素子１２−１を具備する。同様に、撮像部１０２は、撮像レンズ１１−２、撮像素子１２−２を具備し、撮像部１０３は、撮像レンズ１１−３、撮像素子１２−３を具備し、撮像部１０４は、撮像レンズ１１−４、撮像素子１２−４を具備する。
【００４７】
図１４は、本実施形態における立体撮像装置１１１の機能構成を示す概略ブロック図である。立体撮像装置１１１は、撮像部１０１、１０２、１０３、１０４、視差算出部２１、多眼高解像度合成処理部１２１を具備する。撮像部１０１と撮像部１０２が出力した映像信号Ｒ、Ｌは多眼高解像度化合成処理部１２１と視差算出部２１に入力される。撮像部１０３が出力した映像信号Ｒ’と撮像部１０４が出力した映像信号Ｌ’は、多眼高解像度合成処理部１２１に入力される。視差算出部２１の処理は、第一の実施形態と同じであり、Ｒ基準視差データとＬ基準視差データを算出して多眼高解像度合成処理部１２１に出力する。高解像度合成処理部１２１は入力された４系統の映像信号を２系統の視差データに基づき合成処理して、右目用映像信号ＲＣと左目用映像信号ＬＣとを出力する。
【００４８】
図１５は、本実施形態における撮像レンズと、撮像素子との配置を説明する図である。図１５において、水平方向（横方向）にｘ軸をとり、鉛直方向（上下方向）にｙ軸をとり、奥行き方向にｚ軸をとる。すなわち、図１５は、立体撮像装置１１１を正面から見たときの撮像レンズ、撮像素子の配置示す。図１５に示すように、撮像レンズ１１−１と、撮像レンズ１１−２とは、ｙ軸方向には同じ位置に配置されている。また、撮像レンズ１１−３と、撮像レンズ１１−４とは、ｙ軸方向には同じ位置に配置されている。また、撮像レンズ１１−１と、撮像レンズ１１−３とは、ｘ軸方向には同じ位置に配置されている。また、撮像レンズ１１−２と、撮像レンズ１１−４とは、ｘ軸方向には同じ位置に配置されている。また、撮像レンズ１１−１の中心から撮像レンズ１１−２の中心までの距離Ｄｘは、撮像レンズ１１−１の中心から撮像レンズ１１−３の中心までの距離Ｄｙと等しい。このように、本実施形態では、撮像部１０１〜１０４は、各辺が水平または鉛直方向のいずれかに沿う正方形の頂点に配置されている。
【００４９】
一方、撮像素子１２−１は、撮像素子１２−２より、ｙ軸方向（上下方向）に、ｐｙ／２だけ上にずれて配置されている。また、撮像素子１２−３は、撮像素子１２−４より、ｙ軸方向（上下方向）に、ｐｙ／２だけ上にずれて配置されている。ここで、ｐｙは、撮像素子１２における画素のｙ軸方向の長さである。また、撮像素子１２−１は、撮像素子１２−３より、ｘ軸方向（横方向）に、ｐｘ／２だけ左にずれて配置されている。また、撮像素子１２−２は、撮像素子１２−４より、ｘ軸方向（横方向）に、ｐｘ／２だけ左にずれて配置されている。ここで、ｐｘは、撮像素子における画素のｘ軸方向の長さである。
【００５０】
これにより、撮像部１０１は、撮像部１０２と比較して、撮像レンズに対する撮像素子の位置が、撮像素子の撮影画素の半分だけ上にずれている。同様に、撮像部１０３は、撮像部１０４と比較して、撮像レンズに対する撮像素子の位置が、撮像素子の撮影画素の半分だけ上にずれている。また、撮像部１０１は、撮像部１０３と比較して、撮像レンズに対する撮像素子の位置が、撮像素子の撮影画素の半分だけ左にずれている。同様に、撮像部１０２は、撮像部１０４と比較して、撮像レンズに対する撮像素子の位置が、撮像素子の撮影画素の半分だけ左にずれている。
なお、ここでは、撮像素子がずれて配置される例を示したが、第一の実施形態で示した図４のように、撮像レンズがずれて配置されていてもよい。
【００５１】
次に、図１６、図１７を参照して多眼高解像度合成処理部１２１の詳細な構成と動作を説明する。多眼高解像度合成処理部１２１は、左目用の高精細映像を生成する左目用多眼合成部１３０と、右目用の高精細映像を生成する右目用多眼合成部１３２と、撮像部１０１から１０４のカメラパラメータを記憶するカメラパラメータ記憶部９０２とを具備する。左目用合成部１３０と右目用合成ブロック１３０は、それぞれ位置合わせ補正処理部９０１と、補正処理部９０３と、縦横位置合わせ補正処理部９０４、縦位置合わせ補正処理部９０５、多眼合成処理部１３１とを具備する。左目用合成部１３０と右目用合成部１３２は入力される映像信号と視差データの組み合わせが異なるだけで基本動作は同じであるため、ここでは左目用合成ブロック１３１で動作を説明する。
【００５２】
撮像部１０１が出力した映像信号Ｒは、位置合わせ補正処理部９０１に入力される。位置合わせ補正処理部９０１は、第１の実施形態と同様に、映像信号Ｒが表す映像の補正処理および位置合わせを、カメラパラメータ記憶部９０２が記憶する撮像部１０１のカメラパラメータと、Ｌ基準視差データＬＳとに基づき行い、撮像部１０２の視点からの映像を生成する。撮像部１０２が出力した映像信号Ｌは、補正処理部９０３に入力される。補正処理部９０３は、第１の実施形態と同様に、映像信号Ｌが表す映像の補正処理を、カメラパラメータ記憶部９０２が記憶する撮像部１０２のカメラパラメータに基づき行う。
【００５３】
撮像部１０３が出力した映像信号Ｒ’は、縦横位置合わせ補正処理部９０４に入力される。縦横位置合わせ補正処理部９０４は、映像信号Ｒ’が表す映像の補正処理および位置合わせを、カメラパラメータ記憶部９０２が記憶する撮像部１０３のカメラパラメータと、Ｌ基準視差データＬＳとに基づき行い、撮像部１０２の視点からの映像を生成する。このとき、撮像部１０１の撮像レンズ１１−１の中心と、撮像部１０２の撮像レンズ１２−１の中心との距離Ｄｘは、撮像部１０１の撮像レンズ１１−１の中心と、撮像部１０３の撮像レンズ１２−３の中心との距離Ｄｙと等しいことから、上下方向の視差データとして、Ｌ基準視差データＬＳを用いる。すなわち、縦横位置合わせ補正処理部９０４は、Ｌ基準視差データＬＳを上下方向と横方向とに適用して、位置合わせを行う。例えば、縦横位置合わせ補正処理部９０４により位置合わせされた画像中の座標（ｘ、ｙ）の画素値は、該座標におけるＬ基準視差データＬＳがｄのときは、撮像部１０３が出力した映像信号が表す画像をカメラパラメータにより補正した画像中の座標（ｘ＋ｄ、ｙ―ｄ）の画素値である。
【００５４】
撮像部１０４が出力した映像信号Ｌ’は縦位置合わせ補正処理部９０５に入力される。縦位置合わせ補正処理部９０５は、映像信号Ｌ’が表す映像の補正処理および位置合わせを、カメラパラメータ記憶部９０２が記憶する撮像部１０４のカメラパラメータと、Ｌ基準視差データＬＳとに基づき行い、撮像部１０２の視点からの映像を生成する。すなわち、縦位置合わせ補正処理部９０５は、Ｌ基準視差データＬＳを上下方向に適用して、位置合わせを行う。例えば、縦位置合わせ補正処理部９０５により位置合わせされた画像中の座標（ｘ、ｙ）の画素値は、該座標におけるＬ基準視差データＬＳがｄのときは、撮像部１０４が出力した映像信号が表す画像をカメラパラメータにより補正した画像中の座標（ｘ、ｙ―ｄ）の画素値である。
【００５５】
次に、図１７を参照して、左目用合成部１３０および右目用合成部１３２における多眼合成処理部１３１の動作を説明する。第一の実施形態においては２つの画像による高解像度合成処理を行ったが、本実施形態では、多眼合成処理部１３１は、４つの撮像部１０１、１０２、１０３、１０４で得られた４系統の映像信号を用いて高解像度化合成する。左目用合成部１３０の多眼合成処理部１３１は、撮像部１０２の視点からの映像を表す信号である左目用映像信号ＬＣ’を生成し、出力する。また、右目用合成部１３２の多眼合成処理部１３１は、撮像部１０１の視点からの映像を表す信号である右目用映像信号ＲＣ’を生成し、出力する。４系統の高解像度化合成も図１２の光強度分布で説明した原理と同じであるが、ここではより具体的に、４つの撮像部１０１、１０２、１０３、１０４の解像度がＶＧＡ（６４０×４８０画素）で、その４倍の画素数であるＱｕａｄ−ＶＧＡの画素（１２８０×９６０画素）への高解像度合成処理を行う場合で説明する。
【００５６】
図１７に示すように、Ｑｕａｄ−ＶＧＡの画素（１２８０×９６０画素）の隣接する４つの画素が、異なる撮像部で撮像された画素を割り当てて合成することで高解像度の画像を得ることが可能である。ここで、撮像部１０１の撮像素子１１−１は、撮像部１０２の撮像素子１１−２に対して、半画素分だけ上にずれて配置されており、撮像部１０３の撮像素子１１−３に対して、半画素分だけ左にずれて配置されており、撮像部１０４の撮像素子１１−４は、撮像部１０２の撮像素子１１−２に対して、半画素分だけ左にずれて配置されている。そこで、撮像素子の配置がずれている向きに合わせて、図１７に示すように、撮像部１０１に由来する補正後映像ＭＲと、撮像部１０２に由来する補正後映像ＭＬと、撮像部１０３に由来する補正後映像ＭＲ’と、撮像部１０４に由来する補正後映像ＭＬ’との各々における同一座標の画素である画素Ｇ１１、Ｇ２１、Ｇ３１、Ｇ４1を、多眼合成処理部１３１は、以下のように配置する。すなわち、画素Ｇ１１の右隣に画素Ｇ３１を配置し、画素Ｇ１１に下隣に画素Ｇ２１を配置し、画素Ｇ３２の右隣に画素Ｇ４１を配置する。
【００５７】
なお、左目用合成部１３１においては、撮像部１０１に由来する補正後映像ＭＲは、位置合わせ補正処理部９０１が生成した画像であり、撮像部１０２に由来する補正後映像ＭＬは、補正処理部９０３が生成した画像であり、撮像部１０３に由来する補正後映像ＭＲ’は、縦横位置合わせ補正処理部９０４が生成した画像であり、撮像部１０４に由来する補正後映像ＭＬ’は、縦位置合わせ補正処理部９０５が生成した画像である。右目用合成部１３２においては、撮像部１０１に由来する補正後映像ＭＲは、補正処理部９０３が生成した画像であり、撮像部１０２に由来する補正後映像ＭＬは、位置合わせ補正処理部９０１が生成した画像であり、撮像部１０３に由来する補正後映像ＭＲ’は、縦位置合わせ補正処理部９０５が生成した画像であり、撮像部１０４に由来する補正後映像ＭＬ’は、縦横位置合わせ補正処理部９０４が生成した画像である。
【００５８】
以上の合成動作が左目用合成部１３０と右目用合成部１３２で実行される。その結果、左目用合成部１３０からは撮像部１０２の位置から撮影した（即ち左目から見た）４系統の映像を合成した高精細な映像が出力され、右目用合成部１３２からは撮像部１０１の位置から撮影した（即ち右目から見た）４系統を合成した、撮像部の出力と比較すると４倍の解像度を有する映像が出力される。この左目用と右目用の高精細化映像を立体表示装置で表示することで、高精細な立体映像を表示することが可能となる。
【００５９】
このように、立体撮像装置１１１が出力する左目用映像信号ＬＣ’と、右目用映像信号ＲＣ’とは、撮像部１０１、１０２、１０３、１０４が出力する映像信号比較すると、４倍の解像度を有している。すなわち、立体撮像装置１１１が出力する左目用映像信号ＬＣ’と、右目用映像信号ＲＣ’とは、撮像部１０１が出力する映像信号と撮像部１０３が出力する映像信号とを合成した映像信号と比較すると、４倍の解像度を有している。したがって、立体撮像装置１１１は、撮像部１０１が出力する映像信号と撮像部１０３が出力する映像信号とを合成した映像信号と同等の解像度を有する立体撮像装置と同等の装置規模で、その２倍の解像度の立体映像を生成することができる。
【００６０】
尚、本実施形態では視差算出部２１に入力する映像信号を撮像部１０１、１０２が出力した２つの映像信号とした例を説明したが、入力する映像信号の数を増やすことも可能である。例えば、撮像部１０１、１０２、１０３、１０４が出力した４系統の映像を入力して、それぞれを基準として４系統の視差を算出し、それぞれの視差データで多眼高解像度合成することも可能である。その場合、右目用、左目用以外の複数視点の高精細映像が出力されることになり、結果的に、多視点立体映像を解像度劣化無く生成することが可能となる。
【００６１】
また、図２に視差算出部２１、高解像度合成処理部２０、あるいは図１４における視差算出部２１、多眼高解像度合成処理部１２１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６２】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６３】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００６４】
１０、１１１…立体撮像装置
１１−１、１１−２、１１−３、１１−４…撮像レンズ
１２−１、１２−２、１２−３、１２−４…撮像素子
２０…高解像度合成処理部
２１…視差算出部
３０Ｒ…右カメラパラメータ記憶部
３０Ｌ…左カメラパラメータ記憶部
３１、３２…座標変換部
３３…対応点探索部
３４…Ｒ基準視差算出部
３５…Ｌ基準視差算出部
１０１、１０２、１０３、１０４…撮像部
１２１…多眼高解像度合成処理部
１３１…多眼合成処理部
９０１…位置合わせ補正処理部
９０２…カメラパラメータ記憶部
９０２Ｒ…右カメラパラメータ記憶部
９０２Ｌ…左カメラパラメータ記憶部
９０３…補正処理部
９０４…縦横位置合わせ補正処理部
９０５…縦位置合わせ補正処理部
９０６…合成処理部
９０８、１３０…左目用合成部
９０９、１３２…右目用合成部
【図１】
2012029199.tif 000004
【図２】
2012029199.tif 000005
【図３】
2012029199.tif 000006
【図４】
2012029199.tif 000007
【図５】
2012029199.tif 000008
【図６】
2012029199.tif 000009
【図７】
2012029199.tif 000010
【図８】
2012029199.tif 000011
【図９】
2012029199.tif 000012
【図１０】
2012029199.tif 000013
【図１１】
2012029199.tif 000014
【図１２】
2012029199.tif 000015
【図１３】
2012029199.tif 000016
【図１４】
2012029199.tif 000017
【図１５】
2012029199.tif 000018
【図１６】
2012029199.tif 000019
【図１７】
2012029199.tif 000020
【図１８】
2012029199.tif 000021