(57)【要約】【課題】  複数の撮像手段からの撮像画像によって視点変換画像の生成において、認識度の高い画像を生成できる画像生成装置を提供する。【解決手段】  複数の撮像手段から供給される画像情報に基づいて仮想視点からの視点変換画像を生成する画像生成装置であって、前記複数の各撮像手段のうち少なくとも所定の複数のものはステレオカメラユニット１２により構成され、当該各ステレオカメラユニット１２間の配置距離がステレオカメラユニット１２単体における基線長より長く設定され、前記ステレオカメラユニット１２単体による短基線長撮像と、前記ステレオカメラユニット１２の対の組合せで構成されるステレオカメラによる長基線長撮像とが可能になされた構成としている。この場合において、前記撮像手段は撮像手段配置物体に所定の形態で配置している。【選択図】    図１
2006033282.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像手段から供給される画像情報に基づいて仮想視点からの視点変換画像を生成する画像生成装置であって、前記複数の各撮像手段のうち少なくとも所定の複数のものはステレオカメラユニットにより構成され、当該各ステレオカメラユニット間の配置距離がステレオカメラユニット単体における基線長より長く設定され、前記ステレオカメラユニット単体による短基線長撮像と、前記ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長撮像とが可能になされたことを特徴とする画像生成装置。
【請求項２】
前記撮像手段は撮像手段配置物体に所定の形態で配置されたものであることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記視点変換画像生成手段は、前記撮像手段から供給される画像情報に基づいて当該画像情報に対応する被写体の距離を算出する測距手段と、前記測距手段によって算出される距離の情報と当該画像情報とに基づいて空間モデルを生成する空間モデル生成手段と、を含んで構成されるものであることを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記ステレオカメラユニットによる短基線長での撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長での撮像とを切り替えて行なうための切替手段を設けてなることを特徴とする請求項１に記載の画像生成装置。
【請求項５】
撮像手段配置物体に配置された１又は複数の撮像手段と、当該撮像手段から供給される画像情報に対応する被写体の距離を算出する測距手段と、空間モデル生成手段とを備え、空間モデルに基づいて視点変換画像を生成する方法において、ステレオカメラユニット単体による短基線長撮像と、当該ステレオカメラユニットの対の組合せで構成される長基線長ステレオカメラによる長基線長撮像とによる画像情報と空間モデルから画像を生成することを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成装置およびその方法に係り、特に複数の撮像手段で撮像した画像を基にして、仮想視点画像を生成して表示する場合に好適な画像生成装置およびその方法に関する。
【背景技術】
【０００２】
ある特定エリアを監視等の目的のためモニタ画面上に表示するには、複数台のカメラで広範囲を撮影し得られた画像を１つの画面上に分割表示したり、時間毎に撮像した画像を順次切り替えて表示したりしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。
【０００３】
しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗く表示画像が見にくく監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。
【０００４】
この画像生成の際、車両と車両の周囲に存在する障害物等の距離データを計測し、画像上に障害物を表示するデータとして用いて画像生成を行っている。
例えば、特許文献１には、車両周囲の状況表示に関して、車両に設置した複数台のカメラで車両周囲を撮影し、任意の視点による合成画像を表示するようにした技術が提案されている。これは各カメラの映像出力を画素単位で仮想視点から見た二次元平面上に座標変換して展開し、複数のカメラ画像を仮想視点から見た１つの画像に合成してモニタ画面に表示するようにしたものである。これにより、１枚の仮想視点画像から車両の全周囲にわたってどのような物体が存在するかを運転者が瞬時に把握することができるようになる。この際距離センサを用いて車両と車両の周囲に存在する障害物との距離に基づいて空間モデルについたて面を表示する方法が開示されている。
【０００５】
また、ステレオカメラで被写体を撮像して一対の画像の相関を求めて、同一物体に対する視差からステレオカメラの設置位置や焦点距離等のカメラパラメータを用いて三角測量の原理によって距離を求め画像処理に利用している。（例えば引用文献２）
【特許文献１】特許第３２８６３０６号公報
【特許文献２】特開平５−１１４０９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１の生成画像は合成画像処理を高速にするため３次元画像の画質を落として表示しているため、生成画像が鮮明でなく、表示画像の視認性が悪いという問題があった。
【０００７】
また、ステレオ撮像した画像は基線長が短い場合、遠距離は測距精度が低下し、基線長が長い場合は、近距離の被写体は視差量が大きすぎて画面内に映らないことが知られている。
【０００８】
そこで本発明は上記従来技術の問題点を解決すべく、複数の撮像手段からの画像による視点変換画像の生成において、近距離画像または遠距離画像を用いて認識度の高い視点変換画像を生成することができる画像生成装置およびその方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明に係る画像生成装置は、複数の撮像手段から供給される画像情報に基づいて仮想視点からの視点変換画像を生成する画像生成装置であって、前記複数の各撮像手段のうち少なくとも所定の複数のものはステレオカメラユニットにより構成され、当該各ステレオカメラユニット間の配置距離がステレオカメラユニット単体における基線長より長く設定され、前記ステレオカメラユニット単体による短基線長撮像と、前記ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長撮像とが可能になされたことを特徴としている。
【００１０】
この場合において、前記撮像手段は撮像手段配置物体に所定の形態で配置するとよい。また、前記視点変換画像生成手段は、前記撮像手段から供給される画像情報に基づいて当該画像に対応する被写体の距離を算出する測距手段と、前記測距手段によって算出される距離の情報と当該画像情報とに基づいて空間モデルを生成する空間モデル生成手段と、を含んで構成するとよい。さらに、前記ステレオカメラユニットによる短基線長での撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長での撮像とを切り替えて行なうための切替手段を設けるとよい。
【００１１】
また、本発明に係る画像生成方法は、撮像手段配置物体に配置された１又は複数の撮像手段と、当該撮像手段から供給される画像情報に対応する被写体の距離を算出する測距手段と、空間モデル生成手段とを備え、空間モデルに基づいて視点変換画像を生成する方法において、ステレオカメラユニット単体による短基線長撮像と、当該ステレオカメラユニットの対の組合せで構成される長基線長ステレオカメラによる長基線長撮像とによる画像情報と空間モデルから画像を生成することを特徴としている。
【発明の効果】
【００１２】
上記構成による画像生成装置およびその方法によれば、ステレオカメラユニット単体による短基線長撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長撮像を可能としたことにより、近距離撮像と遠距離撮像による画像を生成することができる。この画像に基づいて画像上の被写体の距離を算出した距離情報と、近距離撮像の空間モデルと、遠距離撮像の空間モデルを得ることができる。このため、これらを任意の距離で選択的に用いることにより認識度の高い空間モデルを生成できる。したがって、認識度の高い視点変換画像を生成することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明に係る画像生成装置およびその方法の実施形態を添付した図面に基づいて詳細に説明する。
図１は本実施形態に係る画像生成装置の構成を示したシステムブロック図である。このシステムの基本的な構成は、複数の撮像手段と、この撮像手段によって取得した画像データを処理してカメラ視点とは異なる仮想の視点から見た合成画像として再生表示するための画像生成装置となる視点変換合成画像の生成／表示装置１０から構成されている。
【００１４】
視点変換合成画像の生成／表示装置１０における基本的な処理は、各撮像手段の視点で撮影された画像を入力し、車両などの撮像手段配置物体が置かれる３次元空間を設定し、この３次元空間を任意に設定した原点（仮想視点）によって特定し、当該特定された仮想視点から見た３次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される３次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。
【００１５】
図２にステレオカメラユニット１２の構成概略図を示す。図示のように、ケーシング４０の正面部左右に距離Ｌ１（基線長）だけ離して各々受光レンズ群を配設した左右一対の受光部４２Ｌ，４２Ｒを形成し、被写体４４をステレオ撮影できるようにしている。受光部４２Ｌ、４２Ｒを通じて入力した撮像光を撮像信号として受信する撮像素子４６Ｌ，４６Ｒがケーシング４０背面部左右に配置されている。受光部４２Ｌ，４２Ｒと撮像素子４６Ｌ，４６Ｒとの間の光路上に赤外カットフィルタ・ローパスフィルタ４８Ｌ，４８Ｒが配置されている。赤外カットフィルタは有害な赤外光をカットし、ローパスフィルタはモアレを防止するために用いている。
【００１６】
この構成による撮像画像は左右のカメラでほぼ同じようなディストーションの分布になるため、二つのステレオカメラユニットのいずれか一方の画像を用いて、長基線長画像として用いる際にも、単体のステレオカメラユニット上での近距離のステレオ処理と同じステレオ画像の画像補正アルゴリズム、特にレクティフィケーションにおける画像歪みの補正パラメータが大きく変化することがない。したがって、ステレオカメラユニット１２Ａ，１２Ｂによる長基線の組合せは、１２ＡＬ−１２ＢＬ，１２ＡＲ−１２ＢＲ，１２ＡＲ−１２ＢＬ，１２ＡＬ−１２ＢＲの４通りの組合せから任意に選択することができる。
【００１７】
車両にステレオカメラユニット１２を複数搭載した実施形態を図３を用いて説明する。撮像手段配置物体としての車両５０の前後部には、撮像手段としてのステレオカメラユニット１２を複数装備している。この図示の例では、車両５０の前部に前方カメラ群１２Ｆ（１２ＦＲ、１２ＦＬ）が装備されている。また、車両の後部にも、撮像手段としての後方カメラ群１２Ｒ（１２ＲＲ、１２ＲＬ）が装備されている。この実施形態では、前後カメラ群１２Ｆ，１２Ｒからの画像データを取り込むための画像選択装置３０（３０Ｆ、３０Ｒ）が設けられ、運転席近傍に設けられた視点変換画像生成／表示装置１０からの画像選択コマンドを受け、必要画像を選択して画像情報として視点変換画像生成／表示装置１０に返すように構成されている。なお、データ送受信は車内ＬＡＮ回線を通じて行うようにしてもよい。
【００１８】
図４は屋内監視装置に適用した実施形態の例であり、仮想視点を、近距離あるいは遠距離での撮像手段の切り替えをなすように構成している。すなわち、監視対象室４０の一壁面に撮像手段としてのステレオカメラユニット１２をそれぞれ２台並列に設置している。この場合、前述のようにステレオカメラユニット１２Ａ，１２Ｂ間の配置距離がステレオカメラユニット１２単体における基線長より長くなるように設置している。
【００１９】
同図（１）に示すように、カメラの近距離に存在する人物を撮像する場合、単体のステレオカメラユニット１２による短基線長撮像を行う。ステレオカメラユニット１２の基線長は近距離を撮像するのに最適な基線長に設定してある。このため、カメラから近距離の空間でも二つの視野が重なり、ステレオ撮像ができるので距離画像データを得ることができる。
【００２０】
一方、同図（２）に示すように、壁面部に設置したカメラから遠距離にある被写体を撮像する場合、ステレオカメラユニット１２の対の組合せ、すなわち、ステレオカメラユニット１２の対の１２ＡＲ−１２ＢＲあるいは１２ＡＬ−１２ＢＬの組合せによる長基線長撮像を行う。前述のステレオカメラユニット１２単体による撮像画像は、基線長を短基線長撮像に設定してあるので、近距離撮像画像は精度が良い。しかしながら遠距離の被写体の場合には、画像が粗くなり、測距装置による正確な測距画像データが得られない。
【００２１】
そこで、ステレオカメラ１２の対の組合せであれば（例えばステレオカメラの右―右あるいは左−左等）、基線長を長くすることができる。このため短基線長撮像では困難であった遠距離の測距に有効な領域の撮像を基にした測距が可能となる。よって、遠距離の被写体の撮像画像の精度が上がり、測距装置による正確な測距画像データを得ることができる。
【００２２】
各ステレオカメラユニット１２により撮影された画像データは画像選択装置３０にパケット送信するようになっている。各ステレオカメラユニット１２から取得すべき画像データは、設定される仮想視点によって決定するので、設定された仮想視点に対応する画像データを取得すべく画像選択装置３０を設けている。この画像選択装置３０によって任意のステレオカメラユニット１２に付帯したバッファ装置から入力してくる画像データパケットから、設定された仮想視点に対応する画像データパケットが選択され、後段の画像合成処理に利用される。
【００２３】
また、撮像手段は画像選択装置３０によって、複数のステレオカメラユニット１２の切り替えを行う。切替手段となる画像選択装置３０はステレオカメラユニット１２による短基線長での撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長での撮像とに切り替える。画像選択装置３０は後述の視点選択装置３６の仮想視点に基づいて短・長基線を切り替え制御している。撮像手段の実写画像データは実写画像データ記憶装置３２に一時保管される。
【００２４】
測距手段となる測距装置１３は、本実施形態ではステレオ撮像による測距と、レーザレーダやミリ波レーダなどのレーダによる測距とを併用しても良い。
ステレオ撮像による測距は複数の異なる視点から同一の被写体を撮影し、これらの画像中における被写体の同一の点の対応を求め、三角測量の原理によって被写体までの距離を算出している。より具体的にはステレオ撮像手段によって撮像された画像の右画像全体を小領域に分割してステレオ測距計算を行う範囲を決定して、ついで左画像の同一画像とされる画像の位置を検出して、それらの画像の位置差を算出して、左右カメラの取り付け位置の関係から対象物までの距離を演算するようにすればよい。このステレオカメラにより撮像された２またはそれ以上の画像間のステレオ測距で得られた距離情報により、距離画像が生成される。
【００２５】
図５にステレオカメラユニットによるステレオ測距領域を示す。同図（１）は短基線長のステレオカメラユニットによるステレオ測距領域を示す。三角測距の原理から基線長が短くなると、距離分解能が減少するため、遠方の物体に関しては距離を計測することが困難となり、実用上の短基線長の測距限界距離が規定される。図中５０は短基線長のステレオカメラユニット１２による測距限界距離を示す。また、測距限界距離内のカメラ単体の撮像領域の重なり合う５２は短基線長のステレオカメラユニット１２によるステレオ測距領域を示す。また、同図（２）はステレオカメラユニット１２Ａ，１２Ｂ間による長基線長のステレオ測距領域を示す。基線長が長くなると近距離の物体は２視点共通の撮像範囲に入らなくなり、視差を計測することができなくなる。よって、近距離の領域を測距することは不可能となる。図示のように、ステレオカメラユニット対１２ＡＬ−１２ＢＬ間による長基線長の場合、５４は測距限界距離を示し、５６は長基線長のステレオカメラユニットによるステレオ測距領域を示す。
【００２６】
同図（３）はステレオカメラユニット１２Ａ，１２Ｂ間のステレオ測距領域を示す。図中５８ａ，５８ｂは短基線長のステレオカメラユニット１２Ａ，１２Ｂによるステレオ撮像領域を示す。また、図中６０ａ，６０ｂは長基線長のステレオカメラユニット対１２ＡＬ−１２ＢＬ，１２ＡＲ−１２ＢＲによるステレオ撮像領域を示す。さらに、レーザレーダを用いた測距領域６２を重ねても良い。この構成により空間モデル生成のための距離計測領域が規定されることになる。
【００２７】
なお、上記例では長基線長の画像としてステレオカメラユニットの同じ側の片側画像を用いてステレオ画像とし、ステレオ測距するように構成しているが、それぞれ、異なる側（例えばステレオカメラユニット対１２ＡＲ−１２ＢＬ）の片側画像を用いてステレオ測距する構成としてもよい。
【００２８】
また、図１のキャリブレーション装置１８は３次元の実世界に配置された撮像手段についての、その３次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとしてキャリブレーションデータ記憶装置１７に一時格納される。
【００２９】
空間モデル生成装置１５ではステレオカメラユニット１２による短基線長撮像および長基線長撮像の画像情報と、測距装置１３による距離画像データに基づいて近距離および遠距離の空間モデルを生成することができる。
【００３０】
空間再構成装置１４は、撮像手段から得られた画像を構成する各々の画素と、３次元座標系の点との対応関係を計算し、空間データを生成し、空間データ記憶装置２４に一時保管する。前記計算は各々の撮像手段から得られた画像のすべての画素に対して実施する。
【００３１】
視点変換手段となる視点変換装置１９は、３次元空間の画像を任意の視点位置から見込んだ画像に変換可能とし、任意に設定した視点を指定できる。すなわち、前記３次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定する。また、前記視点からの画像を、前記空間データから再現し、表示装置２０に表示する。
【００３２】
なお、視点変換画像生成／表示装置１０には、自車モデルを記憶格納している撮像装置配置物体モデル記憶装置３４が設けられ、空間再構成する場合に自車モデルを同時に表示できるようにしている。また、視点選択装置３６が設けられており、予め規定されている設定仮想視点に対応する画像データを仮想視点データ記憶装置３８に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて視点変換装置１９に送信し、選択された仮想視点に対応する変換画像を表示させるようにしている。
【００３３】
上記構成による視点変換合成画像の生成／表示装置１０を用いた画像の生成方法を、図６を用いて説明する。図６は本発明に係る画像生成方法の処理手順を示すフローチャートである。以下、視点変換画像の画像生成方法について説明する。
（Ｓ１０２）表示する任意の仮想視点を視点選択装置３６で選択する。
（Ｓ１０４）選択した仮想視点に対応する遠距離又は近距離に分けて画像を撮像する。
（Ｓ１０６）ステレオカメラユニット１２対の基線長の組合せによる複数の長基線長ステレオペアを選択する。
（Ｓ１０８）ステレオカメラユニット１２対の基線長の組合せて長基線長撮像を行なう。
（Ｓ１１０）あらかじめキャリブレーション装置１８によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成して選択する。
（Ｓ１１２）得られたキャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを基に距離を算出し、得られた距離データを長基線長距離画像データとする。
（Ｓ１１４）短基線長画像ぺアとなるステレオカメラユニット１２による短基線長撮像を行う。
（Ｓ１１６）ステレオカメラユニット１２の短基線長撮像を行なう。
（Ｓ１１８）あらかじめキャリブレーション装置１８によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成して選択する。
（Ｓ１２０）得られたキャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを基に距離を算出し、得られた距離データを短基線長距離画像データとする。
（Ｓ１４４）障害物の遠近に係らず、空間モデルの生成において、近距離の空間モデルはステレオカメラユニット１２による短基線長の距離画像を用いて作成し、遠距離の空間モデルはステレオカメラユニット１２の対の組合せで構成されるステレオカメラによる長基線長の距離画像を用いて作成する。
【００３４】
空間モデル生成手段となる空間モデル生成装置１５には、長基線長の距離画像データと、短基線長の距離画像データ、測距装置による距離画像データが入力手段によって入力される。これらを所望の距離で選択的に用いることにより、より詳細な空間モデルが生成される。
（Ｓ１４６）この空間モデルに対応する実写画像データをキャリブレーションデータに従って、撮像手段からの入力画像を３次元空間の空間モデルにマッピングする。テクスチャマッピングがなされた空間データが生成される。
（Ｓ１４８）空間再構成装置１４によって作成された空間データを参照して、所望の仮想視点から見た視点変換画像を視点変換装置１９で生成する。
（Ｓ１５０）生成した視点変換画像データを表示装置２０で表示する。
【００３５】
ところで、本実施形態に係るステレオマッチングによる距離画像の生成を示すフローチャートを図７に示す。
ステレオカメラユニット１２の撮像画像の右側カメラと左側カメラを選択し、ステレオ左画像とステレオ右画像を撮像する。（Ｓ２００），（Ｓ２０４）
（Ｓ２０２）得られたステレオ左画像。
（Ｓ２０６）得られたステレオ右画像。
（Ｓ２０８）得られたレクティフィケーション・キャリブレーションデータ。あらかじめキャリブレーション装置１８によってレクティフィケーションに用いるキャリブレーションを実施し、選択したステレオカメラユニット１２の右側カメラあるいは左側カメラに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ２１０）次に、左右それぞれのステレオ画像をレクティフィケーション用のキャリブレーションデータに基づいて、ステレオの左右画像の歪曲収差の補正を行い、エピポーラ線上に左右画像の対応点が同一線上に来るように画像を幾何変換するレクティフィケーション処理を行なう。
（Ｓ２１２）得られたレクティフィケーション後のステレオ左画像。
（Ｓ２１４）得られたレクティフィケーション後のステレオ右画像。
（Ｓ２１６）このレクティフィケーション後の左右画像をステレオマッチング処理し、対応点検索を行い、視差を算出する。これにより、画像上の各点の視差量のマップが生成され、これが視差データとなる。
（Ｓ２１８）得られた視差データ。
（Ｓ２２０）得られたステレオ距離キャリブレーションデータ。あらかじめキャリブレーション装置１８によってステレオ測距に用いるキャリブレーションを実施し、選択したステレオカメラユニット１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータ１７を生成する。
（Ｓ２２２）ステレオ距離キャリブレーションにより、視差量は基準点からの距離に変換され、距離画像データが生成される。
（Ｓ２２４）得られた距離画像データ。
【００３６】
以上のような処理を行うことにより、複数のステレオカメラユニット１２の画像から距離画像データを算出することができる。得られた距離画像データは空間モデルの生成に用いている。
【００３７】
このような画像生成装置１０によれば、複数の撮像手段から供給される画像情報に基づいて仮想視点からの視点変換画像を生成する画像生成装置であって、前記複数の各撮像手段のうち少なくとも所定の複数のものはステレオカメラユニットにより構成され、当該各ステレオカメラユニット間の配置距離がステレオカメラユニット単体における基線長より長く設定され、前記ステレオカメラユニット単体による短基線長撮像と、前記ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長撮像とが可能となるようにしているため、近距離および遠距離における撮像画像上の被写体の距離測定を行うことができる。このため、距離画像データを用いて空間モデルを生成して、これを任意の距離で選択的に用いることによって詳細な空間モデルを生成することができる。したがって視点変換画像の精度を上げることができる。
【００３８】
また、前記ステレオカメラユニットによる短基線長での撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長での撮像とを切り替えて行なうための切替手段を設けたことにより、短基線長の空間モデルと長基線長の空間モデルを生成することができる。よって、視点変換画像の精度を向上させることができる。
【００３９】
また、生成した仮想視点画像を車両のモニタ画面に表示すれば車両周辺状況を詳細に認識することが可能となり、安全性を大幅に向上させることができる。
上述した各例において、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等）。特に複数カメラを２方向の基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ測距が可能となる。
【００４０】
なお、カメラなど撮像手段を所定の形態で設置する対象物は、車両に装着した例を示しているが、撮像装置配置物体として例えば、歩行者、街路、店舗や住居、オフィスなどの屋内などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適応が可能となる。
【図面の簡単な説明】
【００４１】
【図１】本実施形態に係る画像生成装置のブロック図である。
【図２】ステレオカメラユニットの構成概略図を示す図である。
【図３】車両にステレオカメラユニットを複数搭載した構成概略を示す図である。
【図４】ステレオカメラユニットを配置したステレオ構成を示す図である。
【図５】ステレオカメラユニットによるステレオ測距領域を示す図である。
【図６】本実施形態に係る画像生成方法のフローチャートである。
【図７】本実施形態に係るステレオマッチングによる距離画像の生成を示すフローチャートである。
【符号の説明】
【００４２】
１０………視点変換合成画像の生成／表示装置、１２………ステレオカメラユニット、１３………測距装置、１４………空間再構成装置、１５………空間モデル生成装置、１７………キャリブレーションデータ記憶装置、１８………キャリブレーション装置、１９………視点変換装置、２０………表示装置、２２………空間モデル記憶装置、２４………空間データ記憶装置、２６………視点変換画像データ記憶装置、２８………距離画像データ記憶装置、３０………画像選択装置、３２………実写画像データ記憶装置、３４………撮像装置配置物体モデル記憶装置、３６………視点選択装置、３８………仮想視点データ記憶装置、４０………監視対象室、４２………受光部、４４………被写体、４６………撮像素子、４８………赤外線フィルタ・ローパスフィルタ、５０………車両。
【図１】
2006033282.tif 000003
【図２】
2006033282.tif 000004
【図３】
2006033282.tif 000005
【図４】
2006033282.tif 000006
【図５】
2006033282.tif 000007
【図６】
2006033282.tif 000008
【図７】
2006033282.tif 000009