(57)【要約】【課題】  複数の撮像手段からの画像によって仮想視点画像の生成において、精度の良い画像を生成できる画像生成装置を提供する。【解決手段】  車両に配置された１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する装置であって、前記撮像手段を視点の異なる２つのカメラを組み合わせたパノラマカメラユニット１２により構成し、前記パノラマカメラユニット１２による広画角撮像と、前記パノラマカメラユニット１２を対に並べて形成し、撮像レンズの光軸方向が並行となる位置に配置された前記カメラの組合せによるステレオ撮像とが可能となる。この場合において、前記パノラマカメラユニット１２による広画角撮像により取得した画像に適用する広画角撮像処理と、撮像レンズの光軸方向が並行となる位置関係をもって配置された前記カメラの組合せによるステレオ撮像により取得した画像に適用するステレオ撮像処理との画像選択装置３０を設けている。【選択図】    図１
2006033570.tif 000002
【特許請求の範囲】
【請求項１】
車両に配置された１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する装置であって、前記撮像手段を視点の異なる２つのカメラを組み合わせたパノラマカメラユニットにより構成し、前記パノラマカメラユニットによる広画角撮像と、前記パノラマカメラユニットを対に並べて形成し、撮像レンズの光軸方向が並行となるような位置関係をもって配置された前記カメラの組合せによるステレオ撮像が可能に構成されたことを特徴とする画像生成装置。
【請求項２】
前記パノラマカメラユニットによる広画角撮像により取得した画像に適用する広画角撮像処理と、撮像レンズの光軸方向が並行となるような位置関係をもって配置された前記カメラの組合せによるステレオ撮像により取得した画像に適用するステレオ撮像処理との切替手段を設けてなることを特徴とする請求項１記載の画像生成装置。
【請求項３】
前記ステレオ画像処理は、対に組み合わせた前記パノラマカメラユニットにおける撮像レンズの光軸方向が並行となるような位置関係をもって配置された２つのカメラの左右いずれかの片側視野から撮像させるように切替可能としてなることを特徴とする請求項２記載の画像生成装置。
【請求項４】
１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する装置であって、前記撮像手段を視点の異なる２つのカメラを組み合わせたパノラマカメラユニットにより構成し、前記パノラマカメラユニットによる広画角撮像と、前記パノラマカメラユニットを対に並べて形成し、撮像レンズの光軸方向が並行となるような位置関係をもって配置された前記カメラの組合せによるステレオ撮像が可能に構成されたことを特徴とする画像生成装置。
【請求項５】
前記パノラマカメラユニットによる広画角撮像により取得した画像に適用する広画角撮像処理と、撮像レンズの光軸方向が並行となるような位置関係をもって配置された前記カメラの組合せによるステレオ撮像により取得した画像に適用するステレオ撮像処理との切替手段を設けてなることを特徴とする請求項４記載の画像生成装置。
【請求項６】
前記ステレオ画像処理は、対に組み合わせた前記パノラマカメラユニットにおける撮像レンズの光軸方向が並行となるような位置関係をもって配置された２つのカメラの左右いずれかの片側視野から撮像させるように切替可能としてなることを特徴とする請求項５記載の画像生成装置。
【請求項７】
前記撮像手段は建築物に配置されてあることを特徴とする請求項４から６に記載の画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成装置に係り、特に複数の撮像手段で撮像した画像を元にして、視点変換画像を生成して表示する場合に好適な画像生成装置に関する。
【背景技術】
【０００２】
ある特定エリアを監視等の目的のためモニタ画面上に表示するには、複数台のカメラで広範囲を撮影し得られた画像を１つの画面上に分割表示したり、時間毎に撮像した画像を順次切替えて表示したりしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。
【０００３】
しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗く表示画像が見にくく監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。
【０００４】
この画像生成の際、車両と車両の周囲に存在する障害物等の距離データを計測し、画像上に障害物を表示するデータとして用いて画像生成を行っている。
例えば、特許文献１には、車両周囲の状況表示に関して、車両に設置した複数台のカメラで車両周囲を撮影し、任意の視点による合成画像を表示するようにした技術が提案されている。これは各カメラの映像出力を画素単位で仮想視点から見た二次元平面上に座標変換して展開し、複数のカメラ画像を仮想視点から見た１つの画像に合成してモニタ画面に表示するようにしたものである。これにより、１枚の仮想視点画像から車両の全周囲にわたってどのような物体が存在するかを運転者が瞬時に把握することができるようになる。この際距離センサを用いて車両と車両の周囲に存在する障害物との距離に基づいて空間モデルについたて面を表示する方法が開示されている。
【０００５】
また、引用文献２では、レーザを用いて測距離データを計測し、撮像手段による画像データとを３次元の地図座標上にマッチングさせた空間画像を生成する方法が開示されている。
【特許文献１】特許第３２８６３０６号公報
【特許文献２】特許２００２−３１５２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１の生成画像は合成画像処理を高速にするため３次元画像の画質を落として表示しているので、生成画像が鮮明でなく、表示画像に不明瞭な部分が発生する。
【０００７】
また、特許文献２による測距データはいずれも、センサあるいはレーザ等を用いた距離のデータに過ぎず、画像データに変換する作業を伴うものであった。このため、３次元位置を確定するためのデータ処理が複雑で、モデル生成に時間がかかってしまう等の問題が生じていた。
【０００８】
そこで本発明は上記従来技術の問題点を解決すべく、複数の撮像手段からの画像による視点変換画像の生成において、複数の撮像手段による認識度の高い視点変換画像を生成することができる画像生成装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明に係る画像生成装置は、車両に配置された１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する装置であって、前記撮像手段を視点の異なる２つのカメラを組み合わせたパノラマカメラユニットにより構成し、前記パノラマカメラユニットによる広画角撮像と、前記パノラマカメラユニットを対に並べて形成し、撮像レンズの光軸方向が並行となるような位置関係をもって配置された前記カメラの組合せによるステレオ撮像が可能に構成されたことを特徴としている。
【００１０】
この場合において、前記パノラマカメラユニットによる広画角撮像により取得した画像に適用する広画角撮像処理と、撮像レンズの光軸方向が並行となるような位置関係をもって配置された前記カメラの組合せによるステレオ撮像により取得した画像に適用するステレオ撮像処理との切替手段を設けるとよい。また、前記ステレオ画像処理は、対に組み合わせた前記パノラマカメラユニットにおける撮像レンズの光軸方向が並行となるような位置関係をもって配置された２つのカメラの左右いずれかの片側視野から撮像させるように切替可能とするとよい。
【００１１】
また、本発明に係る画像生成装置は、１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する装置であって、前記撮像手段を視点の異なる２つのカメラを組み合わせたパノラマカメラユニットにより構成し、前記パノラマカメラユニットによる広画角撮像と、前記パノラマカメラユニットを対に並べて形成し、撮像レンズの光軸方向が並行となるような位置関係をもって配置された前記カメラの組合せによるステレオ撮像が可能に構成されたことを特徴としている。
【００１２】
この場合において、前記パノラマカメラユニットによる広画角撮像により取得した画像に適用する広画角撮像処理と、撮像レンズの光軸方向が並行となるような位置関係をもって配置された前記カメラの組合せによるステレオ撮像により取得した画像に適用するステレオ撮像処理との切替手段を設けるとよい。また、前記ステレオ画像処理は、対に組み合わせた前記パノラマカメラユニットにおける撮像レンズの光軸方向が並行となる位置関係をもって配置された２つのカメラの左右いずれかの片側視野から撮像させるように切替可能とするとよい。さらに、前記撮像手段は建築物に配置するとよい。
【発明の効果】
【００１３】
上記構成による画像生成装置によれば、１又は複数の撮像手段によるパノラマユニットを形成したことにより、広画角撮像と、ステレオ撮像が可能となる。このため、撮像手段の画面上で距離測定を行うことができ、距離画像データを用いて画像生成の精度を上げることができる。よって、認識度の高い視点変換画像を生成することができる。
【００１４】
また、ステレオ画像処理は２つのカメラの左右いずれかの対となる片側視野から撮像しているので、歪み補正処理が共通となる。このため補正処理が簡略化でき、空間データを容易に生成することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る画像生成装置の実施形態を添付した図面に基づいて詳細に説明する。
図１は本実施形態に係る画像生成装置の構成を示したシステムブロック図である。このシステムの基本的な構成は、複数の撮像手段と、この撮像手段によって取得した画像データを処理してカメラ視点とは異なる仮想の視点から見た合成画像として再生表示するための画像生成装置となる視点変換合成画像の生成／表示装置１０から構成されている。
【００１６】
視点変換合成画像の生成／表示装置１０における基本的な処理は、各撮像手段の視点で撮影された画像を入力し、車両などの撮像手段配置物体が置かれる３次元空間を設定し、この３次元空間を任意に設定した原点（仮想視点）によって特定し、当該特定された仮想視点から見た３次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される３次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。
【００１７】
視点変換合成画像生成／表示装置１０に用いる撮像手段は、１又は複数の撮像手段を視点の異なる２つのカメラを組み合わせたパノラマカメラユニット１２により構成している。
【００１８】
図２はパノラマカメラユニットの概略構成を示す図である。車両に配置される複数のパノラマカメラユニット１２は、図２（１）に示すパノラマカメラユニット１２Ａと、同図（２）に示すパノラマカメラユニット１２Ｂいずれか一方の種類、もしくはその組合せで構成されている。
【００１９】
パノラマカメラユニット１２Ａは、前レンズ群５２ａと後レンズ群５２ｂと撮像素子５２ｃからなる単体の単眼カメラを２台設置した構成としている。２台の単眼カメラは光軸間の輻輳角が開くように設置し、広範囲が撮像できるようにしている。画角を広くする必要がなければ前レンズ群に相当するワイドコンバージョンレンズ群は省略することができる。
【００２０】
一方、パノラマカメラユニット１２Ｂは単眼カメラにステレオアダプタ５０を設置している。ステレオアダプタ５０は単眼カメラの前方に取り付けた構成とし、ステレオアダプタ５０を介して単眼カメラ左右の光軸間の輻輳角が開くように配置している。ステレオアダプタ５０は視差程度離れた位置にミラー５０ａを２つ配置し、更にこれらのミラー５０ａで反射した光をカメラ側に導くためのミラー５０ｂを２つ配置して構成されている。左右２つのミラー５０ａ，５０ｂの前方光軸上には、リレーレンズ５４ａと前レンズ群５４ｂを設置してある。また、ミラー５０ａ，５０ｂ間には、リレーレンズ５４ｃが設置してある。さらに、ミラー５０ｂの後方光軸上には後レンズ５４ｄを設置してある。パノラマカメラユニット１２Ｂはミラー５０ａ，５０ｂで分割して１つの撮像素子５４ｅに対して結像させている。もちろん、画角を広くする必要がなければ前レンズ群に相当するワイドコンバージョンレンズ群やリレーレンズは省略することができ、ミラーと結像系レンズ群で構成するようにしても良い。
【００２１】
図３は単眼カメラの組合せによるパノラマカメラユニット配置構成を示す図である。パノラマカメラユニット１２Ａは、同一平面に２台の単眼カメラを画角が僅かに重なるように広画角に配置した構成としている（ユニット１２ＡＲ，１２ＡＬ）。単眼カメラの組合せによるパノラマカメラユニット１２Ａで格子パターン５８Ａ，５８Ｂを撮像した場合、左右のパノラマ撮像範囲をそれぞれ６０，６２に示す。パノラマ撮像による画像は画像の周辺部で著しく丸みを帯びた歪みが生じる。同図のパノラマ撮像は格子パターンの歪みを補正し、画像を凹状に示したものである。
【００２２】
図４は単眼カメラの組合せによるパノラマカメラユニット対の配置構成を示す図である。パノラマカメラユニット１２Ａ１，１２Ａ２を２台設置した場合、単眼カメラの１２Ａ１Ｌと１２Ａ２Ｒを光軸方向が並行となるように配置している。これにより、１２Ａ１Ｌと１２Ａ２Ｒとを組み合わせてステレオ撮像することができる。また、パノラマカメラユニット１２Ａ１，１２Ａ２でそれぞれ撮像した画像を６４，６６に示す。図示のように、画像６４，６６はいずれも格子パターンが略同じように歪んでいる。このようにいずれの画像も、近似したモデルで歪みを表せるので、歪み補正のパラメータが近似した形になり、ステレオ測距時のキャリブレーションデータに基づきステレオの左右画像の歪曲収差の補正を含み、視差を算出する際のエピポーララインが左右画像で同一画像で同一線上に一致するように画像を幾何変換するレクティフィケーション処理を簡素化することができる。
【００２３】
図５はステレオアダプタを用いたパノラマカメラユニット配置構成を示す図である。パノラマカメラユニット１２Ｂを前述の図３と同様に、左右の撮像範囲が僅かに重なるように配置している。また、図３同様に格子パターン５８Ａ，５８Ｂを撮像した場合、左右のパノラマ撮像範囲をそれぞれ６８，７０に示す。この場合、ステレオアダプタを用いると撮像素子一つで、前述の撮像素子２つ分のパノラマカメラユニット１２Ａと同じ撮像領域を撮像することになる。このため図示のようにパノラマカメラユニット１２Ａと比べ、画像の周辺部で格子パターンの歪みが左右で異なっている。
【００２４】
図６はステレオアダプタを用いたパノラマカメラユニット対の配置構成を示す図である。パノラマカメラユニット１２Ｂ１，１２Ｂ２は、同一側面上に２つ並べて配置してある。これにより、ユニット対１２Ｂ１Ｒ−１２Ｂ２Ｒ、及び１２Ｂ１Ｌ−１２Ｂ２Ｌの組合せによる撮像レンズの光軸方向が並行となり、ステレオ撮像することができる。
【００２５】
また、パノラマカメラユニット１２Ｂ１，１２Ｂ２でそれぞれ撮像した画像を６８，７０に示す。図示のように、ステレオアダプタのミラーの角度を変えて光軸間の輻輳角が開くような構造にしたパノラマカメラユニット１２Ｂの画像は、左右（５８Ａ，５８Ｂあるいは５８Ｃ，５８Ｄ）で歪みの出方が著しく異なっている。これは、ステレオアダプタを用いた場合には折り曲げミラーを介して前レンズ群のディストーション（歪み）と後レンズ群のディストーションの複合ディストーションとなり、かつ共軸ではないためである。このため左右で歪み方が異なる。
【００２６】
したがって、歪み方が共通となるユニット対１２Ｂ１Ｒ−１２Ｂ２Ｒ、あるいは１２Ｂ１Ｌ−１２Ｂ２Ｌの分割視野画像を用いたほうが、歪みがいずれも近似しているため、歪み補正後の解像度差も少ないので、ステレオの対応点探索が容易になる。
【００２７】
なお、撮像手段となるパノラマカメラユニット１２は、撮像素子を２台配置するユニット１２Ａ、あるいはステレオアダプタ５０を用いたユニット１２Ｂのいずれか一方を対に組み合わせた構成とし、このユニット１２の対（１２Ａ１−１２Ａ２，１２Ｂ１−１２Ｂ２）は任意に選択することができる。
【００２８】
図７は実施形態に係るパノラマカメラユニット１２Ａの車両の搭載構成を示す図である。図示のように、撮像手段配置物体としての車両４０の前後部には、撮像手段としてのパノラマカメラユニット１２Ａが複数装備されている。図示の例では、車両４０の前部にパノラマカメラユニット１２Ａ１，１２Ａ２が装備されている。各カメラは車両前方のパノラマ撮像範囲ａ−ｂ，ｃ−ｄを撮像するようにしている。また、車両の後部にも、撮像手段としてのパノラマカメラユニット１２Ａ１，１２Ａ２が装備されている。同様に各カメラは車両後方におけるパノラマ撮像範囲ａ−ｂ，ｃ−ｄを撮像するようにしている。
【００２９】
この実施形態では、車両の前後に配置したパノラマカメラユニット１２Ａ１，１２Ａ２からの画像データを取り込むための画像選択装置３０（３０ａ、３０ｂ）が設けられ、運転席近傍に設けられた視点変換画像生成／表示装置１０からの画像選択コマンドを受け、必要画像を選択して画像情報として視点変換画像生成／表示装置１０に返すように構成されている。なお、データ送受信は車内ＬＡＮ回線を通じて行うようにしても良い。
【００３０】
図８は実施形態に係るパノラマカメラとステレオカメラの撮像範囲を示す図である。同図（１）は、車両４０の後方パノラマカメラユニット１２Ａ１によるパノラマカメラ撮像範囲を示す。同図（２）は同じく後方パノラマカメラユニット１２Ａ２のパノラマ撮像範囲を示す。同図（３）は、後方パノラマカメラユニット１２Ａ１ｂと、１２Ａ２ｃの組合せによるステレオ撮像範囲を示す。図示のように、後方パノラマカメラユニット１２Ａ１ｂと、１２Ａ２ｃの組合せは撮像レンズの光軸方向が並行となるように配置しているためステレオ撮像が可能となる。したがって、ステレオ撮像による後述の距離画像データを生成することができる。
【００３１】
なお、画像選択装置３０の読み出し方を変えることで、パノラマ撮像による広画角撮像と、ステレオ撮像による空間モデル生成のためのステレオ測距を任意に実施することができる。
【００３２】
各パノラマカメラユニット１２により撮影された画像データは画像選択装置３０にパケット送信するようになっている。各パノラマカメラユニット１２から取得すべき画像データは、設定される仮想視点によって決定するので、設定された仮想視点に対応する画像データを取得すべく画像選択装置３０を設けている。この画像選択装置３０によって任意のパノラマカメラユニット１２に付帯したバッファ装置から入力してくる画像データパケットから、設定された仮想視点に対応する画像データパケットが選択され、後段の画像合成処理に利用される。
【００３３】
また、撮像手段は画像選択装置３０によって、複数のパノラマカメラユニット１２の切替えを行う。制御手段となる画像選択装置３０はパノラマカメラユニット１２による広画角撮像と、パノラマカメラユニット対の組合せで構成されるステレオ撮像とに切替える。画像選択装置３０は後述の視点選択装置３６の仮想視点に基づいて広画角撮像あるいはステレオ撮像を切替え制御している。さらに、パノラマカメラユニット１２Ｂでは、撮像レンズの光軸方向が並行となる位置に配置された２つのカメラの左右いずれかの片側視野から撮像させるように切替えを行うことができる。撮像手段の実写画像データは実写画像データ記憶装置３２に一時保管される。
【００３４】
ところで、測距手段となる測距装置１３は、本実施形態ではステレオ撮像による測距と、レーザレーダやミリ波レーダなどのレーダによる測距とを併用しても良い。
【００３５】
ステレオ撮像による測距は複数の異なる視点から同一の被写体を撮影し、これらの画像中における被写体の同一点の対応を求め、三角測量の原理によって被写体までの距離を算出している。より具体的にはステレオ撮像手段によって撮像された画像の右画像全体を小領域に分割してステレオ測距計算を行う範囲を決定して、ついで左画像の同一画像とされる画像の位置を検出して、それらの画像の視差を算出して、左右カメラの取り付け位置の関係から対象物までの距離を演算するようにすればよい。このステレオカメラにより撮像された２またはそれ以上の画像間のステレオ測距で得られた距離情報により、距離画像が生成される。
【００３６】
また、キャリブレーション装置１８は３次元の実世界に配置された撮像手段についての、その３次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとしてキャリブレーションデータ記憶装置１７に一時に格納される。
【００３７】
空間モデル生成装置１５ではパノラマカメラユニット１２による広画角撮像およびステレオ撮像の画像情報と、測距装置１３による距離画像データ２８に基づいて空間モデルを生成することができる。
【００３８】
合成画像生成手段となる空間再構成装置１４は、撮像手段から得られた画像を構成する各々の画素と、３次元座標系の点との対応関係を計算し、空間データを生成し、空間データ記憶装置２４に一時保管する。前記計算は各々の撮像手段から得られた画像のすべての画素に対して実施する。
【００３９】
視点変換手段となる視点変換装置１９は、３次元空間の画像を任意の視点位置から見込んだ画像に変換可能とし、任意に設定した視点を指定できる。すなわち、前記三次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定する。また、前記視点からの画像を、前記空間データから再現し、表示手段となる表示装置２０に表示する。
【００４０】
なお、視点変換画像生成／表示装置１０には、自車モデルを記憶格納している撮像装置配置物体モデル記憶装置３４が設けられ、空間再構成する場合に自車モデルを同時に表示できるようにしている。また、視点選択装置３６が設けられており、予め規定されている設定仮想視点に対応する画像データを仮想視点データ記憶装置３８に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて視点変換装置１９に送信し、選択された仮想視点に対応する変換画像を表示させるようにしている。
【００４１】
上記構成による本発明に係る画像生成装置を用いた画像の生成方法を、図９を用いて説明する。図９は本発明に係る画像生成方法の処理手順を示すフローチャートである。
（Ｓ１０２）表示する任意の仮想視点を視点選択装置３６で選択する。
（Ｓ１０４）複数のパノラマカメラユニット１２による、広画角あるいはステレオの撮像を選択する。
（Ｓ１０６）選択したパノラマカメラユニット１２による撮像を行なう。
（Ｓ１０８）あらかじめキャリブレーション装置１８によってステレオマッチングに用いるキャリブレーションを実施し、選択したパノラマカメラユニット１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成して選択する。
（Ｓ１１０）得られたキャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを基に距離を算出し、得られた距離データを距離画像データとする。
（Ｓ１１２）空間モデル更新手段となる空間再構成装置１４には、パノラマカメラユニット１２による広画角撮像およびステレオ撮像の画像情報と、距離画像データが入力される。これらを所望の距離で選択的に用いることにより、より詳細な空間モデルが生成される。
（Ｓ１１４）この空間モデルに対応する実写画像データをキャリブレーションデータに従って撮像手段からの入力画像を３次元空間の空間モデルにマッピングする。テクスチャマッピングがなされた空間データが生成される。
（Ｓ１１６）空間再構成装置１４によって作成された空間データを参照して、所望の仮想視点から見た視点変換画像を視点変換装置１９で生成する。
（Ｓ１１８）生成した視点変換画像データを表示装置２０で表示する。
【００４２】
ところで、本実施形態に係るステレオ撮像のステレオマッチングによる距離画像の生成を示すフローチャートを図１０に示す。ここでは、ステレオアダプタ５０のパノラマカメラユニット１２Ｂ１，１２Ｂ２を用いた場合について説明する。以下、左パノラマカメラユニットと、右パノラマカメラユニットから入力された画像のうち、ステレオペアを形成する右側（１２Ｂ１Ｒ−１２Ｂ２Ｒ）の視野画像を用いる例を示す。
【００４３】
それぞれのステレオカメラユニット１２Ｂ１，１２Ｂ２の撮像画像の右側視野部分を右側視野切り出し処理により、所定の大きさに切り出し（Ｓ２００），（Ｓ２０４）、ステレオ左画像と、ステレオ右画像を生成する。
（Ｓ２０２）得られたステレオ左画像。
（Ｓ２０６）得られたステレオ右画像。
（Ｓ２０８）得られたレクティフィケーション・キャリブレーションデータ。あらかじめキャリブレーション装置１８によってレクティフィケーションに用いるキャリブレーションを実施し、選択したステレオカメラユニットの右側カメラあるいは左側カメラに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ２１０）次に、左右それぞれのステレオ画像をレクティフィケーション用のキャリブレーションデータに基づいて、ステレオの左右画像の歪曲収差の補正を行い、エピポーラ線上に左右画像の対応点が同一線上に来るように画像を幾何変換するレクティフィケーション処理を行なう。
（Ｓ２１２）得られたレクティフィケーション後のステレオ左画像。
（Ｓ２１４）得られたレクティフィケーション後のステレオ右画像。
（Ｓ２１６）このレクティフィケーション後の左右画像をステレオマッチング処理し、対応点検索を行い、視差を算出する。これにより、画像上の各点の視差量のマップが生成され、これが視差データとなる。
（Ｓ２１８）得られた視差データ。
（Ｓ２２０）得られたステレオ距離キャリブレーションデータ。あらかじめキャリブレーション装置１８によってステレオ測距に用いるキャリブレーションを実施し、選択したステレオカメラユニットに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ２２２）ステレオ距離キャリブレーションにより、視差量は基準点からの距離に変換され、距離画像データが生成される。
（Ｓ２２４）得られた距離画像データ。
【００４４】
以上のような処理を行うことにより、複数のステレオカメラの画像から距離画像データを算出することができる。得られた距離画像データは空間モデルの生成に用いている。
【００４５】
このような画像生成装置１０によれば、車両に配置された１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する装置であって、前記撮像手段を視点の異なる２つのカメラを組み合わせたパノラマカメラユニットにより構成し、前記パノラマカメラユニットによる広画角撮像と、前記パノラマカメラユニットを対に並べて形成し、撮像レンズの光軸方向が並行となる位置に配置された前記カメラの組合せによるステレオ撮像と、が可能となるように構成しているため、撮像画面上の対象物の距離測定を行うことができ、この距離画像データを用いて画像生成の精度を上げることができる。
【００４６】
また、前記パノラマカメラユニットによる広画角撮像により取得した画像に適用する広画角撮像処理と、撮像レンズの光軸方向が並行となる位置に配置された前記カメラの組合せによるステレオ撮像により取得した画像に適用するステレオ撮像処理との切替手段を設けたことにより、広画角による画像データと距離画像データを用いることができ画像生成の精度を向上させることができる。
【００４７】
前記ステレオ画像処理は、対に組み合わせた前記パノラマカメラユニットにおける撮像レンズの光軸方向が並行となる位置に配置された２つのカメラの左右いずれかの片側視野から撮像させるように切替可能にしているため、ステレオ画像処理は２つのカメラの左右いずれかの対となる片側視野から撮像することができ、歪み補正処理が共通となり、処理が簡略化でき、空間モデルを容易に生成することができる。
【００４８】
生成した仮想視点画像を車両のモニタに表示すれば車両周辺状況を広範囲で確認することが可能となり、安全性を大幅に向上させることができる。
また、撮像手段は建築物に配置することにより、前述同様に建築物の内部又は外部周辺状況の画像生成における画像精度を向上させることができる。
【００４９】
上述した各例において、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等）。特に複数カメラを２方向の基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ測距が可能となる。
【００５０】
なお、カメラなど撮像手段を所定の形態で設置する対象物は、車両に装着した例を示しているが、撮像装置配置物体として例えば、歩行者、街路、店舗や住居、オフィスなどの建築物などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適応が可能となる。
【図面の簡単な説明】
【００５１】
【図１】本実施形態に係る画像生成装置のシステムブロック図である。
【図２】パノラマカメラユニットの概略構成を示す図である。
【図３】単眼カメラの組合せによるパノラマカメラユニット配置構成を示す図である。
【図４】単眼カメラの組合せによるパノラマカメラユニット対の配置構成を示す図である。
【図５】ステレオアダプタを用いたパノラマカメラユニット配置構成を示す図である。
【図６】ステレオアダプタを用いたパノラマカメラユニット対の配置構成を示す図である。
【図７】実施形態に係るパノラマカメラユニットの車両の搭載構成を示す図である。
【図８】実施形態に係る車両後方のパノラマカメラとステレオカメラの撮像範囲を示す図である。
【図９】本実施形態に係る画像生成方法のフローチャートである。
【図１０】本実施形態に係るステレオマッチングによる処理画像の生成を示すフローチャートである。
【符号の説明】
【００５２】
１０………視点変換画像生成／表示装置、１２………パノラマカメラユニット、１３………測距装置、１４………空間再構成装置、１５………空間モデル生成装置、１８………キャリブレーション装置、１９………視点変換装置、２０………表示装置、２２………空間モデル記憶装置、２４………空間データ記憶装置、２６………視点変換画像データ記憶装置、２８………距離画像データ記憶装置、３０………画像選択装置、３２………実写画像データ記憶装置、３４………撮像装置配置物体モデル記憶装置、３６………視点選択装置、３８………仮想視点データ記憶装置、４０………車両、５０………ステレオアダプタ。
【図１】
2006033570.tif 000003
【図２】
2006033570.tif 000004
【図３】
2006033570.tif 000005
【図４】
2006033570.tif 000006
【図５】
2006033570.tif 000007
【図６】
2006033570.tif 000008
【図７】
2006033570.tif 000009
【図８】
2006033570.tif 000010
【図９】
2006033570.tif 000011
【図１０】
2006033570.tif 000012