(57)【要約】【課題】  撮像対象物までの距離が遠近いずれの場合にも鮮明な画像として撮像し、視点変換処理した場合でも像の歪みの極めて小さい空間モデルを張り付けた変換画像を構成する。【解決手段】  車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置である。前記撮像手段をステレオカメラユニット１２で構成するとともに前記ステレオカメラユニット１２対の組合せステレオカメラによる長基線長撮像を可能とする撮像カメラ切替手段を有し、空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニット１２の同じ側の片側視野画像情報を用いて取得する。【選択図】    図１
2006042017.tif 000002
【特許請求の範囲】
【請求項１】
車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、
前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの同じ側の片側視野画像情報を用いて取得することを特徴とする画像生成方法。
【請求項２】
車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
前記撮像手段をステレオカメラユニットで構成するとともに前記ステレオカメラユニット対の組合せステレオカメラによる長基線長撮像を可能とする撮像カメラ切替手段を有し、当該撮像カメラ切替手段は前記ステレオカメラユニットにおける同じ側の片側視野から撮像させるように切替可能に構成されたものであることを特徴とする画像生成装置。
【請求項３】
車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体による短基線長画像の撮像とステレオカメラユニット対の組合せステレオカメラによる長基線長画像の撮像を切替える撮像カメラ切替手段を設け、当該撮像カメラ切替手段は前記ステレオカメラユニットにおける同じ側の片側視野から撮像させるように切替可能とし、前記ステレオカメラユニット単体による画像情報と前記組合せステレオカメラによる画像情報とから画像生成を可能としたことを特徴とする画像生成装置。
【請求項４】
前記ステレオカメラユニットはステレオアダプタと結像光学系を有する撮像手段による分割画像を取得可能となっていることを特徴とする請求項２又は３に記載の画像生成装置。
【請求項５】
１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、
前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの同じ側の片側視野画像情報を用いて取得することを特徴とする画像生成方法。
【請求項６】
１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
前記撮像手段をステレオカメラユニットで構成するとともに前記ステレオカメラユニット対の組合せステレオカメラによる長基線長撮像を可能とする撮像カメラ切替手段を有し、当該撮像カメラ切替手段は前記ステレオカメラユニットにおける同じ側の片側視野から撮像させるように切替可能に構成されたものであることを特徴とする画像生成装置。
【請求項７】
１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体による短基線長画像の撮像とステレオカメラユニット対の組合せステレオカメラによる長基線長画像の撮像を切替える撮像カメラ切替手段を設け、当該撮像カメラ切替手段は前記ステレオカメラユニットにおける同じ側の片側視野から撮像させるように切替可能とし、前記ステレオカメラユニット単体による画像情報と前記組合せステレオカメラによる画像情報とから画像生成を可能としたことを特徴とする画像生成装置。
【請求項８】
前記撮像手段として撮像手段配置物体に所定の形態で配置されたものを適用することを特徴とする請求項５に記載の画像生成方法。
【請求項９】
前記撮像手段は撮像手段配置物体に所定の形態で配置されたものであることを特徴とする請求項６記載の画像生成装置。
【請求項１０】
前記撮像手段は撮像手段配置物体に所定の形態で配置されたものであることを特徴とする請求項７記載の画像生成装置。
【請求項１１】
前記ステレオカメラユニットはステレオアダプタと結像光学系を有する撮像手段による分割画像を取得可能となっていることを特徴とする請求項６又は７に記載の画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成方法および装置に係り、特に複数の撮像手段で撮像した画像を元にして、前記撮像手段とは別の視点からあたかも実際に撮影したかのように視点を変更した画像として合成表示する際、生成画像に歪みのない表示ができるようにした画像生成方法および装置に関する。
【背景技術】
【０００２】
一般に、監視カメラ等によって監視する場合、カメラ単位の撮像画像をモニタ上に表示するような構成が採られ、監視領域の所望の箇所に取り付けられたカメラからの撮影画像を監視室に配列された複数モニタにて表示させるようにしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。
【０００３】
しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、また、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗いため、表示画像が見にくく、監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。例えば、特許文献１に示されているように、複数のカメラ画像を１つのモニタに分割表示するものや、特許文献２に示されているように、複数のカメラを撮影画像の一部が相互に重なるように配置しておき、重なり合う部分で画像を結合して１つの画像に合成するものがある。また、特許文献３に示されているように、複数のカメラによる画像を座標変換して１枚の画像に合成して、任意の視点による合成画像を表示するようにしたものもある。
【０００４】
特許文献３に開示されている方法では、複数のカメラによる画像のデータを、一元的に取り込み、既知情報などにより生成した３次元の空間モデルを生成し、ここに、この取得した画像データをカメラパラメータに基づいて、カメラからの入力画像を構成する各画素の情報を対応付けてマッピングを行い、空間データを作成する。このようにして、独立したすべてのカメラからの画像を１つの３次元空間内の点として対応付けた後に、現実のカメラの視点ではなく任意の仮想の視点からみた視点変換画像を生成して表示する。このような視点変換画像表示方法によれば、画像精度を低下させることなく監視領域の全体が１つの任意の視点で表示され、監視したい領域を任意の視点で確認できる利点がある。
【０００５】
ところで、視点変換画像に移動物体や（例えば車両周囲の）障害物などを空間モデルとして張り付ける場合には、上記従来方法では、距離情報を得て、距離に応じた画像上の位置に衝立状の垂直平面的な空間モデルを設定する方法が採用されている。空間モデルに距離情報がない場合、これを視点変換画像に張り付けると、空間モデルが歪んでしまい、視認が困難な表示画像となってしまう。そのため、距離情報を取得しつつ、ステレオカメラによる撮像によって３次元形状に復元して貼り付けるようにすればよいが、各ステレオカメラにおける基線長（カメラ対の光軸間距離）が固定的であるので、対象物までの距離によっては画像が粗くなり、精度が高い表示ができない問題があった。
【０００６】
なお、ステレオカメラで被写体を撮像して一対の画像の相関を求めて、同一物体に対する視差からステレオカメラの設置位置や焦点距離等のカメラパラメータを用いて三角測量の原理によって距離を求め画像処理に利用している例もある（特許文献４）。
【特許文献１】特開平０５−３１００７８号公報
【特許文献２】特開平１０−１６４５６６号公報
【特許文献３】特許第３２８６３０６号公報
【特許文献４】特開平５−１１４０９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上記従来の問題点に着目し、ステレオカメラを利用した撮像手段を用いて立体的に視点変換画像を構成する場合、撮像対象物までの距離が遠近いずれの場合にも鮮明な画像として撮像することができ、しかも、視点変換処理した場合でも像の歪みの極めて小さい空間モデルに画像を貼り付けた変換画像を構成することができる画像生成方法および装置を提供することを目的とする。
【０００８】
すなわち、本発明は、ステレオ撮像手段により画像を取得する際に、ディストーションなどのパラメータが近似し、解像度、歪み補正の精度などが極めて近似した画像を取得することで、歪み補正後の画像の解像度分布が同一となるようにし、ステレオマッチングの精度を向上させることができ、空間モデルをより適切に生成することができる画像生成方法および装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る画像生成方法は、車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの同じ側の片側視野画像情報を用いて取得することを特徴としている。
【００１０】
また、本発明に係る画像生成装置は、車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段をステレオカメラユニットで構成するとともに前記ステレオカメラユニット対の組合せステレオカメラによる長基線長撮像を可能とする撮像カメラ切替手段を有し、当該撮像カメラ切替手段は前記ステレオカメラユニットにおける同じ側の片側視野から撮像させるように切替可能に構成した。
【００１１】
また、本発明は、車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体による短基線長画像の撮像とステレオカメラユニット対の組合せステレオカメラによる長基線長画像の撮像を切替える撮像カメラ切替手段を設け、当該撮像カメラ切替手段は前記ステレオカメラユニットにおける同じ側の片側視野から撮像させるように切替可能とし、前記ステレオカメラユニット単体による画像情報と前記組合せステレオカメラによる画像情報とから画像生成を可能とした構成としてもよい。
【００１２】
上記画像生成装置では、前記ステレオカメラユニットはステレオアダプタと結像光学系を有する撮像手段による分割画像を取得可能とすることができる。
本発明は、画像生成方法として、１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの同じ側の片側視野画像情報を用いて取得するようにしてもよい。
【００１３】
さらに、本発明は、画像生成装置として、特に、１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段をステレオカメラユニットで構成するとともに前記ステレオカメラユニット対の組合せステレオカメラによる長基線長撮像を可能とする撮像カメラ切替手段を有し、当該撮像カメラ切替手段は前記ステレオカメラユニットにおける同じ側の片側視野から撮像させるように切替可能に構成することができる。
【００１４】
また、１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体による短基線長画像の撮像とステレオカメラユニット対の組合せステレオカメラによる長基線長画像の撮像を切替える撮像カメラ切替手段を設け、当該撮像カメラ切替手段は前記ステレオカメラユニットにおける同じ側の片側視野から撮像させるように切替可能とし、前記ステレオカメラユニット単体による画像情報と前記組合せステレオカメラによる画像情報とから画像生成を可能とすることができる。
【００１５】
上記画像生成装置にて、前記撮像手段として撮像手段配置物体に所定の形態で配置されたものを適用できる。また、前記撮像手段は、撮像手段配置物体に所定の形態で配置されたものであることを特徴としている。
【００１６】
また、前記撮像手段は撮像手段配置物体に所定の形態で配置させればよい。前記ステレオカメラユニットはステレオアダプタと結像光学系を有する撮像手段により分割画像を取得できるようにしてもよい。
【発明の効果】
【００１７】
上記構成によれば、前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの同じ側の片側視野画像情報を用いて取得するように構成しているので、左右同じ側の分割画面を用いることで、歪曲収差（ディストーション）の画面内の分布が近似した画像を得ることができ、ステレオ測距する際に実施する歪み補正のモデルを共通化できるとともに、その歪み補正時の拡大率が、対応点で近い値を持つので、歪み補正後の画像の解像度分布が同一となるため、ステレオマッチングの精度が向上し、空間モデルをより適切に生成することができる。
【００１８】
この長基線長側の空間モデルの生成において、ステレオカメラユニットを用いた画像中の分割された視野で同じ側の片側画像を切り出して、空間モデルを生成するためのステレオペア画像として用いられる。空間再構成装置には短基線長の空間モデルと、長基線長の空間モデルが入力される。これらを所望の距離で選択的に用いることによりより詳細な空間モデルが生成される。
【発明を実施するための最良の形態】
【００１９】
以下に、本発明に係る画像生成方法および装置の最良の実施形態を、図面を参照しつつ、詳細に説明する。
図１は実施形態に係る画像生成装置のシステム構成ブロック図であり、図２は実施形態に係る画像生成装置を車両１０に搭載して、車両運転時の補助のために周辺状況を監視できるように構成した場合の構成ブロック図である。
【００２０】
このシステムの基本的な構成は、撮像手段としての複数のステレオカメラユニット１２と、このステレオカメラユニット１２によって取得した画像データを処理してカメラ視点とは異なる仮想の視点から見た合成画像として再生表示するための視点変換合成画像の生成／表示装置１４から構成されている。ここで、図１、２において、各ステレオカメラユニット１２や後述する受光部１８などの付記号を前後カメラ群の識別のＦとＲ、左右ステレオカメラの識別記号のＬとＲ、及びステレオカメラユニット１２における左右受光部１８の識別記号のＬとＲとを順次付記する。
【００２１】
まず、図２に示すように、撮像手段配置物体としての車両１０の前後部には、撮像手段としてのステレオカメラユニット１２を複数装備している。この図示の例では、車両１０の前部に前方カメラ群１２Ｆ（１２ＦＲ、１２ＦＬ）が装備されている。また、車両の後部にも、撮像手段としての後方カメラ群１２Ｒ（１２ＲＲ、１２ＲＬ）が装備されている。この実施形態では、前後カメラ群１２Ｆ，１２Ｒからの画像データを取り込むための画像選択装置２８（２８Ｆ、２８Ｒ）が設けられ、運転席近傍に設けられた視点変換画像生成／表示装置１４からの画像選択コマンドを受け、必要画像を選択して画像情報として視点変換画像生成／表示装置１４に返すように構成されている。データ送受信は例えば車内ＬＡＮ回線を通じて行うようにしても良い。
【００２２】
車両１０の前後に取り付けられた各ステレオカメラユニット１２は、図３（１）に示しているように、ミラー型のステレオカメラユニット１２を用いている。すなわち、ケーシング１６の中央に結像レンズ１７を配置し、その前方に偏向ミラープリズム２１と、左右２枚の偏向ミラー２２を設置した構成としている。また、結像レンズ１７を通じて入力した撮像光を撮像信号として受信する撮像素子２０がケーシング１６背面の中央部に配置されており、撮像素子２０の左右領域にて、それぞれ左右の前記偏向ミラー２２からの被写体映像を結像させるようになっている。２３は取得した分割画像を示す。
【００２３】
これにより、２視点からの画像を左右の受光部１８Ｒ，１８Ｌを介して光路分割手段となる偏向ミラー２２ならびに偏向ミラープリズム２１で折り曲げ、一つの結像レンズ１７に入射させ、被写体１９をステレオ撮像することができる。
【００２４】
また同図（２）に示すように、左右２つのステレオカメラユニット１２によるそれぞれの左右画像の歪み方は、偏向ミラー２２で光路分割したのち、単一の結像レンズ１７で結像しているので、歪み具合が異なっている。
【００２５】
また、この実施形態では、前方カメラ群１２Ｆや後方カメラ群１２Ｒにおいて、ステレオ視するカメラユニットを変更することで基線長を変更できるように構成されている。すなわち、図１に示しているように、個々のステレオカメラユニット１２における左右一対の各受光部１８Ｒ，１８Ｌ間の光軸が互いに平行となるように設定されており、その光軸間距離である基線長Ｌ１は固定長となっている。これに対し、前方カメラ群１２Ｆにおける左右のステレオカメラユニット１２ＦＲ、１２ＦＬの両者の同じ側にある片側受光部１８ＦＲＬ、１８ＦＬＬ（または１８ＦＲＲ、１８ＦＬＲ）を用い、ステレオ視する際の受光部１８ＦＲＬ、１８ＦＬＬの光軸間距離（ステレオカメラユニット１２の離間距離）であるＬ２を基線長としてステレオ撮像できるようにしている。基線長Ｌ２は前述した基線長Ｌ１よりは長いので、これを長基線長Ｌ２として、単一のステレオカメラユニット１２ＦＲ（又は１２ＦＬ）によってステレオ視する際の基線長Ｌ１（相対的にＬ１は短基線長となる。）よりは長くしたステレオ画像を取得できる。これは後述する撮像カメラ切替手段を設け、一対のステレオカメラユニット１２における同じ側の片側視野から撮像させるようにしている。
【００２６】
図１に示しているように、各ステレオカメラユニット１２の片側受光部による撮像領域が破線扇形として示され、それらの重合部分が短基線長のステレオ視に基づく近距離のステレオ撮像領域（ハッチング部分）となる。図中２４はステレオカメラユニット１２ＦＲによる近距離時使用画像の撮像領域を示す。
【００２７】
一方、同図１に実線扇形で示しているように、対をなしているステレオカメラユニット１２ＦＲ、１２ＦＬにおける各々の左側受光部１８ＦＲＬ、１８ＦＬＬを組み合わせて臨時のステレオカメラユニットを構成すれば、それら撮像領域である実線扇形の重合部分が長基線長のステレオ視に基づく遠距離の撮像領域となる。図中２５は左側受光部１８ＦＲＬ、１８ＦＬＬを組み合わせた臨時のステレオカメラユニットによる遠距離時使用画像の撮像領域（ハッチング部分）を示す。対のステレオカメラユニット間の基線長Ｌ２は、ステレオカメラユニット１２単体の基線長Ｌ１よりも長く、ステレオカメラユニット１２単体では明瞭とならない遠距離の測距が可能となる。
【００２８】
ステレオカメラユニット１２からの画像データを受ける視点変換合成画像生成／表示装置１４には、各ステレオカメラユニット１２から画像データが通信制御装置（図示せず）を介して送信されてくるが、各ステレオカメラユニット１２から取得すべき画像データは、設定される仮想視点によって決定するので、前述し、また図１に示すように、設定された仮想視点に対応する画像データを取得すべく画像選択装置２８を設けている。この画像選択装置２８によって任意のステレオカメラユニット１２から入力してくる画像データパケットから、設定された仮想視点に対応する画像データパケットが選択され、後段での画像合成処理に利用される。
【００２９】
視点変換合成画像の生成／表示装置１４における基本的な処理は、各撮像手段の視点で撮影された画像を入力し、車両などの撮像手段配置物体が置かれる三次元空間を設定し、この三次元空間を任意に設定した原点（仮想視点）によって特定し、当該特定された仮想視点から見た三次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される三次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。
【００３０】
このシステムでは、各ステレオカメラによる撮影画像データ単位にＩＤを付加し、タイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませるようにしている。これによって、各ステレオカメラユニット１２から送られる画像データにはＩＤが付され、かつタイムスタンプ、その他の撮影情報が含まれた状態でバッファ装置から視点変換合成画像生成／表示装置１４に連続的にパケット送信されるようになっている。
【００３１】
画像データ等が送られてくる視点変換画像生成／表示装置１４においては、撮像カメラ切替手段となる画像選択装置２８によって、視点変換に応じて複数のステレオカメラユニット１２の切替えを行うとともに、撮影対象物の遠近によりステレオカメラユニット１２による短基線長での撮像と、ステレオカメラユニット１２の対の組合せで構成されるステレオカメラによる長基線長での撮像とを切替える。さらに、長基線長の場合には一対のステレオカメラユニット１２における同じ側の視野の組み合わせとなるステレオペアを切替える。
【００３２】
上述したステレオカメラ撮像画像はＩＤ付き画像データ単位でパケット通信によってカメラバッファに一時的に格納されているので、ＩＤ情報を利用して同時刻の画像データを組み合わせることができる。このため、視点変換合成画像生成／表示装置１４は、複数のステレオカメラユニット１２からの撮像画像をＩＤ情報に基づいて時系列に整理して、それを時系列に記憶する実写画像データ記憶装置３０を備えている。また、取得した画像データのパラメータの同期がとれていなければ合成画像は実態とかけ離れてしまう。そのため、前述したように、ＩＤにタイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませ、必要に応じて三次元空間に張り付ける画像データ相互の調整を行うようにしている。
【００３３】
また、当該実施形態に係るシステムを搭載した車両１０には、移動障害物までの距離を測定する測距装置４６を設けている。この測距装置４６は、本実施形態ではレーザレーダやミリ波レーダなどによる測距と、ステレオ撮像による測距とを併用しても良い。レーダ４４による計測は送信信号と反射信号との時間差により計測する通常システムを用いれば良い。また、ステレオ撮像による測距は複数の異なる視点から同一の被写体を撮影し、これらの画像中における被写体の同一点の対応を求め、三角測量の原理によって被写体までの距離を算出している。より具体的にはステレオ撮像手段によって撮像された画像の右画像全体を小領域に分割してステレオ測距計算を行う範囲を決定して、ついで左画像の同一画像とされる画像の位置を検出して、それらの画像の位置差を算出して、左右カメラの取り付け位置の関係から対象物までの距離を演算するようにすればよい。このステレオカメラにより撮像された２またはそれ以上の画像間のステレオ測距で得られた距離情報により、距離画像データが生成され、記憶装置４７に格納される。
【００３４】
さらに、視点変換画像生成／表示装置１４には、空間モデル生成装置４８が設けられている。空間モデル生成装置４８は、画像データ、測距装置４６による距離画像データ、キャリブレーションデータを用いて空間モデルを生成するようにしている。
【００３５】
キャリブレーション装置５０は３次元の実世界に配置された撮像手段（ステレオカメラユニット１２）についての、その３次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとして記憶装置５２に格納される。
【００３６】
したがって、前記空間モデル生成装置４８は、画像データ、距離画像データ、並びにキャリブレーションデータを用いて空間モデルを生成する。生成した空間モデルはその記憶装置５４に格納される。
【００３７】
選択的に取り込まれた画像データの各画素は、空間再構成装置３２にて、三次元空間の点に対応付けられ、空間データとして再構成される。これは、選択された画像を構成する各物体が三次元空間のどこに存在するかを計算し、計算結果としての空間データを空間データ記憶装置３４に一旦記憶するようにしている。前記計算は各々の撮像手段から得られた画像のすべての画素に対して実施する。
【００３８】
視点変換手段となる視点変換装置３６は、空間再構成装置３２の空間データ記憶装置３４の画像データを任意の視点位置から見込んだ画像に変換可能とし、任意に設定した視点を指定できる。すなわち、前記３次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定する。これによって、新たな変換視点から見た画像が空間データ記憶装置３４から読み出されたデータによって生成され、一旦、視点変換画像データ記憶装置３８に格納した後、表示装置４０にて視点変換画像として表示されることになる。
【００３９】
なお、視点変換画像生成／表示装置１４には、自車モデルを記憶格納している撮像装置配置物体モデル記憶装置５６が設けられ、空間再構成する場合に自車モデルを同時に表示できるようにしている。また、視点選択装置５８が設けられており、予め規定されている設定仮想視点に対応する画像データを記憶装置６０に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて視点変換装置３６に送信し、選択された仮想視点に対応する変換画像を表示させるようにしている。
【００４０】
ここで、本発明は、車両１０に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成するに際して、撮像手段をステレオカメラユニット１２で構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニット１２の同じ側の片側視野画像情報を用いて取得するようにしたものである。
【００４１】
すなわち、車両１０からの近距離物体の撮像と遠距離物体の撮像とをする場合に、ステレオカメラユニットの基線長を変えて撮像し、空間モデルを生成する際に、適正表示ができるようにしている。これは、図１に示すように、ステレオカメラユニット１２の近距離に存在する物体を撮像する場合、単体のステレオカメラユニット１２による短基線長撮像を行う。ステレオカメラユニット１２の基線長Ｌ１は固定された受光部１８Ｌ、１８Ｒの光軸間距離であり、近距離を撮像するのに最適な長さを持つ基線長である。このため、近距離の撮像画像上で精度の高い距離画像データを得ることができる。
【００４２】
一方、車両１０の搭載ステレオカメラユニット１２から遠距離にある被写体を撮像する場合、一対のステレオカメラユニット１２ＦＲ、１２ＦＬ（あるいは１２ＲＲ、１２ＲＬ）における同じ側の受光部同士の組合せ、例えば、前方ステレオカメラユニット１２ＦＲ、１２ＦＬの各左方受光部１８ＦＲＬ、１８ＦＬＬを一つのステレオカメラユニットを構成するステレオ受光部の組み合わせとして扱い、これらの受光部同士によるステレオ視画像を入力画像として取得するのである。受光部１８ＦＲＬ、１８ＦＬＬ同士の光軸間距離である基線長Ｌ２は、単一ステレオカメラユニット１２間の基線長Ｌ１より長く、長基線長のステレオ撮像が可能である。したがって、この実施形態では、短基線長のステレオ画像と長基線長のステレオ画像を簡単に撮像手段の切替えによって実現できる。
【００４３】
本実施形態では、長基線長のステレオ撮像を行う場合、対のステレオカメラユニット１２の同じ側の片側視野画像情報を用いる。ステレオカメラユニット１２ＦＬと１２ＦＲにより撮像し、距離画像データを取得する例を図４の模式図で説明する。被写体１９を撮像すると、各ステレオカメラユニット１２ＦＬと１２ＦＲの撮像素子２０に図４（１）に示されるように被写体１９が結像する。これから二つのステレオカメラユニット１２ＦＬと１２ＦＲの片側共通の視野画像（右と右、左と左の組合せ）を用いて、長基線長画像を得る場合に、図４（２）に示すように、同じ側（右と右）の画像を切り出され、ステレオ画像ペアができる。このようにすることで、レンズによるディストーション（歪曲収差）が、左右画像で同じように生じるため、図４（３）のようにレクティフィケーションを行い、歪み補正した結果でも左右画像間での実解像度の差が生じにくく、より正確にステレオマッチングによる対応点探索を行うことができる。
【００４４】
本実施形態に係るステレオ撮像のステレオマッチングによる距離画像の生成を示すフローチャートを図５に示す。以下、左ステレオカメラユニットと、右ステレオカメラユニットから入力された画像のうち、ステレオペアを形成する右側（１８ＦＲＲ−１８ＦＬＲ）の視野画像を用いる例を示す。
【００４５】
それぞれのステレオカメラユニット１２ＦＲ，１２ＦＬの撮像画像の右側視野部分を右側視野切り出し処理により、所定の大きさに切り出し（Ｓ２００），（Ｓ２０４）、ステレオ左画像と、ステレオ右画像を生成する。
（Ｓ２０２）得られたステレオ左画像。
（Ｓ２０６）得られたステレオ右画像。
（Ｓ２０８）得られたレクティフィケーション・キャリブレーションデータ。あらかじめキャリブレーション装置５０によってレクティフィケーションに用いるキャリブレーションを実施し、選択したステレオカメラユニットの右側カメラあるいは左側カメラに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ２１０）次に、左右それぞれのステレオ画像をレクティフィケーション用のキャリブレーションデータに基づいて、ステレオの左右画像の歪曲収差の補正を行い、エピポーラ線上に左右画像の対応点が同一線上に来るように画像を幾何変換するレクティフィケーション処理を行う。
（Ｓ２１２）得られたレクティフィケーション後のステレオ左画像。
（Ｓ２１４）得られたレクティフィケーション後のステレオ右画像。
（Ｓ２１６）このレクティフィケーション後の左右画像をステレオマッチング処理し、対応点検索を行い、視差を算出する。これにより、画像上の各点の視差量のマップが生成され、これが視差データとなる。
（Ｓ２１８）得られた視差データ。
（Ｓ２２０）得られたステレオ距離キャリブレーションデータ。あらかじめキャリブレーション装置５０によってステレオ測距に用いるキャリブレーションを実施し、選択したステレオカメラユニットに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ２２２）ステレオ距離キャリブレーションにより、視差量は基準点からの距離に変換され、距離画像データが生成される。
（Ｓ２２４）得られた距離画像データ。
【００４６】
以上のような処理を行うことにより、複数のステレオカメラの画像から距離画像データを算出することができる。得られた距離画像データは空間モデルの生成に用いている。なお、ステレオペアを形成する左側（１８ＦＲＬ−１８ＦＬＬ）の視野画像についても同様の処理を行うことで距離画像データを取得することができる。
【００４７】
上記構成による視点変換画像生成装置の視点変換画像の処理フローを図６に示す。以下、視点変換画像の画像生成方法について説明する。
（Ｓ１０２）自車両の前方あるいは後方など任意の仮想視点を視点選択装置５８で選択する。
（Ｓ１０４）選択した仮想視点に対応する自車両に設置した撮像装置を画像選択装置２８で選択する。ステレオカメラユニット１２による短基線長、あるいはステレオカメラユニット１２の対の組み合わせで構成されるステレオカメラによる長基線長を切り替える制御手段となる画像選択装置２８によって基線長を任意に選択する。
（Ｓ１１０）レーダ４４による測距装置４６で撮像画像の概略の距離情報を取得して、簡易距離画像データを生成する。
（Ｓ１１２）簡易距離画像データ中の障害物を認識する。さらに、この障害物を測距装置４６によって測距する。
（Ｓ１１４）検出された障害物の概略距離に基づいて、障害物部分の空間モデルの生成を長基線長、短基線長、あるいはステレオ測距領域外のいずれかの距離画像データを用いるかを選択し判定する。また、測距装置４６は障害物の概略距離に基づいて、遠近切替更新手段となり空間モデル更新に用いる画像情報の遠近切替えを行う。
（Ｓ１２０）長基線長画像ぺアとなるステレオカメラユニット１２間による長基線長撮像を行う。
（Ｓ１２２）キャリブレーションデータ。あらかじめキャリブレーション装置５０によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ１２４）キャリブレーションデータを基に選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを元に距離を算出し、得られた距離データを長基線長距離画像データとする。
（Ｓ１２６）得られた長基線長距離画像データ。
（Ｓ１２８）測定した距離画像データを前述の障害物距離判定に応じて空間モデル生成装置４８に距離画像データを出力する。
（Ｓ１３０）短基線長画像ぺアとなるステレオカメラユニット１２による短基線長撮像を行う。
（Ｓ１３２）キャリブレーションデータ。あらかじめキャリブレーション装置５０によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ１３４）キャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを元に距離を算出し、得られた距離データを短基線長距離画像データとする。
（Ｓ１３６）得られた短基線長距離画像データ。
（Ｓ１３８）測定した距離画像データを前述の障害物距離判定に応じて空間モデル生成装置４８に距離画像データを出力する。
（Ｓ１４０）ステレオ測距領域外において、測距装置４６、すなわちレーザレーダやミリ波レーダの測距結果から、空間モデルに対して、障害物を衝立状の平面で表現するなどした簡易空間モデルを生成し、測距装置距離画像データを生成する。
（Ｓ１４２）得られた測距装置距離画像データ。
（Ｓ１４４）空間モデル更新手段となる空間モデル生成装置４８には、長基線長の距離画像データと、短基線長の距離画像データ、測距装置４６による距離画像データが入力手段によって入力される。これらを所望の距離で選択的に用いることにより、より詳細な空間モデルが生成される。
（Ｓ１４６）この空間モデルに対応する実写画像データをキャリブレーションデータに従って、撮像手段からの入力画像を３次元空間の空間モデルにマッピングする。テクスチャマッピングがなされた空間データが生成される。
（Ｓ１４８）空間再構成装置３２によって作成された空間データを参照して、所望の仮想視点から見た視点変換画像を視点変換装置３６で生成する。生成した視点変換画像データは視点変換画像データ記憶装置３８に一時保管される。
（Ｓ１５０）生成した視点変換画像データを表示装置４０で表示する。このような処理を自車両もしくは障害物の距離の変化あるいは形状の変化に応じて逐次繰り返し行う。これにより空間モデルが更新されて仮想視点画像を順次表示することが可能となる。
【００４８】
以上説明したように画像生成方法によれば、車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの同じ側の片側視野画像情報を用いて取得するようにしているため、近距離および遠距離における撮像画像上の被写体の距離測定を行うことができる。
【００４９】
このため、左右同じ側の分割画面を用いることで、歪曲収差の画面内の分布が近似した画像を得ることができる。また、ステレオ測距する際に実施する歪み補正のモデルを共通化できるとともに、その歪み補正時の拡大率が、対応点で近い値を持つので、歪み補正後の画像の解像度分布が同一となるため、ステレオマッチングの精度が向上し、空間モデルをより適切に生成することができる。
【００５０】
また、生成した仮想視点画像を車両のモニタ画面に表示すれば車両周辺状況を詳細に認識することが可能となり、安全性を大幅に向上させることができる。
上述した各例において、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等）。特に複数カメラを２方向の基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ測距が可能となる。
【００５１】
なお、カメラなど撮像手段を所定の形態で設置する対象物は、車両に装着した例を示しているが、撮像装置配置物体として例えば、歩行者、街路、店舗や住居、オフィスなどの屋内などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適応が可能となる。
【産業上の利用可能性】
【００５２】
本発明に係る画像生成方法および装置は、車両の運転席に装備した表示装置に車両外部の周辺情報をカメラ視点とは異なった仮想の視点から見た画像として表示させることができ、また安全警備のための建物や室内外の監視装置として利用することができる。
【図面の簡単な説明】
【００５３】
【図１】実施形態に係る画像生成装置のシステム構成ブロック図である。
【図２】同画像生成装置を車両に搭載した場合の構成ブロック図である。
【図３】実施形態に適用されるステレオカメラユニットの断面図である。
【図４】実施形態に係る画像生成方法における長基線長による画像処理の説明図である。
【図５】同実施形態に係る画像生成時の距離画像データの生成処理を示すフローチャートである。
【図６】実施形態に係る視点変換画像生成のフローチャートである。
【符号の説明】
【００５４】
１０………車両、１２………ステレオカメラユニット、１４………視点変換画像生成／表示装置、１６………ケーシング、１７………結像レンズ、１８………受光部、１９………被写体、２０………撮像素子、２１………偏向ミラープリズム、２２………偏向ミラー、２４………近距離時使用画像撮像領域、２５………遠距離時使用画像撮像領域、２８………画像選択装置、３０………実写画像データ記憶装置、３２………空間再構成装置、３４………空間データ記憶装置、３６………視点変換装置、３８………視点変換画像データ記憶装置、４０………表示装置、４４………レーダ、４６………測距装置、４７………距離画像データ記憶装置、４８………空間モデル生成装置、５０………キャリブレーション装置、５２………キャリブレーションデータ記憶装置、５４………空間モデル記憶装置、５６………撮像装置配置物体モデル記憶装置、５８………視点選択装置、６０………仮想視点データ記憶装置。
【図１】
2006042017.tif 000003
【図２】
2006042017.tif 000004
【図３】
2006042017.tif 000005
【図４】
2006042017.tif 000006
【図５】
2006042017.tif 000007
【図６】
2006042017.tif 000008