(57)【要約】【課題】  暗所の撮影や夜間撮影時に視点変換画像の合成対象撮像手段が撮像する際に効率的に必要な補助光を照射でき、認識度の高い視点変換画像を生成する。【解決手段】  車両に配置された１又は複数の撮像手段から供給される画像情報に基づいて視点変換画像を生成する画像生成装置である。前記撮像手段による撮像領域を照射する補助光源を備え、この補助光源を視点変換画像毎に切り替えて使用する補助光源を選択する制御手段を設けた。【選択図】    図１
2006054504.tif 000002
【特許請求の範囲】
【請求項１】
車両に配置された１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する方法であって、
視点変換の切替に応じて撮像に必要な補助光の照射方向を切り替えることを特徴とする画像生成方法。
【請求項２】
前記補助光は、可視光、赤外光、パターン光から選択される補助光を適用することを特徴とする請求項１に記載の画像生成方法。
【請求項３】
前記補助光は、前記視点変換画像の生成に利用する少なくとも一部の撮像画像領域を照射し、当該領域外に対応する補助光の照射を停止するようにしたことを特徴とする請求項１に記載の画像生成方法。
【請求項４】
車両に配置された１又は複数の撮像手段から供給される画像情報に基づいて視点変換画像を生成する画像生成装置であって、
前記撮像手段による撮像領域を照射する補助光源を備え、この補助光源を視点変換画像毎に切り替えて使用する補助光源を選択する制御手段を設けたことを特徴とする画像生成装置。
【請求項５】
前記補助光源は前記撮像手段に付帯してなることを特徴とする請求項４に記載の画像生成装置。
【請求項６】
前記補助光源は前記撮像手段とは独立し視点変換画像単位に設けてなることを特徴とする請求項４に記載の画像生成装置。
【請求項７】
前記補助光源は可視光、赤外光、パターン光のいずれか１つの光照射をなすように形成されていることを特徴とする請求項４に記載の画像生成装置。
【請求項８】
１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する方法であって、
視点変換の切替に応じて撮像に必要な補助光の照射方向を切り替えることを特徴とする画像生成方法。
【請求項９】
前記補助光として可視光、赤外光、パターン光から選択される補助光を適用することを特徴とする請求項８に記載の画像生成方法。
【請求項１０】
前記補助光は、前記視点変換画像の生成に利用する少なくとも一部の撮像画像領域を照射し、当該領域外に対応する補助光の照射を停止するようにしたことを特徴とする請求項８に記載の画像生成方法。
【請求項１１】
１又は複数の撮像手段から供給される画像情報に基づいて視点変換画像を生成する画像生成装置であって、
前記撮像手段による撮像領域を照射する補助光源を備え、この補助光源を視点変換画像毎に切り替えて使用する補助光源を選択する制御手段を設けたことを特徴とする画像生成装置。
【請求項１２】
前記補助光源は撮像手段配置物体に所定の形態で配置されたものであることを特徴とする請求項７に記載の画像生成装置。
【請求項１３】
前記補助光源は前記撮像手段に付帯してなることを特徴とする請求項１１に記載の画像生成装置。
【請求項１４】
前記補助光源は前記撮像手段とは独立し視点変換画像単位に設けてなることを特徴とする請求項１１に記載の画像生成装置。
【請求項１５】
前記補助光源は可視光、赤外光、パターン光のいずれか１つの光照射をなすように形成されていることを特徴とする請求項１１に記載の画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成方法および装置に係り、特に複数の撮像手段で撮像した画像を元にして、前記撮像手段とは別の視点からあたかも実際に撮影したかのように視点を変更した画像として合成表示させるための技術に関する。
【背景技術】
【０００２】
一般に、監視カメラ等によって監視する場合、カメラ単位の撮像画像をモニタ上に表示するような構成が採られ、監視領域の所望の箇所に取り付けられたカメラからの撮影画像を監視室に配列された複数モニタにて表示させるようにしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。
【０００３】
しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、また、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗いため、表示画像が見にくく、監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。例えば、特許文献１に示されているように、複数のカメラ画像を１つのモニタに分割表示するものや、特許文献２に示されているように、複数のカメラを撮影画像の一部が相互に重なるように配置しておき、重なり合う部分で画像を結合して１つの画像に合成するものがある。また、特許文献３に示されているように、複数のカメラによる画像を座標変換して１枚の画像に合成して、任意の視点による合成画像を表示するようにしたものである。
【０００４】
また、特許文献３に開示されている方法では、複数のカメラによる画像のデータを、一元的に取り込み、あらかじめレーザレーダや、ミリ波レーダ、ステレオカメラによる三角測量などにより生成した三次元の空間モデルを生成し、ここに、この取得した画像データをカメラパラメータに基づいて、カメラからの入力画像を構成する各画素の情報を対応付けてマッピングを行い、空間データを作成する。このようにして、独立したすべてのカメラからの画像を１つの三次元空間内の点として対応付けた後に、現実のカメラの視点ではなく任意の仮想の視点からみた視点変換画像を生成して表示する。このような視点変換画像表示方法によれば、画像精度を低下させることなく監視領域の全体が１つの任意の視点で表示され、監視したい領域を任意の視点で確認できる利点がある。
【特許文献１】特開平０５−３１００７８号公報
【特許文献２】特開平１０−１６４５６６号公報
【特許文献３】特許３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、視点変換画像は標準カメラにより撮像した画像データを座標変換して視点変換画像にそのまま利用しているため、従来の視点変換画像では、暗所の撮像画像や夜間撮像画像では合成画像の一部や全部が黒色となって撮影対象物の識別ができなくなる問題があった。
【０００６】
本発明は、上記従来の問題点に着目し、暗所の撮影や夜間撮影時に視点変換画像の合成対象撮像手段が撮像する際に効率的に必要な補助光を照射でき、認識度の高い視点変換画像を生成することができる画像生成方法および装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像生成方法は、車両に配置された１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する方法であって、視点変換の切替に応じて撮像に必要な補助光の照射方向を切り替えることを特徴とする。
【０００８】
前記補助光は、可視光、赤外光、パターン光から選択される補助光を適用することを特徴とする。また、前記補助光は、前記視点変換画像の生成に利用する少なくとも一部の撮像画像領域を照射し、当該領域外に対応する補助光の照射を停止するようにすればよい。
【０００９】
また、本発明に係る画像生成装置は、車両に配置された１又は複数の撮像手段から供給される画像情報に基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段による撮像領域を照射する補助光源を備え、この補助光源を視点変換画像毎に切り替えて使用する補助光源を選択する制御手段を設けたことを特徴としている。
【００１０】
前記補助光源は前記撮像手段に付帯させればよく、また、前記補助光源は前記撮像手段とは独立し視点変換画像単位に設けるようにすればよい。
さらに、前記補助光源は可視光、赤外光、パターン光のいずれか１つの光照射をなすように形成することができる。
【００１１】
本発明は、１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する方法であって、視点変換の切替に応じて撮像に必要な補助光の照射方向を切り替える構成としてよい。
【００１２】
この場合においても、前記補助光として可視光、赤外光、パターン光から選択される補助光を適用するようにできる。また、前記補助光は、前記視点変換画像の生成に利用する少なくとも一部の撮像画像領域を照射し、当該領域外に対応する補助光の照射を停止するようにすればよい。
【００１３】
さらに、本発明は、１又は複数の撮像手段から供給される画像情報に基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段による撮像領域を照射する補助光源を備え、この補助光源を視点変換画像毎に切り替えて使用する補助光源を選択する制御手段を設けたことを特徴とする。
前記補助光源は撮像手段配置物体に所定の形態で配置されたものであればよい。
【００１４】
さらに、前記補助光源は前記撮像手段に付帯させればよく、前記補助光源は前記撮像手段とは独立し視点変換画像単位に設ける構成にできる。また、前記補助光源は可視光、赤外光、パターン光のいずれか１つの光照射をなすように形成すればよい。
【発明の効果】
【００１５】
本発明を上記構成としたことにより、視点変換合成画像を取得する際に、その画像合成に必要な撮像手段の照射領域に向けて補助光が照射されるため、暗所の撮影や夜間撮影時に視点変換画像の合成対象撮像手段が撮像する際に効率的に必要な補助光が照射され、認識度の高い視点変換画像を生成することができる。
【発明を実施するための最良の形態】
【００１６】
以下に、本発明に係る画像生成方法および装置の具体的実施形態を、図面を参照して、詳細に説明する。
図１は実施形態に係る画像生成装置のシステム構成ブロック図である。このシステムの基本的な構成は、撮像手段として本実施形態では複数のステレオカメラユニット１０を用いている。このステレオカメラユニット１０によって取得した画像データを処理してカメラ視点とは異なる仮想の視点から見た合成画像として再生表示するための視点変換合成画像の生成／表示装置１２から構成されている。
【００１７】
図２はステレオカメラユニットの構成概略を示す図である。図示のように、ステレオカメラユニットはステレオアダプタを用いている。ケーシング１４の正面部左右に距離Ｌ１だけ離して各々受光レンズ群を配設した左右一対の広角コンバータレンズ１６Ｌ，１６Ｒを形成し、被写体１８をステレオ撮影できるようにしている。広角コンバータレンズ１６Ｌ，１６Ｒを通じて入力した撮像光を撮像信号として受信する撮像素子２０がケーシング１４背面の中央部に配置されており、撮像素子２０の左右領域にて、それぞれ前記左右広角コンバータレンズ１６Ｌ、１６Ｒからの被写体映像を結像させるようになっている。このため、撮像素子２０と左右広角コンバータレンズ１６Ｌ，１６Ｒの間には、偏向プリズム２２、結像レンズ系２４を含む導光用光学系が配設され、左側広角コンバータレンズ１６Ｌで捉えた被写体映像が、撮像素子２０の左側領域に、右側広角コンバータレンズ１６Ｒで捉えた被写体映像は撮像素子２０の右側領域に導かれて、それぞれ一つの撮像素子２０の受光面に左右分離された状態で同時に結像されるようになっている。
【００１８】
障害物の被写体１８は、左右のレンズから入射し偏向プリズム２２により折り曲げられながら、撮像素子２０に結像する。このようにしてステレオ画像が単一の撮像素子に結像する。このステレオのペア画像から所定の右画像、左画像領域を切り出し距離画像の生成を行う。
【００１９】
このステレオカメラユニット１０は、２つ並べてそれぞれ光軸が互いに平行となるように対に配置することができる。これにより、受光部間の距離となる基線長を、単体のステレオカメラユニット１０による短基線長とし、またはステレオカメラユニット対（１０Ｒ，１０Ｌ）による長基線長とし、基線長の長さを変えてステレオ撮像することが可能となる。
【００２０】
また、視点変換合成画像の生成／表示装置１２における基本的な処理は、各ステレオカメラユニット１０の視点で撮影された画像を入力し、車両などの撮像手段配置物体が置かれる三次元空間を設定し、この三次元空間を任意に設定した原点（仮想視点）によって特定し、当該特定された仮想視点から見た三次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される三次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。
【００２１】
このシステムは各ステレオカメラユニット１０により撮影された画像データをパケット送信するようになっており、このため、撮像手段としてのステレオカメラユニット１０にバッファ装置を付帯させておき、これに装備されているバッファメモリに一時的に撮像画像を取り込むようにしている。このバッファ装置では撮影画像データ単位にＩＤを付加し、タイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませるようにしている。これによって、各ステレオカメラユニット１０から送られる画像データにはＩＤが付され、かつタイムスタンプ、その他の撮影情報が含まれた状態でバッファ装置から視点変換合成画像生成／表示装置１２に連続的にパケット送信されるようになっている。
【００２２】
一方、ステレオカメラユニット１０からの画像データを受ける視点変換合成画像生成／表示装置１２には、各ステレオカメラユニット１０から画像データが送信されてくるが、各ステレオカメラユニット１０から取得すべき画像データは、設定される仮想視点によって一義的に決定するので、設定された仮想視点に対応する画像データを取得すべく画像選択装置２６を設けている。この画像選択装置２６によって任意のステレオカメラユニット１０に付帯したバッファ装置から入力してくる画像データパケットから、設定された仮想視点に対応する画像データパケットが選択され、後段の画像合成処理に利用される。
【００２３】
撮像画像はＩＤ付き画像データ単位でパケット通信によってカメラバッファ装置に一時的に格納されているので、ＩＤ情報を利用して同時刻の画像データを組み合わせることができる。このため、視点変換合成画像生成／表示装置１２は、複数のステレオカメラユニット１０からの撮像画像をＩＤ情報に基づいて時系列に整理して時系列に記憶する実写画像データ記憶装置３４を備えている。また、取得した画像データのパラメータの同期がとれていなければ合成画像は実態とかけ離れてしまう。そのため、前述したように、ＩＤにタイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませ、必要に応じて三次元空間に張り付ける画像データ相互の調整を行うようにすればよい。
【００２４】
また、測距装置６４は、本実施形態ではステレオ撮像による測距を行なっている。あるいはレーザレーダやミリ波レーダなどのレーダによる測距を併用しても良い。
【００２５】
ステレオ撮像による測距は複数の異なる視点から同一の被写体を撮影し、これらの画像中における被写体の同一点の対応を求め、三角測量の原理によって被写体までの距離を算出している。より具体的にはステレオ撮像手段によって撮像された画像の右画像全体を小領域に分割してステレオ測距計算を行う範囲を決定して、ついで左画像の同一画像とされる画像の位置を検出して、それらの画像の位置差を算出して、左右カメラの取り付け位置の関係から対象物までの距離を演算するようにすればよい。このステレオカメラにより撮像された２またはそれ以上の画像間のステレオ測距で得られた距離情報により、距離画像が生成される。
【００２６】
キャリブレーション装置６６は三次元の実世界に配置された撮像手段についての、その三次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとしてキャリブレーションデータ記憶装置７０に一時格納される。
【００２７】
空間モデル更新手段となる空間モデル生成装置６８ではステレオカメラユニット１０の画像データと、測距装置６４による距離画像データが距離画像データ記憶装置６５から入力される。ステレオカメラユニット１０毎の画像データと、測距装置の距離画像データとを用いて空間モデルを生成し、空間モデル記憶装置７２に一時保管している。これらを選択的に用いることにより、それぞれ良好な距離分解能を持ち、障害物などの被写体の形状まで取れた距離データを備えているので空間モデルの距離分解能および被写体形状の再現性が向上する。
【００２８】
このようにして選択的に取り込まれた画像データの各画素は、空間再構成装置３６にて、三次元空間の点に対応付けられ、空間データとして再構成される。これは、選択された画像を構成する各物体が三次元空間のどこに存在するかを計算し、計算結果としての空間データを空間データ記憶装置３８に一旦記憶するようにしている。
【００２９】
視点変換装置４０は、空間再構成装置３６によって作成された空間データを記憶装置３８から読み出し、指定された仮想視点から見た画像を再構成するのである。これは前記空間再構成装置３６にて行った処理の逆変換処理となる。これによって、新たな変換視点から見た画像が空間データ記憶装置３８から読み出されたデータによって生成され、一旦、視点変換画像データ記憶装置４２に格納した後、表示装置４４にて視点変換画像として表示されることになる。
【００３０】
なお、視点変換画像生成／表示装置１２には、自車モデル等の撮像装置配置物体モデルを記憶格納している撮像装置配置物体モデル記憶装置７４が設けられ、空間再構成する場合に撮像装置配置物体モデルを同時に表示できるようにしている。また、視点選択装置７６が設けられており、予め規定されている設定仮想視点に対応する画像データを仮想視点データ記憶装置７８に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて視点変換装置４０に送信し、選択された仮想視点に対応する変換画像を表示させるようにしている。
【００３１】
この実施形態では、前記視点変換画像における仮想視点の移動に応じて必要な撮像手段からの画像データパケットがカメラバッファ装置から優先取得されるので、余分なデータ処理がなくなって画像合成処理速度が速くなり、即時性が要求される車両のような移動体への適用に高い効果がある。
【００３２】
ところで、本発明では、前記撮像手段としてのステレオカメラユニット１０による撮像領域を照射する補助光源となる投光装置５０を各ステレオカメラユニット１０に付帯させている。また、ステレオカメラユニット１０とは独立して生成する視点変換画像単位に独立投光装置５４を設置している。この投光装置５０あるいは独立投光装置５４には、視点変換画像毎に切り替えて選択させる制御手段を設けている。制御手段は実施形態では投光選択装置５２として構成している。
【００３３】
図４は補助光がパターン光の場合における照射のための投光装置の概略構成を示す図である。光源８４の発光によりリフレクタ８６、コンデンサレンズ８８で成形され熱線カットガラス９０で熱線をカットされた光線がパターンフィルタ９２を照射し、その像を投影レンズ９４により、障害物などの被写体に照射する。フィルタ切替装置９６を用いることにより、パターン光だけでなく照明光も照射可能となる。また、熱線カットガラス９０を取り除き、パターンフィルタ９２の代わりに赤外透過可視光カットフィルタ９８を装着すれば、赤外照明と可視光照明を切り替える照明装置とすることができる。
【００３４】
したがって、本実施形態では、仮想視点の選択において、画像選択装置２６で仮想視点に応じたステレオカメラユニット１０を選択するとともに、投光選択装置５２にそのステレオカメラユニット１０に対応する投光装置としての投光装置５０を選択させ、その投光装置５０のみを作動させるようにしている。これにより、仮想視点画像の生成に必要な画像を撮像するステレオカメラユニット１０の撮影領域部分のみに投光が行われ、投光エネルギーの節約、不必要な投光による他車両などのセンサ幻惑の可能性を減らすなどの効果を得ることができる。
【００３５】
なお、前記投光装置５０から照射される補助光には、可視光、赤外光、パターン光のいずれか１つ、もしくは、時系列の切り替えにより複数が採用されている。可視光を照射するようにすれば暗所や逆光時に撮像対象物を詳細に写しこむことができる。赤外光を用いれば暗所部分や夜間撮影時に詳細画像を取得することができる。また、パターン光を用いることにより、撮像装置により、ステレオ測距処理を行う場合において、特徴点の少ない、単色の平面などの形状測定を良好に行うことができ、空間モデルの生成を有利に実施することが可能となる。図５に実施形態に係るパターン光を示す。図示のように、パターン光としては、基線方向（同図に示す矢印）に対してカラーなどでコード化された縞パターン（同図（１））、あるいはステレオ測距時のたとえばテンプレートマッチングのウィンドサイズでの切り出しにおいて、ある点を特定できるランダムドットパターン（同図（２））を用いることができる。色の違いを示すために、同図において、網掛けを変えることで表現している。また、実際にはより細かいパターンであり、パターンの一部を切り出したものである。同図中Ａはステレオマッチング処理のウィンドサイズを示す。
【００３６】
図３は実施形態に係る画像生成装置を車両に搭載して、車両運転時の補助のために周辺状況を監視できるように構成した場合の構成ブロック図である。図示のように、撮像手段配置物体としての車両６０の前後部には、撮像手段としてのステレオカメラユニット１０が複数装備されている。この図示の例では、車両６０の前部左右に前方カメラ群１０Ｆ（１０ＦＲ、１０ＦＬ）が、車両６０の後部左右にも後方カメラ群１０Ｒ（１０ＲＲ、１０ＲＬ）が装備されている。
【００３７】
車両６０には、前記ステレオカメラユニット１０による撮影画像を、当該ステレオカメラユニット１０による視点とは別の任意の視点から撮影したように画像を合成する視点変換合成画像の生成／表示装置１２が装備されている。この画像生成／表示装置１２と各ステレオカメラユニット１０とは画像選択装置２６（２６ａ，２６ｂ）を介してＬＡＮ回線により接続され、画像データをカメラバッファ経由によりパケット送信させるようにしている。これにより、設定される仮想視点ごとに一義的に決まる必要画像データをバッファ装置から取捨選択してパケット送信により迅速に取り込み、画像合成して表示するようにしているため、画像表示速度が速くなり、合成画像の迅速な表示ができるようになっている。
【００３８】
また、各ステレオカメラユニット１０には投光装置５０を付帯させている。さらに、視点変換画像単位に独立した独立投光装置５４も設置している。投光装置５０および独立投光装置５４は投光選択装置５２を介して画像生成／表示装置１２に接続している。これにより、仮想視点によって投光装置を任意に選択することが可能となる。
【００３９】
なお、本実施形態では、車両６０のような移動体では、移動障害物がある場合、これを運転席の表示装置４４に迅速に表示させて回避動作をさせるよう促す必要が生じてしまうことが多い。車両６０に付帯させた測距装置６４あるいはカメラに搭載した距離センサ機能を利用して障害物が認識された場合、本実施形態では、視点変換画像において認識された障害物を表示可能な撮像手段としてのステレオカメラユニット１０を特定し、当該カメラの画像データを優先的に読み出して、表示装置４４への出力をなすようにしている。
【００４０】
上記構成による画像生成装置の視点変換画像の生成方法について説明する。まず、ステレオアダプタ型のステレオカメラユニットを用いた場合の距離画像生成のフローチャートを図６に示す。これは、実写画像データとキャリブレーションデータが入力された測距装置６４内での処理である。
【００４１】
以下、左ステレオカメラユニット１０Ｌと、右ステレオカメラユニット１０Ｒから入力された画像のうち、ステレオペアを形成する右側（１０ＲＲ−１０ＬＲ）の視野画像を用いる例を示す。
【００４２】
それぞれのステレオカメラユニット１０Ｒ，１０Ｌの撮像画像の右側視野部分を右側視野切り出し処理により、所定の大きさに切り出し（Ｓ２００），（Ｓ２０４）、ステレオ左画像と、ステレオ右画像を生成する。
（Ｓ２０２）得られたステレオ左画像。
（Ｓ２０６）得られたステレオ右画像。
（Ｓ２０８）得られたレクティフィケーション・キャリブレーションデータ。あらかじめキャリブレーション装置１８によってレクティフィケーションに用いるキャリブレーションを実施し、選択したステレオカメラユニットの右側カメラあるいは左側カメラに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ２１０）次に、左右それぞれのステレオ画像をレクティフィケーション用のキャリブレーションデータに基づいて、ステレオの左右画像の歪曲収差の補正を行い、エピポーラ線上に左右画像の対応点が同一線上に来るように画像を幾何変換するレクティフィケーション処理を行う。
（Ｓ２１２）得られたレクティフィケーション後のステレオ左画像。
（Ｓ２１４）得られたレクティフィケーション後のステレオ右画像。
（Ｓ２１６）このレクティフィケーション後の左右画像をステレオマッチング処理し、対応点検索を行い、視差を算出する。これにより、画像上の各点の視差量のマップが生成され、これが視差データとなる。
（Ｓ２１８）得られた視差データ。
（Ｓ２２０）得られたステレオ距離キャリブレーションデータ。あらかじめキャリブレーション装置６６によってステレオ測距に用いるキャリブレーションを実施し、選択したステレオカメラユニットに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ２２２）ステレオ距離キャリブレーションにより、視差量は基準点からの距離に変換され、距離画像データが生成される。
（Ｓ２２４）得られた距離画像データ。
【００４３】
以上のような処理を行うことにより、複数のステレオカメラユニット１０の画像から距離画像データを算出することができる。得られた距離画像データは後述の空間モデル生成に用いている。なお、ステレオペアを形成する左側（１０ＲＬ−１０ＬＬ）の視野画像についても同様の処理を行うことで距離画像データを取得することができる。
【００４４】
実施形態に係る画像生成方法の処理フローを図７に示す。表示する任意の仮想視点を視点選択装置７６で選択する（ステップ１０２）。複数のステレオカメラユニット１０による、短基線あるいは長基線のステレオ撮像を選択する。（ステップ１０４）、選択したステレオカメラユニット１０による撮像を行う（ステップ１０６）。例えば、長基線長側の空間モデルの生成において、ステレオアダプタを用いた左右画像が結像した画像中の分割された視野で同じ側の片側画像を切り出して、空間モデルを生成するためのステレオペア画像として用いる。
【００４５】
また、あらかじめキャリブレーション装置１８によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット１０に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成して選択する（ステップ１０８）。
【００４６】
得られたキャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。すなわち、図６で示したようにステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを基に距離を算出し、得られた距離データを距離画像データとする（ステップ１１０）。
【００４７】
空間モデル更新手段となる空間再構成装置３６には、ステレオ撮像の画像情報と距離画像データが入力される。これらを所望の距離で選択的に用いることにより、より詳細な空間モデルが生成される（ステップ１１２）。この空間モデルに対応する実写画像データをキャリブレーションデータに従って撮像手段からの入力画像を三次元空間の空間モデルにマッピングする。テクスチャマッピングがなされた空間データが生成される（ステップ１１４）。空間再構成装置３６によって作成された空間データを参照して、所望の仮想視点から見た視点変換画像を視点変換装置４０で生成する（ステップ１１６）。生成した視点変換画像データを表示装置４４で表示する（ステップ１１８）。
【００４８】
この過程での仮想視点の選択において、画像選択装置２６で仮想視点に応じたステレオカメラユニット１０を選択するとともに、投光選択装置５２にそのステレオカメラユニット１０に対応する投光装置５０を選択させ（ステップ１２０）、その投光装置５０のみを作動させる（ステップ１２２）。これにより、仮想視点に応じた部分のみに、投光が行われ、領域外に対応する補助光の照射を停止するようにしているので、投光エネルギーの節約、不必要な投光による他の車両などからのセンサ幻惑の可能性を減らすなどの効果を得ることができるのである。
【００４９】
なお、ステレオカメラユニット１０などの撮像手段を設置する対象物は車両６０に装着した例を示しているが、撮像装置配置物体として、例えば、歩行者、街路、店舗や住居、オフィスなどの屋内などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適用が可能となる。
【００５０】
次に実施形態に係る画像生成装置を室内に適用したシステムブロック図を図８に示す。なお、図１と同一構成については同一の作用効果を成し、同一符号を付してその説明を省略する。図１の構成と同様に、ステレオカメラユニット１０に付帯する投光装置５０とは別に独立した投光装置を設けている。仮想視点、三次元再構成による空間モデルの生成において、移動障害物である人物や部屋のインテリアなどの測距に適した独立投光装置５４が投光選択装置５２に接続してある。
【００５１】
視点選択装置７６には物体認識装置７９が接続してある。物体認識装置７９は、赤外センサ等によって監視領域の移動障害物を認識するものであり、障害物を認識すると視点選択装置７６に認識結果を送信して仮想視点を選択させるように構成している。
【００５２】
図１０は実施形態に係る画像生成装置を室内に配置した処理フローチャートを示す図である。図７と同一の処理については同一の符号を付してその説明を省略する。物体認識装置７９による障害物の検出、認識により、障害物を撮像領域に含む仮想視点を選択する（ステップ１００）。ついで、表示する任意の仮想視点を視点選択装置７６で選択し（ステップ１０２）、以下図７と同様の動作を行う。すなわち、物体認識装置７９による認識結果により、仮想視点が選択され投光装置５０とステレオカメラユニット１０を選択する。投光装置５０は、ステレオ測距用の画像を撮影するときには投光を実施する。そして、投影時に撮像した画像を用いてステレオマッチングを実施し、三次元形状を再構成し、視点変換画像生成のための空間モデル生成に用いている。これにマッピング用画像をマッピングし、空間データとした後、視点変換画像を生成して表示する。
【００５３】
図９は本実施形態に係る画像生成装置の室内の配置構成を示す図である。図９は、屋内監視装置に適用した他の実施形態の例であり、仮想視点を、移動する人物にあわせて切り替えていく場合に、人物に対しての投影の切替をなすように構成している。すなわち、監視対象室８０の壁面部などに撮像手段としてのステレオカメラユニット１０を設置し、このステレオカメラユニット１０に付帯して投光装置５０を設け、撮像領域に補助光を照射するようにしている。カメラ付帯の投光装置５０とは別に例えば監視対象室８０のコーナ部分に独立投光装置５４を設置する。ステレオカメラユニット１０からの取得画像によって室内全体を見渡せる仮想視点を設定し、視点変換画像を図８に示したシステム構成によって生成する。
【００５４】
物体認識装置７９によって室内を移動する人物などが認識された場合、視点変換画像において認識された移動人物を表示可能な撮像手段としてのステレオカメラユニット１０を特定し、当該カメラの画像データを優先的に読み出して、視点変換を行って合成画像を生成して表示装置４４への出力をなすと同時に、移動人物を追尾して特定されたステレオカメラユニット１０に付帯する投光装置５０並びに、その特定カメラ認識領域を照射可能な独立投光装置５４を作動させて補助光を照射するようにしている。独立投光装置５４は視点変換画像単位に最適な位置に設置するようにすればよい。
【００５５】
このような動作をすることで、適切な位置に照明もしくはパターン投光を照射しつつ移動障害物、例えば、室内に侵入した人物などを追跡表示することが可能となる。もちろん、物体認識装置による障害物に応じた仮想視点の移動を前記車両に搭載した場合において実施することもできるし、車両搭載の実施形態の処理方法を室内の監視等に用いることもできる。
【００５６】
上述した各例において、複数のステレオカメラユニットは、二眼のみならず、一眼のステレオアダプタ形式、レール上等を移動する一眼カメラによるステレオ視をするように構成しても良い。また、それらによって、いわゆる三眼ステレオカメラを構成するように用いても、あるいは四眼ステレオカメラを構成するように用いてもよい。このように三眼あるいは四眼ステレオカメラを用いると、三次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能三次元視覚システム」等）。特に複数カメラを２方向の基線長を持つように配置すると、より複雑なシーンで三次元再構成が可能になることが知られている。また１つの基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ計測が可能となる。
【産業上の利用可能性】
【００５７】
本発明に係る画像生成方法および装置は、車両の運転席に装備した表示装置に車両外部の周辺情報をカメラ視点とは異なった仮想の視点から見た画像として表示させることができ、また安全警備のための建物や室内外の監視装置として利用することができる。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施形態に係る画像生成装置のシステムブロック図である。
【図２】ステレオカメラユニットの構成概略を示す図である。
【図３】実施形態に係る画像生成装置を車両に装備した場合の構成ブロック図である。
【図４】補助光がパターン光の場合における照射のための投光装置の概略構成を示す。
【図５】実施形態に係るパターン光を示す図である。
【図６】ステレオアダプタ型のステレオカメラユニットを用いた場合の距離画像生成のフローチャート示す図である。
【図７】実施形態に係る画像生成方法の処理フローを示す図である。
【図８】本発明の実施形態に係る画像生成装置を室内に配置したシステムブロック図である。
【図９】室内監視装置に適用した場合の画像生成装置のカメラ並びに投光装置の配置形態図であり、追尾前後の投光状態の変化を示した説明図である。
【図１０】実施形態に係る画像生成装置を室内に配置した処理フローチャートである。
【符号の説明】
【００５９】
１０………ステレオカメラユニット、１２………視点変換合成画像生成／表示装置、１４………ケーシング、１６………広角コンバータレンズ、１８………被写体、２０………撮像素子、２２………偏向プリズム、２４………結像レンズ系、２６………画像選択装置、３４………実写画像データ記憶装置、３６………空間再構成装置、３８………空間データ記憶装置、４０………視点変換装置、４２………視点変換画像データ記憶装置、４４………表示装置、５０………投光装置（補助光源）、５２………投光選択装置、６０………車両、６２………ＬＡＮ回線、６４………測距装置、６５………距離画像データ記憶装置、６６………キャリブレーション装置、６８………空間モデル生成装置、７０………キャリブレーション記憶装置、７２………空間モデル記憶装置、７４………撮像装置配置物体モデル記憶装置、７６………視点選択装置、７８………仮想視点データ記憶装置、７９………物体認識装置、８０………監視対象室、８４………光源、８６………リフレクタ、８８………コンデンサレンズ、９０………熱線カットガラス、９２………パターンフィルタ、９４………投影レンズ、９６………フィルタ切替装置、９８………赤外透過可視光カットフィルタ。
【図１】
2006054504.tif 000003
【図２】
2006054504.tif 000004
【図３】
2006054504.tif 000005
【図４】
2006054504.tif 000006
【図５】
2006054504.tif 000007
【図６】
2006054504.tif 000008
【図７】
2006054504.tif 000009
【図８】
2006054504.tif 000010
【図９】
2006054504.tif 000011
【図１０】
2006054504.tif 000012