(57)【要約】【課題】  撮像手段配置物体自体の変化を視点変換画像に反映させ、これによって監視対象の周辺状況との関係での危険性などの表示を画面に表示させ、撮像手段配置物体自体の変化に伴って表示している視点変換画像では見難くなってしまうことを防止する。  【解決手段】  撮像手段配置物体の周辺を撮像する１または複数の撮像手段によって撮影された撮影情報によって視点変換画像を生成する画像生成方法である。撮像手段配置物体モデルを前記視点変換画像に同時表示すると共に、撮像手段配置物体の可動部材の変化を検出して前記視点変換画像中の撮像手段配置物体モデルの該当部位を変形表示させる。また、撮像手段配置物体モデルを前記視点変換画像に同時表示すると共に、撮像手段配置物体の可動部材の変化量に応じて前記視点変換画像の仮想視点位置を変化させて表示させるようにする。【選択図】    図１
2006050263.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段配置物体の周辺を撮像する１または複数の撮像手段によって撮影された撮影情報によって視点変換画像を生成する画像生成方法であって、
撮像手段配置物体モデルを前記視点変換画像に同時表示すると共に、撮像手段配置物体の可動部材の変化を検出して前記視点変換画像中の撮像手段配置物体モデルの該当部位を変形表示させることを特徴とする画像生成方法。
【請求項２】
前記撮像手段配置物体モデルの変形表示に応じて、画像表示されている障害物との近接度に応じた危険情報表示の更新をなすことを特徴とする請求項１に記載の画像生成方法。
【請求項３】
前記危険情報表示は色彩表示を変化させて表示させることを特徴とする請求項１に記載の画像生成方法。
【請求項４】
前記可動部材の変化に応じて視点変換画像の仮想視点を設定変更することを特徴とする請求項１に記載の画像生成方法。
【請求項５】
撮像手段配置物体に搭載した１または複数の撮像手段から得られる画像情報に基づいて視点変換画像を生成する画像生成方法において、
撮像手段配置物体モデルを前記視点変換画像に同時表示すると共に、撮像手段配置物体の可動部材の変化量に応じて前記視点変換画像の仮想視点位置を変化させて表示させることを特徴とする画像生成方法。
【請求項６】
前記可動部材は外部に搭載される積載物を含むことを特徴とする請求項５に記載の画像生成方法。
【請求項７】
撮像手段配置物体に搭載され周囲を撮像する１または複数の撮像手段と、この撮像手段から得られる画像情報と空間モデルに基づいて、設定された仮想視点から見た視点変換画像を生成する視点変換画像生成手段と、この視点変換画像生成手段に撮像手段配置物体モデルを重畳表示する撮像手段配置物体モデル重畳手段を持つ画像生成装置において、
前記撮像手段配置物体の可動部材の変化に基づいて前記撮像手段配置物体モデルの該当部位の表示形態を変形表示させる撮像手段配置物体モデル更新手段と、を備えたことを特徴とする画像生成装置。
【請求項８】
前記視点変換画像生成手段には前記撮像手段配置物体モデル更新手段からの更新された可動部材位置と表示されている障害物との近接度に応じた危険情報表示手段を備えたことを特徴とする請求項７に記載の画像生成装置。
【請求項９】
前記撮像手段配置物体の可動部材の変化に基づいて前記視点変換画像の仮想視点を変更する視点更新手段を備えてなることを特徴とする請求項７に記載の画像生成装置。
【請求項１０】
前記撮像手段配置物体は、車両であることを特徴とする請求項７記載の画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成方法および装置に係り、特に１または複数の撮像手段で撮像した画像を元にして、前記撮像手段とは別の視点からあたかも実際に撮影したかのように視点を変更した画像として合成表示させるための技術に関する。
【背景技術】
【０００２】
一般に、監視カメラ等によって監視する場合、カメラ単位の撮像画像をモニタ上に表示するような構成が採られ、監視領域の所望の箇所に取り付けられたカメラからの撮影画像を監視室に配列された複数モニタにて表示させるようにしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。
【０００３】
しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、また、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗いため、表示画像が見にくく、監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。例えば、特許文献１に示されているように、複数のカメラ画像を１つのモニタに分割表示するものや、特許文献２に示されているように、複数のカメラを撮影画像の一部が相互に重なるように配置しておき、重なり合う部分で画像を結合して１つの画像に合成するものがある。また、特許文献３に示されているように、複数のカメラによる画像を座標変換して１枚の画像に合成し、任意の視点による合成画像を表示するようにしたものである。
【０００４】
また、特許文献３に開示されている方法では、複数のカメラによる画像のデータを、一元的に取り込み、既知情報などにより生成した３次元の空間モデルを生成し、ここに、この取得した画像データをカメラパラメータに基づいて、カメラからの入力画像を構成する各画素の情報を対応付けてマッピングを行い、空間データを作成する。このようにして、独立したすべてのカメラからの画像を１つの３次元空間内の点として対応付けた後に、現実のカメラの視点ではなく任意の仮想の視点からみた視点変換画像を生成して表示する。このような視点変換画像表示方法によれば、画像精度を低下させることなく監視領域の全体が１つの任意の視点で表示され、監視したい領域を任意の視点で確認できる利点がある。
【特許文献１】特開平０５−３１００７８号公報
【特許文献２】特開平１０−１６４５６６号公報
【特許文献３】特許３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の視点変換画像では、車両や監視対象室内など撮像手段配置物体は空間モデル化して同時表示させるようにしている。しかし、空間モデルは設定された仮想視点に対しては固定表示される構成となっているため、周辺状況の変化によって撮像手段配置物体自体の変化に伴う危険度が変化しても、それらの状況が視点変換画像に反映しないので、周辺監視のための画像生成であるにも拘わらず監視機能を果たすことができないという問題があった。また、撮像手段配置物体自体の変化によって視点変換画像の見易さが変化するが、相互に連動する関係はなかったため、オペレータによる手動作業によってのみ視点変換が可能となっていたので、表示機能性が良好ではないという問題があった。
【０００６】
本発明は、上記問題点に着目し、撮像手段配置物体自体の変化を視点変換画像に反映させ、これによって監視対象の周辺状況との関係での危険性などの表示を画面に表示させることができる画像生成方法および装置を提供することを目的とする。また、撮像手段配置物体自体の変化に伴って表示している視点変換画像では見難くなってしまうことを防止し、撮像手段配置物体自体の変化に伴って仮想視点の位置も連動させて変化させることで、常に見やすい状態での視点変換画像を表示できる画像生成方法および装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像生成方法は、撮像手段配置物体の周辺を撮像する１または複数の撮像手段によって撮影された撮影情報によって視点変換画像を生成する画像生成方法であって、撮像手段配置物体モデルを前記視点変換画像に同時表示すると共に、撮像手段配置物体の可動部材の変化を検出して前記視点変換画像中の撮像手段配置物体モデルの該当部位を変形表示させることを特徴としてなるものである。
【０００８】
この場合において、前記撮像手段配置物体モデルの変形表示に応じて画像表示されている障害物との近接度に応じた危険情報表示の更新をなすようにすることができる。前記危険情報表示は色彩表示を変化させて表示させるようにしてもよい。さらに、前記可動部材の変化に応じて視点変換画像の仮想視点を設定変更するように構成することができる。
【０００９】
また、本発明に係る画像生成方法では、撮像手段配置物体に搭載した１または複数の撮像手段から得られる画像情報に基づいて視点変換画像を生成する画像生成方法において、撮像手段配置物体モデルを前記視点変換画像に同時表示すると共に、撮像手段配置物体の可動部材の変化量に応じて前記視点変換画像の仮想視点位置を変化させて表示させる構成としてもよい。前記可動部材は外部に搭載される積載物を含んでいる。
【００１０】
本発明に係る画像生成装置は、撮像手段配置物体に搭載され周囲を撮像する１または複数の撮像手段と、この撮像手段から得られる画像情報と空間モデルに基づいて、設定された仮想視点から見た視点変換画像を生成する視点変換画像生成手段と、この視点変換画像生成手段に撮像手段配置物体モデルを重畳表示する撮像手段配置物体モデル重畳手段を持つ画像生成装置において、前記撮像手段配置物体の可動部材の変化に基づいて前記撮像手段配置物体モデルの該当部位の表示形態を変形表示させる撮像手段配置物体モデル更新手段と、を備えたことを特徴としている。
【００１１】
前記視点変換画像生成手段には前記撮像手段配置物体モデル更新手段からの更新された可動部材位置と表示されている障害物との近接度に応じた危険情報表示手段を備えた構成にできる。前記撮像手段配置物体の可動部材の変化に基づいて前記視点変換画像の仮想視点を変更する視点更新手段を備えた構成とすることが望ましい。さらに、前記撮像手段配置物体は車両として構成することができる。
【発明の効果】
【００１２】
本発明は、撮像手段配置物体モデルを前記視点変換画像に同時表示すると共に、撮像手段配置物体の可動部材の変化を検出して前記視点変換画像中の撮像手段配置物体モデルの該当部位を変形表示させ、あるいは撮像手段配置物体モデルを前記視点変換画像に同時表示すると共に、撮像手段配置物体の可動部材の変化量に応じて前記視点変換画像の仮想視点位置を変化させて表示させるようにしているので、撮像手段配置物体自体の変化が視点変換画像に反映され、これによって監視対象の周辺状況との関係での危険性などの表示を画面に表示させることができるとともに、撮像手段配置物体自体の変化に伴って仮想視点の位置も連動させて変化させることで、常に見やすい状態での視点変換画像を表示できる効果が得られる。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明に係る画像生成方法および装置の最も好ましい実施形態の具体的構成について、図面を参照しながら、詳細に説明する。
図１は実施形態に係る画像生成装置のシステム構成ブロック図であり、図２は実施形態に係る画像生成装置を車両１０に搭載して、車両運転時の補助のために周辺状況を監視できるように構成した場合の構成ブロック図である。このシステムの基本的な構成は、撮像手段としての複数のカメラ１２と、このカメラ１２によって取得した画像データを処理してカメラ視点とは異なる仮想の視点から見た合成画像として再生表示するための視点変換合成画像生成／表示装置１６から構成されている。
【００１４】
まず、図２に示すように、この実施形態では、撮像手段配置物体としての車両１０の前後部には、撮像手段としてのカメラ１２が複数装備されている。この図示の例では、車両１０の前部に前方カメラ群１２Ｆ（１２ＦＲ、１２ＦＣ、１２ＦＬ）が装備され、各カメラ１２は車両前方の右側４５度の向き、中央前方、左側４５度の向きを撮像するようにしている。また、車両の後部にも、撮像手段としての後方カメラ群１２Ｒ（１２ＲＲ、１２ＲＣ、１２ＲＬ）が装備され、同様に各カメラ１２は車両後方における右側４５度の向き、中央後方、左側４５度の向きを撮像するようにしている。
【００１５】
車両１０には、前記カメラ１２による撮影画像を、当該カメラ１２による視点とは別の任意の視点から撮影したように画像を合成する視点変換合成画像生成／表示装置１６が装備されている。この視点変換合成画像生成／表示装置１６と各カメラ１２とはＨＵＢを介してＬＡＮ回線１８により接続され、画像データをカメラバッファ装置１４経由によりパケット送信させるようにしている。これにより、設定される仮想視点ごとに一義的に決まる必要画像データをカメラバッファ装置１４から取捨選択してパケット送信により迅速に取り込み、画像合成して表示するようにしているため、画像表示速度が速くなり、合成画像の迅速な表示ができるようになっている。
【００１６】
視点変換合成画像生成／表示装置１６における基本的な処理は、各カメラ１２の視点で撮影された画像を入力し、車両などの撮像手段配置物体が置かれる三次元空間を設定し、この三次元空間を任意に設定した原点（仮想視点）によって特定し、当該特定された仮想視点から見た三次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される三次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。
【００１７】
このシステムは各カメラ１２により撮影された画像データをパケット送信するようになっており、このため、撮像手段としてのカメラ１２にカメラバッファ装置１４を付帯させておき、これに装備されているバッファメモリに一時的に撮像画像を取り込むようにしている。
【００１８】
このバッファ装置では撮影画像データ単位にＩＤを付加し、タイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませるようにしている。これによって、各カメラ１２から送られる画像データにはＩＤが付され、かつタイムスタンプ、その他の撮影情報が含まれた状態でバッファ装置から視点変換合成画像生成／表示装置１６に連続的にパケット送信されるようになっている。
【００１９】
一方、カメラ１２からの画像データを受ける視点変換合成画像生成／表示装置１６には、各カメラ１２から画像データが通信制御装置２４を介して送信されてくるが、各カメラ１２から取得すべき画像データは、設定される仮想視点によって一義的に決定するので、設定された仮想視点に対応する画像データを取得すべく画像選択装置２６を設けている。この画像選択装置２６によって任意のカメラ１２に付帯したカメラバッファ装置１４から入力してくる画像データパケットから、設定された仮想視点に対応する画像データパケットが選択され、後段での画像合成処理に利用される。
【００２０】
撮像画像はＩＤ付き画像データ単位でパケット通信によってカメラバッファ装置１４に一時的に格納されているので、ＩＤ情報を利用して同時刻の画像データを組み合わせることができる。このため、視点変換合成画像生成／表示装置１６は、複数のカメラ１２からの撮像画像をＩＤ情報に基づいて時系列に整理する画像整列装置２８と、それを時系列に記憶する実写画像データ記憶装置３０を備えている。
【００２１】
また、取得した画像データのパラメータの同期がとれていなければ合成画像は実態とかけ離れてしまう。そのため、前述したように、ＩＤにタイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませ、必要に応じて三次元空間に張り付ける画像データ相互の調整を行うようにすればよい。
【００２２】
また、当該実施形態に係るシステムを搭載した車両１０には、移動障害物までの距離を測定する測距装置４２を設けている。この測距装置４２は、本実施形態ではレーザレーダやミリ波レーダなどにより測距する構成としている。レーダによる計測は送信信号と反射信号との時間差により計測する通常システムを用いれば良い。測距装置４２により生成された距離画像データは、記憶装置４３に格納される。
【００２３】
さらに、視点変換合成画像生成／表示装置１６には、空間モデル生成装置４６が設けられている。空間モデル生成装置４６は、画像データ、測距装置４２による距離画像データ、キャリブレーションデータを用いて空間モデルを生成するようにしている。
【００２４】
キャリブレーション装置４４は３次元の実世界に配置された撮像手段についての、その３次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとして記憶装置４８に格納される。
【００２５】
したがって、前記空間モデル生成装置４６は、画像データ、距離画像データ、並びにキャリブレーションデータを用いて空間モデルを生成する。生成した空間モデルはその記憶装置５０に格納される。
【００２６】
このようにして選択的に取り込まれた画像データの各画素は、空間再構成装置３２によって、三次元空間の点に対応付けられ、空間データとして再構成される。これは、選択された画像を構成する各物体が三次元空間のどこに存在するかを計算し、計算結果としての空間データを空間データ記憶装置３４に一旦記憶するようにしている。
【００２７】
視点変換装置３６は、空間再構成装置３２によって作成された空間データを記憶装置３４から読み出し、指定された仮想視点から見た画像を再構成するのである。これは前記空間再構成装置３２にて行った処理の逆変換処理となる。これによって、新たな変換視点から見た画像が空間データ記憶装置３４から読み出されたデータによって生成され、一旦、視点変換画像データ記憶装置３８に格納した後、表示装置４０にて視点変換画像として表示されることになる。
【００２８】
この実施形態では、前記視点変換画像における仮想視点の移動に応じて必要な撮像手段からの画像データパケットがカメラバッファ装置１４から優先取得されるので、余分なデータ処理がなくなって画像合成処理速度が速くなり、即時性が要求される車両のような移動体への適用に高い効果がある。
【００２９】
ここで、本発明は、上述の視点変換装置３６を通じて視点変換画像を表示するに際して、撮像手段配置物体である車両１０のモデルを視点変換画像に同時表示すると共に、撮像手段配置物体の可動部材の変化を検出して、前記視点変換画像中の撮像手段配置物体モデルの該当部位を変形表示させるようにしている。このための処理について以下に述べる。
【００３０】
まず、図３に撮像手段配置物体（自車両）と他車両の配置状態を示す。図示のように撮像手段配置物体（自車両）８０の後方に他車両８２がある。このような位置関係における空間モデルは図４に示すようなモデルが形成される。撮像手段配置物体モデル８４を空間モデル座標系の中心に配置し、円筒状の空間モデル（背景）Ｏと平面上の空間モデル（路面）Ｐが形成され、仮想視点Ｑを撮像手段配置物体モデル８４の上部から斜め下後方向きに設定する。空間モデル（他車両）Ｒは図示のように自車両側から見て立体的に形成される。
【００３１】
撮像手段配置物体モデル８４は、あらかじめＣＡＤデータとして保持してあり、乗用車、バン、トラック等のテンプレートデータなどを任意に選択できるようになっている。
【００３２】
図３，図４などに示したような撮像手段配置物体（自車両）８０がセダン型車両の場合の撮像手段配置物体モデル例を図５に示す。図５（１）は撮像手段配置物体モデル８４の平面図、同図（２）は側面図、同図（３）は正面図を示す。図６に右前方のドアを開けた場合のモデルの変化を示す。図示のように、このモデルは自車両の車幅Ｗ、車長Ｌ、高さＨ、ドアの開閉角度、例えば右側フロントドアの場合にはθＦＤＲ（それぞれフロント：Ｆ、ドア：Ｄ、右：Ｒを示す）、ヒンジ位置ＦＤＲ（Ｘ、Ｙ）、ドア長さＬＦＤＲなどが指定できるようになっており、ドアの開閉などの変形ができるように構成されている。
【００３３】
また、図６には撮像手段配置物体座標の配置を示している。図示のように撮像手段配置物体モデル８４のフロント側面を通るＹ軸、および自車両の中心であってＹ軸と交差するようにＸ軸を設定する。この座標は、前述図４に示す空間モデル座標系と同一軸上に固定されている。これにより、この座標系を基準に空間モデルを生成することができる。また、ドアには、それぞれ開閉センサを設けておき、各ドア開閉角度θＦＤＲ、θＦＤＬ、θＲＤＲ、θＲＤＬ（それぞれＦ：フロント、Ｒ：リア、Ｄ：ドア、Ｒ：右、Ｌ：左を示す。）が計測できるように構成されている。
【００３４】
図７に撮像手段配置物体モデル編集装置の動作フロー図を示す。
（Ｓ２０２）撮像手段配置物体モデル編集装置６０は、撮像手段配置物体変形検出センサ６２が、変形を検知すると
（Ｓ２０４）撮像手段配置物体モデル変形検出センサ値の読み込みを行う。
（Ｓ２０６）撮像手段配置物体モデルが変形したか否かの選択を行う。
（Ｓ２０８）変形する撮像手段配置物体モデル。
（Ｓ２１０）撮像手段配置物体モデル記憶装置６４から、変形した撮像手段配置物体モデルを読み込む（Ｙｅｓ）。変形しない場合には検出センサの検知状態に戻る（Ｎｏ）。
（Ｓ２１２）一例として、右フロントドアが開いた場合には、ドアの回転角θＦＤＲの値に応じて、撮像手段配置物体モデルの三次元データをドア回転軸に沿って回転させ、図６に示すように変形処理を行う。
（Ｓ２１４）変形処理が終了した撮像手段配置物体モデルは、撮像手段配置物体モデル記憶装置６４に出力され記憶される。変形後の撮像手段配置物体モデルの書き込みを行う。
（Ｓ２１６）変形後の撮像手段配置物体モデル。
（Ｓ２１８）変形処理を終了するか否かを選択する。終了する場合（Ｙｅｓ）、終了しない場合には、検出センサの検知状態に戻る（Ｎｏ）。
【００３５】
この撮像手段配置物体モデルを用いて空間データを生成する。この空間データ上には自車両を示す撮像手段配置物体モデルも含まれるため、仮想視点を自車両が観測できる部分に配置すれば、撮像手段配置物体モデルが視点変換画像に表示されることになる。
【００３６】
ところで、危険領域の表示については、図８に示す危険情報表示手段となる危険度算出装置により実施する。危険度算出装置８６は、他車両などの障害物を空間データ、実写画像データ記憶装置３０の実画像データなどから認識し、その変化から、他車両の予測経路等を算出する。このようにして、算出された危険度は空間モデル上に割り振られ、危険度の高い部分に関しては、空間データ編集装置８８により、空間データの色彩の変更などを実施している。この空間データを元に、仮想視点画像を生成することにより、危険領域の表示とする。
【００３７】
次に、図９〜図１１を用いて危険領域の表示手法として、撮像手段配置物体の変形に基づいた危険領域の変形描画方法を述べる。図９に示すように、撮像手段配置物体モデル８４の最外周を結ぶ領域を最外周包含領域Ａとする。さらに、この最外周包含領域Ａを所定の量拡張した範囲を危険領域Ｂとして設定する。
【００３８】
図１１は変形描画方法を示すフロー図である。撮像手段配置物体モデル８４の形状の外周を囲む線を最外周線として算出する外周線を生成する（Ｓ３００）。最外周線を撮像装置物体の外側に所望量拡大して領域を拡張する（Ｓ３０２）。最外周線の拡張線で囲まれた領域を、危険領域空間モデルとする（Ｓ３０４）。危険領域空間モデルに包含される空間モデル上の空間データ各点の輝度、彩度、色相などの色彩情報を警告色（たとえば赤色に色相を変化させるなど）に置換する（Ｓ３０６）。空間データに警告色に変更した警告領域を生成する（Ｓ３０８）。この空間データを視点変換画像に用いることにより危険領域が、撮像手段配置物体の変形に応じた危険領域の表示を実施する。生成した危険領域の表示は図９の領域Ｂに該当する。
【００３９】
また、図１０に示すように、図示のように右側フロントドア（ＦＤＲ）を開けると、撮像手段配置物体の変形に応じて危険領域Ｂも変形する。その部分を空間モデルに設定し、視点変換画像のマッピングする画像の色彩をたとえば、赤色に変更するなどすることにより、警告表示とする。
【００４０】
さらに、前記危険情報表示は色彩表示を変化させて表示させるようにしている。図１２に示すように、前記の場合に、変形があったドアの色彩を空間データ上で変更して危険度表示としてもよい。
【００４１】
前記可動部材の変化に応じて視点変換画像の仮想視点を設定変更する。俯瞰画像に撮像手段配置物体モデル８４を表示する場合に、ドアの開閉状況など自車両の状況に応じて、撮像手段配置物体モデル８４を変形して表示するとともに、近接度に応じた色変更などの表示を変更する。また、前記空間データ編集装置８８により、編集する空間の色彩の変更において、危険度算出装置８６による危険度が高い部分を持つ場合には、色の変更の仕方を変えて表示してもよい。
【００４２】
この場合の危険度の高低は、危険領域と他車両の予測経路の近接度を用いる。予測経路に近い危険領域がより危険と判断する。
たとえば、図１３に示すように、他車両の予測経路に近い部分をより警告度の高い色彩にするように構成する。同図（Ａ）に示すように例えば警告度低を緑色、警告度中を黄色に表示し、同図（Ｂ）に示すようにドアが開放している警告度高となる周辺領域を赤色に表示する。色彩情報の書き換えは、空間データに対して、空間データ編集装置によって実施すればよい。この危険領域は、道路面の空間モデルと同一平面上に表示するようにしてもよいし、撮像手段配置物体の周囲空間に対して、三次元的に設定してもよい。
【００４３】
また、このような危険領域や近接度表示を行うときの仮想視点の設定について、サイドミラー、バックミラーなどの調節に応じて、仮想視点の設定、死角域の表示を変更する。すなわち、危険領域や近接度表示を行うときの仮想視点の設定について、撮像手段配置物体モデルの更新に応じて、たとえばサイドミラーの調整により、運転者などに表示したい死角領域が変化した場合などには、それに応じて、仮想視点編集装置９０が、仮想視点データを編集し、仮想視点設定装置９２に出力して、仮想視点記憶装置９４に書き込むことにより、画像選択装置２６や、仮想視点に対する視点変換装置３６の動作を変更させるように構成してもよい。撮像手段配置物体変形検出センサ６２として、ミラー角度センサ、サイドミラー収納センサ等を用いて、撮像手段配置物体モデルを更新するとともに、ミラーなどで運転者が監視可能な領域の変化を検知する。
【００４４】
オープントップの開閉などに応じて、仮想視点のプリセット位置を変更する。積荷の状況により仮想視点のプリセット位置を変更する。牽引トレーラの挙動により仮想視点の設定や、仮想視点画像に重畳する自車両モデルの表示を更新する。すなわち、前記実施例では、ドアの開閉センサを撮像手段配置物体変形検出センサ６２として用いたが、オープントップ車の幌の開閉センサを設け、これに応じて、撮像手段配置物体モデルを更新するようにし、かつ、このように運転者にとっての視界が、大幅に変化するとともに、配置されているカメラが幌によって遮蔽されるなどの問題が生じた場合に、撮像装置の選択ならびに仮想視点の設定が不適切になるので、撮像手段配置物体モデルの更新に応じて仮想視点編集装置９０が、仮想視点データを編集し、仮想視点記憶装置９４に書き込むことにより、画像選択装置２６や、仮想視点に対する視点変換装置３６の動作を変更させる。また、同時に、撮像手段配置物体モデル編集装置６０は、幌の開閉を検知すると、撮像手段配置物体モデル記憶装置６４から、撮像手段配置物体モデルを読み込み撮像手段配置物体モデルの三次元データに幌のモデルの変形処理を行う。変形処理が終了した撮像手段配置物体モデルは、撮像手段配置物体モデル記憶装置６４に出力され記録される。
【００４５】
また、積載物を検知する、赤外線や、超音波センサなどを撮像手段配置物体変形検出センサ６２として用いれば、荷台に積載した積載物や、牽引車両などにより、上記と同じような問題が生じた場合に対処して、仮想視点の位置を変更することができる。
【００４６】
つまり、トレーラなどの牽引時には、撮像手段配置物体モデル編集装置６０は、撮像手段配置物体変形検出センサ６２が、トレーラの牽引を検知すると、撮像手段配置物体モデル記憶装置６４から、撮像手段配置物体モデルを読み込み撮像手段配置物体モデルの三次元データにトレーラのモデルを追加して、変形処理を行う。変形処理が終了した撮像手段配置物体モデルは、撮像手段配置物体モデル記憶装置６４に出力され記録される。
【００４７】
上述したような実施形態に係る画像生成装置による処理フローを図１４に示す。視点変換画像の生成方法は、まず（Ｓ１００）表示する任意の仮想視点を仮想視点設定装置９２で選択する。
（Ｓ１０２）複数のカメラ１２による撮像を選択する。
（Ｓ１０４）選択したカメラ１２による撮像を行なう。
（Ｓ１０６）あらかじめキャリブレーション装置４４によってステレオマッチングに用いるキャリブレーションを実施し、選択したカメラ１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成して選択する。
（Ｓ１０８）得られたキャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを基に距離を算出し、得られた距離データを距離画像データとする。
（Ｓ１１０）空間モデル更新手段となる空間再構成装置３２には、カメラ１２による画像情報と、測拒装置４２による距離画像データと、撮像手段配置物体モデルが入力される。これらを所望の距離で選択的に用いることにより、より詳細な空間モデルが生成される。
（Ｓ１１２）この空間モデルに対応する実写画像データをキャリブレーションデータに従って撮像手段からの入力画像を３次元空間の空間モデルにマッピングする。テクスチャマッピングがなされた空間データが生成される。
（Ｓ１１４）空間再構成装置３２によって作成された空間データを参照して、所望の仮想視点から見た視点変換画像を視点変換装置３６で生成する。
（Ｓ１１６）生成した視点変換画像データを表示装置４０で表示する。
【００４８】
この過程での仮想視点合成画像の生成において、撮像手段配置物体の可動部材の変化を検出して前記視点変換画像中の撮像手段配置物体モデルの該当部位を変形表示させ、あるいは、撮像手段配置物体モデルを前記視点変換画像に同時表示すると共に、撮像手段配置物体の可動部材の変化量に応じて前記視点変換画像の仮想視点位置を変化させて表示させるのである。
【００４９】
なお、上記実施形態では、画像生成システムを車両に搭載して利用する場合について説明したが、建屋屋内の監視システムに適用して、監視対象室内におけるドアの開閉状態のチェックや、家電品や家具の扉の状態などの変化表示と、変化に応じた視点変換処理を行わせることもできる。
【００５０】
図１５は撮像手段配置物体が部屋１２０そのものと家具１２２、移動物体が人物１２４に相当する場合を示している。同図（１）は家具の扉１２２ａならびに部屋のドア１２０ａが開いている状態で、危険領域Ｆがそれに応じて広くなっており、同図（２）は家具の扉１２２ａならびに部屋のドア１２０ａが閉じている状態で、危険領域Ｆが狭くなっている。これは機器構成としては、車両に搭載した前述の実施例とまったく同一である。
【００５１】
このように撮像手段配置物体を部屋のインテリアに組み込んだ構成とすることにより、違和感のない生活空間を形成しつつ、監視することができるメリットが得られる。また、危険度を仮想視点画像の色変化で表示するだけでなく、空間データから危険領域に人物が接近した場合、人物にスピーカなどの音声信号、振動子によるバイブレーションなどで知らせるなどすることにより、視覚に加え他の感覚器官でも危険度を知らせることができる。ステレオ音声や、複数の振動子の切り替えで、人物に対して危険度の高い領域の方向を認知できるよう構成するとなお良い。
【００５２】
上述した実施形態ではカメラ１２などの撮像手段を設置する対象物は車両１０や監視室の例を示したが、それ以外にも、撮像装置配置物体として、例えば、歩行者、街路、店舗や住居、オフィスなどの屋内外などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適用が可能となる。
【産業上の利用可能性】
【００５３】
本発明に係る画像生成方法および装置は、車両の運転席に装備した表示装置に車両外部の周辺情報をカメラ視点とは異なった仮想の視点から見た画像として表示させることができ、また安全警備のための建物や室内外の監視装置として利用することができる。
【図面の簡単な説明】
【００５４】
【図１】実施形態に係る画像生成装置のシステムブロック図である。
【図２】実施形態に係る画像生成装置を車両に装備した構成ブロック図である。
【図３】撮像手段配置物体（自車両）と他車両の配置状態を示す図である。
【図４】撮像手段配置物体の空間モデルを示す図である。
【図５】撮像手段配置物体モデルが車両の場合の例を示す図である。
【図６】自車両の右前方のドアを開けた場合のモデルの変化を示す図である。
【図７】撮像手段配置物体モデル編集装置の動作フロー図を示す図である。
【図８】危険度算出装置の構成ブロック図を示す。
【図９】撮像手段配置物体の変形に基づいた危険領域を示す説明図である。
【図１０】撮像手段配置物体の変形に基づいた危険領域を示す説明図である。
【図１１】変形描画方法を示すフロー図である
【図１２】撮像手段配置物体の危険度表示を示す説明図である
【図１３】撮像手段配置物体の危険度色彩表示を示す説明図である
【図１４】実施形態に係る画像生成装置の処理フローチャートである。
【図１５】室内監視装置に適用した場合の画像生成装置による可動部材の開閉前後の変化と危険領域表示例の説明図である。
【符号の説明】
【００５５】
１０………車両、１２………カメラ、１２Ｆ………前方カメラ群、１２Ｒ………後方カメラ群、１４………カメラバッファ装置、１６………視点変換合成画像生成／表示装置、１８………ＬＡＮ回線、２４………通信制御装置、２６………画像選択装置、２８………画像整列装置、３０………実写画像データ記憶装置、３２………空間再構成装置、３４………空間データ記憶装置、３６………視点変換装置、３８………視点変換画像データ記憶装置、４０………表示装置、４２………測距装置、４４………キャリブレーション装置、４６………空間モデル生成装置、４８………キャリブレーションデータ記憶装置、５０………空間モデル記憶装置、６０………撮像手段配置物体モデル編集装置、６２………撮像手段配置物体変形検出センサ、６４………撮像手段配置物体モデル記憶装置、８０………撮像手段配置物体、８２………他車両、８４………撮像手段配置物体モデル、８６………危険度算出装置、８８………空間データ編集装置、９０………仮想視点編集装置、９２………仮想視点設定装置、９４………仮想視点記憶装置。
【図１】
2006050263.tif 000003
【図２】
2006050263.tif 000004
【図３】
2006050263.tif 000005
【図４】
2006050263.tif 000006
【図５】
2006050263.tif 000007
【図６】
2006050263.tif 000008
【図７】
2006050263.tif 000009
【図８】
2006050263.tif 000010
【図９】
2006050263.tif 000011
【図１０】
2006050263.tif 000012
【図１１】
2006050263.tif 000013
【図１２】
2006050263.tif 000014
【図１３】
2006050263.tif 000015
【図１４】
2006050263.tif 000016
【図１５】
2006050263.tif 000017