【手続補正書】
【提出日】平成16年6月4日(2004.6.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項２０
【補正方法】変更
【補正の内容】
【請求項２０】
車両の運転支援用の表示画像を作成するためのプログラムであって、
車両に設置されたカメラから、当該車両の周辺画像を取得する撮像画像取得ステップと、
前記撮像画像取得ステップにおいて取得した画像に基づいて、車両周辺の立体物の存在領域を検出する立体物検出ステップと、
前記立体物検出ステップにおいて検出した立体物を路面に投影したときの領域を抽出する領域抽出ステップと、
前記領域抽出ステップにおいて抽出した領域に基づいて、路面上に投影した立体物の存在領域を示すＣＧ画像を作成するＣＧ画像作成ステップと、
前記撮像画像取得ステップにおいて取得した画像を路面上に投影し、投影して得る画像に前記ＣＧ画像作成ステップにおいて作成したＣＧ画像を重ね、表示すべき合成画像を作成する画像合成ステップとを備える、プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
車速センサ１０２は、描画装置１００が装備されている車両の車輪速度を逐次計測し、計測した速度を障害物検出部１０４に送る。操舵角センサ１０３は、描画装置１００が装備されている車両のハンドル操舵角を逐次計測し、計測したハンドル操舵角を障害物検出部１０４に送る。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
図３は、標準マッピングテーブル１０８１の一例を示す図である。標準マッピングテーブル１０８１では、合成画像の全ての座標（ｉ，ｊ）の画素値がどのように決定されるかが示されている。具体的には、任意の座標（ｉ，ｊ）に対して、カメラ番号と対応させてＸ座標、Ｙ座標および必要度が設定されている。ここで、Ｘ座標およびＹ座標とは、対応するカメラが撮像した画像における座標のことである。必要度とは、Ｘ座標、Ｙ座標に対応する画素値をどの程度利用するかを示す係数である。たとえば、図３において、合成画像の座標（ｉ１，ｊ１）の画素値は、カメラ１０（＃１）で撮像された画像の座標（１２，４５）の画素値を必要度“１”で変換したものとなる。必要度が“１”であるとは、すなわち、撮像画像の画素値をそのままコピーして使うことである。また、合成画像の座標（ｉ２，ｊ２）の画素値は、カメラ１０（＃１）で撮像された画像の座標（１０，１０）の画素値に必要度“０．３”をかけた数値と、カメラ１０（＃２）で撮像された画像の座標（５６，８０）の画素値に必要度“０．５”をかけた数値との和を、それぞれの必要度の和、この場合は０．８で割った値となる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
修正マッピングテーブル１０８２は、標準マッピングテーブル１０８１の内容を修正したテーブルである。マッピングテーブル修正部１０８は、面モデル抽出部１０５から送られてくる面領域のデータをもとに、標準マッピングテーブル１０８１を修正し、修正マッピングテーブル１０８２を作成する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
図４は、標準マッピングテーブル１０８１および修正マッピングテーブル１０８２を直感的に理解するための図である。図４（ａ）は、標準マッピングテーブル１０８１を直感的に理解するための図である。図４（ａ）において、カメラ１０（＃１）で撮像された画像ｇｂの各座標の画素は、標準マッピングテーブル１０８１によって、対応する合成画像ｇａの座標の画素となる。画像ｇｂの画素は、画像ｇａの点線の枠内の画素となる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
カメラ１０（＃１）で撮像された画像ｇｂには、路面上の長方形（たとえば、駐車枠を示す白線）が撮像されているとする。画像ｇｂはカメラ１０（＃１）を視点として撮像されているので、路面上の長方形は、歪んだ菱形となる。標準マッピングテーブル１０８１には、カメラ１０によって撮像された画像がすべて路面上に存在するという想定の下で、カメラ１０の撮像画像を車両上方部から見た画像に加工合成するための変換が定義されている。したがって、カメラ１０（＃１）で撮像された路面上に存在する長方形（画像ｇｂの歪んだ菱形）は、標準マッピングテーブル１０８１での変換によって、合成画像ｇａにおいて、歪むことのない長方形となる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
図４（ｂ）は、修正マッピングテーブル１０８２を直感的に理解するための図である。従来技術で説明したように、標準マッピングテーブル１０８１を用いて、路面よりも上部に存在する障害物を撮像した画像を加工合成した場合、歪んだ画像となり、正確に画像を加工合成することができない。路面から離れれば離れるほど大きく歪んだ画像となる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
修正マッピングテーブル１０８２には、路面よりも上にある物体を圧縮して投影して合成画像を作成するための変換が定義されている。図４（ｂ）において、カメラ１０（＃１）で撮像された画像ｇｂｓには、障害物として一本の柱が撮像されている。修正マッピングテーブル１０８２に定義されている変換によって、画像ｇｂｓに撮像されている柱の一面ＡおよびＢが圧縮されて合成画像ｇａｓに描かれる。カメラ１０からは見ることのできない画像ｇｂｓに写っている柱の向こうについては、データがないものとして扱われ、合成画像ｇａｓにおいて、真っ黒な画像となっている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
図５は、第１の実施形態に係る描画装置１００が合成画像を作成するまでの撮像画像の加工の様子を直感的に理解するための図である。
図５（ａ）は、撮像部１０１のカメラ１０（＃１）によって取り込まれる画像の一例を示す図である。図５（ａ）には、白線の駐車枠内に一台の乗用車が駐車されている様子が写っている。図５（ａ）の画像の下部に写っている部分Ｊｓｈは、カメラ１０（＃１）が取り付けられている自車両である。描画装置１００は、図５（ａ）に示した撮像画像から、駐車されている乗用車がすっぽり覆い隠れ、カメラ１０（＃１）から見えなくなるような平面の領域（駐車されている乗用車の存在領域を近似するような平面の領域）を決定する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
次に、描画装置１００は、標準マッピングテーブル１０８１を参照して、点Ｂに対応する（ｉ，ｊ）の画像データ上のＸ座標、Ｙ座標を抽出する（ステップＳ８０４）。次に、描画装置１００は、圧縮率γによる変換によって得た点Ｃに対応する修正マッピングテーブル１０８２上の（ｉ＾，ｊ＾）のＸ座標、Ｙ座標をステップＳ８０４で得た点Ｂの画像データ上のＸ座標、Ｙ座標とする（ステップＳ８０５）。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
次に、描画装置１００は、カメラ位置と区間上の点Ａとを結ぶ直線上であって、区間を挟んでカメラ位置と反対側に存在し、点Ｃとして表されることのない直線Ｌｃ上の点に関する修正マッピングテーブル１０８２上の（ｉ＾，ｊ＾）をデータがないものとする（ステップＳ８０６）。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１１１
【補正方法】変更
【補正の内容】
【０１１１】
次に、描画装置１００は、ステップＳ８０５およびＳ８０６で求めた（ｉ＾，ｊ＾）以外の（ｉ＾，ｊ＾）を対応する標準マッピングテーブル１０８１の（ｉ，ｊ）をコピーすることによって、修正マッピングテーブル１０８２を作成し（ステップＳ８０７）、処理を終了する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
また、描画装置１００は、修正マッピングテーブル１０８２を作成して、障害物の画像を３次元投影面に変換するので、膨大な計算を行う必要がなく、合成画像のゆがみを低減することが可能となる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【０１２５】
このように、第２の実施形態に係る描画装置２００は、修正マッピングテーブル１０８２で撮像データが存在しないとして扱われた領域にＣＧデータを貼り付けることによって、すっきりとした見やすい画像を提供することが可能となる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１３３
【補正方法】変更
【補正の内容】
【０１３３】
図２４は、描画装置３００が表示する合成画像の他の一例を示した図である。図２４では、図２３（ｂ）で示した補助線Ｈｌｉに加え、図２３（ａ）で大きく歪んだ障害物の画像を覆い隠すようなＣＧ画像Ｈｓｕが貼り付けられている。これにより、ユーザは、さらに障害物の存在領域をはっきりと認識することが可能となる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１５１
【補正方法】変更
【補正の内容】
【０１５１】
図２８は、描画装置４００が作成する合成画像の一例を示す図である。図２８で示すように、描画装置４００は、モデルサイズ変更部４０３で作成された車両領域を示すＣＧ画像Ｓｕおよび車両モデル図Ｓｍｄと、自車両モデル図Ｊｓｈとを、標準マッピングテーブル１０８１に基づいて合成した画像に貼り付けて、最終的な合成画像を作成する。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
標準マッピングテーブル１０８１の一例を示す図である。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
標準マッピングテーブル１０８１および修正マッピングテーブル１０８２を直感的に理解するための図である。