(57)【要約】【課題】自車両の周辺物体の形状を容易に把握することを可能とする画像処理装置、画像処理方法、及び、プログラムを提供する。【解決手段】車両に搭載されているカメラにより撮像された画像と、車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置であって、車両座標系で定義されている複数のグリット面と周辺物体との交線を算出する交線算出部４７と、交線算出部４７により算出された交線を仮想的な３次元空間内に配置されている対応する周辺物体上に描画する画像処理部４８と、を備えている。【選択図】図１７
2015075966.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置であって、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面と前記周辺物体との交差断面の外郭線を算出する外郭線算出手段と、
前記外郭線算出手段により算出された前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する画像処理手段と、
を備え、
前記複数のグリット面は、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている、
ことを特徴とする画像処理装置。
【請求項２】
前記周辺物体上の計測点までの距離に基づいて、前記周辺物体の形状を特定する形状特定手段をさらに備え、
前記外郭線算出手段は、前記形状特定手段により特定された前記形状に基づいて、前記外郭線を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記形状特定手段は、前記周辺物体の形状を特定する際に、前記距離センサの方向に対する、隣接する前記計測点により構成される図形の面法線の傾きが所定の範囲を超える図形を除外する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記計測点の内で、道路平面上の計測点を除外する除外手段を更に備え、
前記形状特定手段は、前記除外手段により道路平面上の計測点が除外された後の計測点に基づいて、前記周辺物体の形状を特定する、
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記複数のグリット面は、世界座標系で定義され、前記世界座標系のＸ軸に対して垂直な平面と、前記世界座標系のＹ軸に対して垂直な平面と、前記世界座標系のＺ軸に対して垂直な平面と、により構成されており、
前記外郭線算出手段は、前記世界座標系で定義されている複数のグリット面と前記周辺物体との交差断面の外郭線を算出する、
ことを特徴とする請求項１乃至４のいずれか一に記載の画像処理装置。
【請求項６】
前記画像処理手段は、前記車両からの距離に応じて、前記外郭線の属性を変化させて描画する、
ことを特徴とする請求項１乃至５のいずれか一に記載の画像処理装置。
【請求項７】
前記Ｘ軸に垂直な平面は第１の間隔で均等に配置され、前記Ｙ軸に垂直な平面は第２の間隔で均等に配置され、前記Ｚ軸に垂直な平面は第３の間隔で均等に配置されている、
ことを特徴とする請求項１乃至６のいずれか一に記載の画像処理装置。
【請求項８】
前記画像処理手段は、前記周辺物体をテクスチャ付き描画した後に、前記外郭線を重畳描画する、
ことを特徴とする請求項１乃至７のいずれか一に記載の画像処理装置。
【請求項９】
前記画像処理手段による処理結果を表示画面上に表示する表示手段を更に備える、
ことを特徴とする請求項１乃至８のいずれか一に記載の画像処理装置。
【請求項１０】
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置の画像処理方法であって、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面であって、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている前記複数のグリット面と前記周辺物体との交差断面の外郭線を算出し、
算出した前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する、
ことを特徴とする画像処理方法。
【請求項１１】
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置のコンピュータに、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面であって、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている前記複数のグリット面と前記周辺物体との交差断面の外郭線を算出し、
算出した前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する、
処理を実行させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
車両に配置されている複数のカメラで撮像した画像を合成し、車両周辺の全周囲画像を作成する方法が各種提案されている（例えば、特許文献１）。
【０００３】
この場合、路面付近については少ない歪みで表示することができるが、路面から離れるにつれて周辺物体は歪んでしまい、距離感が損なわれてしまう。この原因は、道路平面（又は、道路平面と背景）を模した立体投影面上に、周辺物体の映像を射影して表示することにある。
【０００４】
この問題は、車両に配置されている距離センサで周辺物体までの距離を計測し、計測結果に基づいて物体形状を模した投影面を正しい位置に作成し、物体形状を模した投影面に周辺物体の映像を投影することで解決することが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−９９９７２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、全周囲画像上では背景と周辺物体との境界は、投影した被写体の画素値（色）によって把握することになるため、被写体の輝度が低い場合や前後関係にある周辺物体の画素値が似通っている場合などには、運転手は周辺物体の形状認識や距離感の把握が困難になるといった問題が生じてしまう。
【０００７】
一つの側面では、本発明は、自車両の周辺物体の形状を容易に把握することを可能とする画像処理装置、画像処理方法、及び、プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
一態様に係る画像処理装置は、車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置であって、前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面と前記周辺物体との交差断面の外郭線を算出する外郭線算出手段と、前記外郭線算出手段により算出された前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する画像処理手段と、を備え、前記複数のグリット面は、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている、ことを特徴とする。
【発明の効果】
【０００９】
周辺物体の形状の把握が容易となり、運転手は車両周辺の状況を的確に把握することが可能となる。これにより、安全運転に寄与できる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１における車載システムの構成例を示す図である。
【図２】（Ａ）と（Ｂ）は、いずれも、車両座標系を説明するための図である。
【図３】カメラとレンジセンサの配置例を示す図である。
【図４】カメラ座標系を説明するための図である。
【図５】図５Ａ〜Ｅは、いずれも、カメラの配置パラメータについて説明するための図である。
【図６】可視化のための立体投影面の例を示す図である。
【図７】立体投影面における車両座標系とカメラ座標系との関係を示す図である。
【図８】（Ａ）と（Ｂ）は、いずれも、カメラ座標系での入射光ベクトルとカメラ画像上の画素位置との関係を説明するための図である。
【図９】立体投影面を構成する３次元ポリゴンをテクスチャ付き描画して可視化した結果の例を示す図である。
【図１０】レンジセンサ座標系を説明するための図である。
【図１１】実施形態１における立体点群データの抽出方法を説明するための図である。
【図１２】３次元ポリゴンにより構成されている計測物体の形状を模した物体投影面の例を示す図である。
【図１３】ポリゴンデータとして登録されるための条件を説明するための図である。
【図１４】実施形態１における車両座標系でのグリット面（Ｙ軸、Ｚ軸）の例を示す図である。
【図１５】Ｚ軸グリット面を例にしたグリット面との交線の算出方法を説明するための図である。
【図１６】実施形態１における画像処理の結果の例を示す図である。
【図１７】実施形態１における車載装置の構成例を示す機能ブロック図である。
【図１８】実施形態１における画像処理のフローを説明するためのフローチャートの例である。
【図１９】実施形態２における車載システムの構成例を示す機能ブロック図である。
【図２０】実施形態２における画像処理のフローを説明するためのフローチャートの例の一部である。
【図２１】実施形態３における車載システムの構成例を示す機能ブロック図である。
【図２２】実施形態３における画像処理のフローを説明するためのフローチャートの例の一部である。
【図２３】実施形態における車載システムのハードウェア構成の例を示す図である。
【発明を実施するための形態】
【００１１】
以下に本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１２】
（実施形態１）
図１は、本実施形態１における車載システム１の構成例を示す図である。車載システム１は、図１に示すように、画像処理装置である車載装置２と、複数のカメラ３と、複数のレンジセンサ４と、を備えて構成されている。車載装置２には、図１に示すように、複数のカメラ３と、複数のレンジセンサ４と、が接続されている。
【００１３】
カメラ３は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＭＯＳ（Metal-Oxide Semiconductor）などの撮像素子などで構成され、例えば、３０ｆｐｓ（frame per second）の頻度で車両周辺を撮像し、撮像した画像を後述の画像バッファ１１に順次格納する。
【００１４】
レンジセンサ４は、例えば、スキャナ式の測域センサであり、３次元空間を２次元スキャンするレーザーレーダである。レンジセンサ４は、レーザー光を間欠的に発光させ、計測対象の物体からの反射光が戻ってくるまでのレーザー光の飛行時間（ＴＯＦ：Time Of Flight）を距離Ｄ（ｍ，ｎ）に変換する。レンジセンサ４は、例えば、１０〜３０ｆｐｓの頻度で車両周辺の物体上の計測点までの距離Ｄ（ｍ，ｎ）を計測し、計測した距離Ｄ（ｍ，ｎ）を車載装置２に送信する。この際、距離Ｄ（ｍ，ｎ）と共に、スキャン方向を示す方向情報が送信される。
【００１５】
車載装置２の詳細については後述するものとし、本実施形態１におけるアルゴリズムについて、流れに沿って説明する。
【００１６】
まず、図２乃至５を参照して、車両座標系ＣＣＡＲとカメラ座標系ＣＣＡＭについて説明する。
【００１７】
図２Ａと図２Ｂは、いずれも、車両座標系ＣＣＡＲを説明するための図である。車両座標系ＣＣＡＲは、車両を基準として周辺物体の位置を座標で表した、車両固有の座標系であり、車両が移動することで、周辺物体の位置座標は変化する。車両座標系ＣＣＡＲを、どのように設定するかは任意であるが、本実施形態１においては、図２に示すように、平面図における車両の中心であり路面上の点を原点Ｏ、車両の前後方向をＹ軸（前方方向をプラス）、車両の左右方向をＸ軸（右方向をプラス）、車両の垂直方向をＺ軸（上方向をプラス）とする。
【００１８】
図３は、車載装置２に接続されているカメラ３とレンジセンサ４の配置例を示す図である。図３に示す配置例では、車両前方を撮像範囲とするカメラ３Ｆが車両のフロント部に、車両後方を撮像範囲とするカメラ３Ｂが車両のリア部に、車両右側を撮像範囲とするカメラ３Ｒと車両左側を撮像範囲とするカメラ３Ｌが左右のドアミラー周辺部に、それぞれ、配置され、これらの４台のカメラ３により車両の全周囲を撮像可能となっている。同様に、車両前方をスキャン範囲とするレンジセンサ４Ｆが車両のフロント部に、車両後方をスキャン範囲とするレンジセンサ４Ｂが車両のリア部に、車両右側をスキャン範囲とするレンジセンサ４Ｒと車両左側をスキャン範囲とするレンジセンサ４Ｌが左右のドアミラー周辺部に、それぞれ、配置され、これらの４台のレンジセンサ４により車両の全周囲をスキャン可能となっている。
【００１９】
図４は、カメラ座標系ＣＣＡＭを説明するための図である。カメラ座標系ＣＣＡＭは、カメラ３を基準として被写体となる周辺物体の位置を座標で表した、カメラ３固有の座標系である。カメラ座標系ＣＣＡＭを、どのように設定するかは任意であるが、本実施形態１においては、図４に示すように、カメラ３の光学原点を原点Ｏ、光軸に対して水平方向に直交する方向をＸ軸（光軸方向に対して右方向をプラス）、光軸に対して垂直方向に直交する方向をＹ軸（上方向をプラス）、光軸をＺ軸（光軸方向とは逆方向をプラス）とする。視体積３１は、カメラ３の撮像範囲を示している。
【００２０】
図５Ａ〜Ｅは、いずれも、カメラ３の配置パラメータについて説明するための図である。カメラ３の配置パラメータは、少なくとも、車両座標系ＣＣＡＲにおけるカメラ３の配置位置を表す３次元座標（Ｔｘ，Ｔｙ，Ｔｚ）と配置角度（Ｐａｎ，Ｔｉｌｔ，Ｒｏｔａｔｅ）とを含んでおり、この配置パラメータに基づいて、カメラ３の配置位置を一意的に定義することが可能である。
【００２１】
配置パラメータのＲｏｔａｔｅは、図５Ａに示すように、車両座標系ＣＣＡＲとカメラ座標系ＣＣＡＭとが一致する状態をカメラ配置の初期状態とし、図５Ｂに示すように、カメラ３が角度Ｒｏｔａｔｅだけ光軸（Ｚ軸）回りで回転させられていることを示している（ＲｏｔＺ（Ｒｏｔａｔｅ））。また、配置パラメータのＴｉｌｔは、図５Ｃに示すように、カメラ３が角度（π／２−Ｔｉｌｔ）だけＸ軸回りで回転させられていることを示している（ＲｏｔＸ（π／２−Ｔｉｌｔ））。すなわち、この変換により、水平方向で０、見下ろす方向でプラスとなるように定義されている俯角（Ｔｉｌｔ）は、真下方向からの仰角に変換される。
【００２２】
また、配置パラメータのＰａｎは、図５Ｄに示すように、カメラ３が角度ＰａｎだけＺ軸回りで左又は右に振られていることを示している（ＲｏｔＺ（Ｐａｎ））。また、配置パラメータの３次元座標（Ｔｘ，Ｔｙ，Ｔｚ）は、図５Ｅに示すように、配置角度（Ｐａｎ，Ｔｉｌｔ，Ｒｏｔａｔｅ）に従ってカメラ３の配置角度を調整した後に、カメラ３を３次元座標（Ｔｘ，Ｔｙ，Ｔｚ）に平行移動することで（Ｔｒａｎｓｌａｔｅ（Ｔｘ，Ｔｙ，Ｔｚ））、カメラ３の配置状態となることを示している。
【００２３】
配置パラメータは、カメラ３の配置位置を一意的に定義するものであると同時に、車両座標系ＣＣＡＲとカメラ座標系ＣＣＡＭとの間の座標変換を定義するものでもある。図５Ａ〜Ｅの関係より、車両座標系ＣＣＡＲからカメラ座標系ＣＣＡＭへの座標変換行列ＭＣＡＲ→ＣＡＭを式（１）で表すことができる。
【００２４】
【数１】
2015075966.tif 000003
【００２５】
ここで、ｃｐ＝ｃｏｓ（Ｐａｎ）、ｓｐ＝ｓｉｎ（Ｐａｎ）、ｃｔ＝ｃｏｓ（Ｔｉｌｔ）、ｓｔ＝ｓｉｎ（Ｔｉｌｔ）、ｃｒ＝ｃｏｓ（Ｒｏｔａｔｅ）、ｓｒ＝ｓｉｎ（Ｒｏｔａｔｅ）とした場合、
Ｍ１１＝ｃｒ×ｃｐ−ｓｒ×ｓｔ×ｓｐ
Ｍ１２＝ｃｒ×ｓｐ＋ｓｒ×ｓｔ×ｃｐ
Ｍ１３＝ｓｒ×ｃｔ
Ｍ２１＝−ｓｒ×ｃｐ−ｃｒ×ｓｔ×ｓｐ
Ｍ２２＝−ｓｒ×ｓｐ＋ｃｒ×ｓｔ×ｃｐ
Ｍ２３＝ｃｒ×ｃｔ
Ｍ３１＝ｃｔ×ｓｐ
Ｍ３２＝−ｃｔ×ｃｐ
Ｍ３３＝ｓｔ
である。
【００２６】
次に、図６乃至図９を参照して、カメラ３により撮像された画像に基づく、自車両全周囲の状況の可視化方法について説明する。
【００２７】
図６は、可視化のための立体投影面の例を示す図である。カメラ３により撮像された画像に基づいて、自車両全周囲の状況を可視化するために、図６に例示するような、自車両周辺の道路平面や周辺物体などを模した仮想的な立体投影面を設定する。本実施形態１における立体投影面は、図６に示すように、３次元ポリゴン（投影面ポリゴンともいう）Ｐである微小平面によって構成されている。
【００２８】
そして、設定した立体投影面に、カメラ３により撮像された画像を投影し、任意の可視化視点から描画することで自車両全周囲の状況を可視化する。
【００２９】
立体投影面へのカメラ画像の投影は、立体投影面を構成する３次元ポリゴンＰの各頂点（以下、ポリゴン頂点という）に対して、対応するカメラ画像上の画素位置をテクスチャ座標Ｑとして定義することに相当する。
【００３０】
図７は、立体投影面における車両座標系ＣＣＡＲとカメラ座標系ＣＣＡＭとの関係を示す図である。図中のＣＶは、ポリゴン頂点の車両座標系ＣＣＡＲでの座標を示しており、車両座標系ＣＣＡＲでのポリゴン頂点座標ＣＶは、上述の式（１）に従って、カメラ座標系ＣＣＡＭでのポリゴン頂点座標ＣＣに変換することができる。
【００３１】
【数２】
2015075966.tif 000004
【００３２】
図８Ａと図８Ｂは、いずれも、カメラ座標系ＣＣＡＭでの入射光ベクトルＩＣとカメラ画像上の画素位置との関係を説明するための図である。図８Ａの図中のＩＣは、カメラ座標系ＣＣＡＭでのポリゴン頂点座標ＣＣからカメラ３の光学原点への入射光ベクトルを示しており、カメラ座標系ＣＣＡＭでの光学原点は原点Ｏと一致していることから、入射光ベクトルＩＣは、式（３）のように表すことができる。
【００３３】
【数３】
2015075966.tif 000005
【００３４】
したがって、ポリゴン頂点に対応するカメラ画像上の画素位置の座標（テクスチャ座標）Ｑは、入射光ベクトルＩＣを用いて、式（４）のように表すことができる。
【００３５】
【数４】
2015075966.tif 000006
【００３６】
ここで、式（４）中のＴＣは、各ポリゴン頂点に対応する入射光ベクトルＩＣとカメラ画像上の画素位置とを１対１で対応付けるマッピングテーブルであり、マッピングテーブルＴＣは、レンズの歪みを示すデータとカメラパラメータとに基づいて、予め設定可能である。
【００３７】
以上のようにして、立体投影面を構成する全ての３次元ポリゴンＰのポリゴン頂点に対して、対応する画素位置の座標（テクスチャ座標）Ｑを算出した後に、カメラ画像をテクスチャ画像として可視化する。この可視化は、図９に例示するように、例えば、３次元ＣＧ（Computer Graphics）処理により実現することができる。なお、図９は、立体投影面を構成する３次元ポリゴンＰをテクスチャ付き描画して可視化した結果の例を示す図である。
【００３８】
次に、図１０を参照して、レンジセンサ座標系ＣＳＮＳＲについて説明する。図１０は、レンジセンサ座標系ＣＳＮＳＲを説明するための図である。
【００３９】
レンジセンサ座標系ＣＳＮＳＲは、レンジセンサ４を基準としてスキャン対象となる周辺物体の位置を座標で表した、レンジセンサ４固有の座標系である。レンジセンサ座標系ＣＳＮＳＲを、どのように設定するかは任意であるが、本実施形態１においては、図１０に示すように、レンジセンサ４のセンサ原点を原点Ｏ、レンジセンサ４の前後方向をＺ軸（後方向をプラス）、Ｚ軸に対して水平方向に直交する方向をＸ軸（レンジセンサ４の前方向に対して右方向をプラス）、Ｚ軸に対して垂直方向に直交する方向をＹ軸（上方向をプラス）とする。
【００４０】
図１０の図中の矢印は、スキャンの順番を示しており、図１０の例では、水平方向については、センサ原点から見て左側から右側へ順番にＭ回スキャンし、垂直方向については、スキャン範囲の上端から下端へ順番にＮ回スキャン角度を変更する場合を示している。すなわち、図１０の例では、レンジセンサ４は、スキャン範囲に対して、Ｍ×Ｎの距離計測を行っている。
【００４１】
ここで、（ｍ，ｎ）番目の距離計測時におけるスキャン方向（レーザー光の照射方向）を表す単位ベクトルを、スキャンベクトルＶＳ（ｍ，ｎ）とする。この場合、スキャンベクトルＶＳ（ｍ，ｎ）とスキャンベクトルＶＳ（ｍ，ｎ）の方向の物体上の計測点までの距離Ｄ（ｍ，ｎ）とを用いて、レンジセンサ座標系ＣＳＮＳＲでの計測点の座標（以下、計測点座標という）ＰＳＮＳＲ（ｍ，ｎ）は、式（５）のように表すことができる。なお、各スキャン方向に対応するＭ×Ｎ個のスキャンベクトルＶＳ（ｍ，ｎ）は、レンジセンサ４固有のテーブル（以下、スキャンベクトルテーブルＴＳという）として予め設定可能である。
【００４２】
【数５】
2015075966.tif 000007
【００４３】
ここで、カメラ３と同様に、レンジセンサ４の配置パラメータが、車両座標系ＣＣＡＲにおけるレンジセンサ４の配置位置を表す３次元座標（Ｔｘ，Ｔｙ，Ｔｚ）と配置角度（Ｐａｎ，Ｔｉｌｔ，Ｒｏｔａｔｅ）であるとすると、車両座標系ＣＣＡＲからレンジセンサ座標系ＣＳＮＳＲへの座標変換行列ＭＣＡＲ→ＳＮＳＲは、式（６）のように表すことができる。
【００４４】
【数６】
2015075966.tif 000008
【００４５】
したがって、レンジセンサ座標系ＣＳＮＳＲでの計測点座標ＰＳＮＳＲ（ｍ，ｎ）を、式（７）に従って、車両座標系ＣＣＡＲでの計測点座標ＰＣＡＲ（ｍ，ｎ）に変換することができる。
【００４６】
【数７】
2015075966.tif 000009
【００４７】
次に、このようにして車両座標系ＣＣＡＲの座標に変換した計測点座標ＰＣＡＲ（ｍ，ｎ）を、図１１に例示するように、道路平面上の計測点に対応する座標の集合（以下、道路平面点群データという）ＰＧ１と、それ以外の計測点に対応する座標の集合（以下、立体点群データという）ＰＧ２と、に分類し、道路平面点群データＰＧ１に属する計測点座標ＰＣＡＲ（ｍ，ｎ）を除外する。このように構成することで、処理対象を削減し、処理速度を向上せることが可能となる。なお、図１１は、本実施形態１における立体点群データＰＧ２の抽出方法を説明するための図である。
【００４８】
道路平面点群データＰＧ１と立体点群データＰＧ２との分類は、車両座標系ＣＣＡＲの原点Ｏは道路平面上の点であることから、例えば、計測点座標ＰＣＡＲ（ｍ，ｎ）のＺ座標の座標値の絶対値が、予め設定されている閾値（例えば、５ｃｍ）以下の計測点座標ＰＣＡＲ（ｍ，ｎ）を道路平面点群データＰＧ１として分類することで実現する。
【００４９】
次に、立体点群データＰＧ２に属する計測点座標ＰＣＡＲ（ｍ，ｎ）に基づいて、計測物体の形状を模した投影面（以下、物体投影面という）を生成する。本実施形態１における物体投影面は、図１２に例示するように、３次元ポリゴンＰにより構成されている。なお、図１２は、３次元ポリゴンＰにより構成されている計測物体の形状を模した物体投影面の例を示す図である。
【００５０】
ここで、レンジセンサ４が、図１０に例示した順番で計測点をスキャンするものとすると、計測点座標ＰＣＡＲ（ｍ，ｎ）で表される計測点に隣接する計測点の座標は、ＰＣＡＲ（ｍ−１，ｎ−１）、ＰＣＡＲ（ｍ，ｎ−１）、ＰＣＡＲ（ｍ＋１，ｎ−１）、ＰＣＡＲ（ｍ−１，ｎ）、ＰＣＡＲ（ｍ＋１，ｎ）、ＰＣＡＲ（ｍ−１，ｎ＋１）、ＰＣＡＲ（ｍ，ｎ＋１）、ＰＣＡＲ（ｍ＋１，ｎ＋１）である。
【００５１】
ここで、ＰＣＡＲ（ｍ，ｎ）、ＰＣＡＲ（ｍ，ｎ＋１）、ＰＣＡＲ（ｍ＋１，ｎ＋１）を頂点の座標とする三角形が、物体投影面を構成する３次元ポリゴンＰであるためには、ＰＣＡＲ（ｍ，ｎ）、ＰＣＡＲ（ｍ，ｎ＋１）、ＰＣＡＲ（ｍ＋１，ｎ＋１）で表される３点が、いずれも、同一の計測物体上の点でなければならない。なぜなら、３点が同一の計測物体上に無い場合、例えば、図１１を参照して、３点の内の２点が、歩行者上の点であり、残りの１点が、当該歩行者より後ろに存在する壁面（不図示）上の点である場合に、３点を頂点とする三角形を３次元ポリゴンＰとすることは、歩行者と壁面との間に、本来存在しない物体の投影面を発生させることになるからである。
【００５２】
そこで、このような不都合を回避するための処理を行う。図１３は、ポリゴンデータＰＤとして登録されるための条件を説明するための図である。三角形の各頂点を、図１３に示すように、それぞれ、Ｐ０、Ｐ１、Ｐ２と、便宜的に置き換えた場合、三角形の重心座標ｇ０１２は、式（８．１）で表すことができる。
【００５３】
【数８】
2015075966.tif 000010
【００５４】
また、三角形の重心座標ｇ０１２を始点とする単位法線ベクトルｎ０１２は、式（８．２）で表すことができる。
【００５５】
【数９】
2015075966.tif 000011
【００５６】
また、三角形の各頂点を計測したレンジセンサ４の車両座標系ＣＣＡＲでのセンサ原点座標をＳ０＝（Ｔｘ，Ｔｙ，Ｔｚ）とした場合に、三角形の重心座標ｇ０１２を始点とするセンサ原点座標Ｓ０への単位方向ベクトルｖ０１２は、式（８．３）で表すことができる。
【００５７】
【数１０】
2015075966.tif 000012
【００５８】
この場合、Ｐ０、Ｐ１、Ｐ２を頂点とする三角形（以下、三角形{Ｐ０，Ｐ１，Ｐ２}という）が、式（８．４）を満たす場合に、三角形{Ｐ０，Ｐ１，Ｐ２}を、物体投影面を構成する３次元ポリゴンＰとみなし、ポリゴンデータＰＤに登録する。
【００５９】
【数１１】
2015075966.tif 000013
【００６０】
ここで、“・”は、ベクトルの内積を示している。つまり、図１３を参照して、単位法線ベクトルｎ０１２と単位方向ベクトルｖ０１２とがなす角度をθとした場合、式（８．４）を満たすことは、θ≦角度閾値であることを意味している。
【００６１】
次に、このようにしてポリゴンデータＰＤに登録された３次元ポリゴンＰに対して、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線（グリット線ともいう）を算出する。ここで、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面は、それぞれ独立しているＸ軸グリット面とＹ軸グリット面とＺ軸グリット面を、便宜的に一括で示している。Ｘ軸グリット面、Ｙ軸グリット面、Ｚ軸グリット面は、図１４に示すように、それぞれ、車両座標系ＣＣＡＲのＸ軸、Ｙ軸、Ｚ軸に垂直な複数の平面であり、Ｘ軸グリット面を構成する各平面はＳＴＥＰＸの均等間隔で、Ｙ軸グリット面を構成する各平面はＳＴＥＰＹの均等間隔で、Ｚ軸グリット面を構成する各平面はＳＴＥＰＺの均等間隔で、配置されているものとする。なお、図１４は、本実施形態１における車両座標系ＣＣＡＲでのグリット面（Ｙ軸、Ｚ軸）の例を示す図である。
【００６２】
{Ｘ軸，Ｙ軸，Ｚ軸}グリット面が上述のように構成されている場合において、三角形{Ｐ０，Ｐ１，Ｐ２}が３次元ポリゴンＰとしてポリゴンデータＰＤに登録されているとすると、３次元ポリゴンＰである三角形{Ｐ０，Ｐ１，Ｐ２}に対する{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を、以下に示す処理（ステップ１−１乃至ステップ１−３）に従って算出することができる。
【００６３】
＜ステップ１−１＞
三角形{Ｐ０，Ｐ１，Ｐ２}の頂点Ｐ０、Ｐ１、Ｐ２を{Ｘ，Ｙ，Ｚ}座標値の降順にソートし、ソート結果をＰＡ{Ｘ，Ｙ，Ｚ}、ＰＢ{Ｘ，Ｙ，Ｚ}、ＰＣ{Ｘ，Ｙ，Ｚ}とする。なお、ＰＡ{Ｘ，Ｙ，Ｚ}は、Ｘ座標値の降順にソートした場合のＰＡＸ、Ｙ座標値の降順にソートした場合のＰＡＹ、Ｚ座標値の降順にソートした場合のＰＡＺ、を便宜的に一括で示している。ＰＢ{Ｘ，Ｙ，Ｚ}、ＰＣ{Ｘ，Ｙ，Ｚ}についても同様である。
【００６４】
＜ステップ１−２＞
式（９．１）乃至式（９．３）に従って、[ＰＡ{Ｘ，Ｙ，Ｚ}]、[ＰＢ{Ｘ，Ｙ，Ｚ}]、[ＰＣ{Ｘ，Ｙ，Ｚ}]をＳＴＥＰ{Ｘ，Ｙ，Ｚ}で割って算出した値の整数部ＮＡ{Ｘ，Ｙ，Ｚ}、ＮＢ{Ｘ，Ｙ，Ｚ}、ＮＣ{Ｘ，Ｙ，Ｚ}をそれぞれ算出する。
【００６５】
【数１２】
2015075966.tif 000014
【００６６】
【数１３】
2015075966.tif 000015
【００６７】
【数１４】
2015075966.tif 000016
【００６８】
なお、[ＰＡ{Ｘ，Ｙ，Ｚ}]は、ＰＡＸのＸ座標値、ＰＡＹのＹ座標値、ＰＡＺのＺ座標値を、便宜的に一括で示している。[ＰＢ{Ｘ，Ｙ，Ｚ}]と[ＰＣ{Ｘ，Ｙ，Ｚ}]についても同様である。また、ＳＴＥＰ{Ｘ，Ｙ，Ｚ}は、ＳＴＥＰＸ、ＳＴＥＰＹ、ＳＴＥＰＺを便宜的に一括で示している。また、整数部ＮＡ{Ｘ，Ｙ，Ｚ}は、ＰＡＸのＸ座標値をＳＴＥＰＸで割って算出した値の整数部ＮＡＸ、ＰＡＹのＹ座標値をＳＴＥＰＹで割って算出した値の整数部ＮＡＹ、ＰＡＺのＺ座標値をＳＴＥＰＺで割って算出した値の整数部ＮＡＺを、便宜的に一括で示している。整数部ＮＢ{Ｘ，Ｙ，Ｚ}と整数部ＮＣ{Ｘ，Ｙ，Ｚ}についても同様である。また、ＲＯＵＮＤＤＯＷＮは、小数点以下を切捨てる関数であり、例えば、ＲＯＵＮＤＤＯＷＮ（１．２３）＝１である。
【００６９】
＜ステップ１−３＞
Ｘ座標値の降順にソートした場合の整数部ＮＡＸ、ＮＢＸ、ＮＣＸにおいて、（Ａ）ＮＡＸ≠ＮＢＸ、且つ、ＮＢＸ＝ＮＣＸの場合は、図１５に例示する線分Ｌ０Ｒ０を算出し、算出した線分Ｌ０Ｒ０をＸ軸グリット面との交線として座標情報をグリットデータＧＤに登録し、（Ｂ）ＮＡＸ＝ＮＢＸ、且つ、ＮＢＸ≠ＮＣＸの場合は、図１５に例示する線分Ｌ１Ｒ１を算出し、算出した線分Ｌ１Ｒ１をＸ軸グリット面との交線として座標情報をグリットデータＧＤに登録し、（Ｃ）（Ａ）と（Ｂ）以外の場合は、Ｘ軸グリット面との交線のグリットデータＧＤへの登録を行わない。
【００７０】
同様にして、Ｙ座標値の降順にソートした場合の整数部ＮＡＹ、ＮＢＹ、ＮＣＹにおいて、Ｙ軸グリット面との交線の登録処理を行い、Ｚ座標値の降順にソートした場合の整数部ＮＡＺ、ＮＢＺ、ＮＣＺにおいて、Ｚ軸グリット面との交線の登録処理を行う。
【００７１】
なお、図１５は、三角形{Ｐ０，Ｐ１，Ｐ２}の頂点Ｐ０、Ｐ１、Ｐ２をＺ座標値の降順にソートした場合を例示であり、Ｚ軸グリット面を例にしたグリット面との交線の算出方法を説明するための図である。以下において、図１５に例示するように、ＸＹ平面に平行なＺ軸グリット面ｚ＝ＮＡＺ×ＳＴＥＰＺと三角形{ＰＡＺ，ＰＢＺ，ＰＣＺ}との２つの交点の内で、左側の交点をＬ０、右側の交点をＲ０とし、ＸＹ平面に平行なＺ軸グリット面ｚ＝ＮＢＺ×ＳＴＥＰＺと三角形{ＰＡＺ，ＰＢＺ，ＰＣＺ}との２つの交点の内で左側の交点をＬ１、右側の交点をＲ１とする。
【００７２】
この場合、交点Ｌ０、Ｒ０、Ｌ１、Ｒ１は、それぞれ、以下の式によって算出できる。
【００７３】
【数１５】
2015075966.tif 000017
【００７４】
【数１６】
2015075966.tif 000018
【００７５】
【数１７】
2015075966.tif 000019
【００７６】
【数１８】
2015075966.tif 000020
【００７７】
【数１９】
2015075966.tif 000021
【００７８】
【数２０】
2015075966.tif 000022
【００７９】
【数２１】
2015075966.tif 000023
【００８０】
【数２２】
2015075966.tif 000024
【００８１】
以上のようにして、物体投影面を構成する３次元ポリゴンＰを、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面で切断した際の断面形状の外郭線が、交線としてグリットデータＧＤに登録されることとなる。そして、カメラ３により撮像された車両周辺の状況を可視化した結果に対して、グリットデータＧＤに登録されている線分情報を重畳描画することで、図１６に例示するに、車両周辺の物体上にグリット断面を重畳表示することが可能となる。なお、図１６は、本実施形態１における画像処理の結果の例を示す図である。
【００８２】
また、この際、ポリゴンデータＰＤに登録されている３次元ポリゴンＰに対して、テクスチャ座標Ｑを付与して、カメラ３により撮像された画像をテクスチャ画像として、重畳描画してもよい。車両周辺の物体をテクスチャ付き描画した後に、グリットデータＧＤに登録されている線分情報を物体上に重畳表示することで、色や模様による物体の認識と、交線による物体形状の把握を同時に実現することが可能となる。
【００８３】
この場合、三角形{Ｐ０，Ｐ１，Ｐ２}がポリゴンデータＰＤに登録されているとすると、各頂点Ｐ０、Ｐ１、Ｐ２（式中では、Ｐ{０，１，２}で表されている）は車両座標系ＣＣＡＲで定義されていることから、各頂点のテクスチャ座標Ｑ{０，１，２}は、上述の式（２）乃至式（４）により、式１１に従って算出できる。
【００８４】
【数２３】
2015075966.tif 000025
【００８５】
次に、図１７を参照して、本実施形態１における車載装置２について説明する。図１７は、本実施形態１における車載装置２の構成例を示す機能ブロック図である。本実施形態１における車載装置２は、図１７に示すように、記憶部１０と、表示部２０と、操作部３０と、制御部４０と、を備えて構成されている。
【００８６】
記憶部１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）などで構成されている。記憶部１０は、制御部４０を構成する、例えば、ＣＰＵ（Central Processing Unit）のワークエリア、車載装置２全体を制御するための動作プログラムなどの各種プログラムを格納するプログラムエリア、カメラ３とレンジセンサ４の配置パラメータ、ポリゴンデータＰＤ、グリットデータＧＤなどの各種データを格納するデータエリアとして機能する。また、記憶部１０のデータエリアには、各カメラ３のマッピングテーブルＴＣ、各レンジセンサ４のスキャンベクトルテーブルＴＳなども格納されている。
【００８７】
また、記憶部１０は、画像バッファ１１として機能し、画像バッファ１１は、カメラ３により撮像された、自車両周辺の画像データを順次格納する。
【００８８】
表示部２０は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）などの表示装置などで構成され、例えば、所定の画像処理を施した自車両周辺の画像や各種機能ボタンなどを表示画面上に表示する。
【００８９】
操作部３０は、各種ボタンや表示部２０の表示画面上に表示されるタッチパネルなどで構成され、ユーザ（運転手など）は、操作部３０を操作して、所望の処理を実行させることが可能である。
【００９０】
制御部４０は、例えば、ＣＰＵなどで構成され、記憶部１０のプログラムエリアに格納されている動作プログラムを実行して、図１７に示すように、判定部４１と、座標変換行列生成部４２と、テクスチャ座標算出部４３と、計測点座標算出部４４と、抽出部４５と、ポリゴン判定部４６と、交線算出部４７と、画像処理部４８としての機能を実現すると共に、車載装置２全体を制御する制御処理や詳しくは後述の画像処理などの処理を実行する。
【００９１】
判定部４１は、詳しくは後述の画像処理の終了が指示されたか否かを判定する。判定部４１は、例えば、操作部３０を介して、ユーザにより所定の操作が行われた場合に、画像処理の終了が指示されたと判定する。また、例えば、判定部４１は、車載装置２が搭載されている車両のシフトレバーがパーキングの状態にされた場合など、予め設定されている終了条件を充足した際に、画像処理の終了が指示されたと判定する。
【００９２】
座標変換行列生成部４２は、記憶部１０のデータエリアに格納されている各カメラ３の配置パラメータに基づいて、上述の式（１）により、車両座標系ＣＣＡＲからカメラ座標系ＣＣＡＭへの座標変換行列ＭＣＡＲ→ＣＡＭをカメラ３ごとに生成する。また、座標変換行列生成部４２は、記憶部１０のデータエリアに格納されている各レンジセンサ４の配置パラメータに基づいて、上述の式（６）により、車両座標系ＣＣＡＲからレンジセンサ座標系ＣＳＮＳＲへの座標変換行列ＭＣＡＲ→ＳＮＳＲをレンジセンサ４ごとに生成する。
【００９３】
テクスチャ座標算出部４３は、カメラ３により撮像された画像に基づいて、車両全周囲の状況を可視化するために、仮想的な立体投影面を構成する３次元ポリゴン（投影面ポリゴン）Ｐの各頂点のテクスチャ座標Ｑを算出する。具体的には、テクスチャ座標算出部４３は、上述の式（１）乃至式（４）により、投影面ポリゴンＰの各頂点のテクスチャ座標Ｑを算出する。
【００９４】
また、テクスチャ座標算出部４３は、上述の式（１）乃至式（４）により、ポリゴンデータＰＤに登録されている３次元ポリゴンＰの各頂点のテクスチャ座標Ｑを算出する。
【００９５】
計測点座標算出部４４は、レンジセンサ４により送信される周辺物体の計測点までの距離Ｄ（ｍ，ｎ）を受信すると、受信した距離Ｄ（ｍ，ｎ）に基づいて、上述の式（５）により、レンジセンサ座標系ＣＳＮＳＲでの周辺物体の計測点座標ＰＳＮＳＲ（ｍ，ｎ）を算出する。この際、計測点座標算出部４４は、記憶部１０のデータエリアに格納されているスキャンベクトルテーブルＴＳを参照して、距離Ｄ（ｍ，ｎ）と共に入力される方向情報が示すスキャン方向に対応するスキャンベクトルＶＳ（ｍ，ｎ）を特定する。
【００９６】
また、計測点座標算出部４４は、算出したレンジセンサ座標系ＣＳＮＳＲでの計測点座標ＰＳＮＳＲ（ｍ，ｎ）を、上述の式（６）と式（７）に従って、車両座標系ＣＣＡＲでの計測点座標ＰＣＡＲ（ｍ，ｎ）に変換する。
【００９７】
抽出部４５は、計測点座標算出部４４より算出された車両座標系ＣＣＡＲでの計測点座標ＰＣＡＲ（ｍ，ｎ）の中から、上述した抽出方法に従って、立体点群データＰＧ２に属する計測点座標ＰＣＡＲ（ｍ，ｎ）を抽出する。
【００９８】
ポリゴン判定部４６は、抽出部４５により抽出された立体点群データＰＧ２に属する計測点の内で、隣接する計測点により形成される図形（例えば、三角形）が、所定の条件（上述の式（８．１）乃至式（８．４））を充足するか否かを判定することで、当該図形が物体投影面を構成する３次元ポリゴンＰか否かを判定する。そして、ポリゴン判定部４６は、物体投影面を構成する３次元ポリゴンＰであると判定した図形をポリゴンデータＰＤに登録する。
【００９９】
交線算出部４７は、上述のステップ１−１乃至ステップ１−３の処理に従って、ポリゴン判定部４６によりポリゴンデータＰＤに登録された全ての３次元ポリゴンＰに対し、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を算出し、算出した交線をグリットデータＧＤに登録する。
【０１００】
画像処理部４８は、カメラ３により撮像され、画像バッファ１１に格納されている画像に基づいて、描画処理を行う。より具体的には、画像処理部４８は、画像バッファ１１に格納されている画像をテクスチャ画像として用い、テクスチャ座標算出部４３により算出された投影面ポリゴンＰの各頂点のテクスチャ座標Ｑに基づいて、描画処理を行うことで、車両全周囲の状況を投影した仮想的な立体投影面を生成する。
【０１０１】
また、画像処理部４８は、画像バッファ１１に格納されている画像をテクスチャ画像として用い、テクスチャ座標算出部４３により算出された物体投影面を構成する３次元ポリゴンＰの各頂点のテクスチャ座標Ｑに基づいて、描画処理を行うことで、立体投影面に通行人などの周辺物体を重畳描画する。
【０１０２】
さらに、画像処理部４８は、テクスチャ付き描画された周辺物体上に、グリットデータＧＤに登録されている交線を、３次元ＣＧで重畳描画する。そして、画像処理部４８は、表示部２０を制御して、描画した画像を表示画面上に表示させる。
【０１０３】
次に、図１８を参照して、本実施形態１における画像処理の流れについて説明する。図１８は、本実施形態１における画像処理のフローを説明するためのフローチャートの例である。本画像処理は、例えば、カメラ３により撮像された画像の画像データが画像バッファ１１に格納されたことをトリガとして開始される。
【０１０４】
座標変換行列生成部４２は、各カメラ３の配置パラメータに基づいて、車両座標系ＣＣＡＲからカメラ座標系ＣＣＡＭへの座標変換行列ＭＣＡＲ→ＣＡＭをカメラ３ごとに生成する（ステップＳ００１）。そして、テクスチャ座標算出部４３は、仮想的な立体投影面を構成する投影面ポリゴンＰの各頂点のテクスチャ座標Ｑを算出する（ステップＳ００２）。
【０１０５】
そして、座標変換行列生成部４２は、各レンジセンサ４の配置パラメータに基づいて、車両座標系ＣＣＡＲからレンジセンサ座標系ＣＳＮＳＲへの座標変換行列ＭＣＡＲ→ＳＮＳＲをレンジセンサ４ごとに生成する（ステップＳ００３）。
【０１０６】
そして、レンジセンサ４により送信される距離Ｄ（ｍ，ｎ）を受信すると（ステップＳ００４）、計測点座標算出部４４は、受信した距離Ｄ（ｍ，ｎ）に基づいて、レンジセンサ座標系ＣＳＮＳＲでの周辺物体の計測点座標ＰＳＮＳＲ（ｍ，ｎ）を算出し（ステップＳ００５）、算出した計測点座標ＰＳＮＳＲ（ｍ，ｎ）を車両座標系ＣＣＡＲでの計測点座標ＰＣＡＲ（ｍ，ｎ）に、更に、変換する（ステップＳ００６）。
【０１０７】
そして、抽出部４５は、計測点座標算出部４４より算出された車両座標系ＣＣＡＲでの計測点座標ＰＣＡＲ（ｍ，ｎ）の中から、立体点群データＰＧ２に属する計測点座標ＰＣＡＲ（ｍ，ｎ）を抽出する（ステップＳ００７）。そして、ポリゴン判定部４６は、抽出部４５により抽出された立体点群データＰＧ２に属する計測点の内で、隣接する計測点により形成される図形が、物体投影面を構成する３次元ポリゴンＰか否かを判定し、物体投影面を構成する３次元ポリゴンＰであると判定した図形をポリゴンデータＰＤに登録する（ステップＳ００８）。
【０１０８】
そして、テクスチャ座標算出部４３は、ポリゴンデータＰＤに登録されている３次元ポリゴンＰの各頂点のテクスチャ座標Ｑを算出する（ステップＳ００９）。そして、交線算出部４７は、ポリゴンデータＰＤに登録されている３次元ポリゴンＰに対し、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を算出し、算出した交線をグリットデータＧＤに登録する（ステップＳ０１０）。
【０１０９】
そして、画像処理部４８は、画像バッファ１１に格納されている画像をテクスチャ画像として用い、投影面ポリゴンＰの各頂点のテクスチャ座標Ｑに基づいて、描画処理を行うことで、車両全周囲の状況を投影した仮想的な立体投影面を生成する（ステップＳ０１１）。
【０１１０】
そして、画像処理部４８は、画像バッファ１１に格納されている画像をテクスチャ画像として用い、ポリゴンデータＰＤに登録されている３次元ポリゴンＰの各頂点のテクスチャ座標Ｑに基づいて、描画処理を行うことで、立体投影面に通行人などの周辺物体を重畳描画する（ステップＳ０１２）。
【０１１１】
そして、画像処理部４８は、テクスチャ付き描画された周辺物体上に、グリットデータＧＤに登録されている交線を、３次元ＣＧで重畳描画し（ステップＳ０１３）、表示部２０を制御して、描画した画像を表示画面上に表示させる（ステップＳ０１４）。
【０１１２】
そして、判定部４１は、画像処理の終了が指示されたか否かを判定する（ステップＳ０１５）。判定部４１により、画像処理の終了は指示されていないと判定された場合には（ステップＳ０１５；ＮＯ）、処理はステップＳ００４の処理へと戻り、前述の処理を行う。一方、判定部４１により、画像処理の終了が指示されたと判定された場合には（ステップＳ０１５；ＹＥＳ）、本画像処理を終了する。
【０１１３】
上記実施形態１によれば、車両に配置したレンジセンサ４により計測した周辺物体を仮想的な立体投影面に再構成して可視化する際に、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面と周辺物体との交線（グリット線）を表示する。このように構成することで、周辺物体の色や輝度に依存することなく、周辺物体の形状を容易に把握することが可能となる。これにより、運転手は車両周辺の状況を的確に把握することが可能となることから、安全運転にも寄与できる。
【０１１４】
また、上記実施形態１によれば、グリット面を均等間隔で配置する。このように構成することで、周辺物体の大きさの把握が容易となる。また、画像上でのグリット間隔の広さにより、周辺物体までの距離を容易に把握することが可能となる。すなわち、車両周辺の状況をより的確に把握することが可能となる。
【０１１５】
また、上記実施形態１によれば、テクスチャ付き描画した周辺物体上に、交線（グリット線）を重畳表示する。このように構成することで、色や模様による周辺物体の存在認識と、交線（グリット線）による周辺物体の形状把握とを同時に実現することが可能となる。
【０１１６】
また、上記実施形態１によれば、隣接する計測点からなる図形の内で、レンジセンサ４のセンサ原点方向に対する面法線の傾きが所定範囲を超える図形を除外して、物体投影面を構成する３次元ポリゴンＰを生成する。このように構成することで、別々の物体間に本来存在しない物体投影面を発生させてしまうような不具合を軽減することが可能となる。
【０１１７】
また、上記実施形態１によれば、ＰＣＡＲ（ｍ，ｎ）の中から、立体点群データＰＧ２に属する計測点座標ＰＣＡＲ（ｍ，ｎ）を抽出する。すなわち、物体投影面を構成する上で不必要な道路平面上の計測点を除外する。このように構成することで、処理対象を削減し、処理速度を向上させることが可能となる。
【０１１８】
（実施形態２）
実施形態１においては、車両座標系ＣＣＡＲで定義されている{Ｘ軸，Ｙ軸，Ｚ軸}グリット面と、物体投影面を構成する３次元ポリゴンＰとの交線を算出し、周辺物体上に交線を重畳表示するように構成した。
【０１１９】
本実施形態２においては、車両が移動しても座標が変化しない世界座標系ＣＷＯＲＬＤで定義されている{Ｘ軸，Ｙ軸，Ｚ軸}グリット面を用いるように構成する。
【０１２０】
図１９は、本実施形態２における車載システム１の構成例を示す機能ブロック図である。本実施形態２における車載システム１の構成は、基本的には実施形態１の場合と同じである。但し、図１９に示すように、車載システム１が、さらに、ＧＰＳ（Global Positioning System）５と電子コンパス６とを備える点と、車載装置２の制御部４０が、さらに、位置推定部４９として機能する点で、実施形態１の場合と異なっている。また、制御部４０の共通する機能部の一部（座標変換行列生成部４２、交線算出部４７）が果たす役割が実施形態１の場合と若干異なっている。
【０１２１】
ＧＰＳ５は、所定のタイミングで、自車両の３次元位置座標を算出し、算出した自車両の３次元位置座標を車載装置２に送信する。
【０１２２】
電子コンパス６は、所定のタイミングで、自車両の方位角を算出し、算出した自車両の方位角を車載装置２に送信する。
【０１２３】
制御部４０は、例えば、ＣＰＵなどで構成され、記憶部１０のプログラムエリアに格納されている動作プログラムを実行して、図１９に示すように、判定部４１と、座標変換行列生成部４２と、テクスチャ座標算出部４３と、計測点座標算出部４４と、抽出部４５と、ポリゴン判定部４６と、交線算出部４７と、画像処理部４８と、位置推定部４９としての機能を実現すると共に、車載装置２全体を制御する制御処理や後述の画像処理などの処理を実行する。
【０１２４】
位置推定部４９は、ＧＰＳ５により算出された自車両の３次元位置座標と、電子コンパス６により算出された自車両の方位角と、に基づいて、世界座標系ＣＷＯＲＬＤでの自車両の位置（車両原点Ｏの３次元座標）と向き（世界座標系ＣＷＯＲＬＤのＺ軸まわりの回転角）を推定する。
【０１２５】
なお、世界座標系ＣＷＯＲＬＤをどのように設定するかは任意であり、位置が固定されている地物や子後線などに基づいて定義してもよいし、エンジン始動時の車両位置と方位に基づいて定義してもよい。また、例えば、車速センサやジャイロセンサなどを用いて推定した相対位置座標や相対角を利用してもよい。
【０１２６】
座標変換行列生成部４２は、実施形態１で説明した処理の他に、位置推定部４９により推定された世界座標系ＣＷＯＲＬＤでの自車両の位置と向きとに基づいて、車両座標系ＣＣＡＲから世界座標系ＣＷＯＲＬＤへの座標変換行列ＭＣＡＲ→ＷＯＲＬＤを生成する。
【０１２７】
より具体的には、位置推定部４９により推定された、世界座標系ＣＷＯＲＬＤでの車両原点Ｏの３次元座標を（ＡＸ，ＡＹ，ＡＺ）、世界座標系ＣＷＯＲＬＤのＺ軸まわりの回転角をＲＺとすると、座標変換行列生成部４２は、式（１２）で表される座標変換行列ＭＣＡＲ→ＷＯＲＬＤを生成する。
【０１２８】
【数２４】
2015075966.tif 000026
【０１２９】
交線算出部４７は、後述のステップ２−０乃至ステップ２−３の処理に従って、ポリゴンデータＰＤに登録されている３次元ポリゴンＰに対し、世界座標系ＣＷＯＲＬＤの{Ｘ，Ｙ，Ｚ}軸に対してＳＴＥＰ{Ｘ，Ｙ，Ｚ}の均等間隔で定義されている{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を算出し、算出した交線をグリットデータＧＤに登録する。
【０１３０】
{Ｘ軸，Ｙ軸，Ｚ軸}グリット面が上述のように構成されている場合において、三角形{Ｐ０，Ｐ１，Ｐ２}が３次元ポリゴンＰとしてポリゴンデータＰＤに登録されているとすると、３次元ポリゴンＰである三角形{Ｐ０，Ｐ１，Ｐ２}に対する{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を、以下に示す処理（ステップ２−０乃至ステップ２−３）に従って算出することができる。
【０１３１】
＜ステップ２−０＞
車両座標系ＣＣＡＲで定義されている三角形{Ｐ０，Ｐ１，Ｐ２}の頂点座標Ｐ０、Ｐ１、Ｐ２を、式（１３）により、それぞれ、世界座標系ＣＷＯＲＬＤでの頂点座標ＰＷ０、ＰＷ１、ＰＷ２に変換する。なお、式中のＰ{０，１，２}は、頂点座標Ｐ０、Ｐ１、Ｐ２を、便宜的に一括で示している。ＰＷ{０，１，２}についても同様である。
【０１３２】
【数２５】
2015075966.tif 000027
【０１３３】
＜ステップ２−１＞
世界座標系ＣＷＯＲＬＤに変換後の頂点ＰＷ０、ＰＷ１、ＰＷ２を{Ｘ，Ｙ，Ｚ}座標値の降順にソートし、ソート結果をＰＷＡ{Ｘ，Ｙ，Ｚ}、ＰＷＢ{Ｘ，Ｙ，Ｚ}、ＰＷＣ{Ｘ，Ｙ，Ｚ}とする。なお、ＰＷＡ{Ｘ，Ｙ，Ｚ}は、Ｘ座標値の降順にソートした場合のＰＷＡＸ、Ｙ座標値の降順にソートした場合のＰＷＡＹ、Ｚ座標値の降順にソートした場合のＰＷＡＺ、を便宜的に一括で示している。ＰＷＢ{Ｘ，Ｙ，Ｚ}、ＰＷＣ{Ｘ，Ｙ，Ｚ}についても同様である。
【０１３４】
＜ステップ２−２＞
式（１４．１）乃至式（１４．３）に従って、[ＰＷＡ{Ｘ，Ｙ，Ｚ}]、[ＰＷＢ{Ｘ，Ｙ，Ｚ}]、[ＰＷＣ{Ｘ，Ｙ，Ｚ}]をＳＴＥＰ{Ｘ，Ｙ，Ｚ}で割って算出した値の整数部ＮＡ{Ｘ，Ｙ，Ｚ}、ＮＢ{Ｘ，Ｙ，Ｚ}、ＮＣ{Ｘ，Ｙ，Ｚ}をそれぞれ算出する。
【０１３５】
【数２６】
2015075966.tif 000028
【０１３６】
【数２７】
2015075966.tif 000029
【０１３７】
【数２８】
2015075966.tif 000030
【０１３８】
なお、[ＰＷＡ{Ｘ，Ｙ，Ｚ}]は、ＰＷＡＸのＸ座標値、ＰＷＡＹのＹ座標値、ＰＷＡＺのＺ座標値を、便宜的に一括で示している。[ＰＷＢ{Ｘ，Ｙ，Ｚ}]と[ＰＷＣ{Ｘ，Ｙ，Ｚ}]についても同様である。また、整数部ＮＡ{Ｘ，Ｙ，Ｚ}は、ＰＷＡＸのＸ座標値をＳＴＥＰＸで割って算出した値の整数部ＮＡＸ、ＰＷＡＹのＹ座標値をＳＴＥＰＹで割って算出した値の整数部ＮＡＹ、ＰＷＡＺのＺ座標値をＳＴＥＰＺで割って算出した値の整数部ＮＡＺを、便宜的に一括で示している。整数部ＮＢ{Ｘ，Ｙ，Ｚ}と整数部ＮＣ{Ｘ，Ｙ，Ｚ}についても同様である。
【０１３９】
＜ステップ２−３＞
Ｘ座標値の降順にソートした場合の整数部ＮＡＸ、ＮＢＸ、ＮＣＸにおいて、（Ａ）ＮＡＸ≠ＮＢＸ、且つ、ＮＢＸ＝ＮＣＸの場合は、図１５に例示する線分Ｌ０Ｒ０を算出し、算出した線分Ｌ０Ｒ０をＸ軸グリット面との交線として座標情報をグリットデータＧＤに登録し、（Ｂ）ＮＡＸ＝ＮＢＸ、且つ、ＮＢＸ≠ＮＣＸの場合は、図１５に例示する線分Ｌ１Ｒ１を算出し、算出した線分Ｌ１Ｒ１をＸ軸グリット面との交線として座標情報をグリットデータＧＤに登録し、（Ｃ）（Ａ）と（Ｂ）以外の場合は、Ｘ軸グリット面との交線のグリットデータＧＤへの登録を行わない。
【０１４０】
同様にして、Ｙ座標値の降順にソートした場合の整数部ＮＡＹ、ＮＢＹ、ＮＣＹにおいて、Ｙ軸グリット面との交線の登録処理を行い、Ｚ座標値の降順にソートした場合の整数部ＮＡＺ、ＮＢＺ、ＮＣＺにおいて、Ｚ軸グリット面との交線の登録処理を行う。
【０１４１】
本実施形態２における車両座標系ＣＣＡＲでの交点Ｌ０、Ｒ０、Ｌ１、Ｒ１は、それぞれ、以下の式によって算出できる。
【０１４２】
【数２９】
2015075966.tif 000031
【０１４３】
【数３０】
2015075966.tif 000032
【０１４４】
【数３１】
2015075966.tif 000033
【０１４５】
【数３２】
2015075966.tif 000034
【０１４６】
【数３３】
2015075966.tif 000035
【０１４７】
【数３４】
2015075966.tif 000036
【０１４８】
【数３５】
2015075966.tif 000037
【０１４９】
【数３６】
2015075966.tif 000038
【０１５０】
次に、図２０を参照して、本実施形態２における画像処理の流れについて説明する。図２０は、本実施形態２における画像処理のフローを説明するためのフローチャートの例の一部である。本実施形態２における画像処理は、ステップＳ００９とステップＳ０１０との間に新たな処理が追加される点で、実施形態１の場合と異なっている。したがって、ここでは、新たに追加された処理（ステップＳ１０１とステップＳ１０２）とステップＳ０１０について説明する。
【０１５１】
ステップＳ００９の後、ステップＳ１０１の処理へと進み、位置推定部４９は、ＧＰＳ５により算出された自車両の３次元位置座標と、電子コンパス６により算出された自車両の方位角と、に基づいて、世界座標系ＣＷＯＲＬＤでの自車両の位置と向きを推定する（ステップＳ１０１）。
【０１５２】
そして、座標変換行列生成部４２は、位置推定部４９により推定された世界座標系ＣＷＯＲＬＤでの自車両の位置と向きとに基づいて、車両座標系ＣＣＡＲから世界座標系ＣＷＯＲＬＤへの座標変換行列ＭＣＡＲ→ＷＯＲＬＤを生成する（ステップＳ１０２）。
【０１５３】
そして、交線算出部４７は、ポリゴンデータＰＤに登録されている３次元ポリゴンＰに対し、世界座標系ＣＷＯＲＬＤで定義されている{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を算出し、算出した交線をグリットデータＧＤに登録する（ステップＳ０１０）。その後、処理は実施形態１で説明したステップＳ０１１の処理へと進む。
【０１５４】
上記実施形態２によれば、世界座標系ＣＷＯＲＬＤで定義したグリット面との交線を、周辺物体上に重畳表示する。このように構成することで、静止している周辺物体上の交線は自車両が移動していても固定で表示され、周辺環境に対する自車両の移動を直感的に把握することが容易となる。
【０１５５】
（実施形態３）
本実施形態３においては、自車両からの距離に応じて、例えば、交線（グリット線）の色や輝度や透過率などを変化させるように構成する。以下において、自車両からの距離に応じて交線（グリット線）の色を変化させる例について説明する。なお、本構成は、実施形態１と２のいずれの構成にも適用可能である。
【０１５６】
図２１は、本実施形態３における車載システム１の構成例を示す機能ブロック図である。本実施形態３における車載システム１の構成は、基本的には実施形態１の場合と同じである。但し、図２１に示すように、車載装置２の制御部４０が、さらに、距離算出部４Ａとして機能する点で、実施形態１の場合と異なっている。また、制御部４０の共通する機能部の一部（画像処理部４８）が果たす役割が実施形態１の場合と若干異なっている。また、記憶部１０のデータエリアには、さらに、距離と色とを対応付けているカラーマップが格納されている。
【０１５７】
制御部４０は、例えば、ＣＰＵなどで構成され、記憶部１０のプログラムエリアに格納されている動作プログラムを実行して、図２１に示すように、判定部４１と、座標変換行列生成部４２と、テクスチャ座標算出部４３と、計測点座標算出部４４と、抽出部４５と、ポリゴン判定部４６と、交線算出部４７と、画像処理部４８と、距離算出部４Ａとしての機能を実現すると共に、車載装置２全体を制御する制御処理や後述の画像処理などの処理を実行する。
【０１５８】
距離算出部４Ａは、グリットデータＧＤに登録されている交線の交点座標に基づいて、例えば、車両原点Ｏから各交点までの交点距離を算出する。
【０１５９】
画像処理部４８は、交線を周辺物体上に重畳表示する際に、カラーマップを参照して、距離算出部４Ａにより算出された各交点の交点距離に対応する色を設定し、自車両からの距離に応じて交線（グリット線）の色を変化させる。
【０１６０】
次に、図２２を参照して、本実施形態３における画像処理の流れについて説明する。図２２は、本実施形態３における画像処理のフローを説明するためのフローチャートの例の一部である。本実施形態３における画像処理は、ステップＳ０１０とステップＳ０１１との間に新たな処理（ステップＳ２０１）が追加される点で、実施形態１の場合と異なっている。したがって、ここでは、新たに追加されたステップＳ２０１からステップＳ０１３について説明する。
【０１６１】
ステップＳ０１０の処理の後、処理はステップＳ２０１へと進み、距離算出部４Ａは、グリットデータＧＤに登録されている交線の交点座標に基づいて、各交点の交点距離を算出する（ステップＳ２０１）。
【０１６２】
そして、画像処理部４８は、画像バッファ１１に格納されている画像をテクスチャ画像として用い、投影面ポリゴンＰの各頂点のテクスチャ座標Ｑに基づいて、描画処理を行うことで、車両全周囲の状況を投影した仮想的な立体投影面を生成する（ステップＳ０１１）。
【０１６３】
そして、画像処理部４８は、画像バッファ１１に格納されている画像をテクスチャ画像として用い、ポリゴンデータＰＤに登録されている３次元ポリゴンＰの各頂点のテクスチャ座標Ｑに基づいて、描画処理を行うことで、立体投影面に通行人などの周辺物体を重畳描画する（ステップＳ０１２）。
【０１６４】
そして、画像処理部４８は、テクスチャ付き描画された周辺物体上に、グリットデータＧＤに登録されている交線を、３次元ＣＧで重畳描画する（ステップＳ０１３）。この際、画像処理部４８は、カラーマップを参照して、距離算出部４Ａにより算出された各交点の交点距離に対応する色を設定し、自車両からの距離に応じて交線（グリット線）の色を変化させる。その後、実施形態１で説明したステップＳ０１４の処理へと進む。
【０１６５】
上記実施形態３によれば、自車両からの距離に応じて交線（グリット線）の色や輝度などを変えて表示する。このように構成することで、重なり合っている周辺物体の前後関係を把握することが容易となり、自車両周辺の状況をより的確に把握することが可能となる。
【０１６６】
図２３は、各実施形態における車載システム１のハードウェア構成の例を示す図である。図１７、図１９、図２１に示す車載装置２は、例えば、図２３に示す各種ハードウェアにより実現されてもよい。図２３の例では、車載装置２は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、カメラ３が接続されているカメラインターフェース２０５、モニタ２１０が接続されているモニタインターフェース２０６、レンジセンサ４などのセンサ類が接続されているセンサ類インターフェース２０７、無線通信モジュール２０８、および読取装置２０９を備え、これらのハードウェアはバス２１１を介して接続されている。
【０１６７】
ＣＰＵ２０１は、ＨＤＤ２０４に格納されている動作プログラムをＲＡＭ２０２にロードし、ＲＡＭ２０２をワーキングメモリとして使いながら各種処理を実行する。ＣＰＵ２０１は、動作プログラムを実行することで、図１７、図１９、図２１に示す制御部４０の各機能部を実現することができる。
【０１６８】
なお、上記動作を実行するための動作プログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magnet Optical disk）などのコンピュータで読み取り可能な記録媒体２１２に記憶して配布し、これを車載装置２の読取装置２０９で読み取ってコンピュータにインストールすることにより、上述の処理を実行するように構成してもよい。さらに、インターネット上のサーバ装置が有するディスク装置等に動作プログラムを記憶しておき、無線通信モジュール２０８を介して、車載装置２のコンピュータに動作プログラムをダウンロード等するものとしてもよい。
【０１６９】
なお、実施形態に応じて、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４以外の他の種類の記憶装置が利用されてもよい。例えば、車載装置２は、ＣＡＭ（Content Addressable Memory）、ＳＲＡＭ（Static Random Access Memory）、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの記憶装置を有してもよい。
【０１７０】
無線通信モジュール２０８は、無線接続における物理層の処理を行うハードウェアである。無線通信モジュール２０８は、例えば、アンテナ、ＡＤＣ（Analog-to-Digital Converter）、ＤＡＣ（Digital-to-Analog Converter）、変調器、復調器、符号化器、復号器などを含む。
【０１７１】
なお、実施形態に応じて、車載システム１のハードウェア構成は図２３とは異なっていてもよく、図２３に例示した規格・種類以外のその他のハードウェアを車載システム１に適用することもできる。
【０１７２】
例えば、図１７、図１９、図２１に示す車載装置２の制御部４０の各機能部は、ハードウェア回路により実現されてもよい。具体的には、ＣＰＵ２０１の代わりに、ＦＰＧＡ（Field Programmable Gate Array）などのリコンフィギュラブル回路や、ＡＳＩＣ（Application Specific Integrated Circuit）などにより、図１７、図１９、図２１に示す制御部４０の各機能部が実現されてもよい。もちろん、ＣＰＵ２０１とハードウェア回路の双方により、これらの機能部が実現されてもよい。
【０１７３】
以上において、いくつかの実施形態について説明した。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態を成すことができることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。
【０１７４】
以上の実施形態１〜３を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置であって、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面と前記周辺物体との交差断面の外郭線を算出する外郭線算出手段と、
前記外郭線算出手段により算出された前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する画像処理手段と、
を備え、
前記複数のグリット面は、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている、
ことを特徴とする画像処理装置。
（付記２）
前記周辺物体上の計測点までの距離に基づいて、前記周辺物体の形状を特定する形状特定手段をさらに備え、
前記外郭線算出手段は、前記形状特定手段により特定された前記形状に基づいて、前記外郭線を算出する、
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記形状特定手段は、前記周辺物体の形状を特定する際に、前記距離センサの方向に対する、隣接する前記計測点により構成される図形の面法線の傾きが所定の範囲を超える図形を除外する、
ことを特徴とする付記２に記載の画像処理装置。
（付記４）
前記計測点の内で、道路平面上の計測点を除外する除外手段を更に備え、
前記形状特定手段は、前記除外手段により道路平面上の計測点が除外された後の計測点に基づいて、前記周辺物体の形状を特定する、
ことを特徴とする付記２又は３に記載の画像処理装置。
（付記５）
前記複数のグリット面は、世界座標系で定義され、前記世界座標系のＸ軸に対して垂直な平面と、前記世界座標系のＹ軸に対して垂直な平面と、前記世界座標系のＺ軸に対して垂直な平面と、により構成されており、
前記外郭線算出手段は、前記世界座標系で定義されている複数のグリット面と前記周辺物体との交差断面の外郭線を算出する、
ことを特徴とする付記１乃至４のいずれか一に記載の画像処理装置。
（付記６）
前記画像処理手段は、前記車両からの距離に応じて、前記外郭線の属性を変化させて描画する、
ことを特徴とする付記１乃至５のいずれか一に記載の画像処理装置。
（付記７）
前記Ｘ軸に垂直な平面は第１の間隔で均等に配置され、前記Ｙ軸に垂直な平面は第２の間隔で均等に配置され、前記Ｚ軸に垂直な平面は第３の間隔で均等に配置されている、
ことを特徴とする付記１乃至６のいずれか一に記載の画像処理装置。
（付記８）
前記画像処理手段は、前記周辺物体をテクスチャ付き描画した後に、前記外郭線を重畳描画する、
ことを特徴とする付記１乃至７のいずれか一に記載の画像処理装置。
（付記９）
前記画像処理手段による処理結果を表示画面上に表示する表示手段を更に備える、
ことを特徴とする付記１乃至８のいずれか一に記載の画像処理装置。
（付記１０）
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置の画像処理方法であって、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面であって、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている前記複数のグリット面と前記周辺物体との交差断面の外郭線を算出し、
算出した前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する、
ことを特徴とする画像処理方法。
（付記１１）
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置のコンピュータに、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面であって、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている前記複数のグリット面と前記周辺物体との交差断面の外郭線を算出し、
算出した前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する、
処理を実行させる、
ことを特徴とするプログラム。
（付記１２）
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置のコンピュータに、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面であって、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている前記複数のグリット面と前記周辺物体との交差断面の外郭線を算出し、
算出した前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する、
処理を実行させるプログラムを記憶した記録媒体。
【符号の説明】
【０１７５】
１    車載システム
２      車載装置
１０    記憶部
１１    画像バッファ
２０    表示部
３０    操作部
４０    制御部
４１    判定部
４２    座標変換行列生成部
４３    テクスチャ座標算出部
４４    計測点座標算出部
４５    抽出部
４６    ポリゴン判定部
４７    交線算出部
４８    画像処理部
４９    位置推定部
４Ａ    距離算出部
３      カメラ
４      レンジセンサ
５      ＧＰＳ
６      電子コンパス
２０１    ＣＰＵ
２０２    ＲＡＭ
２０３    ＲＯＭ
２０４    ＨＤＤ
２０５    カメラインターフェース
２０６    モニタインターフェース
２０７    センサ類インターフェース
２０８    無線通信モジュール
２０９    読取装置
２１０    モニタ
２１１    バス
２１２    記録媒体
【図１】
2015075966.tif 000039
【図２】
2015075966.tif 000040
【図３】
2015075966.tif 000041
【図４】
2015075966.tif 000042
【図５】
2015075966.tif 000043
【図７】
2015075966.tif 000044
【図８】
2015075966.tif 000045
【図１０】
2015075966.tif 000046
【図１２】
2015075966.tif 000047
【図１３】
2015075966.tif 000048
【図１４】
2015075966.tif 000049
【図１５】
2015075966.tif 000050
【図１７】
2015075966.tif 000051
【図１８】
2015075966.tif 000052
【図１９】
2015075966.tif 000053
【図２０】
2015075966.tif 000054
【図２１】
2015075966.tif 000055
【図２２】
2015075966.tif 000056
【図２３】
2015075966.tif 000057
【図６】
2015075966.tif 000058
【図９】
2015075966.tif 000059
【図１１】
2015075966.tif 000060
【図１６】
2015075966.tif 000061
【手続補正書】
【提出日】平成26年1月8日(2014.1.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【特許文献１】国際公開ＷＯ２０１２／０１７５６０