(57)【要約】【課題】路面上の高さのある物体を正確に認識することができる車両用画像提示装置及び方法を提供する。【解決手段】車両周辺の画像を撮影する撮影装置１と、車両周辺の低い位置に照明を照射する照明装置２と、照明装置２により照明が照射された車両周辺を撮影する撮影装置３と、撮影装置１により撮影された画像を撮影装置３により撮影された画像に従って画像処理を行う画像処理部６と、画像処理部６により画像処理された画像を提示する画像提示装置７とを備え、画像処理部６は、撮影装置３により撮影された画像について、照明装置２により照明が照射されている領域と照射されていない領域とに分け、撮影装置１により撮影された画像について、前記照射されていない領域を識別するための画像処理を行い、画像提示装置７は前記低い位置において、高さを持たない物体と高さを持つ物体とを識別する画像提示を行う。【選択図】    図１
2006211456.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺の画像を撮影して提示する車両用画像提示装置において、
前記車両の周辺の画像を撮影する第１の撮影手段と、
前記車両の周辺の走行面を含む位置に照明を照射する照明手段と、
前記照明手段により照明が照射された前記車両の周辺を撮影する第２の撮影手段と、
前記第１の撮影手段により撮影された画像を、前記第２の撮影手段により撮影された画像に従って画像処理を行う画像処理手段と、
前記画像処理手段により前記画像処理された画像を提示する画像提示手段とを備え、
前記画像処理手段は、前記第２の撮影手段により撮影された画像について、前記照明手段により照明が照射されている領域と照射されていない領域とに分け、
前記第１の撮影手段により撮影された画像について、前記照射されていない領域を識別するための画像処理を行い、
前記画像提示手段は、前記走行面を含む位置において、高さを持たない物体と高さを持つ物体とを識別する画像提示を行うことを特徴とする車両用画像提示装置。
【請求項２】
前記識別するための画像処理は、前記照射されていない領域の色を変更する処理であることを特徴とする請求項１記載の車両用画像提示装置。
【請求項３】
前記照明手段の照明の照射をオン、オフする照明制御手段をさらに備え、
前記画像処理手段は、
前記オンとオフとの２つの画像の差分を求めた差分画像から、前記照射されている領域と照射されていない領域とを判断することを特徴とする請求項１または２記載の車両用画像提示装置。
【請求項４】
前記照明手段として不可視光源を用い、
前記第２の撮影手段として前記照明手段の照明の波長に応じた不可視光領域用カメラを用いることを特徴とする請求項１乃至３のいずれか記載の車両用画像提示装置。
【請求項５】
車両の周辺の画像を撮影して提示する車両用画像提示方法において、
前記車両の周辺の画像を撮影する第１の撮影工程と、
前記車両の周辺の走行面を含む位置に照明を照射する照明工程と、
前記照明工程により照明が照射された前記車両の周辺を撮影する第２の撮影工程と、
前記第１の撮影工程により撮影された画像を、前記第２の撮影工程により撮影された画像に従って画像処理を行う画像処理工程と、
前記画像処理工程により前記画像処理された画像を提示する画像提示工程とを有し、
前記画像処理工程は、前記第２の撮影工程において撮影された画像について、前記照明工程により照明が照射されている領域と照射されていない領域とに分け、
前記第１の撮影工程により撮影された画像について、前記照射されていない領域を識別するための画像処理を行い、
前記画像提示工程は、前記走行面を含む位置において、高さを持たない物体と高さを持つ物体とを識別する画像提示を行うことを特徴とする車両用画像提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者に自車両周辺の状況を分かりやすく表示する車両用画像提示装置及び方法に関する。
【背景技術】
【０００２】
下記特許文献１に物体の検知技術が記載されている。この技術では、それぞれ異なる位置に設置された複数のカメラにより得られた画像に基づき、共通の視野領域内に存在する物体を検知するため、第１のカメラからの画像を、高さ成分を持たずにかつ第２のカメラの設置位置に視点変換を行った画像に変換し、この視点変換した画像と第２のカメラからの画像とを比較してその相違部分を検出することにより物体を検知するものである。このようにステレオ画像を用いる物体の検知技術が提案されているが、車両の周囲の画像を撮影して運転者が直視しにくい視野の補助を行うシステムにおいては応用されていない。
【０００３】
【特許文献１】特開２０００−６５９４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、車載のカメラで車両の周囲の画像を撮像し、視点変換などの画像処理を行って提示するシステムにおいて、カメラ画像だけを元にして視点位置を上げて俯瞰画像にするような視点変換を行った場合においては、路面の画像は提示画面上でほぼ正確な位置に表示されるが、路上にある車両や突起物などの、路面から高さを持つ物体は、実際に仮想視点から見た画像と異なることとなり、認識しずらい場合があった。  
本発明の目的は、路面上の高さのある物体を正確に認識することができる車両用画像提示装置及び方法を提供することにある。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、本発明は、車両の周辺の画像を提示する車両用画像提示装置において、車両の周辺の画像を撮影する第１の撮影手段と、車両の周辺の走行面を含む低い位置に照明を照射する照明手段と、この照明手段により照明が照射された車両の周辺を撮影する第２の撮影手段と、画像処理を行う画像処理手段と、前記画像処理手段により前記画像処理された画像を提示する画像提示手段とを有し、前記画像処理手段は、前記第２の撮影手段により撮影された画像について、前記照明手段により照明が照射されている領域と照射されていない領域とに分け、前記第１の撮影手段により撮影された画像について、前記照射されていない領域を識別するための画像処理を行い、前記画像提示手段は、前記走行面を含む位置において、高さを持たない物体と高さを持つ物体とを識別する画像提示を行う、という構成になっている。
【発明の効果】
【０００６】
本発明によれば、路面上の高さのある物体を正確に認識することができる車両用画像提示装置及び方法を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。  
《装置の構成》
図１は本発明の実施の形態の車両用画像提示装置の構成を示す図である。  
図１において、１は第１の撮影装置、２は照明装置、３は第２の撮影装置、４は画像処理装置、５は照明制御部、６は画像処理部、７は画像提示装置である。  
本実施の形態の車両用画像提示装置は、車両の周辺（周囲）の画像を撮影する撮影装置１と、車両の周辺の低い位置を照らす照明装置２と、照明装置２により照らされた車両の周辺を撮影する撮影装置３と、照明装置２の照明の照射を制御する照明制御部５と、撮影装置１により撮影された画像を、撮影装置３により撮影された画像に従って画像処理を行う画像処理部６と、照明制御部５と画像処理部６を有する画像処理装置４と、画像処理部６により画像処理された画像を提示（表示）する画像提示装置７とを備えている。  
撮影装置１は、例えば可視光を撮影するＣＣＤカメラやＣＭＯＳカメラで構成される。  
照明装置２は、例えば紫外や赤外の光を照射するＬＥＤランプで構成される。  
撮影装置３は、例えば照明装置２の波長に合わせた紫外領域用や赤外領域用のカメラで構成され、撮影装置１と同じ位置に設置されている。
【０００８】
画像処理装置４は、マイクロコンピュータとメモリから構成される。
【０００９】
照明制御部５は、例えば画像処理装置４上で動作するプログラムと、そのプログラムで動作する照明装置２であるＬＥＤランプのドライブ回路などから構成される。  
画像処理部６は、例えば画像処理装置６上で動作するプログラムや、それぞれの処理を回路として組み込んだＡＳＩＣ（Application Specific Integrated  Circuit）やＦＰＧＡ（Field Programmable Gate Array）から構成される。  
画像提示装置７は、例えば液晶ディスプレイで構成される。
【００１０】
《動作の流れ》
次に、以上のような構成の車両用画像提示装置及び車両用画像提示方法における動作の流れについて説明する。図２は本実施の形態のフローチャートである。  
まず、照明制御部５（図１参照）の制御により、照明装置２の照明の照射が無い状態で、撮影装置３を用いて車両の周辺の低い位置の画像を撮影し、その画像データを読み込む（Ｓ１０１）。  
次に、照明制御部５の制御により、照明装置２から照明を照射する（Ｓ１０２）。  
次に、撮影装置３を用いて照明装置２により照明が照射された車両の周辺の低い位置の画像を撮影し、その画像データを読み込む（Ｓ１０３）。  
次に、照明装置２の照明の照射を停止する（Ｓ１０４）。  
次に、撮影装置１を用いて車両の周辺の画像を撮影し、その画像データを読み込む（Ｓ１０５）。  
次に、Ｓ１０１で取得した照明無しの撮影装置３の画像と、Ｓ１０３で取得した照明有りの撮影装置３の画像の差分画像を計算して求める（Ｓ１０６）。  
次に、画像処理部６において、画像処理を行う（Ｓ１０７）。すなわち、まず、撮影装置３により撮影された画像について、照明装置２により照明が照射されている領域と照射されていない領域とに分け、撮影装置３の画像のうちで照明が照射されている領域を検出する。次に、Ｓ１０５で取得した撮影装置１の画像について、Ｓ１０６で求めた照明が照射されている領域については、そのままの画素データとし、照明が照射されていない領域については、色味成分を例えば赤色に設定したりするなどして、画素の色味を変更する画像処理を行う。  
次に、画像処理を終えると、生成された画像データを画像提示装置７に提示する（Ｓ１０８）。以降、Ｓ１０１からＳ１０８まで処理を繰り返す。
【００１１】
図３は、図１の撮影装置１により取得した画像例を示す図である。図３（ａ）は平面中に高さのある物体１０が置かれている配置の例を、（ｂ）はその場合の撮影装置１のカメラ画像の例を示す。（ｃ）については後述する。  
図４は、照明装置２と撮影装置３の設置位置の例を示す図である。図４（ａ）は照明装置２による照明領域と、撮影装置３による撮影領域の上面図を、（ｂ）はその側面図を示す。（ｂ）において、１１は照明照射位置（照明装置２の設置位置）、１２は撮影位置（撮影装置３の設置位置）である。
【００１２】
図５は、照明装置２を１個設置した場合の、撮影装置３で取得した画像を元に、撮影装置１の画像を画像処理した例を示す図である。図５（ａ）は平面中に高さのある物体１０が置かれている配置と照明領域の上面図を、（ｂ）はその場合の撮影装置３で取得した画像（照明領域の差分画像）の例を、（ｃ）は画像処理を行った画面の例を示す。（ｄ）については後述する。  
図６は、照明装置２を複数（図では３個）設置した場合の、撮影装置３で取得した画像を元に、撮影装置１の画像を画像処理した例を示す図である。図６（ａ）は平面中に高さのある物体１０が置かれている配置と照明領域の上面図を、（ｂ）はその場合の撮影装置３で取得した画像（照明領域の差分画像）の例を、（ｃ）は画像処理を行った画面の例を示す。（ｄ）については後述する。
【００１３】
Ｓ１０６で求める差分画像について、例えば照明装置２として赤外領域の照明を用い、照明装置２の照明が照射されている領域を撮影する撮影装置３として赤外カメラを用いている場合に、物体１０が熱を帯びており、赤外カメラの画像として物体１０が発光しているように見える場合を図７に示し、物体１０が熱を帯びておらず、赤外カメラの画像として物体１０が発光していない場合を図８に示す。図７、図８のそれぞれ（ａ）は照明領域の上面図、（ｂ）は照明が照射されていない場合の画像、（ｃ）は照明が照射されている場合の画像、（ｄ）は照明領域の差分画像である。図７及び図８のそれぞれ（ｃ）の照明が照射されている場合の画像から、（ｂ）の照明が照射されていない場合の画像の、画素データの差を求めれば、（ｄ）の照明領域の差分画像を求めることができる。  
本実施の形態では、車載した撮影装置１により取得した画像を、車両の周辺の路面を含む低い位置からの照明装置２の照明による画像の状態により、照明が照射されていない領域の色味を変えるように画像処理部６で処理する。そして、画像提示装置７に提示される画面において、路面から高さ成分がある場合は照明が照射されていない領域の色味を変えて表示するようにしたため、運転者は画面を見たときに路面と同レベルにある物体ではなく、高さ成分を持つ物体が表示されていることが一見してわかる。  
また、色味を変更する処理を行った画像について、仮想視点位置を設けて仮想視点を高く変更するような視点変換処理を加えた場合、実際に仮想視点位置に撮影装置１のカメラを置いた場合よりも物体が遠い位置に表示されてしまうが、これも高さのある領域の色味を変更して高さがあることが一見してわかるため、実際の物体の位置として色味の変わった地点として認識しやすくすることができる。
【００１４】
図３（ｃ）に撮影装置１の通常のカメラ画像を視点変換して俯瞰画面を作成した場合の画面の例を示す。図５（ｄ）に照明装置２を１個設置した場合の撮影装置３で取得した画像を元に、撮影装置１の画像を画像処理したものをさらに視点変換して俯瞰画面を作成した場合の画面の例を示す。図６（ｄ）に照明装置２を複数個（３個）設置した場合の撮影装置３で取得した画像を元に、撮影装置１の画像を画像処理したものをさらに視点変換して俯瞰画面を作成した場合の画面の例を示す。
【００１５】
以上説明したように本実施の形態の車両用画像提示装置は、車両の周辺の画像を撮影して提示する車両用画像提示装置において、車両の周辺の画像を撮影する第１の撮影装置１と、車両の周辺の走行面（路面、地面）を含む低い位置に照明を照射する照明装置２と、照明装置２により照明が照射された車両の周辺を撮影する第２の撮影装置３と、第１の撮影装置１により撮影された画像を、第２の撮影装置３により撮影された画像に従って画像処理を行う画像処理部６と、画像処理部６により画像処理された画像を提示する画像提示装置７とを備え、画像処理部６は、第２の撮影装置３により撮影された画像について、照明装置２により照明が照射されている領域と照射されていない領域とに分け、第１の撮影装置１により撮影された画像について、前記照射されていない領域に該当する範囲を識別するための画像処理を行い、画像提示装置７は、前記走行面を含む位置において、高さを持たない物体と高さを持つ物体（物体の一部の部分の場合も含む）１０とを識別する画像提示を行う、という構成になっている。
【００１６】
また、本実施の形態の車両用画像提示方法は、車両の周辺の画像を撮影して提示する車両用画像提示方法において、車両の周辺の画像を撮影する第１の撮影工程（Ｓ１０５）と、車両の周辺の走行面を含む位置に照明を照射する照明工程（Ｓ１０２）と、該照明工程により照明が照射された車両の周辺を撮影する第２の撮影工程（Ｓ１０３）と、前記第１の撮影工程（Ｓ１０５）により撮影された画像を、前記第２の撮影工程（Ｓ１０３）により撮影された画像に従って画像処理を行う画像処理工程（Ｓ１０７）と、該画像処理工程（Ｓ１０７）により画像処理された画像を提示する画像提示工程（Ｓ１０８）とを有し、前記画像処理工程（Ｓ１０７）は、前記第２の撮影工程（Ｓ１０３）において撮影された画像について、前記照明工程（Ｓ１０２）により照明が照射されている領域と照射されていない領域とに分け、前記第１の撮影工程（Ｓ１０５）により撮影された画像について、前記照射されていない領域を識別するための画像処理を行い、前記画像提示工程（Ｓ１０８）は、前記走行面を含む位置において、高さを持たない物体と高さを持つ物体１０とを識別する画像提示を行う、という構成になっている。  
このような構成によれば、車載カメラ等の第１の撮影装置１で撮影している画像中に高さのある物体１０がある場合、高さのある部分と高さのない部分を運転者が識別できるように、その画像の照明が照射されていない領域の色等を変更して識別できるような画像処理を行い、表示するようにしたため、提示される車両周囲の画像を見たときに、運転者が高さのある物体を判別しやすくなる。
【００１７】
また、前記識別するための画像処理は、前記照射されていない領域の色を変更する処理である。このように色等を変更して識別しやくしたため、運転者が高さのある物体を判別しやすくなる。  
また、照明装置２の照明の照射をオン、オフする照明制御部５をさらに備え、画像処理部６は、前記オンとオフとの２つの画像の差分を求めた差分画像から、前記照射されている領域と照射されていない領域とを判断するようになっている。このような構成により高さのある物体を判別しやすくなるという上記と同様の効果を得ることが可能となり、それに加えて高さのある物体１０を画像の中から取り出す際に、照明が照射されているか否かだけでなく、照明が照射されていない画面との差分により求めるようにしたため、照射している照明以外の影響を低減することが可能となる。  
さらに、照明装置２として不可視光源を用い、第２の撮影装置３として照明装置２の照明の波長に応じた不可視光領域用カメラを用いている。このような構成により高さのある物体を判別しやすくなる上記と同様の効果を得ることが可能となる。
【００１８】
なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、前記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。  
例えば本実施の形態の照明装置２として、例えば紫外領域の照明を用い、照明装置２の照明が照射されている領域を撮影する撮影装置３として紫外領域のカメラを用いて、夜間専用の機能とする場合を考える。この場合、本実施の形態における図１に示す構成から照明制御部５を除外して、照明が照射されている場合の画像と照射されていない場合の画像との差分画像を用いずに画像処理を行って、画面提示をしても同様の効果を得ることができる。また、第１の撮影装置１、第２の撮影装置３、照明装置２の数は１個設ける場合でも複数個設ける場合でも可能である。
【００１９】
なお、特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明すると、実施の形態の図１における第１の撮影装置１が第１の撮影手段に、照明装置２が照明手段に、第２の撮影装置３が第２の撮影手段に、画像処理部６が画像処理手段に、画像提示装置７が画像提示手段に、照明制御部５が照明制御手段に、図２のＳ１０５が第１の撮影工程に、Ｓ１０２が照明工程に、Ｓ１０３が第２の撮影工程に、Ｓ１０７が画像処理工程に、Ｓ１０８が画像提示工程にそれぞれ対応する。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態の車両用画像提示装置の構成を示す図である。
【図２】本発明の実施の形態の動作の流れを示すフローチャートである。
【図３】（ａ）は平面中に高さのある物体が置かれている配置、（ｂ）は本発明の実施の形態の第１の撮影装置の画像、（ｃ）は視点変換して作成した俯瞰画面を示す図である。
【図４】（ａ）は本発明の実施の形態の照明領域と第２の撮影装置の撮影領域の上面図、（ｂ）は照明装置と第２の撮影装置の設置位置を示す（ａ）の側面図である。
【図５】本発明の実施の形態の照明装置が１個の場合の第２の撮影装置の画像に元づいて画像処理した第１の撮影装置の画像を示し、（ａ）は照明領域の上面図、（ｂ）は照明領域の差分画像、（ｃ）は画像処理後の画面、（ｄ）は第２の撮影装置の画像に元づいて画像処理した第１の撮影装置の画像をさらに視点変換して作成した俯瞰画面を示す図である。
【図６】本発明の実施の形態の照明装置が複数の場合の第２の撮影装置の画像に元づいて画像処理した第１の撮影装置の画像を示し、（ａ）は照明領域の上面図、（ｂ）は照明領域の差分画像、（ｃ）は画像処理後の画面、（ｄ）は第２の撮影装置の画像に元づいて画像処理した第１の撮影装置の画像をさらに視点変換して作成した俯瞰画面を示す図である。
【図７】本発明の実施の形態の差分画像について、赤外領域照明と赤外カメラを用い、熱を帯びた物体が発光している場合を示し、（ａ）は照明領域の上面図、（ｂ）は照明が照射されていない画像、（ｃ）は照明が照射されている画像、（ｄ）は照明領域の差分画像を示す図である。
【図８】本発明の実施の形態の熱を帯びていない物体が発光していない場合を示し、（ａ）は照明領域の上面図、（ｂ）は照明が照射されていない画像、（ｃ）は照明が照射されている画像、（ｄ）は照明領域の差分画像を示す図である。
【符号の説明】
【００２１】
１…第１の撮影装置                    ２…照明装置
３…第２の撮影装置                    ４…画像処理装置
５…照明制御部                        ６…画像処理部
７…画像提示装置                    １０…物体
１１…照明照射位置                    １２…撮影位置
【図１】
2006211456.tif 000003
【図２】
2006211456.tif 000004
【図３】
2006211456.tif 000005
【図４】
2006211456.tif 000006
【図５】
2006211456.tif 000007
【図６】
2006211456.tif 000008
【図７】
2006211456.tif 000009
【図８】
2006211456.tif 000010