(57)【要約】      （修正有）【課題】撮像画像に重畳して表示する境界線の視認性を良好に保つ。【解決手段】車両の一部が撮像された車両領域と車両の周辺部が撮像された周辺領域とを含む撮像画像をカメラ１によって撮像し、撮像画像に対して車両領域と周辺領域との境界を示す境界線を画像処理装置２によって重畳して描画して、画像処理装置２によって処理された処理画像を表示装置３に表示する。画像処理装置２は、カメラ１の撮影画像における車両領域と周辺領域の境界部分に重畳して描画する境界線の描画形態を、境界線が重畳されるカメラ１の撮像画像に基づいて決定する。【選択図】図１
2007156807.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺の画像を表示して運転者の運転操作を支援する車両用運転支援装置において、
前記車両の一部が撮像された車両領域と前記車両の周辺部が撮像された周辺領域とを含む画像を撮像する撮像手段と、
前記撮像手段で撮像された画像に対して前記車両領域と前記周辺領域との境界を示す境界線を重畳して描画し、処理画像を出力する画像処理手段と、
前記画像処理手段から出力された前記処理画像を表示する表示手段とを備え、
前記画像処理手段は、前記撮像手段で撮像された画像に基づいて、前記境界線の描画形態を決定することを特徴とする車両用運転支援装置。
【請求項２】
前記画像処理手段は、前記車両領域の色情報と前記周辺領域の色情報とのうちの少なくともいずれかに基づいて、前記境界線の描画形態を決定することを特徴とする請求項１に記載の車両用運転支援装置。
【請求項３】
前記画像処理手段は、前記車両領域の色情報と前記周辺領域の色情報とを比較し、これら色情報の差異の大きさに応じて、前記境界線を描画するか否かを決定することを特徴とする請求項２に記載の車両用運転支援装置。
【請求項４】
前記画像処理手段は、前記車両領域の色情報と前記周辺領域の色情報とを比較し、これら色情報の差異の大きさに応じて、前記境界線の描画色を決定することを特徴とする請求項２に記載の車両用運転支援装置。
【請求項５】
前記画像処理手段は、前記車両領域の色情報と前記周辺領域の色情報とを比較し、これら色情報の差異の大きさに応じて、前記境界線の描画濃度を決定することを特徴とする請求項２に記載の車両用運転支援装置。
【請求項６】
前記画像処理手段は、前記車両領域の色情報と前記周辺領域の色情報とを比較し、これら色情報の差異の大きさに応じて、前記境界線の描画太さを決定することを特徴とする請求項２に記載の車両用運転支援装置。
【請求項７】
前記画像処理手段は、前記境界線の描画形態を決定するに際して、前記車両領域と前記周辺領域の少なくともいずれかにおける前記境界線の近傍部の色情報に基づいて、前記描画形態を決定することを特徴とする請求項２に記載の車両用運転支援装置。
【請求項８】
車両周辺の画像を表示して運転者の運転操作を支援する運転支援方法において、
前記車両の一部が撮像された車両領域と前記車両の周辺部が撮像された周辺領域とを含む画像を撮像する撮像ステップと、
前記撮像ステップで撮像した画像に基づいて、前記車両領域と前記周辺領域との境界を示す境界線の描画形態を決定する描画形態決定ステップと、
前記画像撮像ステップで撮像した画像に対して、前記描画形態決定ステップで決定した描画形態で前記境界線を重畳して描画する描画ステップと、
前記描画ステップで境界線が描画された画像を表示する表示ステップとを有することを特徴とする運転支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の画像を表示して運転者の運転操作を支援する車両用運転支援装置及び運転支援方法に関する。
【背景技術】
【０００２】
従来、車両に搭載されたＣＣＤカメラなどの撮像装置で車両周辺の画像を撮像し、この撮像装置で撮像した画像を車室内に設置された液晶ディスプレイなどの表示装置に表示することで、運転者の運転操作を支援する技術が提案されている。車両周辺の様子を画像として表示する場合、表示された画像に現れる物体等が車両に対してどのような位置にあるかを、運転者が適切に認識できるようにすることが重要である。このような観点から、通常は、撮像装置で車両の一部が映り込むように車両周辺の領域の画像を撮像し、表示装置に車両の一部を含む画像を表示させるようにしている。
【０００３】
また、このように車両の一部を含む画像を表示装置に表示させる際には、車両部分と車両周囲領域との境界が明確であることが望ましく、このような観点から、撮像装置で撮像された画像における車両部分と車両周囲領域との境界に境界線を重畳して描画し、境界線が重畳された画像を表示装置に表示させる試みもなされている（例えば、特許文献１参照。）。
【特許文献１】特開２０００−２２７９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されている技術では、車両部分と車両周囲領域との境界に重畳する境界線を、予め定めた所定の描画形態で描画するようにしているので、車両周囲の環境によっては、境界線の視認性が悪化するという問題がある。すなわち、車両周囲の環境は様々に変化するものであり、撮像装置で撮像された画像内における車両周囲領域の色や明るさは一定ではない。また、車両周囲の照明状態によっては、撮像装置で撮像された画像内における車両の色が変化することもあり、また、車両に対して上空の青空や雲、或いは駐車場の天井などの映り込みが生じる影響により、画像内における車両の色や明るさなども様々に変化する場合がある。このため、車両周囲の環境によっては、画像に重畳して描画した境界線が車両や周囲領域と同化して、その視認性が悪化してしまい、適切な運転支援を行う上で障害になるという問題があった。
【０００５】
本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両周囲の環境によらず、画像に重畳して表示する境界線の視認性を良好に保つことが可能な車両用運転支援装置及び運転支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、前記目的を達成するために、撮影手段で撮影された画像における車両領域と周辺領域との境界部分に境界線を重畳して描画するにあたって、当該境界線の描画形態を、当該境界線が重畳される画像に基づいて決定するようにした。
【発明の効果】
【０００７】
本発明によれば、撮影手段で撮影された画像に重畳して描画される境界線の描画形態を、当該境界線が重畳される画像に基づいて決定するようにしているので、車両周囲の環境に応じた最適な描画形態で境界線を描画することができ、境界線の視認性を向上させることができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。
【０００９】
図１は、本発明を適用した車両用運転支援装置の概略構成を示すブロック図である。本実施形態の車両用運転支援装置は、図１に示すように、車両に設置されて車両周辺の領域の画像を撮像するカメラ１と、カメラ１により撮像された画像に対して各種画像処理を施す画像処理装置２と、車両の車室内に設置され、画像処理装置２から出力された処理画像を表示する表示装置３とを備えて構成される。
【００１０】
カメラ１は、例えば、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)型素子を撮像素子として備え、車両周辺の領域の画像を撮像して電気信号に変換し、映像信号として画像処理装置２に出力する。なお、本実施形態では、図２に示すように、カメラ１が車両１００の後部に取り付けられて、車両１００後部の領域の画像を撮像するものとして説明するが、カメラ１の取り付け位置は、画像として表示することが望まれる車両周辺領域の位置に合わせて任意に設定すればよく、また、複数の領域に合わせて複数台のカメラ１を設置するようにしてもよい。
【００１１】
図３は、カメラ１により撮像されて表示装置３に表示される車両後部の領域の画像の一例を示す図である。本実施形態の運転支援装置において、カメラ１は、図３に示すように、車両の一部（本例では、車両後部の一部）が撮像された車両領域Ｒ１と、車両の周辺部（車両後方の外部領域）が撮像された周辺領域Ｒ２とを含む画像を撮像する。このように、車両領域Ｒ１と周辺領域Ｒ２とを含む画像をカメラ１で撮像して、表示装置３に表示させることによって、運転者は、周辺領域Ｒ２内に存在する物体が車両に対してどのような位置関係にあるかを、画像に含まれる車両領域Ｒ１を目安として判断することができるので、運転操作を支援するための画像として非常に有効である。
【００１２】
画像処理装置２は、カメラ１で撮像されて映像信号として入力された車両後部の領域の画像に対して、車両領域Ｒ１と周辺領域Ｒ２との境界部分に境界線Ｌ（図３参照）を重畳して描画する処理を行ない、処理画像として表示装置３に出力するものであり、例えば、各種の電気・電子素子によって構成された映像処理回路や、半導体チップによって構成されたデジタル画像処理回路などによって構成されている。
【００１３】
特に、この画像処理装置２は、本発明に関わる部分として、図１に示すように、カメラ１から映像信号として入力された画像をフレーム毎に一時的に保持する入力フレームバッファ１１と、入力フレームバッファ１１に保持されたカメラ１の撮像画像についての色情報を測定する色情報測定部１２と、色情報測定部１２によって測定された色情報に基づいて、カメラ１の撮影画像における車両領域Ｒ１と周辺領域Ｒ２との境界を示す境界線の描画形態を決定する描画形態決定部１３と、描画形態決定部１３によって決定された描画形態に従ってカメラ１の撮像画像に境界線を重畳する描画重畳部１４と、描画重畳部１４によって境界線が描画された処理画像をフレーム毎に一時保持する出力フレームバッファ１５とを有し、出力フレームバッファ１５に保持された処理画像を表示装置３に出力する。
【００１４】
表示装置３は、例えば液晶表示パネルや有機ＥＬパネルなどの表示パネルを備え、画像処理装置２から出力された処理画像を表示する。表示装置３は、車両の車室内において運転席に着座した運転者から視認可能な位置に配設される。なお、この表示装置３としては、車両用運転支援装置について専用のものを用いてもよいが、例えば車両にナビゲーション装置などが搭載されている場合には、このナビゲーション装置などが備える表示装置を利用し、運転者の操作などに応じて、必要な場合にこの表示装置に車両周囲の画像を表示するようにしてもよい。
【００１５】
以上のような車両用運転支援装置が搭載された車両の運転者は、表示装置３に表示された画像を参照しながら車両と車両周辺に存在する物体との距離や方向を把握する。このとき、車両領域Ｒ１と周辺領域Ｒ２との色が似ているような状況の下では、車両領域Ｒ１と周辺領域Ｒ２との境界を判別しにくくなり、結果的に車両と車両周辺に存在する物体との位置関係が把握しにくくなるといった事態が生じることが考えられる。また、カメラ１のピントおよび露光調整は、一般に周辺領域Ｒ２の撮像に最適化されているため、車両領域Ｒ１として撮像された車両の一部については、輪郭にぼけが生じやすく最適な露光状態で撮像されていない場合がある。このような事情も、結果的に車両と車両周辺の物体との位置関係を把握しにくくする要因となる。
【００１６】
そこで、本実施形態の車両用運転支援装置においては、カメラ１によって撮像された撮像画像に対して画像処理装置２によって境界線Ｌを重畳して描画する際に、画像処理装置２がカメラ１の撮像画像に基づいて境界線Ｌの描画形態を決定し、決定された描画形態に従って境界線Ｌを重畳描画するようにしている。これにより、本実施形態の車両用運転支援装置では、どのような外部環境の下においても、カメラ１の撮像画像に応じて視認性が高い描画形態で境界線Ｌを描画することができ、結果として表示装置３に表示される画像における車両領域Ｒ１と周辺領域Ｒ２との境界の視認性を向上させることができる。
【００１７】
ここで、本実施形態の車両用運転支援装置における画像処理装置２で実行される画像処理の一例について、図４に示すフローチャートを参照しながら説明する。
【００１８】
車両用運転支援装置の動作が開始すると、カメラ１によって車両周辺領域（本実施形態においては車両後方領域）の画像が撮像されて、映像信号として画像処理装置２に入力される（ステップＳ１）。画像処理装置２は、カメラ１の撮像画像が映像信号として入力されると、この撮影画像をフレーム毎に入力フレームバッファ１１に一時的に保持する。
【００１９】
次に、色情報測定部１２が、入力フレームバッファ１１に保持されたカメラ１の撮像画像についての色情報を測定する（ステップＳ２）。このとき、色情報測定部１２は、図２に例示したような車両領域Ｒ１と周辺領域Ｒ２とについてそれぞれ色情報の測定を行い、各領域についてそれぞれ色情報Ａと色情報Ｂとを得る。
【００２０】
なお、色情報Ａ及び色情報Ｂの取得手法は任意であるが、例えば、入力フレームバッファ１１に保持されるカメラ１の撮像画像が、各画素（ピクセル）毎に色データとして２４ビットのＲ（赤），Ｇ（緑），Ｂ（青）値を有する画像形式である場合には、各領域Ｒ１，Ｒ２に含まれる全画素の色データの平均値を算出することにより、色情報Ａ，Ｂを得ることができる。
【００２１】
また、各領域Ｒ１，Ｒ２内で特徴的な画素を所定数だけ予め処理対象として抜き出し、抜き出した画素についての色データの平均値を算出することによって色情報Ａ，Ｂを得るようにしてもよい。具体的には、例えば、各領域Ｒ１，Ｒ２について、予め縦４ピクセル横４ピクセルの１６ピクセルを一単位として分割し、各単位について左上の点の色を各単位を代表する色情報とする。そして、各単位の色情報の平均を算出することで、各領域Ｒ１，Ｒ２についての色情報Ａ，Ｂを得るとしてもよい。これにより、色情報測定部１２によって処理する画素数が全ての画素を対象とする場合の１／１６となるため、色情報測定部１２の画像処理能力が比較的低い場合であっても、短時間で色情報Ａ，Ｂを算出することができる。
【００２２】
また、色情報測定部１２における色情報の取得処理としては、例えば図５に示すように、描画する境界線Ｌの近傍に色情報の取得対象とする所定の領域Ｒ３を予め設定し、この領域Ｒ３内の画素についてのみ色情報の算出処理を施すとしてもよい。具体的には、図５に示すように、領域Ｒ３内において、車両領域Ｒ１と重なる部分を領域Ｒ１’とし、周辺領域Ｒ２と重なる部分を領域Ｒ２’とする。そして、各領域Ｒ１’，Ｒ２’内の画素のみについて色情報の平均を算出することで、それぞれ色情報Ａ，Ｂを得る。
【００２３】
このように、色情報の算出処理を施す範囲を予め限定しておくことにより、色情報測定部１２によって処理する画素数を低減することができるため、色情報測定部１２の画像処理能力が比較的低い場合であっても短時間で色情報Ａ，Ｂを算出することができる。また、境界線Ｌの近傍部分についての画素のみを色情報の算出対象とすることにより、境界線Ｌの描画形態をより効果的に決定することができ、境界線Ｌの視認性をより効果的に向上させることができる。
【００２４】
次に、以上のようにして取得された車両領域Ｒ１と周辺領域Ｒ２とについての色情報Ａ，Ｂに基づいて、描画形態決定部１３は、境界線Ｌの描画形態を決定する。
【００２５】
ここで、色情報Ａと色情報Ｂとの距離ＣＬを以下に示す式１によって定義する。
【００２６】
ＣＬ＝｜Ｒ１−Ｒ２｜＋｜Ｇ１−Ｇ２｜＋｜Ｂ１−Ｂ２｜    ・・・（式１）
なお、色情報測定部１２によって測定された色情報Ａ，Ｂは、それぞれ２４ビットのＲＧＢデータとして表現された色情報を有しているものとする。また、色情報ＡのＲ，Ｇ，Ｂ値をそれぞれＲ１，Ｇ１，Ｂ１とし、色情報ＢのＲ，Ｇ，Ｂ値をそれぞれＲ２，Ｇ２，Ｂ２とする。描画形態決定部１３は、まず、上記の式１に基づいて、色情報Ａと色情報Ｂとの差（距離）ＣＬを算出する（ステップＳ３）。
【００２７】
次に、描画形態決定部１３は、算出した色情報Ａと色情報Ｂとの差ＣＬに基づいて境界線Ｌの描画色を決定する（ステップＳ４）。このとき、境界線Ｌの描画色として、車両領域Ｒ１の代表色である色情報Ａと、周辺領域Ｒ２の代表色である色情報Ｂとからともに離れた距離にある色を決定することにより、境界線Ｌの視認性を向上させることができるため、色情報Ａと色情報Ｂとの双方から予め定めた基準距離以上の距離だけ離れた色を、境界線Ｌの描画色として決定する。
【００２８】
なお、境界線Ｌの描画色は、例えば上記の式１などに基づいて、カメラ１の撮像画像の各フレーム毎に動的に決定するとしてもよいが、予め数パターンの描画色を用意しておき、用意された描画色のうちから、色情報Ａと色情報Ｂとから基準距離以上離れた色を選択的に決定するとしてもよい。これにより、境界線Ｌの描画色の決定に要する演算量を大幅に削減することができる。
【００２９】
また、本実施形態においては、境界線Ｌの描画色を決定するに際して色情報Ａと色情報Ｂとの双方を利用しているが、車両領域Ｒ１の代表色である色情報Ａと、周辺領域Ｒ２の代表色である色情報Ｂとのうち、いずれか一方のみに基づいて境界線Ｌの描画色を決定するようにしてもよい。また、色情報Ａ，Ｂの双方を利用する場合においても、例えば、色情報Ａ，Ｂのうちのどちらを優先して境界線Ｌの描画色を決定するかを予め決めておき、色情報Ａと色情報Ｂとの双方に対して基準距離以上離れた色を選択することが不能な場合には、優先する色情報から基準距離だけ離れた色を選択するとしてもよい。
【００３０】
また、色情報Ａ，Ｂ間の距離が離れている場合には、車両領域Ｒ１と周辺領域Ｒ２との視認性がもともと高い状態にあると推測されるため、境界線Ｌの描画色を殊更に目立たせる必要がないと考えられる。この場合には、色情報Ａと色情報Ｂとの差に反比例するような数式に基づいて基準距離を算出し、算出された基準距離に基づいて境界線Ｌの描画色を決定するとしてもよい。この場合、色情報Ａと色情報Ｂとの距離が大きく離れている場合には基準距離が小さくなり、色情報Ａと色情報Ｂとの距離が接近している場合には基準距離を大きくとることで、画像処理装置２に入力される撮像画像に応じて、適切な描画色を決定することが可能となる。
【００３１】
さらに、本実施形態においては、境界線Ｌを必ず描画する場合を想定しているが、例えば、色情報Ａ，Ｂ間の距離が十分に離れている場合には、描画形態決定部１３によって境界線Ｌの描画を不要と判定し、境界線Ｌの描画をしないことを決定するとしてもよい。
【００３２】
以上のように境界線Ｌの描画色が決定されると、描画形態決定部１３は、次に、色情報Ａと色情報Ｂとの差ＣＬに基づいて、境界線Ｌの描画濃度を決定する（ステップＳ５）。具体的には、色情報Ａと色情報Ｂとの差ＣＬが大きいほど濃度が低く、色情報Ａと色情報Ｂとの差ＣＬが小さいほど濃度が高くなるように、境界線Ｌの描画濃度を決定する。次に、描画形態決定部５２は、色情報Ａと色情報Ｂとの差ＣＬに基づいて、境界線Ｌの描画太さを決定する（ステップＳ６）。具体的には、色情報Ａと色情報Ｂとの差ＣＬが大きいほど細い線、色情報Ａと色情報Ｂとの差ＣＬが小さいほど太い線となるように、境界線Ｌの描画太さを決定する。
【００３３】
なお、ステップＳ５及びステップＳ６における処理においても、上述したステップＳ４における処理と同様に、車両領域Ｒ１の代表色である色情報Ａと、周辺領域Ｒ２の代表色である色情報Ｂとのうち、いずれか一方のみに基づいて境界線Ｌの描画濃度や描画太さを決定するとしてもよい。
【００３４】
以上のようにして描画形態決定部１３により境界線Ｌの描画形態が決定されると、次に、描画重畳部１４が、描画形態決定部１３によって決定された描画形態に従って、カメラ１の撮像画像における車両領域Ｒ１と周辺領域Ｒ２との境界部分に、境界線Ｌを重畳して描画する（ステップＳ７）。なお、このステップＳ７における描画処理は、画像処理の分野で一般的な技術を利用することができるため、ここでの詳細な説明は割愛する。なお、描画形態決定部１３によって、境界線Ｌを描画しないと判断された場合には、ステップＳ５からステップＳ７までの処理は省略される。
【００３５】
描画重畳部１４によって境界線Ｌが描画された処理画像は、出力フレームバッファ１５に送られて、フレーム毎に出力フレームバッファ１５に一時的に保持される。そして、この出力フレームバッファ１５に一時保持された処理画像が表示装置３に出力されることにより（ステップＳ８）、表示装置３に図２に例示したような画像が表示される。
【００３６】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用運転支援装置では、カメラ１によって撮像された撮像画像に基づいて、当該撮影画像における車両領域Ｒ１と周辺領域Ｒ２との境界部分に重畳して描画する境界線Ｌの描画形態を決定するようにしているので、車両の外部環境に応じて変化する車両自体の撮像色や車両周辺領域の撮像色に応じて最適な描画形態で境界線Ｌを描画することができる。したがって、本実施形態の車両用運転支援装置によれば、どのような外部環境の下においても、車両領域Ｒ１と周辺領域Ｒ２との境界部分に視認性が良好な境界線Ｌを重畳した車両周囲の画像を表示装置３に表示させることができ、運転者による運転操作を適切に支援することができる。
【００３７】
なお、以上で説明した実施形態においては、境界線Ｌの描画形態として、描画色、描画濃度、描画太さをそれぞれ決定し、決定された描画色、描画濃度、描画太さに基づいて境界線Ｌを描画しているが、描画色、描画濃度、描画太さのうちの少なくともひとつを色情報Ａ，Ｂに基づいて動的に決定し、残りは予め設定された規定値を用いて境界線Ｌを描画するとしてもよい。また、描画形態としては、描画色、描画濃度、或いは描画太さに限定されるものではなく、例えば、境界線Ｌをアニメーション表示させる場合などにおいては、アニメーションの形態や、点滅表示の早さなどを描画形態として撮像画像に基づいて決定するとしてもよい。
【図面の簡単な説明】
【００３８】
【図１】本発明を適用した車両用運転支援装置の概略構成を示すブロック図である。
【図２】カメラの取り付け位置の一例を説明する模式図である。
【図３】カメラにより撮像されて表示装置に表示される車両後方画像の一例を示す図である。
【図４】画像処理装置において実行される画像処理の一例を示すフローチャートである。
【図５】画像処理装置における画像処理手法のバリエーションを説明する図であり、撮像画像における境界線近傍の領域を処理対象とする例を説明する図である。
【符号の説明】
【００３９】
１  カメラ
２  画像処理装置
３  表示装置
１１  入力フレームバッファ
１２  色情報測定部
１３  描画形態決定部
１４  描画重畳部
１５  出力フレームバッファ
１００  車両
Ｒ１  車両領域
Ｒ２  周辺領域
Ｌ  境界線
【図１】
2007156807.tif 000003
【図２】
2007156807.tif 000004
【図３】
2007156807.tif 000005
【図４】
2007156807.tif 000006
【図５】
2007156807.tif 000007