(57)【要約】【課題】処理後の画像の視認性が悪化するのを抑制できるとともに、運転支援の精度が低下するのを抑制できる運転支援装置を提供する。【解決手段】自車両の周辺を撮像する複数のカメラ２１〜２４と、複数のカメラ２１〜２４により撮像された各々の画像を処理する画像処理部３５と、を備えた運転支援装置１０において、各々の画像のうち、処理に不適切な不適切画像を抽出する抽出部３３をさらに備え、画像処理部３５は、不適切画像を除外することを特徴としている。【選択図】図１
2014191475.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周辺を撮像する複数の撮像部と、
複数の前記撮像部により撮像された各々の画像を処理する画像処理部と、
を備えた運転支援装置において、
各々の前記画像のうち、前記処理に不適切な不適切画像を抽出する抽出部をさらに備え、
前記画像処理部は、前記不適切画像を除外することを特徴とする運転支援装置。
【請求項２】
請求項１に記載の運転支援装置であって、
複数の前記撮像部は、それぞれ前記自車両の周辺における異なる方向を撮像することを特徴とする運転支援装置。
【請求項３】
請求項１または２に記載の運転支援装置であって、
前記撮像部により撮像された各々の前記画像の明るさに起因する数値を演算する演算部を備え、
前記抽出部は、前記演算部の結果に基づいて前記不適切画像を抽出することを特徴とする運転支援装置。
【請求項４】
請求項３に記載の運転支援装置であって、
前記演算部は、各々の前記画像の明るさに起因する数値の平均値を算出し、
前記抽出部は、各々の前記画像のうち、前記平均値が所定値以上である前記画像を前記不適切画像として抽出することを特徴とする運転支援装置。
【請求項５】
請求項３に記載の運転支援装置であって、
前記演算部は、各々の前記画像の明るさに起因する数値の平均値を算出し、
前記抽出部は、各々の前記画像のうち一の画像の前記平均値と他の画像の前記平均値との差の合計値、もしくは前記一の画像の前記平均値と前記他の画像の前記平均値との差の平均値が所定値以上である場合には、前記一の画像を前記不適切画像として抽出することを特徴とする運転支援装置。
【請求項６】
請求項１に記載の運転支援装置であって、
前記画像処理部は、各々の前記画像における直線情報を取得し、
前記抽出部は、前記直線情報に基づいて前記不適切画像を抽出することを特徴とする運転支援装置。
【請求項７】
請求項６に記載の運転支援装置であって、
前記自車両が位置する周辺のマップ情報を取得するマップ情報取得部を備え、
前記抽出部は、前記直線情報と前記マップ情報とに基づいて前記不適切画像を抽出することを特徴とする運転支援装置。
【請求項８】
請求項７に記載の運転支援装置であって、
前記抽出部は、各々の前記画像のうち、一の画像における前記直線情報と前記マップ情報との比較を行い、前記マップ情報に対してマッチングする前記直線情報が所定数以上である場合、もしくは前記マップ情報に対してマッチングする前記直線情報が全く存在しない場合には、前記一の画像を前記不適切画像として抽出することを特徴とする運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、運転支援装置に関するものである。
【背景技術】
【０００２】
従来、自動車等の車両用の運転支援装置として、例えば車両に搭載された複数のカメラにより撮像される複数の画像を処理して合成し、自車両の周辺の物体（例えば、前方車両や障害物）等の情報をディスプレイに表示することにより、自車両の進路誘導等を行うものが知られている。
【０００３】
ところで、一般に、車両に搭載される複数のカメラは、車両の周辺情報を得るために、それぞれ異なった位置に取り付けられる。このため、各カメラにより撮像される画像は、例えば光の差込み具合の違い等に起因して、輝度や彩度、コントラスト等が異なることになる。したがって、各カメラにより撮像された複数の画像を合成してディスプレイに表示する場合、単に画像を合成しただけでは、所定の輝度や彩度、コントラスト等を有する合成画像が得られず、合成画像の視認性が悪化するおそれがある。
【０００４】
上述の問題を解決するために、例えば特許文献１には、運転支援装置の複数のカメラにより撮像された画像を処理する方法として、複数のカメラのうち隣接するカメラにより撮像された画像の画素データ間の差違が小さくなるように補正し、複数のカメラの合成画像を画面に表示するカメラの画像合成表示方法が記載されている。具体的には、複数（特許文献１では８台）のカメラにより撮像された複数の画像のうち、各画像の平均値に最も近い画像を基準画像とする。そして、この基準画像を撮像する基準カメラと隣接するカメラにより撮像された画像の輝度が、基準画像の輝度と等しくなるように、隣接するカメラの画像を補正する。これにより、複数の車載カメラにより撮像された画像から、視認しやすい合成画像をリアルタイムに生成することができるとされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３２４２３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１においては、例えば輝度が著しく高く視認性の悪い画像が複数存在する場合には、各画像の平均値に最も近い画像として、視認性の悪い画像が基準画像として選択されるおそれがある。このため、視認性の悪い基準画像に基づいて各画像を補正して処理した場合には、処理後の画像の視認性が悪化するおそれがあるとともに、処理後の画像を使用した運転支援の精度が低下するおそれがある。
【０００７】
そこで本発明は、上述した事情に鑑みてなされたものであって、処理後の画像の視認性が悪化するのを抑制できるとともに、運転支援の精度が低下するのを抑制できる運転支援装置の提供を課題とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明の請求項１に記載の運転支援装置（例えば、実施形態における運転支援装置１０）は、自車両（例えば、実施形態における自車両１）の周辺を撮像する複数の撮像部（例えば、実施形態における前方カメラ２１、後方カメラ２２、左側方カメラ２３、右側方カメラ２４）と、複数の前記撮像部により撮像された各々の画像（例えば、実施形態における前方カメラ２１の画像２１ａ、後方カメラ２２の画像２２ａ、左側方カメラ２３の画像２３ａ、右側方カメラ２４の画像２４ａ）を処理する画像処理部（例えば、実施形態における画像処理部３５）と、を備えた運転支援装置において、各々の前記画像のうち、前記処理に不適切な不適切画像（例えば、実施形態における前方カメラ２１の画像２１ａ）を抽出する抽出部（例えば、実施形態における抽出部３３）をさらに備え、前記画像処理部は、前記不適切画像を除外することを特徴としている。
【０００９】
本発明によれば、各々の画像の処理に不適切な不適切画像を抽出する抽出部を備え、画像処理部は、不適切画像を除外するので、不適切画像を使用することなく各々の画像を処理することができる。これにより、不適切画像の影響を受けることなく各々の画像を処理できるので、処理後の画像の視認性が悪化するのを抑制できる。また、視認性の悪化が抑制された処理後の画像を運転支援装置による運転支援の際に使用することにより、運転支援の精度が低下するのを抑制できる。
【００１０】
また、本発明の請求項２に記載の発明は、複数の前記撮像部は、それぞれ前記自車両の周辺における異なる方向を撮像することを特徴としている。
【００１１】
本発明によれば、複数の撮像部で自車両の周辺における異なる方向を撮像することにより、各々の画像間において、例えば太陽光等の光の影響を異ならせることができる。したがって、各々の画像を比較することにより各々の画像における太陽光等の光の影響度合いを精度よく検知できるとともに、太陽光等の光の影響を著しく受けることにより生成される不適切画像の数を減少させることができる。すなわち、除外する不適切画像の数を減少させることができるので、処理後の画像の精度を向上できるとともに視認性が悪化するのをさらに抑制できる。
【００１２】
また、本発明の請求項３に記載の発明は、前記撮像部により撮像された各々の前記画像の明るさに起因する数値を演算する演算部（例えば、実施形態における演算部３１）を備え、前記抽出部は、前記演算部の結果に基づいて前記不適切画像を抽出することを特徴としている。
【００１３】
本発明によれば、撮像部により撮像された各々の画像の明るさに起因する数値を演算する演算部を備えているので、太陽光等の光の影響を、例えば画像の輝度や彩度、コントラスト等として数値化することができる。また、抽出部は、演算部の結果に基づいて不適切画像を抽出するので、数値化されたデータを基に、確実に不適切画像を抽出できる。したがって、太陽光等の光の影響を著しく受けることにより生成される不適切画像を確実に除外できるので、処理後の画像の精度を向上できるとともに視認性が悪化するのをさらに抑制できる。
【００１４】
また、本発明の請求項４に記載の発明は、前記演算部は、各々の前記画像の明るさに起因する数値の平均値（例えば、実施形態における平均輝度値Ｋ１，Ｋ２，Ｋ３，Ｋ４）を算出し、前記抽出部は、各々の前記画像のうち、前記平均値が所定値（例えば、実施形態における所定値α）以上である前記画像を前記不適切画像として抽出することを特徴としている。
【００１５】
本発明によれば、所定値を閾値として不適切画像を抽出するので、太陽光等の光の影響を著しく受けることにより生成される不適切画像を確実に除外できる。
【００１６】
また、本発明の請求項５に記載の発明は、前記演算部は、各々の前記画像の明るさに起因する数値の平均値（例えば、実施形態における平均輝度値Ｋ１，Ｋ２，Ｋ３，Ｋ４）を算出し、前記抽出部は、各々の前記画像のうち一の画像（例えば、実施形態における前方カメラ２１の画像２１ａ）の前記平均値と他の画像（例えば、実施形態における後方カメラ２２の画像２２ａ、左側方カメラ２３の画像２３ａ、右側方カメラ２４の画像２４ａ）の前記平均値との差の合計値、もしくは前記一の画像の前記平均値と前記他の画像の前記平均値との差の平均値が所定値（例えば、実施形態における所定値Ｄ１，Ｄ２）以上である場合には、前記一の画像を前記不適切画像として抽出することを特徴としている。
【００１７】
本発明によれば、一の画像の平均値と他の画像の平均値との差の合計値、もしくは一の画像の平均値と他の画像の平均値との差の平均値が所定値以上である場合に、一の画像を不適切画像として抽出するので、一の画像と、一の画像とは異なる方向を撮像して得られた他の画像と比較をしたうえで、不適切画像を確実に除外できる。
【００１８】
また、本発明の請求項６に記載の発明は、前記画像処理部は、各々の前記画像における直線情報（例えば、実施形態における直線情報Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６）を取得し、前記抽出部は、前記直線情報に基づいて前記不適切画像を抽出することを特徴としている。
【００１９】
本発明によれば、画像中の直線状のノイズを直線情報として取得できるので、不適切画像を抽出することができる。
【００２０】
また、本発明の請求項７に記載の発明は、前記自車両が位置する周辺のマップ情報（例えば、実施形態における車道中央線Ｌ１および車道外側線Ｌ２）を取得するマップ情報取得部（例えば、実施形態におけるマップ情報取得部４５）を備え、前記抽出部は、前記直線情報と前記マップ情報とに基づいて前記不適切画像を抽出することを特徴としている。
【００２１】
本発明によれば、抽出部は、直線情報とマップ情報とに基づいて不適切画像を抽出するので、複数の直線情報のうち、ノイズに起因する誤った直線情報を精度よく選別できるとともに、不適切画像を確実に抽出することができる。
【００２２】
また、本発明の請求項８に記載の発明は、前記抽出部は、各々の前記画像のうち、一の画像（例えば、実施形態における前方カメラ２１の画像２１ａ）における前記直線情報と前記マップ情報との比較を行い、前記マップ情報に対してマッチングする前記直線情報が所定数以上である場合、もしくは前記マップ情報に対してマッチングする前記直線情報が全く存在しない場合には、前記一の画像を前記不適切画像として抽出することを特徴としている。
【００２３】
本発明によれば、直線情報とマップ情報との比較を行うことにより一の画像を不適切画像として抽出するので、例えばノイズに起因する誤った直線情報を精度よく選別できる。とりわけ、直線情報が全く存在しない場合においても、一の画像を不適切画像として抽出するので、例えば受光量が少なく、視認度が著しく低い不適切画像を確実に除外できる。
【発明の効果】
【００２４】
本発明によれば、各々の画像の処理に不適切な不適切画像を抽出する抽出部を備え、画像処理部は、不適切画像を除外するので、不適切画像を使用することなく各々の画像を処理することができる。これにより、不適切画像の影響を受けることなく各々の画像を処理できるので、処理後の画像の視認性が悪化するのを抑制できる。また、視認性の悪化が抑制された処理後の画像を運転支援装置による運転支援の際に使用することにより、運転支援の精度が低下するのを抑制できる。
【図面の簡単な説明】
【００２５】
【図１】運転支援装置のシステム構成図である。
【図２】運転支援装置を搭載した自車両の平面図である。
【図３】演算部による演算および抽出部による抽出の説明図である。
【図４】第一実施形態の運転支援装置が行う画像の処理のフローチャートである。
【図５】第一実施形態の各変形例における不適切画像の抽出の説明図である。
【図６】第二実施形態の運転支援装置が行う画像の処理の説明図である。
【図７】第二実施形態の運転支援装置が行う画像の処理のフローチャートである。
【発明を実施するための形態】
【００２６】
以下、第一実施形態に係る運転支援装置について、図面を参照して説明をする。
図１は、運転支援装置１０のシステム構成図であり、図２は、運転支援装置１０を搭載した自車両１の平面図である。
図１に示すように、本実施形態に係る運転支援装置１０は、主に外界カメラユニット２５と、ナビゲーションシステム４０と、演算部３１、抽出部３３、画像処理部３５および記憶部３７を含む制御装置３０と、を備えている。図２に示すように、運転支援装置１０は、自車両１に搭載されており、自車両１の周辺の画像を運転者に対して表示するものである。以下に、運転支援装置１０を構成する各部品の詳細について説明する。なお、以下の説明における前後左右等の向きは、特に記載が無ければ、図２に示す自車両１における向きと同一とする。
【００２７】
外界カメラユニット２５は、自車両１の周辺における異なる方向を撮像するためのものであって、例えば、自車両１の前方の周辺領域を撮像領域とする前方カメラ２１（請求項の「撮像部」に相当。）と、自車両１の後方の周辺領域を撮像領域とする後方カメラ２２（請求項の「撮像部」に相当。）と、自車両１の左側方の周辺領域を撮像領域とする左側方カメラ２３（請求項の「撮像部」に相当。）と、自車両１の右側方の周辺領域を撮像領域とする右側方カメラ２４（請求項の「撮像部」に相当。）とを備えている。各カメラ２１〜２４は、それぞれ例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ、電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、相補性金属酸化膜半導体）等の撮像素子を備えたカメラである。
【００２８】
図１に示すように、外界カメラユニット２５は、各カメラ２１〜２４の撮像により得られた画像を制御装置３０へ出力する。各カメラ２１〜２４の撮像により得られた各々の画像は、制御装置３０に設けられた後述の画像処理部３５により合成される。これにより、自車両１（図２参照）を俯瞰するように視点変換を行った画像（以下「俯瞰合成画像」という。）が得られるとともに、俯瞰合成画像が制御装置３０を介してナビゲーションシステム４０に出力されて、ディスプレイ４３に表示される。
【００２９】
ナビゲーションシステム４０は、自車両１（図２参照）の現在位置を表示したり、現在位置から目的地までの経路を探索して自車両１（図２参照）を誘導したりするためのものであって、ナビゲーション制御部４１と、ディスプレイ４３と、を主に備えている。図２に示すように、ナビゲーションシステム４０は、例えば自車両１の不図示のインストルメントパネルに収容されている。
ナビゲーション制御部４１は、図示しない現在位置検出部と、地図データ記憶部と、ナビゲーション処理部と、を主に備えている。
現在位置検出部は、人工衛星を利用したＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）信号等の測位信号を受信して、自車両１の現在位置を検出する。
地図データ記憶部は、ハードディスク装置等の磁気ディスク装置や、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光ディスク装置等のコンピュータ読み取り可能な記憶媒体に、地図データを記録して構成されている。その地図データとして、例えば道路や交差点の位置および形状等の道路データや、建物の位置および形状等の建物データ、駐車場の位置および形状等の駐車場データ等が格納されている。
ナビゲーション処理部は、現在位置検出部で検出された現在位置やナビゲーションシステム４０に入力された目的地、地図データ記憶部から読み出された地図データ等に基づいて、自車両１の走行経路を探索する。
【００３０】
ディスプレイ４３は、例えば液晶ディスプレイであって、自車両１の不図示のインストルメントパネル内に運転者が視認可能なように設置される。ディスプレイ４３には、ナビゲーション制御部４１の地図データに基づく画像や、制御装置３０から出力される自車両１の俯瞰合成画像等が表示される。
【００３１】
また、運転支援装置１０は、マップ情報取得部４５を備えていてもよい。マップ情報取得部４５は、既存の移動体通信網を利用した、例えば携帯電話等の携帯情報端末である。マップ情報取得部４５は、不図示の情報サーバから提供される駐車場等のマップ情報（例えば、駐車場を画成する白線のマップ情報）や、道路等のマップ情報（例えば、道路上における車道中央線や車道外側線等の区画線のマップ情報）を取得している。また、マップ情報取得部４５は、ナビゲーションシステム４０と既存の通信手段によって接続されるとともに、ナビゲーションシステム４０とマップ情報を共有するためのアプリケーション機能を備えている。
【００３２】
図１に示すように、制御装置３０は、演算部３１と、抽出部３３と、画像処理部３５と、記憶部３７とを備えて構成されており、上述した外界カメラユニット２５およびナビゲーションシステム４０が接続されている。
外界カメラユニット２５が接続されることにより、制御装置３０には、各カメラ２１〜２４により得られた自車両１（図２参照）の周囲の画像が入力される。また、制御装置３０は、自車両１の周囲の画像をナビゲーションシステム４０に出力し、ディスプレイ４３に表示させている。
【００３３】
図３は、演算部３１（図１参照）による演算および抽出部３３（図１参照）による抽出の説明図である。なお、図３における横軸は輝度を示している。
演算部３１は、各カメラ２１〜２４により撮像された各々の画像の明るさに起因する数値を演算する。より具体的には、図３に示すように、各カメラ２１〜２４により撮像された各々の画像２１ａ〜２４ａの明るさに起因する数値として、例えば各々の画像２１ａ〜２４ａにおける輝度を演算し、各々の画像２１ａ〜２４ａにおける輝度の平均値Ｋ１〜Ｋ４（請求項の「画像の明るさに起因する数値の平均値」に相当。以下、「平均輝度値」という。）をそれぞれ算出する。図３では、一例として、前方カメラ２１の画像２１ａにおける平均輝度値Ｋ１が最も高くなっている場合を図示している。
【００３４】
また、本実施形態では、演算部３１で算出する「明るさに起因する数値」として輝度を例にして説明するが、「明るさに起因する数値」は、輝度に限定されない。すなわち、「明るさに起因する数値」とは、各々の画像２１ａ〜２４ａの視認性に関する数値であって、輝度や明度、彩度、コントラスト等をいう。したがって、演算部３１は、各カメラ２１〜２４により撮像された各々の画像２１ａ〜２４ａの明るさに起因する数値として、明度や彩度、コントラスト等を演算してもよい。
【００３５】
抽出部３３（図１参照）は、演算部３１（図１参照）の演算結果に基づいて、各カメラ２１〜２４により撮像された各々の画像２１ａ〜２４ａのうち、処理に不適切な不適切画像を抽出する。本実施形態の抽出部３３（図１参照）は、図３に示す一例のように、各々の画像２１ａ〜２４ａのうち、平均輝度値が所定値α以上である前方カメラ２１の画像２１ａを不適切画像として抽出する。不適切画像を抽出するための所定値αは、例えば、画像に対する視認性が著しく低下する輝度の値であって、強い光が各カメラ２１〜２４に入射し、ブルーミングやハレーションが発生したときの画像における平均輝度値に対応して決定される。
【００３６】
画像処理部３５（図１参照）は、各カメラ２１〜２４により撮像された各々の画像２１ａ〜２４ａを処理する。画像処理部３５（図１参照）は、主に画像２１ａ〜２４ａの処理として、例えば各カメラ２１〜２４により撮像された各々の画像２１ａ〜２４ａの輝度を補正する処理（以下、「輝度補正処理」という。）と、各々の画像２１ａ〜２４ａを合成して俯瞰合成画像を作成する処理（以下、「俯瞰合成画像作成処理」という。）と、を行っている。
【００３７】
輝度補正処理では、各カメラ２１〜２４により撮像された各々の画像２１ａ〜２４ａの輝度を補正する。補正の方法としては、前方カメラ２１の画像２１ａ、後方カメラ２２の画像２２ａ、左側方カメラ２３の画像２３ａおよび右側方カメラ２４の画像２４ａの各平均輝度値Ｋ１，Ｋ２，Ｋ３，Ｋ４について、さらに平均値（以下、「全体平均値」という。）を求める。そして、全体平均値を目標値として、前方カメラ２１の画像２１ａの平均輝度値Ｋ１、後方カメラ２２の画像２２ａの平均輝度値Ｋ２、左側方カメラ２３の画像２３ａ平均輝度値Ｋ３および右側方カメラ２４の画像２４ａの平均輝度値Ｋ４を補正する。
また、俯瞰合成画像作成処理では、前方カメラ２１の画像２１ａ、後方カメラ２２の画像２２ａ、左側方カメラ２３の画像２３ａおよび右側方カメラ２４の画像２４ａを合成して俯瞰合成画像を作成する。
また、画像処理部３５では、例えば、画像内において局所的に輝度を上昇させる他車両の光源のデータ等、画像の平均輝度値を算出する際に妨げとなる障害データをフィルタリングして除去する。
【００３８】
ここで、本実施形態の画像処理部３５（図１参照）は、各カメラ２１〜２４により撮像された各々の画像２１ａ〜２４ａのうち、不適切画像（本実施形態の図３に示す例では、前方カメラ２１の画像２１ａ）が存在する場合には、該不適切画像を除外したうえで処理を行う。
具体的には、輝度補正処理では、不適切画像である前方カメラ２１の画像２１ａを輝度補正処理の対象から除外する。次いで、前方カメラ２１の画像２１ａ以外の画像である、後方カメラ２２の画像２２ａ、左側方カメラ２３の画像２３ａおよび右側方カメラ２４の画像２４ａの各平均輝度値Ｋ２，Ｋ３，Ｋ４について、さらに平均値（以下、「全体平均値」という。）を求める。そして、全体平均値を目標値として、後方カメラ２２の画像２２ａの平均輝度値Ｋ２、左側方カメラ２３の画像２３ａ平均輝度値Ｋ３および右側方カメラ２４の画像２４ａの平均輝度値Ｋ４を補正する。これにより、不適切画像とされた前方カメラ２１の画像２１ａの影響を受けることなく、前方カメラ２１の画像２１ａ以外の他の各々の画像２２ａ〜２４ａの輝度を補正できる。
【００３９】
また、俯瞰合成画像作成処理では、不適切画像である前方カメラ２１の画像２１ａを除外し、前方カメラ２１の画像２１ａ以外の画像である、後方カメラ２２の画像２２ａ、左側方カメラ２３の画像２３ａおよび右側方カメラ２４の画像２４ａにより俯瞰合成画像を作成する。これにより、精度の悪い不適切画像である前方カメラ２１の画像２１ａを表示することなく俯瞰合成画像を作成できる。なお、不適切画像である前方カメラ２１の画像２１ａを輝度補正処理の対象から除外しつつ、俯瞰合成画像作成処理で前方カメラ２１の画像２１ａを除外することなく、前方カメラ２１の画像２１ａ、後方カメラ２２の画像２２ａ、左側方カメラ２３の画像２３ａおよび右側方カメラ２４の画像２４ａにより俯瞰合成画像を作成してもよい。
【００４０】
記憶部３７は、例えば、フラッシュメモリやＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリにより構成される。記憶部３７は、例えば外界カメラユニット２５やナビゲーションシステム４０等から制御装置３０に対して出力される種々のデータを記憶している。
【００４１】
図４は、第一実施形態の運転支援装置が行う画像の処理のフローチャートである。
続いて、図４に示すフローチャートを用いて、本実施形態の運転支援装置が行う画像の処理について説明する。なお、以下の説明における各部品等の符号については、図１から図３を参照されたい。
【００４２】
ステップＳ１では、各カメラ２１〜２４により撮像された各々の画像２１ａ〜２４ａを、例えば制御装置３０の記憶部３７に記憶する。
ステップＳ３では、記憶部３７に記憶した各々の画像２１ａ〜２４ａについて、例えば他車両の光源のデータ等の障害データが存在するか否かの判定を行う。ステップＳ３において、障害データが存在しない場合には、「ＮＯ」と判定してステップＳ７に進む。これに対して、ステップＳ３において、障害データが存在する場合には、「ＹＥＳ」と判定してステップＳ５に進み、対象となる画像の障害データをフィルタリングして除去した後、ステップＳ７に進む。
ステップＳ７では、各カメラ２１〜２４により撮像された各々の画像２１ａ〜２４ａの平均輝度値Ｋ１〜Ｋ４をそれぞれ算出する。
【００４３】
ステップＳ９では、各々の画像２１ａ〜２４ａの平均輝度値Ｋ１〜Ｋ４と、所定値αとの比較を行い、平均輝度値が所定値α以上の画像があるか否かの判定を行う。ステップＳ９において、各々の画像２１ａ〜２４ａの平均輝度値Ｋ１〜Ｋ４がいずれも所定値α以上ではない場合には、「ＮＯ」と判定して、ステップＳ１１に進む。
ステップＳ１１では、各カメラ２１〜２４により撮像された各々の画像２１ａ〜２４ａの処理を行う。具体的には、各々の画像２１ａ〜２４ａの輝度を補正したあと、各々の画像２１ａ〜２４ａを合成して俯瞰合成画像を作成する。各々の画像２１ａ〜２４ａの処理が終了した時点で、運転支援装置１０が行う画像の処理が終了する。
【００４４】
これに対して、ステップＳ９において、各々の画像２１ａ〜２４ａの平均輝度値Ｋ１〜Ｋ４のうち、少なくとも一の画像の平均輝度値が所定値α以上である場合には、「ＹＥＳ」と判定して、ステップＳ１３に進む。例えば、図３に示す一例のように、前方カメラ２１の画像２１ａの平均輝度値Ｋ１が所定値α以上である場合には、「ＹＥＳ」と判定する。そして、前方カメラ２１の画像２１ａが不適切画像であると判断して、ステップＳ１３に進む。
ステップＳ１３では、不適切画像（例えば、図３に示す一例では、前方カメラ２１の画像２１ａ）を除外する。
ステップＳ１５では、不適切画像以外の画像（例えば、図３に示す一例では、後方カメラ２２の画像２２ａ、左側方カメラ２３の画像２３ａおよび右側方カメラ２４の画像２４ａ）の処理を行う。具体的には、不適切画像以外の画像２２ａ〜２４ａの輝度を補正したあと、不適切画像以外の画像２２ａ〜２４ａを合成して俯瞰合成画像を作成する。各々の画像２２ａ〜２４ａの処理が終了した時点で、運転支援装置１０が行う画像の処理が終了する。なお、ステップＳ１５において、不適切画像である前方カメラ２１の画像２１ａを輝度補正処理の対象から除外しつつ、俯瞰合成画像作成処理で前方カメラ２１の画像２１ａを除外することなく、前方カメラ２１の画像２１ａ、後方カメラ２２の画像２２ａ、左側方カメラ２３の画像２３ａおよび右側方カメラ２４の画像２４ａにより俯瞰合成画像を作成してもよい。
【００４５】
本実施形態によれば、各々の画像の処理に不適切な不適切画像を抽出する抽出部３３を備え、画像処理部３５は、不適切画像を除外するので、不適切画像を使用することなく各々の画像を処理することができる。これにより、不適切画像の影響を受けることなく各々の画像を処理できるので、処理後の俯瞰合成画像の視認性が悪化するのを抑制できる。また、視認性の悪化が抑制された俯瞰合成画像を運転支援装置１０による運転支援の際に使用することにより、運転支援の精度が低下するのを抑制できる。
【００４６】
また、複数のカメラ２１〜２４で自車両１の周辺における異なる方向を撮像することにより、各々の画像間において、例えば太陽光等の光の影響を異ならせることができる。したがって、各々の画像を比較することにより各々の画像における太陽光等の光の影響度合いを精度よく検知できるとともに、太陽光等の光の影響を著しく受けることにより生成される不適切画像の数を減少させることができる。すなわち、除外する不適切画像の数を減少させることができるので、処理後の俯瞰合成画像の精度を向上できるとともに視認性が悪化するのをさらに抑制できる。
【００４７】
また、各カメラ２１〜２４により撮像された各々の画像の輝度を演算する演算部３１を備えているので、太陽光等の光の影響を数値化することができる。また、抽出部３３は、演算部３１の結果に基づいて不適切画像を抽出するので、数値化されたデータを基に、確実に不適切画像を抽出できる。したがって、太陽光等の光の影響を著しく受けることにより生成される不適切画像を確実に除外できるので、俯瞰合成画像の精度を向上できるとともに視認性が悪化するのをさらに抑制できる。
【００４８】
また、所定値αを閾値として不適切画像を抽出するので、太陽光等の光の影響を著しく受けることにより生成される不適切画像を確実に除外できる。
【００４９】
（第一実施形態の変形例）
続いて、第一実施形態の各変形例に係る運転支援装置ついて説明する。なお、以下では、第一実施形態と同様の構成部分については説明を省略し、異なる部分についてのみ説明する。
図３に示すように、第一実施形態では、各々の画像２１ａ〜２４ａのうち、平均輝度値が所定値α以上である画像（図３に示す一例では、前方カメラ２１の画像２１ａ）を不適切画像として抽出していた。これに対して、不適切画像の抽出手法は、上記手法に限定されない。
【００５０】
（第一実施形態の第一変形例）
図５は、第一実施形態の各変形例における不適切画像の抽出の説明図である。なお、以下の説明における各部品等の符号については、図１から図３を参照されたい。
図５に示すように、第一実施形態の第一変形例では、抽出部３３は、各々の画像２１ａ〜２４ａのうち一の画像の平均輝度値（例えば、図５に示す一例では、前方カメラ２１の画像２１ａの平均輝度値Ｋ１）と他の画像の平均輝度値（例えば、図５に示す一例では、後方カメラ２２の画像２２ａの平均輝度値Ｋ２、左側方カメラ２３の画像２３ａの平均輝度値Ｋ３および右側方カメラ２４の画像２４ａの平均輝度値Ｋ４）との差の合計値が所定値以上である場合には、一の画像（例えば、図５に示す一例では、前方カメラ２１の画像２１ａ）を不適切画像として抽出する。
すなわち、所定値をＤ１としたとき、
（Ｋ１−Ｋ２）＋（Ｋ１−Ｋ３）＋（Ｋ１−Ｋ４）≧Ｄ１
を満足する場合には、前方カメラ２１の画像２１ａを不適切画像として抽出する。
【００５１】
（第一実施形態の第二変形例）
また、第一実施形態の第二変形例では、一の画像の平均輝度値（例えば、図５に示す一例では、前方カメラ２１の画像２１ａの平均輝度値Ｋ１）と他の画像の平均輝度値（例えば、図５に示す一例では、後方カメラ２２の画像２２ａの平均輝度値Ｋ２、左側方カメラ２３の画像２３ａの平均輝度値Ｋ３および右側方カメラ２４の画像２４ａの平均輝度値Ｋ４）との差の平均値が所定値以上である場合には、一の画像（例えば、図５に示す一例では、前方カメラ２１の画像２１ａ）を不適切画像として抽出する。
すなわち、所定値をＤ２としたとき、
（（Ｋ１−Ｋ２）＋（Ｋ１−Ｋ３）＋（Ｋ１−Ｋ４））／３≧Ｄ２
を満足する場合には、前方カメラ２１の画像２１ａを不適切画像として抽出する。
【００５２】
第一実施形態の各変形例によれば、一の画像の平均値と他の画像の平均値との差の合計値、もしくは一の画像の平均値と他の画像の平均値との差の平均値が所定値以上である場合に、一の画像を不適切画像として抽出するので、一の画像と、一の画像とは異なる方向を撮像して得られた他の画像と比較をしたうえで、不適切画像を確実に除外できる。
【００５３】
（第二実施形態）
続いて、第二実施形態に係る運転支援装置ついて説明する。なお、第二実施形態の運転支援装置のシステム構成図は、図１と同一であるため図示を省略する。また、第二実施形態における第一実施形態と共通の構成部品等の符号は、第一実施形態における各構成部品等の符号と同一となっている。
第一実施形態に係る運転支援装置１０は、各カメラ２１〜２４の各々の画像から俯瞰合成画像を作成する場合に、不適切画像を抽出および除外して画像の処理を行っていた。
これに対して、第二実施形態に係る運転支援装置１０では、各カメラ２１〜２４の各々の画像から、例えば道路に設けられた車道中央線および車道外側線を認識する場合に、不適切画像を抽出および除外して画像の処理を行っている。なお、以下では、第一実施形態と同様の構成部分については説明を省略し、異なる部分についてのみ説明する。
【００５４】
図６は、第二実施形態の運転支援装置が行う画像の処理の説明図である。なお、図６では、前方カメラ２１の撮像領域Ｒ１の画像を二点鎖線で図示しており、他のカメラ２２〜２４の撮像領域の画像については、図示を省略している。
図６に示すように、運転支援装置１０（図１参照）は、自車両１が進行する道路Ｗに設けられた車道中央線Ｌ１および車道外側線Ｌ２に沿って自車両１を走行させるためのものであって、不図示の電動パワーステアリングユニットに対して必要な操舵アシストトルクを出力するとともに、車道中央線Ｌ１および車道外側線Ｌ２から自車両１がはみ出した場合には、運転者に対して警報を出力するものである。すなわち、運転支援装置１０は、いわゆるＬＫＡＳ（Ｌａｎｅ  Ｋｅｅｐｉｎｇ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）制御およびＬＤＷ（Ｌａｎｅ  Ｄｅｐａｒｔｕｒｅ  Ｗａｒｎｉｎｇ）制御を行う装置である。
【００５５】
図１に示すように、運転支援装置１０は、マップ情報取得部４５を備えている。第二実施形態のマップ情報取得部４５は、外部の不図示の情報サーバから、道路Ｗに設けられた車道中央線Ｌ１および車道外側線Ｌ２（図６参照）のマップ情報を取得している。
画像処理部３５は、記憶部３７に記憶した各カメラ２１〜２４の各々の画像から直線情報を取得する。ここで、本実施形態における直線情報とは、自車両１が走行する道路Ｗに設けられた車道中央線Ｌ１および車道外側線Ｌ２の情報である（図６参照）。また本実施形態において、ＬＫＡＳ制御に必要な直線情報は、主に前方カメラ２１および後方カメラ２２により撮像された画像から取得し、ＬＤＷ制御に必要な直線情報は、主に左側方カメラ２３および右側方カメラ２４により撮像された画像から取得している。
抽出部３３は、各カメラ２１〜２４の各々の画像から取得された直線情報と、マップ情報取得部４５が取得したマップ情報とに基づいて、不適切画像を抽出する。抽出部３３による具体的な不適切画像の抽出方法については後述する。
【００５６】
図７は、第二実施形態の運転支援装置が行う画像の処理の説明図である。
続いて、図７に示すフローチャートを用いて、本実施形態の運転支援装置が行う画像の処理について説明する。なお、以下の説明における各部品等の符号については、図１および図６を参照されたい。
【００５７】
まず、ステップＳ２１では、各カメラ２１〜２４により撮像された各々の画像を、例えば制御装置３０の記憶部３７に記憶する。
ステップＳ２３では、記憶部３７に記憶した各々の画像から、道路Ｗに存在する直線情報を取得する。ここで、画像中に直線状の画像ノイズが存在する場合には、該画像ノイズについても直線情報として取得される。図６に示す例では、前方カメラ２１の撮像領域Ｒ１の画像において、車道中央線Ｌ１に対応する直線情報、車道外側線Ｌ２に対応する直線情報および直線状の画像ノイズが直線情報Ｎ１〜Ｎ６として取得される。前方カメラ２１以外の各カメラ２２〜２４の画像においても同様に、直線情報を取得する。
【００５８】
ステップＳ２５では、マップ情報と各々の画像の直線情報とを比較する。図６に示す例では、マップ情報である車道中央線Ｌ１および車道外側線Ｌ２と、前方カメラ２１の画像から取得した各直線情報Ｎ１〜Ｎ６との比較を行なう。前方カメラ２１以外の各カメラ２２〜２４の画像から取得した各直線情報についても同様に、マップ情報と比較を行う。
【００５９】
ステップＳ２７では、マップ情報とマッチングする直線情報を検出する。図６に示す例では、マップ情報である車道中央線Ｌ１および車道外側線Ｌ２と、前方カメラ２１の画像から取得した各直線情報Ｎ１〜Ｎ６との一致度合い（マッチング度合い）から、車道中央線Ｌ１および車道外側線Ｌ２にマッチングする直線情報を検出する。なお、本実施形態におけるマッチングは、例えば、直線情報が車道中央線Ｌ１および車道外側線Ｌ２と所定角度（例えば３０°程度）以下で交差するか否かにより決定される。すなわち、直線情報が車道中央線Ｌ１および車道外側線Ｌ２と３０°以下で交差する場合には、マップ情報とマッチングする直線情報であると検出する。
【００６０】
前方カメラ２１の画像から取得した各直線情報Ｎ１〜Ｎ６のうち、直線情報Ｎ１および直線情報Ｎ６は、それぞれマップ情報に基づく車道中央線Ｌ１と３０°以下の角度で交差している。したがって、直線情報Ｎ１および直線情報Ｎ６の２本の直線情報を、車道中央線Ｌ１に対してマッチングする直線情報として検出する。また、前方カメラ２１の画像から取得した各直線情報Ｎ１〜Ｎ６のうち、直線情報Ｎ２および直線情報Ｎ５は、それぞれマップ情報に基づく車道外側線Ｌ２と３０°以下の角度で交差している。したがって、直線情報Ｎ２および直線情報Ｎ５の２本の直線情報を、車道外側線Ｌ２に対してマッチングする直線情報として検出する。前方カメラ２１以外の各カメラ２２〜２４の画像から取得した各直線情報についても同様に、マップ情報とマッチングする直線情報を検出する。
なお、各直線情報Ｎ１〜Ｎ６のうち、直線情報Ｎ３および直線情報Ｎ４は、それぞれマップ情報に基づく車道中央線Ｌ１および車道外側線Ｌ２とは交差していない。したがって、直線情報Ｎ３および直線情報Ｎ４の２本の直線情報を、車道中央線Ｌ１および車道外側線Ｌ２に対してマッチングしない画像ノイズに基づく直線情報であると検出してもよい。
【００６１】
ステップＳ２９では、マップ情報に対してマッチングする直線情報が所定本数（本実施形態では２本）以上か否かの判定を行う。
図６に示す例では、前方カメラ２１の画像から取得した直線情報Ｎ１〜Ｎ６のうち、直線情報Ｎ１および直線情報Ｎ６の２本の直線情報が、車道中央線Ｌ１に対してマッチングする直線情報として検出されるとともに、直線情報Ｎ２および直線情報Ｎ５の２本の直線情報が、車道外側線Ｌ２に対してマッチングする直線情報として検出される。すなわち、前方カメラ２１の画像においては、マップ情報である車道中央線Ｌ１および車道外側線Ｌ２に対してマッチングする直線情報がそれぞれ２本ずつ検出されている。したがって、ステップＳ２９では、「ＹＥＳ」と判定して、ステップＳ３１に進む。前方カメラ２１以外の各カメラ２２〜２４の画像についても同様に、マップ情報に対してマッチングする直線情報が所定本数（本実施形態では２本）以上であるか否かの判定を行う。
【００６２】
ステップＳ３１では、マップ情報に対してマッチングする直線情報が所定数（本実施形態では２本）以上である画像を不適切画像として除外する。本実施形態では、前方カメラ２１の画像において、マップ情報である車道中央線Ｌ１および車道外側線Ｌ２に対してマッチングする直線情報がそれぞれ２本ずつ検出されている。したがって、前方カメラ２１の画像を不適切画像として除外する。
【００６３】
ステップＳ３３では、必要に応じてＬＫＡＳ制御とＬＤＷ制御との切り換えを行う。本実施形態においては、前方カメラ２１の画像が不適切画像として除外されるため、主に前方カメラ２１および後方カメラ２２により撮像された画像を使用するＬＫＡＳ制御から、主に左側方カメラ２３および右側方カメラ２４により撮像された画像を使用するＬＤＷ制御に切り換える。ステップＳ３３が終了した時点で、運転支援装置１０が行う画像の処理が終了する。
【００６４】
これに対して、ステップＳ２９において、マップ情報に対してマッチングする直線情報が所定本数（本実施形態では２本）未満である場合には、「ＮＯ」と判定して、ステップＳ３５に進む。
ステップＳ３５では、各カメラ２１〜２４の画像における直線情報を道路情報（本実施形態では、車道中央線Ｌ１および車道外側線Ｌ２）として認識する。ステップＳ３５が終了した時点で、運転支援装置１０が行う画像の処理が終了する。なお、ステップＳ３５においては、ＬＫＡＳ制御とＬＤＷ制御との切り換えを行うことなく、選択されているＬＫＡＳ制御およびＬＤＷ制御の少なくともいずれかの制御を採用した状態で、フローを終了する。
【００６５】
第二実施形態によれば、例えば太陽光等の光の影響により発生する画像中の直線状のノイズを直線情報として取得できるので、不適切画像を抽出することができる。
【００６６】
また、抽出部３３は、直線情報とマップ情報である車道中央線Ｌ１および車道外側線Ｌ２に基づいて不適切画像を抽出するので、複数の直線情報のうち、ノイズに起因する誤った直線情報を精度よく選別できるとともに、不適切画像を確実に抽出することができる。
【００６７】
また、直線情報とマップ情報である車道中央線Ｌ１および車道外側線Ｌ２との比較を行うことにより一の画像を不適切画像として抽出するので、ノイズに起因する誤った直線情報を精度よく選別できる。
【００６８】
なお、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
【００６９】
運転支援装置１０のシステム構成は、各実施形態に限定されない。例えば、外界カメラユニット２５の個数は４個に限定されない。また、各カメラ２１〜２４により撮像された画像を表示する手段として、ナビゲーションシステム４０のディスプレイ４３に限定されることはなく、例えば、いわゆるヘッドアップディスプレイ等であってもよい。また、マップ情報取得部４５は、携帯情報端末に限定されない。
【００７０】
第一実施形態では、不適切画像である前方カメラ２１の画像２１ａを輝度補正処理の対象から除外しつつ、俯瞰合成画像作成処理で前方カメラ２１の画像２１ａ以外の後方カメラ２２の画像２２ａ、左側方カメラ２３の画像２３ａおよび右側方カメラ２４の画像２４ａの輝度補正処理をしていた。これに対して、例えば、認識された不適切画像を画像処理の対象から除外するとともに、例えば白線等の認識を一切行わないようにしてもよい。
【００７１】
第一実施形態と第二実施形態とを組み合わせた運転支援装置１０としてもよい。具体的には、不適切画像を抽出および除外して画像の処理を行うとともに、不適切画像であるとされた画像に対応して、ＬＫＡＳ制御とＬＤＷ制御との切り換えを行ってもよい。したがって、例えば前方カメラ２１の画像２１ａが不適切画像であるとされた場合には、ＬＫＡＳ制御からＬＤＷ制御に切り換えるように制御を行ってもよい。
【００７２】
また、第二実施形態の運転支援装置１０は、道路Ｗに設けられた車道中央線Ｌ１および車道外側線Ｌ２に沿って自車両１を走行させる、いわゆるＬＫＡＳ制御およびＬＤＷ制御を行う装置であったが、例えば、白線により画成された駐車スペースを検出するとともに駐車スペースに対して自車両１を駐車する際の経路を算出し、この経路に沿って自車両１を走行させるための駐車支援装置であってもよい。また、例えば、駐車支援装置において、不適切画像における白線を認識しないように制御してもよい。
【００７３】
また、第二実施形態の運転支援装置１０は、マップ情報に対してマッチングする直線情報が所定本数（本実施形態では２本）以上である画像を不適切画像として抽出していた。これに対して、マップ情報に対してマッチングする直線情報が全く存在しない画像についても不適切画像として抽出してもよい。これにより、直線情報が全く存在しない場合においても不適切画像として抽出できるので、例えば受光量が少なく、視認度が著しく低い不適切画像を確実に除外できる。
【００７４】
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。
【符号の説明】
【００７５】
１  自車両
２１  前方カメラ（撮像部）
２１ａ  画像（不適切画像）
２２  後方カメラ（撮像部）
２２ａ  画像
２３  左側方カメラ（撮像部）
２３ａ  画像
２４  右側方カメラ（撮像部）
２４ａ  画像
３１  演算部
３３  抽出部
３５  画像処理部
４５  マップ情報取得部
Ｄ１，Ｄ２  所定値
Ｋ１，Ｋ２，Ｋ３，Ｋ４  平均輝度値（平均値）
Ｌ１  車道中央線（マップ情報）
Ｌ２  車道外側線（マップ情報）
Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６  直線情報
α  所定値
【図１】
2014191475.tif 000003
【図２】
2014191475.tif 000004
【図３】
2014191475.tif 000005
【図４】
2014191475.tif 000006
【図５】
2014191475.tif 000007
【図６】
2014191475.tif 000008
【図７】
2014191475.tif 000009