(57)【要約】【課題】警告情報の報知を受けることよりも優先すべき操作や判断等を行っている状況で、その警告情報の報知に妨げられることなく、当該優先すべき操作や判断等を継続できるようにする。【解決手段】所定の警告情報を取得する警告情報取得手段２０２と、前記警告情報取得手段が取得した警告情報に応じた運転者への報知処理を実行する報知処理手段２０３とを有する警告装置２００において、運転者状況情報を取得する運転者状況情報取得手段２０１を有し、前記報知処理手段は、取得した警告情報に応じた報知を運転者へ行う報知タイミングに、取得した運転者状況情報が所定の警告回避条件を満たしていない場合には、所定の報知方法で前記報知処理を行い、該所定の警告回避条件を満たしている場合には、前記報知処理を行わないか又は該所定の報知方法よりも報知効果が小さい報知方法で前記報知処理を行う。【選択図】図１
2016170485.tif 000002
【特許請求の範囲】
【請求項１】
移動体の運転者へ警告すべき所定の警告情報を取得する警告情報取得手段と、
前記警告情報取得手段が取得した警告情報に応じた報知を運転者へ行うための報知処理を実行する報知処理手段とを有する警告装置において、
運転者の状況を判断するための運転者状況情報を取得する運転者状況情報取得手段を有し、
前記報知処理手段は、前記警告情報取得手段が取得した警告情報に応じた報知を運転者へ行う報知タイミングに、前記運転者状況情報取得手段が取得した運転者状況情報が所定の警告回避条件を満たしていない場合には、所定の報知方法で前記報知処理を行い、該所定の警告回避条件を満たしている場合には、前記報知処理を行わないか、又は、該所定の報知方法よりも報知効果が小さい報知方法で前記報知処理を行うことを特徴とする警告装置。
【請求項２】
請求項１に記載の警告装置において、
前記報知処理手段は、前記報知タイミングに前記所定の警告回避条件を満たしている場合、その後に該所定の警告回避条件を満たさなくなった時点以後に、前記所定の報知方法で前記報知処理を行うことを特徴とする警告装置。
【請求項３】
請求項１又は２に記載の警告装置において、
前記警告情報は、前記移動体に搭載されている移動体搭載機器の不具合情報を含むことを特徴とする警告装置。
【請求項４】
請求項３に記載の警告装置において、
前記移動体搭載機器は、移動体周囲に存在する検出対象物を検出するための検出手段を含むことを特徴とする警告装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の警告装置において、
前記運転者状況情報は、運転者による操作内容を示す操作内容情報を含むことを特徴とする警告装置。
【請求項６】
請求項５に記載の警告装置において、
前記所定の警告回避条件は、前記操作内容情報が示す操作内容が所定の危険回避操作に該当するという条件であることを特徴とする警告装置。
【請求項７】
請求項５又は６に記載の警告装置において、
前記操作内容情報は、移動体の移動方向操作、移動体の加速操作、移動体の制動操作のうちの少なくとも１つの操作の内容を示すものであることを特徴とする警告装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の警告装置において、
前記警告情報取得手段は、互いに異なる複数の警告情報を取得するものであり、
前記報知処理手段は、前記所定の警告回避条件として、前記警告情報の種類ごとに異なる条件を用いることを特徴とする警告装置。
【請求項９】
所定の警告情報に応じた報知を運転者へ行う警告装置を備えた移動体において、
前記警告装置として、請求項１乃至８のいずれか１項に記載の警告装置を用いたことを特徴とする移動体。
【請求項１０】
移動体の運転者へ警告すべき所定の警告情報を取得する警告情報取得工程と、
前記警告情報取得手段が取得した警告情報に応じた報知を運転者へ行うための報知処理を実行する報知処理工程とを有する警告方法において、
運転者の状況を判断するための運転者状況情報を取得する運転者状況情報取得工程を有し、
前記報知処理工程では、前記警告情報取得工程で取得した警告情報に応じた報知を運転者へ行う報知タイミングに、前記運転者状況情報取得工程で取得した運転者状況情報が所定の警告回避条件を満たしていない場合には、所定の報知方法で前記報知処理を行い、該所定の警告回避条件を満たしている場合には、前記報知処理を行わないか、又は、該所定の報知方法よりも報知効果が小さい報知方法で前記報知処理を行うことを特徴とする警告方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、警告装置、移動体及び警告方法に関するものである。
【背景技術】
【０００２】
従来、車両、船舶、航空機などの移動体に搭載される種々の移動体搭載機器の故障やエラーなどの不具合情報（警告情報）を運転者へ報知する警告装置が知られている。
【０００３】
例えば、特許文献１には、車両の電子制御装置がセンサの故障を検出した場合に、故障したセンサ名を表示手段に表示させる車両用故障診断装置が開示されている。この車両用故障診断装置では、検出した故障が、一度故障状態となるとその状態が継続される継続故障であるのか、あるいは当該車両の走行時の振動等により故障が生じたり生じなかったりする「一過性故障」であるのかを判定し、その判定結果も合わせて表示手段に表示する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
移動体搭載機器の故障やエラー等の不具合情報を含む様々な警告情報は、一般に、その警告すべき状況（移動体搭載機器の不具合等）が判明した時点で迅速にその移動体の運転者に報知されるべきであると考えられている。そのため、特許文献１に開示の車両用故障診断装置を含む従来の警告装置では、警告すべき状況が判明したら、即座に又は予め決められた近時の報知タイミングで、その警告情報を報知するのが通常である。
【０００５】
ところが、警告装置による報知タイミングの際に、運転者が、その警告情報の報知を受けることよりも優先すべき操作や判断等を行っている状況（危険回避操作を行っている状況等）である場合があり得る。このような状況の運転者に対して警告情報が報知されると、運転者の注意がその警告情報の報知に向いてしまい、優先すべき操作や判断等が妨げられるおそれがある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、移動体の運転者へ警告すべき所定の警告情報を取得する警告情報取得手段と、前記警告情報取得手段が取得した警告情報に応じた報知を運転者へ行うための報知処理を実行する報知処理手段とを有する警告装置において、運転者の状況を判断するための運転者状況情報を取得する運転者状況情報取得手段を有し、前記報知処理手段は、前記警告情報取得手段が取得した警告情報に応じた報知を運転者へ行う報知タイミングに、前記運転者状況情報取得手段が取得した運転者状況情報が所定の警告回避条件を満たしていない場合には、所定の報知方法で前記報知処理を行い、該所定の警告回避条件を満たしている場合には、前記報知処理を行わないか、又は、該所定の報知方法よりも報知効果が小さい報知方法で前記報知処理を行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、運転者は、警告情報の報知タイミングの際に、警告情報の報知を受けることよりも優先すべき操作や判断等を行っている状況である場合、その警告情報の報知に妨げられることなく、当該優先すべき操作や判断等を継続できるという優れた効果が奏される。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る車載機器制御システムの警告ユニット及びこれに関連する構成についてのブロック図である。
【図２】同車載機器制御システムの概略構成を示す模式図である。
【図３】同車載機器制御システムにおける撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。
【図４】（ａ）及び（ｂ）は、同撮像ユニットにおける２つの撮像部でそれぞれ撮像した撮像画像の一例をそれぞれ示す説明図である。
【図５】一般的な測距原理を示す説明図である。
【図６】実施形態の物体認識処理を説明するための処理ブロック図である。
【図７】（ａ）は視差画像の視差値分布の一例を示す説明図である。（ｂ）は、同（ａ）の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ（Ｖマップ）を示す説明図である。
【図８】同警告ユニットの警告報知処理の流れを示すフローチャートである。
【図９】変形例における警告ユニットのブロック図である。
【図１０】変形例における警告報知処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明に係る警告装置を、移動体である自動車に搭載されている移動体搭載機器の故障やエラー等の不具合を示す警告情報を報知するための警告ユニットに適用した一実施形態について説明する。
図２は、本実施形態に係る自動車の車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車である自車両１００に搭載された移動体搭載機器としての撮像ユニット１０１で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データから、自車両前方に存在する物体を認識し、その認識結果を利用して各種車載機器の制御を行うものである。
【００１０】
本実施形態の車載機器制御システムには、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データを含む各種データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識する。この認識結果は、例えば、警告ユニット２００により、表示ユニット１０３やスピーカーを用いて自車両１００の運転者へ警告情報を報知する報知処理に利用されたり、車両走行制御ユニット１０６により、自車両のハンドル（ステアリング）やブレーキを制御するなどの走行支援制御に利用されたりする。なお、表示ユニット１０３としては、液晶ディスプレイやＨＵＤ（Head-Up Display）などを用いることができる。
【００１１】
また、本実施形態の車載機器制御システムに設けられる警告ユニット２００は、車載機器の不具合情報を警告情報として報知するものであるが、これに限らず、運転者へ報知することが好ましい警告情報であれば、どのような情報であってもよい。例えば、故障ではないが車載機器の何らかの不具合を示すエラー等の不具合情報であってもよい。また、例えば、自車両１００に搭載されている各種センサ（撮像ユニット１０１など）の検知結果や自車両１００の外部に設けられている情報提供装置などから提供される情報（例えば渋滞情報や事故情報などの交通情報）などにより、運転者へ注意喚起すべき自車両周囲の状況が把握されたら、その状況を警告情報として運転者へ知らせるようなものでもよい。
【００１２】
図３は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、撮像装置としての２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラで構成されており、２つの撮像部１１０Ａ，１１０Ｂは同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、受光素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるアナログ電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力するデータ出力手段としての信号処理部１１５Ａ，１１５Ｂとから構成されている。なお、信号処理部１１５Ａ，１１５Ｂは、画像センサ１１３Ａ，１１３Ｂ上に設けられていても良い。本実施形態の撮像ユニット１０１からは、輝度画像データと視差画像データが出力される。画像データは、例えば、１画素あたり、１２ビットのデータ量のものであり、０〜４０９５階調（画素値）をとる。
【００１３】
また、撮像ユニット１０１は、画像処理基板等からなる画像処理装置である処理ハードウェア部１２０を備えている。処理ハードウェア部１２０は、撮像画像データに対してリアルタイム性が要求される処理を主に実行するものである。具体的には、例えば、ガンマ補正等の輝度補正処理、２つの撮像部１１０Ａ，１１０Ｂの取り付け位置ズレなどに起因する撮像画像の歪みを補正する歪み補正処理（左右の撮像画像の平行化）、ブロックマッチングによる視差演算処理などが挙げられる。なお、輝度補正処理や歪み補正処理は必ずしも行う必要はない。
【００１４】
本実施形態の処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データの輝度補正処理を行う輝度補正処理部１２４、画像の歪みを補正する歪み補正処理部１２５、これらの補正処理後の輝度画像データから視差画像を得るために各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部１２１などで構成される。
【００１５】
ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一点（同一対象物上の同じ箇所）に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一点までの距離を算出することができる。
【００１６】
図４（ａ）及び（ｂ）は、２つの撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一例をそれぞれ示す説明図である。
図４（ａ）及び（ｂ）に示す例では、２つの撮像部１１０Ａ，１１０Ｂで互いに異なる方向から同じ撮像領域を撮像し、これにより得られる２つの撮像画像のうちの一方（図４（ａ）に示す画像）を基準画像とし、他方（図４（ｂ）に示す画像）を比較画像としている。そして、基準画像内のある画像領域が比較画像内のどの画像領域に対応するかを検索する。例えば、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域を検索する際、縦方向位置は画像領域Ｗａの縦方向位置と同じ位置に固定したまま、横方向位置を変化させて、比較画像内を、Ｗｂ１→Ｗｂ２→Ｗｂ３・・・というように検索していく。そして、この検索を行いながら基準画像と比較画像との間の相関演算を行い、相関度が最も高くなる画像領域を検出して、撮像領域内の同一点に対応する対応点を基準画像及び比較画像の両方で特定するマッチング処理を行う。
【００１７】
図５は、一般的な測距原理を示す説明図である。
マッチング処理により、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域Ｗｂ３が特定されたら、撮像領域内の同一点に対応した各画像領域Ｗａ，Ｗｂ３内の対応点について、基準画像と比較画像とのズレ量を視差値として求める。具体的には、図５に示すように、基準画像内における注目画素の基線方向位置をＸＲとし、比較画像内における対応画素の基線方向位置をＸＬとしたとき、視差値Ｄは、Ｄ＝｜ＸＬ−ＸＲ｜から求めることができる。
【００１８】
なお、マッチング処理により求めた視差値Ｄを用いることで、基準画像内における注目画素に映し出されている撮像領域内の当該同一点（測定対象点）までの距離（基線から測定対象点までの距離）Ｚを、下記の式（１）より算出することができる。なお、下記の式（１）において、「Ｆ」は撮像部１１０Ａ，１１０Ｂの焦点距離であり、「Ｂ」は撮像部１１０Ａ，１１０Ｂ間の基線長である。
Ｚ  ＝  Ｂ  ×  Ｆ  ／  Ｄ  ・・・（１）
【００１９】
画像解析ユニット１０２は、撮像ユニット１０１から出力される輝度画像データや視差画像データを記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３とを備えている。ＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および処理ハードウェア部１２０の全体的な制御を担うとともに、他車両やガードレールその他の各種オブジェクト（認識対象物）の認識処理を実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果を外部へと出力する。外部に出力される認識処理結果のデータは、後述する警告ユニット２００において運転者の状況を判断するための運転者状況情報として使用されたり、車両走行制御ユニット１０６において自車両１００の各種車両制御用アクチュエータの制御（ブレーキ制御、車速制御など）を行うための入力データとして使用されたりする。
【００２０】
図６は、本実施形態の物体認識処理を説明するための処理ブロック図である。
ステレオカメラを構成する２つの撮像部１１０Ａ，１１０Ｂから出力される２つの輝度画像データは画像処理部１３１に出力される。この画像処理部１３１は、輝度画像データに対して輝度補正処理や歪み補正処理などの画像処理を実行するものであり、処理ハードウェア部１２０の輝度補正処理部１２４及び歪み補正処理部１２５によって構成される。
【００２１】
画像処理部１３１は、輝度画像データが入力されると、輝度補正処理部１２４による輝度補正処理を実行した後に、歪み補正処理部１２５による歪み補正処理を実行する。この歪み補正処理は、撮像部１１０Ａ，１１０Ｂにおける光学系の歪みや左右の撮像部１１０Ａ，１１０Ｂの相対的な位置関係から、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データ（基準画像と比較画像）を、２つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する。
【００２２】
このようにして歪み補正処理を行った後、次に、視差演算部１２１によって構成される視差画像生成部１３２において、視差画像データ（視差情報）を生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の撮像部１１０Ａの輝度画像データを基準画像データとし、他方の撮像部１１０Ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。
【００２３】
具体的には、視差画像生成部１３２は、基準画像データのある行について、一の注目画素とその隣の画素からなるブロックを定義する。ここで、注目画素とともにブロックを構成する周辺画素としては、隣の画素のみに限らず、例えば、注目画素を中心とした３画素×３画素のブロック内に存在する画素を用いたり、注目画素に対してｘ方向に複数個分の画素を用いたりしてもよい。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（Ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。
【００２４】
マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。
【００２５】
このようにして視差画像生成処理を行ったら、次に、Ｖマップ生成部１３３において、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示されるところ、これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これをＶマップと呼ぶ。
【００２６】
具体的に説明すると、Ｖマップ生成部１３３は、視差画像生成部１３２で生成された視差画像データの各行について、視差値頻度分布を計算する。具体例を挙げて説明すると、図７（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１３３は、図７（ｂ）に示すような行ごとの視差値頻度分布を計算して出力する。このようにして得られる各行の視差値頻度分布の情報から、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとり、Ｘ軸に視差値をとった二次元直交座標系上に、頻度を分布させたＶマップを得ることができる。このＶマップは、頻度に応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。
【００２７】
次に、本実施形態では、視差画像生成部１３２が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１３４において、自車両１００の前方路面の３次元形状を検出する路面形状検出処理を実行する。
例えば、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の延長面に一致している場合、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる認識対象物を映し出した画素であると言える。このような画素は、路面を映し出す画素が持つ特徴に合致するので、路面を映し出している画素であると推定することができる。
【００２８】
路面形状検出部１３４では、このような路面に対応する視差値が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を直線近似する処理を行う。近似直線の情報が得られたら、次に、路面高さテーブル算出部１３５において、路面高さ（自車両の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部１３４により生成されたＶマップ上の近似直線の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車両の真下に位置する路面部分をその面に平行となるように自車両進行方向前方へ延長した仮想平面の自車両進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面はＶマップ上で直線（基準直線）により表される。路面形状検出部１３４から出力される近似直線を基準直線と比較することで、自車両前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部１３４から出力される近似直線上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車両前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１３５では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。
【００２９】
次に、Ｕマップ生成部１３６について説明する。Ｕマップ生成部１３６では、Ｕマップを生成するＵマップ生成処理を実行する。視差画像データに含まれる各画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これをＵマップと呼ぶ。本実施形態のＵマップ生成部１３３では、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから５ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけＵマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。
【００３０】
例えば、路面の左右両側にガードレールが存在し、他車両としては、先行車両と対向車両がそれぞれ１台ずつ存在する場合、Ｕマップにおいては、左右のガードレールに対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状に分布する。一方、他車両に対応する高頻度の点は、左右のガードレールの間で、Ｘ軸方向に略平行に延びる線分の状態で分布する。
【００３１】
次に、孤立領域検出部１３７について説明する。孤立領域検出部１３７では、Ｕマップ生成部１３６で生成されたＵマップの情報から、まず、Ｕマップの平滑化処理を行った後、二値化処理を行う。その後、値のある座標のラベリングを行い、孤立領域を検出する。以下、それぞれの処理について説明する。
【００３２】
視差値には計算誤差等もあって分散があり、視差値がすべての画素について計算されているわけではないので、実際のＵマップは、ノイズを含んでいる。そのため、ノイズを除去するためと、認識対象物（オブジェクト）を識別しやすくするため、Ｕマップを平滑化する処理を行う。この平滑化処理では、画像の平滑化と同様に、平滑化フィルタ（たとえば３×３画素の単純平均）を頻度値に対して適用する。これにより、ノイズと考えられるようなＵマップ上の地点の頻度が減少し、認識対象物（オブジェクト）の地点では頻度が周囲よりも高いグループとなる。その結果、後段の処理において孤立領域の検出を容易になる。
【００３３】
次に、このように平滑化されたＵマップの情報から、Ｕマップ上において頻度が周囲より高い孤立領域を検出する。この検出では、Ｕマップをまず二値化する処理を行う。この二値化処理には、例えば、特許第４０１８３１０号公報などに開示されている適応二値化方法を用いることができる。各認識対象物（オブジェクト）は、その高さ、形状、背景とのコントラスト差などに違いがあるので、各認識対象物にそれぞれ対応する孤立領域は、頻度値が大きいものもあれば小さいものもある。そのため、単一の閾値による二値化では適切に検出できない孤立領域が発生するおそれがある。これを防ぐためにも、上述した適応二値化方法を用いるのが好ましい。なお、二値化は、頻度の高い領域を「１」（黒）とし、頻度の低い領域を「０」（白）とする。
【００３４】
このように二値化処理で「１」の値（黒）をもつ地点（頻度値が二値化閾値より高い座標）をその連結性に基づいてラベリングし、同一ラベルが付いた領域を１つの孤立領域として検出する。
【００３５】
このようにして得られる各孤立領域について、その幅（Ｕマップ上のＸ軸方向長さ）と、その孤立領域内の最小視差値ｄから計算される当該孤立領域に映し出されている認識対象物（オブジェクト）と自車両との距離ｚとを用い、当該孤立領域に対応する画像領域に映し出されている物体の幅Ｗを計算することができる。この物体の幅Ｗが、予め決められた範囲内にある孤立領域を、オブジェクト候補領域として決定する。
【００３６】
次に、視差画像の対応領域検出部１３８について説明する。
前記孤立領域検出部１３７によりオブジェクト候補領域として決定された孤立領域について、当該孤立領域が内接する矩形領域を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する認識対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する認識対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する認識対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１３８は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。
【００３７】
具体的には、視差画像の対応領域検出部１３８は、孤立領域検出部１３７から出力される孤立領域の情報に基づき、当該孤立領域の幅すなわちＸ軸方向座標がｘｍｉｎからｘｍａｘまでの範囲（検出幅）について、視差画像を所定のＹ軸方向範囲について走査し、当該孤立領域に設定されたＵマップ上での矩形領域の高さすなわちＵマップＹ軸方向座標（視差値）がｄｍｉｎからｄｍａｘまでの範囲の値を視差値とする画素を候補画素として抽出する。このときの走査範囲（視差画像のＹ軸方向範囲）は、例えば、視差画像上端から視差画像１／６だけ下の位置から、視差画像下方に向けて、最大視差ｄｍａｘから得られる路面までの範囲とすることができる。
【００３８】
このようにして抽出した候補画素群の中で、前記検出幅に対して視差画像Ｘ軸方向に所定の数以上の候補画素が存在する横方向ラインを、オブジェクト候補ラインとして決定する。次に、縦方向走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上で存在している場合、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。
【００３９】
オブジェクト領域抽出部１３９は、各孤立領域に対応する各検出幅について、このようにして判定されたオブジェクトラインを探索し、これにより検出されたオブジェクトライン群の外接矩形を、視差画像上のオブジェクト領域として決定する。
【００４０】
次に、オブジェクトタイプ分類部１４０について説明する。
前記オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の高さから、そのオブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の実際の高さを計算できる。同様に、オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の幅から、そのオブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の実際の幅を計算できる。また、当該オブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の奥行きは、当該オブジェクト領域に対応した孤立領域内の最大視差値ｄｍａｘと最小視差値ｄｍｉｎから計算することができる。
【００４１】
オブジェクトタイプ分類部１４０は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。具体的には、オブジェクトタイプの分類を行うためのテーブルデータと比較して、自車両前方に存在する認識対象物（オブジェクト）が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。
【００４２】
次に、３次元位置決定部１４１について説明する。
３次元位置決定部１４１では、検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの３次元位置を決定する。
【００４３】
次に、ガードレール検出部１４２について説明する。
路面の側方などに設置される側壁やガードレールは、一般に、路面から３０〜１００ｃｍの範囲内に存在するので、ガードレール検出処理の対象範囲として、この範囲に対応するＵマップ内の領域を選定する。その後、この対象範囲について、Ｕマップの頻度に重み付けを行い、Ｈｏｕｇｈ変換して近似直線を検出し、この近似直線からガードレールを検出する。
【００４４】
次に、本発明の特徴部分である警告ユニット２００の構成及び動作について説明する。
図１は、本実施形態に係る警告ユニット２００及びこれに関連する構成についてのブロック図である。
車両走行制御ユニット１０６は、上述したように、画像解析ユニット１０２からの認識処理結果、すなわち、車両前方に存在する歩行者、自転車、他車両等のオブジェクトの３次元位置やガードレールの位置などの情報を取得し、各種車両制御用アクチュエータを制御して、ハンドル制御（ステアリング制御）、ブレーキ制御、車速制御などの走行支援制御を実施する。また、車両走行制御ユニット１０６には、画像解析ユニット１０２のほかにも、自車両１００に搭載されている車速センサ１５１、加速度センサ１５２、操舵角センサ１５３、ブレーキ操作センサ１５４、アクセル操作センサ１５５などの各種センサからのセンシング結果が入力される。車両走行制御ユニット１０６は、これらのセンシング結果も利用して、各種車両制御用アクチュエータを制御する。
【００４５】
車速センサ１５１は、自車両１００の走行速度を検出して、これをセンシング結果として出力する。加速度センサ１５２は、自車両１００の加速度を検出して、これをセンシング結果として出力する。操舵角センサ１５３は、運転者によるハンドル操作角度を検出して、これをセンシング結果として出力する。ブレーキ操作センサ１５４は、運転者によるブレーキ操作の操作量を検出して、これをセンシング結果として出力する。アクセル操作センサ１５５は、運転者によるアクセル操作の操作量を検出して、これをセンシング結果として出力する。
【００４６】
本実施形態において、画像解析ユニット１０２は、例えば、撮像ユニット１０１から故障を知らせるデータが出力されたり、撮像ユニット１０１から送信されてくるデータを解析した結果、そのデータが異常であると判定したりした場合には、撮像ユニット１０１の不具合を知らせる不具合情報を、車両走行制御ユニット１０６へ出力する。この場合、車両走行制御ユニット１０６は、必要に応じて各種車両制御用アクチュエータを制御するとともに、撮像ユニット１０１の不具合を知らせる不具合情報を警告ユニット２００へ出力する。
【００４７】
具体的な不具合情報の例としては、例えば、撮像ユニット１０１の撮像部１１０Ａ，１１０Ｂから画像同期信号が出力されなくなった場合、信号処理部１１５Ａ，１１５Ｂから出力される画像データの画素値はすべてゼロとなる。このような異常画像データが画像解析ユニット１０２に入力されたら、画像解析ユニット１０２は撮像部１１０Ａ，１１０Ｂが故障していることを示すカメラ故障情報を不具合情報として出力する。このような撮像ユニット１０１の故障が起きると、画像解析ユニット１０２による認識処理ができなくなり、自車両１００の前方に存在する歩行者、自転車、他車両等のオブジェクトの３次元位置やガードレールの位置などの情報を取得できなくなる。そうすると、車両走行制御ユニットによるハンドル制御、ブレーキ制御等の走行支援制御が行えなくなるため、カメラ故障情報は、迅速に運転者へ警告すべき深刻な警告情報であるといえる。
【００４８】
また、例えば、撮像部１１０Ａ，１１０Ｂの信号処理部１１５Ａ，１１５Ｂに設けられるフレームメモリに１ビットソフトエラーが発生する例も考えられる。１ビットソフトエラーとは、放射性粒子によって生じるフレームメモリ内のビット状態が変化してしまう不具合であり、いつ発生するのかを予測することができないものである。信号処理部１１５Ａ，１１５Ｂはフレームメモリへのデータ入出力時にチェックサム処理を行って１ビットソフトエラーの発生をチェックしている。信号処理部１１５Ａ，１１５Ｂが１ビットソフトエラーの発生を検出した場合、その検出情報が画像解析ユニット１０２へ送られ、画像解析ユニット１０２は１ビットソフトエラーの発生を示すソフトエラー情報を不具合情報として出力する。なお、画像データが１ビットだけ欠けても、上述した視差画像データに基づく認識処理にはあまり影響が出ないことが多いので、１ビットソフトエラーの発生頻度が高い場合に、ソフトエラー情報を不具合情報として出力するようにしてもよい。
【００４９】
また、例えば、撮像部１１０Ａ，１１０Ｂの画像センサ１１３Ａ，１１３Ｂ上の受光素子が故障する例も考えられる。この場合、その受光素子に対応する画素値は常にゼロ又はエラー値を示すものとなり、画像解析ユニット１０２は、これを検出したら、画像センサ１１３Ａ，１１３Ｂの画素欠陥エラーを示す画素欠陥情報を不具合情報として出力する。なお、画像データが１ビットだけ欠けても、上述した視差画像データに基づく認識処理にはあまり影響が出ないことが多いので、故障した受光素子の個数が一定数以上になったときに、画素欠陥情報を不具合情報として出力するようにしてもよい。
【００５０】
また、車両走行制御ユニット１０６は、各センサ１５１〜１５５のセンシング結果が異常であると判定した場合、必要に応じて各種車両制御用アクチュエータを制御するとともに、異常と判定されたセンサ１５１〜１５５のセンサ異常情報を不具合情報として警告ユニット２００へ出力する。更に、車両走行制御ユニット１０６は、各種車両制御用アクチュエータの動作が異常であると判定した場合にも、異常と判定されたアクチュエータのアクチュエータ異常情報を不具合情報として警告ユニット２００へ出力する。
【００５１】
警告ユニット２００は、車両走行制御ユニット１０６から出力される各種不具合情報を、警告情報取得手段としての不具合情報取得部２０２により取得する。不具合情報取得部２０２が不具合情報を取得すると、その不具合情報は報知処理手段としての警告報知制御部２０３に送られる。警告報知制御部２０３は、不具合情報取得部２０２から不具合情報を受け取ると、その不具合情報に応じた報知を運転者へ行うための報知処理を実行する。具体的には、その不具合情報の内容を、表示ユニット１０３を用いて画像により運転者へ報知したり、スピーカーを用いて音声や警告音などの音により運転者へ報知したりする報知処理を実行する。
【００５２】
このような不具合情報の警告報知は、一般に、できるだけ迅速に運転者へなされるべきものであるという考え方がある。しかしながら、その警告報知がなされるタイミングに、運転者が、その警告報知を受けることよりも優先すべき操作や判断等を行っている状況（危険回避操作を行っている状況等）である場合があり得る。このような状況の運転者に対して警告報知がなされると、運転者の注意がその警告報知に向いてしまい、優先すべき操作や判断等が妨げられるおそれがある。
【００５３】
そこで、本実施形態の警告ユニット２００では、運転者状況情報取得手段としての運転者状況情報取得部２０１により運転者状況情報を取得する。そして、警告報知制御部２０３において、この運転者状況情報が所定の警告回避条件を満たしているか否かにより、警告報知のタイミングにおける運転者の状況が、運転者への警告報知を回避した方がよい警告回避状況であるか否かを判断する。その結果、警告報知のタイミングにおける運転者の状況が、警告回避状況でなければそのタイミングで警告報知を行い、警告回避状況であればそのタイミングで警告報知を行わない。
【００５４】
運転者の状況が警告回避状況であるか否かの判断は、次のようにして行うことができる。
運転者が危険回避操作を行っているという警告回避状況の判断は、例えば、車速センサ１５１のセンシング結果と、画像解析ユニット１０２からの認識処理結果データとを、運転者状況情報として用いることにより実現できる。具体的には、例えば、車速センサ１５１のセンシング結果から把握される自車両１００の走行速度が規定速度以上であるとともに、認識処理結果データから把握されるガードレールの位置が自車両１００の前方かつ自車両１００までの距離が規定距離以下であるという警告回避条件を満たしていれば、運転者が危険回避操作を行っているという警告回避状況であると判断する。
【００５５】
また、運転者が危険回避操作を行っているという警告回避状況の判断は、例えば、車速センサ１５１のセンシング結果と、ブレーキ操作センサ１５４のセンシング結果とを、運転者状況情報として用いることによっても実現できる。具体的には、例えば、車速センサ１５１のセンシング結果から把握される自車両１００の走行速度が規定速度以上であるとともに、ブレーキ操作センサ１５４のセンシング結果から把握されるブレーキ操作量が規定量以上であるという警告回避条件を満たしていれば、運転者が危険回避操作を行っているという警告回避状況であると判断する。
【００５６】
また、運転者が危険回避操作を行っているという警告回避状況の判断は、例えば、車速センサ１５１のセンシング結果と、操舵角センサ１５３のセンシング結果とを、運転者状況情報として用いることによっても実現できる。具体的には、例えば、車速センサ１５１のセンシング結果から把握される自車両１００の走行速度が規定速度以上であるとともに、操舵角センサ１５３のセンシング結果から把握されるハンドル操作角度が規定角度以上であるという警告回避条件を満たしていれば、運転者が危険回避操作を行っているという警告回避状況であると判断する。
【００５７】
運転者が危険回避操作を行っているという警告回避状況の判断は、ここに例示したものに限らず、ここに例示した判断方法を互いに組み合わせたり、その他の運転者状況情報を用いたり、その他の警告回避条件を用いたりしてもよい。
【００５８】
図８は、本実施形態における警告ユニット２００の警告報知処理の流れを示すフローチャートである。
本実施形態では、警告ユニット２００の不具合情報取得部２０２に不具合情報が入力されると（Ｓ１のＹｅｓ）、即座にその不具合情報の報知処理を実行するのではなく、まず、警告ユニット２００の運転者状況情報取得部２０１により必要な運転者状況情報を取得する（Ｓ２）。そして、警告報知制御部２０３は、取得した運転者状況情報が所定の警告回避条件を満たしているか否かにより、運転者の状況が警告回避状況であるか否かを判断する（Ｓ３）。
【００５９】
警告回避状況ではないと判断されれば（Ｓ３のＮｏ）、運転者の状況は、警告情報の報知を受けることよりも優先すべき操作や判断等を行っている状況ではないので、その不具合情報を運転者へ通常どおりに警告報知しても、特に支障はない。したがって、警告報知制御部２０３は、不具合情報取得部２０２に入力された不具合情報の内容を運転者へ報知するための報知処理を実行する（Ｓ４）。これにより、運転者は、その不具合情報の警告報知を迅速に受けることができる。
【００６０】
一方、警告回避状況であると判断されれば（Ｓ３のＹｅｓ）、運転者の状況は、警告情報の報知を受けることよりも優先すべき操作や判断等を行っている状況である。このような状況において、その不具合情報を運転者へ通常どおりに警告報知すると、運転者の注意がその警告報知に向いてしまい、優先すべき操作や判断等が妨げられるおそれがある。特に、運転者がガードレール、歩行者、他車両等の回避対象物への衝突を回避するために急なハンドル操作や急なブレーキ操作などの危険回避操作を行っている状況において、運転者に通常どおりの警告報知がなされ、運転者の注意がその警告報知に向いてしまうと、危険回避操作が不適正になって、深刻な事態が生じかねない。
【００６１】
そのため、警告回避状況であると判断された場合（Ｓ３のＹｅｓ）、警告報知制御部２０３は、警告回避状況ではあると判断されるまでは、不具合情報の内容を運転者へ報知するための報知処理を実行しない。これにより、警告情報の報知を受けることよりも優先すべき操作や判断等を行っている状況に置かれた運転者の注意が警告報知に向いてしまって、優先すべき操作や判断等が妨げられるという事態を回避することができる。
【００６２】
〔変形例〕
次に、本実施形態における警告ユニット２００で実行される警告報知処理の一変形例について説明する。
上述した実施形態における警告報知処理では、上述した実施形態と同様、撮像ユニット１０１のカメラ故障情報、ソフトエラー情報、画素欠陥情報、各種センサ１５１〜１５５のセンサ異常情報、各種車両制御用アクチュエータのアクチュエータ異常情報など、複数種類の警告情報についての報知処理を行う。ただし、上述した実施形態では、運転者状況情報が所定の警告回避条件を満たせば、いずれの警告情報もその警告回避条件が満たされなくなるまで、報知処理が実行されない。
【００６３】
しかしながら、警告情報が示す各種不具合の内容はさまざまであり、運転者へ迅速に報知すべきかどうかの重要度は警告情報ごとに異なるものである。そのため、運転者が置かれている状況が同じでも、警告情報の内容によっては、その警告情報の報知を優先する方が好ましい場合もあれば、その警告情報の報知を行わない方が好ましい場合もある。また、別の見方をすれば、同じ警告情報でも、運転者の状況が異なれば、その警告情報の報知を優先する方が好ましい場合もあれば、その警告情報の報知を行わない方が好ましい場合もある。
【００６４】
そのため、上述した実施形態のように、いずれの警告情報も、その警告情報の報知処理を実行するか否かを同じ警告回避条件で判断する場合には、種々の警告情報についての報知処理の実行の可否を運転者の様々な状況に応じて適切に判定することが難しい。そこで、本変形例では、警告情報の種類ごとに異なる警告回避条件を用いて、警告情報の内容ごとに、その報知処理の実行の可否を、運転者の様々な状況に応じて適切に判定する。
【００６５】
下記の表１は、警告情報の種類を緊急報知の重要度に応じて３段階（不具合レベルＡ〜Ｃ）に分けるとともに、運転者の状況を警告回避の必要性に応じて３段階（警告回避レベル１〜３）に分けて、本変形例における報知処理の実行可否の条件をまとめた表である。
【００６６】
【表１】
2016170485.tif 000003
【００６７】
本変形例において、不具合レベルＡに関連付けられる警告情報は、運転者への緊急報知性が高いものであり、具体的には、自車両１００の運転に直接関わる機能にかかわる不具合の情報などが挙げられる。具体例としては、ハンドルに関する不具合（パワーステアリングの故障、ハンドルロックの異常動作など）、ブレーキに関する不具合、エンジンを含む駆動系に関する不具合などが挙げられる。
【００６８】
不具合レベルＡに関連付けられる警告情報は、前記表１のとおり、運転者の状況が高い警告回避状況（警告回避レベル１）であっても報知処理がなされることから、運転者の視覚を通じて報知する画像表示などの報知方法ではなく、運転者の聴覚を通じて報知する音声などの報知方法が好ましい。このとき、その音声の内容は、例えば、「ハンドルのパワーステアリングの異常です。ハンドルを強く操作してください」など、具体的な不具合の内容と一緒に、その対処方法も報知することが望ましい。
【００６９】
なお、運転者の状況が警告回避レベル２や３のように高い警告回避状況ではない場合には、警告回避レベル１のような高い警告回避状況である場合よりも、報知方法に対する制限は少ない。よって、例えば、警告回避レベル１での報知処理では、音声による報知方法を用い、警告回避レベル２や３での報知処理では、画像表示による報知方法を用いるなど、警告回避レベルに応じて報知方法を代えるようにしてもよい。
【００７０】
不具合レベルＢに関連付けられる警告情報は、運転者への緊急報知性が中程度のものであり、具体的には、自車両１００の運転を補助する機能にかかわる不具合の情報などが挙げられる。具体例としては、自車両１００の周囲の状況を検出するセンサ類の不具合（撮像ユニット１０１や画像解析ユニット１０２の不具合、各種センサ１５１〜１５５の不具合、レーダー、バックモニタ、温度センサ等の監視センサ系の不具合など）、カーナビゲーション装置の不具合、メータ類の不具合、自動ブレーキングやオートクルーズ等の走行支援機能の不具合、ワイパーやヘッドライト等の不具合などが挙げられる。
【００７１】
不具合レベルＢに関連付けられる警告情報は、前記表１のとおり、運転者の状況が高い危険回避状況である警告回避レベル１では報知処理がされず、運転者の状況が高い危険回避状況ではない警告回避レベル２や３で報知処理がなされる。したがって、報知方法に対する制限は少ないので、警告灯、表示ユニット１０３への画像表示、音声案内など、その警告情報の内容を運転者へ知らせるのに適した報知方法を採用することができる。
【００７２】
また、不具合レベルＣに関連付けられる警告情報は、運転者への緊急報知性が低いものであり、具体的には、自車両１００の運転機能に関わりの無い不具合の情報などが挙げられる。具体例としては、パワーウインドウ、自動ドア、パワーシートなどの不具合などが挙げられる。
【００７３】
不具合レベルＣに関連付けられる警告情報は、前記表１のとおり、警告回避レベル１や２では報知処理がされず、警告回避レベル３で報知処理がなされるものである。したがって、報知方法に対する制限は更に少なく、警告灯、表示ユニット１０３への画像表示、音声案内など、その警告情報の内容を運転者へ知らせるのに適した報知方法を採用することができる。
【００７４】
また、本変形例において、警告回避レベル１は、運転者が警告報知を受けることよりも優先すべき操作や判断等を行っている状況であり、具体的には、運転者が危険回避操作を行っている状況などが挙げられる。警告回避レベル１の判断は、例えば、車速センサ１５１のセンシング結果から把握される自車両１００の走行速度が規定速度以上であり、操舵角センサ１５３のセンシング結果から把握されるハンドル操作角度が所定の急ハンドル角度以上であって、ブレーキ操作センサ１５４のセンシング結果から把握されるブレーキ操作量が規定の強ブレーキ量以上又は該急ブレーキ量よりも少ない規定の中ブレーキ量以上であるという第１警告回避条件を満たしていれば、警告回避レベル１であると判断する。
【００７５】
また、警告回避レベル２は、運転者が警告報知を受けることよりも優先するのが好ましい操作や判断等を行っている状況であり、具体的には、カーブ走行中など警告報知に気を取られるのが好ましくない状況や、交差点の右左折操作中など歩行者や対向車などの多くのことに注意を向けることが要求される状況などが挙げられる。警告回避レベル２の判断は、例えば、カーブ走行中かどうかを判断する場合には、車速センサ１５１のセンシング結果から把握される自車両１００の走行速度が規定速度以上であり、操舵角センサ１５３のセンシング結果から把握されるハンドル操作角度が前記急ハンドル角度未満であって、ブレーキ操作センサ１５４のセンシング結果から把握されるブレーキ操作量が規定の強ブレーキ量未満であるという第２警告回避条件を満たしていれば、警告回避レベル２であると判断する。また、交差点の右左折操作中かどうかを判断する場合には、これらのセンシング結果に加えて、カーナビゲーション装置のナビゲーション情報を利用し、自車両１００が交差点を右左折している状況であるかどうかを判断してもよい。
【００７６】
また、警告回避レベル３は、運転者が警告報知を受けることよりも優先すべき又は優先することが好ましい操作や判断等を行っていない状況であり、具体的には、道路を直進走行している状況や、自車両１００を停車させている状況などなどが挙げられる。警告回避レベル３の判断も、上述した車速センサ１５１、操舵角センサ１５３、ブレーキ操作センサ１５４等のセンシング結果を利用して判断することが可能である。
【００７７】
図９は、本変形例における警告ユニット２００のブロック図である。
図１０は、本変形例における警告報知処理の流れを示すフローチャートである。
本変形例において、警告ユニット２００の不具合情報取得部２０２に不具合情報（警告情報）が入力されると（Ｓ１１のＹｅｓ）、まず、その不具合情報が不具合レベルＡに属するものであるか否かを判断する（Ｓ１２）。本変形例の警告ユニット２００には、各種不具合情報とその不具合情報が属する不具合レベルＡ，Ｂ，Ｃとが関連づけられた不具合レベル判定情報が記憶部２０４に予め記憶されている。警告報知制御部２０３は、記憶部２０４内の不具合レベル判定情報を参照して、入力された不具合情報の不具合レベルを取得する。
【００７８】
警告報知制御部２０３は、入力された不具合情報が不具合レベルＡに属すると判断した場合（Ｓ１２のＹｅｓ）、前記表１に示したとおり、警告回避レベルに関わらず（すなわち運転者の状況に関わらず）、報知処理を実行する（Ｓ１８）。これにより、運転者は、緊急報知性の高い不具合情報の警告報知を迅速に受けることができる。
【００７９】
一方、警告報知制御部２０３は、入力された不具合情報が不具合レベルＢに属すると判断した場合（Ｓ１３のＹｅｓ）、警告ユニット２００の運転者状況情報取得部２０１により必要な運転者状況情報を取得する（Ｓ１４）。そして、警告報知制御部２０３は、取得した運転者状況情報（車速センサ１５１、操舵角センサ１５３、ブレーキ操作センサ１５４等のセンシング結果）が第１の警告回避条件を満たしているか否か、すなわち、警告回避レベル１であるか否かを判断する（Ｓ１５）。
【００８０】
このとき、警告回避レベル１ではないと判断されれば（Ｓ１５のＮｏ）、入力された不具合レベルＢの不具合情報は運転者への報知処理が実行され（Ｓ１８）、警告回避レベル１であると判断されれば（Ｓ１５のＹｅｓ）、警告回避レベル１の状況が解消されたと判断されるまでは、報知処理が実行されない。これにより、自車両１００の運転を補助する機能にかかわる撮像ユニット１０１の不具合など、運転者への緊急報知性が中程度のものである不具合レベルＢの警告情報は、運転者の状況が高い危険回避状況である警告回避レベル１では報知されないので、そのような状況の運転者は、警告報知に注意が向いてしまうことなく、危険回避操作等を継続できるとともに、運転者の状況が高い危険回避状況ではない警告回避レベル２や３では、迅速な報知がなされることになる。
【００８１】
他方、警告報知制御部２０３は、入力された不具合情報が不具合レベルＣに属すると判断した場合も（Ｓ１３のＮｏ）、まずは、警告ユニット２００の運転者状況情報取得部２０１により必要な運転者状況情報を取得する（Ｓ１６）。そして、警告報知制御部２０３は、取得した運転者状況情報（車速センサ１５１、操舵角センサ１５３、ブレーキ操作センサ１５４等のセンシング結果）が第２の警告回避条件を満たしているか否か、すなわち、警告回避レベル１又は２のいずれかであるか否かを判断する（Ｓ１７）。
【００８２】
このとき、警告回避レベル１でも警告回避レベル２でもない、すなわち、警告回避レベル３であると判断されれば（Ｓ１７のＮｏ）、入力された不具合レベルＣの不具合情報は運転者への報知処理が実行され（Ｓ１８）、警告回避レベル１又は２のいずれかであると判断されれば（Ｓ１７のＹｅｓ）、警告回避レベル１又は２の状況が解消されたと判断されるまでは、報知処理が実行されない。これにより、自車両１００の運転機能に関わりの無いパワーウインドウの不具合など、運転者への緊急報知性が低い不具合レベルＣの警告情報は、警告回避レベル１や２では報知されないので、そのような状況の運転者は、このような緊急報知性の低い警告報知に注意が向いてしまうことなく、優先すべき操作や判断等を継続できるとともに、警告回避レベル３では迅速な報知がなされることになる。
【００８３】
なお、本実施形態では、警告装置としての警告ユニット２００が、画像解析ユニット１０２や車両走行制御ユニット１０６などの他の制御装置とは別体に構成されている例であるが、警告ユニット２００の機能の一部又は全部を画像解析ユニット１０２や車両走行制御ユニット１０６などの他の制御装置で実現してもよい。
【００８４】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
自車両１００等の移動体の運転者へ警告すべきカメラ故障情報等の所定の警告情報を取得する不具合情報取得部２０２等の警告情報取得手段と、前記警告情報取得手段が取得した警告情報に応じた報知を運転者へ行うための報知処理を実行する警告報知制御部２０３等の報知処理手段とを有する警告ユニット２００等の警告装置において、運転者の状況を判断するための各種センサ１５１〜１５５のセンシング結果等の運転者状況情報を取得する運転者状況情報取得部２０１等の運転者状況情報取得手段を有し、前記報知処理手段は、前記警告情報取得手段が取得した警告情報に応じた報知を運転者へ行う報知タイミングに、前記運転者状況情報取得手段が取得した運転者状況情報が所定の警告回避条件を満たしていない場合には、所定の報知方法で前記報知処理を行い、該所定の警告回避条件を満たしている場合には、前記報知処理を行わないか、又は、該所定の報知方法よりも報知効果が小さい報知方法で前記報知処理を行うことを特徴とする。
本態様においては、警告情報の報知タイミングの際、運転者状況情報が所定の警告回避条件を満たさない場合には、その警告情報の報知が所定の報知方法で行われ、所定の警告回避条件を満たす場合には、当該報知が行われず、又は、報知効果が小さい報知方法で当該報知が行われる。本態様において、運転者状況情報や所定の警告回避条件を適切に設定すれば、運転者の状況が、警告情報の報知を受けることよりも優先すべき操作や判断等を行っている状況であるか否かを判断することが可能である。よって、本態様によれば、運転者がこのような状況に置かれている場合に、警告情報の報知を行わなかったり、又は、警告情報の報知効果を小さくしたりすることが可能である。その結果、運転者がこのような状況に置かれている場合に、運転者の注意がその警告情報の報知に向いてしまうのを抑制でき、運転者は、優先すべき操作や判断等を適切に継続することが可能となる。
なお、ここでいう「報知効果が小さい報知方法」とは、報知された警告情報を運転者が認識しにくくなる報知方法であり、例えば、画像表示による報知方法を音声による報知方法へ変更するなど報知手段を変更したり、画像表示の輝度や大きさを小さくし又は音声の大きさを小さくするなど同じ報知手段における報知方法をしたりすることが挙げられる。
【００８５】
（態様Ｂ）
前記態様Ａにおいて、前記報知処理手段は、前記報知タイミングに前記所定の警告回避条件を満たしている場合、その後に該所定の警告回避条件を満たさなくなった時点以後に、前記所定の報知方法で前記報知処理を行うことを特徴とする。
これによれば、運転者が警告情報の報知よりも優先すべき操作や判断等を適切に行った後に、その警告情報を運転者へ報知できるので、運転者の優先すべき操作や判断等を妨げることなく、警告情報を運転者へ知らせることができる。
【００８６】
（態様Ｃ）
前記態様Ａ又はＢにおいて、前記警告情報は、前記移動体に搭載されている撮像ユニット１０１、各種センサ１５１〜１５５、各種車両制御用アクチュエータ等の移動体搭載機器の不具合情報を含むことを特徴とする。
これによれば、移動体搭載機器の不具合情報について、運転者の優先すべき操作や判断等を妨げることなく、その不具合情報を運転者へ知らせることができる。
【００８７】
（態様Ｄ）
前記態様Ｃにおいて、前記移動体搭載機器は、移動体周囲に存在するガードレールや歩行者等の検出対象物を検出するための撮像ユニット１０１、レーダー等の検出手段を含むことを特徴とする。
このような検出手段は、一般に、移動体の運転を補助する機能にかかわる不具合の情報であるため、この検出手段に不具合が生じても移動体の運転に直接的な影響はないことから、移動体の運転に直接関わる機能に不具合が生じた場合と比較して、緊急報知性は低いものである。よって、このような検出手段の不具合情報については、これよりも運転者が優先すべき操作や判断等を行っている状況が想定される。検出手段の不具合情報について、運転者がこれよりも優先すべき操作や判断等を行っている状況では報知を行わないようにしても支障がなく、むしろ、運転者の優先すべき操作や判断等を妨げない点で大きなメリットがある。
【００８８】
（態様Ｅ）
前記態様Ａ〜Ｄのいずれかの態様において、前記運転者状況情報は、運転者による操作内容を示すハンドル操作角度、アクセル操作量、ブレーキ操作量等の操作内容情報を含むことを特徴とする。
これによれば、運転者が行った操作内容から、運転者が置かれている状況を把握することができ、運転者が置かれている状況に応じた警告情報の報知処理の実行の有無を適切に処理できる。
【００８９】
（態様Ｆ）
前記態様Ｅにおいて、前記所定の警告回避条件は、前記操作内容情報が示す操作内容が、ハンドル操作角度が規定の急ハンドル角度以上である等の所定の危険回避操作に該当するという条件であることを特徴とする。
これによれば、運転者が危険回避操作を行っている状況であることを検出することができる。
【００９０】
（態様Ｇ）
前記態様Ｅ又はＦにおいて、前記操作内容情報は、ハンドル操作等の移動体の移動方向操作、アクセル操作等の移動体の加速操作、ブレーキ操作等の移動体の制動操作のうちの少なくとも１つの操作の内容を示すものであることを特徴とする。
これによれば、運転者が置かれている状況をより適切に把握することが可能となる。
【００９１】
（態様Ｈ）
前記態様Ａ〜Ｇのいずれかの態様において、前記警告情報取得手段は、互いに異なる複数の警告情報を取得するものであり、前記報知処理手段は、前記所定の警告回避条件として、前記警告情報の種類ごとに異なる警告回避レベル１〜３等の条件を用いることを特徴とする。
各警告情報が示す内容が互いに異なる場合、運転者へ迅速に報知すべきかどうかの重要度が警告情報ごとに異なる場合がある。そのため、運転者が置かれている状況が同じでも、報知する警告情報の内容によっては、その警告情報の報知を優先する方が好ましい場合もあれば、その警告情報の報知を行わない方が好ましい場合もある。あるいは、同じ警告情報でも、運転者の状況が異なれば、その警告情報の報知を優先する方が好ましい場合もあれば、その警告情報の報知を行わない方が好ましい場合もある。本態様によれば、警告情報の種類ごとに異なる警告回避条件を用いることで、警告情報の内容ごとに、その報知処理の実行の適否を、運転者の様々な状況に応じて適切に判定することができる。
【００９２】
（態様Ｉ）
所定の警告情報に応じた報知を運転者へ行う警告ユニット２００等の警告装置を備えた自車両１００等の移動体において、前記警告装置として、前記態様Ａ〜Ｈのいずれかの態様に係る警告装置を用いたことを特徴とする。
これによれば、当該移動体の運転者は、警告情報の報知タイミングの際に、警告情報の報知を受けることよりも優先すべき操作や判断等を行っている状況である場合、その警告情報の報知に妨げられることなく、当該優先すべき操作や判断等を継続できる。
【００９３】
（態様Ｊ）
移動体の運転者へ警告すべき所定の警告情報を取得する警告情報取得工程と、前記警告情報取得手段が取得した警告情報に応じた報知を運転者へ行うための報知処理を実行する報知処理工程とを有する警告方法において、運転者の状況を判断するための運転者状況情報を取得する運転者状況情報取得工程を有し、前記報知処理工程では、前記警告情報取得工程で取得した警告情報に応じた報知を運転者へ行う報知タイミングに、前記運転者状況情報取得工程で取得した運転者状況情報が所定の警告回避条件を満たしていない場合には、所定の報知方法で前記報知処理を行い、該所定の警告回避条件を満たしている場合には、前記報知処理を行わないか、又は、該所定の報知方法よりも報知効果が小さい報知方法で前記報知処理を行うことを特徴とする。
本態様においては、警告情報の報知タイミングの際、運転者状況情報が所定の警告回避条件を満たさない場合には、その警告情報の報知が所定の報知方法で行われ、所定の警告回避条件を満たす場合には、当該報知が行われず、又は、報知効果が小さい報知方法で当該報知が行われる。本態様において、運転者状況情報や所定の警告回避条件を適切に設定すれば、運転者の状況が、警告情報の報知を受けることよりも優先すべき操作や判断等を行っている状況であるか否かを判断することが可能である。よって、本態様によれば、運転者がこのような状況に置かれている場合に、警告情報の報知を行わなかったり、又は、警告情報の報知効果を小さくしたりすることが可能である。その結果、運転者がこのような状況に置かれている場合に、運転者の注意がその警告情報の報知に向いてしまうのを抑制でき、運転者は、優先すべき操作や判断等を適切に継続することが可能となる。
【符号の説明】
【００９４】
１００  自車両
１０１  撮像ユニット
１０２  画像解析ユニット
１０３  表示ユニット
１０６  車両走行制御ユニット
１１０Ａ，１１０Ｂ  撮像部
１１３Ａ，１１３Ｂ  画像センサ
１１４Ａ，１１４Ｂ  センサ基板
１１５Ａ，１１５Ｂ  信号処理部
１２０  処理ハードウェア部
１２１  視差演算部
１２２  記憶手段
１２４  輝度補正処理部
１２５  補正処理部
１５１  車速センサ
１５２  加速度センサ
１５３  操舵角センサ
１５４  ブレーキ操作センサ
１５５  アクセル操作センサ
２００  警告ユニット
２０１  運転者状況情報取得部
２０２  不具合情報取得部
２０３  警告報知制御部
２０４  記憶部
【先行技術文献】
【特許文献】
【００９５】
【特許文献１】特開平０５−１７２７０６号公報
【図１】
2016170485.tif 000004
【図２】
2016170485.tif 000005
【図３】
2016170485.tif 000006
【図４】
2016170485.tif 000007
【図５】
2016170485.tif 000008
【図６】
2016170485.tif 000009
【図７】
2016170485.tif 000010
【図８】
2016170485.tif 000011
【図９】
2016170485.tif 000012
【図１０】
2016170485.tif 000013