(57)【要約】【課題】左右確認や道路標識の確認などのための脇見の場合には不必要な警告動作を行うことなくし、運転者に対して適切に運転支援を行える運転支援装置を提供する。【解決手段】制御装置は、車内カメラで撮影した画像から運転者の視線を検出し、車外カメラで撮影した画像から道路標識などの車外静的情報を検出する。制御装置は、視線監視処理を実施すると、運転者の視線方向を検出し（Ａ２）、一定時間を超えるときには脇見状態を検出する（Ａ６）。このとき、運転者の視線が車外静的情報を見ているか否かを判断し、見ていないときには脇見判定をして警告する（Ａ１０、Ａ１１）。車外静的情報を見ているときは、警告をせず、その画像を表示する（Ａ９）。【選択図】図４
2018013838.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、前記車両の運転者を撮影する車内カメラ（２）と、
前記車両の進行方向を撮影する車外カメラ（３）と、
前記車内カメラによる情報に基づいて前記運転者の脇見状態を検出したときに、前記車外カメラにより撮影された運転上視認が必要となる車外静的情報の方向を前記運転者の視線が向いていない場合に脇見運転と判断して前記運転者に脇見状態を報知する制御装置（１）とを備えた運転支援装置。
【請求項２】
請求項１に記載の運転支援装置において、
画像の表示が可能な表示装置（５）を備え、
前記制御装置（１）は、前記脇見運転が検出されたときに、前記車外静的情報の方向を前記運転者の視線が向いている場合には、前記車外静的情報を前記表示装置により表示させる運転支援装置。
【請求項３】
請求項２に記載の運転支援装置において、
前記制御装置（１）は、
外部から車外静的情報の一部を画像データとして取得可能に構成され、
前記車外静的情報を前記表示装置により表示させる場合に、表示対象となる前記車外静的情報について、外部から画像データが取得できるときにはその画像データによる前記車外静的情報を表示させ、外部から画像データが取得できない場合には前記車外カメラにより撮影された前記車外静的情報の画像を表示させる運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援装置に関する。
【背景技術】
【０００２】
自動車の運転者の状態を検出して脇見運転などの状態が検出されたときには、運転者に注意を促すようにした装置がある。これは、運転者の様子を撮影するカメラを設け、運転中の運転者の挙動を解析して脇見運転などが検出されると運転者に脇見注意などの警告を促すようにしたものである。
【０００３】
しかしながら、脇見を検出するとその都度警告を行うことで、運転者が煩わしく感ずることがある。そこで、運転者が煩わしく感ずることがないように、不要な警告動作を低減することが考えられている。
【０００４】
すなわち、運転者による周囲の確認の必要度に応じて脇見判定の基準を変えるようにするのである。
例えば、直線走行中では、自動車専用道や脇道・住宅地の道路など道路種別によっては左右確認の必要度の違いがあるので、これを車線区分線の認識によって捉え、状況に応じて判定基準を変える。そして、車線区分線のない道路を走行中では、脇見の検出基準を高くしたり、あるいは脇見検出を禁止したりするものである。
【０００５】
この場合、運転者が視界に入る看板などを注視してしまった場合には、脇見であっても適切に警告することができないため、安全な運転を損なう可能性がある。また、自動車専用道の走行では、注視すべき確認対象が少ないため、少しでも脇見をすると脇見判定がされてしまうことになる。しかし、運転者が標識や看板を確認することもあるので、この場合には、脇見の警告をしてしまうと、運転者にとって必要な情報が確認できなくなるため、煩わしい警告となってしまう可能性がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２１７６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記事情を考慮してなされたもので、その目的は、脇見ではなく走行上で必要な左右確認や道路標識の確認などの場合には、不必要な警告動作を行うことなく、運転者に対して適切に運転支援を行えるようにした運転支援装置を提供することにある。
【課題を解決するための手段】
【０００８】
請求項１に記載の運転支援装置は、車両に搭載され、前記車両の運転者を撮影する車内カメラ（２）と、前記車両の進行方向を撮影する車外カメラ（３）と、前記車内カメラによる情報に基づいて前記運転者の脇見状態を検出したときに、前記車外カメラにより撮影された運転上視認が必要となる車外静的情報の方向を前記運転者の視線が向いていない場合に脇見運転と判断して前記運転者に脇見状態を報知する制御装置（１）とを備えている。
【０００９】
上記構成を採用することにより、制御装置は、車内カメラの情報から運転者の脇見状態を検出した場合に、運転者が運転上で必要となる車外静的情報への視線でない場合に脇見状態の判定をして報知を行う。換言すれば、脇見運転が検出されてもその脇見状態が車外静的情報への視線である場合には脇見状態の報知を行わないようにできる。この結果、運転者にとって必要によって視線を前方から逸らしていたときには報知動作が行われないので、運転者が煩わしく感ずるのを抑制でき、これによって適切な運転支援動作を行うことができるようになる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態を示す電気的構成図
【図２】車両と道路の関係を示す平面図
【図３】車両内部から前方を見た外観図
【図４】視線監視処理のフローチャート
【図５】車外静的情報認識処理のフローチャート
【図６】第２実施形態を示す静的情報表示処理のフローチャート
【図７】静的情報の表示例（その１）
【図８】静的情報の表示例（その２）
【発明を実施するための形態】
【００１１】
（第１実施形態）
以下、本発明の第１実施形態について、図１〜図５を参照して説明する。
この実施形態においては、車両に搭載される運転支援装置の電気的構成を図１に示している。制御装置１は全体の動作を制御するもので、通常のコンピュータとして構成されており、内部には周知のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏおよびこれらの構成を接続するバスラインなどが備えられている。なお、ここに示される構成は一例であり、必ずしもこのような構成に限定されない。例えば、道路に設置された静的情報を認識する機能を別の端末にし、認識された位置情報を前記車載端末と通信することもできる。
【００１２】
制御装置１には、車室内を撮影する車内カメラ２、車外を撮影する車外カメラ３が接続され、撮影される画像データが入力される。外部メモリ４は前述の制御プログラムが記憶されるもので、制御装置１は、電源が投入されるとこの制御プログラムを読み出して運転中に実行する。表示装置５は、報知装置として機能するもので、車室内の運転席から見える位置に設けられるもので、制御装置１により作成された表示情報が与えられるとこれを表示させる。表示装置５はカーナビゲーション装置の表示装置と兼用した構成とすることもできる。
【００１３】
車内カメラ２は、車室内の特に運転者の顔向き・視線を検知するためのもので、例えばダッシュボード中央に配置された表示装置５の上部に設けられている。車内カメラ２は、撮影された画像情報に基づいて、制御装置１により、周知の技術を用いて運転者の動作が解析される。また、車外カメラ３は、道路に設置された道路標識や案内板などの静的情報を検出するもので、車両前方の所定位置に設けられている。車外カメラ３は、撮影された画像に基づいて、制御装置１によりこれらを検出する。
【００１４】
制御装置１には、カーナビゲーション装置を構成する位置検出器６、地図データ入力器７、操作スイッチ群８などが接続される。制御装置１は、直接カーナビゲーション装置から運転経路や道路情報に関する情報を得ることもできる。位置検出器６は、ＧＰＳ受信装置などにより自車両の現在位置情報を得て制御装置１に与える。
【００１５】
地図データ入力器７は、地図データ媒体やメモリなどに記憶された地図データを入力するためのもので、制御装置１から要求される地図データを提供する。操作スイッチ群８は、各種のスイッチを備え、カーナビゲーション装置を用いた経路探索や情報取得などの操作に用いられるもので、脇見の判定処理などに関する設定などの入力操作が可能である。
【００１６】
図２および図３は、車両Ａを運転する運転者Ｂが道路を走行している状態を平面図および車内から見た外観図で示している。車両Ａは図中矢印方向に進行しているとする。車内カメラ２は、車室内の運転者Ｂを中心として例えば矢印２ａ、２ｂの間の領域の様子を撮影して制御装置１に出力する。車外カメラ３は、車両Ａの前方の例えば矢印３ａ、３ｂの間の領域Ｓの範囲の様子を撮影して制御装置１に出力する。図示は、車両Ａの運転者Ｂが視線Ｐの方向に存在する建物Ｃに掲示された案内板Ｘを見ている状態を示している。
【００１７】
案内板Ｘは、例えば店舗の所在位置を示す看板や、広告などの看板などがあるが、これらは運転中に確認することが必須なものではない。また、運転中に確認することが必要となる場合がある車外静的情報がある。これは、例えば運転者Ｂが車両Ａを運転する上で視線Ｐを向けて見るべき情報を表示したもので、道路標識あるいは行き先の表示板などがある。
【００１８】
次に、上記構成の作用について図４および図５も参照して説明する。まず、制御装置１により、車内カメラ２で撮影した情報から、運転者の視線Ｐを監視する処理について、図４のフローチャートを参照して説明する。制御装置１は、図４に示すフローチャートのプログラムをメモリから読み出して適宜のタイミングで実行する。制御装置１は、ステップＡ１で、視線監視動作を起動する。これにより車内カメラ２による運転者Ｂの撮影を実施するとともに、撮影された情報に基づいて以下のステップを経ることで運転者Ｂの視線Ｐを監視する。
【００１９】
制御装置１は、車内カメラ２で撮影した情報を取り込み、ステップＡ２で、画像を解析することにより運転者Ｂの視線Ｐの方向を検出する。次に、制御装置１は、ステップＡ３で、検出した視線Ｐの方向が前方から外れているか否かを判断し、外れている場合にはＹＥＳと判断してステップＡ４に進み、脇見フラグをセットする。制御装置１は、続いてステップＡ５で、視線方向が一定時間以上固定されているか否かを判断する。この場合、一定時間は例えば２秒といった程度の時間に設定されている。
【００２０】
制御装置１は、ステップＡ５でＹＥＳと判断した場合には、ステップＡ６に進んで、脇見状態を検出する。次に、制御装置１は、ステップＡ６で検出した脇見状態が警告すべき脇見状態であるか否かを判断する。すなわち、制御装置１は、次に、車外カメラ３による画像情報を基にして、ステップＡ７で、脇見した方向に車外静的情報が設定されているか否かを判断する。
【００２１】
車外カメラ３は、車両Ａの前方を含む領域を撮影していて、制御装置１は、後述するプログラムによって車外静的情報が存在しているか否かの検出動作を実施している。これにより、車内カメラ２で検出した運転者Ｂの視線Ｐの方向に存在する情報についても並行して制御装置１により検出処理がなされている。
【００２２】
そして、制御装置１は、車外カメラ３による画像情報から車両Ａの前方に車外静的情報が設定されていることが検出された場合には、ステップＡ７でＹＥＳと判断してステップＡ８に進む。さらに、制御装置１は、ステップＡ８で、運転者Ｂの視線方向が車外静的情報の存在する方向と一致しているか否かを判断し、ＹＥＳの場合にはステップＡ９に進む。制御装置１は、この場合にはステップＡ６で脇見状態を検出したものの、車外静的情報を見る必要上で見ているものとして脇見状態の判定を行わず、代わりに、そのとき見ていた車外静的情報を表示装置５により表示させる。車外静的情報の表示については、車外カメラ３で撮影した画像に写ったものを表示させることができる。
【００２３】
この場合、制御装置１は、運転者Ｂの視線Ｐの方向に沿うように、例えば図２、図３に示したように、左側を見ていた場合には表示装置５の左側に寄せた位置に車外カメラ３で撮影した画面から切り取った車外静的情報の画像を表示させる。
【００２４】
また、制御装置１は、ステップＡ７およびＡ８のいずれかでＮＯと判断した場合には、ステップＡ１０に進み、脇見状態であることを判定し、ステップＡ１１で脇見運転の警告もしくは注意をするように音声出力をしたり、あるいは表示装置５による表示動作を行う。すなわち、運転者Ｂの脇見状態がステップＡ６で検出され、且つそのとき運転者Ｂの視線方向に車外静的情報が存在していない場合には、運転者Ｂによる不必要な脇見状態であるからである。
【００２５】
なお、制御装置１は、ステップＡ４で脇見フラグをセットした後、運転者Ｂの視線Ｐの方向が一定時間以上固定されない場合は、ステップＡ５でＮＯと判断してステップＡ３に戻る。この後、運転者Ｂの視線Ｐの方向が前方を向くように変化すると、制御装置１は、これを検出してステップＡ３でＮＯと判断し、ステップＡ１２に移行して脇見フラグを解除し、プログラムを終了する。また、制御装置１は、最初から運転者Ｂの視線Ｐが前方に向いている場合には、ステップＡ３でＮＯと判断してステップＡ１２に移行するが、脇見フラグはセットされていないので、そのままプログラムを終了する。
【００２６】
次に、制御装置１により、車外カメラ３で撮影した情報から、車両Ａの進行方向前方の所定範囲に車外静的情報が存在するか否かを検出する処理について、図５のフローチャートを参照して説明する。制御装置１は、車内カメラ２の場合と同様に、図５に示すフローチャートのプログラムをメモリから読み出して適宜のタイミングで実行する。
【００２７】
制御装置１は、ステップＢ１で、車外静的情報認識動作を起動する。これにより車外カメラ３による車両Ａの前方の撮影を実施するとともに、撮影された情報に基づいて以下のステップを経ることで車外静的情報を認識する。制御装置１は、車外カメラ３により撮影された画像情報に基づいて車外静的情報が存在するか否かを検出する処理をプログラムに従って行う。
【００２８】
制御装置１は、ステップＢ３で、上記の検出処理で車外静的情報が検出されたか否かを判断し、ＹＥＳの場合には、ステップＢ４に移行し、車外静的情報フラグをセットする。続いて、制御装置１は、ステップＢ５に進んで画像情報の解析結果から車外静的情報の設置方向を判定する。
【００２９】
制御装置１は、上記判定結果で車外静的情報の設置方向が判定できた場合には、ステップＢ６でＹＥＳと判断してステップＢ７に移行する。また、ステップＢ６でＮＯの場合には、制御装置１は、ステップＢ２に戻って上記の車外静的情報の検出を繰り返し実施する。制御装置１は、ステップＢ７に移行する場合には、検出した車外静的情報の設定方向をセットし、続くステップＢ８で車外静的情報までの距離を演算する。
【００３０】
この後、制御装置１は、ステップＢ８に進むと、演算した車外静的情報までの距離を進行するまで待機する。そして、制御装置１は、車両Ａが進行方向に移動することで、ステップＢ９でＹＥＳと判断すると、続くステップＢ１０で車外静的フラグを解除してプログラムを終了する。なお、制御装置１は、車両Ａの移動状況の認識については、位置検出器６による位置情報あるいはカーナビゲーション装置からの移動情報を用いて距離演算や通過の判定を行うことができる。
【００３１】
また、制御装置１は、ステップＢ２で車外カメラ３の画像情報から車外静的情報を検出していない場合には、ステップＢ３でＮＯと判断してステップＢ１０を経てプログラムを終了する。ここでは、制御装置１は、車外静的情報のフラグをセットしている場合は、ステップＢ１０でフラグを解除する。
【００３２】
このような本実施形態によれば、制御装置１により、図４および図５の両プログラムを適宜のタイミングで実行することで、視線監視処理において脇見状態が検出されると、そのとき車外静的情報処理で車外静的情報が検出されているか否かに応じて脇見状態の判定をすることができる。
【００３３】
また、これにより、脇見状態であっても運転者Ｂの視線Ｐが車外静的情報を見ている場合には脇見運転として警告をせず、代わりにそのとき見ていた車外静的情報を表示装置５により表示させるので、脇見運転の検出動作を行っていながら、車外静的情報を見ることで脇見状態になった場合には、運転者Ｂに脇見運転ではないということを提示することができる。
【００３４】
なお、このような脇見運転でないことを示すための表示動作は、カーナビゲーション装置により随所で画一的に車外静的情報を案内表示するような動作と異なり、運転者Ｂが視界に入っているかどうか、また視線Ｐがその方向を見たかどうかによって表示動作を行うので、車外カメラ３により撮影されない車外静的情報については、運転者Ｂがその方向を見たとしても対象となる車外静的情報を見たわけではないので、この場合には運転者Ｂの脇見運転として判定することができる。
【００３５】
（第２実施形態）
図６から図８は第２実施形態を示すもので、以下、第１実施形態と異なる部分について説明する。この実施形態では、脇見状態でない場合に対象となる車外静的情報を表示装置５に表示する場合の表示方法を示すものである。
【００３６】
本装置を搭載する車両Ａにおいては、前述のようにカーナビゲーション装置などを設ける構成が想定され、この場合に、地図データ入力器７としては、道路に配置される主な道路標識や案内板などの画像データも備えているものである。
【００３７】
制御装置１は、前述のように脇見状態が検出されたが運転者Ｂの視線Ｐが道路標識や案内板などの車外静的情報に相当するものを見ていたことによる場合には、図４のステップＡ９で表示装置５に車外静的情報を表示させる。このとき、制御装置１は、静的情報表示処理として図６に示すプログラムに従って表示処理を行う。
【００３８】
すなわち、制御装置１は、まずステップＣ１で、表示させる対象の車外静的情報について、地図データに画像データが記憶されているか否かを探索する。次に、制御装置１は、地図データの中に車外静的情報の画像データが存在していた場合には、ステップＣ２でＹＥＳと判断してステップＣ３に進み、地図データの車外静的情報の画像データを表示装置５に表示させる。
【００３９】
また、制御装置１は、ステップＣ２でＮＯの場合つまり地図データに対象となる車外静的情報が存在いない場合には、ステップＣ４に進み、車外カメラ３で撮影した車外静的情報の画像を切り取って表示装置５に表示させる。
【００４０】
図７および図８は表示装置５への表示状態の一例を示すものである。図７は、制御装置１がステップＣ３で実行する表示の一例である。表示装置５により、地図データ入力器７から取り込んだ地図データに付随して記憶された車外静的情報の画像データＰｉｃＡとして表示したものである。この場合、例えば、図２、図３に示すように、運転者Ｂが車外静的情報を左方向の視線Ｐで見ていた場合には表示装置５の画面の左側に表示させるようにしている。
【００４１】
また、図８は、制御装置１がステップＣ４で実行する表示の一例である。表示装置５により、車外カメラ３で撮影した画像から対象となる車外静的情報の画像を切り取って画像データＰｉｃＢとして表示したものである。
【００４２】
このような第２実施形態によれば、第１実施形態で表示装置５に車外静的情報を表示する場合の態様として、地図データに記憶されている車外静的情報の画像データを利用できる場合にはこれを表示させるようにした。これにより、車外カメラ３で撮影した画像が不鮮明な場合でも地図データに記憶された鮮明な車外静的情報を画像データとして表示させることができる。
【００４３】
（他の実施形態）
なお、本発明は、上述した実施形態のみに限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能であり、例えば、以下のように変形または拡張することができる。
【００４４】
上記各実施形態では、運転者が車外静的情報を見ていたことで脇見状態であったときに、その車外静的情報を表示装置５に表示させるようにしたが、必ずしも表示装置５に表示させる必要はなく、何もしないという対応をすることもできる。
【００４５】
また、表示装置５に表示をする場合でも、車外静的情報の画像ではなく、文字により表示したり、その他のマークなどを用いて表示することもできる。
報知装置は、表示装置５のように画像の表示だけでなく、音声などを用いた報知動作が行えるものでも良い。
【００４６】
運転者が運転中に見るべき情報として、上記実施形態で示した道路標識や行き先案内板など以外にも車外静的情報として設定するべきものについては、他のものを加えることもできる。また、例えば業務上などの理由で、運転者が見るべき車外静的情報が存在する場合には、そのような車外静的情報を別途登録することで脇見状態と判定することから外れるようにすることもできる。
【００４７】
本装置は、カーナビゲーション装置に付加的に設ける構成とすることもできる。
車内カメラ２や車外カメラ３は、上記実施形態で説明した位置の他、適宜の位置に配置することができる。例えば車内カメラ２は、運転席前方のダッシュボードに配置して運転者を正面から撮影する構成とすることができる。
【符号の説明】
【００４８】
図面中、１は制御装置、２は車内カメラ、３は車外カメラ、４は外部メモリ、５は表示装置（報知装置）、６は位置検出器、７は地図データ入力器である。
【図１】
2018013838.tif 000003
【図２】
2018013838.tif 000004
【図３】
2018013838.tif 000005
【図４】
2018013838.tif 000006
【図５】
2018013838.tif 000007
【図６】
2018013838.tif 000008
【図７】
2018013838.tif 000009
【図８】
2018013838.tif 000010