(57)【要約】【課題】運転者の顔向きを高精度に特定することで、安全運転を促進することができる安全運転促進装置及び安全運転促進方法を提供する。【解決手段】耳介撮像装置２１、警告装置２２、及び制御装置２３を備えた安全運転促進装置２０において、耳介撮像装置２１が撮像した耳介の画像Ｄ１に基づいて、制御装置２３により、運転者の顔向きＰ１を特定し、特定した顔向きＰ１から運転者の安全運転に対する意識が低下いると判定した場合は、警告装置２２に警告をさせる構成にした。【選択図】図２
2018169656.tif 000002
【特許請求の範囲】
【請求項１】
運転者の耳介を撮像する耳介撮像装置と、警告を発する警告装置と、その耳介撮像装置及びその警告装置に接続された制御装置とを備えて、
前記耳介撮像装置が撮像した耳介の画像に基づいて、前記制御装置により、運転者の顔向きを特定し、特定したその顔向きからその運転者の安全運転に対する意識が低下していると判定した場合は、前記警告装置に警告をさせる構成にしたことを特徴とする安全運転促進装置。
【請求項２】
前記耳介撮像装置が、耳輪及び耳垂を含む耳介の外周形状を撮像可能に構成された請求項１に記載の安全運転促進装置。
【請求項３】
運転者が正面を向いた状態の耳介の画像を初期画像として設定し、その初期画像に対する前記耳介撮像装置が撮像した耳介の画像の変化により前記顔向きを特定する構成にした請求項１又は２に記載の安全運転促進装置。
【請求項４】
前記制御装置に接続されて運転者が着座する運転席の座面の座圧分布を検出する座圧センサを備えて、
前記座圧センサが検出した座圧分布に基づいて、前記制御装置により、前記運転席に着座した運転者の動きを特定し、特定したその動きからその運転者の安全運転に対する意識が低下していると判定した場合は、前記警告装置に警告をさせる構成にした請求項１〜３のいずれか１項に記載の安全運転促進装置。
【請求項５】
前記制御装置に接続されて運転者の視線又は顔を撮像する撮像装置を備えて、
前記撮像装置が視線又は顔の画像を撮像した場合は、撮像したその視線又は顔の画像に基づいて、前記制御装置により、運転者の顔向きを特定し、特定したその顔向きからその運転者の安全運転に対する意識が低下していると判定した場合は、前記警告装置に警告をさせる構成にし、
前記撮像装置が前記視線又は顔向きの加増を撮像できない場合は、前記耳介撮像装置が撮像した耳介の画像に基づいて、前記制御装置により、運転者の顔向きを特定し、特定したその顔向きからその運転者の安全運転に対する意識が低下していると判定した場合は、前記警告装置に警告をさせる構成にした請求項１〜４のいずれか１項に記載の安全運転促進装置。
【請求項６】
耳介撮像装置により運転者の耳介の画像を撮像し、
撮像したその耳介の画像に基づいて、運転者の顔向きを特定し、
特定したその顔向きに基づいて、運転者の意識が低下しているか否かを判定し、
運転者の意識が低下していると判定した場合に、警告装置により警告することを特徴とする安全運転促進方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、安全運転促進装置及び安全運転促進方法に関し、より詳細には、安全運転を促進する安全運転促進装置及び安全運転促進方法に関する。
【背景技術】
【０００２】
カメラを用いて車両の運転者の顔向きを取得して、取得したその顔向きに基づいて運転者の状態を判定する装置が提案されている（例えば、特許文献１を参照）。特許文献１に記載の装置は、運転者の顔向きにより視認行動を確認することで、脇見、居眠り、漫然運転などの運転者の意識が低下している状態を把握することが可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０１４８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、運転者の顔や視線を撮像する装置は、運転者の正面に設置されている。しかし、運転者を正面から撮像する場合に、運転者の視認行動が小さい場合は運転者の顔向きを特定することができないという問題があった。運転者の顔向きを特定できない場合は、運転者の安全運転に対する意識が低下しているか否かの判定を行うことができない。
【０００５】
本発明の目的は、運転者の顔向きを高精度に特定することで、安全運転を促進することができる安全運転促進装置及び安全運転促進方法を提供することである。
【課題を解決するための手段】
【０００６】
上記の目的を達成する本発明の安全運転促進装置は、運転者の耳介を撮像する耳介撮像装置と、警告を発する警告装置と、その耳介撮像装置及びその警告装置に接続された制御装置とを備えて、前記耳介撮像装置が撮像した耳介の画像に基づいて、前記制御装置により、運転者の顔向きを特定し、特定したその顔向きからその運転者の安全運転に対する意識が低下していると判定した場合は、前記警告装置に警告をさせる構成にしたことを特徴とする。
【０００７】
また、上記の目的を達成する本発明の安全運転促進方法は、耳介撮像装置により運転者の耳介の画像を撮像し、撮像したその耳介の画像に基づいて、運転者の顔向きを特定し、特定したその顔向きに基づいて、運転者の意識が低下しているか否かを判定し、運転者の意識が低下していると判定した場合に、警告装置により警告することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、耳介撮像装置が撮像した運転者の耳介の画像に基づいて、耳介の位置や傾きにより運転者の顔向きを特定している。それ故、運転者の顔向きを高精度に特定することができる。これにより、運転者の顔向きが特定できない頻度を低減するには有利になり、運転者の安全運転に対する意識が低下している場合は警告により運転者に安全運転に対する意識を向上することができる。これに伴って、安全運転に対する意識が低下した状態での運転を確実に回避して、安全運転を促進することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の安全運転促進装置の第一実施形態を例示する構成図である。
【図２】図１の運転室を運転席に着座した運転者から見た構成図である。
【図３】図１の耳介撮像装置が撮像した耳介の画像を例示する説明図である。
【図４】本発明の安全運転促進方法の第一実施形態を例示するフロー図である。
【図５】本発明の安全運転促進装置の第二実施形態を例示する構成図である。
【図６】本発明の安全運転促進方法の第二実施形態を例示するフロー図である。
【図７】本発明の安全運転促進装置の第三実施形態を例示する構成図である。
【図８】本発明の安全運転促進方法の第三実施形態を例示するフロー図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の実施形態について、図面を参照して説明する。図中では、ｘを車両の進行方向（前後方向）とし、ｙを車両の側方（左右方向）とする。
【００１１】
図１に例示するように、第一実施形態の安全運転促進装置２０は、車両の運転室１０に設置された運転席１１に腰掛けた運転者に対して、安全運転を促進させるものである。
【００１２】
運転室１０は、運転席１１の前方にフロントガラス１２が、運転席１１の側方にフロントドアガラス１３が配置されている。運転席１１は、運転者が腰掛ける座面（シートクッション）１１ａと、運転者の背中をもたせ掛ける背もたれ（シートバック）１１ｂと、運転者の頭や首を保持する座席用枕（ヘッドレスト）１１ｃとを備えている。
【００１３】
安全運転促進装置２０は、耳介撮像装置２１、警告装置２２、及び制御装置２３を備えている。
【００１４】
耳介撮像装置２１は、運転者が運転席１１に腰掛けたときに運転者の耳介の画像Ｄ１を撮像するカメラである。耳介撮像装置２１は、運転室１０の側方側に配置されるサイドピラー１４に設置されている。耳介撮像装置２１のカメラのレンズ２１ａが座席用枕１１ｃの高さと同等の高さに配置されて、運転者に向いている。
【００１５】
耳介撮像装置２１は、運転者の耳介のうちの少なくとも耳輪及び耳垂を含む耳介の外周形状を撮像可能に構成されている。耳介撮像装置２１の解像度は、耳輪及び耳垂を含む耳介の外周形状が解析可能な解像度であればよい。それ故、耳介撮像装置２１は、運転者の視線方向や開眼度合いまでを精度良く撮像する高解像度のものに比して安価となる。
【００１６】
耳介撮像装置２１としては、ビデオカメラやスチルカメラが例示される。なお、耳介撮像装置２１は、運転席１１に着座した運転者の耳介の画像Ｄ１を撮像可能であればよく、フロントピラーに設置されてもよい。
【００１７】
警告装置２２は、運転者に対して警告を発する装置であり、車両の運転室内に配置されている。警告としては、音による警告や光による警告が例示される。
【００１８】
制御装置２３は、各種情報処理を行うＣＰＵ、その各種情報処理を行うために用いられるプログラムや情報処理結果を読み書き可能な内部記憶装置、及び各種インターフェースなどから構成されるハードウェアである。制御装置２３は、耳介撮像装置２１及び警告装置２２に一点鎖線で示す信号線を介して電気的に接続されている。
【００１９】
制御装置２３は、所定の周期Ｔ１ごとに、耳介撮像装置２１が撮像した耳介の画像Ｄ１に基づいて、特定した運転者の顔向きＰ１から運転者の安全運転に対する意識が低下していると判定した場合は、警告装置２２に警告させる指令Ｓ１を出している。
【００２０】
制御装置２３は、顔向き特定部２４と判定部２５とを有している。顔向き特定部２４は
、耳介の画像Ｄ１に基づいて運転席１１に腰掛けている運転者の顔向きＰ１を特定する機能要素である。判定部２５は、顔向き特定部２４で特定したその顔向きＰ１に基づいて運転者の安全運転に対する意識が低下しているか否かを判定する機能要素である。顔向き特定部２４及び判定部２５は、プログラムとして内部記憶装置に記憶されているが、それぞれ個別のハードウェアで構成されてもよい。
【００２１】
具体的に、顔向き特定部２４は、初期画像Ｄ０に対する耳介撮像装置２１で撮像した耳介の画像Ｄ１の変化に基づいて運転者の顔向きＰ１を特定する機能要素である。
【００２２】
図２に例示するように、車両の運転中に運転席１１に着座した運転者は、安全確認のための視認行動を行っている。視認行動とは、安全運転のための視認行動であり、脇見などの安全運転に関係のない視認行動を除いたものである。安全運転のための視認行動としては、フロントガラス１２を介して車両の進行方向、つまり前方を視認する前方視認行動、メータパネル１５を視認する下側視認行動と、ルームミラー１６を介して車両の後方を視認する後方視認行動と、右側サイドミラー１７を介して車両の右側後方を視認する右側視認行動と、左側サイドミラー１８を介して車両の左側後方を視認する左側視認行動が例示される。以上のように、運転者が安全運転に対する意識が高い場合に、運転者の顔向きＰ１は、前方視認行動、下側視認行動、後方視認行動、右側視認行動、及び左側視認行動の各視認行動ごとに異なる。
【００２３】
図３（ａ）に例示するように、前方視認行動により顔向きＰ１は前方を向くことになり、耳介の画像Ｄ１は初期画像Ｄ０と略重なる。図３（ｂ）に例示するように、下側視認行動により顔向きＰ１は下側を向くことになり、耳介の画像Ｄ１は初期画像Ｄ０に対して右回りに傾く。図３（ｃ）に例示するように、後方視認行動により顔向きＰ１は上側を向くことになり、耳介の画像Ｄ１は初期画像Ｐ０に対して左回りに傾く。図３（ｄ）に例示するように、右側視認行動により顔向きＰ３は右側を向くことになり、耳介の画像Ｄ１は初期画像Ｐ０に対して右側に位置が移動する。図３（ｅ）に例示するように、左側視認行動により顔向きＰ４は左側を向くことになり、耳介の画像Ｄ１は初期画像Ｐ０に対して左側に位置が移動する。
【００２４】
初期画像Ｄ０は、運転者がフロントガラス１２を介して車両の前方を見ている状態、つまり、運転者の顔向きＰ１が正面を向いた状態の耳介の形状を模した画像データであり、予め実験や試験により平均的な耳介の形状や大きさに基づいて設定されている。初期画像Ｄ０は、長軸が鉛直ｚ方向に対して傾いている楕円形状の画像である。なお、初期画像Ｄ０は、運転者が運転席１１に着座したときに耳介撮像装置２１が撮像した耳介の画像Ｄ１により設定してもよい。また、初期画像Ｄ０は、楕円形状に限定されずに、卵型やオーバル形状などに設定してもよい。
【００２５】
耳介の画像Ｄ１は、画像処理により初期画像Ｄ０に対する傾きや位置が特定される。例えば、初期画像Ｄ０の長軸に対して、耳介の画像Ｄ１の外周に存在する二点の距離が最大になったときにその二点を結ぶ線分が傾いている場合に顔向きＰ１が下側又は上側を向いていると特定する。また、初期画像Ｄ０のｘ方向の中心に対して、耳介の画像Ｄ１の位置が離間している場合に顔向きＰ１が右側又は左側を向いていると特定する。なお、耳介の外周形状以外の三角窩、舟状窩、対輪、対輪脚、対珠、耳珠などの形状の変化により顔向きＰ１を特定してもよい。
【００２６】
判定部２５は、顔向き特定部２４で特定した顔向きＰ１が変化した回数や変化した頻度の増減、その変化のバランスの正否の情報を用いて、運転者の安全運転に対する意識が低下した状態か否かを判定する機能要素である。
【００２７】
運転者の安全運転に対する意識が低下した状態は、運転者が脇見をしていて意識が運転以外に向いている意識外状態や、居眠り運転状態や漫然状態が例示される。なお、漫然状態とは、運転者の意識レベルが低下した状態であり、「前をよく見ていなかった」、「ぼうっとしたいた」などの注意が散漫になった運転状態であり、居眠り運転状態が懸念される状態でもある。
【００２８】
運転者の安全運転に対する意識が低下した状態か否かを判定する方法としては、特に限定されるものではなく、周知の技術の判定方法を用いる。例えば、運転者の顔向きＰ１が変化した回数や頻度が閾値未満の状態が予め設定した経過時間続いた場合に意識が低下した状態であると判定する方法が例示される。また、運転者の顔向きＰ１の角度を解析して、その角度が予め設定された閾値以上の状態が予め設定された経過時間続いた場合に意識が低下した状態であると判定する方法が例示される。また、顔向きＰ１の変化速度が予め設定された閾値以下であるか否かを判定し、その変化速度が閾値以下の場合には意識が低下した状態であると判定する方法もある。
【００２９】
図４に例示するように、実施形態の安全運転促進方法は、所定の周期Ｔ１ごとに繰り返し行われるものである。
【００３０】
制御装置２３は、耳介撮像装置２１により撮像した耳介の画像Ｄ１を取得する（Ｓ１１０）。次いで、制御装置２３は、取得した耳介の画像Ｄ１を画像処理して初期画像Ｄ０と比較し、顔向きＰ１を特定する（Ｓ１２０）。
【００３１】
次いで、制御装置２３は、特定した顔向きＰ１に基づいて、運転者の安全運転に対する意識が低下しているか否かを判定する（Ｓ１３０）。例えば、制御装置２３は、特定した顔向きＰ１に基づいて、運転者が行った視認行動が適切か否かを判定したり、視認行動の頻度が適切か否かを判定したり、視認行動の偏りにより判定したりする。
【００３２】
運転者の安全運転に対する意識が低下していないと判定すると、スタートへ戻る。
【００３３】
一方、運転者の安全運転に対する意識が低下していると判定すると、制御装置２３は、警告装置２２に運転者に対してその腰掛け方の崩れを正す警告をさせる指令Ｓ１を出す（Ｓ１４０）。次いで、その指令Ｓ１により、警告装置２２が警告を発して（Ｓ１５０）スタートへ戻る。
【００３４】
上記の安全運転促進装置２０は、耳介撮像装置２１が撮像した運転者の耳介の画像Ｄ１に基づいて運転者の顔向きＰ１を特定している。耳介の画像Ｄ１は、運転者の顔や視線の画像と比して、形状の変化が容易に判断することが可能である。それ故、運転者の顔向きＰ１を高精度に特定することができる。
【００３５】
これにより、運転者の顔向きＰ１が特定できない頻度を低減するには有利になり、運転者の安全運転に対する意識が低下している場合は警告により運転者に安全運転に対する意識を向上することができる。これに伴って、安全運転に対する意識が低下した状態での運転を確実に回避して、安全運転を促進することができる。
【００３６】
安全運転促進装置２０は、耳介の画像Ｄ１として、耳介のうちの耳輪及び耳垂を含む外周形状を用いている。それ故、耳介撮像装置２１としては、低解像度のカメラを用いることが可能になり、装置に掛かるコストを低減するには有利になる。なお、耳介の他の部位を撮像可能なカメラを用いることで、より高精度な特定は可能になる。
【００３７】
安全運転促進装置２０は、初期画像Ｄ０として、運転者が前方を確認している状態の耳
介の画像を模した画像を用いていて、その初期画像Ｄ０と耳介の画像Ｄ１とを比較することで、顔向きＰ１を特定している。このように、運転者が基本的に前方を向いていることを前提として、初期画像Ｄ０により基準を設定することで、耳介の画像Ｄ１の変化が判定し易くなり、容易に運転者の顔向きＰ１を特定することができる。
【００３８】
図５に例示するように、第二実施形態の安全運転促進装置２０は、第一実施形態に対して運転者が着座する運転席１１の座面１１ａの座圧分布Ｄ２を検出する座圧センサ２６を備える点が異なっている。制御装置２３は、機能要素として座圧センサ２６が検出した座圧分布Ｄ２に基づいて、運転席１１に着座した運転者の動きを特定する動作特定部２７を有している。
【００３９】
座圧センサ２６は、運転者が運転席１１に腰掛けたときに運転者から座面１１ａに伝わる座圧を検知するセンサであり、座面１１ａの内部に配置されたシート状のセンサである。座圧センサ２６は、座面１１ａと略同等の面積に所定の間隔で格子状にセンサが配置されているものが例示され、センサとして感圧導電性インクを用いたものが例示される。
【００４０】
図６に例示するように、第二実施形態の安全運転促進方法は、上述した第一実施形態の方法に加えて、座圧センサ２６が検出した座圧分布Ｄ２に基づいて、運転席１１に着座した運転者の動きＰ２を特定し、特定したその動きＰ２からその運転者の安全運転に対する意識が低下しているか否かを判定する方法を追加したものである。
【００４１】
制御装置２３は、座圧センサ２６を介して座圧分布Ｄ２を取得する（Ｓ２１０）。次いで、制御装置２３は、座圧分布Ｄ２に基づいて、運転者の動きＰ２を特定する（Ｓ２２０）。座圧分布Ｄ２から運転者の動きＰ２を特定する方法としては、座圧分布Ｄ２の変化量（前回からの変化量）が閾値以上になった場合に動きＰ２があったと特定する方法が例示される。
【００４２】
次いで、制御装置２３は、特定した動きＰ２に基づいて、運転者の安全運転に対する意識が低下しているか否かを判定する（Ｓ２３０）。例えば、制御装置２３は、特定した動きＰ２に基づいて、運転者が運転操作を行っているか否かを判定したり、運転者が視認行動を行っているか否かを判定したりする。
【００４３】
運転者の安全運転に対する意識が低下していないと判定すると、上述したＳ１１０〜Ｓ１３０のステップを行う。
【００４４】
一方、運転者の安全運転に対する意識が低下していると判定すると、制御装置２３は、警告装置２２に運転者に対してその腰掛け方の崩れを正す警告をさせる指令Ｓ１を出す（Ｓ１４０）。次いで、その指令Ｓ１により、警告装置２２が警告を発して（Ｓ１５０）スタートへ戻る。
【００４５】
このように、耳介の画像Ｄ１に基づいた意識の低下の判定に加えて、座圧センサ２６が検出した座圧分布Ｄ２に基づいた意識の低下の判定を行うことで、運転者の安全運転に対する意識の低下を判定する頻度を増加することができる。これにより、安全運転に対する意識が低下した状態での運転を確実に回避して、安全運転を促進することができる。
【００４６】
図８に例示するように、第三実施形態の安全運転促進装置２０は、第一実施形態に対して、運転者の顔を正面から撮像する正面撮像装置２８を備えている点が異なる。制御装置２３は、機能要素として正面撮像装置２８が撮像した運転者の顔の画像Ｄ３に基づいて、運転席１１に着座した運転者の顔向きＰ１を特定する第三特定部２９を有している。
【００４７】
正面撮像装置２８は、運転者が運転席１１に腰掛けたときに運転者の顔の画像Ｄ３を撮像するカメラである。正面撮像装置２８は、運転室１０の前方側に配置されるメータパネル１５やインストルメントパネルに設置されている。正面撮像装置２８のカメラのレンズは、運転者の顔に向いている。正面撮像装置２８としては、ビデオカメラやスチルカメラが例示される。なお、高解像度になり効果になるが、正面撮像装置２８の代わりに運転者の視線を撮像する装置を設けてもよい。
【００４８】
図９に例示するように、第三実施形態の安全運転促進方法は、正面撮像装置２８により撮像した運転者の顔の画像Ｄ３に基づいて、運転者の顔向きＰ１を特定できない場合に、上述した第一実施形態のＳ１１０〜Ｓ１２０のステップを行う方法である。
【００４９】
制御装置２３は、正面撮像装置２８により撮像した運転者の顔の画像Ｄ３を取得する（Ｓ３１０）。次いで、制御装置２３は、取得した顔の画像Ｄ３を画像処理して、顔向きＰ１が特定可能か否かを判定する（Ｓ３２０）。顔の画像Ｄ３に基づいて顔向きＰ１が特定できない場合としては、運転者の視認行動に要する動作が小さい場合が例示される。
【００５０】
顔の画像Ｄ３に基づいて顔向きＰ１が特定可能と判定すると、制御装置２３は、取得した顔の画像Ｄ３を画像処理して、顔向きＰ１を特定する（Ｓ３３０）。このステップでは、顔の画像Ｄ３から顔向きＰ１が特定できればよく、周知の方法を用いてもよい。
【００５１】
一方、顔の画像Ｄ３に基づいて顔向きＰ１が特定不可能と判定すると、制御装置２３は、上述したＳ１１０〜Ｓ１２０のステップを行う。
【００５２】
正面撮像装置２８あるいは耳介撮像装置２１のどちらか一方により顔向きＰ１を特定すると、制御装置２３は、上述したＳ１３０〜Ｓ１５０のステップを行ってスタートへ戻る。
【００５３】
このように、耳介撮像装置２１が撮像した耳介の画像Ｄ１に基づいた運転者の顔向きＰ１の特定を、運転者の顔や視線を撮像した画像に基づいた顔向きＰ１の特定のバックアップとして用いることで、顔向きＰ１が特定できない頻度を低減することができる。これにより、運転者の安全運転に対する意識の低下を判定する頻度を増加するには有利になり、安全運転に対する意識が低下した状態での運転を確実に回避して、安全運転を促進することができる。
【００５４】
なお、正面撮像装置２８が撮像した顔の画像Ｄ３に基づいた運転者の顔向きＰ１の特定を、運転者の耳介の画像Ｄ１に基づいた顔向きＰ１の特定のバックアップとして用いてもよい。
【００５５】
既述した安全運転促進装置２０は、車両に搭載されるものに限定されずに、運転者が運転席１１に腰掛けて運転するものであれば適用可能である。
【符号の説明】
【００５６】
２０  安全運転促進装置
２１  耳介撮像装置
２２  警告装置
２３  制御装置
Ｄ１  耳介の画像
Ｐ１  顔向き
【図１】
2018169656.tif 000003
【図２】
2018169656.tif 000004
【図３】
2018169656.tif 000005
【図４】
2018169656.tif 000006
【図５】
2018169656.tif 000007
【図６】
2018169656.tif 000008
【図７】
2018169656.tif 000009
【図８】
2018169656.tif 000010