(57)【要約】【課題】簡易な構成で、ドライバーに死角範囲の目視確認を促すことができる、運転支援システムを提供する。【解決手段】運転支援システムは、上方カメラ（１１０）、正面カメラ（１２０）、制御ＥＣＵ（１３０）、表示部（１４０）を備える。各カメラ１１０および１２０によってドライバーの頭部を撮像する。そして、制御ＥＣＵ（１３０）は、当該撮像された画像からドライバーの目の位置および顔向きに関する情報を生成する。そして、制御ＥＣＵ（１３０）は、ドライバーが視認した車両外界の領域を算出し、当該車両外界の領域が予め定められた領域を網羅できた場合、表示部（１４０）を制御してドライバーにその旨を知らせる。【選択図】図１２
2009251761.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者に報知を行う運転支援システムであって、
前記車両の運転席に着席した前記運転者の頭部を互いに異なる方向から撮像する第１の撮像手段および第２の撮像手段と、
前記第１の撮像手段および前記第２の撮像手段が撮像した画像を用いて前記運転者の特徴点を検出し、当該特徴点から前記運転者の目の位置および視線方向を算出する視線方向算出手段と、
前記視線方向算出手段によって算出された前記運転者の目の位置および視線方向に基づいて、前記運転者の視界を遮る障害物が全く無いと仮定した場合に、前記運転者が視認できているであろう前記車両外界の領域である視野領域を算出する視野領域算出手段と、
前記視線方向算出手段によって算出された前記運転者の目の位置および視線方向と、前記運転者の視界を遮り得る前記車両の特定部分の位置とに基づいて、前記特定部分により遮られて死角となっているであろう前記車両外界の領域である死角領域を算出する死角領域算出手段と、
前記視野領域算出手段によって算出された視野領域から前記死角領域算出手段によって算出された死角領域を除くことによって、前記運転者が実際に視認しているであろう前記車両外界の領域である視認中領域を算出する視認中領域算出手段と、
前記運転者が既に視認したであろう前記車両外界の領域を既視認領域として記憶する既視認領域記憶手段と、
前記視認中領域算出手段によって前記視認中領域が算出されるたびに、当該算出された視認中領域が前記既視認領域に含まれるように、前記既視認領域記憶手段に記憶されている前記既視認領域を更新する既視認領域更新手段と、
前記既視認領域記憶手段に記憶されている前記既視認領域に基づいて、前記車両外界の予め定められた領域である要視認領域の全体を前記運転者が視認したか否かを判定する全体視認判定手段と、
前記全体視認判定手段の判定結果に基づいて前記運転者に対して報知を行う報知手段とを備える、運転支援システム。
【請求項２】
前記視線方向算出手段は、前記第１の撮像手段および前記第２の撮像手段が撮像した画像を用いて、前記運転者の目を検出し、当該目の情報を前記特徴点として検出することを特徴とする、請求項１に記載の運転支援システム。
【請求項３】
前記視認中領域算出手段は、当該視認中領域算出手段に入力される車両情報に基づいて前記車両が停車中か否かを判断し、当該車両は停車中であると判断したときに、前記運転者が実際に視認しているであろう前記車両外界の領域である視認中領域を算出し、前記運転者が既に視認したであろう前記車両外界の領域を既視認領域として前記既視認領域記憶手段に記憶し、前記車両が走行することによって、前記既視認領域は、前記既視認領域記憶手段から全て消去されることを特徴とする、請求項１または請求項２に記載の運転支援システム。
【請求項４】
前記既視認領域記憶手段に記憶されている前記既視認領域は、前記既視認領域更新手段によって、所定時間経過後に順次消去されることを特徴とする、請求項３に記載の運転支援システム。
【請求項５】
前記報知手段は、前記車両に備わった表示灯であり、前記全体視認判定手段が、前記車両外界の予め定められた領域である要視認領域の全体を前記運転者が視認したと判断した場合に前記表示灯を点灯させ、前記車両が走行することによって前記表示灯を消灯させることを特徴とする、請求項４に記載の運転支援システム。
【請求項６】
前記特徴点とは、目、鼻、鼻孔、口、眉、および耳の何れかを含む、請求項１に記載の運転支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援システムに関し、より特定的には、車両に搭載されて、当該車両のドライバーに死角範囲の目視確認を促すことができる運転支援システムに関する。
【背景技術】
【０００２】
従来、車両を運転しているドライバーのアイポイントを検出して、上記ドライバーにとって、上記車両の構造部による死角となる範囲を上記アイポイントから検出する運転視界補助装置が知られている。このような装置の一例として、例えば特許文献１に開示された装置がある。上記特許文献１に開示されている装置は、ドライバーのアイポイントを検出するアイポイント検出センサと、当該アイポイントに基づいて上記車両外界の死角範囲を演算する演算手段と、上記車両外界の障害物を検出する障害物検出センサとを備えている。そして、上記装置は、上記車両の停車中に、ドライバーにとって死角となる範囲に障害物が存在したとき、上記ドライバーに警報を発する。これによって、ドライバーは上記車両外界の死角範囲に例えば、人や自転車などの障害物が存在していることを知ることができる。
【特許文献１】実開平１−１７８７００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記装置は障害物センサによって車両外界の障害物を検出しているため、例えば、車両が交差点で一旦停止している場合、交差点を通行する人や自転車などは、上記車両のドライバーにとって死角となる範囲を殆ど横切ることになる。つまり、結果的には、ドライバーに対して上記装置は常に警告を発することになり、ドライバーは煩わしさを感じることになる。また、交差点などで一旦停止した場合、本来はドライバー自身が頭を動かすなどして周囲を目視により確認すことが望ましいが、上記装置ではドライバーにとって死角となる範囲を目視により確認したか否かまでは判断することができない。
【０００４】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、簡易な構成で、ドライバーに死角範囲の目視確認を促すことができる、運転支援システムを提供することにある。
【課題を解決するための手段】
【０００５】
上記のような目的を達成するために、本発明は、以下に示すような特徴を有している。第１の発明は、車両の運転者に報知を行う運転支援システムである。運転支援システムは、第１の撮像手段、第２の撮像手段、視線方向算出手段、視野領域算出手段、死角領域算出手段、視認中領域算出手段、既視認領域記憶手段、既視認領域更新手段、および全体視野判定手段を備える。第１の撮像手段および第２の撮像手段は、車両の運転席に着席した運転者の頭部を互いに異なる方向から撮像する。視線方向算出手段は、上記各撮像手段が撮像した画像を用いて前記運転者の特徴点を検出し、当該特徴点から前記運転者の目の位置および視線方向を算出する。視野領域算出手段は、上記目の位置および上記視線方向に基づいて、運転者の視界を遮る障害物が全く無いと仮定した場合に運転者が視認できているであろう車両外界の領域である視野領域を算出する。死角領域算出手段は、上記目の位置および上記視線方向と、視界を遮り得る車両の特定部位の位置との基づいて、死角となっているであろう車両外界の領域を算出する。視認中領域算出手段は、視認領域から死角領域を除くことによって、運転者が実際に視認しているであろう車両外界の領域である視認中領域を算出する。既視認領域記憶手段は、運転者が既に視認したであろう車両外界の領域を既視認領域として記憶する。既視認領域更新手段は、視認中領域が算出されるたびに、当該算出された視認中領域が既視認領域に含まれるように既視認領域記憶手段に記憶されている既視認領域を更新する。全体視認判定手段は、既視認領域に基づいて、車両外界の予め定められた領域である要視認領域の全体を運転者が視認したか否かを判定する。報知手段は、全体視認判定手段の判定結果に基づいて運転者に対して報知を行う。
【０００６】
第２の発明は、上記第１の発明において、視線方向算出手段は、前記第１の撮像手段と前記第２の撮像手段とが撮像した画像を用いて、前記運転者の目を検出し、当該目の情報を前記特徴点として検出する。
【０００７】
第３の発明は、上記第１または第２の発明において、視認中領域算出手段は、当該視認中領域算出手段に入力される車両情報に基づいて車両が停車中か否かを判断し、当該車両は停車中であると判断したときに、運転者が実際に視認しているであろう車両外界の領域である視認中領域を算出し、運転者が既に視認したであろう前記車両外界の領域を既視認領域として既視認領域記憶手段に記憶する。また、車両が走行することによって、既視認領域は、既視認領域記憶手段から全て消去される。
【０００８】
第４の発明は、上記第３の発明において、既視認領域記憶手段に記憶されている既視認領域は、既視認領域更新手段によって、所定時間経過後に順次消去される。
【０００９】
第５の発明は、上記第４の発明において、報知手段は、車両に備わった表示灯であり、全体視認判定手段が、車両外界の予め定められた領域である要視認領域の全体を運転者が視認したと判断した場合に表示灯を点灯させ、車両が走行することによって表示灯を消灯させることを特徴とする。
【００１０】
第６の発明は、上記第１の発明において、特徴点とは、目、鼻、鼻孔、口、眉、および耳の何れかを含む。
【発明の効果】
【００１１】
上記第１の発明によれば、車両の運転席に着席した運転者にとって、当該車両の構造物（フロントピラーなど）によって死角となる上記車両外界の領域を、運転者自身が確認したか否かを判断することができる。そして、死角となる上記車両外界の領域を上記運転者が確認したときに、その旨を知らせるので、運転者は死角領域までも確認したのを知ることができる。つまり、死角領域の確認がまだ十分でないことも、運転者は知ることができ、簡易な構成で、運転者に死角範囲の目視確認を促すことができる。
【００１２】
上記第２の発明によれば、視線方向算出手段は、第１の撮像手段および第２の撮像手段が撮像した画像を用いて、運転者の目を検出し、当該目の情報を前記特徴点として検出する。したがって、運転者の視野領域を正確に算出することができる。
【００１３】
上記第３の発明によれば、交差点などに進入する際、一旦停止した場合、本来はドライバー自身が頭を動かすなどして周囲を目視により確認すことが望ましい領域を確認したか否かを判断することができる。また、上記車両が走行することによって、上記既視認領域は、上記既視認領域記憶手段から全て消去される。つまり、次の交差点などに進入する際、再び一旦停止した場合、目視により確認すことが望ましい領域を確認しかた否かを新たに判断することができる。
【００１４】
上記第４の発明によれば、視認中領域は、車両が停車しているときに、所定時間間隔で既視認領域記憶手段に記憶され、既記憶領域記憶手段に記憶されている視認中領域は、所定時間経過後に順次消去される。したがって、人や自転車などが行きなうように刻々と変化する走路環境においても、正確にドライバーに対して報知することができる。
【００１５】
上記第５の発明によれば、ドライバーは、目視により確認すことが望ましい領域を確認できたことを知ることができる。また、表示灯が点灯しなければ、ドライバーは「まだ視認できていない領域が存在する」と知ることができる。
【００１６】
上記第６の発明によれば、目、鼻、鼻孔、口、眉、および耳などの特徴点を検出することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照しながら、本発明の一実施形態に係る、運転支援システムについて説明する。なお、本実施形態では当該運転支援システムが車両に搭載された場合を想定して説明する。
【００１８】
まず本実施形態の運転支援システムの概要について簡単に説明する。
【００１９】
ドライバーは、交差点の手前で一時停止した後に、車両の前方（右前方および左前方を含む）を確認してから車両を発進させる必要がある。図１は、上記車両が交差点に進入する前に一旦停止しているときの図である。図１に示すように、ドライバーがａの位置から上記車両の右前方を見た場合、上記車両のフロントピラーなどによって車両外界に死角が生じてしまう。したがって、仮にこの死角に車両右側から接近してくるバイクや歩行者等が存在したとしても、ドライバーはそのバイクの存在に気付かない可能性がある。そこで、ドライバーは、車両を発進させる前に、このような死角にバイクや歩行者等がいないことを確認するために、頭の位置を変えながら（例えば頭の位置を上記ａの位置よりも前方に移動させて）車両の前方（特に車両の右前方および左前方）を目視により確認することが望ましい。本実施形態の運転支援システムは、このようにドライバーが頭の位置を変えながら車両の前方を目視により確認したときに、視認すべき領域をドライバーが漏れなく視認したか否かを判定し、その判定結果をドライバーに提示するものである。
【００２０】
図２は、一実施形態に係る、運転支援システムの構成を示したブロック図である。図２に示すように、運転支援システムシステムは、上方カメラ１１０と、正面カメラ１２０と、制御ＥＣＵ１３０と、表示部１４０とを備えている。また、図３は、運転支援システムが搭載された車両の車室内の様子を示した図である。
【００２１】
上方カメラ１１０は、運転席に着席したドライバーの頭部を上方から撮像できる位置に設置される。上方カメラ１１０の設置場所の一例として、図３に示すように上記車両の天井など、運転席に着席したドライバーの正面上方から撮像できる位置などが挙げられる。また、上方カメラ１１０は、例えば、所定時間間隔でドライバーの頭部を撮像する。そして、上方カメラ１１０が撮像した画像は、制御ＥＣＵ１３０へ出力される。なお、上方カメラ１１０が撮像した画像を以下、上方画像と称する。
【００２２】
正面カメラ１２０は、運転席に着席したドライバーの頭部（より具体的には顔）を正面から撮像できる位置に設置される。正面カメラ１２０の設置場所の一例として、図３に示すように、上記車両のステアリングコラム上など、運転席に着席したドライバーの顔を正面から撮像できる位置などが挙げられる。また、正面カメラ１２０は、例えば、所定時間間隔でドライバーの顔を正面から撮像する。そして、正面カメラ１２０が撮像した画像は、制御ＥＣＵ１３０へ出力される。なお、正面カメラ１２０が撮像した画像を以下、正面画像と称す。なお、上方カメラ１１０および正面カメラ１２０は、本発明の第１の撮像手段および第２の撮像手段の一例に相当する。
【００２３】
制御ＥＣＵ１３０は、画像処理部１３１と、記憶部１３２、および顔画像パターン格納部１３３を備える。制御ＥＣＵ１３０は、典型的には中央演算装置や読み書き可能な記憶媒体等を備えるマイクロコンピューターである。制御ＥＣＵ１３０は、各カメラ１１０および１２０が撮像した画像を処理し、上記車両の室空間内のおけるドライバーの目の位置を算出する。そして、当該目の位置の情報に基づいて、上記ドライバーが視認することができる車両外界の領域を算出する。さらに、当該算出された領域に関する情報に基づいて表示部１４０を制御する。なお、制御ＥＣＵ１３０は、上記運転支援システムが搭載されている車両の車両情報を取得してもよい。上記車両情報とは、例えば上記車両の走行速度等である。
【００２４】
画像処理部１３１は、詳細は後述するが、上方カメラ１１０が撮像した画像および正面カメラ１２０が撮像した画像から、ドライバーの目を検出し、当該各画像中におけるドライバーの目の位置を算出する。さらに、画像処理部１３１は、上記目の位置および各カメラ１１０および１２０の設置位置などから、上記車両の車室空間内においてドライバーの目が存在する位置（ｘ、ｙ、ｚ）に関する情報と、ドライバーの顔向き角度θに関する情報とを算出する。なお、ドライバーの目が存在する位置（ｘ、ｙ、ｚ）とは、図３に示すように、上記車両の車室空間内の任意の点を原点とし、上記車両の横幅方向をｘ座標、高さ方向をｙ座標、長さ方向をｚ座標とした座標系としたとき、上記車両の車室空間内においてドライバーの目が存在する位置である。
【００２５】
さらに画像処理部１３１は、算出された情報（具体的には、目の位置（ｘ、ｙ、ｚ）と顔向き角度θ）に基づいて、ドライバーが実際に視認しているであろう車両外界の領域を算出し、当該視認したであろう領域が予め定められた領域（具体的には、フロントピラーなどによって生じる死角領域）を網羅できたか否かを判断する。そして、画像処理部１３１は、当該判断結果に基づいて表示部１４０を制御する。なお、画像処理部１３１は、本発明の視線方向算出手段、視野領域算出手段、死角領域算出手段、視認中領域算出手段、既視認領域更新手段、および全体視認判定手段の一例に相当する。
【００２６】
記憶部１３２は、画像処理部１３１で算出された各種情報を一時的に記憶しておくための読み書き可能な記憶媒体である。なお、記憶部１３２は、本発明の既視認領域記憶手段の一例に相当する。
【００２７】
顔画像パターン格納部１３３は、読み書き可能な記憶媒体で構成され、人物の顔画像パターンを示す情報が記憶されている。具体的には、顔画像パターンは、顔の大きさ、目の大きさ、鼻の大きさ等の様々なパターンを含んでいる。また、顔画像パターンは、様々な人物の顔部品のテンプレート画像（例えば、目のテンプレート画像）を含んでいる。なお、顔画像パターン格納部１３３に記憶されている顔の情報は、例えば上記車両のユーザーの書き換え作業等によって、適宜更新されてもよい。
【００２８】
表示部１４０は、画像処理部１３１からの指示に従って、当該車両に備わった警告灯を点灯または消灯させる。なお、表示部１４０は、本発明の報知手段の一例に相当する。
【００２９】
このように、一実施形態に係る運転支援システムは、各カメラ１１０および１２０によってドライバーの頭部を撮像する。そして、画像処理部１３１は、当該撮像された画像から、上記車両の車室空間内におけるドライバーの目の位置（ｘ、ｙ、ｚ）および顔向き角度θに関する情報を生成する。つまり、画像処理部１３１は、ドライバーの視線の方向と目の位置とを算出することができる。さらに、画像処理部１３１は、当該視線の方向と目の位置とからドライバーが視認した車両外界の領域を算出し、予め定められた車両外界の領域（後述の設定領域Ｓ）の全体をドライバーが視認したことが確認された場合、表示部１４０を制御してドライバーにその旨を知らせる。
【００３０】
以下、図４〜図１６を参照して、一実施形態に係る運転支援システムの各部が行う処理の一例を説明する。
【００３１】
図４〜図５は、一実施形態に係る運転支援システムの各部が行う処理の流れの一例を示したフローチャートである。なお、図４〜図５に示す処理は、運転支援システムの電源がＯＮ（例えば、運転支援システムが搭載された車両のイグニッションスイッチがＯＮ）されることによって開始される。また、当該処理は、運転支援システムの電源がＯＦＦ（例えば、イグニッションスイッチがＯＦＦ）されることによって終了する。なお、イグニッションスイッチは、以下ＩＧと称す。
【００３２】
図４のステップＳ４０において、画像処理部１３１は、変数ｎの値を１に初期化（ｎ＝１）する。
【００３３】
ステップＳ４１において、画像処理部１３１は、各カメラ１１０および１２０から出力される画像（上方画像および正面画像）を取得する。そして、画像処理部１３１は、次のステップＳ４２へ処理を進める。なお、このとき、画像処理部１３１は取得した各画像を記憶部１３２へ一旦保存してもよい。
【００３４】
ステップＳ４２において、画像処理部１３１は、上方画像および正面画像から上記車両の車室空間内におけるドライバーの目の位置Ｐを算出する。以下、画像処理部１３１が行う、ドライバーの目の位置を算出する方法を説明する。
【００３５】
図６は、図４のステップＳ４２において、画像処理部１３１が行う、ドライバーの目の位置を算出する動作の一例を示したフローチャートである。図７は、正面カメラ１２０が撮像したドライバーの顔画像の一例である。図８は、上方カメラ１１０が撮像したドライバーの頭画像の一例である。図９は、上方カメラ１１０および正面カメラ１２０でドライバーの頭部を撮像するときの図である。
【００３６】
図６のステップＳ６１において、画像処理部１３１は、上記ステップＳ４１で取得した正面画像中において、ドライバーの顔の幅（以下、顔幅Ｗと称す）と顔の長さ（以下、長さＬと称す）とを算出する。具体的には、画像処理部１３１は、正面画像中の所定方向にソーベルフィルタ処理を施し、処理後のソーベル画像内における輝度の差を用い、当該ソーベル画像内からエッジ点を抽出する処理を行う。このように、画像処理部１３１は、エッジ点を抽出する処理を行うことによって、正面画像中におけるドライバーの顔の上端、下端、右端、および左端を検出することができる（図７参照）。そして、画像処理部１３１は、ソーベル画像から抽出したエッジ点を用いて、当該ソーベル画像における顔幅Ｗと長さＬとを算出し、次のステップＳ６２へ処理を進める。なお、このとき、画像処理部１３１は算出した顔幅Ｗと長さＬとの情報を記憶部１３２へ一旦保存してもよい。
【００３７】
ステップＳ６２において、画像処理部１３１は、記憶部１３２に保存されている顔幅Ｗおよび長さＬを参照して、正面画像中におけるドライバーの鼻孔を検出する。具体的な方法の一例として、画像処理部１３１は、上記ステップＳ６１で検出した顔幅Ｗおよび長さＬと、顔画像パターン格納部１３３に予め格納されている顔画像パターンとを参照して、上記正面画像において鼻孔が存在していると予想される範囲、すなわち鼻孔検索範囲を設定する。そして、画像処理部１３１は、設定した鼻孔検索範囲内の画像から輝度が相対的に低い画素を検出し、それら低輝度画素群の円らしさを算出する。そして、画像処理部１３１は、円らしさが最も高い（円に近い）点群をドライバーの鼻孔として検出し、次のステップＳ６３へ処理を進める。
【００３８】
ステップＳ６３において、画像処理部１３１は、正面画像中におけるドライバーの目の位置点ＦＰを算出する。例えば、画像処理部１３１は、上記ステップＳ６２で検出したドライバーの鼻孔の位置を基準として、上記正面画像中の目の位置を推定する。そして、画像処理部１３１は、正面画像中において推定された目の位置において、エッジラインを抽出する画像処理を施す。さらに、画像処理部１３１は、顔画像パターン格納部１３３に保存されている目のテンプレート画像を用いて、エッジラインが抽出された正面画像に対してパターンマッチング処理を行い、正面画像における右目の位置および左目の位置を特定する。次いで、画像処理部１３１は、上記正面画像における当該右目の位置と左目の位置との中間位置を目の位置点ＦＰとして算出し、次のステップＳ６４へ処理を進める（図７参照）。なお、このとき、画像処理部１３１は、当該目の位置の情報を記憶部１３２へ一旦保存してもよい。
【００３９】
ステップＳ６４において、画像処理部１３１は、上方画像から目のエッジ点を抽出する処理を行う。例えば、画像処理部１３１は、上方画像中の所定方向にソーベルフィルタ処理を施す。そして、画像処理部１３１は頭の幅や長さなどから、上方画像中においてドライバーの目が存在していると予想される範囲でエッジ点を検出し、エッジラインを抽出する。
【００４０】
ステップＳ６５において、画像処理部１３１は、上方画像中におけるドライバーの目の位置点ＴＰを算出する。具体的には、画像処理部１３１は、顔画像パターン格納部１３３に保存されている目のテンプレート画像を用いて、エッジラインが抽出された上方画像に対してパターンマッチング処理を行い、上方画像における右目の位置および左目の位置を特定する。次いで、画像処理部１３１は、上記上方画像中における当該右目の位置と当該左目の位置との中間点を目の位置点ＴＰとして算出する（図８参照）。そして、画像処理部１３１は、次のステップＳ６６へ処理を進める。なお、画像処理部１３１が上方画像から目の位置を算出する処理は上述したように、正面画像において目の位置を算出する処理と同様な処理で行えばよい。また、画像処理部１３１は、頭の端（エッジライン）から、上方画像中におけるドライバーの目の位置を推定して、当該目の位置点ＴＰとして算出してもよい。
【００４１】
ステップＳ６６において、画像処理部１３１は、カメラ光軸と各点との角度を算出する。具体的には、図９に示すように、画像処理部１３１は、上記正面画像中におけるドライバーの顔の上端と正面カメラ１２０の光軸とがなす角、および上記正面画像中におけるドライバーの目の位置点ＦＰを通る直線と正面カメラ１２０のカメラ光軸とがなす角を算出する。同様に、画像処理部１３１は、上記上方画像中におけるドライバーも頭の先端と上方カメラ１１０の光軸とがなす角、および上記上方画像中におけるドライバーの目の位置点ＴＰを通る直線と上方カメラ１１０の光軸とがなす角を算出する。そして、画像処理部１３１は、次のステップＳ６７へ処理を進める。
【００４２】
ステップＳ６７において、画像処理部１３１は、上記ステップＳ６６で算出された各角度、各カメラ１１０および１２０の上記車両における設置位置などから、ドライバーの目の位置点ＦＰおよび点ＴＰを上記車両の車室空間内におけるドライバーの目の位置Ｐに変換する。
【００４３】
このように、ステップＳ６１〜ステップＳ６７の処理によって、画像処理部１３１は、車室空間内におけるドライバーの目の位置Ｐを算出することができる。換言すれば、画像処理部１３１は、車室空間内のおいて、ドライバーの目はどこに存在しているかを求めることができる。
【００４４】
なお、上述した例は一例であり、２つのカメラによって、空間における目の位置を算出できる方法であれば、他の例を用いてもかまわない。
【００４５】
図４に戻って、上記ステップＳ６７におけるドライバーの目の位置Ｐの算出処理の後、ステップＳ４３において、画像処理部１３１は、ドライバーの顔向き角度θを算出する。具体的な処理の一例を示すと、画像処理部１３１は、これまでのステップで鼻や目の位置や顔幅Ｗを算出した。画像処理部１３１は、当該算出された鼻や目の位置や顔幅Ｗから顔の中心線を求め、当該顔の中心線から、顔の左右比率を算出し、当該左右比率を角度に換算して、ドライバーの顔向き角度θを算出する。なお、顔向き角度θとは、正面カメラ１２０に対して正面を向いた状態でθ＝０である。そして、顔向き角度θの値は、顔が正面カメラ１２０に対して正面を向いた状態から右方向を向くほど大きくなる。一方、顔向き角度θの値は、顔が正面カメラ１２０に対して正面を向いた状態から左方向を向くほど小さくなる。すなわち、顔向き角度θは、ドライバーが進行方向右側を向くと正の値となり、左側を向くと負の値となる。なお、上述したような、画像処理部１３１が顔向き角度θを算出する方法は一例である。よって、顔向き角度θを算出する方法は上述したような例に限られず、従来の既知の手法を用いても構わない。
【００４６】
このように、画像処理部１３１は、上述したステップＳ４１〜ステップＳ４３までの処理を行うことによって、目の位置Ｐと、そのときの顔向き角度θを算出することができる。つまり、画像処理部１３１は、ドライバーがどの位置からどの方向を見ているか（ドライバーの目の位置および視線方向）を算出することができる。
【００４７】
ステップＳ４４において、画像処理部１３１は上記車両情報に基づいて、当該車両が停止中であるか否かを判断する。具体的には、画像処理部１３１は、上記車両が停止中であるか否かを上記車両の走行速度に基づいて判断する。当該ステップにおいて、判断結果が肯定だった場合（ＹＥＳ）、すなわち画像処理部１３１が、上記車両は停車していると判断した場合、ステップＳ４５へ処理を進める。一方、判断結果が否定だった場合（ＮＯ）、ステップＳ４１５へ処理を進める。
【００４８】
ステップＳ４５において、画像処理部１３１は、ステップＳ４３およびステップＳ４４において生成した情報（上記車両車室内におけるドライバーの目の位置Ｐおよび顔向き角度θ）に基づいて、上記車両のフロントピラーなどの存在を考慮しない場合に、すなわちドライバーの視界を遮る障害物が全くないと仮定した場合に当該ドライバーが視認できているであろう車両外界の視野領域αを算出する。図１０は、ドライバーの目の位置がＰ１で顔向き角度がθ１であるときの視野領域αを示している。なお、視野領域αは、ドライバーの目の位置および顔向き角度に基づいて、人間が肉眼で一般的に視認することができる視野角度を考慮して算出されればよい。
【００４９】
ステップＳ４６において、画像処理部１３１は、ステップＳ４３およびステップＳ４４において生成した情報（上記車両車室内におけるドライバーの目の位置Ｐ（ｘ、ｙ、ｚ）および顔向き角度θ）と、予め用意された上記車両の構造物（例えば、フロントピラーなど）の位置情報に基づいて、当該構造物によって生じる車両外界の死角領域βを算出する。図１１は、ドライバーの目の位置がＰ１で顔向き角度がθ１であるときの死角領域βを示している。そして画像処理部１３１はステップＳ４７へ処理を進める。
【００５０】
ステップＳ４７において、画像処理部１３１、視野領域αから死角領域βを除くことによって、ドライバーが実際に視認することができる車両外界の領域である視認中領域γ（ｎ）を算出する。図１２は、ドライバーの目の位置がＰ１で顔向き角度がθ１であるときの視認中領域γを示している。そして、画像処理部１３１は、図５のステップＳ４８へ処理を進める。
【００５１】
図５のステップＳ４８において、画像処理部１３１は、上記ステップＳ４７で算出した視認中領域γ（ｎ）を、記憶部１３２に記憶されている既視認領域δに追加する。既視認領域δとは、一定時間だけ前の時点から現時点までの期間（例えば過去５秒間）にドライバーが実際に視認した領域である。なお、視認中領域γ（ｎ）を既視認領域δに追加する際には、変数ｎの値（もしくは視認中領域γ（ｎ）が生成された時刻に関する情報でもよい）も一緒に記憶部１３２に記憶しておく。
【００５２】
ステップＳ４９において、画像処理部１３１は、記憶部１３２に記憶されている既視認領域δから、一定時間以上連続して全く視認されていない領域を削除する。削除すべき領域の判定は、視認中領域γ（ｎ）を既視認領域δに追加する際に記憶部１３２に一緒に記憶された変数ｎの値に基づいて行われる。なお前述のように、視認中領域γ（ｎ）を既視認領域δに追加する際に、視認中領域γ（ｎ）が生成された時刻に関する情報も一緒に記憶部１３２に記憶するようにした場合には、この時刻に関する情報に基づいて、削除すべき領域を判定することができる。
【００５３】
ステップＳ４１０において、画像処理部１３１は、記憶部１３２に記憶されている既視認領域δが設定領域Ｓの全体を覆っている否かを判断する。設定領域Ｓとは、車両が発進する前に安全確認のためにドライバーが視認すべき領域として予め規定された領域であって、本実施形態では、図１３に示すように車両の前端部に接する矩形領域とする。なお、設定領域Ｓは矩形に限らず他の形であってもよい。さらには、設定領域Ｓが、互いに離れた複数の領域で構成されてもよい。画像処理部１３１は、ステップＳ４１０の判断結果が肯定である場合（ＹＥＳ）、次のステップＳ４１１へ処理を進める。一方、画像処理部１３１は、判断結果が否定である場合（ＮＯ）、ステップＳ４１２へ処理を進め、表示部１４０のランプが点灯していた場合、ランプ消灯の指示をする。
【００５４】
ステップＳ４１１において、画像処理部１３１は、表示部１４０を制御して、ランプを点灯させる。ここで、ランプが点灯する場合とは、既視認領域δが設定領域Ｓの全体を覆っている場合である。つまり、ドライバーが安全のため視認することが求められる車両外界の領域を漏れなく視認した場合、ランプは点灯することになる。一方、設定領域Ｓにおいてドライバーがまだ視認していない領域が残っていた場合、ランプは点灯しないことになる。これによって、ドライバーは、安全のため視認することが求められている領域の全てを確認できたか否かを知ることができる。言い換えると、表示部１４０が点灯しなければ、ドライバーは「まだ視認できていない領域が存在する」と知ることができる。つまり、本実施形態に係る運転支援システムは、ドライバーに対してさらに車両外界を確認するよう促すことができる。
【００５５】
ステップＳ４１３において、制御ＥＣＵ１３０は、上記車両のイグニッションスイッチがＯＦＦされたか否かを判断する。そして、制御ＥＣＵ１３０は、イグニッションスイッチがＯＦＦされたと判断した場合（ＹＥＳ）、当該フローチャートの処理を終了する。一方、制御ＥＣＵ１３０は、上記車両のイグニッションスイッチがＯＦＦされていないと判断した場合（ＮＯ）、ステップＳ４１４において変数ｎをインクリメント（ｎ＝ｎ＋１）した後、上記ステップＳ４１に戻って処理を繰り返す。
【００５６】
ステップＳ４１５において、画像処理部１３１は、記憶部１３２に記憶した既視認領域δを記憶部１３２から完全に消去する。このとき、必要に応じて、変数ｎの値を１に初期化してもよい。
【００５７】
このように、本実施形態に係る運転支援システムによれば、上方カメラ１１０および正面１２０によってドライバーの頭部を撮像する。そして、画像処理部１３１は、当該撮像された画像からドライバーの目の位置および顔向きに関する情報を生成する。そして、画像処理部１３１は、ドライバーが視認した車両外界の領域を算出し、ドライバーが視認した当該車両外界の領域が予め定められた領域（設定領域Ｓ）を網羅できた場合、表示部１４０を制御してドライバーにその旨を知らせることができる。
【００５８】
また、本実施形態に係る運転支援システムは、上記車両が停車しているときに、上記ドライバーが視認した上記車両外界の領域を既視認領域δとして順次記憶していくが、記憶部１３２に記憶されている既視認領域δのうち、ドライバーが一定時間（例えば５秒間）以上視認していない領域については既視認領域δから適宜に消去するようにしている。これにより、車両が長時間停車した後で発進する場合にも、発進直前に安全確認したかどうかを正確にドライバーに対して報知することができる。
【００５９】
次に、既視認領域δの記憶方法の一実施例について説明する。本実施例では、図１４に示すように、記憶部１３２内に、設定領域Ｓに相当するｋ×ｍの２次元配列の記憶領域を用意する。この２次元配列の各要素の初期値は０とする。まず、視認中領域γ１を既視認領域δに追加するときには、図１５に示すように、視認中領域γ１に対応する要素の値を１に書き換える。続いて、視認中領域γ２を既視認領域δに追加するときには、図１６に示すように、視認中領域γ２に対応する要素の値を２に書き換える。続いて、視認中領域γ３を既視認領域δに追加するときには、視認中領域γ３に対応する要素の値を３に書き換える。以下、同様にして、視認中領域γｎを既視認領域δに追加するときには、視認中領域γｎに対応する要素の値をｎに書き換える。これにより、各要素の値は、ドライバーがその要素に対応する領域を視認する度に増加していくが、逆に、ドライバーが長時間全く視認していない領域に対応する要素の値は、長時間更新されないままとなる。これにより、各要素の値と現時点の変数ｎの値との差分を計算すれば、ドライバーがその要素に対応する領域を視認していない期間を容易に計算することができ、ドライバーが一定時間（例えば５秒間）以上視認していない領域を既視認領域δから容易に除外することができる。
【００６０】
なお、既視認領域δの記憶方法の実施例は、上述した方法に限られるものではない。例えば、上記車両の前方周り（例えば上記車両の進行方向に対する左右の方位角度）を設定領域と想定し、方位角度に応じた複数の記憶領域から成る１次元配列の記憶領域を用意してもよい。
【００６１】
上記の実施形態で説明した態様は、単に具体例を示すものであり、本願発明の技術的範囲を何ら限定するものではない。よって本願の効果を奏する範囲内において、任意の構成を採用することが可能である。
【産業上の利用可能性】
【００６２】
本発明に係る運転支援システムは、簡易な構成で、ドライバーに死角範囲の目視確認を促すことができる、車両に搭載される運転支援システム等として有用である。
【図面の簡単な説明】
【００６３】
【図１】実施形態に係る運転支援システムの概要を説明するための図
【図２】実施形態に係る運転支援システムの構成を示すブロック図
【図３】運転支援システムが搭載された車両の車室内の様子を示した図
【図４】運転支援システムの各部が行う処理の流れの一例の前半を示したフローチャート
【図５】運転支援システムの各部が行う処理の流れの一例の後半を示したフローチャート
【図６】図４のステップＳ４２において、制御ＥＣＵ１３０の各部が行う、ドライバーの目の位置を算出する動作の一例を示したフローチャート
【図７】正面カメラ１２０が撮像したドライバーの顔画像の一例
【図８】上方カメラ１１０が撮像したドライバーの頭画像の一例
【図９】上方カメラ１１０および正面カメラ１２０でドライバーの頭部を撮像するときの図
【図１０】ドライバーの目の位置がＰ１で顔向き角度がθ１であるときの視野領域αを示した図
【図１１】ドライバーの目の位置がＰ１で顔向き角度がθ１であるときの死角領域βを示した図
【図１２】ドライバーの目の位置がＰ１で顔向き角度がθ１であるときの視認中領域γを示した図
【図１３】設定領域Ｓの一例を示した図
【図１４】設定領域Ｓに相当するｋ×ｍの２次元配列の記憶領域の概念図
【図１５】視認中領域γ１に対応する要素をｋ×ｍの２次元配列の記憶領域に示した図
【図１６】視認中領域γ２に対応する要素をｋ×ｍの２次元配列の記憶領域に書き換えた図
【符号の説明】
【００６４】
１１０    上方カメラ
１２０    正面カメラ
１３０    制御ＥＣＵ
１３１    画像処理部
１３２    記憶部
１３３    顔画像パターン格納部
１４０    表示部
【図１】
2009251761.tif 000003
【図２】
2009251761.tif 000004
【図３】
2009251761.tif 000005
【図４】
2009251761.tif 000006
【図５】
2009251761.tif 000007
【図６】
2009251761.tif 000008
【図７】
2009251761.tif 000009
【図８】
2009251761.tif 000010
【図９】
2009251761.tif 000011
【図１０】
2009251761.tif 000012
【図１１】
2009251761.tif 000013
【図１２】
2009251761.tif 000014
【図１３】
2009251761.tif 000015
【図１４】
2009251761.tif 000016
【図１５】
2009251761.tif 000017
【図１６】
2009251761.tif 000018