(57)【要約】【課題】運転者の脇見判断の基準となる閾値を車両の走行状態に応じて設定し、より正確な脇見判断をすることができる、画像処理装置および画像処理方法を提供する。【解決手段】画像処理ＥＣＵ３は、ドライバーの顔向き角度θを算出し、車両制御システム４に出力する。さらに、画像処理ＥＣＵ３は、ドライバーの顔向きは正常であるか否かの判断の基準となる閾値の角度Θを上記車両の車両情報とに基づいて変更し、変更後の閾値Θ’を車両制御システム４に出力する。車両制御システム４は、画像処理ＥＣＵ３から出力された顔向き角度θおよび閾値Θ’に基づいてドライバーの顔向きは正常であるか否かの判断を行う。【選択図】図７
2009294753.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転席に着席した運転者の顔を撮像する撮像手段が撮像した画像を用いて、当該撮像手段の撮像方向を基準とした当該運転者の顔向き角度を算出する顔向き角度算出手段と、
前記車両の車両情報を取得する車両情報取得手段と、
前記撮像方向に対して、左右の少なくとも一方に閾値角度を設定する閾値角度設定手段と、
前記車両情報取得手段が取得した前記車両情報を用いて前記車両の旋回時に前記運転者が注視すると予測される予測注視点方向を算出し、前記閾値角度設定手段が設定する閾値角度の少なくとも１つを当該予測注視点方向が変化する方向に移動させる閾値角度移動手段と、
前記運転者の顔向き角度が前記閾値角度から外れたときに前記運転者が脇見状態であると判断する判断手段とを備える、画像処理装置。
【請求項２】
前記閾値角度設定手段は、前記撮像方向に対して、左右の両方にそれぞれ前記閾値角度を設定し、
前記閾値角度移動手段は、前記閾値角度を前記予測注視点方向が変化する方向にそれぞれ移動させる、請求項１に記載の画像処理装置。
【請求項３】
前記閾値角度移動手段は、前記車両情報と用いて予め定められた時間経過後の前記車両の到達地点を予測し、前記車両から当該到達地点への方向を前記予測注視点方向として算出する、請求項１または２に記載の画像処理装置。
【請求項４】
前記閾値角度移動手段は、現時点における前記車両の移動方向を示す速度方向と前記予測注視点方向とがなす第１角度だけ前記閾値角度を移動させる、請求項３に記載の画像処理装置。
【請求項５】
前記車両の車両諸元を記憶する車両諸元記憶手段を、さらに備え、
前記閾値角度移動手段は、前記車両情報と前記車両諸元とを用いて、前記車両の重心点横滑り角を示すスリップ角を第２角度として算出し、前記第１角度と前記第２角度との角度差だけ前記閾値角度を移動させる、請求項４に記載の画像処理装置。
【請求項６】
前記閾値角度移動手段は、前記速度方向と前記撮像方向とがなす角を第３角度として算出し、前記第１角度と前記第３角度との角度差だけ前記閾値角度を移動させる、請求項４に記載の画像処理装置。
【請求項７】
前記車両情報取得手段が取得する車両情報は、前記車両のヨーレートを含み、
前記閾値角度移動手段は、前記ヨーレートを用いて前記到達地点を予測する、請求項３に記載の画像処理装置。
【請求項８】
前記車両の車両諸元を記憶する車両諸元記憶手段を、さらに備え、
前記車両情報取得手段が取得する車両情報は、前記車両のヨーレートと前記車両の車速とを含み、
前記閾値角度移動手段は、前記ヨーレート、前記車速、および前記車両諸元を予め定められた数式に代入することによって前記到達地点への方向を算出する、請求項３に記載の画像処理装置。
【請求項９】
前記車両の車両諸元を記憶する車両諸元記憶手段を、さらに備え、
前記車両情報取得手段が取得する車両情報は、前記車両の横加速度と前記車両の車速とを含み、
前記閾値角度移動手段は、前記横加速度、前記車速、および前記車両諸元を予め定められた数式に代入することによって前記到達地点への方向を算出する、請求項３に記載の画像処理装置。
【請求項１０】
前記車両の車両諸元を記憶する車両諸元記憶手段を、さらに備え、
前記車両情報取得手段が取得する車両情報は、前記車両の舵角と前記車両の車速とを含み、
前記閾値角度移動手段は、前記舵角、前記車速、および前記車両諸元を予め定められた数式に代入することによって前記到達地点への方向を算出する、請求項３に記載の画像処理装置。
【請求項１１】
前記顔向き角度算出手段によって算出された前記運転者の顔向きが前記閾値角度から外れたときに、前記車両を制御して前記運転者に報知を行う制御手段を、さらに備える、請求項１または２に記載の画像処理装置。
【請求項１２】
車両の運転席に着席した運転者の顔を撮像する撮像手段が撮像した画像を用いて、当該撮像手段の撮像方向を基準とした当該運転者の顔向き角度を算出する顔向き角度算出ステップと、
前記車両の車両情報を取得する車両情報取得ステップと、
前記撮像方向に対して、左右の少なくとも一方に閾値角度を設定する閾値角度設定ステップと、
前記車両情報取得ステップで取得した前記車両情報を用いて前記車両の旋回時に前記運転者が注視すると予測される予測注視点方向を算出し、前記閾値角度設定ステップで設定する閾値角度の少なくとも１つを当該注視点方向が変化する方向に移動させる閾値角度移動ステップと、
前記運転者の顔向き角度が前記閾値角度から外れたときに前記運転者が脇見状態であると判断する判断ステップとを備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、より特定的には、運転者の顔が撮像された画像から当該運転者の顔向きを算出し、上記運転者の脇見状態を判断する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、車両のインスツルメンツパネル上に配置したカメラによって、当該車両の運転者の顔を撮像して、当該撮像された画像から当該運転者の目や口などを検出する装置が知られている。このような装置の一例として、例えば特許文献１に開示された装置がある。上記特許文献１に開示されている装置は、カメラにより運転者の顔を撮像し、当該撮像された画像を処理して当該運転者の目と口とを検出する。また、実車速が１０ｋｍ／ｈ以下のとき、舵角またはヨーレートが所定値以上のときには当該検出処理を禁止するようにしている。
【特許文献１】特開平６−２９３２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、車両に設置されたカメラなどで運転者の顔を撮像し、当該撮像された画像から運転者の目や口（さらには、運転者の顔向き角度）などを検出し、当該運転者の状態を判断するような装置は、上記車両が旋回しているときも運転者の状態を判断する必要がある場面がある。一例として、運転者の目や口から当該運転者の顔向きを検出し、当該運転者が脇見をしているか否かの判断は、事故を未然に防ぐ、いわゆる予防安全の見地から上記車両旋回時にも必要であり、車両がカーブを走行している状況の方が運転者の状態判断がより重要となることがある。しかしながら、上記特許文献１に記載されている装置は、実車速が１０ｋｍ／ｈ以下のとき、舵角またはヨーレートが所定値以上のときには、運転者の目や口を検出する処理を禁止するようにしている。このため、上記車両旋回時は、運転者の状態を判断することができない場合がある。
【０００４】
また、車両に設置されたカメラによって、当該車両の運転者の顔を撮像して、当該撮像された画像から当該運転者の脇見状態を判断する装置では、一般的に、運転者に向けられたカメラに対して正面を向いた状態を基準にして、運転者の顔向き角度が当該カメラに対して左右に設定された閾値を超えた場合、脇見と判断している。このように運転者が脇見状態であるか否かを判断すると、例えば上記車両旋回時、運転者は上記車両がこれから走行する方向を見ているのにも関わらず、顔向き角度が閾値を超え、脇見状態と判断してしまう可能性もある。一方、上記車両旋回時に運転者が車両の正面の風景などに気を取られて、車両が走行する方向を見ていない状況であっても、顔向き角度が閾値内となって脇見状態にないと判断してしまう可能性もある。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、運転者の脇見判断の基準となる閾値を車両の走行状態に応じて設定し、より正確な脇見判断をすることができる、画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記のような目的を達成するために、本発明は以下の構成を採用した。すなわち、第１の発明は、車両の運転席に着席した運転者の顔を撮像する撮像手段が撮像した画像を用いて、当該撮像手段の撮像方向を基準とした当該運転者の顔向き角度を算出する顔向き角度算出手段と、上記車両の車両情報を取得する車両情報取得手段と、上記撮像方向に対して、左右の少なくとも一方に閾値角度を設定する閾値角度設定手段と、上記車両情報取得手段が取得した上記車両情報を用いて上記車両の旋回時に上記運転者が注視すると予測される予測注視点方向を算出し、上記閾値角度設定手段が設定する閾値角度の少なくとも１つを当該予測注視点方向が変化する方向に移動させる閾値角度移動手段と、上記運転者の顔向き角度が上記閾値角度から外れたときに上記運転者が脇見状態であると判断する判断手段とを備える、画像処理装置である。なお、本発明の閾値角度設定手段は、撮像手段の撮像方向に対して左右それぞれに２つの閾値角度を設けてもかまわない。この場合、閾値角度移動手段は、２つの閾値角度をそれぞれ予測注視点方向が変化する方向に移動させてもいいし、何れか一方の閾値角度のみを予測注視点方向が変化する方向に移動させてもいい。また、本発明の閾値角度設定手段は、撮像手段の撮像方向に対して左方向のみに１つの閾値角度を設けてもかまわない。この場合、閾値角度移動手段は、左方向に設けられた１つの閾値角度を予測注視点方向が変化する方向に移動させる。また、本発明の閾値角度設定手段は、撮像手段の撮像方向に対して右方向のみに１つの閾値角度を設けてもかまわない。この場合、閾値角度移動手段は、右方向に設けられた１つの閾値角度を予測注視点方向が変化する方向に移動させる。
【０００７】
第２の発明は、上記第１の発明において、上記閾値角度設定手段は、上記撮像方向に対して、左右の両方にそれぞれ上記閾値角度を設定し、上記閾値角度移動手段は、上記閾値角度を上記予測注視点方向が変化する方向にそれぞれ移動させる、画像処理装置である。
【０００８】
第３の発明は、上記第１または２の発明において、上記閾値角度移動手段は、上記車両情報と用いて予め定められた時間経過後の上記車両の到達地点を予測し、上記車両から当該到達地点への方向を上記予測注視点方向として算出する、画像処理装置である。
【０００９】
第４の発明は、上記第３の発明において、上記閾値角度移動手段は、現時点における上記車両の移動方向を示す速度方向と上記予測注視点方向とがなす第１角度だけ上記閾値角度を移動させる、画像処理装置である。
【００１０】
第５の発明は、上記第４の発明において、上記車両の車両諸元を記憶する車両諸元記憶手段を、さらに備える。また、上記閾値角度移動手段は、上記車両情報と上記車両諸元とを用いて、上記車両の重心点横滑り角を示すスリップ角を第２角度として算出し、上記第１角度と上記第２角度との角度差だけ上記閾値角度を移動させる、画像処理装置である。
【００１１】
第６の発明は、上記第４の発明において、上記閾値角度移動手段は、上記速度方向と上記撮像方向とがなす角を第３角度として算出し、上記第１角度と上記第３角度との角度差だけ上記閾値角度を移動させる、画像処理装置である。
【００１２】
第７の発明は、上記第３の発明において、上記車両情報取得手段が取得する車両情報は、前記車両のヨーレートを含む。そして、上記閾値角度移動手段は、上記ヨーレートを用いて上記到達地点を予測する、画像処理装置である。
【００１３】
第８の発明は、上記第３の発明において、上記車両の車両諸元を記憶する車両諸元記憶手段を、さらに備える。そして、上記車両情報取得手段が取得する車両情報は、上記車両のヨーレートと上記車両の車速とを含み、上記閾値角度移動手段は、上記ヨーレート、上記車速、および上記車両諸元を予め定められた数式に代入することによって上記到達地点への方向を算出する、画像処理装置である。
【００１４】
第９の発明は、上記第３の発明において、上記車両の車両諸元を記憶する車両諸元記憶手段を、さらに備える。そして、上記車両情報取得手段が取得する車両情報は、上記車両の横加速度と上記車両の車速とを含み、上記閾値角度移動手段は、上記横加速度、上記車速、および上記車両諸元を予め定められた数式に代入することによって上記到達地点への方向を算出する、画像処理装置である。
【００１５】
第１０の発明は、上記第３の発明において、上記車両の車両諸元を記憶する車両諸元記憶手段を、さらに備える。そして、上記車両情報取得手段が取得する車両情報は、上記車両の舵角と上記車両の車速とを含み、上記閾値角度移動手段は、上記舵角、上記車速、および上記車両諸元を予め定められた数式に代入することによって上記到達地点への方向を算出する、画像処理装置である。
【００１６】
第１１の発明は、上記第１または第２の発明において、上記顔向き角度算出手段によって算出された上記運転者の顔向きが上記閾値角度から外れたときに、上記車両を制御して上記運転者に報知を行う制御手段を、さらに備える、画像処理装置である。
【００１７】
第１２の発明は、車両の運転席に着席した運転者の顔を撮像する撮像手段が撮像した画像を用いて、当該撮像手段の撮像方向を基準とした当該運転者の顔向き角度を算出する顔向き角度算出ステップと、上記車両の車両情報を取得する車両情報取得ステップと、上記撮像方向に対して、左右の少なくとも一方に閾値角度を設定する閾値角度設定ステップと、上記車両情報取得ステップで取得した上記車両情報を用いて上記車両の旋回時に上記運転者が注視すると予測される予測注視点方向を算出し、上記閾値角度設定ステップで設定する閾値角度の少なくとも１つを当該予測注視点方向が変化する方向に移動させる閾値角度移動ステップと、上記運転者の顔向き角度が上記閾値角度から外れたときに上記運転者が脇見状態であると判断する判断ステップとを備える、画像処理方法である。
【発明の効果】
【００１８】
上記第１の発明によれば、例えば車両が旋回しているとき、当該車両の運転者は旋回方向を見ているのにも関わらず、「ドライバーは脇見をしている」と判断してしまうこと、あるいは、車両の旋回時に運転者が車両の正面方向を見ている（すなわち、車両が旋回して走行する方向を見ていない）ときに「ドライバーは脇見をしていない」と判断してしまうことを防ぐことができる。つまり、運転者の脇見判断の基準となる閾値を車両の走行状態に応じて設定することによって、より正確な脇見判断をすることができる。
【００１９】
上記第２の発明によれば、撮像方向に対して左右にそれぞれ閾値角度が設けられ、当該閾値角度を予測注視点方向が変化する方向にそれぞれ移動させる。例えば、運転者が安全運転のために注視しなければならない方向を見ていなかった場合に脇見状態と判断するだけではなく、注視しなければならない方向を見ているのにも関わらず、脇見状態と判断してしまうことを防ぐことができる。
【００２０】
上記第３の発明によれば、予測注視点方向を容易に算出することができる。一般的に、車両を旋回させているとき、安全運転を志す運転者は上記車両が進む方向を注視する。言い換えると、上記運転者は、当該車両がある時間経過後に到達しているだろう地点をある程度予測して、当該地点を注視して安全運転をしている。したがって、運転者が注視する地点となる上記経過時間を予め設定しておけば、当該経過時間を用いて予測注視点方向を容易に算出することができる。
【００２１】
上記第４の発明によれば、車両の速度方向と上記予測注視点方向とがなす角度を算出し、当該角度分だけ閾値角度を移動させる。つまり、上記車両の速度方向と予測注視点方向とがなす角度を考慮して、上記閾値角度を移動させているので、車両の走行状態に応じて変化する運転者が見るべき方向を中心とした脇見判断を行うことができる。
【００２２】
上記第５の発明によれば、上記車両の速度方向と上記予測注視点方向とがなす角度だけではなく、上記車両のスリップ角も考慮した角度分だけ閾値角度を移動させる。したがって、車両の現時点の挙動に応じて、より正確な閾値角度の設定が可能となる。
【００２３】
上記第６の発明によれば、上記車両のスリップ角および撮像手段の撮像方向と車両の正面方向との角度差も考慮した角度分だけ閾値角度を移動させる。したがって、車両の現時点の挙動や撮像手段の撮像方向誤差に応じて、より正確な閾値角度の設定が可能となる。
【００２４】
上記第７の発明によれば、上記車両に、例えばヨーレートを検出するヨーレートセンサを設けることによって、容易に予測注視点方向を算出することができる。
【００２５】
上記第８の発明によれば、例えば当該車両の車速を検出する車速センサおよびヨーレートセンサを上記車両に設けることによって、容易に予測注視点方向を算出することができる。
【００２６】
上記第９の発明によれば、上記車両に、例えば当該車両の横加速度を検出する横加速度センサと車速センサとを設けることによって、容易に予測注視点方向を算出することができる。
【００２７】
上記第１０の発明によれば、上記車両に、例えば当該車両の舵角を検出する舵角センサと車速センサとを設けることによって、容易に予測注視点方向を算出することができる。
【００２８】
上記第１１の発明によれば、運転者が脇見やよそ見をしているような場合、車両の装備品により運転者に対して音声や表示などによって注意喚起をすることができる。したがって、運転者の脇見やよそ見などが原因となる事故を未然に防ぐことができ、いわゆる予防安全が可能となる。また、判断手段は、閾値角度移動手段によって移動された閾値角度から外れたときに上記運転者が脇見状態判断であると判断するので、例えば、上記運転者が脇見をしている場合、上記運転者に対して注意喚起を行ったり、上記運転者が脇見をしていない場合、上記運転者に対して注意喚起を行わなかったりするようなこともできる。
【００２９】
本発明の画像処理方法によれば、上述した本発明の画像処理装置と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００３０】
（第１の実施形態）
以下、図面を参照して、本発明の第１の実施形態に係る画像処理装置の構成および動作について説明する。なお、本実施形態では、当該画像処理装置が車両（例えば、乗用車、商用車など）に設置された場合を想定して説明する。
【００３１】
図１は、本発明の第１の実施形態に係る画像処理装置を含む脇見判断システム構成の一例を示すブロック図である。図１において、上記脇見判断システムは、カメラ１と、車両情報検出部２と、画像処理ＥＣＵ（Electronic Control Unit）３と、車両制御システム４とを有している。
【００３２】
カメラ１は、ドライバーの顔を撮像する、例えばＣＣＤカメラ、赤外線カメラ等である。カメラ１は、運転席に着席したドライバーの顔を正面から撮像できる位置に設置される。図２は、カメラ１の設置位置の一例を示した図である。図２に示すように、カメラ１は、運転席に着席したドライバーの顔を正面から撮像できるように、例えば上記車両のステアリングコラム上に設置される。なお、図２に示すカメラ１の設置位置は一例であり、例えば、上記車両のメータフード内、メータパネル内などにカメラ１を設置してもかまわない。また、カメラ１は、所定時間間隔でドライバーの顔を正面から撮像する。そして、カメラ１は、撮像した画像を画像処理ＥＣＵ３へ出力する。
【００３３】
車両情報検出部２は、上記車両の車両情報を検出する。具体的には、車両情報検出部２は、上記車両の速度を検出する速度センサ、上記車両のヨーレートωを検出するヨーレートセンサ、上記車両の重心位置に作用する車幅方向の加速度（以下、横加速度αと称す）を検出する横加速度センサ、上記車両の舵角δを検出する舵角センサなど各種センサである。なお、第１の実施形態に係る画像処理装置を含む脇見判断システムは、車速センサとヨーレートセンサとを備えていればよい。
【００３４】
画像処理ＥＣＵ３は、顔向き検知マイクロコンピュータ（以下、顔向き検知マイコンと称す）３１、顔情報格納部３２、車両諸元値格納部３３、およびインターフェース回路などを備える情報処理装置である。また、画像処理ＥＣＵ３にはカメラ１と車両情報検出部２と車両制御システム４とが接続されている。
【００３５】
顔向き検知マイコン３１は、ＣＰＵ（中央演算装置）およびメモリ等で構成されている。顔向き検知マイコン３１は、カメラ１が撮像した画像を用いて、ドライバーの顔向きに関する情報（具体的には、ドライバーの顔向き角度）を生成する。なお、顔向き検知マイコン３１は、本発明の顔向き角度算出手段、車両情報取得手段、閾値角度設定手段、および閾値角度移動手段の一例に相当する。
【００３６】
ここで、図３を参照して、ドライバーの顔向き角度について説明する。図３は、カメラ１が撮像した画像およびドライバーの頭部の上面図である。本実施形態では、説明を簡単にするために、ドライバーの頭部は頭頂部を上面とする円柱形状を成しているものとみなす。また、ドライバーの顔は円柱状の頭部の中心線を中心に回転するものとする。ここで、ドライバーの顔向き角度をθとし、カメラ１に対して正面を向いた状態をθ＝０°とする（図３（ａ）参照）。そして、顔向き検知マイコン３１は、カメラ１に対して、ドライバーが右を向くと顔向き角度θＲとして算出し、左を向くと顔向き角度θＬとして算出する。具体的には、顔向き角度θＲおよびθＬは、カメラ１の光軸（図２参照）を基準にして設定される。そして、ドライバーが上記車両の運転席に着席した状態で上記車両前方右側を向くほど顔向き角度θＲは大きくなり、左側を向くほど顔向き角度θＬは大きくなる。図３（ｂ）は、一例として、ドライバーがカメラ１に対して２０°右を向いた状態を示した図である。この場合、顔向き検知マイコン３１は、顔向き角度はθＲ＝２０°として算出する。また、同様に、例えばドライバーがカメラ１に対して２０°左を向いた場合、顔向き角度はθＬ＝２０°として算出する。なお、上述の顔向き角度を算出する手法は一例であり、顔向き角度を算出する手法は上記の例に限らず、従来知られている手法を用いて構わない。
【００３７】
図１の説明に戻って、顔情報格納部３２は、読み書き可能な記憶媒体で構成され、様々な人物の顔情報が記憶されている。具体的に、顔情報とは、カメラが撮像した画像から、顔の大きさ、目の位置や大きさ、口の位置や大きさ、鼻の位置や大きさなどを推定する際に必要な各顔部品の位置や大きさを示す情報などである。また、顔情報は、様々な人物の顔部品のテンプレート画像（例えば、口のテンプレート画像）を含んでいる。なお、顔情報格納部３２に記憶されている情報は、例えば上記車両のユーザーの書き換え作業によって、適宜情報が更新されてもよい。
【００３８】
車両諸元値格納部３３は、上記車両の諸元値が記憶されている記憶媒体である。上記車両の諸元値とは、例えば、上記車両の重量Ｍ、上記車両のホイールベースの長さＬ、上記車両の重心から上記車両の前輪軸までの長さＬｆ、上記車両の重心から上記車両の後輪軸までの長さＬｒなど、車両の固有の値である。なお、車両諸元値格納部３３は、本発明の諸元記憶手段の一例に相当する。
【００３９】
車両制御システム４は、詳細は後述するが、顔向き検知マイコン３１から出力されるドライバーの顔向き角度と脇見判断の基準となる閾値の角度とに基づいて、ドライバーは脇見状態であるか否かを判断する情報処理装置である。また、車両制御システム４は、上記判断を行った結果、「ドライバーは脇見をしている」と判断した場合、上記車両を制御して予防安全を行う。なお、上記予防安全とは、具体的には車両制御システム４が「ドライバーは脇見をしている（脇見状態）」と判断した場合、車両の装備品を制御して、警告や表示等によりドライバーに対して注意喚起を行うことである。さらに予防安全とは、ドライバーが行うブレーキ操作をアシストして障害物との衝突を回避するなどの、いわゆるプリクラッシュ制御も含まれる。なお、車両制御システム４は、本発明の判断手段および制御手段の一例に相当する。
【００４０】
このように、顔向き検知マイコン３１は、カメラ１の位置（具体的にはカメラ光軸）を基準にして、ドライバーの顔向き角度θＲおよびθＬを算出し、車両制御システム４に当該算出された角度を出力する。また、詳細は後述するが、顔向き検知マイコン３１は、上記車両の走行状態に応じて、脇見判断の基準となる閾値の角度を適宜変更し当該算出された角度を車両制御システム４に出力する。
【００４１】
一方、車両制御システム４は、顔向き検知マイコン３１から出力されるドライバーの顔向き角度θＲまたはθＬを取得する。さらに車両制御システム４は、顔向き検知マイコン３１から出力される脇見判断の基準となる閾値の角度を取得し、上記顔向き角度が上記閾値の角度から外れた場合、「ドライバーは脇見をしている」と判断する。以下、図４を用いて、車両制御システム４がドライバーの脇見判断の基準とする、閾値の角度について具体的に説明する。
【００４２】
図４（ａ）は、上記車両が直進（以下、直進状態と称す）しているときの図である。以下、図４（ａ）を用いて、ドライバーの脇見判断の基準と閾値の角度について説明する。図４（ａ）に示すように、上記閾値の角度は、上記車両の中心線を基準にて、ドライバーが上記車両の運転席に着席した状態で、当該ドライバーから見て右側を閾値の角度ΘＲ、左側をΘＬとする。そして、車両制御システム４は、顔向き検知マイコン３１から顔向き角度θＲおよびθＬと閾値の角度ΘＲおよびΘＬとを取得し、上記ドライバーの顔向き角度θＲおよびθＬが上記各閾値の角度から外れた場合、つまりθＲ＞ΘＬまたはθＬ＞ΘＬである場合「ドライバーは脇見をしている」と判断する。
【００４３】
ところで、例えば上記車両がカーブを走行している場合（以下、旋回状態と称する）、上記車両のドライバーは上記車両の正面ではなく、上記車両がこれから進むであろう方向（以下、到達予定方向と称する）に顔を向けて、上記車両の到達予定方向を注視しているのが一般的である。図４（ｂ）は、上記車両の旋回状態の一例を示した図である。図４（ｂ）に示したように、一例として上記車両が右カーブを走行している場合を想定すると、上記ドライバーは上記車両の到達予定方向（具体的には、上記車両前方右側）を注視しているのが普通であるので、閾値の角度ΘＲおよびΘＬをそのまま適用すると不都合が生じることがある。具体的には、図４（ａ）では、上記車両は直進しているため、上記ドライバーは（カメラ１に対して）正面である。しかしながら、図４（ｂ）の場合は、ドライバーはカメラ１に対して右側を向いているため、閾値の角度ΘＲをそのまま適用して脇見状態であるか否かを判断すると、上記ドライバーは注視しなければならない方向を見ているのにも関わらず、ドライバーの顔向き角度θＲは、上記閾値の角度ΘＲを超えてしまう場合がある。そこで、顔向き検知マイコン３１は、上記車両の走行状態に応じて、閾値の角度ΘＲおよびΘＬの少なくとも一方を変更し、変更後の閾値の角度Θ’ＲまたはΘ’Ｌを算出する。
【００４４】
このようにすれば、上記車両のドライバーは到達予定方向（図４（ｂ）では上記車両前方右側）を見ているのにも関わらず、閾値の角度ΘＲから外れて、車両制御システム４が「ドライバーは脇見をしている」と判断してしまうことを防ぐことができる。また、車両制御システム４は、閾値ΘＲではなく閾値の角度Θ’Ｒを用いてドライバーの脇見状態を判断すれば、ドライバーが注視しなければならない方向に顔を向けていても、当該判断に基づいて警報等を発するようなことはなくなり、ドライバーは煩わしさを感じることはない。一方、車両制御システム４は、閾値の角度Θ’Ｌを用いてドライバーの脇見状態を判断すれば、ドライバーが車両前方左側（すなわち、車両が進む方向とは逆側）を注視しているのにも関わらず、車両制御システム４が「ドライバーの顔向きは正常である」と判断するようなことはなくなり、ドライバーが脇見をしているような危険な運転状態のとき警報等により注意喚起をすることができる。なお、図４（ｂ）では上記車両が右カーブを走行して想定して説明したが、左カーブ走行時においても類推適応可能であるので説明は省略する。
【００４５】
以下、図５〜図９を参照して、本実施形態に係る画像処理ＥＣＵ３の各部および車両制御システム４が行う動作の一例を説明する。
【００４６】
図５は、本実施形態に係る画像処理ＥＣＵ３において行われる処理の一例を示したフローチャートである。なお、図５に示したフローチャートに示される処理は、画像処理ＥＣＵ３内に備わった顔向き検知マイコン３１が所定のプログラムを実行することにより行われる。また、図５に示したフローチャートに示す処理は、上記画像処理装置の電源がＯＮ（例えば、画像処理ＥＣＵ３が搭載された車両のイグニッションスイッチがオン）されることによって開始される。また、当該処理は、画像処理ＥＣＵ３の電源がＯＦＦ（例えば、イグニッションスイッチがＯＦＦ）されることによって、終了する。なお、イグニッションスイッチは、以下、ＩＧと称す。
【００４７】
図５のステップＳ５１において、顔向き検知マイコン３１は、カメラ１が撮像した画像を取得し、次のステップＳ５２へ処理を進める。
【００４８】
次にステップＳ５２において、顔向き検知マイコン３１は、ドライバーの顔向きを検出する。以下、図６を用いて、顔向き検知マイコン３１が行う、ドライバーの顔向きを算出する動作の一例について説明する。なお、図６は、図５のステップＳ５２におけるドライバーの顔向き角度を算出する動作の一例を示したフローチャートである。
【００４９】
図６のステップＳ６１において、顔向き検知マイコン３１は、上記ステップＳ５１で取得した画像の所定方向（例えば縦方向）にソーベルフィルタ処理を施す。そして、顔向き検知マイコン３１は、処理後画像（ソーベル画像）内における輝度の差を用いて、当該処理後の画像から縦方向のエッジ点を抽出する処理を行い、次のステップＳ６２に処理を進める。
【００５０】
ステップＳ６２において、顔向き検知マイコン３１は、上記ソーベル画像から抽出した縦方向のエッジ点を用いて、当該ソーベル画像におけるドライバーの顔の幅Ｗ（図３参照）を算出する処理を行う。ここで、顔向き検知マイコン３１が行う具体的な処理の一例を説明する。顔向き検知マイコン３１は、抽出された縦方向のエッジ点に対する縦方向のヒストグラムを生成し、顔の左右両端の輪郭を検出することによってドライバーの顔右端および顔左端を抽出する。そして、顔向き検知マイコン３１は、抽出された顔右端の位置から左端の位置を減算した長さをドライバーの顔幅Ｗとして算出し、次のステップＳ６３に処理を進める。
【００５１】
ステップＳ６３において、顔向き検知マイコン３１は、上記ステップＳ６２でドライバーの顔幅Ｗが算出できたか否かを判断する。そして、顔向き検知マイコン３１は、ドライバーの顔幅Ｗを算出することができた場合（ＹＥＳ）、次のステップＳ６４に処理を進める。一方、カメラ１が撮像した画像から例えば縦方向のエッジ点が抽出できなかったり、ドライバーの顔右端および顔左端が算出できなかったりした場合、顔向き検知マイコン３１は、上記ステップＳ５１に戻って処理を繰り返す。
【００５２】
ステップＳ６４において、顔向き検知マイコン３１は、上記ステップＳ６２で算出した顔幅Ｗを用いて、カメラ１が撮像した画像においてドライバーの目、鼻、口（以下、顔部品と称す）の位置を推定する。例えば、顔向き検知マイコン３１は、ステップＳ６２で算出した顔幅Ｗを示すデータと、顔情報格納部３２に格納されている顔情報とを用いて、上記画像内において各顔部品が存在していると予想される範囲を設定する。そして、顔向き検知マイコン３１は、設定された範囲内の画像に対してエッジラインを抽出する処理を行い、顔情報格納部３２に格納されている各顔部品のテンプレート画像を用いて、上記エッジラインが抽出された画像に対してパターンマッチングを行い、各顔部品の位置を推定して、次のステップＳ６５に処理を進める。
【００５３】
ステップＳ６５において、顔向き検知マイコン３１は、各顔部品が推定できたか否かを判断する。顔向き検知マイコン３１は、各顔部品の位置を推定できた場合（例えば、口のテンプレート画像との一致度が予め定められた値以上）、ステップＳ６６に処理を進める。一方、顔向き検知マイコン３１は、各顔部品の位置を推定できなかった場合、上記ステップＳ５１に戻って処理を繰り返す。
【００５４】
ステップＳ６６において、顔向き検知マイコン３１は、顔の中心線を求める。処理の一例として、顔向き検知マイコン３１は、上記ステップＳ６４で推定した目、鼻、口の位置に基づいて、顔画像における顔の中心線を求める。そして、次のステップＳ６７へ処理を進める。
【００５５】
ステップＳ６７において、顔の中心線を求めることができたか否かを判断する。顔向き検知マイコン３１は、顔の中心線を求めることができた場合（ＹＥＳ）、次にステップＳ６８に処理を進め、顔の中心線を求めることができなかった場合（ＮＯ）、ステップＳ５１に処理を戻す。
【００５６】
ステップＳ６８において、顔向き検知マイコン３１は、ドライバーの顔向き角度θＲまたはθＬを算出し、当該算出結果を車両制御システム４へ出力し図６に示すフローチャートの処理を終了する。
【００５７】
図５の説明に戻って、顔向き検知マイコン３１は、ステップＳ５３において、閾値の角度Θ’ＲおよびΘ’Ｒを算出し、車両制御システム４へ出力する。以下、図７および図８を用いて、顔向き検知マイコン３１が行う、閾値の角度Θ’ＲおよびΘ’Ｌを算出する動作の一例について説明する。
【００５８】
まず、上記車両が旋回状態である場面、例えば上記車両が右カーブを走行している場面を想定して、図７を用いて説明する。図７は、一例として上記車両が右旋回をしているときの様子を示した図である。図７に示すように、一般的に旋回時における瞬間的な車両の移動方向（以下、速度方向と記載する）は、車両が旋回しているときに当該車両の重心が描く旋回円に対して、現時点の上記車両の重心が位置する当該旋回円の接線方向である。そして、車両の速度方向は、上記車両の車速に応じた大きさを有するベクトルで表すことができる。つまり、速度方向とは、現時点における前記車両の速さと移動方向とを示すものである。また、車両の向きとは当該車両の中心線に沿った車両正面方向である。なお、本実施形態においては、カメラ１は、上記ドライバーに対して正面から撮像するように設置されているため、上記車両上方からみるとカメラ１の光軸と上記車両の向き（中心線）とが平行となるため、上記車両の中心線はカメラ１の光軸（以下、カメラ光軸と称す）と水平方向に対して平行とみなすことができる。
【００５９】
角度βは、車両の重心点横滑り角となる、いわゆるスリップ角である。つまり、角度βは、上記車両の向きと上記速度方向とがなす角度のことである。なお、カメラ１の光軸と上記車両の向き（中心線）とが水平方向に対して平行になるようにカメラ１が設置されていれば、角度βは、カメラ光軸と上記速度方向とが水平面においてなす角度とみなすことができる。
【００６０】
角度γは、上記到達予定方向と上記速度方向とがなす角度であり、時間Ｔとヨーレートωの積で求めることができる。ここで、図７に示したように、上記車両が右旋回をしているとき、上記車両のドライバーが安全運転をするためには、上記車両の正面ではなく、上記車両の到達予定方向（具体的には、上記車両前方右側）を注視する。言い換えると、一般的に、車両を旋回させているとき、安全運転を志す運転者は上記車両が進む方向を注視する。つまり、上記運転者は、当該車両がある時間経過後に到達しているだろう地点をある程度予測して、当該地点を注視して安全運転をしている。したがって、運転者が注視する地点となる上記経過時間を予め設定しておけば、ドライバーがアクセルやブレーキ操作などを行って上記車両を旋回させているとき、時間Ｔとヨーレートωの積で容易に予測注視点を算出することができる。
【００６１】
顔向き検知マイコン３１は、上述したような角度γ、および角度γと角度βを考慮し、閾値の角度Θ’ＲおよびΘ’Ｌを算出し、当該算出結果を車両制御システムに出力する。なお、顔向き検知マイコン３１は、閾値の角度Θ’を算出するとき、閾値の角度Θ’ＲとΘ’Ｌとのどちらか一方についてのみを算出し、当該算出結果を車両制御システム４に出力する。
【００６２】
そして、車両制御システム４は、顔向き検知マイコン３１から出力される閾値の角度を用いてドライバーの脇見判断を行う。
【００６３】
以下、図８を用いて、顔向き検知マイコン３１が行う、閾値の角度Θ’を算出する動作の一例について説明する。図８は、図５のステップＳ５３の閾値の角度Θ’を算出する動作の一例を示したフローチャートである。
【００６４】
図８のステップＳ８１において、顔向き検知マイコン３１は、車両情報検出部２によって検出された上記車両のヨーレートωを取得する。そして次のステップＳ８２へ処理を進める。
【００６５】
ステップＳ８２において、顔向き検知マイコン３１は、上記ステップＳ８１で取得したヨーレートωを用いて、時間Ｔとヨーレートωと（Ｔ×ω）によって、角度γを算出し、次のステップＳ８３へ処理を進める。
【００６６】
ステップＳ８３において、顔向き検知マイコン３１は、車両情報検出部２によって検出された上記車両の車速Ｖを取得し、次のステップＳ８４へ処理を進める。
【００６７】
ステップＳ８４において、顔向き検知マイコン３１は、角度βを算出する。具体的には、上記ステップＳ８１取得したヨーレートω、上記ステップＳ８３で取得した車速Ｖおよび上記車両の諸元値に基づいて数式（１）によって算出することができる。
【００６８】
【数１】
2009294753.tif 000003
【００６９】
数式（１）において、Ｍは上記車両の重量、Ｌは上記車両のホイールベース、Ｌｆは上記車両の前輪軸から上記車両の重心点までの距離、Ｌｒは記車両の後輪軸から上記車両の重心点までの距離、Ｋｒは、上記車両後輪のコーナリングパワー、Ｖは上記車両の車速、ωは上記車両のヨーレートである。なお、Ｍ、Ｌ、Ｌｆ、Ｌｒの上記各値は、車両の仕様によって決まっている値であり車両諸元値格納部３３から取得することができる。また、コーナリングパワーＫｒは、タイヤの特性および当該タイヤにかかる重量によって決まる値であり、車両諸元値格納部３３に予め上記車両に装着されているタイヤの特性などの情報を記憶させておけば、両諸元値格納部３３から当該情報を参照して算出できる。そして、顔向き検知マイコン３１は、次のステップＳ８５へ処理を進める。
【００７０】
ステップＳ８５において、顔向き検知マイコン３１は、角度ΔΘを算出する。なお、角度ΔΘとは図７に示すように、ΔΘ＝│γ│−│β│で求めることができる角度である。そして、顔向き検知マイコン３１は、次のステップＳ８６へ処理を進める。
【００７１】
ステップＳ８６において、顔向き検知マイコン３１は、上記ステップＳ８５で算出された角度ΔΘに基づいて、閾値の角度Θ’を算出する。ここで、ステップＳ８６で顔向き検知マイコン３１が行う、閾値の角度Θ’を算出する処理の一例を具体的な数値を用い説明する。
【００７２】
ここで、一例として閾値の角度ΘＲおよびΘＬがそれぞれΘＲ＝２０°、ΘＬ＝２０°と設定されていたとする。この場合、顔向き検知マイコン３１は、閾値Θを上記車両の旋回方向側に変更する。なお、上記車両の旋回方向は、上記車両の備わったヨーレートセンサで知ることができる。例えば上記ステップＳ８５で算出された角度ΔΘがΔΘ＝１０°であったとする。図７に示した例では、顔向き検知マイコン３１は、ΘＲ＝２０°を右方向へ１０°加算しΘ’Ｒ＝３０°と算出する。また、顔向き検知マイコン３１は、ΘＬ＝２０°を右方向に１０°減算しΘ’Ｌ＝１０°と算出する。つまり、顔向き検知マイコン３１は、上記車両の予測注視点に向けて閾値の角度Θを変更する。
【００７３】
なお、顔向き検知マイコン３１は、閾値の角度ΘＲおよびΘＬの両方について、閾値の角度Θ’ＲおよびΘ’を算出してもよいし、閾値の角度Θ’ＲまたはΘ’Ｌの一方についてのみ（例えば、図７の場合、閾値ΘＲについてのみ変更後の閾値Θ’Ｒ）を算出してもよい。そして、顔向き検知マイコン３１は、閾値の角度Θ’Ｒおよび閾値の角度Θ’Ｌの少なくとも一方を車両制御システム４に出力し、図８に示したフローチャートの処理を終了する。
【００７４】
なお、上述した例では、角度γを算出した後、角度βを算出したが、別の例では角度βを算出した後、角度γを算出してもよい。つまり、図８に示したフローチャートにおいて、ステップＳ８３およびステップＳ８４を先に行った後、ステップＳ８１およびステップＳ８２を行ってもよい。
【００７５】
また、上述した例では、角度γと角度βとを用いて閾値Θを変更するため、車両の現時点の挙動（スリップ角）を考慮した閾値Θの変更が可能となる。しかしながら、このような効果を期待しない場合、角度γのみを用いて閾値Θを変更してもよい。一般的に角度βは、車両が通常走行時をしているときは、角度γと比較して相対的に小さな値となる。したがって、角度βの値を無視して角度γのみを用いて閾値Θを変更しても、本願の目的を達成することができる。
【００７６】
さらに、上述した例では、カメラ１は、上記車両が直進状態で上記ドライバーに対して正面になるように設置されているため、上記車両水平方向でみるとカメラ１の光軸と上記車両の中心線とは同じになるため、上記車両の中心線の向きはカメラ１の光軸とみなしたが、上記中心線の向きと上記光軸の向きとが異なる場合が考えられる。その場合は、上記中心線の向きと上記光軸の向きとの角度差を考慮した上で、上記中心線をカメラ１の光軸とみなせばよい。
【００７７】
図５の説明に戻って、ステップＳ５４において、画像処理ＥＣＵ３は、上記車両のイグニッションスイッチがＯＦＦされたか否かを判断する。そして、画像処理ＥＣＵ３は、イグニッションスイッチがＯＦＦされた場合、当該フローチャートによる処理を終了する。一方、画像処理ＥＣＵ３は、イグニッションスイッチがＯＦＦされていない場合、上記ステップＳ５１に戻って処理を繰り返す。
【００７８】
以上説明したように、画像処理ＥＣＵ３は、ドライバーの顔向き角度θを算出し、車両制御システム４に出力する。さらに、画像処理ＥＣＵ３は、ドライバーの顔向きは正常であるか否かの判断の基準となる閾値の角度Θを上記車両のヨーレートと車速とに基づいて変更し、変更後の閾値Θ’を車両制御システム４に出力する。
【００７９】
次に、図９を用いて、車両制御システム４が行う処理（具体的には、画像処理ＥＣＵ３から出力された顔向き角度θおよび閾値Θ’に基づいてドライバーの顔向きは正常であるか否かを判断する処理）の一例を説明する。図９は、車両制御システム４において行われる処理の一例を示したフローチャートである。
【００８０】
図９のステップＳ９１において、車両制御システム４は、顔向き検知マイコン３１からドライバーの顔向き角度（具体的にはθＲまたはθＬ）を取得し、次のステップＳ９２へ処理を進める。
【００８１】
ステップＳ９２において、車両制御システム４は、顔向き検知マイコン３１から閾値の角度を取得し、次のステップＳ９３へ処理を進める。
【００８２】
ステップＳ９３において、車両制御システム４は、顔向き角度および閾値の角度を取得できたか否かを判断する。そして、車両制御システム４は、顔向き角度および閾値の角度を取得できたと判断した場合（ＹＥＳ）、次のステップＳ９４に処理を進め、取得できなかったと判断した場合（ＮＯ）、ステップＳ９１に処理を戻す。
【００８３】
ステップＳ９４において、車両制御システム４は、ドライバーの顔向きは正常であるか否かを判断する。具体的には、車両制御システム４は、上記ステップＳ９１で取得した顔向き角度およびステップＳ９２で取得した閾値の角度に基づいて、ドライバーの顔向きは正常か否かを判断する。例えば、顔向き角度θＲ＝２５°、閾値の角度がΘ’Ｒ＝２０°として顔向き検知マイコン３１から出力されたとき、車両制御システム４は、ドライバーの顔向きは正常ではない、つまりドライバーは脇見状態であると判断する。そして、ステップＳ９５へ処理を進める。一方、ドライバーの顔向きは正常である、脇見状態ではないと判断した場合、ステップＳ９６へ処理を進める。
【００８４】
ステップＳ９５において、車両制御システム４は、上記車両に装備品を制御して、ドライバーに注意喚起を行う。なお、このとき衝突制御システム４は、必要に応じてプリクラッシュ制御を行ってもよい。
【００８５】
ステップＳ９６において、車両制御システム４は、上記車両のイグニッションスイッチがＯＦＦされたか否かを判断する。そして、車両制御システム４は、イグニッションスイッチがＯＦＦされた場合、当該フローチャートによる処理を終了する。一方、車両制御システム４は、イグニッションスイッチがＯＦＦされていない場合、上記ステップＳ９１に戻って処理を繰り返す。
【００８６】
以上のように、第１の実施形態によれば、車両の走行状態に応じてドライバーの脇見状態の判断基準となる閾値の角度を算出し、当該算出結果に応じて脇見判断を行うので、正確な脇見判断が出来る。さらに、運転者の脇見やよそ見などが原因となる事故を未然に防ぐ、いわゆる予防安全がをより正確に実施することが可能となる。
【００８７】
（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について説明する。上述した第１の実施形態に係る画像処理装置を含む脇見判断システムでは、上記車両の車速Ｖおよび上記車両のヨーレートωを用いて上記数式（１）に基づいて角度βを算出した。第２の実施形態に係る画像処理装置では、角度βを車両の横加速度αと車両の車速Ｖとで算出する。なお、第２の実施形態では、上記車両に車速センサと横加速度センサとが備わっていればよい。また、角度γおよび角度βの求め方（すなわち、図５のステップＳ５３の処理）が異なる以外は、第１の実施形態に係る画像処理処置を含む脇見判断システムの動作および構成と同様であるので、同様の動作および構成についての説明は省略する。したがって、以下の説明においては、画像処理装置ＥＣＵ３の顔向き検知マイコン３１が行う閾値Θ’を算出する処理についてのみ説明する。
【００８８】
図１０は、第２の実施形態に係る画像処理装置の顔向き検知マイコン３１が行う閾値の角度Θ’を算出する処理の一例を示したフローチャートである。
【００８９】
図１０のステップＳ１０１において、顔向き検知マイコン３１は、車両情報検出部２から上記車両の横加速度αおよび車速Ｖを取得し、次のステップＳ１０２へ処理を進める。
【００９０】
ステップＳ１０２において、顔向き検知マイコン３１は、角度βを算出し、次のステップＳ１０３に処理を進める。角度βは、具体的には、上記ステップＳ１０１で取得した上記車両の横加速度α、車速Ｖ、および上記車両の諸元値を用いて数式（２）によって算出することができる。
【００９１】
【数２】
2009294753.tif 000004
【００９２】
数式（２）において、Ｍは上記車両の重量、Ｌは上記車両のホイールベース、Ｌｆは上記車両の前輪軸から上記車両の重心点までの距離、Ｌｒは記車両の後輪軸から上記車両の重心点までの距離、Ｋｒは、上記車両後輪のコーナリングパワー、Ｖは上記車両の車速、αは上記車両の横加速度である。なお、重量Ｍ、ホイールベースＬ、距離Ｌｆ、距離Ｌｒの上記各値は、車両の仕様によって決まっている値であり車両諸元値格納部３３から取得することができる。また、コーナリングパワーＫｒは、タイヤの特性および当該タイヤにかかる重量によって決まる値であり、車両諸元値格納部３３に予め上記車両に装着されているタイヤの特性などの情報を記憶させておけば、両諸元値格納部３３から当該情報を参照して算出できる。そして、顔向き検知マイコン３１は、次のステップＳ１０３へ処理を進める。
【００９３】
ステップＳ１０３において、顔向き検知マイコン３１は、上述した数式（１）を変形し、ヨーレートωの式（具体的にはω＝β・Ｖ・（略））とすることによって、ヨーレートωを導出する。具体的には、顔向き検知マイコン３１は、上記ステップＳ１０２で角度βを算出した。したがって、上述した数式（１）を変形したヨーレートωの式において、重量Ｍ、ホイールベースＬ、距離Ｌｆ、距離Ｌｒ、コーナリングパワーＫｒ、車速Ｖ、角度βは既知であるので、ヨーレートωを導出することができる。そして、顔向き検知マイコン３１は、次のステップＳ１０４へ処理を進める。
【００９４】
ステップＳ１０４において、顔向き検知マイコン３１は、角度γを算出する。なお、角度γはＴとωとの積で求めることができる。つまり、第１の実施形態で説明したように、一般的に、車両を旋回させているとき、安全運転を志す運転者は上記車両が進む方向を注視する。つまり、上記運転者は、当該車両がある時間経過後に到達しているだろう地点をある程度予測して、当該地点を注視して安全運転をしている。したがって、運転者が注視する地点となる上記経過時間を予め設定しておけば、ドライバーがアクセルやブレーキ操作などを行って上記車両を旋回させているとき、時間Ｔとヨーレートωの積で容易に予測注視点を算出することができる。そして、顔向き検知マイコン３１は、次のステップＳ１０５へ処理を進める。
【００９５】
ステップＳ１０５において、顔向き検知マイコン３１は、角度ΔΘを算出し、次のステップＳ１０６へ処理を進める。なお、ステップＳ１０５において、顔向き検知マイコン３１が行う角度ΔΘを算出する方法は、第１の実施形態における図８のステップＳ８５と同様であるので、詳説は省略する。
【００９６】
ステップＳ１０６において、顔向き検知マイコン３１は、閾値の角度Θ’を算出し、図１０に示したフローチャートの処理を終了する。なお、ステップＳ１０６において、顔向き検知マイコン３１が行う閾値Θ’を算出する方法は、第１の実施形態における図８のステップＳ８６と同様であるので、詳説は省略する。
【００９７】
（第３の実施形態）
次に第３の実施形態を説明する。上述した第２の実施形態に係る画像処理装置を含む脇見判断システムでは、上記車両の車速Ｖおよび上記車両の横加速度αを用い数式（２）に基づいて角度βを算出した。第３の実施形態では、角度βを舵角δと車速Ｖとから算出する形態を説明する。なお、第３の実施形態では、上記車両に速度センサと舵角センサが備わっていればよい。また、角度γおよび角度βの求め方が異なる以外は、つまり図５に示したフローチャートのステップＳ５３での処理が異なる以外は、第１の実施形態に係る画像処理処置を含む脇見判断システムの動作および構成と同様であるので説明は省略する。したがって、画像処理ＥＣＵ３の顔向き検知マイコン３１が行う閾値の角度Θ’を算出する処理についてのみ説明する。
【００９８】
図１１は第３の実施形態に係る画像処理装置の顔向き検知マイコン３１が行う閾値の角度Θ’を算出する処理の一例を示したフローチャートである。
【００９９】
図１１のステップＳ１１１において、顔向き検知マイコン３１は、車両情報検出部２から上記車両の舵角δおよび車速Ｖを取得し、次のステップＳ１１２へ処理を進める。
【０１００】
ステップＳ１１２において、顔向き検知マイコン３１は、角度βを算出する。角度βは、具体的には、上記ステップＳ１１１で取得した舵角δ、車速Ｖおよび上記車両の諸元値を用いて数式（３）によって算出する。
【数３】
2009294753.tif 000005
【０１０１】
数式（３）において、Ｍは上記車両の重量、Ｌは上記車両のホイールベース、Ｌｆは上記車両の前輪軸から上記車両の重心点までの距離、Ｌｒは記車両の後輪軸から上記車両の重心点までの距離、Ｋｆは上記車両前輪のコーナリングパワー、Ｋｒは、上記車両後輪のコーナリングパワー、Ｖは上記車両の車速、δは上記車両の舵角である。なお、重量Ｍ、ホイールベースＬ、距離Ｌｆ、距離Ｌｒの上記各値は、車両の仕様によって決まっている値であり車両諸元値格納部３３から取得することができる。また、コーナリングパワーＫｆ（Ｋｒ）は、タイヤの特性および当該タイヤにかかる重量によって決まる値であり、車両諸元値格納部３３に予め上記車両に装着されているタイヤの特性などの情報を記憶させておけば、両諸元値格納部３３から当該情報を参照して算出できる。そして、顔向き検知マイコン３１は、次のステップＳ１１３へ処理を進める。
【０１０２】
ステップＳ１１３において、顔向き検知マイコン３１は、上述した数式（１）を変形し、ヨーレートωの式（具体的にはω＝β・Ｖ・（略））とすることによって、ヨーレートωを導出する。具体的には、顔向き検知マイコン３１は、上記ステップＳ１１２で角度βを算出した。したがって、上述した数式（１）を変形したヨーレートωの式において、重量Ｍ、ホイールベースＬ、距離Ｌｆ、距離Ｌｒ、コーナリングパワーＫｒ、車速Ｖ、角度βは既知であるので、ヨーレートωを導出することができる。そして、顔向き検知マイコン３１は、次のステップＳ１１４へ処理を進める。
【０１０３】
ステップＳ１１４において、顔向き検知マイコン３１は、角度γを算出する。なお、角度γはＴとωとの積で求めることができる。つまり、第１の実施形態で説明したように、一般的に、車両を旋回させているとき、安全運転を志す運転者は上記車両が進む方向を注視する。つまり、上記運転者は、当該車両がある時間経過後に到達しているだろう地点をある程度予測して、当該地点を注視して安全運転をしている。したがって、運転者が予測注視する地点となる上記経過時間を予め設定しておけば、ドライバーがアクセルやブレーキ操作などを行って上記車両を旋回させているとき、時間Ｔとヨーレートωの積で容易に注視点を算出することができる。そして、顔向き検知マイコン３１は、次のステップＳ１１５へ処理を進める。
【０１０４】
ステップＳ１１５において、顔向き検知マイコン３１は、角度ΔΘを算出し、次のステップＳ１１６に処理を進める。なお、ステップＳ１１５において、顔向き検知マイコン３１が行う角度ΔΘを算出する方法は、第１の実施形態における図８のステップＳ８５と同様であるので、詳説は省略する。
【０１０５】
ステップＳ１１６において、顔向き検知マイコン３１は、閾値Θ’を算出し、図１１に示したフローチャートの処理を終了する。なお、ステップＳ１１６において、顔向き検知マイコン３１が行う閾値の角度Θ’を算出する方法は、第１の実施形態における図８のステップＳ８６と同様であるので、詳説は省略する。
【０１０６】
なお、上述した第１の実施形態、第２の実施形態および第３の実施形態では、上記車両が右旋回の場合を例に説明したが、左旋回時においても類推適応可能であるので説明は省略した。
【０１０７】
また、上述した第１、第２および第３の各実施形態では、画像処理ＥＣＵ３がドライバーの顔向き角度および閾値の角度を算出し、当該各算出結果に基づいて、車両制御システム４が脇見状態を判断した。別の例では、画像処理ＥＣＵ３がドライバーの顔向き角度および閾値の角度を算出し、さらに脇見状態の判断をしてもよい。この場合、画像処理ＥＣＵ３は、脇見状態であるか否かを判断し、当該判断結果を車両制御システム４に送信するようにすればよい。
【０１０８】
さらに、各実施形態の顔向き検知マイコン３１は、カメラ１の撮像方向に対して左右それぞれに２つの閾値の角度を設けてもかまわない。この場合、顔向き検知マイコン３１は、２つの閾値の角度をそれぞれ予測注視点方向が変化する方向に移動させてもいいし、何れか一方の閾値の角度のみを予測注視点方向が変化する方向に移動させてもいい。
【０１０９】
また、各実施形態の顔向き検知マイコン３１は、カメラ１の撮像方向に対して左方向のみに１つの閾値の角度を設けてもかまわない。この場合、顔向き検知マイコン３１は、左方向に設けられた１つの閾値の角度を予測注視点方向が変化する方向に移動させる。また、各実施形態の顔向き検知マイコン３１は、カメラ１の撮像方向に対して右方向のみに１つの閾値の角度を設けてもかまわない。この場合、顔向き検知マイコン３１は、右方向に設けられた１つの閾値の角度を予測注視点方向が変化する方向に移動させる。
【０１１０】
上記の実施形態で説明した態様は、単に具体例を示すものであり、本願発明の技術的範囲を何ら限定するものではない。よって本願の効果を奏する範囲において、任意の構成を採用することが可能である。
【産業上の利用可能性】
【０１１１】
本発明にかかる画像処理装置および画像処理方法は、運転者の脇見判断の基準となる閾値を車両の走行状態に応じて設定することによって、より正確な脇見判断をすることができ、運転者の顔が撮像された画像から当該運転者の顔向きを算出し、上記運転者の脇見状態を判断する画像処理装置および画像処理方法等として有用である。
【図面の簡単な説明】
【０１１２】
【図１】第１の実施形態に係る画像処理装置を含む脇見判断システムの構成の一例を示すブロック図
【図２】カメラ１の設置位置の一例を示す図
【図３】カメラ１が撮像した画像およびドライバーの頭部の上面図
【図４】走行している車両の状態の一例を示す図
【図５】第１の本実施形態に係る画像処置ＥＣＵ３において行われる処理の一例を示したフローチャート
【図６】図５のステップＳ５２におけるドライバーの顔向き角度を算出する動作の一例を示したフローチャート
【図７】車両が右旋回をしているときの様子を示した図
【図８】図５のステップＳ５３の閾値Θ’を算出する動作の一例を示したフローチャート
【図９】車両制御システム４において行われる処理の一例を示したフローチャート
【図１０】第２の実施形態に係る画像処理装置の顔向き検知マイコン３１が行う閾値の角度Θ’を算出する処理の一例を示したフローチャート
【図１１】第３の実施形態に係る画像処理装置の顔向き検知マイコン３１が行う閾値の角度Θ’を算出する処理の一例を示したフローチャート
【符号の説明】
【０１１３】
１      カメラ
２      車両情報検出部
３      画像処理ＥＣＵ
３１    顔向き検知マイコン
３２    顔情報格納部
３３    車両諸元値格納部
４      車両制御システム
【図１】
2009294753.tif 000006
【図２】
2009294753.tif 000007
【図３】
2009294753.tif 000008
【図４】
2009294753.tif 000009
【図５】
2009294753.tif 000010
【図６】
2009294753.tif 000011
【図７】
2009294753.tif 000012
【図８】
2009294753.tif 000013
【図９】
2009294753.tif 000014
【図１０】
2009294753.tif 000015
【図１１】
2009294753.tif 000016