(57)【要約】【課題】車両の運転者が、いずれの方向に、どれくらいの注意を向けているかを監視可能にする。【解決手段】運転者監視装置１０においては、検出部１４により、運転者監視センサ２１から出力された監視データに基づいて、運転者が注意を向けている注意方向を検出し、監視部１５により、この注意方向の偏差算出期間ｐにおける標準偏差等の偏差σを、偏差算出時間ｓ毎に繰り返し算出し、この算出した偏差σに基づいて、運転者が注意を向けている方向と注意度を判断する。【選択図】図１
2019091441.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者の監視画像を含む第１のセンシングデータを出力する第１のセンサと、  前記第１のセンサから出力された前記第１のセンシングデータを記憶する記憶部と、  前記記憶部に記憶された前記第１のセンシングデータに基づいて、前記運転者の顔または視線の方向である注意方向を検出する検出部と、
前記検出部が検出した前記注意方向の所定期間における偏差を所定時間毎に繰り返し算出する算出部と、
前記算出部が算出した前記偏差に基づいて、前記運転者が注意を向けている方向と注意度を判断する判断部と、
を具備する運転者監視装置。
【請求項２】
前記判断部は、前記注意度として、前記注意を向けている方向への前記運転者の凝視の程度を判断する、請求項１に記載の運転者監視装置。
【請求項３】
前記判断部は、前記運転者が注意を向けている方向として、前記運転者が見ている可能性のある範囲を判断する、請求項１に記載の運転者監視装置。
【請求項４】
前記判断部は、前記検出部が検出した前記注意方向を中心とし、前記算出部が算出した前記偏差を半径とする偏差面の、大きさおよび位置に基づいて、前記運転者が注意を向けている方向と注意度を判断する、請求項１に記載の運転者監視装置。
【請求項５】
前記判断部は、前記運転者が注意を向けている方向と注意度に基づいて、前記運転者が前記車両の正面方向に設定された所定の正面領域を見ている状態であるか否かを判定する、請求項１乃至４のいずれかに記載の運転者監視装置。
【請求項６】
前記車両の状態を表す第２のセンシングデータを出力する第２のセンサをさらに具備し、
前記記憶部は、さらに、前記第２のセンサから出力された前記第２のセンシングデータを記憶し、
前記検出部は、さらに、前記記憶部に記憶された前記第２のセンシングデータに基づいて、前記車両の速度を検出し、
前記所定期間の長さを、前記検出部が検出した前記車両の速度に応じて切り替える切替部をさらに具備する、請求項１に記載の運転者監視装置。
【請求項７】
前記所定期間の長さを、前記検出部が検出した前記注意方向に応じて切り替える切替部をさらに具備する、請求項１に記載の運転者監視装置。
【請求項８】
車両の運転者を監視する運転者監視装置が実行する運転者監視方法であって、
前記運転者監視装置が、第１のセンサから出力された、車両の運転者の監視画像を含む第１のセンシングデータを、記憶部に記憶させる過程と、
前記運転者監視装置が、前記記憶部に記憶された前記第１のセンシングデータに基づいて、前記運転者の顔または視線の方向である注意方向を検出する過程と、
前記運転者監視装置が、前記検出した前記注意方向の所定期間における偏差を所定時間毎に繰り返し算出する過程と、
前記運転者監視装置が、前記算出した前記偏差に基づいて、前記運転者が注意を向けている方向と注意度を判断する過程と、
を具備する運転者監視方法。
【請求項９】
請求項１乃至７のいずれかに記載の運転者監視装置が具備する各部としてコンピュータを機能させる運転者監視プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の実施形態は、例えば車両の運転者を監視する運転者監視装置とその方法およびプログラムに関する。
【背景技術】
【０００２】
近年、乗用車等の車両走行時に、運転者を支援するための各種装置が車両に搭載されるようになってきている。その一つに、車両の運転者の不適切な運転状態、例えば、運転者が脇見をしているかどうかを判定し、脇見状態であれば警告を発する脇見判定装置が知られている。このような脇見判定装置では、運転者の顔の方向または視線方向を検出して、運転者が何処を見ているかを判定することで、運転者が脇見をしているかどうかを判定している。
【０００３】
しかしながら、単に運転者の顔の方向または視線方向からだけでは、正確な脇見判定を行うことは難しい。
【０００４】
そこで、例えば、特許文献１では、運転者の注視点が特定方向である継続時間を計測し、運転者の注視点とその継続時間に基づいて、脇見判定を行うようにしている。つまり、この特許文献１に開示された手法は、運転者の顔の方向または視線方向に、時間の概念を加えることで、運転者が、いずれの方向に、どれくらいの注意を向けているかを監視できるようにしている。これにより、脇見判定の正確性を向上させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２５１２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
運転者が、いずれの方向に、どれくらいの注意を向けているかを監視できるようにする手法としては、上記特許文献１に開示された手法以外にも、様々に考え得る。
【０００７】
また、この運転者が、いずれの方向に、どれくらいの注意を向けているかという監視結果は、脇見判定だけでなく、例えば、運転者の運転上の癖や傾向を学習する学習装置など、その他の技術にも適用可能である。
【０００８】
この発明は上記事情に着目し、その目的の一つは、車両の運転者が、いずれの方向に、どれくらいの注意を向けているかを監視できるようにした、運転者監視装置とその方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００９】
上記課題を解決するためにこの発明の第１の態様は、運転者監視装置が、車両の運転者の監視画像を含む第１のセンシングデータを出力する第１のセンサと、前記第１のセンサから出力された前記第１のセンシングデータを記憶する記憶部と、前記記憶部に記憶された前記第１のセンシングデータに基づいて、前記運転者の顔または視線の方向である注意方向を検出する検出部と、前記検出部が検出した前記注意方向の所定期間における偏差を所定時間毎に繰り返し算出する算出部と、前記算出部が算出した前記偏差に基づいて、前記運転者が注意を向けている方向と注意度を判断する判断部と、を具備するようにしたものである。
【００１０】
この発明の第１の態様によれば、運転者監視装置では、第１のセンサから出力された第１のセンシングデータに基づいて、運転者が注意を向けている注意方向を検出し、さらに、この検出した注意方向の所定期間における偏差を、所定時間毎に繰り返し算出する。この偏差は、運転者が注意を向けている時間が長くなればなる程、値が小さくなっていく。よって、注意方向と共にこの偏差を用いることで、運転者が、いずれの方向に、どれくらいの注意を向けているかを監視できるようになる。
【００１１】
この発明の第２の態様は、上記第１の態様において、前記判断部が、前記注意度として、前記注意を向けている方向への前記運転者の凝視の程度を判断するようにしたものである。
【００１２】
この発明の第２の態様によれば、運転者の顔または視線の方向の偏差に基づいて、運転者が凝視している程度を判断する。偏差が小さいということは、それだけ凝視していることを意味している。車両の走行中に、運転者が或る方向を凝視しているということは、運転者が例えば安全確認を目的として或る方向を見続けているといった、運転者が意思を持ってその方向を見ている可能性が高い。したがって、注意度つまり運転者が凝視している程度は、運転者が意思を持って見ている可能性の程度を表しているとも言える。
【００１３】
この発明の第３の態様は、上記第１の態様において、前記判断部が、前記運転者が注意を向けている方向として、前記運転者が見ている可能性のある範囲を判断するようにしたものである。
【００１４】
この発明の第３の態様によれば、運転者の顔または視線の方向の偏差に基づいて、運転者が見ている可能性のある範囲を判断する。したがって、運転者が或る対象物を見ていないことを確実に判断できる。
【００１５】
この発明の第４の態様は、上記第１の態様において、前記判断部は、前記検出部が検出した前記注意方向を中心とし、前記算出部が算出した前記偏差を半径とする偏差面の、大きさおよび位置に基づいて、前記運転者が注意を向けている方向と注意度を判断するようにしたものである。
【００１６】
この発明の第４の態様によれば、注意方向を中心とし、偏差を半径とする偏差面の、大きさおよび位置により、運転者が注意を向けている方向と注意度を判断する。偏差面が小さいことは、その注意方向への運転者の注意度が高いこと、つまり、その方向を運転者が注視していることを意味する。また、偏差面が大きいことは、その注意方向への運転者の注意度低いこと、つまり、その方向を運転者が漠然と見ていることを意味する。
【００１７】
この発明の第５の態様は、上記第１乃至第４の態様のいずれかにおいて、前記判断部が、前記運転者が注意を向けている方向と注意度に基づいて、前記運転者が前記車両の正面方向に設定された所定の正面領域を見ている状態であるか否かを判定するようにしたものである。
【００１８】
この発明の第５の態様によれば、上記運転者が注意を向けている方向と注意度により、運転者が所定の正面領域を見ている状態であるか否かを判定する。これにより、第４の態様を適用した装置、例えば脇見判定装置では、正確な脇見判定を実施することが可能になる。
【００１９】
この発明の第６の態様は、上記第１の態様において、前記車両の状態を表す第２のセンシングデータを出力する第２のセンサをさらに具備し、前記記憶部が、さらに、前記第２のセンサから出力された前記第２のセンシングデータを記憶し、前記検出部が、さらに、前記記憶部に記憶された前記第２のセンシングデータに基づいて、前記車両の速度を検出し、前記所定期間の長さを、前記検出部が検出した前記車両の速度に応じて切り替える切替部をさらに具備するようにしたものである。
【００２０】
この発明の第６の態様によれば、車両の速度に応じて、偏差を算出する所定期間の長さを切り替える。したがって、車両の速度に適した時間で偏差を算出することが可能となる。
【００２１】
この発明の第７の態様は、上記第１の態様において、前記所定期間の長さを、前記検出部が検出した前記注意方向に応じて切り替える切替部をさらに具備するようにしたものである。
【００２２】
この発明の第７の態様によれば、注意方向に応じて、偏差を算出する所定期間の長さを切り替える。したがって、運転者が注意している方向に適した時間で偏差を算出することが可能となる。
【００２３】
また、上記課題を解決するためにこの発明の第８の態様は、車両の運転者を監視する運転者監視装置が実行する運転者監視方法であって、前記運転者監視装置が、第１のセンサから出力された、車両の運転者の監視画像を含む第１のセンシングデータを、記憶部に記憶させる過程と、前記運転者監視装置が、前記記憶部に記憶された前記第１のセンシングデータに基づいて、前記運転者の顔または視線の方向である注意方向を検出する過程と、前記運転者監視装置が、前記検出した前記注意方向の所定期間における偏差を所定時間毎に繰り返し算出する過程と、前記運転者監視装置が、前記算出した前記偏差に基づいて、前記運転者が注意を向けている方向と注意度を判断する過程と、を具備するようにしたものである。
【００２４】
この発明の第８の態様によれば、上記第１の態様同様、注意方向と共に偏差を用いることで、運転者が、いずれの方向に、どれくらいの注意を向けているかを監視できるようになる。
【００２５】
また、上記課題を解決するためにこの発明の第９の態様は、運転者監視プログラムが、上記第１乃至第７の態様のいずれかの運転者監視装置が具備する各部としてコンピュータを機能させるようにしたものである。
【００２６】
この発明の第９の態様によれば、コンピュータを利用して、上記第１乃至第７の態様を実現することができる。
【発明の効果】
【００２７】
すなわちこの発明の各態様によれば、車両の運転者が、いずれの方向に、どれくらいの注意を向けているかを監視できるようにした、運転者監視装置とその方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００２８】
【図１】図１は、この発明の実施形態に係る運転者監視装置の一適用例を説明するブロック図である。
【図２Ａ】図２Ａは、偏差算出時間、偏差算出期間、偏差及び偏差面の関係を模式的に示す図である。
【図２Ｂ】図２Ｂは、運転者の凝視によって偏差面が小さくなっていく様子を模式的に示す図である。
【図３】図３は、一実施形態に係る運転者監視装置を備えた運転状態判定システムの構成を例示したブロック図である。
【図４】図４は、一実施形態における運転状態判定システムの監視結果記憶部に予め記憶された偏差算出期間切替テーブルの一例を示す図である。
【図５】図５は、一実施形態における運転状態判定システムの処理手順と処理内容の一例を示すフローチャートである。
【図６】図６は、運転者が正面方向を見ていないと判定される状況の一例を模式的に示す図である。
【図７】図７は、運転者が正面方向を見ていないと判定される状況の別の例を模式的に示す図である。
【図８】図８は、運転者が正面方向を見ていないと判定される状況のさらに別の例を模式的に示す図である。
【図９】図９は、運転者が正面方向を見ていないと判定されない状況の一例を模式的に示す図である。
【図１０】図１０は、運転者が正面方向を見ていないと判定されない状況の別の例を模式的に示す図である。
【図１１】図１１は、運転者が正面方向を見ていないと判定されない状況のさらに別の例を模式的に示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照してこの発明に係わる実施形態を説明する。
【００３０】
［適用例］
先ず、この発明の実施形態に係る、車両の運転者を監視する運転者監視装置の一つの適用例について説明する。  
図１は、この適用例における運転者監視装置の構成例を模式的に示したものである。    運転者監視装置１０は、監視データ取得部１１と、車両情報取得部１２と、取得情報記憶部１３と、検出部１４と、算出部、判断部、判定部および切替部としての監視部１５と、を備えている。
【００３１】
監視データ取得部１１は、運転者に対して車両内の所定位置に設置された、運転者の監視画像を撮像する第１のセンサとしての運転者監視センサ２１から、運転者の監視画像を含む第１のセンシングデータである運転者の監視データを取り込む。例えば、運転者監視センサ２１は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このカメラは、１秒間に複数枚、運転者の静止画像を撮像するスチルカメラであってもよいし、運転者の動画像を撮像するビデオカメラであってもよい。監視データ取得部１１は、このカメラからの画像信号を、デジタル化処理して、運転者の監視画像を含む第１のセンシングデータとして取り込む。監視データ取得部１１は、この取り込んだ第１のセンシングデータを、監視データとして取得情報記憶部１３に記憶させる。
【００３２】
取得情報記憶部１３は、記憶媒体として例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込および読出しが可能な不揮発性メモリとＲＡＭ等の揮発性メモリを使用したものである。
【００３３】
車両情報取得部１２は、車両の各所定位置に配置された第２のセンサとしての車両状態センサ２２から、車両の状態を表す第２のセンシングデータである車両情報を取り込む。車両状態センサ２２は、例えば、車両の速度を検出する車速センサ、バックギアが選択されたことを検出するバックギアセンサを含むことができる。車両状態センサ２２は、このように複数のセンサを含んでよい。車両情報取得部１２は、この車両状態センサ２２によって検出された検出情報を、デジタル化処理して、車両の状態を表す第２のセンシングデータとして取り込む。車両状態センサ２２は、この取り込んだ第２のセンシングデータを、車両情報として上記取得情報記憶部１３に記憶させる。
【００３４】
検出部１４は、車両の動力源であるエンジンおよび／またはモータのオン期間中、取得情報記憶部１３に記憶された運転者の監視データから、運転者が注意を向けている注意方向、例えば、運転者の顔または視線の方向を検出する。
【００３５】
図２Ａは、上記所定時間である偏差算出時間ｓ、上記所定期間である偏差算出期間ｐおよび上記偏差σ、並びに、上記注意方向と上記偏差σとに基づく面である偏差面ｄの関係を模式的に示したものであり、図２Ｂは、運転者の凝視によって偏差面ｄが小さくなっていく様子を模式的に示したものである。なお、図２Ｂでは、時間変化を線の太さで表し、線が太いほど新しい偏差面ｄであることを示している。
【００３６】
また、監視部１５は、検出部１４が検出した注意方向の偏差算出期間ｐにおける標準偏差などの偏差σを算出することを、偏差算出時間ｓ毎に繰り返し行う。監視部１５は、例えば、この算出した偏差σに基づいて、運転者が注意を向けている方向への注意度、つまり、運転者が凝視している程度を判断する。この運転者が凝視している程度は、運転者が意思を持って見ている可能性の程度を表している。
【００３７】
また、監視部１５は、算出した偏差σに基づいて、運転者が注意を向けている方向として、運転者が見ている可能性のある範囲である視認可能性範囲を判断する。この判断結果は、運転者が見ている可能性がない範囲、つまり、運転者がどこを見ていないかも表している。
【００３８】
具体的には、監視部１５は、算出した偏差と検出部が検出した注意方向とに基づく面である偏差面ｄにより、運転者が注意を向けている方向と注意度を判断する。ここで、偏差面ｄは、中心が注意方向であり、半径が偏差σである、円として表される。
【００３９】
監視部１５は、このように判断した運転者が注意を向けている方向と注意度に基づいて、運転者が車両の正面方向に設定された所定の正面領域を見ている状態であるか否かを判定することができる。
【００４０】
なお、検出部１４は、さらに、取得情報記憶部１３に記憶された車両情報に基づいて車両の速度を検出することができ、監視部１５は、この車両の速度に応じて、偏差算出期間ｐの長さを切り替えることができる。あるいは、監視部１５は、運転者の注意方向に応じて、偏差算出期間ｐの長さを切り替えることができる。また、車両の速度と注意方向との両方に応じて、偏差算出期間ｐの長さを切り替えるようにしてもよい。
【００４１】
監視部１５による上記のような判断結果または判定結果である監視結果情報は、例えば、脇見判定装置３０に出力される。脇見判定装置３０は、この監視結果情報に基づいて、運転者の状態、例えば脇見の有無を判定する。
【００４２】
以上のような構成であるから、運転者監視装置１０においては、検出部１４により、運転者監視センサ２１から出力された監視データに基づいて、運転者が注意を向けている注意方向を検出し、監視部１５により、この注意方向の偏差算出期間ｐにおける標準偏差等の偏差σを、偏差算出時間ｓ毎に繰り返し算出する。この偏差σは、運転者が注意を向けている時間が長くなればなる程、値が小さくなっていく。よって、注意方向と共にこの偏差σを用いることで、運転者が、いずれの方向に、どれくらいの注意を向けているかを監視できるようになる。
【００４３】
また、運転者監視装置１０においては、監視部１５により、運転者の顔または視線の方向の偏差σに基づいて、運転者が凝視している程度を判断する。監視部１５は、図２Ａに示すように、上記所定時間である偏差算出時間ｓが経過する毎に、上記所定期間である偏差算出期間ｐにおける、注意方向の偏差σを算出する。この偏差σは、運転者が一つの対象物を見続けていると、つまり凝視していると、徐々に小さくなっていく。運転者が様々な対象物を次々と見ている状況では、偏差σは小さくならないし、逆に大きくなったりする。よって、偏差が小さいということは、それだけ凝視していることを意味している。車両の走行中に、運転者が或る方向を凝視しているということは、運転者が例えば安全確認を目的として或る方向を見続けているといった、運転者が意思を持ってその方向を見ている可能性が高い。したがって、注意度つまり運転者が凝視している程度は、運転者が意思を持って見ている可能性の程度を表しているとも言える。
【００４４】
また、運転者監視装置１０においては、監視部１５により、運転者の顔または視線の方向の偏差σに基づいて、運転者が見ている可能性のある範囲を判断する。これにより、運転者が見ている可能性がある範囲だけでなく、運転者がどこを見ていないかも判断することができる。すなわち、運転者がある対象物を見ていないことを確実に判断できる。
【００４５】
また、運転者監視装置１０においては、監視部１５によって、注意方向を中心とし、偏差σを半径とする偏差面ｄの、大きさおよび位置により、運転者が注意を向けている方向と注意度を判断する。この偏差面ｄは、運転者が一つの対象物を見続けていると、図２Ａおよび図２Ｂに示すように、徐々に小さくなっていく。運転者が様々な対象物を次々と見ている状況では、偏差面ｄは小さくならないし、逆に大きくなったりする。すなわち、偏差面ｄが小さいことは、その注意方向への運転者の注意度が高いこと、つまり、その方向を運転者が注視していることを意味する。また、偏差面ｄが大きいことは、その注意方向への運転者の注意度低いこと、つまり、その方向を運転者が漠然と見ていることを意味する。
【００４６】
この場合、監視部１５は、運転者が注意を向けている方向と注意度により、例えば偏差面ｄにより、運転者が所定の正面領域を見ている状態であるか否かを判定することができる。これにより、この判定結果である監視結果情報を受けた脇見判定装置３０では、正確な脇見判定を実施することが可能になる。
【００４７】
また、運転者監視装置１０においては、監視部１５では、車両の速度に応じて、偏差σを算出する所定期間の長さを切り替えることができる。したがって、車両の速度に適した時間で偏差σを算出することが可能となる。偏差算出期間ｐが長ければ長い程、運転者の注意方向、例えば運転者の顔または視線の方向が分散されるため、偏差σが大きくなる。一方、車両の移動速度が高速であればある程、脇見を許容される時間は短くなる。よって、車両の速度が高速なときには、偏差算出期間ｐを短くすることで、偏差σに基づく判断や判定を素早く行えるようになる。
【００４８】
また、運転者監視装置１０においては、監視部１５では、注意方向に応じて、偏差σを算出する所定期間の長さを切り替えることができる。したがって、運転者が注意している方向に適した時間で偏差σを算出することが可能となる。例えば、注意方向が正面方向に対してどの程度の角度であるかによって、正面方向から目をそらしてもよい時間は変化する。そこで、運転者の注意方向が正面方向に対して或る角度以上であれば、偏差算出期間ｐを短くすることで、偏差σに基づく判断や判定を素早く行えるようになる。
【００４９】
［一実施形態］
次に、この発明の一実施形態を説明する。  
（構成）
（１）システム
図３は、この発明の一実施形態に係る運転者監視装置を備えた運転状態判定システムの全体構成の一例を示す図である。
【００５０】
運転状態判定システムは、一実施形態に係る運転者監視装置と運転状態判定装置とを備えた運転状態判定装置４０と、各種のセンサ５１〜５３と、判定結果出力装置６０と、を備えている。
【００５１】
（２）センサ
本一実施形態では、センサとして、例えば、運転者監視センサであるドライバカメラ５１と、車両状態センサである、車速センサ５２およびバックギアセンサ５３とを含む。勿論これは一例であり、ステアリングセンサやウィンカセンサなど、その他のセンサを含んでいてもよい。
【００５２】
ドライバカメラ５１は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このドライバカメラ５１は、１秒間に複数枚の静止画像を撮像するスチルカメラであってもよいし、動画像を撮像するビデオカメラであってもよい。
【００５３】
車速センサ５２は、車両の移動速度を検出する。  
バックギアセンサ５３は、車両を後退させるためのバックギアが選択されたことを検出する。
【００５４】
（３）運転状態判定装置
運転状態判定装置４０は、入出力インタフェースユニット４１と、制御ユニット４２と、記憶ユニット４３と、を備えている。
【００５５】
入出力インタフェースユニット４１は、ドライバカメラ５１から出力された画像信号を受信してデジタルデータに変換して、制御ユニット４２に入力する。入出力インタフェースユニット４１はまた、車速センサ５２およびバックギアセンサ５３それぞれのセンシングデータを受信して、それらを制御ユニット４２に入力する。入出力インタフェースユニット４１はさらに、制御ユニット４２から出力された運転状態判定結果情報を出力制御信号に変換して判定結果出力装置６０へ出力する。
【００５６】
記憶ユニット４３は、記憶媒体として、例えばＳＳＤやＨＤＤ等の随時書き込みおよび読み出しが可能な不揮発性メモリとＲＡＭ等の揮発性メモリを使用したものである。記憶ユニット４３は、本実施形態を実施するために使用する記憶領域として、運転者の監視データを記憶する監視データ記憶部４３１と、車両の状態を表す車両情報を記憶する車両情報記憶部４３２と、後述する運転者監視部４２１３による判定結果である監視結果情報を揮発性に記憶する監視結果記憶部４３３と、を備えている。
【００５７】
なお、監視結果記憶部４３３は、さらに、偏差算出期間切替テーブルを予め不揮発性に記憶していてもよい。また、監視結果記憶部４３３は、特には図示していないが、運転者監視部４２１３の動作用のバッファメモリとしても利用され得る。例えば運転者監視部４２１３は、検出した注意方向を示す注意方向情報をＦＩＦＯ（first in, first out）型式で揮発性に記憶することができる。この場合、このＦＩＦＯ型式バッファメモリは、偏差算出期間ｐに応じて決められた所定の容量を有する。また、偏差算出期間切替テーブルを利用する場合には、そのテーブルにおける最長の偏差算出期間に相当する分の注意方向情報を記憶可能な容量を有することが必要である。
【００５８】
図４は、偏差算出期間切替テーブルの一例を示す図である。偏差算出期間切替テーブルは、注意方向と車速とによって決まる偏差算出期間ｐを示すテーブルである。この偏差算出期間切替テーブルには、さらに、注意方向と車速の何れか一方のみによって決まる偏差算出期間ｐも含まれている。この偏差算出期間切替テーブルの例に示す時間は単なる例示を目的としたものであり、これに限定されないことは勿論である。
【００５９】
制御ユニット４２は、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ４２１とプログラムメモリ４２２とを有している。制御ユニット４２は、プログラムメモリ４２２に記憶されたプログラムをハードウェアプロセッサ４２１が実行することで実現される、本実施形態を実施するために必要なソフトウェア構成として、監視データ取得部４２１１と、車両情報取得部４２１２と、運転者監視部４２１３と、脇見判定装置である脇見状態判定部４２１４と、信号出力部４２１５と、を備えている。なお、これらのソフトウェア構成の各部は、専用のハードウェアによって構成してもよい。
【００６０】
監視データ取得部４２１１は、ドライバカメラ５１から運転者の監視画像を取得する。すなわち、監視データ取得部４２１１は、ドライバカメラ５１から出力された運転者の画像信号のデジタルデータ（画像データ）を入出力インタフェースユニット４１から取り込み、この取り込んだ画像データを監視データとして記憶ユニット４３の監視データ記憶部４３１に記憶させる。
【００６１】
車両情報取得部４２１２は、車速センサ５２およびバックギアセンサ５３それぞれから車両情報を取得する。すなわち、車両情報取得部４２１２は、それら各センサから出力されたセンシングデータを入出力インタフェースユニット４１から取り込み、この取り込んだセンシングデータを車両情報として記憶ユニット４３の車両情報記憶部４３２に記憶させる。
【００６２】
運転者監視部４２１３は、車両の動力源であるエンジンおよび／またはモータのオン期間中、取得情報記憶部１３に記憶された運転者の監視データから、運転者が注意を向けている注意方向、例えば、運転者の顔または視線の方向を検出する。この検出した注意方向は、例えば、監視結果記憶部４３３に設けたＦＩＦＯ型式バッファメモリに、注意方向情報として記憶されていく。
【００６３】
また、運転者監視部４２１３は、この監視結果記憶部４３３のＦＩＦＯ型式バッファメモリに記憶した複数の注意方向情報の内、最新から偏差算出期間ｐに相当するまでの注意方向情報を読み出して、それらの偏差σを算出する。この偏差σは、例えば標準偏差であってよい。そして、運転者監視部４２１３は、この算出した偏差σを、監視結果記憶部４３３に設けたバッファメモリに一時記憶させる。この偏差σの算出を、運転者監視部４２１３は、偏差算出時間ｓ毎に繰り返し行う。
【００６４】
そして、運転者監視部４２１３は、監視結果記憶部４３３のＦＩＦＯ型式バッファメモリに記憶した最新の注意方向情報と、監視結果記憶部４３３のバッファメモリに記憶した偏差σとに基づく面である偏差面ｄにより、運転者の状態、例えば、運転者が正面領域を見ている状態であるか否かを判定する。ここで、偏差面ｄは、その中心が注意方向であり、半径が偏差σである、円として表されることができる。運転者監視部４２１３は、この判定結果を示す監視結果情報を、監視結果記憶部４３３のバッファメモリに一時記憶させる。
【００６５】
なお、運転者監視部４２１３は、さらに、車両情報記憶部４３２に記憶された車両情報に基づいて車両の速度を検出し、監視結果記憶部４３３の偏差算出期間切替テーブルにより、この車両の速度に応じて、偏差算出期間ｐの長さを切り替えてもよい。あるいは、運転者監視部４２１３は、監視結果記憶部４３３のＦＩＦＯ型式バッファメモリに記憶した最新の注意方向情報に応じて、監視結果記憶部４３３の偏差算出期間切替テーブルにより、偏差算出期間ｐの長さを切り替えてもよい。また、これら車両の速度と注意方向情報との両方に応じて、監視結果記憶部４３３の偏差算出期間切替テーブルにより、偏差算出期間ｐの長さを切り替えるようにしてもよい。
【００６６】
運転者監視部４２１３による判断または判定結果である監視結果情報は、例えば、脇見判定装置３０に出力される。脇見判定装置３０は、この監視結果情報に基づいて、運転者の状態、例えば脇見の状態を判定する。
【００６７】
なお、この運転者監視部４２１３を含めたハードウェアプロセッサ４２１は、車両の駆動源がオンされると動作を開始し、駆動源のオフに伴って動作を終了する。
【００６８】
脇見状態判定部４２１４は、監視結果記憶部４３３から監視結果情報を読み込み、この監視結果情報に基づいて、運転者の状態、例えば脇見の状態を判定する。
【００６９】
信号出力部４２１５は、脇見状態判定部４２１４での運転状態の判定結果を示す運転状態判定結果情報を、入出力インタフェースユニット４１を介して判定結果出力装置６０へ出力する。
【００７０】
（４）判定結果出力装置
判定結果出力装置６０は、例えば、スピーカと警告灯表示器を有し、運転状態判定装置４０から出力された運転状態判定結果情報を警告音や警告灯の点灯によって、運転者に出力する。判定結果出力装置６０は、スピーカと警告灯表示器の一方で構成されてもよい。判定結果出力装置６０は、車両が備えるナビゲーションシステムの音声出力機能や画像表示機能を利用して構成されてもよい。
【００７１】
（動作）
次に、以上のように構成された運転状態判定システムの動作を説明する。  
図５は、図３に示した運転状態判定システムにおける処理手順と処理内容の一例を示すフローチャートである。
【００７２】
（１）センシングデータ取り込み
車両の駆動源がオンされると、運転状態判定装置４０と、運転者監視センサであるドライバカメラ５１および車両状態センサである車速センサ５２およびバックギアセンサ５３は、動作を開始する。運転状態判定装置４０は、ドライバカメラ５１からのセンシングデータを監視データ取得部４２１１により取得し、監視データとして監視データ記憶部４３１に記憶していく。また、運転状態判定装置４０は、車速センサ５２およびバックギアセンサ５３それぞれからのセンシングデータを車両情報取得部４２１２により取得し、車両情報として車両情報記憶部４３２に記憶してく。これらセンシングデータの取得並びに記憶は、車両の駆動源がオフされるまで、繰り返し実施される。
【００７３】
（２）監視情報算出
（２−１）車速および注意方向検出
上記センシングデータの取り込み動作と並行して、運転状態判定装置４０は、ステップＳ１１において、運転者監視部４２１３に、車両情報記憶部４３２に記憶された車両情報より車両の速度（車速）を検出させ、検出した速度を監視結果記憶部４３３のバッファメモリに上書き記憶させる。また、運転状態判定装置４０は、ステップＳ１２において、運転者監視部４２１３に、監視データ記憶部４３１に記憶された監視データより運転者の注意方向、例えば、運転者の顔または視線の方向を検出させ、検出した注意方向を示す注意方向情報を監視結果記憶部４３３のＦＩＦＯ型式バッファメモリに記憶させる。例えば、監視データ記憶部４３１に監視データとして１秒間に３０枚の監視画像が記憶されるならば、車両の正面方向として設定された基準方向である運転状態判定装置上の正面方向（０°）に対する運転者の顔または視線の方向が、１秒間に３０回検出されて、ＦＩＦＯ型式バッファメモリに記憶されていく。なお、このステップＳ１１とステップＳ１２の順番は反対であってもよいし、両ステップの処理を並列に行ってもよい。
【００７４】
（２−２）偏差算出期間切替
次に、運転状態判定装置４０は、ステップＳ１３において、運転者監視部４２１３に、偏差算出期間ｐの切り替えを行う設定がなされているか否かを判定させる。運転状態判定装置４０は、工場出荷時あるいは車両への取り付け時に、偏差算出期間ｐの切り替えを行うか否か、並びに、車両の速度と注意方向の何れまたは両方に応じるかを設定する。また、操作スイッチなどにより、利用者である運転者が、それらを設定できるようにしてもよい。
【００７５】
偏差算出期間ｐの切り替えを行う設定が有る場合には、運転状態判定装置４０は、ステップＳ１４において、運転者監視部４２１３に、監視結果記憶部４３３の偏差算出期間切替テーブルにより、車両の速度および／または注意方向に応じて、偏差算出期間ｐの長さを切り替えさせる。
【００７６】
（２−３）偏差算出
次に、運転状態判定装置４０は、ステップＳ１５において、運転者監視部４２１３に、偏差算出時間ｓによって決まる偏差σを算出するタイミングになったか否かを判定させる。ここで、未だそのタイミングでないならば、運転状態判定装置４０は、運転者監視部４２１３に、上記ステップＳ１１からの処理を繰り返させる。こうして、偏差σを算出するタイミングとなるまで、車両の速度と注意方向とを検出させる。
【００７７】
そして、偏差算出時間ｓによって決まる偏差σを算出するタイミングになると、運転状態判定装置４０は、ステップＳ１６において、運転者監視部４２１３に、監視結果記憶部４３３のＦＩＦＯ型式バッファメモリに記憶した複数の注意方向情報の内、最新から偏差算出期間ｐに相当するまでの注意方向情報を読み出させ、標準偏差等、それらの偏差σを算出させる。例えば、上述したように注意方向情報が１秒間に３０個得られ、偏差算出期間ｐが２秒だったとすると、ＦＩＦＯ型式バッファメモリから最新の６０個の注意方向情報を読み出して、それらの６０個の注意方向情報の偏差σを算出させる。運転者が或る方向を凝視している場合には、これら６０個の注意方向情報はほぼ同一の方向となるので、偏差σは小さい。逆に、運転者が凝視していない場合には、これら６０個の注意方向情報はばらつくため、偏差σは大きくなる。そして、運転者監視部４２１３に、この算出した偏差σを、監視結果記憶部４３３に設けたバッファメモリに上書き記憶させる。
【００７８】
（２−４）運転者状態判定
こうして偏差σが算出されたならば、運転状態判定装置４０は、運転者監視部４２１３に、運転者の状態を判定させる。
【００７９】
従来、運転者の注意方向、例えば、運転者の顔または視線の方向からだけでは、角度が同じ場合、次のような状況を区別することができない。
【００８０】
［１−Ａ］運転者が、一瞬、確認のために振り向いた。  
［１−Ｂ］運転者は、外が気になって、しばらく見ていた。  
［１−Ｃ］運転者は、キョロキョロしているが、前方を見ていない。  
このうち、［１−Ｂ］および［１−Ｃ］は、脇見である。
【００８１】
また、特定の範囲について考えると、例えばナビゲーション装置の画面（ナビ画面）の場合、次のような状況を区別することができない。
【００８２】
［２−Ａ］運転者が、ナビ画面を通過して、助手席側のサイドミラーを見た。  
［２−Ｂ］運転者は、一瞬ナビ画面を見て、周辺の道路状況を確認した  。
【００８３】
［２−Ｃ］運転者は、ナビゲーション装置を操作しながら、ながら運転をした。  このうち、［２−Ｃ］は、脇見である。
【００８４】
上記のような脇見状態を脇見状態判定部４２１４が確実に判定できるように、運転状態判定装置４０は、運転者監視部４２１３に、以下のような処理を行わせる。
【００８５】
まず、運転状態判定装置４０は、ステップＳ１７において、運転者監視部４２１３に、監視結果記憶部４３３のＦＩＦＯ型式バッファメモリから、偏差σと偏差算出期間ｐにおける最新に相当する注意方向情報とを読み出させ、この注意方向情報で示される注意方向と偏差σとに基づく偏差面ｄの大きさ（面積）が、予め決められた閾値よりも小さいか否かを判定させる。そして、偏差面ｄの大きさが閾値よりも小さいならば、ステップＳ１８において、運転者監視部４２１３に、注意方向が予め決められた車両の正面領域Ｆ内であるか否かを判定させる。例えば、正面領域Ｆは、図６に示すように、たとえ従来の注意方向のみからの判定であっても脇見状態判定部４２１４により脇見であると判定されない、基準方向である運転状態判定装置上の正面方向（０°）に対して設定された運転席前方の領域に対応する。
【００８６】
ここで、注意方向が正面領域Ｆ内であれば、運転者は車両の正面方向を注視していることになるので、運転状態判定装置４０は、運転者監視部４２１３に、上記ステップＳ１１の処理から繰り返させる。なおこのとき、運転状態判定装置４０は、運転者監視部４２１３に、正面方向を見ているという判定結果を示す監視結果情報を、監視結果記憶部４３３のバッファメモリに上書き記憶させるようにしてもよい。
【００８７】
これに対して、注意方向が正面領域Ｆ内でない場合には、運転状態判定装置４０は、ステップＳ１９において、運転者監視部４２１３に、車両情報記憶部４３２に記憶された車両情報よりバックギアの選択状態を検出させ、注意方向がナビ画面であり且つバックギアが選択されているか否かを判定させる。注意方向がナビ画面であり且つバックギアが選択されている場合には、運転状態判定装置４０は、運転者監視部４２１３に、上記ステップＳ１１の処理から繰り返させる。なおこのとき、運転状態判定装置４０は、運転者監視部４２１３に、正面方向を見ている場合と同じ判定結果を示す監視結果情報を、監視結果記憶部４３３のバッファメモリに上書き記憶させるようにしてもよい。
【００８８】
これに対して、注意方向がナビ画面であり且つバックギアが選択されているという状況にない場合には、運転状態判定装置４０は、ステップＳ２０において、運転者監視部４２１３に、運転者は正面方向を見ていないと決定させ、この正面方向を見ていないという判定結果を示す監視結果情報を、監視結果記憶部４３３のバッファメモリに上書き記憶させる。そしてその後、運転状態判定装置４０は、運転者監視部４２１３に、上記ステップＳ１１の処理から繰り返させる。
【００８９】
一方、上記ステップＳ１７において偏差面ｄが閾値以上の大きさであると判定された場合には、運転状態判定装置４０は、ステップＳ２１において、運転者監視部４２１３に、偏差面ｄが正面領域Ｆを含んでいるか否か、つまり偏差面ｄが正面領域Ｆにかかっているか否かを判定させる。ここで、偏差面ｄが大きいにもかかわらず正面領域Ｆを含んでいない場合には、運転状態判定装置４０は、運転者監視部４２１３に、上記ステップＳ２０の処理を行わせることとなる。すなわち、正面方向を見ていないという判定結果を得て、そのことを示す監視結果情報を監視結果記憶部４３３のバッファメモリに上書き記憶させる。
【００９０】
これに対して、上記ステップＳ２１において、偏差面ｄが正面領域Ｆを含んでいると判定された場合には、運転状態判定装置４０は、運転者監視部４２１３に、上記ステップＳ１１の処理から繰り返させる。なおこのとき、運転状態判定装置４０は、運転者監視部４２１３に、正面方向を見ている場合と同じ判定結果を示す監視結果情報を、監視結果記憶部４３３のバッファメモリに上書き記憶させるようにしてもよい。
【００９１】
図６乃至図１１は、それぞれ、運転者監視部４２１３によって判定される判定状況の例を模式的に示している。
【００９２】
例えば、脇見に相当する上記［１−Ｂ］の「運転者は、外が気になって、しばらく見ていた」という状況および上記［２−Ｃ］の「運転者は、ナビゲーション装置を操作しながら、ながら運転をした」という状況にあっては、上記ステップＳ１７において偏差面ｄが閾値よりも小さいと判定され、上記ステップＳ１８において注意方向は正面領域Ｆ内でないと判定される。上記［１−Ｂ］の状況は、図６に示すような状況であり、上記［２−Ｃ］の状況は、図７に示すような状況である。そして、上記ステップＳ１９において、上記［１−Ｂ］の状況では、注意方向がナビ画面７０ではないと判定されることで上記ステップＳ２０に処理が進む。また、上記［２−Ｃ］の状況では、注意方向がナビ画面７０であると判定されるが、このときバックギアが選択されていなければ、同様に、上記ステップＳ２０に処理が進む。これにより、正面方向を見ていないと決定されることになる。
【００９３】
なお、注意方向がナビ画面７０であるとき、バックギアが選択されていると、ナビ画面７０には図示しないバックカメラの映像を流している可能性が高い。そのため、上記ステップＳ１９において、注意方向がナビ画面であり且つバックギアが選択されていると判定した場合には、上記ステップＳ２０の処理に進まないようにしている。
【００９４】
このように、偏差σまたは偏差面ｄが小さいということは、その方向を運転者が意思を持ってしっかりと見ている可能性が高いということである。そして、その方向が正面領域Ｆ内でなければ、脇見状態判定部４２１４により脇見と判定されるように、正面方向を見ていないという判定結果を示す監視結果情報を監視結果記憶部４３３のバッファメモリに記憶させる。但し、例外規定を設けて、脇見ではない場合を除外できるようにしている。
【００９５】
また、脇見に相当する上記［１−Ｃ］の「運転者は、キョロキョロしているが、前方を見ていない」という状況においては、上記ステップＳ１７において偏差面ｄが閾値以上の大きさであると判定され、上記ステップＳ２１において偏差面ｄが正面領域Ｆを含んでいないと判定される。これは、図８に示すような状況である。このような状況では、上記ステップＳ２１から上記ステップＳ２０へ処理が進められて、正面方向を見ていないと決定されることになる。
【００９６】
これに対して、脇見に相当しない上記［１−Ａ］の「運転者が、一瞬、確認のために振り向いた」という状況においては、上記ステップＳ１７において偏差面ｄが閾値以上の大きさであると判定されるが、上記ステップＳ２１において偏差面ｄが正面領域Ｆを含んでいると判定される。これは、図９に示すような状況であり、運転者が一瞬振り向いたことで注意方向として突出方向ｉが含まれることとなり、偏差σつまり偏差面ｄが大きくなっている。このような場合には、突出方向ｉが脇見レベルの角度となっても、これは一瞬で有るため、偏差面ｄは正面領域Ｆにかかる。このような状況では、上記ステップＳ２１の判定により、上記ステップＳ２０の処理に進まないようになる。
【００９７】
同様に、脇見に相当しない上記［２−Ａ］の「運転者が、ナビ画面を通過して、助手席側のサイドミラーを見た」という状況および上記［２−Ｂ］の「運転者は、一瞬ナビ画面を見て、周辺の道路状況を確認した」という状況においても、上記ステップＳ１７において偏差面ｄが閾値以上の大きさであると判定されるが、上記ステップＳ２１において偏差面ｄが正面領域Ｆを含んでいると判定される。上記［２−Ａ］の状況は、図１０に示すような状況であり、ナビ画面７０と助手席側のサイドミラー７１の位置に、突出方向ｉが含まれる。上記［２−Ｂ］の状況は、図１１に示すような状況であり、ナビ画面７０の位置に、突出方向ｉが含まれる。何れの状況においても、突出方向ｉが含まれることで、偏差σつまり偏差面ｄが大きくなっている。このような状況においても、上記ステップＳ２１の判定により、上記ステップＳ２０の処理に進まないようになる。
【００９８】
（２−５）運転状態判定
また、運転状態判定装置４０は、脇見状態判定部４２１４に、定期的に、監視結果記憶部４３３に記憶された監視結果情報を読み出させ、この監視結果情報に基づいて、運転者の状態である脇見の有無を判定させる。そして、脇見状態判定部４２１４に、信号出力部４２１５により、運転状態の判定結果を示す運転状態判定結果情報を判定結果出力装置６０へ出力させる。これにより、運転状態判定結果情報が、判定結果出力装置６０にて、警告音や警告灯の点灯として、運転者に呈示される。
【００９９】
（一実施形態の効果）
以上詳述したように一実施形態では、運転状態判定装置４０においては、運転者監視部４２１３により、監視データ記憶部４３１に記憶されたドライバカメラ５１からの監視データに基づいて、運転者が注意を向けている注意方向を検出し、この注意方向の偏差算出期間ｐにおける標準偏差等の偏差σを、偏差算出時間ｓ毎に繰り返し算出する。この偏差σは、運転者が注意を向けている時間が長くなればなる程、値が小さくなっていく。よって、注意方向と共にこの偏差σを用いることで、運転者が、いずれの方向に、どれくらいの注意を向けているかを監視できるようになる。
【０１００】
また、運転者監視装置１０においては、運転者監視部４２１３により、運転者の顔または視線の方向の偏差σに基づいて、運転者が凝視している程度を判断することができる。この偏差σは、運転者が一つの対象物を見続けていると、つまり凝視していると、値が小さくなる。運転者が様々な対象物を次々と見ている状況では、偏差σは小さくならないし、逆に大きくなったりする。よって、偏差が小さいということは、それだけ凝視していることを意味している。車両の走行中に、運転者が或る方向を凝視しているということは、運転者が例えば安全確認を目的として或る方向を見続けているといった、運転者が意思を持ってその方向を見ている可能性が高い。したがって、注意度つまり運転者が凝視している程度は、運転者が意思を持って見ている可能性の程度を表しているとも言える。
【０１０１】
また、運転者監視装置１０においては、運転者監視部４２１３により、運転者の顔または視線の方向の偏差σに基づいて、運転者が見ている可能性のある範囲を判断する。これにより、運転者が見ている可能性がある範囲だけでなく、運転者がどこを見ていないかも判断することができる。すなわち、運転者がある対象物を見ていないことを確実に判断できる。
【０１０２】
また、運転者監視装置１０においては、運転者監視部４２１３によって、注意方向を中心とし、偏差σを半径とする偏差面ｄの、大きさおよび位置により、運転者が注意を向けている方向と注意度を判断する。この偏差面ｄは、運転者が一つの対象物を見続けていると、図６および図７に示すように、小さくなる。運転者が様々な対象物を次々と見ている状況では、図８に示すように、偏差面ｄは小さくならないし、逆に大きくなったりする。すなわち、偏差面ｄが小さいことは、その注意方向への運転者の注意度が高いこと、つまり、その方向を運転者が注視していることを意味する。また、偏差面ｄが大きいことは、その注意方向への運転者の注意度低いこと、つまり、その方向を運転者が漠然と見ていることを意味する。
【０１０３】
この場合、運転者監視部４２１３は、運転者が注意を向けている方向と注意度により、例えば偏差面ｄにより、運転者が所定の正面領域Ｆを見ている状態であるか否かを判定することができる。これにより、偏差面ｄが大きい場合に、図９乃至図１１に示すように、運転者が意思を持って一瞬脇見と同じ状況を招いたのかどうかを判定することが可能になる。したがって、この判定結果である監視結果情報を用いる脇見状態判定部４２１４では、正確な脇見判定を実施することが可能になる。
【０１０４】
また、運転者監視装置１０においては、運転者監視部４２１３では、車両情報記憶部４３２に記憶された車速センサ５２からの車両情報に応じて、偏差σを算出する所定期間の長さを切り替えることができる。したがって、車両の速度に適した時間で偏差σを算出することが可能となる。偏差算出期間ｐが長ければ長い程、運転者の注意方向、例えば運転者の顔または視線の方向が分散されるため、偏差σが大きくなる。一方、車両の移動速度が高速であればある程、脇見を許容される時間は短くなる。よって、車両の速度が高速なときには、偏差算出期間ｐを短くすることで、偏差σに基づく判断や判定を素早く行えるようになる。
【０１０５】
また、運転者監視装置１０においては、運転者監視部４２１３では、上記検出した注意方向に応じて、偏差σを算出する所定期間の長さを切り替えることができる。したがって、運転者が注意している方向に適した時間で偏差σを算出することが可能となる。例えば、注意方向が正面方向に対してどの程度の角度であるかによって、正面方向から目をそらしてもよい時間は変化する。そこで、運転者の注意方向が正面方向に対して或る角度以上であれば、偏差算出期間ｐを短くすることで、偏差σに基づく判断や判定を素早く行えるようになる。
【０１０６】
［変形例］
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【０１０７】
（１）例えば、前記一実施形態では、偏差算出期間ｐの切り替えを可能としたが、偏差算出期間は予め決められた固定値としても構わない。この場合には、上記ステップＳ１３およびステップＳ１４の処理は省略される。
【０１０８】
（２）また、前記一実施形態では、ナビ画面７０を凝視してもバック時には脇見判定とならないように、ステップＳ１９の判定処理を含んでいる。これと同様に、例えば、車両状態センサ２２の一つであるウィンカセンサによってウィンカ操作を検出し、それに応じた判定処理を行うことで、車線変更時や右左折の際の安全確認のために運転者が意思を持ってサイドミラーを凝視したり後ろを振り返ったりしているときには、脇見判定とならないようにすることができる。このように、他の車両状態センサ２２を利用して、様々な例外規定を設けてもよい。
【０１０９】
（３）車両の速度および運転者の注意方向の検出は、１秒間に複数回から数十回、繰り返し行われるものである。そのためハードウェアプロセッサ４２１の処理能力の都合により、運転者監視部４２１３が、それら１回分の検出時間内に、上記ステップＳ１６乃至ステップＳ２１の処理を行えない場合がある。そのような場合には、上記ステップＳ１１乃至ステップＳ２１の処理を一連の処理として行うのではなく、上記ステップＳ１１乃至ステップＳ１４の処理と、上記ステップＳ１５乃至ステップＳ２１の処理とを分割し、それを並列に行うようにしてもよい。
【０１１０】
（４）前記一実施形態では、監視結果記憶部４３３に記憶された監視結果情報を、脇見状態判定部４２１４に利用する例を説明したが、例えば、運転者の運転上の癖や傾向を学習する学習部など、その他の技術にこの監視結果情報を利用してもよい。
【０１１１】
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【０１１２】
［付記］
前記実施形態の一部または全部は、以下の付記に示すように記載することが可能であるが、これに限られない。  
（付記１）
車両の運転者の監視画像を含む第１のセンシングデータを出力する第１のセンサ（２１；５１）と、
前記第１のセンサから出力された前記第１のセンシングデータを記憶する記憶部（１３；４３１）と、
前記記憶部に記憶された前記第１のセンシングデータに基づいて、前記運転者の顔または視線の方向である注意方向を検出する検出部（１４；４２１３）と、
前記検出部が検出した前記注意方向の所定期間における偏差を所定時間毎に繰り返し算出する算出部（１５；４２１３）と、
前記算出部が算出した前記偏差に基づいて、前記運転者が注意を向けている方向と注意度を判断する判断部（１５；４２１３）と、
を具備する運転者監視装置（１０；４０）。
【０１１３】
（付記２）
車両の運転者を監視する運転者監視装置（１０；４０）が実行する運転者監視方法であって、
前記運転者監視装置が、第１のセンサ（２１；５１）から出力された、車両の運転者の監視画像を含む第１のセンシングデータを、記憶部（１３；４３１）に記憶させる過程と、
前記運転者監視装置が、前記記憶部に記憶された前記第１のセンシングデータに基づいて、前記運転者の顔または視線の方向である注意方向を検出する過程と、
前記運転者監視装置が、前記検出した前記注意方向の所定期間における偏差を所定時間毎に繰り返し算出する過程と、
前記運転者監視装置が、前記算出した前記偏差に基づいて、前記運転者が注意を向けている方向と注意度を判断する過程と、
を具備する運転者監視方法。
【０１１４】
（付記３）
ハードウェアプロセッサ（４２１）とメモリ（４３１）とを有する運転者監視装置（４０）であって、
前記ハードウェアプロセッサが、
第１のセンサ（５１）から出力された、車両の運転者の監視画像を含む第１のセンシングデータを、前記メモリに記憶させ、
前記メモリに記憶された前記第１のセンシングデータに基づいて、前記運転者の顔または視線の方向である注意方向を検出し、
前記検出した前記注意方向の所定期間における偏差を所定時間毎に繰り返し算出し、    前記算出した前記偏差に基づいて、前記運転者が注意を向けている方向と注意度を判断する、
運転者監視装置。
【０１１５】
（付記４）
ハードウェアプロセッサ（４２１）とメモリ（４３１）とを有する装置が実行する運転者監視方法であって、
前記ハードウェアプロセッサによって、第１のセンサ（５１）から出力された、車両の運転者の監視画像を含む第１のセンシングデータを、前記メモリに記憶させる過程と、  前記ハードウェアプロセッサによって、前記メモリに記憶された前記第１のセンシングデータに基づいて、前記運転者の顔または視線の方向である注意方向を検出する過程と、  前記ハードウェアプロセッサによって、前記検出した前記注意方向の所定期間における偏差を所定時間毎に繰り返し算出する過程と、
前記ハードウェアプロセッサによって、前記算出した前記偏差に基づいて、前記運転者が注意を向けている方向と注意度を判断する過程と、
を具備する運転者監視方法。
【符号の説明】
【０１１６】
１０…運転者監視装置
１１…監視データ取得部
１２…車両情報取得部
１３…取得情報記憶部
１４…検出部
１５…監視部
２１…運転者監視センサ
２２…車両状態センサ
３０…脇見判定装置
４０…運転状態判定装置
４１…入出力インタフェースユニット
４２…制御ユニット
４３…記憶ユニット
５１…ドライバカメラ
５２…車速センサ
５３…バックギアセンサ
６０…判定結果出力装置
７０…ナビ画面
７１…サイドミラー
４２１…ハードウェアプロセッサ
４２２…プログラムメモリ
４３１…監視データ記憶部
４３２…車両情報記憶部
４３３…監視結果記憶部
４２１１…監視データ取得部
４２１２…車両情報取得部
４２１３…運転者監視部
４２１４…脇見状態判定部
４２１５…信号出力部。
【図１】
2019091441.tif 000003
【図２Ａ】
2019091441.tif 000004
【図２Ｂ】
2019091441.tif 000005
【図３】
2019091441.tif 000006
【図４】
2019091441.tif 000007
【図５】
2019091441.tif 000008
【図６】
2019091441.tif 000009
【図７】
2019091441.tif 000010
【図８】
2019091441.tif 000011
【図９】
2019091441.tif 000012
【図１０】
2019091441.tif 000013
【図１１】
2019091441.tif 000014