(57)【要約】【課題】車両を運転している運転者を簡易に判定できるようにする。【解決手段】個人判定部１７は、統計記憶部１６に記憶されている、運転者監視センサ２１から出力された車両の運転者の画像を含む第１のセンシングデータから第１統計演算部１５において演算した、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第１の統計情報と、第１統計演算部１５において同様に演算された、車両の現在の運転者の保持方向についての統計情報である第２の統計情報とを比較し、第２の統計情報に近似する第１の統計情報が有ったとき、車両の前記現在の運転者を、その第１の統計情報に対応する運転者であると判定する。【選択図】図１
2019091259.tif 000002
【特許請求の範囲】
【請求項１】
第１のセンサから出力された車両の運転者の画像を含む第１のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第１の統計情報を演算する第１の演算部と、
演算された前記第１の統計情報を、運転者を表す識別子とともに記憶する記憶部と、
前記第１のセンサから出力される現在の車両の運転者の画像を含む第１のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第２の統計情報を前記第１の演算部で演算し、演算された前記第２の統計情報を、前記記憶部に記憶された前記第１の統計情報と比較し、前記第２の統計情報に近似する前記第１の統計情報が前記記憶部から発見されたとき、車両の前記現在の運転者を、前記近似する前記第１の統計情報に対応する運転者であると判定する第１の判定部と、
を具備する運転者判定装置。
【請求項２】
第２のセンサから出力された車両の状態を表す第２のセンシングデータまたは前記第１のセンシングデータに基づいて、車両の前記現在の運転者の交代の可能性の有無を判定する第２の判定部をさらに具備し、
前記第１の演算部は、前記第２の判定部により運転者交代の可能性有りと判定したときに、前記第２の統計情報の演算を開始する、請求項１に記載の運転者判定装置。
【請求項３】
前記第１の判定部は、前記第１の演算部が前記第２の統計情報の演算を所定回数行っても、前記第２の統計情報に近似する前記第１の統計情報が発見されないとき、前記第２の統計情報を、新たな運転者に対応する第１の統計情報として前記記憶部に記憶させる、
請求項１または２に記載の運転者判定装置。
【請求項４】
前記第１の演算部は、前記第１のセンシングデータに基づいて、前記運転者の前記保持方向を判定し、
前記第１の統計情報および前記第２の統計情報は、所定時間内における前記判定した前記保持方向の平均値および偏差量である、
請求項１乃至３のいずれかに記載の運転者判定装置。
【請求項５】
請求項１、３または４に記載の運転者判定装置と、
前記記憶部に記憶された前記第１の統計情報と前記第１のセンシングデータとに基づいて、新たな第１の統計情報を演算する第２の演算部と、
前記第１のセンシングデータと前記第２の演算部によって演算された前記新たな第１の統計情報とに基づいて、前記運転者の状態を判定する第３の判定部と、
前記第３の判定部の判定結果を、前記運転者に対して出力する出力部と、
を具備し、
前記第２の演算部は、前記第１の判定部によって判定した運転者が、
当該第２の演算部による前記第１の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第１の統計情報の演算を継続し、
当該第２の演算部による前記第１の統計情報の演算についての運転者と異なっていれば、前記新たな第１の統計情報の演算を、前記判定した運転者についての前記記憶部に記憶された前記第１の統計情報を対象とした演算へと切り替える、
運転者状態判定装置。
【請求項６】
前記運転者判定装置は、第２のセンサから出力された車両の状態を表す第２のセンシングデータまたは前記第１のセンシングデータに基づいて、車両の前記現在の運転者の交代の可能性の有無を判定する第２の判定部をさらに具備し、
前記第１の演算部は、前記第２の判定部により運転者交代の可能性有りと判定したときに、前記第２の統計情報の演算を開始し、
前記第２の演算部は、前記第２の判定部により運転者交代の可能性有りと判定したときに、前記新たな第１の統計情報を前記記憶部に記憶させる、
請求項５に記載の運転者状態判定装置。
【請求項７】
前記第１の演算部が前記第２の統計情報の演算を所定回数行っても、前記第１の判定部が前記第２の統計情報に近似する前記第１の統計情報を発見しないとき、
前記第１の演算部は、前記第２の統計情報を、新たな運転者に対応する第１の統計情報として前記記憶部に記憶させた上で、前記第２の統計情報の演算を終了し、
前記第２の演算部は、前記新たな第１の統計情報の演算を、前記第１の演算部が前記記憶部に記憶させた前記新たな運転者の前記第１の統計情報を対象とした演算へと切り替える、
請求項５または６に記載の運転者状態判定装置。
【請求項８】
前記第１の演算部は、
前記第２の演算部による前記新たな第１の統計情報の演算と並行して、前記第２の統計情報を演算し、
前記第１の判定部が、車両の前記現在の運転者を、前記近似する前記第１の統計情報に対応する運転者であると判定したとき、前記第２の統計情報の演算を終了する、
請求項５乃至７のいずれかに記載の運転者状態判定装置。
【請求項９】
運転者を判定する運転者判定装置が実行する運転者判定方法であって、
前記運転者判定装置が、第１のセンサから出力された車両の運転者の画像を含む第１のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第１の統計情報を演算する過程と、
前記運転者判定装置が、演算された前記第１の統計情報を、運転者を表す識別子とともに記憶する過程と、
前記運転者判定装置が、前記第１のセンサから出力される現在の車両の運転者の画像を含む第１のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第２の統計情報を演算する過程と、
前記運転者判定装置が、演算された前記第２の統計情報を、前記記憶された前記第１の統計情報と比較し、前記第２の統計情報に近似する前記第１の統計情報が記憶されていたとき、車両の前記現在の運転者を、前記近似する前記第１の統計情報に対応する運転者であると判定する過程と、
を具備する運転者判定方法。
【請求項１０】
請求項９に記載の運転者判定方法を適用した運転者状態判定装置が実行する運転者状態判定方法であって、
前記運転者状態判定装置が、前記記憶された前記第１の統計情報と前記第１のセンシングデータとに基づいて、新たな第１の統計情報を演算する過程と、
前記運転者状態判定装置が、前記演算された前記新たな第１の統計情報に基づいて、前記運転者の状態を判定する過程と、
前記運転者状態判定装置が、前記運転者の状態の判定結果を、運転者に対して出力する過程と、
を具備し、
前記新たな第１の統計情報を演算する過程は、前記車両の前記現在の運転者を前記近似する前記第１の統計情報に対応する運転者であると判定する過程において判定した運転者が、
前記新たな第１の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第１の統計情報の演算を継続し、
前記新たな第１の統計情報の演算についての運転者と異なっていれば、前記新たな第１の統計情報の演算を、前記判定した運転者についての前記記憶された前記第１の統計情報を対象とした演算へと切り替える、
運転者状態判定方法。
【請求項１１】
請求項１乃至４のいずれかに記載の運転者判定装置が具備する各部としてコンピュータを機能させる運転者判定プログラム。
【請求項１２】
請求項５乃至８のいずれかに記載の運転者状態判定装置が具備する各部としてコンピュータを機能させる運転者状態判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の実施形態は、例えば車両の運転者を判定する運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラムに関する。
【背景技術】
【０００２】
近年、乗用車等の車両走行時に、運転者を支援するための各種装置が車両に搭載されるようになってきている。その一つに、運転者の顔の方向又は視線方向を検出して、運転者が脇見をしているかどうかを判定し、脇見状態であれば警告を発する脇見運転判定装置が知られている。運転者の顔の方向又は視線方向が正面方向から所定角度以上ずれているときに、脇見をしていると判定するのが一般的である。ところが、この運転者の正面方向は車両の正面方向と必ずしも一致するものではなく、個人差が存在する。すなわち、運転者が正面として顔または視線を保持する方向は、個人により数度から十数度の違いがあることが知られている。
【０００３】
そこで、例えば、特許文献１には、脇見と判定された頻度と脇見ではないと判定された頻度との比に応じて、脇見判定の基準値を変更する脇見運転判定装置が提案されている。この装置では、その運転者に合った基準値を設定することで、運転者個々の個人差を補正して運転者の個人差により変化することのない精度の高い脇見判定を行うことができるようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−２０７６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された技術では、個人に応じて脇見判定の基準値を変更することで、個人差を補正していると言っているが、これは、個人を特定して、その個人に合わせて補正するものではない。従って、その車両の運転者が交代すると、前の運転者に対する脇見判定の基準値が引き継がれることで、精度の高い脇見判定を行うことができない。また、同一の運転者であっても、その日の体調や運転時間の長短により、必ずしも脇見判定の基準値が合致するとは限らない。
【０００６】
従って、運転者に合った基準値に変更することが必要であり、運転者が誰であるのか、または、運転者の状態がどうであるのかを、簡易に判定できることが望まれる。同一運転者であっても状態が異なれば、別の運転者に交代したと見做すことができる。
【０００７】
この発明は上記事情に着目し、その目的の一つは、車両を運転している運転者を簡易に判定できるようにした、運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するためにこの発明の第１の態様は、運転者判定装置が、第１のセンサから出力された車両の運転者の画像を含む第１のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第１の統計情報を演算する第１の演算部と、演算された前記第１の統計情報を、運転者を表す識別子とともに記憶する記憶部と、前記第１のセンサから出力される現在の車両の運転者の画像を含む第１のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第２の統計情報を前記第１の演算部で演算し、演算された前記第２の統計情報を、前記記憶部に記憶された前記第１の統計情報と比較し、前記第２の統計情報に近似する前記第１の統計情報が前記記憶部から発見されたとき、車両の前記現在の運転者を、前記近似する前記第１の統計情報に対応する運転者であると判定する第１の判定部と、を具備するようにしたものである。
【０００９】
この発明の第１の態様によれば、運転者判定装置では、各運転者の第１の統計情報を第１の演算部によって演算して記憶部に記憶しておき、第１の演算部によって現在の運転者について同様に第２の統計情報を演算し、第１の判定部により、その演算された第２の統計情報を記憶された第１の統計情報と比較して、第２の統計情報に近似する第１の統計情報が記憶部から発見されたとき、車両の現在の運転者を、その近似する第１の統計情報に対応する運転者であると判定する。したがって、車両を運転している現在の運転者が、既に第１の統計情報を演算した運転者であれば、その運転者を簡易に判定することができる。
【００１０】
この発明の第２の態様は、上記第１の態様において、第２のセンサから出力された車両の状態を表す第２のセンシングデータまたは前記第１のセンシングデータに基づいて、車両の前記現在の運転者の交代の可能性の有無を判定する第２の判定部をさらに具備し、前記第１の演算部は、前記第２の判定部により運転者交代の可能性有りと判定したときに、前記第２の統計情報の演算を開始するようにしたものである。
【００１１】
この発明の第２の態様によれば、第２の判定部によって、第１または第２のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この第２の判定部により運転者交代の可能性有りと判定したときに、第１の演算部が第２の統計情報の演算を開始する。例えば、第２の判定部は、車両が完全に停止したことを、第２のセンサである車速センサのセンシングデータにより判定し、パーキング状態となったことを、ギアセレクタセンサおよび／またはパーキングブレーキセンサのセンシングデータにより判定することで、運転者が交代した可能性が有ると判定する。また、例えば、第２の判定部は、第１のセンサであるドライバカメラからの第１のセンシングデータに基づいて、運転者が監視画像中から一旦消えた後、再度監視画像中に出現したこと、あるいは、第１のセンシングデータに基づく運転者の顔または視線の検出が一旦不能となった後、再度検出可能となったことを検出した場合に、運転者が交代した可能性があると判定する。したがって、第１または第２のセンシングデータに基づいて、容易に運転者交代の可能性を判定できる。そして、運転者交代の可能性が有る場合には、第２の統計情報を演算し、その演算結果に基づいて第１の判定部による運転者の判定を行うことになる。したがって、運転者の交代が有った場合には、運転開始直後に素早く運転者を判定することが可能になる。
【００１２】
この発明の第３の態様は、上記第１または第２の態様において、前記第１の判定部は、前記第１の演算部が前記第２の統計情報の演算を所定回数行っても、前記第２の統計情報に近似する前記第１の統計情報が発見されないとき、前記第２の統計情報を、新たな運転者に対応する第１の統計情報として前記記憶部に記憶させるようにしたものである。
【００１３】
この発明の第３の態様によれば、第２の統計情報の演算を所定回数行っても第２の統計情報に近似する第１の統計情報が発見されない場合には、第１の判定部により、演算した第２の統計情報を、新たな運転者についての第１の統計情報として記憶部に記憶させる。したがって、新たな運転者についての第１の統計情報を追加することができる。
【００１４】
この発明の第４の態様は、上記第１乃至第３の態様のいずれかにおいて、前記第１の演算部は、前記第１のセンシングデータに基づいて、前記運転者の前記保持方向を判定し、前記第１の統計情報および前記第２の統計情報は、所定時間内における前記判定した前記保持方向の平均値および偏差量であるようにしたものである。
【００１５】
この発明の第４の態様によれば、第１の演算部において、第１のセンシングデータに基づいて車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向を判定し、第１および第２の統計情報として、この保持方向の統計情報、例えば保持方向の平均値および偏差量を演算する。したがって、顔認識等の複雑な個人認証処理は必要なく、また、運転者が運転者交代を自己申請するような特別な操作を行わなくても、統計情報に基づいて車両を運転している運転者を簡易に判定できるようになる。また、個人認証処理を行わないので、プログラムのセキュリティレベルを高くする必要がない。
【００１６】
この発明の第５の態様は、運転者状態判定装置が、上記第１、第３または第４の態様の運転者判定装置と、前記記憶部に記憶された前記第１の統計情報と前記第１のセンシングデータとに基づいて、新たな第１の統計情報を演算する第２の演算部と、前記第１のセンシングデータと前記第２の演算部によって演算された前記新たな第１の統計情報とに基づいて、前記運転者の状態を判定する第３の判定部と、前記第３の判定部の判定結果を、前記運転者に対して出力する出力部と、を具備し、前記第２の演算部は、前記第１の判定部によって判定した運転者が、当該第２の演算部による前記第１の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第１の統計情報の演算を継続し、当該第２の演算部による前記第１の統計情報の演算についての運転者と異なっていれば、前記新たな第１の統計情報の演算を、前記判定した運転者についての前記記憶部に記憶された前記第１の統計情報を対象とした演算へと切り替えるようにしたものである。
【００１７】
この発明の第５の態様によれば、第２の演算部により、記憶部に記憶された第１の統計情報と第１のセンシングデータとに基づいて、新たな第１の統計情報を演算し、第３の判定部によって、第１のセンシングデータとこの新たな第１の統計情報とに基づいて、運転者の状態を判定して、その判定結果を、出力部により運転者に対して出力する運転者状態判定装置であって、運転者状態判定装置の第１の判定部が判定した運転者が、第２の演算部による第１の統計情報の演算についての運転者と同じであれば、そのまま新たな第１の統計情報の演算を継続する。よって、第２の演算部によって演算している新たな第１の統計情報についての運転者が現在の運転者であれば、そのまま新た第１の統計情報の演算が継続して行われ、記憶部に記憶されていた第１の統計情報も加味した、正確な第１の統計情報を用いて、運転者の状態を判定することが可能になる。また、運転者状態判定装置の第１の判定部が判定した運転者が、第２の演算部による第１の統計情報の演算についての運転者と異なっていれば、新たな第１の統計情報の演算を、判定した運転者についての記憶部に記憶された第１の統計情報を対象とした演算へと切り替える。よって、第２の演算部によって演算している新たな第１の統計情報についての運転者が現在の運転者に対応しない場合には、それまで演算されていた新たな第１の統計情報は、記憶部に記憶された他の運転者に対応する第１の統計情報を加味していることで、現在の運転者に関して正確でないものとなっているので、それを運転者の状態判定に用いてしまうことを防止できる。そして、新たな第１の統計情報の演算を、判定した運転者についての記憶部に記憶された第１の統計情報を対象とした演算へと切り替えて、現在の運転者に対応した新たな第１の統計情報を演算して、正確な第１の統計情報を用いて、運転者の状態を判定することが可能になる。したがって、運転者個々の個人差に依らず精度の高い運転者状態判定を行うことが可能となる。
【００１８】
この発明の第６の態様は、上記第５の態様において、前記運転者判定装置は、第２のセンサから出力された車両の状態を表す第２のセンシングデータまたは前記第１のセンシングデータに基づいて、車両の前記現在の運転者の交代の可能性の有無を判定する第２の判定部をさらに具備し、前記第１の演算部は、前記第２の判定部により運転者交代の可能性有りと判定したときに、前記第２の統計情報の演算を開始し、前記第２の演算部は、前記第２の判定部により運転者交代の可能性有りと判定したときに、前記新たな第１の統計情報を前記記憶部に記憶させるようにしたものである。
【００１９】
この発明の第６の態様によれば、第２の判定部によって、第１または第２のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この第２の判定部により運転者交代の可能性有りと判定したときに、第１の演算部が第２の統計情報の演算を開始する。したがって、第１または第２のセンシングデータに基づいて、容易に運転者交代の可能性を判定できる。そして、運転者交代の可能性が有る場合には、第２の統計情報を演算し、その演算結果に基づいて第１の判定部による運転者の判定を行うことになる。したがって、運転者の交代が有った場合には、運転開始直後に素早く運転者を判定することが可能になる。また、第２の演算部は、第２の判定部により運転者交代の可能性有りと判定したときに、それまで演算していた新たな第１の統計情報を記憶部に記憶させる。これにより、繰り返し演算して正確なものとなっている新たな第１の統計情報を、第１の判定部による運転者の判定に利用できるようになる。
【００２０】
この発明の第７の態様によれば、上記第５または第６の態様において、前記第１の演算部が前記第２の統計情報の演算を所定回数行っても、前記第１の判定部が前記第２の統計情報に近似する前記第１の統計情報を発見しないとき、前記第１の演算部は、前記第２の統計情報を、新たな運転者に対応する第１の統計情報として前記記憶部に記憶させた上で、前記第２の統計情報の演算を終了し、前記第２の演算部は、前記新たな第１の統計情報の演算を、前記第１の演算部が前記記憶部に記憶させた前記新たな運転者の前記第１の統計情報を対象とした演算へと切り替えるようにしたものである。
【００２１】
この発明の第７の態様によれば、第２の統計情報の演算を所定回数行っても第２の統計情報に近似する第１の統計情報が発見されない場合には、第１の演算部によって演算した第２の統計情報を、新たな運転者についての第１の統計情報として記憶部に記憶させ、第２の演算部は、その新たな第１の統計情報の演算を、この記憶部に記憶させた新たな運転者の第１の統計情報を対象とした演算へと切り替える。したがって、新たな運転者についての第１の統計情報を追加して、運転者の状態判定を開始することができる。
【００２２】
この発明の第８の態様によれば、上記第５乃至第７の態様のいずれかにおいて、前記第１の演算部は、前記第２の演算部による前記新たな第１の統計情報の演算と並行して、前記第２の統計情報を演算し、前記第１の判定部が、車両の前記現在の運転者を、前記近似する前記第１の統計情報に対応する運転者であると判定したとき、前記第２の統計情報の演算を終了するようにしたものである。
【００２３】
この発明の第８の態様によれば、第１の演算部による第２の統計情報の演算を、第２の演算部による新たな第１の統計情報の演算と並行して行い、第１の判定部が車両の現在の運転者を判定したならば、終了する。したがって、必要なときにのみ、第１の演算部による第２の統計情報の演算を実施することができる。
【００２４】
また、上記課題を解決するためにこの発明の第９の態様は、運転者を判定する運転者判定装置が実行する運転者判定方法であって、前記運転者判定装置が、第１のセンサから出力された車両の運転者の画像を含む第１のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第１の統計情報を演算する過程と、前記運転者判定装置が、演算された前記第１の統計情報を、運転者を表す識別子とともに記憶する過程と、前記運転者判定装置が、前記第１のセンサから出力される現在の車両の運転者の画像を含む第１のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第２の統計情報を演算する過程と、前記運転者判定装置が、演算された前記第２の統計情報を、前記記憶された前記第１の統計情報と比較し、前記第２の統計情報に近似する前記第１の統計情報が記憶されていたとき、車両の前記現在の運転者を、前記近似する前記第１の統計情報に対応する運転者であると判定する過程と、を具備するようにしたものである。
【００２５】
この発明の第９の態様によれば、上記第１の態様同様、車両を運転している現在の運転者が、既に第１の統計情報を演算した運転者であれば、その運転者を簡易に判定することができる。
【００２６】
また、上記課題を解決するためにこの発明の第１０の態様は、上記第９の態様の運転者判定方法を適用した運転者状態判定装置が実行する運転者状態判定方法であって、前記運転者状態判定装置が、前記記憶された前記第１の統計情報と前記第１のセンシングデータとに基づいて、新たな第１の統計情報を演算する過程と、前記運転者状態判定装置が、前記演算された前記新たな第１の統計情報に基づいて、前記運転者の状態を判定する過程と、前記運転者状態判定装置が、前記運転者の状態の判定結果を、運転者に対して出力する過程と、を具備し、前記新たな第１の統計情報を演算する過程は、前記車両の前記現在の運転者を前記近似する前記第１の統計情報に対応する運転者であると判定する過程において判定した運転者が、前記新たな第１の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第１の統計情報の演算を継続し、前記新たな第１の統計情報の演算についての運転者と異なっていれば、前記新たな第１の統計情報の演算を、前記判定した運転者についての前記記憶された前記第１の統計情報を対象とした演算へと切り替えるようにしたものである。
【００２７】
この発明の第１０の態様によれば、上記第５の態様同様、正確な第１の統計情報を用いて、運転者の状態を判定することが可能になり、運転者個々の個人差に依らず精度の高い運転者状態判定を行うことが可能となる。また、現在の運転者に関して正確でない第１の統計情報を運転者の状態判定に用いてしまうことを防止できる。
【００２８】
また、上記課題を解決するためにこの発明の第１１の態様は、運転者判定プログラムが、上記第１乃至第４の態様のいずれかの運転者判定装置が具備する各部としてコンピュータを機能させるようにしたものである。
【００２９】
この発明の第１１の態様によれば、コンピュータを利用して、上記第１乃至第４の態様を実現することができる。
【００３０】
また、上記課題を解決するためにこの発明の第１２の態様は、運転者状態判定プログラムが、上記第５乃至第８の態様のいずれかの運転者状態判定装置が具備する各部としてコンピュータを機能させるようにしたものである。
【００３１】
この発明の第１２の態様によれば、コンピュータを利用して、上記第５乃至第８の態様を実現することができる。
【発明の効果】
【００３２】
すなわちこの発明の各態様によれば、車両を運転している運転者を簡易に判定できるようにした、運転者判定装置とそれを備える運転者状態判定装置並びにそれらの方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００３３】
【図１】図１は、この発明の一実施形態に係る運転者判定装置および運転者状態判定装置の一適用例を説明するブロック図である。
【図２】図２は、この発明の一実施形態に係る運転者判定装置および運転者状態判定装置を備えた運転者状態判定システムの構成を例示したブロック図である。
【図３Ａ】図３Ａは、図２中の学習データ記憶部に構成される不揮発性統計値テーブルの一例を示す図である。
【図３Ｂ】図３Ｂは、図２中の学習データ記憶部に構成される揮発性統計値テーブルの一例を示す図である。
【図３Ｃ】図３Ｃは、図２中の学習データ記憶部に構成される揮発性統計値テーブルの別の例を示す図である。
【図３Ｄ】図３Ｄは、学習された第２統計値が新たな第１統計値として追加された不揮発性統計値テーブルの一例を示す図である。
【図４】図４は、図２に示した運転者状態判定システムにおける処理手順と処理内容の一例を示すフローチャートである。
【図５】図５は、図２に示した運転者状態判定システムにおける処理手順に従った統計値学習内容の一例を示すタイムチャートである。
【発明を実施するための形態】
【００３４】
以下、図面を参照してこの発明に係わる実施形態を説明する。
【００３５】
［適用例］
先ず、この発明の一実施形態に係る運転者判定装置および運転者状態判定装置の一つの適用例について説明する。
【００３６】
図１は、この適用例における運転者判定装置および運転者状態判定装置の構成例を模式的に示したものである。
【００３７】
運転者判定装置１０は、記憶処理部としての監視データ取得部１１、車両情報取得部１２および取得情報記憶部１３と、第２の判定部としての運転者交代可能性判定部１４と、第１の演算部としての第１統計演算部１５と、記憶部としての統計記憶部１６と、第１の判定部としての個人判定部１７と、を備えている。この運転者判定装置１０には、第１のセンサとしての運転者監視センサ２１と、第２のセンサとしての車両状態センサ２２とが接続されている。運転者状態判定装置３０は、上記運転者判定装置１０と、第２の演算部としての第２統計演算部３１と、第３の判定部としての状態判定部３２と、出力部３３と、を備えている。
【００３８】
監視データ取得部１１は、運転者に対して車両内の所定位置に設置された、運転者の振る舞い、例えば車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向等を検出する第１のセンサとしての運転者監視センサ２１から、第１のセンシングデータを取り込む。例えば、運転者監視センサ２１は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このカメラは、１秒間に複数枚、運転者の静止画像を撮像するスチルカメラであってもよいし、運転者の動画像を撮像するビデオカメラであってもよい。監視データ取得部１１は、このカメラからの画像信号を、デジタル化処理して、運転者の画像を含む第１のセンシングデータとして取り込む。監視データ取得部１１は、この取り込んだ第１のセンシングデータを、取得情報記憶部１３に記憶させる。
【００３９】
取得情報記憶部１３は、記憶媒体として例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込および読出しが可能な不揮発性メモリとＲＡＭ等の揮発性メモリを使用したものである。
【００４０】
車両情報取得部１２は、車両の各所定位置に配置された第２のセンサとしての車両状態センサ２２から、車両の情報を取り込む。車両状態センサ２２は、運転者交代可能性判定部１４において運転者の交代が有ったか否かを判定するために使用される情報を検出するセンサである。運転者の交代は、通常であれば、車両が完全に停止したパーキング状態で行われると想定される。よって、車両状態センサ２２は例えば、車両の速度を検出する車速センサ、パーキングブレーキの状態を検出するパーキングブレーキセンサ、オートマチックギア車におけるギアセレクタのパーキングポジションを検出するギアセレクタセンサなどを含むことができる。車両状態センサ２２は、このように複数のセンサを含んでよい。車両情報取得部１２は、この車両状態センサ２２によって検出された検出情報を、デジタル化処理して、車両の状態を表す第２のセンシングデータとして取り込む。車両状態センサ２２は、この取り込んだ第２のセンシングデータを、上記取得情報記憶部１３に記憶させる。
【００４１】
運転者交代可能性判定部１４は、取得情報記憶部１３に記憶された車両情報に基づいて、運転者交代の可能性を判定する。例えば、運転者交代可能性判定部１４は、車両が完全に停止し、パーキング状態となった場合、運転者が交代した可能性があると判定する。また、運転者交代可能性判定部１４は、取得情報記憶部１３に記憶された第１のセンシングデータに基づいて、運転者交代の可能性を判定することも可能である。例えば、運転者交代可能性判定部１４は、運転者が一旦検出できなくなった後、再度検出できるようになった場合、運転者が交代した可能性があると判定する。
【００４２】
統計記憶部１６は、記憶媒体として例えばＨＤＤまたはＳＳＤ等の随時書込および読出しが可能な不揮発性メモリとＲＡＭ等の揮発性メモリとを組み合わせて使用したものである。統計記憶部１６の不揮発性メモリは、各運転者の振る舞い、例えば車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向についての、第１の統計情報、例えば上記運転者の顔または視線の保持方向についての平均値および偏差量を、運転者を表す識別子とともに記憶している。この第１の統計情報は、過去に第１統計演算部１５によって演算されたものである。また、統計記憶部１６の揮発性メモリは、同じく第１統計演算部１５で演算される、後述する第２の統計情報と、第２統計演算部３１で演算される、後述する新たな第１の統計情報とを一時記憶する。
【００４３】
第１統計演算部１５は、車両の動力源であるエンジンおよび／またはモータのオン期間中、取得情報記憶部１３に記憶された運転者の画像を含む第１のセンシングデータから、例えば車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向を検出する。そして、上記運転者交代可能性判定部１４によって運転者交代可能性有りと判定された時点から所定時間毎に、その所定時間内における例えば上記運転者の顔または視線の保持方向の平均値および偏差量等の第２の統計情報を繰り返し演算して、統計記憶部１６の揮発性メモリに更新記憶する。つまり、第２の統計情報を学習していく。なお、この第２の統計情報の演算においては、第１のセンシングデータに基づいて演算した所定時間内における統計情報と、統計記憶部１６の揮発性メモリに一時記憶されている第２の統計情報とを、例えば平均あるいは重み付け平均するなどして求めてもよい。
【００４４】
また、この第２の統計情報の演算に際しては、車速や操舵角、ウィンカの有無等による条件を設けて、条件を満たす場合にのみ、演算を行うようにすることが望ましい。例えば、直線を時速６０Ｋｍ以上で走行していてウィンカが出されていないことなどを条件とすることで、運転者が正面を見ているであろう状況において、運転者が顔または視線を向けている方向の平均値および偏差量を演算する。つまり、運転者が正面を向いていないときの運転者の顔や視線の向きを用いた、平均値や偏差量の演算は行わないことで、得られる第２の統計情報の正確性を担保できる。
【００４５】
個人判定部１７は、上記運転者交代可能性判定部１４によって運転者交代可能性有りと判定されたとき、第１統計演算部１５で演算されて統計記憶部１６の揮発性メモリに記憶された第２の統計情報、例えば車両の正面方向に対して現在の運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量と、統計記憶部１６の不揮発性メモリに記憶されている各運転者の第１の統計情報、例えば運転者の顔または視線の保持方向の平均値および偏差量とを比較することで、現在の運転者がどの運転者であるかを判定する。すなわち、個人判定部１７は、第２の統計情報に近似する第１の統計情報が統計記憶部１６の不揮発性メモリから発見されたとき、車両の現在の運転者を、その近似する第１の統計情報に対応する運転者であると判定する。こうして個人判定部１７によって現在の運転者が判定されたとき、第１統計演算部１５は、第２の統計情報の演算を終了する。
【００４６】
なお、第１統計演算部１５が第２の統計情報の演算を所定回数行っても、第２の統計情報に近似する第１の統計情報が統計記憶部１６の不揮発性メモリから発見されないとき、つまり、現在の運転者が記憶されているどの運転者でもない場合には、個人判定部１７は、第１統計演算部１５で演算されて統計記憶部１６の揮発性メモリに記憶された第２の統計情報を、新たな運転者に対応する第１の統計情報として、統計記憶部１６の不揮発性メモリに記憶させる。また、第１統計演算部１５は、その第２の統計情報の演算を終了する。
【００４７】
運転者状態判定装置３０の第２統計演算部３１は、車両の動力源であるエンジンおよび／またはモータのオン期間中、取得情報記憶部１３に記憶された運転者の画像を含む第１のセンシングデータから、例えば車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向を検出する。そして、所定時間毎に、その所定時間内における例えば運転者の顔または視線の保持方向の平均値および偏差量等の統計情報を、新たな第１の統計情報として演算して、統計記憶部１６の揮発性メモリに更新記憶する。つまり、新たな第１の統計情報を学習していく。こうして、第２統計演算部３１は、車両の動力源であるエンジンおよび／またはモータのオン期間中、継続して新たな第１の統計情報を繰り返し演算（学習）していく。第１統計演算部１５は、運転者交代の可能性が有った場合に、この第２統計演算部３１による新たな第１の統計情報の演算（学習）と並行して、第２の統計情報の演算を行っていくことになる。
【００４８】
なお、第２統計演算部３１での新たな第１の統計情報の演算においては、第１のセンシングデータに基づいて演算した所定時間内における統計情報と、統計記憶部１６の不揮発性メモリに記憶されている第１の統計情報と、統計記憶部１６の揮発性メモリに一時記憶されている新たな第１の統計情報とを、例えば平均あるいは重み付け平均するなどして求める。また、この新たな第１の統計情報の演算に際しても、車速や操舵角、ウィンカの有無等による条件を設けて、条件を満たす場合にのみ、演算を行うようにすることが望ましい。例えば、直線を時速６０Ｋｍ以上で走行していてウィンカが出されていないことなどを条件とすることで、運転者が正面を見ているであろう状況において、運転者が顔または視線を向けている方向の平均値および偏差量を演算する。つまり、運転者が正面を向いていないときの運転者の顔や視線の向きを用いた、平均値や偏差量の演算は行わないことで、得られる新たな第１の統計情報の正確性を担保できる。
【００４９】
さらに、第２統計演算部３１は、上記運転者交代可能性判定部１４によって運転者交代可能性有りと判定された時、その直前に演算して上記統計記憶部１６の揮発性メモリに一時記憶した上記新たな第１の統計情報を、当該運転者の第１の統計情報として、上記統計記憶部１６の不揮発性メモリに記憶させる。こうして、統計記憶部１６の不揮発性メモリには、各運転者についての第１の統計情報、例えば車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量が記憶されていくことになる。
【００５０】
なお、第１統計演算部１５が第２の統計情報の演算を所定回数行っても、第２の統計情報に近似する第１の統計情報が統計記憶部１６の不揮発性メモリから発見されないとき、つまり、現在の運転者が記憶されているどの運転者でもない場合には、上述したように、個人判定部１７は、第１統計演算部１５で演算されて統計記憶部１６の揮発性メモリに記憶された第２の統計情報を、新たな運転者に対応する第１の統計情報として、統計記憶部１６の不揮発性メモリに記憶させる。またこのとき、第２統計演算部３１は、新たな第１の統計情報の演算を、この統計記憶部１６の揮発性メモリに記憶させた新たな運転者の第１の統計情報を対象とした演算へと切り替える。
【００５１】
状態判定部３２は、取得情報記憶部１３に記憶された運転者の画像を含む第１のセンシングデータと第２統計演算部３１によって演算された新たな第１の統計情報とに基づいて、運転者の状態を判定する。例えば、状態判定部３２は、第１のセンシングデータから運転者が顔または視線を向けている方向を検出し、この検出した方向を、演算した新たな第１の統計情報、つまり車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値で補正した上で、所定の判定基準値と比較する。状態判定部３２は、上記判定基準値は一定とし、第１のセンシングデータから検出した運転者が顔または視線を向けている方向を、演算した新たな第１の統計情報によって補正した上で、判定基準値と比較するようにしてもよい。状態判定部３２は、このような比較により、運転者の状態、例えば脇見状態であるか否かを判定する。
【００５２】
なおこのとき、状態判定部３２は、取得情報記憶部１３に記憶された車両の状態を表す第２のセンシングデータ、例えばステアリングセンサやウィンカセンサのセンシングデータにより、この運転者状態の判定自体を行うか否か、または判定結果を出力するか否かを決定するようにしてもよい。これは、カーブしている道路を走行しているときや、右左折、車線変更を行う際には、安全確認のため運転者は脇見と同様の振る舞いを行う場合が有るので、これを脇見と判定して警告してしまわないことが望ましいためである。
【００５３】
出力部３３は、状態判定部３２の判定結果を、運転者に対して出力する。出力部３３は、例えば、スピーカと警告灯表示器を有し、状態判定部３２の判定結果を警告音や警告灯の点灯によって、運転者に出力する。出力部３３は、スピーカと警告灯表示器の一方で構成されてもよい。また、警告音や警告表示を、車両が備えるナビゲーションシステムの音声出力機能や画像表示機能を利用することも可能であり、この場合には、出力部３３は、ナビゲーションシステムへ状態判定部３２の判定結果を示す状態判定結果情報を出力するものであってよい。
【００５４】
以上のような構成であるから、運転者判定装置１０においては、各運転者の第１の統計情報を第１統計演算部１５によって演算して、運転者を表す識別子とともに統計記憶部１６の不揮発性メモリに記憶しておき、第１統計演算部１５によって現在の運転者について同様に第２の統計情報を演算し、個人判定部１７により、その演算された第２の統計情報を不揮発性メモリに記憶された第１の統計情報と比較し、第２の統計情報に近似する第１の統計情報が不揮発性メモリから発見されたとき、車両の現在の運転者を、その近似する第１の統計情報に対応する運転者であると判定する。つまり、個人判定部１７により、演算した第２の統計情報を、統計記憶部１６に不揮発的に記憶されている各運転者の第１の統計情報と比較することで、現在の運転者が記憶されているどの運転者であるかを判定することができる。したがって、車両を運転している現在の運転者が、既に第１の統計情報を演算した運転者であれば、その運転者を簡易に判定することができる。
【００５５】
また、運転者判定装置１０においては、運転者交代可能性判定部１４によって、第１または第２のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この運転者交代可能性判定部１４により運転者交代の可能性有りと判定したときに、第１統計演算部１５が第２の統計情報の演算を開始する。したがって、第１または第２のセンシングデータに基づいて、容易に運転者交代の可能性を判定できる。そして、運転者交代の可能性が有る場合には、第２の統計情報を演算し、その演算結果に基づいて個人判定部１７による運転者の判定を行うことになる。個人判定部１７によって、現在の運転者が、車両の現在の運転手を、近似する第１の統計情報に対応する運転者であると判定したとき、その近似する第１の統計情報に対応する運転者が、運転者交代可能性判定部１４によって運転者交代可能性有りと判定される前の運転者と同じであれば、個人判定部１７は、運転者の交代は無かったと判定できる。また、判定した運転者が、運転者交代可能性判定部１４によって運転者交代可能性有りと判定される前の運転者と同じでなければ、個人判定部１７は、運転者の交代が有ったこと、および、交代した現在の運転者はどの運転者であるか、を簡易に判定できる。したがって、運転者の交代が有った場合には、運転開始直後に素早く運転者を判定することが可能になる。
【００５６】
また、運転者判定装置１０においては、第２の統計情報の演算を所定回数行っても第２の統計情報に近似する第１の統計情報が発見されない場合には、個人判定部１７により、演算した第２の統計情報を、新たな運転者についての第１の統計情報として統計記憶部１６の不揮発性メモリに記憶させる。したがって、新たな運転者についての第１の統計情報を追加することができる。
【００５７】
また、運転者判定装置１０においては、第１統計演算部１５は、第１のセンシングデータに基づいて車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向を判定し、第１および第２の統計情報として、この運転者の顔または視線の保持方向の統計情報、例えば運転者の顔または視線の保持方向の平均値および偏差量を演算する。したがって、顔認識等の複雑な個人認証処理は必要なく、また、運転者が運転者交代を自己申請するような特別な操作を行わなくても、統計情報に基づいて車両を運転している運転者を簡易に判定できるようになる。また、個人認証処理を行わないので、プログラムのセキュリティレベルを高くする必要がない。
【００５８】
また、運転者状態判定装置３０においては、第２統計演算部３１により、統計記憶部１６の不揮発性メモリに記憶された第１の統計情報と第１のセンシングデータとに基づいて、新たな第１の統計情報を演算し、状態判定部３２によって、第１のセンシングデータとこの新たな第１の統計情報とに基づいて、運転者の状態を判定して、その判定結果を、出力部３３により運転者に対して出力する。そして、個人判定部１７が判定した運転者が、第２統計演算部３１による第１の統計情報の演算についての運転者と同じであれば、第２統計演算部３１は、そのまま新たな第１の統計情報の演算を継続する。よって、第２統計演算部３１によって演算している新たな第１の統計情報についての運転者が現在の運転者であれば、そのまま新た第１の統計情報の演算が継続して行われる。このため、運転者状態判定装置では、状態判定部３２において第１のセンシングデータと新たな第１の統計情報とに基づいて運転者の状態を判定する際、新たな第１の統計情報についての運転者に対応する統計記憶部１６に記憶されていた第１の統計情報も加味した、正確な第１の統計情報を用いて、運転者の状態を判定することが可能になる。
【００５９】
これに対して、この運転者状態判定装置３０においては、個人判定部１７が判定した運転者が、第２統計演算部３１による第１の統計情報の演算についての運転者と異なっていれば、第２統計演算部３１は、新たな第１の統計情報の演算を、判定した運転者についての統計記憶部１６の不揮発性メモリに記憶された第１の統計情報を対象とした演算へと切り替える。よって、第２統計演算部３１によって演算している新たな第１の統計情報についての運転者が現在の運転者に対応しない場合には、それまで演算されていた新たな第１の統計情報は、統計記憶部１６の不揮発性メモリに記憶された他の運転者に対応する第１の統計情報を加味していることで、現在の運転者に関して正確でないものとなっているので、それを運転者の状態判定に用いてしまうことを防止できる。そこで、第２統計演算部３１は、新たな第１の統計情報の演算を、判定した運転者についての統計記憶部１６の不揮発性メモリに記憶された第１の統計情報を対象とした演算へと切り替えて、現在の運転者に対応した新たな第１の統計情報を演算して、正確な第１の統計情報を用いて、運転者の状態を判定することが可能になる。
【００６０】
したがって、運転者状態判定装置３０においては、個々の運転者に応じた第１の統計情報を用いて運転者の状態を判定できるため、運転者個々の個人差に依らず精度の高い運転者状態判定を行うことが可能となる。
【００６１】
また、運転者状態判定装置３０においては、運転者交代可能性判定部１４によって、第１または第２のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この運転者交代可能性判定部１４により運転者交代の可能性有りと判定したときに、第２統計演算部３１は、それまで演算していた新たな第１の統計情報を統計記憶部１６の不揮発性メモリに記憶させる。これにより、繰り返し演算して正確なものとなっている新たな第１の統計情報を、個人判定部１７による運転者の判定に利用できるようになる。
【００６２】
また、運転者状態判定装置３０においては、第２の統計情報の演算を所定回数行っても第２の統計情報に近似する第１の統計情報が発見されない場合には、第１統計演算部１５によって演算した第２の統計情報を、新たな運転者についての第１の統計情報として統計記憶部１６の不揮発性メモリに記憶させ、第２統計演算部３１は、その新たな第１の統計情報の演算を、この統計記憶部１６の不揮発性メモリに記憶させた新たな運転者の第１の統計情報を対象とした演算へと切り替える。したがって、新たな運転者についての第１の統計情報を追加して、運転者の状態判定を開始することができる。
【００６３】
また、運転者状態判定装置３０においては、第１統計演算部１５による第２の統計情報の演算を、第２統計演算部３１による新たな第１の統計情報の演算と並行して行い、個人判定部１７が車両の現在の運転者を判定したならば、終了する。したがって、必要なときにのみ、第１統計演算部１５による第２の統計情報の演算を実施することができる。
【００６４】
［一実施形態］
次に、この発明の一実施形態を説明する。
【００６５】
（構成）
（１）システム
図２は、この発明の一実施形態に係る運転者判定装置およびそれを有する運転者状態判定装置を備えた運転者状態判定システムの全体構成の一例を示す図である。
【００６６】
運転者状態判定システムは、一実施形態に係る運転者判定装置を有する運転者状態判定装置４０と、各種のセンサ５１〜５６と、判定結果出力装置６０とを備えている。
【００６７】
（２）センサ
本一実施形態では、センサとして、例えば、運転者監視センサであるドライバカメラ５１と、車両状態センサである、車速センサ５２、ステアリングセンサ５３、ウィンカセンサ５４、ギアセレクタセンサ５５およびパーキングブレーキセンサ５６とを含む。勿論これは一例であり、その他のセンサを含んでいてもよい。
【００６８】
ドライバカメラ５１は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このドライバカメラ５１は、１秒間に複数枚の静止画像を撮像するスチルカメラであってもよいし、動画像を撮像するビデオカメラであってもよい。
【００６９】
車速センサ５２は、車両の移動速度を検出する。ステアリングセンサ５３は、ステアリングの操舵角を検出する。このステアリングセンサ５３は、運転者によるステアリングの操作自体を検出するセンサであってもよいし、ステアリング操作によって向きを変えられる車輪の舵角を検出するセンサであってもよい。ウィンカセンサ５４は、ウィンカの操作を検出する。このウィンカセンサ５４は、運転者によるウィンカレバーの操作自体を検出するセンサであってもよいし、ウィンカレバー操作に応じて点滅するウィンカの点滅制御信号を検出するセンサであってもよい。
【００７０】
また、ギアセレクタセンサ５５は、オートマチックギア車におけるギアセレクタのパーキングポジションを検出する。このギアセレクタセンサ５５は、運転者によるギアセレクタのセレクト操作自体を検出するセンサであってもよいし、セレクトされたポジションを表示するインジケータの点灯制御信号を検出するセンサであってもよい。パーキングブレーキセンサ５６は、パーキングブレーキの状態を検出する。このパーキングブレーキセンサ５６は、運転者によるパーキングブレーキレバーの操作自体を検出するセンサであってもよいし、パーキングブレーキを駆動する駆動制御信号を検出するセンサであってもよい。ギアセレクタセンサ５５とパーキングブレーキセンサ５６は、必ずしも両方備える必要は無い。例えば、オートマチックギアを搭載した車両では、パーキングブレーキセンサ５６を備えず、ギアセレクタセンサ５５のみであってもよい。マニュアルギアを搭載した車両では、パーキングブレーキセンサ５６のみであってよい。
【００７１】
（３）運転者状態判定装置
運転者状態判定装置４０は、制御ユニット４２と、入出力インタフェースユニット４１と、記憶ユニット４３と、を備えている。
【００７２】
入出力インタフェースユニット４１は、ドライバカメラ５１から出力された画像信号を受信してデジタルデータに変換して、制御ユニット４２に入力する。入出力インタフェースユニット４１はまた、車速センサ５２、ステアリングセンサ５３、ウィンカセンサ５４、ギアセレクタセンサ５５およびパーキングブレーキセンサ５６それぞれのセンシングデータを受信して、それらを制御ユニット４２に入力する。入出力インタフェースユニット４１はさらに、制御ユニット４２から出力された運転者状態判定結果情報を出力制御信号に変換して判定結果出力装置６０へ出力する。
【００７３】
記憶ユニット４３は、記憶媒体として、例えばＳＳＤやＨＤＤ等の随時書き込みおよび読み出しが可能な不揮発性メモリとＲＡＭ等の揮発性メモリを使用したものである。記憶ユニット４３は、本実施形態を実施するために使用する記憶領域として、運転者の監視データを記憶する監視データ記憶部４３１と、車両の状態を記憶する車両情報記憶部４３２と、個人差を補正するための統計情報を学習データとして記憶する学習データ記憶部４３３と、を備えている。学習データ記憶部４３３には、学習データを不揮発性に記憶する例えば図３Ａに示すような不揮発性統計値テーブル４３３１と、学習データを揮発性に記憶する例えば図３Ｂに示すような揮発性統計値テーブル４３３２とが構成されている。
【００７４】
図３Ａは、学習データ記憶部４３３に構成される不揮発性統計値テーブル４３３１の一例を示す図である。本一実施形態では、不揮発性統計値テーブル４３３１は、個人差学習装置４２１３によって過去に学習した運転者毎の、車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向についての平均値および偏差量といった統計情報を第１統計値として、運転者を表す識別子とともに記憶している。さらに、不揮発性統計値テーブル４３３１は、現在の運転者を示す運転者フラグを記憶する。図３Ａの例では、不揮発性統計値テーブル４３３１は、３名の運転者についての第１統計値を含んでいる。すなわち、車両の正面方向を０°としたとき、運転者番号１の識別子で特定される運転者の顔または視線の保持方向の平均値は−２．８°であり、運転者の顔または視線の保持方向の偏差量は１．８°である。運転者番号２の識別子で特定される運転者の顔または視線の保持方向の平均値は＋５．０°、偏差量は１．０°であり、運転者番号３の識別子で特定される運転者の顔または視線の保持方向の平均値は＋０．５°、偏差量は２．０°である。現在の運転者である運転者番号１の識別子で特定される運転者に、運転者フラグがセットされている。なお、ここでは、車両の正面方向に対して左右向を＋−方向として記憶する例を示しているが、車両の正面方向に対して上下方向を＋−方向として記憶してもよいし、両方とも記憶するようにしてもよい。さらには、頭の傾きなども記憶するようにしてもかまわない。また、不揮発性統計値テーブル４３３１に運転者フラグを設けず、学習データ記憶部４３３あるいはそれとは別に、現在の運転者を示す情報を不揮発性に記憶しておくようにしてもよい。
【００７５】
図３Ｂは、学習データ記憶部４３３に構成される揮発性統計値テーブル４３３２の一例を示す図である。本一実施形態では、揮発性統計値テーブル４３３２は、個人差学習装置４２１３によって学習している現在の運転者に関して、車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向についての平均値および偏差量といった統計情報を第１及び第２統計値として一時的に記憶している。ここで、第１統計値は、後述するように、個人差学習装置４２１３が、学習データ記憶部４３３の不揮発性統計値テーブル４３３１において運転者フラグがセットされている運転者の第１統計値と、現在の運転者の顔または視線の保持方向とに基づいて学習した新たな第１統計値である。第２統計値は、後述するように、個人差学習装置４２１３が、現在の運転者の顔または視線の保持方向に基づいて学習した統計値である。
【００７６】
制御ユニット４２は、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサと４２１とプログラムメモリ４２２とを有している。制御ユニット４２は、プログラムメモリ４２２に記憶されたプログラムをハードウェアプロセッサ４２１が実行することで実現される、本実施形態を実施するために必要なソフトウェア構成として、監視データ取得部４２１１と、車両情報取得部４２１２と、個人差学習装置４２１３と、運転者状態判定部４２１４と、信号出力部４２１５と、を備えている。なお、これらのソフトウェア構成の各部は、専用のハードウェアによって構成してもよい。
【００７７】
監視データ取得部４２１１は、ドライバカメラ５１から運転者の監視画像を取得する。すなわち、監視データ取得部４２１１は、ドライバカメラ５１から出力された運転者の画像信号のデジタルデータであるセンシングデータを入出力インタフェースユニット４１から取り込み、この取り込んだセンシングデータを運転者の監視データとして記憶ユニット４３の監視データ記憶部４３１に記憶させる。
【００７８】
車両情報取得部４２１２は、車速センサ５２、ステアリングセンサ５３、ウィンカセンサ５４、ギアセレクタセンサ５５およびパーキングブレーキセンサ５６それぞれから車両情報を取得する。すなわち、車両情報取得部４２１２は、それら各センサから出力されたセンシングデータを入出力インタフェースユニット４１から取り込み、この取り込んだセンシングデータを車両情報として記憶ユニット４３の車両情報記憶部４３２に記憶させる。
【００７９】
個人差学習装置４２１３は、運転者個々の個人差を学習する。例えば、個人差学習装置４２１３は、車両の動力源であるエンジンおよび／またはモータのオン期間中、所定時間毎に、その所定時間内における車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量といった統計情報を演算する。但し、この統計情報の演算に際しては、車速や操舵角、ウィンカの有無等による条件を設けて、条件を満たす場合にのみ、学習を行う。例えば、直線を時速６０Ｋｍ以上で走行していてウィンカが出されていないことなどを条件とすることで、運転者が正面を見ているであろう状況において、運転者の顔や視線の向き（保持方向）の平均値および偏差量を学習させる。つまり、運転者が正面を向いていないときの保持方向を用いた学習は行わないことで、学習結果の正確性を担保できる。
【００８０】
なお、車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向は、運転者状態判定部４２１４によって、監視データ記憶部４３１に記憶された監視データに基づいて検出されることができる。
【００８１】
そして、個人差学習装置４２１３は、この演算した統計情報と上記学習データ記憶部４３３の揮発性統計値テーブル４３３２に一時記憶されている第１統計値、例えば、車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量等の統計情報とから、新たな第１統計値を演算する。この新たな第１統計値は、上記学習（演算）した統計情報と、揮発性統計値テーブル４３３２に一時記憶されている統計情報とを、例えば平均あるいは重み付け平均などして求める。その後、個人差学習装置４２１３は、揮発性統計値テーブル４３３２に一時記憶されている第１統計値に、この演算した新たな第１統計値を上書き記憶する。こうして、個人差学習装置４２１３は、新たな第１統計値を、新たな第１の統計情報として所定時間毎に学習していく。
【００８２】
また、個人差学習装置４２１３は、この第１統計値に加えて、運転者交代の可能性が有るとき、その可能性有り判定時点から所定期間、例えば同様に上記所定時間内における運転者の顔または視線の保持方向の平均値および偏差量等の第２の統計情報を演算する。そして、個人差学習装置４２１３は、その演算した第２の統計情報を第２統計値として上記揮発性統計値テーブル４３３２に更新記憶していく。但し、この場合も、第１統計値の学習と同様に、車速や操舵角、ウィンカの有無等による条件を設け、運転者が正面を見ているであろう状況において、運転者の顔または視線の保持方向の平均値および偏差量を演算する。こうして、個人差学習装置４２１３は、第２統計値を、第２の統計情報として所定時間毎に学習していく。
【００８３】
なお、個人差学習装置４２１３を含めたハードウェアプロセッサ４２１は、車両の駆動源がオンされると動作を開始し、駆動源のオフに伴って動作を終了する。
【００８４】
運転者状態判定部４２１４は、上述した運転者の顔または視線の保持方向の判定に加えて、運転者交代可能性の有無を判定する。すなわち、運転者状態判定部４２１４は、車両情報記憶部４３２に記憶された車両情報に基づいて、運転者交代の可能性を判定することができる。例えば、運転者状態判定部４２１４は、車両が完全に停止したことを、車速センサ５２のセンシングデータにより判定し、パーキング状態となったことを、ギアセレクタセンサ５５および／またはパーキングブレーキセンサ５６のセンシングデータにより判定することで、運転者が交代した可能性があると判定することができる。あるいは、運転者状態判定部４２１４は、監視データ記憶部４３１に記憶された監視データに基づいて、運転者交代の可能性を判定することも可能である。例えば、運転者が監視画像中から一旦消えた後、再度監視画像中に出現した場合、または、監視データに基づく運転者の顔または視線の検出が一旦不能となった後、再度検出可能となった場合に、運転者が交代した可能性があると判定することができる。運転者状態判定部４２１４は、このように運転者が交代した可能性があると判定したとき、運転者交代トリガ信号を、個人差学習装置４２１３に出力する。
【００８５】
個人差学習装置４２１３は、上記運転者交代トリガ信号の入力に応じて、その直前に演算して上記揮発性統計値テーブル４３３２に一時記憶した上記新たな第１統計値を、当該運転者の第１統計値として、上記学習データ記憶部４３３の不揮発性統計値テーブル４３３１において運転者フラグがセットされている運転者に対して上書き記憶させる。こうして、不揮発性統計値テーブル４３３１には、各運転者についての第１統計値、例えば運転者の顔または視線の保持方向の平均値および偏差量が記憶されていくことになる。こうして、個人差学習装置４２１３により、第１統計値が学習されていく。
【００８６】
運転者状態判定部４２１４は、運転者の状態を判定する。例えば、運転者状態判定部４２１４は、運転者交代可能性有り判定に応じて個人差学習装置４２１３によって演算されて学習データ記憶部４３３の揮発性統計値テーブル４３３２に一時記憶された第２統計値、例えば現在の運転者の顔または視線の保持方向の平均値および偏差量と、学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶されている各運転者についての第１統計値、例えば運転者の顔または視線の保持方向の平均値および偏差量とを比較することで、現在の運転者が不揮発性統計値テーブル４３３１に記憶されているどの運転者であるかを判定する。そして、運転者状態判定部４２１４は、上記個人差学習装置４２１３に、判定した運転者についての新たな第１統計値を演算させる。また、現在の運転者が不揮発性統計値テーブル４３３１に記憶されているどの運転者でもないと判定した場合には、運転者状態判定部４２１４は、上記個人差学習装置４２１３に、新たな運転者についての新たな第１統計値を演算させることで、その新たな運転者に対する第１統計値の学習を開始させる。
【００８７】
また、運転者状態判定部４２１４は、予め設定された時間間隔で、監視データ記憶部４３１から監視データを読み込んで、運転者が顔または視線を向けている方向を判定する。また、学習データ記憶部４３３の揮発性統計値テーブル４３３２から運転者フラグがセットされている現在の運転者の第１統計値を読み込む。さらに、運転者状態判定部４２１４は、車両情報記憶部４３２から車両情報、例えばステアリングセンサ５３やウィンカセンサ５４のセンシングデータを読み込む。次に運転者状態判定部４２１４は、監視データおよび第１統計値を読み込む毎に、監視データに基づいて判定した運転者が顔または視線を向けている方向を第１統計値に含まれる補正値、つまり運転者の顔または視線の方向の平均値で補正した上で、所定の判定基準値と比較する。これにより、運転者の状態、例えば脇見状態であるか否かを判定することができる。このとき、運転者状態判定部４２１４は、ステアリングセンサ５３やウィンカセンサ５４のセンシングデータにより、この判定自体を行うか否か、または判定結果を出力するか否かを決定する。これは、カーブしている道路を走行しているときや、右左折、車線変更を行う際には、安全確認のため運転者は脇見と同様の振る舞いを行う場合が有るので、これを脇見と判定しないことが望ましいためである。
【００８８】
信号出力部４２１５は、運転者状態判定部４２１４での運転者の状態の判定結果を示す運転状者態判定結果情報を、入出力インタフェースユニット４１を介して判定結果出力装置６０へ出力する。
【００８９】
（４）判定結果出力装置
判定結果出力装置６０は、例えば、スピーカと警告灯表示器を有し、運転者状態判定装置４０から出力された運転者状態判定結果情報を警告音や警告灯の点灯によって、運転者に出力する。判定結果出力装置６０は、スピーカと警告灯表示器の一方で構成されてもよい。判定結果出力装置６０は、車両が備えるナビゲーションシステムの音声出力機能や画像表示機能を利用して構成されてもよい。また、この判定結果出力装置６０は、運転者状態判定装置４０に含まれ、信号出力部４２１５によって制御されるように構成されていてもよい。
【００９０】
（動作）
次に、以上のように構成された運転者状態判定システムの動作を説明する。  
図４は、図２に示した運転者状態判定システムにおける処理手順と処理内容の一例を示すフローチャートであり、図５は、図２に示した運転者状態判定システムにおける処理手順に従った統計値学習内容の一例を示すタイムチャートである。
【００９１】
（１）センシングデータ取り込み
車両の駆動源がオンされると、運転者状態判定装置４０と、運転者監視センサであるドライバカメラ５１および車両状態センサである各センサ５２〜５６は、動作を開始する。運転者状態判定装置４０は、ドライバカメラ５１からのセンシングデータを監視データ取得部４２１１により取得し、監視データとして監視データ記憶部４３１に記憶していく。また、運転者状態判定装置４０は、車速センサ５２、ステアリングセンサ５３、ウィンカセンサ５４、ギアセレクタセンサ５５およびパーキングブレーキセンサ５６それぞれからのセンシングデータを車両情報取得部４２１２により取得し、車両情報として車両情報記憶部４３２に記憶してく。これらセンシングデータの取得並びに記憶は、車両の駆動源がオフされるまで、繰り返し実施される。
【００９２】
（２）統計値学習
（２−１）運転者交代無し
上記センシングデータの取り込み動作と並行して、運転者状態判定装置４０は、個人差学習装置４２１３に、第１統計値と第２統計値の学習を開始させる。
【００９３】
すなわち先ず、個人差学習装置４２１３は、ステップＳ１１において、運転者交代トリガ信号が運転者状態判定部４２１４から入力されたか否かを判定する。車両の駆動源は、車両が完全に停止したパーキング状態でオンされる。従って、図５に示すように、車両の駆動源がオンされた時刻ｔ０においては、運転者状態判定部４２１４から運転者交代トリガ信号が入力された判定することになる。
【００９４】
運転者交代トリガ信号が入力されると、個人差学習装置４２１３は、ステップＳ１２において、運転者交代トリガ信号入力直前に求めて学習データ記憶部４３３の揮発性統計値テーブル４３３２に一時記憶した新たな第１統計値を、学習データ記憶部４３３の不揮発性統計値テーブル４３３１において運転者フラグがセットされている現在の運転者の第１統計値に、学習結果として上書き記憶する。なお、車両の駆動源がオンされて初めてのこのステップＳ１２の処理時には、まだ新たな第１統計値が求められていないので、このステップＳ１３の処理においては何も行われない。車両の駆動源がオンされて２回目以降の運転者交代トリガ信号の入力が行われた場合に、この新たな第１統計値の学習データ記憶部４３３の不揮発性統計値テーブル４３３１への記憶が行われる。
【００９５】
その後、個人差学習装置４２１３は、ステップＳ１３において、新たな第１統計値および第２統計値の学習を行う。なお、個人差学習装置４２１３における第１および第２統計値の学習は、所定時間毎に、その所定時間内における第１および第２の統計情報を演算するものであり、図５では、この所定時間の区切りを点線によって表している。第１統計値の学習と第２統計値の学習は、例えば、同じ時間区切りで実施される。このステップＳ１３の学習処理により、学習データ記憶部４３３の揮発性統計値テーブル４３３２には、新たな第１統計値と第２統計値が、上記所定時間毎に、更新記憶されていくこととなる。すなわち、新たな第１統計値の学習においては、学習データ記憶部４３３の揮発性統計値テーブル４３３２に記憶された前回の第１統計値と、運転者状態判定部４２１４によって判定された所定時間内における今回の運転者の顔または視線の保持方向の平均値および偏差量等の統計情報とに基づいて、新たな第１統計値が演算される。なお、車両の駆動源がオンされて初めてのこのステップＳ１３の処理時には、学習データ記憶部４３３の揮発性統計値テーブル４３３２には未だ前回の第１統計値が記憶されていないので、学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶されている、運転者交代トリガ信号入力前の運転者、つまり運転者フラグにより示される現在の運転者の第１統計値が、学習データ記憶部４３３の揮発性統計値テーブル４３３２に一時記憶されて、利用される。これにより、例えば、図５に示すように、運転者番号１の識別子で特定される運転者の第１統計値の学習が開始される。また、第２統計値の学習においては、運転者状態判定部４２１４によって判定された所定時間内における今回の運転者の顔または視線の保持方向の平均値および偏差量等の統計情報が、第２統計値として演算される。
【００９６】
上記所定時間毎に、個人差学習装置４２１３は、ステップＳ１４において、揮発性統計値テーブル４３３２には一時記憶されている第２統計値と、学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶されている各運転者についての第１統計値とを比較する。そして、個人差学習装置４２１３は、ステップＳ１５において、第２統計値に近似する第１統計値が有ったかどうかを判定する。第２統計値の学習初期時は、安定した統計情報に収束し難くい。第２統計値に近似する第１統計値が無いと判定した場合、個人差学習装置４２１３は、ステップＳ１６において、第２統計値を所定量（Ｎ回）学習したか否かを判定する。この所定量としては、安定した統計情報に収束するのに十分な時間（回数）が設定されている。未だ所定量の第２統計値学習が終了していなければ、個人差学習装置４２１３は、ステップＳ１７において、運転者交代トリガ信号が運転者状態判定部４２１４から入力されたか否かを判定する。そして運転者交代トリガ信号が入力されていなければ、運転者状態判定装置４０は、ステップＳ１３における第１および第２統計値の学習を実施して、上記の処理を繰り返す。
【００９７】
例えば、第２統計値に近似する第１統計値が存在すると、上記ステップＳ１５において、近似統計値有りと判定される。この場合には、個人差学習装置４２１３は、その近似する第１統計値の運転者が、現在車両を運転している運転者であると判定する。すなわち、個人差学習装置４２１３は、ステップＳ１９において、その近似する第１統計値を、運転者状態判定部４２１４での運転者状態判定処理に使用するべき、つまり、学習するべき第１統計値であると決定する。これにより、個人差学習装置４２１３は、不揮発性統計値テーブル４３３１の運転者フラグを、その決定した第１統計値の運転者を示すようにセットし直す。但しこのとき、その決定した第１統計値の運転者に対応する不揮発性統計値テーブル４３３１の運転者フラグが既にセットされているときには、運転者の交代は無かったということであるので、フラグをセットし直す必要は無い。そして、個人差学習装置４２１３は、ステップＳ１９において、第２統計値の学習を終了して、上記ステップＳ１１の処理から繰り返す。
【００９８】
こうしてステップＳ１１の処理に戻ったとき、運転者交代トリガ信号が運転者状態判定部４２１４から入力されていないと判定した場合には、ステップＳ２０において、新たな第１統計値の学習を行う。
【００９９】
（２−２）運転者交代有り：既知運転者
一方、例えば図３Ｂに示すように、第２統計値（平均値＋４．８°、偏差量１．４°）に近似する第１統計値（運転者番号２の平均値＋５．０°、偏差量１．０°）が存在すると、図５の時刻ｔ１において、上記ステップＳ１５で近似統計値有りと判定される。この場合には、個人差学習装置４２１３は、その近似する第１統計値の運転者が、現在車両を運転している運転者であると判定する。すなわち、個人差学習装置４２１３は、ステップＳ２１において、その近似する第１統計値を、運転者状態判定部４２１４での運転者状態判定処理に使用するべき、つまり、学習するべき第１統計値であると決定する。これにより、個人差学習装置４２１３は、不揮発性統計値テーブル４３３１の運転者フラグを、その決定した第１統計値の運転者を示すようにセットし直す。そして、個人差学習装置４２１３は、ステップＳ１９において、第２統計値の学習を終了して、上記ステップＳ１１の処理から繰り返す。
【０１００】
そして、ステップＳ１１からステップＳ２０に進むと、新たな第１統計値の学習が行われるが、今度は、決定された第１統計値、例えば運転者番号２の識別子で特定される運転者の新たな第１統計値についての学習が行われる。この際、揮発性統計値テーブル４３３２に一時記憶されている第２統計値も、この新たな第１統計値の学習に利用してもよい。
【０１０１】
（２−３）運転者交代有り：新しい運転者
一方、近似する第１統計値が見つからずに、上記ステップＳ１６において、第２統計値を所定量（Ｎ回）学習したと判定される場合もある。
【０１０２】
例えば、図５に時刻ｔ２で運転者交代トリガ信号が入力されると、上記ステップＳ１１においてそれが判定され、個人差学習装置４２１３は、ステップＳ１２において、運転者交代トリガ信号入力直前に求めて学習データ記憶部４３３の揮発性統計値テーブル４３３２に一時記憶している新たな第１統計値を、学習データ記憶部４３３の不揮発性統計値テーブル４３３１の現在の運転者の第１統計値に、学習結果として上書き記憶する。この例では、現在の運転者である運転者番号２の運転者に対する新たな第１統計値が、揮発性統計値テーブル４３３２から読み出されて、不揮発性統計値テーブル４３３１の運転者番号２の識別子で特定される運転者の第１統計値に上書きされる。そして、ステップＳ１３において、第１および第２統計値の学習が行われる。その後のステップＳ１４の統計値比較の結果、近似統計値が見つからなければ、ステップＳ１５〜ステップＳ１７を経て、ステップＳ１３での運転者番号２の運転者についての第１および第２統計値の学習が継続されていく。
【０１０３】
そして、ステップＳ１６において、例えば時刻ｔ３で第２統計値を所定量（Ｎ回）学習したと判定すると、個人差学習装置４２１３は、ステップＳ２１において、揮発性統計値テーブル４３３２に一時記憶している第２統計値を、運転者状態判定部４２１４での運転者状態判定処理に使用するべき、つまり、学習するべき第１統計値であると決定する。これにより、個人差学習装置４２１３は、不揮発性統計値テーブル４３３１に新しい運転者のための領域を確保し、そこに、揮発性統計値テーブル４３３２に記憶された第２統計値を、第１統計値として、その新しい運転者を表す識別子とともに記憶させる。そして、不揮発性統計値テーブル４３３１の運転者フラグを、その新しく記憶した第１統計値の運転者を示すようにセットし直す。
【０１０４】
例えば、揮発性統計値テーブル４３３２に記憶された第２統計値が、図３Ｃに示すように、平均値＋３．２°、偏差量１．３°であると、不揮発性統計値テーブル４３３１には、近似する第１統計値が記憶されていない。したがってこの場合には、その第２統計値を、図３Ｄに示すように、不揮発性統計値テーブル４３３１に、運転者番号４の識別子で特定される運転者についての第１統計値として、新規に記憶させる。
【０１０５】
そして、個人差学習装置４２１３は、ステップＳ１９において、第２統計値の学習を終了して、上記ステップＳ１１の処理から繰り返す。
【０１０６】
そして、ステップＳ１１からステップＳ２０に進むと、新たな第１統計値の学習が行われるが、今度は、決定された第１統計値、例えば運転者番号４の識別子で特定される運転者の新たな第１統計値についての学習が行われる。この際、新規な学習であり、学習に利用するデータは多い方が良いので、揮発性統計値テーブル４３３２に一時記憶されている第２統計値も、この新たな第１統計値の学習に利用することが望ましい。
【０１０７】
（２−４）第２統計値学習中の運転者交代トリガ信号入力
なお、第２統計値学習中に、つまり、上記ステップＳ１６において、所定量（Ｎ回）の第２統計値の学習が終了するよりも前に、新たな運転者交代トリガ信号が入力されると、そのことがステップＳ１７で判定される。この場合には、個人差学習装置４２１３は、ステップＳ２２において、それまで学習して揮発性統計値テーブル４３３２に一時記憶している第２統計値をクリアする。そして、上記ステップＳ１２に進んで、揮発性統計値テーブル４３３２に記憶されている運転者交代トリガ信号入力直前に求めた新たな第１統計値を、不揮発性統計値テーブル４３３１の現在の運転者の第１統計値に、学習結果として上書き記憶した後、ステップＳ１３に進み、新たな第１統計値の学習と、新規の第２統計値の学習とを開始する。
【０１０８】
（２−５）車両動力源オフ
通常、車両の動力源がオフされる前には、車両が完全に停止したパーキング状態とされる。従って、上記ステップＳ１１または上記ステップＳ１８において、運転者交代トリガ信号の入力が有ったと判定され、ステップＳ１２にて、揮発性統計値テーブル４３３２に記憶されている運転者交代トリガ信号入力直前に求めた新たな第１統計値が、不揮発性統計値テーブル４３３１の現在の運転者の第１統計値に、学習結果として上書き記憶される。これにより、次の車両動力源のオン時に、この不揮発性統計値テーブル４３３１に不揮発性に記憶されている現在の運転者の第１統計値が読み出されて、利用されることとなる。
【０１０９】
（３）運転者状態判定
上記ステップＳ２０において新たな第１統計値の学習が行われた後、運転者状態判定部４２１４は、ステップＳ２３において、学習データ記憶部４３３の揮発性統計値テーブル４３３２に一時記憶されている新たな第１統計値に基づく補正値による状態判定を行う。すなわち、監視データ記憶部４３１に記憶されている監視データに基づいて判定した運転者の顔または視線の方向を、学習している現在の運転者の新たな第１統計値に含まれる補正値である運転者の顔または視線の保持方向の平均値によって補正する。そして、この補正した運転者の顔または視線の方向を所定の判定基準値と比較することで、運転者の状態、例えば脇見状態であるか否かを判定する。
【０１１０】
そして、ステップＳ２４において、運転者状態判定部４２１４は、信号出力部４２１５により、運転者の状態の判定結果を示す運転者状態判定結果情報を判定結果出力装置６０へ出力する。これにより、運転者状態判定結果情報が、判定結果出力装置６０にて、警告音や警告灯の点灯として、運転者に呈示される。
【０１１１】
（一実施形態の効果）
以上詳述したように一実施形態では、運転者状態判定装置４０においては、各運転者の第１の統計情報である第１統計値を個人差学習装置４２１３によって演算して、運転者を表す識別子とともに学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶しておき、個人差学習装置４２１３によって現在の運転者について同様に第２の統計情報である第２統計値を演算し、個人差学習装置４２１３により、その演算された第２統計値を不揮発性統計値テーブル４３３１に記憶された第１の統計情報と比較し、第２統計値に近似する第１の統計情報が不揮発性統計値テーブル４３３１から発見されたとき、車両の現在の運転者を、その近似する第１の統計情報に対応する運転者であると判定する。
【０１１２】
つまり、個人差学習装置４２１３により、演算した第２統計値を、学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶されている各運転者の第１統計値と比較することで、現在の運転者が記憶されているどの運転者であるかを判定することができる。したがって、車両を運転している現在の運転者が、既に第１統計値を演算した運転者であれば、その運転者を簡易に判定することができる。
【０１１３】
また、運転者状態判定装置４０においては、運転者状態判定部４２１４によって、第１または第２のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この運転者状態判定部４２１４により運転者交代の可能性有りと判定したときに、個人差学習装置４２１３が第２統計値の演算を開始する。
【０１１４】
したがって、第１または第２のセンシングデータに基づいて、容易に運転者交代の可能性を判定できる。そして、運転者交代の可能性が有る場合には、第２統計値を演算し、その演算結果に基づいて個人差学習装置４２１３による運転者の判定を行うことになる。個人差学習装置４２１３によって、現在の運転者が、車両の現在の運転手を、近似する第１統計値に対応する運転者であると判定したとき、その近似する第１統計値に対応する運転者が、運転者状態判定部４２１４によって運転者交代可能性有りと判定される前の運転者と同じであれば、個人差学習装置４２１３は、運転者の交代は無かったと判定できる。また、判定した運転者が、運転者状態判定部４２１４によって運転者交代可能性有りと判定される前の運転者と同じでなければ、個人差学習装置４２１３は、運転者の交代が有ったこと、および、交代した現在の運転者はどの運転者であるか、を簡易に判定できる。したがって、運転者の交代が有った場合には、運転開始直後に素早く運転者を判定することが可能になる。
【０１１５】
また、運転者状態判定装置４０においては、第２統計値の演算を所定回数行っても第２統計値に近似する第１統計値が発見されない場合には、個人差学習装置４２１３により、演算した第２統計値を、新たな運転者についての第１統計値として学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶させる。
【０１１６】
したがって、学習データ記憶部４３３の不揮発性統計値テーブル４３３１に、新たな運転者についての第１統計値を追加することができる。よって、この新たな運転者が再び当該車両を運転する際には、素早くその運転者を判定することが可能となる。
【０１１７】
また、運転者状態判定装置４０においては、個人差学習装置４２１３は、第１のセンシングデータに基づいて車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向を判定し、第１および第２統計値として、この運転者の顔または視線の保持方向の統計情報、例えば運転者の顔または視線の保持方向の平均値および偏差量を演算する。
【０１１８】
したがって、顔認識等の複雑な個人認証処理は必要なく、また、運転者が運転者交代を自己申請するような特別な操作を行わなくても、統計情報に基づいて車両を運転している運転者を簡易に判定できるようになる。また、個人認証処理を行わないので、プログラムのセキュリティレベルを高くする必要がない。
【０１１９】
また、運転者状態判定装置４０においては、個人差学習装置４２１３により、学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶された第１統計値と第１のセンシングデータとに基づいて、新たな第１統計値を演算し、運転者状態判定部４２１４によって、第１のセンシングデータとこの新たな第１統計値とに基づいて、運転者の状態、例えば脇見状態を判定して、その判定結果を、信号出力部４２１５により判定結果出力装置６０に運転者に対して出力させる。そして、個人差学習装置４２１３が判定した運転者が、個人差学習装置４２１３による第１統計値の演算についての運転者と同じであれば、個人差学習装置４２１３は、そのまま新たな第１統計値の演算を継続する。
【０１２０】
よって、個人差学習装置４２１３によって演算している新たな第１統計値についての運転者が現在の運転者であれば、そのまま新た第１統計値の演算が継続して行われる。このため、運転者状態判定装置では、運転者状態判定部４２１４において第１のセンシングデータと新たな第１統計値とに基づいて運転者の状態を判定する際、新たな第１統計値についての運転者に対応する学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶されていた第１統計値も加味した、正確な第１統計値を用いて、運転者の状態を判定することが可能になる。
【０１２１】
これに対して、この運転者状態判定装置４０においては、個人差学習装置４２１３が判定した運転者が、個人差学習装置４２１３による第１統計値の演算についての運転者と異なっていれば、個人差学習装置４２１３は、新たな第１統計値の演算を、判定した運転者についての学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶された第１統計値を対象とした演算へと切り替える。
【０１２２】
よって、個人差学習装置４２１３によって演算している新たな第１統計値についての運転者が現在の運転者に対応しない場合には、それまで演算されていた新たな第１統計値は、学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶された他の運転者に対応する第１統計値を加味していることで、現在の運転者に関して正確でないものとなっているので、それを運転者の状態判定に用いてしまうことを防止できる。そこで、個人差学習装置４２１３は、新たな第１統計値の演算を、判定した運転者についての学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶された第１統計値を対象とした演算へと切り替えて、現在の運転者に対応した新たな第１統計値を演算して、正確な第１統計値を用いて、運転者の状態を判定することが可能になる。
【０１２３】
したがって、運転者状態判定装置４０においては、個々の運転者に応じた第１統計値を用いて運転者の状態を判定できるため、運転者個々の個人差に依らず精度の高い運転者状態判定を行うことが可能となる。
【０１２４】
また、運転者状態判定装置４０においては、運転者状態判定部４２１４によって、第１または第２のセンシングデータに基づいて、運転者の交代の可能性の有無が判定され、この運転者状態判定部４２１４により運転者交代の可能性有りと判定したときに、個人差学習装置４２１３は、それまで演算していた新たな第１統計値を学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶させる。
【０１２５】
これにより、繰り返し演算して正確なものとなっている新たな第１統計値を、個人差学習装置４２１３による運転者の判定に利用できるようになる。
【０１２６】
また、運転者状態判定装置４０においては、第２統計値の演算を所定回数行っても第２統計値に近似する第１統計値が発見されない場合には、個人差学習装置４２１３によって演算した第２統計値を、新たな運転者についての第１統計値として学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶させ、個人差学習装置４２１３は、その新たな第１統計値の演算を、この学習データ記憶部４３３の不揮発性統計値テーブル４３３１に記憶させた新たな運転者の第１統計値を対象とした演算へと切り替える。
【０１２７】
したがって、新たな運転者についての第１統計値を追加して、運転者の状態判定を開始することができる。よって、この新たな運転者が再び当該車両を運転する際には、その新たな運転者個人に対応した運転者状態判定が行えるようになる。
【０１２８】
また、運転者状態判定装置４０においては、個人差学習装置４２１３による第２統計値の演算を、個人差学習装置４２１３による新たな第１統計値の演算と並行して行い、個人差学習装置４２１３が車両の現在の運転者を判定したならば、終了する。
【０１２９】
したがって、必要なときにのみ、個人差学習装置４２１３による第２統計値の演算を実施することができる。
【０１３０】
［変形例］
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【０１３１】
（１）例えば、前記一実施形態では、運転者交代可能性の有無を、運転者状態判定部４２１４によって判定するものとしているが、個人差学習装置４２１３において、監視データ記憶部４３１に記憶された監視データまたは車両情報記憶部４３２に記憶された車両情報に基づいて、判定するようにしても構わない。また、専用の運転者交代可能性判定部を設けてもよい。このようにしても、前記一実施形態と同様の作用効果が得られる。
【０１３２】
また、運転者の顔または視線の方向についても、監視データ取得部４２１１によってドライバカメラ５１からのセンシングデータに基づいて検出し、その検出結果を監視データ記憶部４３１に記憶しておくようにしてもかまわない。
【０１３３】
（２）また、前記一実施形態では、運転者の状態の判定を行う際、監視データ記憶部４３１に記憶されている監視データに基づいて判定した運転者の顔または視線の方向を、学習している現在の運転者の第１統計値に含まれる補正値である運転者の顔または視線の保持方向の平均値によって補正した上で、所定の判定基準値と比較して、運転者の状態、例えば脇見状態であるか否かを判定するものとしている。つまり、判定基準値を一定とし、運転者の顔または視線の方向を新たな第１統計値に含まれる補正値に基づいて補正して、両者を比較することで運転者の状態を判定している。逆に、判定基準値を補正値に基づいて補正し、この補正した基準値と運転者の顔または視線の方向とを比較することで、運転者の状態を判定するようにしてもよい。このようにしても、前記一実施形態と同様の作用効果が得られる。
【０１３４】
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【０１３５】
［付記］
前記実施形態の一部または全部は、以下の付記に示すように記載することが可能であるが、これに限られない。  
（付記１）
第１のセンサ（２１）から出力された車両の運転者の画像を含む第１のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第１の統計情報を演算する第１の演算部（１５）と、
演算された前記第１の統計情報を、運転者を表す識別子とともに記憶する記憶部（１６）と、
前記第１のセンサから出力される現在の車両の運転者の画像を含む第１のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第２の統計情報を前記第１の演算部で演算し、演算された前記第２の統計情報を、前記記憶部に記憶された前記第１の統計情報と比較し、前記第２の統計情報に近似する前記第１の統計情報が前記記憶部から発見されたとき、車両の前記現在の運転者を、前記近似する前記第１の統計情報に対応する運転者であると判定する第１の判定部（１７）と、
を具備する運転者判定装置（１０）。
【０１３６】
（付記２）
前記付記１に記載の運転者判定装置と、
前記記憶部に記憶された前記第１の統計情報と前記第１のセンシングデータとに基づいて、新たな第１の統計情報を演算する第２の演算部（３１）と、
前記第１のセンシングデータと前記第２の演算部によって演算された前記新たな第１の統計情報とに基づいて、前記運転者の状態を判定する第３の判定部（３２）と、
前記第３の判定部の判定結果を、前記運転者に対して出力する出力部（３３）と、
を具備し、
前記第２の演算部は、前記第１の判定部によって判定した運転者が、
当該第２の演算部による前記第１の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第１の統計情報の演算を継続し、
当該第２の演算部による前記第１の統計情報の演算についての運転者と異なっていれば、前記新たな第１の統計情報の演算を、前記判定した運転者についての前記記憶部に記憶された前記第１の統計情報を対象とした演算へと切り替える、
運転者状態判定装置（３０）。
【０１３７】
（付記３）
運転者を判定する運転者判定装置（１０）が実行する運転者判定方法であって、
前記運転者判定装置が、第１のセンサ（２１）から出力された車両の運転者の画像を含む第１のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第１の統計情報を演算する過程と、
前記運転者判定装置が、演算された前記第１の統計情報を、運転者を表す識別子とともに記憶する過程と、
前記運転者判定装置が、前記第１のセンサから出力される現在の車両の運転者の画像を含む第１のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第２の統計情報を演算する過程と、
前記運転者判定装置が、演算された前記第２の統計情報を、前記記憶された前記第１の統計情報と比較し、前記第２の統計情報に近似する前記第１の統計情報が記憶されていたとき、車両の前記現在の運転者を、前記近似する前記第１の統計情報に対応する運転者であると判定する過程と、
を具備する運転者判定方法。
【０１３８】
（付記４）
前記付記３に記載の運転者判定方法を適用した運転者状態判定装置（３０）が実行する運転者状態判定方法であって、
前記運転者状態判定装置が、前記記憶された前記第１の統計情報と前記第１のセンシングデータとに基づいて、新たな第１の統計情報を演算する過程と、
前記運転者状態判定装置が、前記演算された前記新たな第１の統計情報に基づいて、前記運転者の状態を判定する過程と、
前記運転者状態判定装置が、前記運転者の状態の判定結果を、運転者に対して出力する過程と、
を具備し、
前記新たな第１の統計情報を演算する過程は、前記車両の前記現在の運転者を前記近似する前記第１の統計情報に対応する運転者であると判定する過程において判定した運転者が、
前記新たな第１の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第１の統計情報の演算を継続し、
前記新たな第１の統計情報の演算についての運転者と異なっていれば、前記新たな第１の統計情報の演算を、前記判定した運転者についての前記記憶された前記第１の統計情報を対象とした演算へと切り替える、
運転者状態判定方法。
【０１３９】
（付記５）
ハードウェアプロセッサ（４２１）とメモリ（４３）とを有する運転者判定装置であって、
前記ハードウェアプロセッサが、
第１のセンサ（５１）から出力された車両の運転者の画像を含む第１のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第１の統計情報を演算し、
前記メモリに、演算された前記第１の統計情報を、運転者を表す識別子とともに記憶し、
前記第１のセンサから出力される現在の車両の運転者の画像を含む第１のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第２の統計情報を演算し、
演算された前記第２の統計情報を、前記メモリに記憶された前記第１の統計情報と比較し、前記第２の統計情報に近似する前記第１の統計情報が記憶されていたとき、車両の前記現在の運転者を、前記近似する前記第１の統計情報に対応する運転者であると判定する、
運転者判定装置。
【０１４０】
（付記６）
ハードウェアプロセッサ（４２１）とメモリ（４３）とを有する運転者状態判定装置であって、
前記ハードウェアプロセッサが、
前記付記５の運転者判定装置の動作に加えて、
前記記憶された前記第１の統計情報と前記第１のセンシングデータとに基づいて、新たな第１の統計情報を演算し、
前記第１のセンシングデータと前記演算された前記新たな第１の統計情報とに基づいて、前記運転者の状態を判定し、
前記運転者の状態の判定結果を、運転者に対して出力し、
前記新たな第１の統計情報の演算において、前記車両の前記現在の運転者を前記近似する前記第１の統計情報に対応する運転者であると判定する過程において判定した運転者が、
前記新たな第１の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第１の統計情報の演算を継続し、
前記新たな第１の統計情報の演算についての運転者と異なっていれば、前記新たな第１の統計情報の演算を、前記判定した運転者についての前記メモリに記憶された前記第１の統計情報を対象とした演算へと切り替える、
運転者状態判定装置。
【０１４１】
（付記７）
ハードウェアプロセッサ（４２１）とメモリ（４３）とを有する装置が実行する運転者判定方法であって、
前記ハードウェアプロセッサが、第１のセンサ（５１）から出力された車両の運転者の画像を含む第１のセンシングデータから、車両の正面方向に対して当該運転者が正面として顔または視線を保持する方向である保持方向についての統計情報である第１の統計情報を演算する過程と、
前記ハードウェアプロセッサが、演算された前記第１の統計情報を、運転者を表す識別子とともに前記メモリに記憶する過程と、
前記ハードウェアプロセッサが、前記第１のセンサから出力される現在の車両の運転者の画像を含む第１のセンシングデータに基づいて、車両の現在の運転者の前記保持方向についての統計情報である第２の統計情報を演算する過程と、
前記ハードウェアプロセッサが、演算された前記第２の統計情報を、前記メモリに記憶された前記第１の統計情報と比較し、前記第２の統計情報に近似する前記第１の統計情報が記憶されていたとき、車両の前記現在の運転者を、前記近似する前記第１の統計情報に対応する運転者であると判定する過程と、
を具備する運転者判定方法。
【０１４２】
（付記８）
ハードウェアプロセッサ（４２１）とメモリ（４３）とを有する装置が実行する運転者状態判定方法であって、
前記付記７の運転者判定方法の過程に加えて、
前記ハードウェアプロセッサが、前記メモリに記憶された前記第１の統計情報と前記第１のセンシングデータとに基づいて、新たな第１の統計情報を演算する過程と、
前記ハードウェアプロセッサが、前記第１のセンシングデータと前記演算された前記新たな第１の統計情報とに基づいて、前記運転者の状態を判定する過程と、
前記ハードウェアプロセッサが、前記運転者の状態の判定結果を、運転者に対して出力する過程と、
を具備し、
前記新たな第１の統計情報を演算する過程は、前記車両の前記現在の運転者を前記近似する前記第１の統計情報に対応する運転者であると判定する過程において判定した運転者が、
前記新たな第１の統計情報の演算についての運転者と同じであれば、そのまま前記新たな第１の統計情報の演算を継続し、
前記新たな第１の統計情報の演算についての運転者と異なっていれば、前記新たな第１の統計情報の演算を、前記判定した運転者についての前記メモリに記憶された前記第１の統計情報を対象とした演算へと切り替える、
運転者状態判定方法。
【符号の説明】
【０１４３】
１０…運転者判定装置、  １１…監視データ取得部、  １２…車両情報取得部、  １３…取得情報記憶部、  １４…運転者交代可能性判定部、  １５…第１統計演算部、  １６…統計記憶部、  １７…個人判定部、  ２１…運転者監視センサ、  ２２…車両状態センサ、  ３０…運転者状態判定装置、  ３１…第２統計演算部、  ３２…状態判定部、  ３３…出力部、  ４０…運転者状態判定装置、  ４１…入出力インタフェースユニット、  ４２…制御ユニット、  ４３…記憶ユニット、  ５１…ドライバカメラ、  ５２…車速センサ、  ５３…ステアリングセンサ、  ５４…ウィンカセンサ、  ５５…ギアセレクタセンサ、  ５６…パーキングブレーキセンサ、  ６０…判定結果出力装置、  ４２１…ハードウェアプロセッサ、  ４２２…プログラムメモリ、  ４３１…監視データ記憶部、  ４３２…車両情報記憶部、  ４３３…学習データ記憶部、  ４２１１…監視データ取得部、  ４２１２…車両情報取得部、  ４２１３…個人差学習装置、  ４２１４…運転者状態判定部、  ４２１５…信号出力部、  ４３３１…不揮発性統計値テーブル、  ４３３２…揮発性統計値テーブル。
【図１】
2019091259.tif 000003
【図２】
2019091259.tif 000004
【図３Ａ】
2019091259.tif 000005
【図３Ｂ】
2019091259.tif 000006
【図３Ｃ】
2019091259.tif 000007
【図３Ｄ】
2019091259.tif 000008
【図４】
2019091259.tif 000009
【図５】
2019091259.tif 000010