(57)【要約】【課題】個人差を考慮した開眼状態か閉眼状態かの判定により乗員状態を適切に認識することができる乗員状態認識装置を提供する。【解決手段】乗員状態認識装置１００は、ドライバの瞼の開度と当該ドライバの瞼の開度の最大値及び最小値とを認識する瞼開度認識部１１と、瞼の開度が予め設定された閾値以上となる場合に開眼状態を判定すると共に瞼の開度が閾値未満となる場合に閉眼状態を判定する眼状態判定部１２と、一定時間又は一定の瞼開閉回数の間において最大値が閾値以上とならない場合、あるいは、一定時間又は一定の瞼開閉回数の間において最小値が閾値以下とならない場合、瞼開度認識部により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように閾値を再設定する閾値再設定部１３と、を備える。【選択図】図１
2020015336.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転席に着座するドライバの眼の開眼状態及び閉眼状態を判定することで乗員状態を認識する乗員状態認識装置であって、
前記車両のドライバモニタカメラの撮像情報に基づいて、前記ドライバの瞼の開度と、当該ドライバの瞼の開度の最大値と、当該ドライバの瞼の開度の最小値と、を認識する瞼開度認識部と、
前記瞼の開度が予め設定された閾値以上となる場合に前記開眼状態を判定すると共に、前記瞼の開度が前記閾値未満となる場合に前記閉眼状態を判定する眼状態判定部と、
一定時間又は一定の瞼開閉回数の間において前記最大値が前記閾値以上とならない場合、あるいは、前記一定時間又は前記一定の瞼開閉回数の間において前記最小値が前記閾値以下とならない場合、前記瞼開度認識部により認識された当該ドライバの前記瞼の開度の前記最大値と前記最小値との間の開度となるように前記閾値を再設定する閾値再設定部と、
を備える、乗員状態認識装置。
【請求項２】
前記閾値再設定部は、
前記ドライバの乗換えの有無を判定し、
前記乗換えがあったと判定した場合、前記瞼開度認識部により認識された当該ドライバの瞼の前記開度の前記最大値と前記最小値との間の開度となるように前記閾値を再設定する、請求項１に記載の乗員状態認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、乗員状態認識装置に関する。
【背景技術】
【０００２】
従来、乗員状態を認識する装置に関する技術として、被験者の瞬きを利用してコミュニケーションを図るためのコミュニケーションシステムが知られている（例えば特許５８７１２９０号公報）。このコミュニケーションシステムでは、被験者の瞬きを判定するために、被験者の眼が撮影された時系列に連続する複数のフレーム画像を用いて、フレーム画像上で被験者の眼を示す領域の減少により閉眼が判定され、閉眼が判定されてから当該領域の増加により開眼が判定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許５８７１２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、瞼の開度と開度閾値とに基づいて開眼状態か閉眼状態かを判定することで乗員状態を認識する技術においては、瞼の開閉の程度に関する個人差として、開眼状態が半目の状態となる場合、又は、閉眼状態が半目の状態となる場合がある。したがって、個人差を考慮した開眼状態か閉眼状態かの判定により乗員状態を適切に認識することが望まれる。
【０００５】
そこで、本技術分野では、個人差を考慮した開眼状態か閉眼状態かの判定により乗員状態を適切に認識することが望まれている。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る乗員状態認識装置は、車両の運転席に着座するドライバの眼の開眼状態及び閉眼状態を判定することで乗員状態を認識する乗員状態認識装置であって、車両のドライバモニタカメラの撮像情報に基づいて、ドライバの瞼の開度と、当該ドライバの瞼の開度の最大値と、当該ドライバの瞼の開度の最小値と、を認識する瞼開度認識部と、瞼の開度が予め設定された閾値以上となる場合に開眼状態を判定すると共に、瞼の開度が閾値未満となる場合に閉眼状態を判定する眼状態判定部と、一定時間又は一定の瞼開閉回数の間において最大値が閾値以上とならない場合、あるいは、一定時間又は一定の瞼開閉回数の間において最小値が閾値以下とならない場合、瞼開度認識部により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように閾値を再設定する閾値再設定部と、を備える。
【０００７】
本発明の一態様に係る乗員状態認識装置によれば、一定時間又は一定の瞼開閉回数において瞼の開度の最大値が閾値以上とならない場合（開眼状態が半目の状態となる場合）、あるいは、一定時間又は一定の瞼開閉回数において瞼の開度の最小値が閾値以下とならない場合（閉眼状態が半目の状態となる場合）には、閾値再設定部により、瞼開度認識部により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように閾値が再設定される。当該ドライバの瞼の開度の最大値と最小値との間の開度となるように閾値が再設定されることにより、眼状態判定部により開眼状態及び閉眼状態の判定をすることが可能となる。したがって、乗員状態認識装置によれば、個人差を考慮した開眼状態か閉眼状態かの判定により乗員状態を適切に認識することができる。
【０００８】
一実施形態において、上記乗員状態認識装置では、閾値再設定部は、ドライバの乗換えの有無を判定し、乗換えがあったと判定した場合、瞼開度認識部により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように閾値を再設定してもよい。この場合、例えば当該乗換え前のドライバと乗換え後のドライバとで瞼の開閉の程度に関する個人差が異なっていたとしても、当該乗換えに伴って閾値を再設定することで、眼状態判定部により開眼状態及び閉眼状態の判定を確実にすることが可能となる。
【発明の効果】
【０００９】
以上説明したように、本発明の種々の態様及び実施形態によれば、個人差を考慮した開眼状態か閉眼状態かの判定により乗員状態を適切に認識することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態の乗員状態認識装置を示すブロック図である。
【図２】第１の閾値再設定の例を示すタイミングチャートである。
【図３】第１の閾値再設定の例を示す他のタイミングチャートである。
【図４】乗員状態認識装置の処理を示すフローチャートである。
【図５】第１の閾値再設定の判定処理を示すフローチャートである。
【図６】第１の閾値再設定の再設定処理を示すフローチャートである。
【図７】第２の閾値再設定の例を示すタイミングチャートである。
【図８】第２の閾値再設定の判定処理を示すフローチャートである。
【図９】第２の閾値再設定の例を示す他のタイミングチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を参照して説明する。
【００１２】
図１は、一実施形態の乗員状態認識装置を示すブロック図である。図１に示されるように、乗員状態認識装置１００は、車両の運転席に着座するドライバの眼の開眼時間及び閉眼時間を推定することでドライバの状態（乗員状態）を認識する。乗員状態認識装置１００は、例えば、開眼時間及び閉眼時間の少なくとも何れか一方に基づいて、ドライバの覚醒度が低下していると判定される場合、ドライバに対して音声等で報知を行う。
【００１３】
［乗員状態認識装置１００の構成］
図１に示されるように、乗員状態認識装置１００は、ＥＣＵ［Electronic  Control  Unit］１０を備えている。ＥＣＵ１０は、ＣＰＵ［Central  Processing  Unit］、ＲＯＭ［Read  Only  Memory］、ＲＡＭ［Random  Access  Memory］、ＣＡＮ［Controller  Area  Network］通信回路等を有する電子制御ユニットである。ＥＣＵ１０では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。ＥＣＵ１０は、複数の電子ユニットから構成されていてもよい。
【００１４】
ＥＣＵ１０は、ドライバモニタカメラ１及びＨＭＩ［Human  Machine  Interface］２と接続されている。
【００１５】
ドライバモニタカメラ１は、例えば、車両のステアリングコラムのカバー上でドライバの正面の位置に設けられ、ドライバの撮像を行う。ドライバモニタカメラ１は、ドライバを複数方向から撮像するために複数設けられていてもよい。ドライバモニタカメラ１は、ドライバの撮像情報をＥＣＵ１０へ送信する。
【００１６】
ＨＭＩ２は、乗員状態認識装置１００とドライバとの間で情報の入出力を行うための車載のインターフェイスである。ここでのＨＭＩ２は、音声出力が可能なスピーカ等を含んでいる。ＨＭＩ２は、ＥＣＵ１０からの制御信号に応じて、スピーカからの音声出力を行う。
【００１７】
次に、ＥＣＵ１０の機能的構成について説明する。ＥＣＵ１０は、瞼開度認識部１１、眼状態判定部１２、閾値再設定部１３、時間算出部１４、及び報知制御部１５を有している。なお、以下に説明するＥＣＵ１０の機能の一部は、車両Ｖと通信可能なサーバにおいて実行される態様であってもよい。
【００１８】
瞼開度認識部１１は、ドライバモニタカメラ１の撮像情報に基づいて、ドライバの瞼の開度を認識する。瞼の開度とは、瞼の開き具合を表す指標であり、例えば瞼距離の割合とすることができる。瞼距離の割合とは、瞼開度認識部１１で算出した瞼距離と、瞼距離の割合の分母である分母瞼距離との割合を意味する。分母瞼距離は、当該ドライバの瞼の開度の最大値ではなく、予め設定された瞼距離であり、例えば、複数の被験者を対象とした事前試験により予め取得された瞼の開度の分布における瞼の開度の最大値とすることができる。
【００１９】
瞼開度認識部１１は、ドライバモニタカメラ１の撮像情報に基づいて、上瞼と下瞼との間の瞼距離を算出する。瞼開度認識部１１は、瞼距離として、例えば上瞼から下瞼までの３次元距離を算出する。上瞼から下瞼までの３次元距離とは、３次元顔モデル上での上瞼の中央部と下瞼の中央部とを結ぶ線分の長さに相当する。瞼開度認識部１１は、公知の手法により３次元距離を算出することができる。瞼開度認識部１１は、例えば、ドライバモニタカメラ１で撮像されたドライバの眼の目頭及び目尻に特徴点を設定し、特徴点を用いたパターンマッチング等の画像解析により、３次元顔モデル上での上瞼と下瞼とを認識する。瞼開度認識部１１は、認識した３次元顔モデル上での上瞼の中央部と下瞼の中央部とを結ぶ線分の長さを算出し、瞼距離として認識する。
【００２０】
瞼開度認識部１１は、算出した瞼距離を分母瞼距離で除算することにより、瞼の開度を認識する。瞼の開度は、百分率で表され、例えば、算出した瞼距離が０％である（瞼が完全に閉じている）場合、瞼の開度は０となり、算出した瞼距離が最大瞼距離と等しい（瞼が完全に開いている）場合、瞼の開度は１００％となる。瞼の開度は、０〜１の割合で表されてもよい。
【００２１】
瞼開度認識部１１は、算出した瞼距離に基づいて、当該ドライバの瞼の開度の最大値と当該ドライバの瞼の開度の最小値とを認識する。瞼開度認識部１１は、例えば、後述の開度閾値の再設定の処理において、所定の取得時間中に算出した瞼距離のうち最大となる瞼距離に基づいて、瞼の開度の最大値を認識する。瞼開度認識部１１は、例えば、開度閾値の再設定の処理において、取得時間中に算出した瞼距離のうち最小となる瞼距離に基づいて、瞼の開度の最小値を認識する。
【００２２】
眼状態判定部１２は、瞼開度認識部１１により認識された瞼の開度に基づいて、ドライバの眼の状態を判定する。ドライバの眼の状態には、開眼状態及び閉眼状態が含まれる。
【００２３】
開眼状態は、ドライバの瞬きにより瞼が一定開度以上で開いている状態を意味する。開眼状態は、必ずしも完全に瞼が開いた状態でなくてもよく、半目状態であってもよい。ここでの「完全に瞼が開いた状態」とは、例えば、複数の被験者を対象とした事前試験により予め取得された瞼の開度の分布における瞼の開度の最大値に瞼の開度が達している状態を意味する。
【００２４】
閉眼状態は、ドライバの瞬き又は覚醒度の低下により瞼が一定開度未満となっている状態を意味する。閉眼状態は、必ずしも完全に瞼が閉じた状態でなくてもよく、半目状態であってもよい。ここでの「完全に瞼が閉じた状態」とは、例えば、複数の被験者を対象とした事前試験により予め取得された瞼の開度の分布における瞼の開度の最小値まで瞼の開度が小さくなっている状態を意味する。
【００２５】
具体的には、眼状態判定部１２は、瞼開度認識部１１により認識された瞼の開度が開度閾値（閾値）以上となる場合に開眼状態を判定すると共に、瞼の開度が開度閾値未満となる場合に閉眼状態を判定する。眼状態判定部１２は、ドライバの眼の状態（開眼状態又は閉眼状態）の判定結果を、当該判定結果の判定時刻と関連付けて記憶してもよい。眼状態判定部１２は、当該判定結果を時系列のフラグ情報として記憶してもよい。
【００２６】
開度閾値は、開眼状態又は閉眼状態を判定するための瞼の開度の閾値である。開度閾値としては、例えばＥＣＵ１０が起ち上げられて初回の眼状態判定部１２の処理においては、予め設定された初期開度閾値が用いられる。初期開度閾値は、例えば、複数の被験者を対象とした事前試験により予め取得された瞼の開度の分布に基づいて、予め設定することができる。初期開度閾値は、ＥＣＵ１０に予め記憶されていてもよい。
【００２７】
開度閾値は、後述の閾値再設定部１３により再設定され得る。開度閾値が閾値再設定部１３により再設定された場合、眼状態判定部１２は、瞼開度認識部１１により認識された瞼の開度が再設定された開度閾値以上となる場合に開眼状態を判定すると共に、瞼の開度が再設定された開度閾値未満となる場合に閉眼状態を判定する。
【００２８】
閾値再設定部１３は、例えば第１の閾値再設定として、所定の閾値再設定条件が成立した場合に、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。所定の閾値再設定条件としては、例えば、一定時間又は一定の瞼開閉回数の間において瞼の開度の最大値が開度閾値以上とならない場合、あるいは、一定時間又は一定の瞼開閉回数の間において瞼の開度の最小値が開度閾値以下とならない場合が挙げられる（詳しくは後述）。
【００２９】
また、閾値再設定部１３は、例えば第２の閾値再設定として、ドライバの乗換えの有無を判定し、乗換えがあったと判定した場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する（詳しくは後述）。
【００３０】
時間算出部１４は、眼状態判定部１２の判定結果に基づいて、開眼状態となってから閉眼状態となるまでの時間である開眼時間を算出する。開眼時間とは、ドライバの瞬きにより瞼が一定開度以上で開いている状態の継続時間を意味する。開眼時間の開始時刻は、ドライバの眼が開眼状態となった判定時刻であり、具体的には、眼状態判定部１２の判定結果が閉眼状態から開眼状態に変化した判定時刻とすることができる。開眼時間の終了時刻は、ドライバの眼が閉眼状態となった判定時刻であり、具体的には、当該開眼時間の開始時刻以後において眼状態判定部１２の判定結果が開眼状態から閉眼状態に変化した判定時刻とすることができる。
【００３１】
報知制御部１５は、時間算出部１４の算出結果に基づいて、ドライバへの報知を制御する。報知制御部１５は、例えば、時間算出部１４により算出された開眼時間に基づいて瞬きの時間間隔を算出し、瞬きの時間間隔が所定の瞬き間隔閾値未満となった場合、ドライバの覚醒度が低下していると判定する。報知制御部１５は、ドライバの覚醒度が低下していると判定した場合、例えばドライバへの音声等で「お疲れですか？」等の報知を行うことで、休息を取ることをドライバに働きかける。
【００３２】
［第１の閾値再設定］
次に、閾値再設定部１３による第１の閾値再設定の動作及び処理について、図２〜図６を参照しつつ説明する。
【００３３】
図２は、乗員状態認識装置の動作例を示すタイミングチャートである。図２の横軸には、時間が示されている。図２の縦軸には、瞼の開度が示されている。図２の実線は、ドライバの瞼の開度の時間的変化を示している。図２は、一例として、後述のドライバの乗換えがないと判定される場合において、閉眼状態が半目の状態となる場合を示している。
【００３４】
図２において、時刻Ｔ１は、瞼の開度Ｅ１が開度閾値Ｔｈ０と等しくなった時刻である。開度閾値Ｔｈ０は、特に限定されないが、例えば予め設定された初期開度閾値である。時刻Ｔ２は、時刻Ｔ１から時間ＴＭ１（一定時間）が経過した時刻である。時間ＴＭ１の開始時刻は、例えば瞼の開度が開度閾値Ｔｈ０と最後に等しくなった時刻とすることができる。
【００３５】
時刻Ｔ１から時刻Ｔ２までの時間において、図２では詳しい図示を省略しているが、瞼の開度が開度閾値Ｔｈ０よりも大きい開度となっている。つまり、時刻Ｔ１から時刻Ｔ２までの時間においては、瞼の開度の最小値が開度閾値Ｔｈ０以下とならない。この場合、閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。
【００３６】
時刻Ｔ３は、時刻Ｔ２から時間ＴＭ２（取得時間）が経過した時刻である。取得時間は、開度閾値の再設定のために、当該ドライバの瞼の開度の最大値と最小値とを認識するための時間である。取得時間は、複数回の瞬きがドライバにより行われ得る時間として予め設定されてもよい。取得時間は、特に限定されないが、例えば１５０秒とすることができる。
【００３７】
瞼開度認識部１１は、時刻Ｔ２から時刻Ｔ３までの取得時間において、当該ドライバの瞼の開度の最大値と最小値とを認識する。図２の例では、時刻Ｔ２から時刻Ｔ３までの時間において、瞼開度認識部１１により、まず瞼の開度Ｅ２が当該ドライバの瞼の開度の最大値として認識され、次いで瞼の開度Ｅ３が当該ドライバの瞼の開度の最小値として認識され、次いで瞼の開度Ｅ４が当該ドライバの瞼の開度の新たな最大値として認識される。
【００３８】
時刻Ｔ３において、閾値再設定部１３は、当該ドライバの瞼の開度の最大値として認識された瞼の開度Ｅ４と、当該ドライバの瞼の開度の最小値として認識された瞼の開度Ｅ３との間の開度となるように、開度閾値Ｔｈ１を再設定する。ここでの閾値再設定部１３は、再設定される開度閾値として、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との中間値を算出する。一例として、図２では、閾値再設定部１３は、最大値（瞼の開度Ｅ４）と最小値（瞼の開度Ｅ３）との中間値を算出し、当該中間値を開度閾値Ｔｈ１として再設定する。これにより、時刻Ｔ３以降では、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。
【００３９】
続いて、閾値再設定部１３は、一定の瞼開閉回数の間において瞼の開度の最小値が開度閾値以下とならない場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。
【００４０】
図３は、乗員状態認識装置の他の動作例を示すタイミングチャートである。図３の横軸及び縦軸は、図２の横軸及び縦軸と同様である。図３は、図２と同様、後述のドライバの乗換えがないと判定される場合において、閉眼状態が半目の状態となる場合を示している。
【００４１】
図３において、時刻Ｔ４は、瞼の開度Ｅ５が開度閾値Ｔｈ０と等しい実線上の点Ｐ１に対応する時刻である。時間ＴＮは、一定の瞼開閉回数の間に相当し、一定の瞼開閉回数での瞬きがドライバにより行われた実線上の点Ｐ２に対応する時刻Ｔ５までの時刻Ｔ４からの時間である。時間ＴＮの開始時刻は、瞼開閉回数の積算を開始する時刻を意味し、例えば瞼の開度が開度閾値Ｔｈ０と最後に等しくなった時刻とすることができる。瞼開閉回数は、ドライバによる瞬きによって、瞼の開度が開度閾値Ｔｈ０を跨がないで瞼が開閉された回数である。瞼開閉回数は、瞼の開度が開度閾値Ｔｈ０よりも大きい開度のままで減少から増加に転じたタイミング（実線上の点Ｐ３，点Ｐ４，点Ｐ５）で増加されてもよい。
【００４２】
時刻Ｔ４から時刻Ｔ５までの時間において、図３では詳しい図示を省略しているが、瞼の開度が開度閾値Ｔｈ０よりも大きい開度の状態で、一定の瞼開閉回数での瞬きがドライバにより行われている。つまり、一定の瞼開閉回数の間である時間ＴＮにおいては、瞼の開度の最小値が開度閾値Ｔｈ０以下とならない。この場合、閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。
【００４３】
時刻Ｔ６は、時刻Ｔ５からの取得時間の終了時刻に相当し、時刻Ｔ５より後に所定の取得瞼開閉回数での瞬きがドライバにより行われた時刻である。取得瞼開閉回数は、開度閾値の再設定のために、当該ドライバの瞼の開度の最大値と最小値と認識するための瞼開閉回数である。取得瞼開閉回数は、ドライバにより行われる複数の瞬きに対応する回数として予め設定されてもよい。なお、図３の例では、説明の簡易化のために、取得瞼開閉回数が３回の例が示されている（実線上の点Ｐ３，点Ｐ４，点Ｐ５）が、取得瞼開閉回数は、特に限定されない。
【００４４】
瞼開度認識部１１は、時刻Ｔ５より後に所定の取得瞼開閉回数での瞬きがドライバにより行われる時刻Ｔ６までの取得時間において、当該ドライバの瞼の開度の最大値と最小値とを認識する。図３の例では、時刻Ｔ５から時刻Ｔ６までの時間において、瞼開度認識部１１により、まず瞼の開度Ｅ６が当該ドライバの瞼の開度の最大値として認識され、次いで瞼の開度Ｅ７が当該ドライバの瞼の開度の最小値として認識され、次いで瞼の開度Ｅ８が当該ドライバの瞼の開度の新たな最大値として認識され、次いで瞼の開度Ｅ９が当該ドライバの瞼の開度の新たな最小値として認識される。
【００４５】
時刻Ｔ６において、閾値再設定部１３は、当該ドライバの瞼の開度の最大値として認識された瞼の開度Ｅ８と、当該ドライバの瞼の開度の最小値として認識された瞼の開度Ｅ９との間の開度となるように、開度閾値Ｔｈ２を再設定する。一例として、図３では、閾値再設定部１３は、最大値（瞼の開度Ｅ８）と最小値（瞼の開度Ｅ９）との中間値を算出し、当該中間値を開度閾値Ｔｈ２として再設定する。これにより、時刻Ｔ６以降では、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。
【００４６】
次に、乗員状態認識装置１００による演算処理の一例について説明する。図４は、乗員状態認識装置１００の処理を示すフローチャートである。図４に示されるフローチャートの処理は、例えば、乗員状態認識装置１００を備える車両の走行中を含むＥＣＵ１０の電源がオンの場合に実行される。
【００４７】
Ｓ１１において、乗員状態認識装置１００のＥＣＵ１０は、眼状態判定部１２により、ＥＣＵ１０の処理が初回処理か否かの判定を行う。眼状態判定部１２は、ＥＣＵ１０の処理が初回処理であると判定した場合（Ｓ１１：ＹＥＳ）、Ｓ１２において、開度閾値の初期化を行う。眼状態判定部１２は、ＥＣＵ１０の処理が初回処理ではないと判定した場合（Ｓ１１：ＮＯ）、開度閾値の初期化を行わない。
【００４８】
Ｓ１３において、ＥＣＵ１０は、瞼開度認識部１１により、瞼の開度の認識を行う。瞼開度認識部１１は、ドライバモニタカメラ１の撮像情報に基づいて、瞼の開度を認識する。
【００４９】
Ｓ１４において、ＥＣＵ１０は、眼状態判定部１２により、ドライバの瞼の開度が開度閾値以上であるか否かの判定を行う。眼状態判定部１２は、ドライバの瞼の開度が開度閾値以上であると判定した場合（Ｓ１４：ＹＥＳ）、Ｓ１５において、ドライバの眼の状態が開眼状態であると判定する。眼状態判定部１２は、ドライバの瞼の開度が開度閾値未満であると判定した場合（Ｓ１４：ＮＯ）、Ｓ１６において、ドライバの眼の状態が閉眼状態であると判定する。
【００５０】
Ｓ１７において、ＥＣＵ１０は、時間算出部１４により、開眼時間の算出を行う。時間算出部１４は、眼状態判定部１２の判定結果に基づいて、開眼時間を算出する。
【００５１】
Ｓ１８において、ＥＣＵ１０は、報知制御部１５により、ドライバへの報知の制御を行う。報知制御部１５は、例えば、時間算出部１４により算出された開眼時間に基づいて瞬きの時間間隔を算出し、瞬きの時間間隔が所定の瞬き間隔閾値未満となった場合、ドライバの覚醒度が低下していると判定する。報知制御部１５は、ドライバの覚醒度が低下していると判定した場合、例えばドライバへの音声等で報知を行うことで、休息を取ることをドライバに働きかける。その後、ＥＣＵ１０は、図４の演算処理を終了する。
【００５２】
続いて、図５は、第１の閾値再設定の判定処理を示すフローチャートである。図５に示されるフローチャートの処理は、例えば、図４の処理の実行中において並行して実行される。
【００５３】
Ｓ２１において、ＥＣＵ１０は、閾値再設定部１３により、閾値再設定条件が成立したか否かの判定を行う。閾値再設定部１３は、閾値再設定条件が成立したと判定した場合（Ｓ２１：ＹＥＳ）、Ｓ２２において、開度閾値の再設定を行う。閾値再設定部１３は、閾値再設定条件が成立していないと判定した場合（Ｓ２１：ＮＯ）、開度閾値の再設定を行わない。その後、ＥＣＵ１０は、図５の演算処理を終了する。
【００５４】
Ｓ２２の開度閾値の再設定の処理として、具体的には、ＥＣＵ１０は、瞼開度認識部１１及び閾値再設定部１３により図６の処理を行う。図６は、第１の閾値再設定の再設定処理を示すフローチャートである。
【００５５】
Ｓ３１において、ＥＣＵ１０は、瞼開度認識部１１により、瞼の開度の認識を行う。瞼開度認識部１１は、ドライバモニタカメラ１の撮像情報に基づいて、瞼の開度を認識する。Ｓ３２において、ＥＣＵ１０は、瞼開度認識部１１により、瞼の開度の最大値の認識を行う。瞼開度認識部１１は、算出した瞼距離に基づいて、当該ドライバの瞼の開度の最大値を認識する。Ｓ３３において、ＥＣＵ１０は、瞼開度認識部１１により、瞼の開度の最小値の認識を行う。瞼開度認識部１１は、算出した瞼距離に基づいて、当該ドライバの瞼の開度の最小値を認識する。
【００５６】
Ｓ３４において、ＥＣＵ１０は、閾値再設定部１３により、取得時間が経過したか否かの判定を行う。閾値再設定部１３により取得時間が経過していないと判定された場合（Ｓ３４：ＮＯ）、ＥＣＵ１０は、Ｓ３１に移行し、Ｓ３１〜Ｓ３３の処理を繰り返す。閾値再設定部１３により取得時間が経過したと判定された場合（Ｓ３４：ＹＥＳ）、Ｓ３５において、ＥＣＵ１０は、閾値再設定部１３により、中間値の算出を行う。閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との中間値を算出する。
【００５７】
Ｓ３６において、ＥＣＵ１０は、閾値再設定部１３により、開度閾値の再設定を行う。閾値再設定部１３は、算出した中間値を開度閾値として再設定する。その後、ＥＣＵ１０は、図６の演算処理を終了する。
【００５８】
以上説明した乗員状態認識装置１００によれば、一定時間又は一定の瞼開閉回数において瞼の開度の最小値が開度閾値以下とならない場合（閉眼状態が半目の状態となる場合）には、閾値再設定部１３により、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値が再設定される。当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値が再設定されることにより、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。したがって、乗員状態認識装置１００によれば、個人差を考慮した開眼状態か閉眼状態かの判定により乗員状態を適切に認識することができる。
【００５９】
［第２の閾値再設定］
次に、閾値再設定部１３による第２の閾値再設定の動作及び処理について、図７，図８を参照しつつ説明する。
【００６０】
閾値再設定部１３は、第２の閾値再設定の条件として、ドライバの乗換えの有無を判定する。ドライバの乗換えの有無を判定とは、車両の運転席に着座するドライバが入れ替わった可能性があると閾値再設定部１３により判定されたことを意味する。ドライバの乗換えとは、必ずしもドライバが実際に乗換えをすることを要しない。
【００６１】
閾値再設定部１３は、例えば、運転席ドアの開閉センサの検出結果に基づいて、閉じていた運転席ドアが開かれたと判定された場合、ドライバの乗換えがあったと判定してもよい。閾値再設定部１３は、例えば、運転席ドアのカーテシーランプへの出力電流に基づいて、当該電流が出力されたと判定された場合、ドライバの乗換えがあったと判定してもよい。閾値再設定部１３は、例えば、運転席のシートベルトセンサの検出結果に基づいて、装着されていた運転席のシートベルトが取り外されたことが判定された場合、ドライバの乗換えがあったと判定してもよい。
【００６２】
閾値再設定部１３は、ドライバの乗換えがあったと判定した場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。
【００６３】
図７は、第２の閾値再設定の例を示すタイミングチャートである。図７の横軸には、時間が示されている。図７の縦軸には、瞼の開度が示されている。図７の実線は、ドライバの瞼の開度の時間的変化を示している。図７は、一例として、ドライバの乗換えがあったと判定される場合において、閉眼状態が半目の状態となる場合を示している。
【００６４】
図７において、時刻Ｔ７は、閾値再設定部１３によりドライバの乗換えがあったと判定された時刻である。この場合、閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。
【００６５】
時刻Ｔ８は、時刻Ｔ７から時間ＴＭ２（上述の取得時間）が経過した時刻である。瞼開度認識部１１は、時刻Ｔ７から時刻Ｔ８までの取得時間において、当該ドライバの瞼の開度の最大値と最小値とを認識する。図７の例では、時刻Ｔ７から時刻Ｔ８までの時間において、瞼開度認識部１１により、まず瞼の開度Ｅ１０が当該ドライバの瞼の開度の最大値として認識され、次いで瞼の開度Ｅ１１が当該ドライバの瞼の開度の最小値として認識され、次いで瞼の開度Ｅ１２が当該ドライバの瞼の開度の新たな最大値として認識され、次いで瞼の開度Ｅ１３が当該ドライバの瞼の開度の新たな最小値として認識される。
【００６６】
時刻Ｔ８において、閾値再設定部１３は、当該ドライバの瞼の開度の最大値として認識された瞼の開度Ｅ１２と、当該ドライバの瞼の開度の最小値として認識された瞼の開度Ｅ１３との間の開度となるように、開度閾値Ｔｈ３を再設定する。ここでの閾値再設定部１３は、再設定される開度閾値として、最大値（瞼の開度Ｅ１２）と最小値（瞼の開度Ｅ１３）との中間値を算出し、当該中間値を開度閾値Ｔｈ３として再設定する。これにより、時刻Ｔ８以降では、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。
【００６７】
次に、閾値再設定部１３による第２の閾値再設定の動作及び処理について、図８を参照しつつ説明する。図８は、第２の閾値再設定の判定処理を示すフローチャートである。図８に示されるフローチャートの処理は、例えば、図４の処理の実行中において並行して実行される。
【００６８】
Ｓ４１において、ＥＣＵ１０は、閾値再設定部１３により、ドライバの乗換えの有無の判定を行う。閾値再設定部１３は、ドライバの乗換えがあったと判定した場合（Ｓ４１：ＹＥＳ）、Ｓ４２において、開度閾値の再設定を行う。Ｓ４２の開度閾値の再設定の処理として、具体的には、ＥＣＵ１０は、瞼開度認識部１１及び閾値再設定部１３により図６と同じ処理を行うことができる。閾値再設定部１３は、ドライバの乗換えがないと判定した場合（Ｓ４１：ＮＯ）、開度閾値の再設定を行わない。その後、ＥＣＵ１０は、図８の演算処理を終了する。
【００６９】
以上説明した乗員状態認識装置１００によれば、閾値再設定部１３は、ドライバの乗換えの有無を判定し、乗換えがあったと判定した場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。これにより、例えば当該乗換え前のドライバと乗換え後のドライバとで瞼の開閉の程度に関する個人差が異なっていたとしても、当該乗換えに伴って開度閾値を再設定することで、眼状態判定部１２により開眼状態及び閉眼状態の判定を確実にすることが可能となる。
【００７０】
［変形例］
本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
【００７１】
上記実施形態では、図２，図３及び図７に示されるように、瞼の開度の最小値が開度閾値以下とならない場合（閉眼状態が半目の状態となる場合）について例示したが、図９に示されるように、瞼の開度の最大値が開度閾値以上とならない場合（開眼状態が半目の状態となる場合）にも、閾値再設定部１３は、開度閾値を再設定することができる。
【００７２】
図９は、第２の閾値再設定の例を示す他のタイミングチャートである。図９の横軸及び縦軸は、図７の横軸及び縦軸と同様である。図９は、一例として、ドライバの乗換えがあったと判定される場合において、開眼状態が半目の状態となる場合を示している。
【００７３】
図９において、時刻Ｔ９は、閾値再設定部１３によりドライバの乗換えがあったと判定された時刻である。この場合、閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定する。
【００７４】
時刻Ｔ１０は、時刻Ｔ９から時間ＴＭ２（上述の取得時間）が経過した時刻である。瞼開度認識部１１は、時刻Ｔ９から時刻Ｔ１０までの取得時間において、当該ドライバの瞼の開度の最大値と最小値とを認識する。図９の例では、時刻Ｔ９から時刻Ｔ１０までの時間において、瞼開度認識部１１により、まず瞼の開度Ｅ１４が当該ドライバの瞼の開度の最大値として認識され、次いで瞼の開度Ｅ１５が当該ドライバの瞼の開度の最小値として認識され、次いで瞼の開度Ｅ１６が当該ドライバの瞼の開度の新たな最大値として認識され、次いで瞼の開度Ｅ１７が当該ドライバの瞼の開度の新たな最小値として認識される。
【００７５】
時刻Ｔ１０において、閾値再設定部１３は、当該ドライバの瞼の開度の最大値として認識された瞼の開度Ｅ１６と、当該ドライバの瞼の開度の最小値として認識された瞼の開度Ｅ１７との間の開度となるように、開度閾値Ｔｈ４を再設定する。ここでの閾値再設定部１３は、再設定される開度閾値として、最大値（瞼の開度Ｅ１６）と最小値（瞼の開度Ｅ１７）との中間値を算出し、当該中間値を開度閾値Ｔｈ４として再設定する。これにより、時刻Ｔ１０以降では、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。
【００７６】
なお、閾値再設定部１３は、一定時間（例えば時間ＴＭ１）において瞼の開度の最大値が開度閾値（例えば開度閾値Ｔｈ０）以上とならない場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定してもよい。
【００７７】
また、閾値再設定部１３は、一定の瞼開閉回数の間（例えば時間ＴＮ）において瞼の開度の最大値が開度閾値（例えば開度閾値Ｔｈ０）以上とならない場合、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値を再設定してもよい。ここでの瞼開閉回数は、例えば、瞼の開度が開度閾値Ｔｈ０をよりも小さい開度のままで増加から減少に転じたタイミングで増加されてもよいし、瞼の開度が開度閾値Ｔｈ０をよりも小さい開度のままで減少から増加に転じたタイミングで増加されてもよい。
【００７８】
したがって、一定時間又は一定の瞼開閉回数において瞼の開度の最大値が開度閾値以上とならない場合（開眼状態が半目の状態となる場合）についても、閾値再設定部１３により、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値が再設定される。当該ドライバの瞼の開度の最大値と最小値との間の開度となるように開度閾値が再設定されることにより、眼状態判定部１２により開眼状態及び閉眼状態の判定をすることが可能となる。
【００７９】
上記実施形態では、閾値再設定部１３は、瞼開度認識部１１により認識された当該ドライバの瞼の開度の最大値と最小値との中間値を算出し、当該中間値を開度閾値として再設定したが、例えば、最大値又は最小値のいずれか一方のみを用いて開度閾値を再設定してもよい。例えば、閾値再設定部１３は、一定時間又は一定の瞼開閉回数において瞼の開度の最小値が開度閾値以下とならない場合には、最小値のみを用いて、最小値に所定値を加算した瞼の開度を開度閾値として、最大値と最小値との間の開度となるように再設定してもよい。また、閾値再設定部１３は、一定時間又は一定の瞼開閉回数において瞼の開度の最大値が開度閾値以上とならない場合には、最大値のみを用いて、最大値から所定値を減算した瞼の開度を開度閾値として、最大値と最小値との間の開度となるように再設定してもよい。
【００８０】
上記実施形態では、瞼開度認識部１１は、瞼の開度を認識するために、上瞼から下瞼までの３次元距離を瞼距離として算出したが、これに限定されない。例えば、瞼開度認識部１１は、ドライバモニタカメラ１で撮像されたドライバの眼の撮像画像上における上瞼から下瞼までの距離を瞼距離として算出してもよい。あるいは、瞼開度認識部１１は、ドライバモニタカメラ１で撮像されたドライバの眼の撮像画像における白目部分と黒目部分との面積比率を算出し、当該面積比率を瞼の開度として認識してもよい。
【００８１】
上記実施形態では、瞼の開度として、瞼開度認識部１１で算出した瞼距離と、瞼距離の最大値である最大瞼距離との割合を例示したが、瞼開度認識部１１で算出した瞼距離を、そのまま瞼の開度として用いてもよい。
【００８２】
上記実施形態では、報知制御部１５は、ドライバの覚醒度が低下していると判定した場合、ドライバへ音声での報知を行ったが、例えばシート等を振動させることでドライバへの報知を行ってもよいし、必ずしもドライバへの報知を行わなくてもよい。報知制御部１５は、省略されてもよい。
【００８３】
上記実施形態の図３の例（閉眼状態が半目の状態となる場合）では、瞼開閉回数は、瞼の開度が開度閾値Ｔｈ０よりも大きい開度のままで減少から増加に転じたタイミングで増加させたが、瞼の開度が開度閾値Ｔｈ０よりも大きい開度のままで増加から減少に転じたタイミングで増加させてもよい。
【００８４】
上記実施形態では、時間算出部１４は、眼状態判定部１２の判定結果に基づいて、開眼状態となってから閉眼状態となるまでの時間である開眼時間を算出したが、閉眼状態となってから開眼状態となるまでの時間である閉眼時間を算出してもよい。
【００８５】
上記実施形態において、乗員状態認識装置１００は、第１の閾値再設定に加えて、第２の閾値再設定を実施可能であったが、第１の閾値再設定、及び、第２の閾値再設定のうちの少なくとも何れか一方を実施可能であればよい。
【００８６】
上記実施形態において、閾値再設定部１３は、開度閾値を一旦再設定した場合、所定の条件が成立するまでは、更なる開度閾値の再設定を禁止してもよい。所定の条件としては、例えば、閾値再設定部１３がドライバの乗換えがあったと判定した場合であってもよい。この場合、開度閾値の再設定が何度も行われることを回避することができる。
【符号の説明】
【００８７】
１…ドライバモニタカメラ、２…ＨＭＩ、１０…ＥＣＵ、１１…瞼開度認識部、１２…眼状態判定部、１３…閾値再設定部、１４…時間算出部、１５…報知制御部、１００…乗員状態認識装置、Ｖ…車両。
【図１】
2020015336.tif 000003
【図２】
2020015336.tif 000004
【図３】
2020015336.tif 000005
【図４】
2020015336.tif 000006
【図５】
2020015336.tif 000007
【図６】
2020015336.tif 000008
【図７】
2020015336.tif 000009
【図８】
2020015336.tif 000010
【図９】
2020015336.tif 000011