(57)【要約】【課題】対象者の動きにより対象者の計測状態が変化した場合に、誤った推定結果が正しいものとして出力されないようにして、信頼性の高い推定結果を得る。【解決手段】生体状態推定装置２０において、カメラ４０から出力された運転者の顔画像データを一定の取得周期で取り込むと共に、ウェアラブル端末５０から送信された心電データを上記取得周期で取り込む。そして、第１乃至第３の各眠気推定部２１３〜２１５において、上記顔画像データから、前庭動眼反射（ＶＯＲ）を示す特徴量、眼の瞬き運動または瞼の開閉運動を示す特徴量、および運転者の顔の表情を表す特徴量を検出して、これらの特徴量をもとにそれぞれユーザの眠気を推定する。また第４の眠気推定部２１６において、上記心電データから人の自律神経活動と関連性を有する特徴量を検出してこの特徴量をもとにユーザの眠気を推定する。【選択図】図４
2019111092.tif 000002
【特許請求の範囲】
【請求項１】
対象者の撮像画像情報およびバイタル情報の少なくとも１つを含む計測情報をセンサ部から取得する計測情報取得部と、
前記計測情報から前記対象者の作業に影響を及ぼす生体状態に係る特徴パラメータを検出し、当該特徴パラメータに基づいて前記生体状態を推定する推定部と、
前記作業を含む前記対象者の動きに起因して発生し、かつ前記生体状態の推定精度に影響を及ぼす、前記計測情報の計測状態の変化を判定する計測状態判定部と、
前記計測状態の変化の判定結果に基づいて、前記生体状態の推定値に対する重み係数を可変設定する重み制御部と、
前記可変設定された重み係数に応じて、前記生体状態の推定値に対し重み付けを行い、当該重み付けされた生体状態の推定値を出力する重み付け部と
を具備する生体状態推定装置。
【請求項２】
前記重み付け部から出力された、前記重み付けされた生体状態の推定値に基づいて、前記対象者の生体状態による前記作業への影響の度合いを判定し、その判定結果を出力する出力部を、さらに具備する請求項１に記載の生体状態推定装置。
【請求項３】
前記計測情報取得部は、前記計測情報として、前記対象者の顔画像情報を取得し、
前記推定部は、前記特徴パラメータとして、前記顔画像情報から前記対象者の顔または眼の動きを検出し、前記生体状態として、前記顔または眼の動きに基づいて眠気の度合いを推定し、
前記計測状態判定部は、前記計測状態として、前記顔画像情報が前記対象者の顔または眼の動きを検出可能な情報を含むか否かを判定し、
前記重み制御部は、前記顔画像情報が前記対象者の顔または眼の動きを検出可能な情報を含んでいると判定された場合に前記重み係数を第１の値に設定し、含んでいないと判定された場合には前記重み係数を前記第１の値より小さい第２の値に設定する、
請求項１に記載の生体状態推定装置。
【請求項４】
前記推定部は、
前記顔画像情報から、前記対象者の眼の瞳孔の動きを表す前庭動眼反射を検出し、当該検出された前庭動眼反射に基づいて前記眠気の度合いを推定する第１の推定部と、
前記顔画像情報から、前記対象者の眼の瞬きまたは瞼の開閉の多少を表す情報を検出し、当該検出された瞬きまたは瞼の開閉の多少を表す情報に基づいて前記眠気の度合いを推定する第２の推定部と、
前記顔画像情報から、前記対象者の顔の特定部位の変化を表情の変化を表す情報として検出し、当該検出された表情の変化を表す情報に基づいて前記眠気の度合いを推定する第３の推定部と
のうちの少なくとも１つを備える、請求項３に記載の生体状態推定装置。
【請求項５】
前記計測状態判定部は、前記計測状態として、前記顔画像情報が前記対象者の顔を表す画像を含んでいるか否かを判定し、
前記重み制御部は、前記顔画像情報が前記対象者の顔を表す画像を含んでいないと判定された場合に、前記第１、第２および第３の推定部のうちの少なくとも１つにより得られる推定値に対する重み係数を前記第２の値に設定する、
請求項４に記載の生体状態推定装置。
【請求項６】
前記計測状態判定部は、前記計測状態として、前記顔画像情報をもとに前記対象者の顔の向きが前記センサ部の方向に対し所定の角度の範囲内に含まれているか否かを判定し、
前記重み制御部は、前記対象者の顔の向きが前記センサ部の方向に対し前記所定の角度の範囲内に含まれていないと判定された場合に、前記第１および第３の推定部のうちの少なくとも１つにより得られる推定値に対する重み係数を前記第２の値に設定する、
請求項４に記載の生体状態推定装置。
【請求項７】
前記計測状態判定部は、前記計測状態として、前記顔画像情報が前記対象者の眼の少なくとも一方を表す画像を含んでいるか否かを判定し、
前記重み制御部は、前記顔画像情報が前記対象者の眼の少なくとも一方を表す画像を含んでいないと判定された場合に、前記第１および第２の推定部の少なくとも１つにより得られる推定値に対する重み係数を前記第２の値に設定する、
請求項４に記載の生体状態推定装置。
【請求項８】
前記計測状態判定部は、前記計測状態として、前記顔画像情報が前記対象者の口を表す画像を含んでいるか否かを判定し、
前記重み制御部は、前記対象者の口を表す画像を含んでいないと判定された場合に、前記第３の推定部による推定値に対する重み係数を前記第２の値に設定する、
請求項４に記載の生体状態推定装置。
【請求項９】
前記計測状態判定部は、前記計測状態として、前記顔画像情報をもとに前記対象者の視線の方向が前記センサ部の方向に対し所定の角度の範囲内に含まれているか否かを判定し、
前記重み制御部は、前記対象者の視線の方向が前記センサ部の方向に対し所定の角度の範囲内に含まれていないと判定された場合に、前記第１の推定部による推定値に対する重み係数を前記第２の値に設定する、
請求項４に記載の生体状態推定装置。
【請求項１０】
前記計測情報取得部は、前記計測情報として、前記対象者の心拍情報を取得し、
前記推定部は、前記特徴パラメータとして、前記心拍情報から自律神経活動と関連性を有する特徴量を検出し、前記対象者の生体状態として、前記自律神経活動と関連性を有する特徴量に基づいて眠気の度合いを推定し、
前記計測状態判定部は、前記計測状態として、前記心拍情報が前記自律神経活動と関連性を有する特徴量を検出可能な情報成分を含んでいるか否かを判定し、
前記重み制御部は、前記心拍情報が前記自律神経活動と関連性を有する特徴量を検出可能な情報成分を含んでいると判定された場合に前記重み係数を第３の値に設定し、前記情報成分を含んでいないと判定された場合には前記重み係数を前記第３の値より小さい第４の値に設定する、
請求項１に記載の生体状態推定装置。
【請求項１１】
対象者の撮像画像情報を撮像部から取得する計測情報取得部と、
前記撮像画像情報から前記対象者の作業に影響を及ぼす生体状態に係る特徴パラメータを検出し、当該特徴パラメータに基づいて前記生体状態を推定する推定部と、
前記作業を含む前記対象者の動きに起因して発生し、かつ前記生体状態の推定精度に影響を及ぼす、前記撮像画像情報の計測状態の変化を判定する計測状態判定部と、
前記計測状態の変化の判定結果に基づいて、前記生体状態の推定値に対する重み係数を可変設定する重み制御部と、
前記可変設定された重み係数に応じて、前記生体状態の推定値に対し重み付けを行い、当該重み付けされた生体状態の推定値を出力する重み付け部と
を具備する生体状態推定装置。
【請求項１２】
生体状態推定装置が実行する生体状態推定方法であって、
前記生体状態推定装置が、対象者の撮像画像情報およびバイタル情報の少なくとも１つを含む計測情報をセンサ部から取得する過程と、
前記生体状態推定装置が、前記計測情報から前記対象者の作業に影響を及ぼす生体状態に係る特徴パラメータを検出し、当該特徴パラメータに基づいて前記生体状態を推定する過程と、
前記生体状態推定装置が、前記作業を含む前記対象者の動きに起因して発生し、かつ前記生体状態の推定精度に影響を及ぼす、前記計測情報の計測状態の変化を判定する過程と、
前記生体状態推定装置が、前記計測状態の変化の判定結果に基づいて、前記生体状態の推定値に対する重み係数を可変設定する過程と、
前記生体状態推定装置が、前記可変設定された重み係数に応じて、前記生体状態の推定値に対し重み付けを行い、当該重み付けされた生体状態の推定値を出力する過程と
を具備する生体状態推定方法。
【請求項１３】
請求項１乃至請求項１１のいずれかに記載の生体状態推定装置が備える前記各部の処理をプロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の実施形態は、例えば、車両の運転者の生体状態を推定する生体状態推定装置、方法およびプログラムに関する。
【背景技術】
【０００２】
従来、車両の運転者の生体状態、特に眠気等の運転に支障を及ぼす可能性がある生体状態を、顔画像や生体情報等から検出される複数の特徴量に基づいて推定する技術が提案されている。例えば、特許文献１には、運転者の顔画像や脳波から眠気の有無を推定し、運転者が眠気を感じていると推定した場合にはアラーム等を出力する技術が記載されている。
【０００３】
また特許文献１には、運転者の顔画像からメガネ等の装着品の有無と種類を検出し、その検出結果に応じて重みを設定して、上記顔画像に基づく眠気の推定値を補正する技術や、運転開始時から予め設定された時間が経過するまでは運転者が眠気を感じる可能性が低いと見なして、当該運転開始期間における眠気の推定値に重み付けをして推定値を低下させる技術等も記載されている。これらの技術を採用すると、眠気の推定値の信頼性を高めることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１１／１１１２０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１に記載された技術では、運転者の顔における装着品の有無と種類により運転開始時に重みを設定して以後その値を維持したり、運転開始時から所定時間が経過するまでの期間だけ重みを設定するようにしている。すなわち、眠気の推定値に対する重みの設定が、運転開始時点や運転開始期間においてのみ限定的に行われるものとなっている。
【０００６】
このため、特許文献１に記載された技術では、例えば、ハンドル操作等の運転操作や運転中に周囲を確認するときの姿勢の変化等により、運転者の顔画像や生体情報の取得条件が変化した場合に、運転者の眠気を正確に推定できなくなる場合があるにもかかわらず、推定結果が正しいものとして眠気の有無が判定されてしまう。
【０００７】
この発明は上記事情に着目してなされたもので、１つの観点として、対象者の動きにより対象者の計測状態が変化した場合に、誤った推定結果が正しいものとして出力されないようにして、信頼性の高い推定結果を得ることができる技術を提供しようとするものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、この発明に係る生体状態推定装置、方法またはプログラムの第１の態様は、対象者の撮像画像情報およびバイタル情報の少なくとも１つを含む計測情報をセンサ部から取得し、前記計測情報から前記対象者の作業に影響を及ぼす生体状態に係る特徴パラメータを検出して、当該特徴パラメータに基づいて前記生体状態を推定する。またそれと並行して、前記作業を含む前記対象者の動きに起因して発生しかつ前記生体状態の推定精度に影響を及ぼす前記計測情報の計測状態の変化を判定し、この計測状態の変化の判定結果に基づいて前記生体状態の推定値に対する重み係数を可変設定して、当該可変設定された重み係数に応じて前記生体状態の推定値に対し重み付けを行い、当該重み付けされた生体状態の推定値を出力するようにしたものである。
【０００９】
第１の態様によれば、例えば、対象者の動きに起因して対象者の計測状態が変化すると、この計測状態の変化に応じて重み係数が可変設定され、この可変設定された重み係数により上記対象者の生体状態の推定値が重み付けされる。このため、対象者の生体状態の推定値は、対象者の動きに起因する計測状態の変化の影響、つまり誤推定の可能性が考慮されたものとなり、これにより信頼性の高い推定結果を得ることが可能となる。
【００１０】
この発明に係る生体状態推定装置の第２の態様は、上記第１の態様において、報知部をさらに具備し、この報知部により、前記重み付け部から出力された前記重み付けされた生体状態の推定値に基づいて前記対象者の生体状態による前記作業への影響の度合いを判定し、その判定結果を出力するようにしたものである。
【００１１】
第２の態様によれば、例えば、対象者の動きに起因する計測状態の変化の影響が考慮された信頼性の高い推定結果をもとに、対象者の生体状態による作業への影響の度合いが判定され、その判定結果が出力される。このため、対象者の生体状態による作業への影響の度合いについても、信頼性の高い判定を行うことが可能となり、これにより信頼性の高い判定結果を出力することができる。
【００１２】
この発明に係る生体状態推定装置の第３の態様は、上記第１の態様において、前記計測情報取得部が、前記計測情報として前記対象者の顔画像情報を取得し、前記推定部が、前記特徴パラメータとして前記顔画像情報から前記対象者の顔または眼の動きを検出して、前記生体状態として前記顔または眼の動きに基づいて眠気の度合いを推定する。また、前記計測状態判定部が、前記計測状態として前記顔画像情報が前記対象者の顔または眼の動きを検出可能な情報を含むか否かを判定し、前記重み制御部が、前記顔画像情報が前記対象者の顔または眼の動きを検出可能な情報を含んでいると判定された場合に前記重み係数を第１の値に設定し、含んでいないと判定された場合には前記重み係数を前記第１の値より小さい第２の値に設定するようにしたものである。
【００１３】
第３の態様によれば、例えば、対象者の顔画像情報から対象者の顔または眼の動きを検出して、当該対象者の顔または眼の動きをもとに対象者の生体状態として眠気を推定する際に、上記顔画像情報が対象者の顔または眼の動きを検出可能な情報を含んでいるか否かが判定される。そして、含んでいないと判定されると、上記眠気の推定値に対する重み係数が、含んでいると判定された場合に設定される第１の値より小さい第２の値に設定される。すなわち、対象者の顔画像情報の計測状態が対象者の顔または眼の動きを検出できない場合には、上記眠気の推定値に対する重み係数が小さな値に設定される。
【００１４】
例えば、対象者の動きに伴い、作業中の対象者が顔または眼が、周辺の機器や対象者自身の手または腕等によりセンサ部から一時的に遮蔽されたり、センサ部に対する対象者の顔の向き等が変化したりすることで、対象者の顔画像情報の計測状態が変化すると、当該計測状態の変化が考慮されて重み係数が変更され、その結果眠気の推定値が修正される。
【００１５】
したがって、対象者の動きに起因して顔画像情報の計測状態が眠気の判定に悪影響を及ぼす状態に変化した場合には、誤った推定結果が正しいものとして出力されないようにすることができ、これにより推定結果の信頼性を高めることができる。
【００１６】
この発明に係る装置の第４の態様は、上記第３の態様において、前記推定部が、前記顔画像情報から前記対象者の眼の瞳孔の動きを表す前庭動眼反射を検出し、当該検出された前庭動眼反射に基づいて前記眠気の度合いを推定する第１の推定部と、前記顔画像情報から前記対象者の眼の瞬きまたは瞼の開閉の多少を表す情報を検出し、当該検出された瞬きまたは瞼の開閉の多少を表す情報に基づいて前記眠気の度合いを推定する第２の推定部と、前記顔画像情報から前記対象者の顔の特定部位の変化を表情の変化を表す情報として検出し、当該検出された表情の変化を表す情報に基づいて前記眠気の度合いを推定する第３の推定部とのうちの少なくとも１つを備えるようにしたものである。
【００１７】
第４の態様によれば、例えば、対象者の眼の瞳孔の動きを表す前庭動眼反射、対象者の眼の瞬きまたは瞼の開閉の多少を表す情報、および、対象者の顔の表情の変化を表す情報の少なくとも１つを用いて、対象者の眠気を推定することが可能となる。
【００１８】
この発明に係る装置の第５の態様は、上記第４の態様において、前記計測状態判定部が、前記計測状態として前記顔画像情報が前記対象者の顔を表す画像を含んでいるか否かを判定し、前記重み制御部が、前記顔画像情報が前記対象者の顔を表す画像を含んでいないと判定された場合に、前記第１、第２および第３の推定部のうちの少なくとも１つにより得られる推定値に対する重み係数を前記第２の値に設定するようにしたものである。
【００１９】
第５の態様によれば、例えば、対象者の顔が、下を向いたりセンサ部の撮像視野から外れた場合のように、顔画像情報に対象者の顔を表す画像が含まれない場合には、顔または眼の動きをもとに眠気を推定する第１、第２および第３の推定部の推定結果に対する重み係数が、顔を表す画像が得られている場合に比べて小さい値に設定される。このため、顔画像情報に対象者の顔を表す画像が含まれない場合には、誤推定の可能性を考慮して、誤った推定結果が正しいものとして出力されないようにすることができ、これにより推定結果の信頼性を高めることができる。
【００２０】
この発明に係る装置の第６の態様は、上記第４の態様において、前記計測状態判定部が、前記計測状態として前記顔画像情報をもとに前記対象者の顔の向きが前記センサ部の方向に対し所定の角度の範囲内に含まれているか否かを判定し、前記重み制御部が、前記対象者の顔の向きが前記センサ部の方向に対し前記所定の角度の範囲内に含まれていないと判定された場合に、前記第１および第３の推定部のうちの少なくとも１つにより得られる推定値に対する重み係数を前記第２の値に設定するようにしたものである。
【００２１】
第６の態様によれば、例えば、対象者がセンサ部に対し横を向いている場合のように、顔画像情報に対象者の顔が含まれていても、顔の向きがセンサ部の方向に対し所定の角度の範囲内に含まれていない場合には、眠気の推定に顔の正面画像を用いることができないので、前庭動眼反射または対象者の顔の表情の変化をもとに眠気を推定する第１および第３の推定部の推定結果に対する重み係数が、顔の正面画像が得られている場合に比べ小さい値に設定される。このため、対象者が横を向いている場合には、誤推定の可能性を考慮して、誤った推定結果が正しいものとして出力されないようにすることができ、これにより推定結果の信頼性を高めることができる。
【００２２】
この発明に係る装置の第７の態様は、上記第４の態様において、前記計測状態判定部が、前記計測状態として前記顔画像情報が前記対象者の眼の少なくとも一方を表す画像を含んでいるか否かを判定し、前記重み制御部が、前記顔画像情報が前記対象者の眼の少なくとも一方を表す画像を含んでいないと判定された場合に、前記第１および第２の推定部の少なくとも１つにより得られる推定値に対する重み係数を前記第２の値に設定するようにしたものである。
【００２３】
第７の態様によれば、例えば、対象者がセンサ部に対する頭の位置または向きを変化させ、これにより対象者の両目がいずれも顔画像情報に映っていない場合には、眼の動きに基づいて眠気の推定を行う第１および第２の推定部の推定結果に対する重み係数が、顔画像情報に少なくとも片目の画像が映っている場合に比べて小さい値に設定される。このため、顔画像情報に対象者の眼の画像が１つも映っていない場合には、誤推定の可能性を考慮して、誤った推定結果が正しいものとして出力されないようにすることができ、これにより推定結果の信頼性を高めることができる。
【００２４】
この発明に係る装置の第８の態様は、上記第４の態様において、前記計測状態判定部が、前記計測状態として前記顔画像情報が前記対象者の口を表す画像を含んでいるか否かを判定し、前記重み制御部が、前記対象者の口を表す画像を含んでいないと判定された場合に、前記第３の推定部による推定値に対する重み係数を前記第２の値に設定するようにしたものである。
【００２５】
第８の態様によれば、例えば、対象者がマスクをしている場合のように、顔画像情報に口を表す画像が含まれていない場合には、対象者の表情をもとに眠気を推定する第３の推定部による推定値に対する重み係数が、顔画像情報に口を表す画像が含まれている場合に比べて小さい値に設定される。このため、対象者が例えばマスクをしているような場合には、誤推定の可能性を考慮して、誤った推定結果が正しいものとして出力されないようにすることができ、これにより推定結果の信頼性を高めることができる。
【００２６】
この発明に係る装置の第９の態様は、上記第４の態様において、前記計測状態判定部が、前記計測状態として前記顔画像情報をもとに前記対象者の視線の方向が前記センサ部の方向に対し所定の角度の範囲内に含まれているか否かを判定し、前記重み制御部が、前記対象者の視線の方向が前記センサ部の方向に対し所定の角度の範囲内に含まれていないと判定された場合に、前記第１の推定部による推定値に対する重み係数を前記第２の値に設定するようにしたものである。
【００２７】
第９の態様によれば、例えば、対象者が視線の方向を正面から横方向にそらせた場合のように、顔画像情報において瞳孔を検出できない場合には、前庭動眼反射に基づいて眠気を推定する第１の推定部の推定結果に対する重み係数が、瞳孔が検出される場合に比べて小さい値に設定される。このため、例えば対象者が視線の方向を正面から横方向にそらせた場合には、誤推定の可能性を考慮して、誤った推定結果が正しいものとして出力されないようにすることができ、これにより推定結果の信頼性を高めることができる。
【００２８】
この発明に係る装置の第１０の態様は、上記第１の態様において、前記計測情報取得部が、前記計測情報として前記対象者の心拍情報を取得し、前記推定部が、前記特徴パラメータとして前記心拍情報から自律神経活動と関連性を有する特徴量を検出して、前記対象者の生体状態として前記自律神経活動と関連性を有する特徴量に基づいて眠気の度合いを推定し、前記計測状態判定部が、前記計測状態として前記心拍情報が前記自律神経活動と関連性を有する特徴量を検出可能な情報成分を含んでいるか否かを判定し、前記重み制御部が、前記心拍情報が前記自律神経活動と関連性を有する特徴量を検出可能な情報成分を含んでいると判定された場合に前記重み係数を第３の値に設定し、含んでいないと判定された場合には前記重み係数を前記第３の値より小さい第４の値に設定するようにしたものである。
【００２９】
第１０の態様によれば、例えば、対象者の姿勢の変化によりセンサ部の装着状態が変化し、これにより心電情報から対象者の眠気を推定するために必要な特徴量を検出できなくなった場合には、上記眠気の推定値に対する重み係数が、上記特徴量を検出できる場合に比べて小さい値に設定される。すなわち、対象者の心電情報が品質良く検出できない場合には、上記眠気の推定値に対する重み係数が小さな値に設定される。このため、心電情報から眠気推定に必要な特徴量を検出できない場合には、誤推定の可能性を考慮して、誤った推定結果が正しいものとして出力されないようにすることができ、これにより推定結果の信頼性を高めることができる。
【発明の効果】
【００３０】
すなわちこの発明の各態様によれば、対象者の動きにより対象者の計測状態が変化した場合に、誤った推定結果が正しいものとして出力されないようにして、信頼性の高い推定結果を出力することができる技術を提供することができる。
【図面の簡単な説明】
【００３１】
【図１】図１は、この発明に係る生体状態推定装置の一適用例を説明するブロック図である。
【図２】図２は、この発明の一実施形態に係る生体状態推定装置を搭載した車両の概略構成図である。
【図３】図３は、この発明の一実施形態に係る生体状態推定装置のハードウェア構成を示すブロック図である。
【図４】図４は、この発明の一実施形態に係る生体状態推定装置のハードウェア構成にさらにソフトウェア構成を追加して示したブロック図である。
【図５】図５は、図４に示した生体状態推定装置による処理手順と処理内容を示すフローチャートである。
【図６】図６は、図５に示した処理手順のうち重み係数制御処理の処理手順と処理内容の前半部分を示すフローチャート。
【図７】図７は、図５に示した処理手順のうち重み係数制御処理の処理手順と処理内容の後半部分を示すフローチャート。
【発明を実施するための形態】
【００３２】
以下、図面を参照してこの発明に係わる実施形態を説明する。
【００３３】
［適用例］
先ず、この発明の一実施形態に係る生体状態推定装置の一適用例について説明する。本適用例は、生体状態推定装置を車両の運転者の生体状態、例えば眠気を推定する場合に適用したものである。なお、生体状態は眠気に限るものではなく、疲労度や体調、興奮状態等であってもよい。
【００３４】
図１は、本適用例における生体状態推定装置の機能構成を示すブロック図である。
生体状態推定装置１は、計測情報取得部２と、複数の生体状態推定部３ａ〜３ｎと、計測状態判定部４と、重み制御部５と、重み付け加算部６と、生体状態判定部７とを備えている。
【００３５】
計測情報取得部２は、図示しないセンサ部により計測された、対象者としての運転者の顔画像情報およびバイタル情報を、計測情報として取得する。顔画像情報は例えばセンサ部に含まれるカメラにより得られる。バイタル情報はセンサ部に含まれるバイタルセンサにより得られる。バイタルセンサとしては例えば心電センサがある。なお、計測情報は顔画像情報およびバイタル情報のいずれか一方でもよい。
【００３６】
生体状態推定部３ａ〜３ｎは、それぞれ上記顔画像情報およびバイタル情報から、運転者の眠気を推定するために必要な異なる複数の特徴パラメータに関する特徴量を検出する。特徴パラメータとしては、例えば、運転者の眼の瞳孔運動、眼の瞬き運動または瞼の開閉運動、運転者の顔の表情、心拍が挙げられるが、運転者の眠気を推定できるものであればそれ以外であってもよい。
【００３７】
また生体状態推定部３ａ〜３ｎは、上記検出された各特徴パラメータの特徴量に基づいて上記運転者の眠気の度合いを推定する。
例えば生体状態推定部３ａは、運転者の眼の瞳孔運動を示す情報と運転者の頭部の運動を示す情報とに基づいて前庭動眼反射（Vestibulo-Ocular Reflex：ＶＯＲ）を表す値を算出し、例えばこの前庭動眼反射を表す値を閾値と比較してその結果を眠気の推定値として出力する。前庭動眼反射とは、頭が動いたときにこれと反対方向に眼球を動かして網膜に映る外界の像のぶれを防ぐ働きのことで、具体的には頭の角速度と瞳孔の角速度との相関値として検出される。なお、ＶＯＲを用いた眠気の推定は、ＶＯＲの値（利得）を閾値と比較する以外に、ＶＯＲの標準偏差値や位相遅れを用いることでも求めることができる。
【００３８】
例えば生体状態推定部３ｂは、眼の瞬き運動または瞼の開閉運動を示す情報に基づいて、単位時間当たりの瞬きの回数または頻度、或いは単位時間当たりの瞼が閉じている時間の合計を算出し、これらの算出結果を閾値と比較してその結果を眠気の推定値として出力する。
【００３９】
例えば生体状態推定部３ｃ（図示省略）は、運転者の顔画像から、眼、眉、口等の顔の特徴点間の距離、または顔表面のエッジを、運転者の顔の表情を表す情報として検出する。そして、その算出値を閾値と比較してその結果を眠気の推定値として出力する。
【００４０】
例えば生体状態推定部３ｎは、運転者の心拍情報から、人の自律神経活動と関連性を有する特徴量として心拍間隔（ＲＲＩ）を検出し、この心拍間隔をスペクトル分析して高周波成分（ＨＦ）および低周波成分（ＬＦ）を検出する。そして、これらの高周波成分（ＨＦ）および低周波成分（ＬＦ）の検出値をもとに眠気の度合いを推定する。
【００４１】
計測状態判定部４は、上記計測情報取得部２により取得された顔画像情報をもとに、運転者の動きに起因して発生し、かつ上記各生体状態推定部３ａ〜３ｎにおける眠気の推定精度に影響を及ぼす計測状態の変化（顔画像情報の変化）を判定する。想定される運転者の動きとしては、例えば、ハンドル操作、周囲を確認するために顔または視線を左右に振る動作、疲労を軽減するために運転姿勢を変える動作等が想定される。上記判定対象となる顔画像情報の変化としては、例えば、顔の検出の有無、顔の向き（カメラに対する顔の角度）、眼の検出の有無、口の検出の有無、視線の方向（カメラの方向に対する視線のずれ量）等が考えられる。
【００４２】
また計測状態判定部４は、上記計測情報取得部２により取得された心拍情報をもとに、当該心拍情報が眠気を推定するために必要な情報を含んでいるか否かを判定する。例えば、心拍データにおける心拍波形の信号強度またはＳ／Ｎがしきい値以上であるか否かを判定する。
【００４３】
重み制御部５は、上記計測状態判定部４により得られた、眠気の推定精度に影響を及ぼす計測状態の変化の判定結果、つまり顔画像情報または心拍情報の変化の判定結果に基づいて、上記各生体状態推定部３ａ〜３ｎ別に、当該生体状態推定部３ａ〜３ｎから出力される眠気推定値に対する重み係数を可変設定する。
【００４４】
例えば、上記顔画像情報または心拍情報の変化の判定結果が、眠気の推定精度に影響を及ぼす可能性がないかまたは所定値より少ないことを示している場合には、全ての生体状態推定部３ａ〜３ｎの推定値に対し第１の重み係数を設定する。
【００４５】
これに対し上記顔画像情報または心拍情報の変化の判定結果が、眠気の推定精度に影響を及ぼす可能性があることを示している場合には、上記顔画像情報または心拍情報の変化の種類に応じて、対応が必要な生体状態推定部を選択する。そして、この選択された生体状態推定部の推定値に対し、上記第１の重み係数より小さい第２の重み係数を設定する。第２の重み係数は、予め設定された値を一律に設定してもよいが、上記顔画像情報または心拍情報の変化の種類に応じて、また生体状態推定部３ａ〜３ｎごとに、上記推定値に対する影響の度合いに応じて可変設定するようにしてもよい。
【００４６】
重み付け加算部６は、上記生体状態推定部３ａ〜３ｎから出力される眠気の推定値に対し、それぞれ上記重み制御部５により設定された第１または第２の重み係数を重み付けする。そして、この重み付け処理された各推定値を合計して生体状態判定部７へ出力する。なお、上記重み付け加算に先立ち、上記生体状態推定部３ａ〜３ｎごとに設定された重み係数を所定のルールに従い正規化処理するとよい。
【００４７】
生体状態判定部７は、例えば、上記重み付け加算部６から出力された重み付け加算後の眠気推定値を予め設定された閾値と比較し、運転操作に支障が生じる可能性があるか否かを判定する。そして生体状態判定部７は、上記眠気の推定値が運転操作に支障が生じる可能性があると判定すると、例えば図示しない報知部に対し報知制御情報を出力し、運転者に対し眠気を低減または抑制するための報知動作を行わせる。
【００４８】
以上のような構成であるから、生体状態推定装置１は以下のように動作する。
すなわち、運転者が、ハンドル操作や、周囲を確認するために顔または視線を左右に振る動作、疲労を軽減するために運転姿勢を変える動作等を行い、その結果運転者の顔画像情報または心拍情報が、上記運転者の眠気を推定するために必要な情報を含まない情報になったとする。例えば、運転者の顔が映っていなかったり、顔は映っていても顔の向きがカメラの方向を向いていなかったり、眼が映っていなかったり、目は映っていても瞳孔が検出できずに視線を検出できなかったり、口が映っておらず表情を判定できない情報だったとする。上記顔画像情報または心拍情報の状態は、計測状態判定部４により判定され、判定結果が重み制御部５に与えられる。
【００４９】
そうすると、重み制御部５では、上記顔画像情報または心拍情報の変化の判定結果が、眠気の推定精度に影響を及ぼす可能性がないかまたは所定値より少ないことを示す場合には、全ての生体状態推定部３ａ〜３ｎの推定値に対し第１の重み係数が設定される。これに対し、上記顔画像情報または心拍情報の変化の判定結果が、眠気の推定精度に影響を及ぼす可能性があることを示している場合には、上記影響が及び可能性がある生体状態推定部の推定値に対し、上記第１の重み係数より小さい第２の重み係数が設定される。そして、上記生体状態推定部３ａ〜３ｎごとに設定された第１または第２の重み係数が、重み制御部５から重み付け加算部６に与えられる。
【００５０】
その結果重み付け加算部６では、上記与えられた重み係数に従い、上記生体状態推定部３ａ〜３ｎから出力された眠気の推定値に対しそれぞれ重み付け処理がなされる。そして、上記重み付けされた各推定値が合計加算された後、重み付け加算部６から生体状態判定部７に渡される。
【００５１】
生体状態判定部７では、上記重み付け加算部６から渡された重み付け加算後の眠気の推定値が、予め設定されている閾値と比較される。そして生体状態判定部７では、上記比較結果をもとに、上記重み付け加算後の眠気の推定値が、運転者が運転を行う上で好ましくない値であるか否かが判定され、好ましくないと判定された場合には、報知制御情報が出力される。この結果、報知部において、運転者に対し眠気を低減または抑制するための報知動作が行われる。
【００５２】
従って、上記生体状態推定装置１によれば、例えば、運転者の運転操作等の動きにより、顔または眼が、ハンドルや運転者自身の手または腕等によりカメラから一時的に遮蔽されたり、カメラに対する運転者の顔の向き等が変化したりすることで、運転者の顔画像情報の計測状態が変化すると、当該計測状態が考慮されて眠気の推定値が修正される。このため、運転者の動きに起因して計測状態が眠気の判定に悪影響を及ぼすほど変化した場合に、誤った推定結果が正しいものとして出力されないようにすることができ、これにより推定結果の信頼性を高めることができる。
【００５３】
また、例えば、運転者の運転姿勢の変化により運転者に対する心電センサの装着状態が変化し、これにより心電情報から眠気推定に必要な特徴量を検出できない場合にも、誤推定の可能性を考慮して、誤った推定結果が正しいものとして出力されないようにすることができ、これにより推定結果の信頼性を高めることができる。
【００５４】
［一実施形態］
（構成例）
図２は、この発明の一実施形態に係る生体状態推定装置を搭載した車両のシステム構成の一例を示すブロック図である。
（１）システム
車両１０には、生体状態推定装置２０と、表示制御装置３０と、カメラ４０が設置されている。また運転者６０の手首には腕時計型のウェアラブル端末５０が装着されている。上記カメラ４０およびウェアラブル端末５０はセンサ部を構成する。
【００５５】
カメラ４０は、例えば、ダッシュボードの運転者６０と正対する位置に配置される。カメラ４０は、撮像デバイスとして、例えば近赤外光を受光可能なＣＭＯＳ（Complementary MOS）イメージセンサを使用する。そして、運転者６０の顔を撮像してその顔画像データを、信号ケーブルを介して生体状態推定装置２０へ出力する。なお、撮像デバイスとしては、ＣＣＤ（Charge Coupled Device）等の他の固体撮像素子を用いてもよい。
【００５６】
ウェアラブル端末５０は、心電センサを内蔵する。そして、心電センサにより計測された運転者６０の心電信号を、一定の周期でサンプリングして心電データに変換したのち、無線インタフェースを介して生体状態推定装置２０へ送信する。
【００５７】
（２）生体状態推定装置２０
生体状態推定装置２０は、運転者６０の生体状態の１つとしての眠気を、当該眠気と関連性を有する上記顔画像データおよび心電データの複数の特徴パラメータをもとに推定する機能と、当該眠気の推定値に対し重み付けする機能とを備える。重み付け機能は、運転者６０の動きに起因する上記顔画像データおよび心電データの計測状態の変化を判定し、その判定結果をもとに上記眠気の推定値に対する重み係数を可変設定して、上記眠気の推定値を重み付け加算する。
【００５８】
（２−１）ハードウェア構成
図３は、生体状態推定装置２０のハードウェア構成の一例を示すブロック図である。  
生体状態推定装置２０は、ハードウェアとして、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ２１Ａを有し、このハードウェアプロセッサ２１Ａに、プログラムメモリ２１Ｂ、データメモリ２５、センサインタフェース（センサＩ／Ｆ）２３、外部インタフェース（外部Ｉ／Ｆ）２４を、バス２２を介して接続したものとなっている。
【００５９】
センサＩ／Ｆ２３は、上記カメラ４０から出力された顔画像データを信号ケーブルを介して受信する。またセンサＩ／Ｆ２３は、ウェアラブル端末５０から送信された心電データを受信する。外部Ｉ／Ｆ２４は、眠気の判定結果に応じた報知制御データを表示制御装置３０へ出力する。
【００６０】
なお、車内にＬＡＮ（Local Area Network）等の車内有線ネットワークや、Bluetooth（登録商標）等の小電力無線データ通信規格を採用した車内無線ネットワークが備えられている場合には、上記センサＩ／Ｆ２３とカメラ４０およびウェアラブル端末５０との間、および外部Ｉ／Ｆ２４と表示制御装置３０との間のデータの伝送を、上記ネットワークを用いて行ってもよい。
【００６１】
プログラムメモリ２１Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の随時書込および読出しが可能な不揮発性メモリ、またはＲＯＭ等の不揮発性メモリを使用したもので、本実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。
【００６２】
データメモリ２５は、例えば、ＨＤＤまたはＳＳＤ等の随時書込および読出しが可能な不揮発性メモリと、ＲＡＭ等の揮発性メモリとを組み合わせたものを記憶媒体として備えたもので、本実施形態に係る各種処理を実行する過程で取得、検出および算出される各種データを記憶するために用いられる。
【００６３】
（２−２）ソフトウェア構成
図４は、図３に示した生体状態推定装置２０のハードウェア構成に、さらにソフトウェア構成を追加して示したブロック図である。
データメモリ２５の記憶領域には、画像情報記憶部２５１と、心電情報記憶部２５２が設けられている。画像情報記憶部２５１は、カメラ４０から取得した顔画像データを記憶するために用いられる。心電情報記憶部２５２は、上記ウェアラブル端末５０から取得した心電データを記憶するために用いられる。なお、データメモリ２５には、制御ユニット２１が眠気の推定処理や推定値に対する重み付け加算を行う過程で検出または算出された各種データを保存するための記憶領域も備える。
【００６４】
制御ユニット２１は、上記ハードウェアプロセッサ２１Ａと、上記プログラムメモリ２１Ｂとから構成され、ソフトウェアによる処理機能部として、画像取得部２１１と、心電情報取得部２１２と、第１の眠気推定部２１３と、第２の眠気推定部２１４と、第３の眠気推定部２１５と、第４の眠気推定部２１６と、計測状態判定部２１７と、重み制御部２１８と、重み付け加算部２１９と、眠気判定部２２０とを備えている。これらのうち、画像取得部２１１および心電情報取得部２１２は、計測情報取得部を構成する。また、第１の眠気推定部２１３、第２の眠気推定部２１４、第３の眠気推定部２１５および第４の眠気推定部２１６は、生体状態の推定部を構成する。
【００６５】
上記各取得部２１１，２１２、各推定部２１３〜２１６、判定部２１７，２２０、制御部２１８および加算部２１９は、いずれもプログラムメモリ２１Ｂに格納されたプログラムを、上記ハードウェアプロセッサ２１Ａに実行させることにより実現される。
【００６６】
画像取得部２１１は、上記カメラ４０から出力された運転者６０の顔画像データをセンサＩ／Ｆ２３を介して所定の取得周期で取り込み、タイムスタンプを付けてデータメモリ２５の画像情報記憶部２５１に記憶させる処理を行う。
【００６７】
心電情報取得部２１２は、上記ウェアラブル端末５０から送信された心電データをセンサＩ／Ｆ２３を介して上記所定の取得周期で取り込み、この取り込んだ心電データを取得時刻を表すタイムスタンプを対応付けてタイムスタンプを付けてデータメモリ２５の心電情報記憶部２５２に記憶させる処理を行う。上記各タイムスタンプは、上記顔画像データと心電データとを時間的に対応付ける役割を持つ。
【００６８】
第１の眠気推定部２１３は次の処理を行う。
(1) 上記画像情報記憶部２５１に記憶された顔画像データに含まれる頭部または顔面の画像と眼の画像をもとに、眠気を推定するための第１の特徴パラメータとして、所定の検出周期で、前庭動眼反射（Vestibulo-Ocular Reflex：ＶＯＲ）を検出する処理。前庭動眼反射とは、先に述べたように、頭が動いたときにこれと反対方向に眼球を動かして網膜に映る外界の像のぶれを防ぐ働きのことで、具体的には頭部または顔面の角速度と瞳孔の角速度との相関値として検出される。
【００６９】
(2) 上記前庭動眼反射（ＶＯＲ）を表す検出値をもとにＶＯＲゲインおよび標準偏差を算出し、これらの算出値をもとに眠気の推定値Ｅ１を算出する処理。上記閾値は１つでも複数でもよく、要求される推定値識別精度に応じて選択できる。
【００７０】
第２の眠気推定部２１４は次の処理を行う。
(1) 上記画像情報記憶部２５１に記憶された顔画像データに含まれる眼の画像をもとに、眠気を推定するための第２の特徴パラメータとして、上記所定の検出周期で、眼の瞬き運動または瞼の開閉運動を示す特徴量を検出する処理。具体的には、単位時間当たりの瞬きの回数または頻度、或いは単位時間当たりの瞼が閉じている時間の合計値、つまり開眼時間割合（ＰＥＲＣＬＯＳ）を算出する。
【００７１】
(2) 上記算出された瞬きの回数または頻度、或いは単位時間当たりの瞼が閉じている時間の合計値を、閾値と比較してその結果を眠気の推定値Ｅ２として出力する処理。上記閾値は１つでも複数でもよく、要求される推定値識別精度に応じて選択できる。
【００７２】
第３の眠気推定部２１５は次の処理を行う。
(1) 上記画像情報記憶部２５１に記憶された顔画像データをもとに、眠気を推定するための第３の特徴パラメータとして、上記所定の検出周期で、運転者の顔の表情を表す情報を検出する処理。具体的には、顔画像から眼、眉および口等の各部位の特徴点と、顔面のエッジ等の顔の特徴点を検出し、この検出された複数の特徴点間の距離の変化、または顔表面のエッジ強度の変化を検出する。
【００７３】
(2) 上記検出された眼、眉、口等の顔の特徴点間の距離の変化、または顔面のエッジ強度の変化の検出値を、例えば閾値と比較してその結果を眠気の推定値Ｅ３として出力する処理。上記閾値は１つでも複数でもよく、要求される推定値識別精度に応じて任意に選択できる。
【００７４】
第４の眠気推定部２１６は次の処理を行う。
(1) 上記心電情報記憶部２５２に記憶された心電データをもとに、眠気を推定するための第４の特徴パラメータとして、上記所定の検出周期で、人の自律神経活動と関連性を有する特徴量である心拍間隔（R-R Interval：ＲＲＩ）を検出し、この心拍間隔（ＲＲＩ）をスペクトル分析して高周波成分（High-Frequency: ＨＦ）を検出する処理。
【００７５】
(2) 上記検出された高周波成分（ＨＦ）の値をもとに眠気を推定してその推定値Ｅ４を出力する処理。なお、心電データから心拍数を算出することによっても、眠気の度合いを推定することが可能である。一般に、心拍数が少ない場合は眠気の度合いが高い状態を表し、多い場合は眠気の度合いが低い状態を表す。
【００７６】
計測状態判定部２１７は以下の処理を行う。
(1) 上記画像情報記憶部２５１に記憶された顔画像データに基づいて、顔画像が、運転者６０の動きに起因して発生しかつ上記第１乃至第３の各眠気推定部２１３〜２１５における眠気の推定精度に影響を及ぼす状態であるか否かを判定する処理。例えば、顔の画像が映っていない状態、カメラ４０に対する顔の向きが所定の角度の範囲から外れている状態、両眼とも映っていない状態、口が映っていない状態、カメラ４０に対する視線の方向が所定の角度から外れている状態等が、これに相当する。運転者６０の動きとしては、例えば、ハンドル操作、周囲を確認するために顔または視線を左右に振る動作、疲労を軽減するために運転姿勢を変える動作等が想定される。
【００７７】
(2)上記心電情報記憶部２５２に記憶された心電データが、運転者６０の動きに起因して発生し、かつ上記第４の眠気推定部２１６における眠気の推定精度に影響を及ぼす状態であるか否かを判定する処理。例えば、心電データにより表される心拍波形の信号強度またはＳ／Ｎが閾値を下回っているか否かを判定する。
【００７８】
重み制御部２１８は、上記計測状態判定部２１７により得られた、眠気の推定精度に影響を及ぼす顔画像データおよび心電データの状態の判定結果に基づいて、上記各眠気推定部２１３〜２１６ごとに、当該眠気推定部２１３〜２１６から出力される眠気推定値Ｅ１〜Ｅ４に対する重み係数を可変設定する処理を行う。可変設定の具体例についての後に詳しく述べる。
【００７９】
重み付け加算部２１９は、上記各眠気推定部２１３〜２１６から出力される眠気推定値Ｅ１〜Ｅ４を正規化した後、この正規化後の眠気推定値に対しそれぞれ上記重み制御部２１８により可変設定された重み係数を重み付けする。そして、この重み付けされた各眠気推定値を加算し、この重み付け加算された眠気推定値Ｅを眠気判定部２２０に渡す。
【００８０】
眠気判定部２２０は、例えば、上記重み付け加算部２１９から渡された重み付け加算後の眠気推定値Ｅを予め設定された判定閾値と比較し、これにより運転者６０が運転操作に支障が生じる可能性がある状態であるか否かを判定する。そして、運転者が運転操作に支障が生じる可能性がある状態であると判定すると、外部Ｉ／Ｆ２４から表示制御装置３０に対し報知制御情報を出力する。
【００８１】
（３）表示制御装置３０
表示制御装置３０は、ハードウェアプロセッサとメモリを有し、メモリに格納されたプログラムを上記ハードウェアプロセッサに実行させることにより、アラーム制御機能を実現する。アラーム制御機能は、生体状態推定装置２０から出力される報知制御情報を受信した場合に、当該制御情報に基づいて眠気に対するアラームを図示しない出力部から発生させる機能である。
【００８２】
（動作例）
次に、図５および図６を用いて、生体状態推定装置２０の動作例を説明する。
図５および図６は、生体状態推定装置２０による処理手順と処理内容の一例を示すフローチャートである。
【００８３】
（１）重み係数の初期設定
生体状態推定装置２０は、例えば運転者６０が運転席に着座し、エンジンのスタートキーが操作されたことをトリガとして、重み係数の初期設定処理を行う。例えば、重み制御部２１８の制御の下、ステップＳ１０において、第１乃至第４の各眠気推定部２１３〜２１６により得られる推定値Ｅ１〜Ｅ４に対し、データメモリ２５内の初期データ領域から重み係数Ｗ１〜Ｗ４の初期値（例えば同一値）を読み出して、当該重み係数の初期値を一律に設定する。なお、上記総合的な眠気推定値Ｅに与える上記各推定値Ｅ１〜Ｅ４の影響度に応じて、上記各推定値Ｅ１〜Ｅ４に対する重み係数Ｗ１〜Ｗ４の初期値を異なる値に設定してもよい。
【００８４】
（２）計測情報の取得
上記エンジンのスタートキーの操作に応じて、カメラ４０は一定のフレーム周期で運転者６０の顔の撮像を開始し、撮像された顔画像データを生体状態推定装置２０へ出力する。生体状態推定装置２０は、画像取得部２１１の制御の下、ステップＳ１１において、上記カメラ４０により撮像された運転者６０の顔画像データをセンサＩ／Ｆ２３を介して取り込み、この取り込んだ顔画像データをその取得時刻を表すタイムスタンプと対応付けて画像情報記憶部２５１に記憶させる。
【００８５】
一方、ウェアラブル端末５０では、内蔵された心電センサにより常時心電信号の計測が行われている。そして、心電センサにより得られた心電信号が一定のサンプリング周期でサンプリングされて心電データに変換され、当該心電データが生体状態推定装置２０へ送信される。これに対し生体状態推定装置２０は、心電情報取得部２１２の制御の下、ステップＳ１２において、上記カメラ４０により撮像された運転者６０の心電データをセンサＩ／Ｆ２３を介して取り込み、この取り込んだ心電データをその取得時刻を表すタイムスタンプと対応付けて画像情報記憶部２５１に記憶させる。
【００８６】
以上述べた顔画像データおよび心電データの取得処理は、車両１０のエンジンが停止するまで所定の検出周期で繰り返し行われる。
【００８７】
（３）眠気の推定
上記計測情報の取得処理が開始されると、生体状態推定装置２０は、第１乃至第４の眠気推定部２１３〜２１６により、それぞれ取得時刻が同一の顔画像データおよび心電データに基づいて、運転者６０の眠気を推定する処理を実行する。
【００８８】
（３−１）ＶＯＲに基づく眠気の推定
生体状態推定装置２０は、第１の眠気推定部２１３の制御の下、ステップＳ１３において、上記データメモリ２５の画像情報記憶部２５１から顔画像データを時系列に従い順次読み込む。そして、各顔画像データに含まれる頭部または顔面の画像と眼の画像をもとに、眠気と関連性を有する第１の特徴パラメータとして、前庭動眼反射（ＶＯＲ）を検出する。ＶＯＲは、例えば、運転者６０の頭部または顔面の角速度と瞳孔の角速度との相関値として算出される。
【００８９】
続いて第１の眠気推定部２１３は、上記ＶＯＲの検出値からＶＯＲゲインおよび標準偏差を算出し、このＶＯＲゲインおよび標準偏差をもとに運転者６０の眠気の度合いを推定する。そして、上記眠気の推定値Ｅ１を重み付け加算部２１９へ出力する。
【００９０】
なお、上記ＶＯＲのゲインと標準偏差に基づいて眠気を推定する方法については、例えば、「西山等、“前庭動眼反射による眠気予兆検出”、生体医工学、Vol.48 (2010) No.1 p1-10」に詳しく記載されている。
【００９１】
（３−２）瞬目に基づく眠気の推定
生体状態推定装置２０は、第２の眠気推定部２１４の制御の下、ステップＳ１４において、上記データメモリ２５の画像情報記憶部２５１から顔画像データを時系列に従い順次読み込む。そして、当該顔画像データに含まれる眼の画像をもとに、眠気と関連性を有する第２の特徴パラメータとして、眼の瞬き運動または瞼の開閉運動を示す特徴量を検出する。特徴量としては、例えば、単位時間当たりの瞬きの回数または頻度、或いは単位時間当たりの瞼が閉じている時間の合計値、つまり開眼時間割合（ＰＥＲＣＬＯＳ）を算出する。
【００９２】
そして、上記算出された瞬きの回数または頻度、或いは単位時間当たりの瞼が閉じている時間の合計値を、予め設定された閾値と比較して推定値を判定し、その判定結果を瞬目に基づく眠気の推定値Ｅ２として重み付け加算部２１９へ出力する。
【００９３】
なお、上記開眼時間割合（ＰＥＲＣＬＯＳ）による眠気推定方法については、例えば「W. W. Wierwille et al. “Research on vehicle-based driver status/performance monitoring; development, validation and refinement of algorithms for detection of driver drowsiness,” National Highway Traffic Administration Final Report: DOT HS 808 247（1994）」に詳しく記載されている。
【００９４】
（３−３）表情に基づく眠気の推定
生体状態推定装置２０は、第３の眠気推定部２１５の制御の下、ステップＳ１５において、上記データメモリ２５の画像情報記憶部２５１から顔画像データを時系列に従い順次読み込む。そして、当該各顔画像データから、眠気と関連性を有する第３の特徴パラメータとして、眼、眉および口等の各部位の特徴点と、顔面のエッジ等の顔の特徴点を検出し、上記検出された複数の特徴点間の単位時間ごとの距離の変化、または顔表面のエッジの単位時間ごとの強度の変化を検出する。
【００９５】
そして第３の眠気推定部２１５は、上記検出された眼、眉、口等の顔の特徴点間の距離の変化、または顔面のエッジ強度の変化の検出値を、例えば閾値と比較してその結果を眠気の推定値Ｅ３として重み付け加算部２１９へ出力する。
【００９６】
なお、上記顔の特徴点間の距離の変化および顔表面エッジ強度の変化に基づいて眠気を推定する方法については、例えば「佐藤等、“顔画像特徴と眠気の相関に基づくドライバの眠気検出”、情報処理学会 第78回全国大会予稿集」に詳しく記載されている。
【００９７】
（３−４）心拍情報に基づく眠気の推定
生体状態推定装置２０は、第４の眠気推定部２１６の制御の下、ステップＳ１６において、上記データメモリ２５の心電情報記憶部２５２から心電データを時系列に従い順次読み込む。そして、上記心電データをもとに、眠気と関連性を有する第４の特徴パラメータとして、心拍間隔（ＲＲＩ）を検出し、この心拍間隔（ＲＲＩ）をスペクトル分析して高周波成分（ＨＦ）を検出する。そして、上記検出された高周波成分（ＨＦ）の値をもとに眠気を推定して、その推定値Ｅ４を重み付け加算部２１９へ出力する。
【００９８】
なお、上記心拍間隔のスペクトル分析を用いた眠気の推定方法については、例えば「中野等、“ドライバの覚醒度検知技術”、FUJITSU、 Vol. 59 No. 4、p 416-420、2008」に詳しく記載されている。
【００９９】
（４）運転者６０の動きに起因する計測状態の変化の判定
生体状態推定装置２０は、上記した第１乃至第４の眠気推定部２１３〜２１６における眠気推定処理と並行して、計測状態判定部２１７の制御の下、ステップＳ１７において、上記顔画像データおよび心電データの計測状態が、上記第１乃至第４の眠気推定部２１３〜２１６における眠気の推定精度に好ましくない影響を及ぼす状態であるか否かを、以下の各項目について判定する。
【０１００】
（４−１）顔画像の検出の有無
計測状態判定部２１７は、例えば、上記画像情報記憶部２５１から顔画像データを読み込み、当該顔画像データから顔を表す画像の検出を試みる。この顔を表す画像の検出には、パターン認識などを用いることができる。上記検出処理の結果、運転者６０の顔画像を認識できなければ、上記顔画像データの計測状態は上記眠気の推定精度に影響を及ぼす状態であると判定する。
【０１０１】
（４−２）顔の向き
計測状態判定部２１７は、例えば、上記顔画像データから運転者６０の顔画像を検出できたとすると、当該顔画像をもとにカメラ４０に対する顔の向きを示す角度を算出する。この顔の向きを示す角度は、例えば顔画像データから顔の各部位の位置を表す特徴量（複数のパラメタ）を検出し、この特徴量を三次元顔形状モデルと比較することにより求めることができる。計測状態判定部２１７は、上記カメラに対する顔の向きの角度が所定の角度（例えば２０度）以上であるか否かを判定し、２０度以上の場合には、上記顔画像データの計測状態は上記眠気の推定精度に影響を及ぼす状態であると判定する。なお、顔の向きを求める方法は、例えば国際公開２００６／０５１６０７号明細書または特許第４０９３２７３号公報に例示されている。
【０１０２】
（４−３）眼を表す画像の検出の有無
計測状態判定部２１７は、上記顔画像データから運転者の顔画像が検出されると、当該顔画像から眼を表す画像が１つ以上検出されるか否かを判定する。そして、この判定の結果両眼とも検出されなければ、このときの顔画像データの計測状態は上記眠気の推定精度に影響を及ぼす状態であると判定する。
【０１０３】
（４−４）口を表す画像の検出の有無
計測状態判定部２１７は、上記顔画像データから運転者の顔画像が認識されると、当該顔画像から口を表す画像が検出されるか否かを判定する。そして、この判定の結果口を表す画像が検出されなければ、表情を判定することが困難であるため、このときの顔画像データの計測状態は上記眠気の推定精度に影響を及ぼす状態であると判定する。
【０１０４】
（４−５）視線の方向
計測状態判定部２１７は、上記顔画像データから眼を表す画像が１つ以上検出されると、当該眼を表す画像をもとに視線の方向を検出する。視線の方向は、例えば眼球の輝点の位置と瞳孔の位置との相対関係から算出することができる。そして、車両の前方方向、つまり車両座標系を基準とするときの０度の方向に対する上記視線の方向の角度が、所定の角度（例えば５度）未満であるか否かを判定し、５度以上の場合には、上記顔画像データの計測状態は上記眠気の推定精度に影響を及ぼす状態であると判定する。なお、カメラ座標系と車両座標系との変換は、車両に対するカメラの取り付け角度を基準に行うことができる。
【０１０５】
（４−６）心電データの品質低下
計測状態判定部２１７は、上記データメモリ２５の心電情報記憶部２５２から心電データを読み込む。そして、この心電データをもとに、心電信号波形の信号強度またはＳ／Ｎが閾値を下回っているか否かを判定する。この判定の結果、心拍波形の信号強度またはＳ／Ｎが閾値を下回っている場合には、眠気推定に使用する特徴量の検出が困難であるため、このときの心電データの計測状態は上記眠気の推定精度に影響を及ぼす状態であると判定する。
【０１０６】
（５）重み係数の設定制御
生体状態推定装置２０は、重み係数制御部２１８の制御の下、ステップＳ１８において、上記計測状態判定部２１７の判定結果に基づいて以下のように重み係数の設定制御を行う。
【０１０７】
図６および図７は、重み係数制御部２１８の処理手順と処理内容を示すフローチャートである。
重み係数制御部２１８は、先ずステップＳ１８１により、上記計測状態判定部２１７の判定結果を参照し、顔画像データから顔を表す画像を検出できなかったかを判定する。顔の画像を検出できなかった場合にはステップＳ１８２に移行する。顔の画像を検出できないと、ＶＯＲ、瞬目および表情を検出することはできない。このためステップＳ１８２では、上記ＶＯＲ、瞬目および表情に基づいて推定処理を行う第１、第２および第３の眠気推定部２１３，２１４，２１５を重み係数の設定変更の対象として選択し、これらの眠気推定部２１３，２１４，２１５により得られる推定値Ｅ１，Ｅ２，Ｅ３に対する重み係数Ｗ１，Ｗ２，Ｗ３を、初期値（例えば“１”）より小さい値（例えば“０．１”）に設定する。重み係数制御部２１８は、この設定処理が終了すると、ステップＳ１９１に移行する。
【０１０８】
一方、上記ステップＳ１８１において、顔画像データから顔の画像を検出できた場合には、重み係数制御部２１８はステップＳ１８３に移行する。そしてステップＳ１８３において、上記計測状態判定部２１７による判定結果を参照し、カメラ４０に対する顔の向きの角度が例えば２０度以上だったかどうかを判定する。この判定の結果、顔の向きの角度が例えば２０度以上だった場合には、ステップＳ１８４に移行する。顔の向きの角度が２０度以上だったとすると、顔の斜め画像または横顔画像しか得られず、ＶＯＲおよび表情の検出精度の低下が避けられない。このためステップＳ１８４では、ＶＯＲまたは顔の表情に基づいて眠気を推定する第１および第３の眠気推定部２１３，２１５を重み係数の設定変更の対象として選択し、これらの眠気推定部２１３，２１５により得られる推定値Ｅ１，Ｅ３に対する重み係数Ｗ１，Ｗ３を、初期値（例えば“１”）より小さい値（例えば“０．５”）に設定する。
【０１０９】
次に重み係数制御部２１８は、ステップＳ１８５において、上記計測状態判定部２１７による判定結果を参照し、顔画像データから少なくとも一方の眼が検出されたか、或いは両眼とも検出されなかったかを判定する。そして両眼とも検出されなかった場合には、ステップＳ１８６に移行する。眼の画像が両眼とも検出されないと、ＶＯＲおよび瞬目を検出することは困難である。このためステップＳ１８６では、ＶＯＲまたは瞬目をもとに眠気を推定する第１および第２の眠気推定部２１３，２１４を重み係数の設定変更の対象として選択し、これらの眠気推定部２１３，２１４により得られる推定値Ｅ１，Ｅ２に対する重み係数Ｗ１，Ｗ２を、初期値（例えば“１”）より小さい値（例えば“０．１”）に設定する。
【０１１０】
続いて重み係数制御部２１８は、ステップＳ１８７において、上記計測状態判定部２１７による判定結果を参照し、顔画像データから口の画像が検出されたかどうかについて判定する。そして、口の画像が検出されなかった場合にはステップＳ１８８に移行する。口の画像が検出されないと表情の検出精度の低下が避けられない。このためステップＳ１８８では、眠気の推定処理に表情を用いる第３の眠気推定部２１５を重み係数の設定変更の対象として選択し、この第３の眠気推定部２１５により得られる推定値Ｅ３に対する重み係数Ｗ３を、初期値（例えば“１”）より小さい値（例えば“０．３”）に設定する。
【０１１１】
さらに重み係数制御部２１８は、ステップＳ１８９において、上記計測状態判定部２１７による判定結果を参照し、カメラ方向に対する運転者６０の視線の方向が例えば５度以上だったかどうかについて判定する。視線の方向がカメラ４０の方向に対し５度以上ずれている場合にはステップＳ１９０に移行する。視線の方向がカメラ４０の方向に対し５度以上ずれていると、瞳孔を検出することが困難となり、ＶＯＲの検出に支障を来す。このためステップＳ１９０では、眠気の推定にＶＯＲを使用する第１の眠気推定部２１３を選択し、この第１の眠気推定部２１３により得られる推定値Ｅ１に対する重み係数Ｗ１を、初期値（例えば“１”）より小さい値（例えば“０．１”）に設定する。
【０１１２】
次に重み係数制御部２１８は、ステップＳ１９１において、上記計測状態判定部２１７による判定結果を参照し、心拍波形の信号強度またはＳ／Ｎ、つまり心拍信号の品質が閾値を下回っているか否かについて判定する。そして、心拍信号の品質が閾値を下回っていると判定された場合には、ステップＳ１９２に移行する。心拍信号の品質が閾値を下回っていると、眠気推定に使用する特徴量の検出が困難である。このためステップＳ１９２では、眠気推定に心拍の特徴量を使用する第４の眠気推定部２１６を重み係数の設定変更の対象として選択し、この第４の眠気推定部２１６により得られる推定値Ｅ４に対する重み係数Ｗ４を、初期値（例えば“１”）より小さい値（例えば“０．１”）に設定する。
【０１１３】
なお、重み係数制御部２１８は、ステップＳ１９３において、上記ステップＳ１８２，Ｓ１８４，Ｓ１８６，Ｓ１８８，Ｓ１９０，Ｓ１９２により重み係数が設定変更されなかった重み係数について、先に設定した初期値（例えば“１”）を維持する。
【０１１４】
そうして全ての重み係数Ｗ１〜Ｗ４の設定制御が終了すると、重み係数制御部２１８は、ステップＳ１９４において、上記設定された重み係数Ｗ１〜Ｗ４について正規化処理を行う。例えば、重み係数Ｗ１〜Ｗ４の合計値が“１”になるように、各重み係数Ｗ１〜Ｗ４の値をそれぞれ正規化する。
【０１１５】
（６）重み付け加算
上記重み係数のＷ１〜Ｗ４の設定制御が終了すると、生体状態推定装置２０は続いてステップＳ１９に移行する。そして重み付け加算部２１９の制御の下で、上記第１乃至第４の各眠気推定部２１３〜２１６得られた眠気の推定値Ｅ１〜Ｅ４に対し、上記重み係数制御部２１８により設定された重み係数Ｗ１〜Ｗ４を重み付けし、この重み付け後の各眠気推定値Ｅ１〜Ｅ４を加算する。すなわち、眠気推定値Ｅ１〜Ｅ４を重み付け加算する。そして、上記重み付け加算された総合的な眠気推定値Ｅを眠気判定部２２０に渡す。
【０１１６】
（７）眠気の判定
生体状態推定装置２０は、眠気判定部２２０の制御の下、先ずステップＳ２０において、上記総合的な眠気推定値Ｅを予め設定されている判定閾値と比較し、眠気推定値Ｅが閾値を超えているか否かを判定する。つまり、眠気の推定値Ｅが運転操作に支障が生じる可能性のある値であるか否かを判定する。この結果、眠気推定値Ｅが運転操作に支障が生じる可能性のある値だったとすると、ステップＳ２１により外部Ｉ／Ｆ２４から表示制御装置３０に対し報知制御情報（アラーム情報）を出力する。
【０１１７】
表示制御装置３０では、上記生体状態推定装置２０から報知制御情報（アラーム情報）を受け取ると、当該制御情報に基づいて眠気に対するアラームを、図示しない出力部から発生させる制御が行われる。
【０１１８】
例えば、眠気に対するアラームメッセージが生成され、ナビゲーション装置等のディスプレイに表示される。また、アレーム音またはチャイムがナビゲーション装置またはカーステレオのスピーカから出力される。さらに、座席等にバイブレータが設けられている場合には、バイブレータ駆動信号が出力されて、これによりバイブレータが振動する。
【０１１９】
（効果）
以上述べたように、一実施形態では、生体状態推定装置２０において、カメラ４０から出力された運転者６０の顔画像データを一定の取得周期で取り込むと共に、ウェアラブル端末５０から送信された心電データを上記取得周期で取り込む。そして、第１乃至第３の各眠気推定部２１３〜２１５において、上記顔画像データから、前庭動眼反射（ＶＯＲ）を示す特徴量、眼の瞬き運動または瞼の開閉運動を示す特徴量、および運転者の顔の表情を表す特徴量を検出して、これらの特徴量をもとにそれぞれユーザの眠気を推定する。また第４の眠気推定部２１６において、上記心電データから人の自律神経活動と関連性を有する特徴量を検出してこの特徴量をもとにユーザの眠気を推定するようにしている。
【０１２０】
一方、以上の各推定処理と並行して、計測状態判定部２１７により上記顔画像データおよび心電データが上記各特徴量を正しく検出可能な状態にあるか否かを判定し、その判定結果に基づいて重み係数制御部２１８により上記各推定部２１３〜２１６の推定値に対する重み係数Ｗ１〜Ｗ４を可変設定する。そして、重み付け加算部２１９において、上記重み係数Ｗ１〜Ｗ４をもとに上記各推定値を重み付け加算し、その結果をもとに眠気推定部２２０によりユーザの眠気を判定するようにしている。
【０１２１】
従って一実施形態によれば、例えば、運転者の運転操作等の動きにより、顔または眼が、ハンドルや運転者自身の手または腕等によりカメラ４０から一時的に遮蔽されたり、カメラ４０に対する運転者の顔の向き等が変化することで、運転者の顔画像データの計測状態が変化すると、当該計測状態に応じて重み係数Ｗ１〜Ｗ４が可変設定され、これにより眠気の推定値が修正される。このため、運転者の動きに起因して計測状態が眠気の判定に悪影響を及ぼすほど変化した場合に、誤った推定結果が正しいものとして出力されないようにすることができ、これにより推定結果の信頼性を高めることができる。
【０１２２】
また、例えば、運転者の運転姿勢の変化により運転者に対するウェアラブル端末５０の装着状態が変化し、これにより心電データから眠気推定に必要な特徴量を検出できない場合にも、誤推定の可能性を考慮して、誤った推定結果が正しいものとして出力されないようにすることができ、これにより推定結果の信頼性を高めることができる。
【０１２３】
［変形例］
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。以下に幾つかの具体的な変形例を示す。
【０１２４】
（１）前記一実施形態では、顔画像データおよび心電データが各特徴量を正しく検出可能な状態にあるか否かを二値的に判定し、その判定結果に基づいて重み係数Ｗ１〜Ｗ４を設定するようにした。しかし、各特徴量をどの程度正しく検出可能な状態にあるか、つまり特徴量の検出精度を多段階に判定し、その判定値に応じて重み係数Ｗ１〜Ｗ４を多段階に可変設定するようにしてもよい。このようにすると、眠気をさらに精度良く推定することが可能となる。
また、前記一実施形態では、計測情報の計測状態の変化を判定する際に、顔画像データおよび心電データが、各特徴量を正しく検出可能な状態にあるか否かを判定する場合を例にとって説明した。しかしそれに限らず、計測情報の計測状態の変化を、センサに対する対象者の位置や姿勢をもとに判定するようにしてもよい。例えば、対象者が三軸加速度センサや角速度センサ等の動きセンサを内蔵するウェアラブル端末を装着している場合には、上記動きセンサのセンシングデータをもとに間接的に計測情報の計測状態の変化を判定する。例えば、動きセンサのセンシングデータから対象者の位置がカメラの撮像可能範囲を逸脱する位置に移動したことが検出された場合や、対象者の姿勢がカメラによる撮像が不可能な姿勢に変化した場合には、上記計測情報の計測が不可能な状態であると判定することができる。
【０１２５】
（２）前記一実施形態では、顔画像データから３種類、心電データから１種類の、計４種類の特徴量を検出して眠気の推定処理を行うようにした。しかしそれに限らず、４種類以上の特徴量をもとにそれぞれ眠気を推定するようにしてもよく、反対に３種類以下の特徴量をもとに眠気を判定するようにしてもよい。この場合、特徴量を１種類のみ使用する場合には、上記４種類の特徴量またはそれ以上の特徴量の中から任意の特徴量を１つ選択することができる。
例えば、顔画像データから得られる上記３種類の特徴量と、心電データから得られる１種類の特徴量のうち、顔画像データから得られる上記３種類の特徴量のみを用いて眠気の推定を行うようにしてもよい。このようにすると、心電データを使用せず、顔画像データのみにより眠気を推定することができるので、カメラを使用するだけで、心電センサを不要にすることができる。なお、この場合、顔画像データから得られる上記３種類の特徴量を全て使用してもよいし、そのうちの少なくとも１つを使用してもよく、さらには上記対象者の撮像画像情報から抽出可能な上記３種類以外の特徴量を用いてもよい。
また、上記カメラにより得られる画像データから抽出される特徴量を使用せず、心電センサ等の生体センサから得られる特徴量のみを用いて眠気を推定するようにしてもよい。この場合はカメラを不要にすることができる。
【０１２６】
（３）前記一実施形態では、車両の運転者を対象としてその眠気を推定する場合を例にとって説明した。しかし、それに限らず、車両の助手席、後部座席または仮眠室等で休息中の補助運転手の眠気の状態を推定するようにしてもよい。このようにすることで、補助運転手が運転を交替可能な状態にあるか否かを判定することができる。
【０１２７】
（４）さらに、眠気の推定対象は車両の運転に携わる人に限らず、例えば工場等の事業所の作業員を対象としてその眠気を推定するようにしてもよい。このようにすると、作業員に対し眠気の推定値に応じた刺激を与えることが可能となり、これにより製造または生産の効率をより適切に管理することが可能となる。
【０１２８】
（５）さらに、一実施形態では、対象者の生体状態として眠気を推定する場合を例にとって説明したが、眠気以外に、例えば、覚醒度の低下や疲労度、興奮度や愁訴等の精神面での非平静状態や、頭痛や腰痛、発熱等の体調不良の状態等を推定するようにしてもよい。
【０１２９】
（６）その他、特徴量の種類や、当該各特徴量から得られる各推定値に対し設定する重み係数Ｗ１〜Ｗ４の具体的な値、眠気判定部における具体的な判定手法、眠気の判定結果に応じたユーザに対する刺激の提示手法などについても、本発明の要旨を逸脱しない範囲で種々変形して実施できる。
【０１３０】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【０１３１】
［付記］
上記各実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限られない。
（付記１）
ハードウェアプロセッサ（２１Ａ）とメモリ（２１Ｂ）とを有する生体状態推定装置であって、
前記ハードウェアプロセッサ（２１Ａ）が、前記メモリ（２１Ｂ）に記憶されたプログラムを実行することにより、
対象者の撮像画像情報および生理的指標となる情報の少なくとも１つを含む計測情報をセンサ部から取得し（２１１）、
前記計測情報から前記対象者の作業に影響を及ぼす生体状態に係る特徴パラメータを検出し、当該特徴パラメータに基づいて前記生体状態を推定し（２１３〜２１６）、
前記作業を含む前記対象者の動きに起因して発生し、かつ前記生体状態の推定精度に影響を及ぼす、前記計測情報の計測状態の変化を判定し（２１７）、
前記計測状態の変化の判定結果に基づいて、前記生体状態の推定値に対する重み係数を可変設定し（２１８）、
前記可変設定された重み係数に応じて、前記生体状態の推定値に対し重み付けを行い、当該重み付けされた生体状態の推定値を出力する（２１９）、
生体状態推定装置。
【０１３２】
（付記２）
ハードウェアプロセッサ（２１Ａ）と当該ハードウェアプロセッサを実行させるプログラムを格納したメモリ（２１Ｂ）とを有する装置が実行する生体状態推定方法であって、
前記ハードウェアプロセッサ（２１Ａ）が、対象者の撮像画像情報および生理的指標を表す情報の少なくとも１つを含む計測情報をセンサ部から取得する過程と（Ｓ１１，Ｓ１２）、
前記ハードウェアプロセッサ（２１Ａ）が、前記計測情報から前記対象者の作業に影響を及ぼす生体状態に係る特徴パラメータを検出し、当該特徴パラメータに基づいて前記生体状態を推定する過程と（Ｓ１３〜Ｓ１６）、
前記ハードウェアプロセッサ（２１Ａ）が、前記作業を含む前記対象者の動きに起因して発生し、かつ前記生体状態の推定精度に影響を及ぼす、前記計測情報の計測状態の変化を判定する過程と（Ｓ１７）、
前記ハードウェアプロセッサ（２１Ａ）が、前記計測状態の変化の判定結果に基づいて、前記生体状態の推定値に対する重み係数を可変設定する過程と（Ｓ１８）、
前記ハードウェアプロセッサ（２１Ａ）が、前記可変設定された重み係数に応じて、前記生体状態の推定値に対し重み付けを行い、当該重み付けされた生体状態の推定値を出力する過程と（Ｓ１９）
を具備する生体状態推定方法。
【符号の説明】
【０１３３】
１…生体状態推定装置、２…計測情報取得部、３ａ〜３ｎ…生体状態推定部、
４…計測状態判定部、５…重み制御部、６…重み付け加算部、７…生体状態判定部、
１０…車両、２０…生体状態推定装置、３０…表示制御装置、４０…カメラ、
５０…ウェアラブル端末、２１…制御ユニット、２１Ａ…ＣＰＵ、
２１Ｂ…プログラムメモリ、２２…バス、２３…センサＩ／Ｆ、
２４…外部Ｉ／Ｆ、２５…データメモリ、２１１…画像取得部、
２１２…心電情報取得部、２１３…第１の眠気推定部、２１４…第２の眠気推定部、
２１５…第３の眠気推定部、２１６…第４の眠気推定部、２１７…計測状態判定部、
２１８…重み係数制御部、２１９…重み付け加算部、２２０…眠気判定部、
２５１…画像情報記憶部、２５２…心電情報記憶部。
【図１】
2019111092.tif 000003
【図２】
2019111092.tif 000004
【図３】
2019111092.tif 000005
【図４】
2019111092.tif 000006
【図５】
2019111092.tif 000007
【図６】
2019111092.tif 000008
【図７】
2019111092.tif 000009