(57)【要約】【課題】乗員個人の実際に感じたストレス状態に即した運転制御を行えるようにする。【解決手段】車両ＣＲの運転支援および自動運転の少なくとも一方の運転制御を実行する運転制御システムＤＣに用いられる運転制御調整装置１００を提供する。運転制御調整装置１００は、車両の乗員の生体信号を取得する生体情報取得部１０と、生体情報取得部が取得した生体信号に基づき、乗員の状態を判定する状態判定部２０と、状態判定部が判定した状態について、乗員からフィードバックを受け付けるフィードバック受付部４０と、フィードバック受付部が受け付けたフィードバックに基づき、状態判定部の判定基準を修正する判定修正部３０と、を備える。乗員のフィードバックに基づき乗員の状態を判定する判定基準を修正することで、乗員個人の実際に感じたストレスに即した運転制御を行える。【選択図】図１
2020030688.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転支援および自動運転の少なくとも一方の運転制御を実行する運転制御システムに用いられる運転制御調整装置であって、
前記車両の乗員の生体信号を取得する生体情報取得部と、
前記生体情報取得部が取得した生体信号に基づき、前記乗員の状態を判定する状態判定部と、
前記状態判定部が判定した状態について、前記乗員からフィードバックを受け付けるフィードバック受付部と、
前記フィードバック受付部が受け付けたフィードバックに基づき、前記状態判定部の判定基準を修正する判定修正部と、
を備える運転制御調整装置。
【請求項２】
前記状態判定部は、前記判定修正部により前記判定基準が修正された場合、前記生体情報取得部が取得した複数の生体信号から、修正された前記判定基準に適合する生体信号を選択することを特徴とする請求項１に記載の運転制御調整装置。
【請求項３】
前記状態判定部が判定した状態に基づき、前記運転制御システムに出力する運転制御の制御量を決定する制御量決定部をさらに備え、
前記制御量決定部は、前記状態判定部が判定した状態が悪い状態である場合に、良い状態にするように制御量を決定することを特徴とする請求項１または２に記載の運転制御調整装置。
【請求項４】
前記状態判定部が判定した状態を前記乗員に出力する出力部をさらに備え、
前記フィードバック受付部は、前記出力部が出力した状態に対して前記乗員が行うフィードバックを受け付けることを特徴とする請求項１乃至３のいずれかに記載の運転制御調整装置。
【請求項５】
複数の前記乗員の中から選定する選定部をさらに備え、
前記生体情報取得部は、前記複数の乗員の生体信号を取得し、
前記状態判定部は、前記複数の乗員の状態を判定し、
前記フィードバック受付部は、前記選定部によって選定された前記乗員からフィードバックを受け付けることを特徴とする請求項１乃至４のいずれかに記載の運転制御調整装置。
【請求項６】
車両の運転支援および自動運転の少なくとも一方の運転制御を実行する運転制御システムに用いられる運転制御調整方法であって、
前記車両の乗員の生体信号を取得し、
取得した生体信号に基づき前記乗員の状態を判定し、
判定した状態について、前記乗員からフィードバックを受け付け、
前記フィードバックに基づき判定基準を修正する、
運転制御調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の自動運転などの運転制御を実行する運転制御システムに用いられる運転制御調整装置および運転制御調整方法に関する。
【背景技術】
【０００２】
従来から、車両の自動運転や運転支援のシステムにおいて、乗員の生体情報などからストレスを判定し、その判定に基づき自動運転や運転支援を行う技術が提案されている。例えば、特許文献１は、運転者が危険を察知していない場合であっても事故防止が可能な運転支援装置を開示する。この運転支援装置は、運転者以外の搭乗者である同乗者の生体情報を取得する生体情報取得手段と、その生体情報に基づいて、同乗者の緊張度を判定する緊張度判定手段と、その緊張度に基づいて、運転操作に対する支援を行う運転操作支援手段と、を備える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−０７５００８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、自動運転や運転支援のシステムが車両に採用されてきており、今後乗員の生体情報を検出し、ストレスを判定し、その判定結果を自動運転等の制御に反映させる技術が、益々増加するものと考えられる。しかし、人が運転状況から受けるストレスの程度や、受けたストレスに対する生体情報への発現の程度は、個人差があり、システムが一律に判定することは難しい場合がある。
【０００５】
本発明は、かかる事情を鑑みて考案されたものであり、乗員個人の実際に感じたストレス状態に即した運転制御を行えるようにする運転制御調整装置および運転制御調整方法を提供するものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、車両の運転支援および自動運転の少なくとも一方の運転制御を実行する運転制御システムに用いられる運転制御調整装置であって、車両の乗員の生体信号を取得する生体情報取得部と、生体情報取得部が取得した生体信号に基づき、乗員の状態を判定する状態判定部と、状態判定部が判定した状態について、乗員からフィードバックを受け付けるフィードバック受付部と、フィードバック受付部が受け付けたフィードバックに基づき、状態判定部の判定基準を修正する判定修正部と、を備える運転制御調整装置が提供される。
これによれば、乗員からフィードバックを受け付け、そのフィードバックに基づき乗員の状態を判定する判定基準を修正することで、乗員個人の実際に感じたストレス状態に即した運転制御を行えるようにする運転制御調整装置を提供することができる。
【０００７】
さらに、状態判定部は、判定修正部により判定基準が修正された場合、生体情報取得部が取得した複数の生体信号から、修正された判定基準に適合する生体信号を選択することを特徴としてもよい。
これによれば、判定基準が修正された場合、修正された判定基準に適合する生体信号を選択することで、以降乗員個人の実際に感じたストレス状態に即した運転制御を行えるようにすることができる。
【０００８】
さらに、状態判定部が判定した状態に基づき、運転制御システムに出力する運転制御の制御量を決定する制御量決定部をさらに備え、制御量決定部は、状態判定部が判定した状態が悪い状態である場合に、良い状態にするように制御量を決定することを特徴としてもよい。
これによれば、判定した状態が悪い状態である場合には良い状態にするように制御量を決定することで、フィードバックを行った後には、判定した状態が正しい状態として乗員のストレス状態を改善させるように適切な運転制御を行えるようにすることができる。
【０００９】
さらに、状態判定部が判定した状態を乗員に出力する出力部をさらに備え、フィードバック受付部は、出力部が出力した状態に対して乗員が行うフィードバックを受け付けることを特徴としてもよい。
これによれば、乗員に対して判定した状態を明示することで、乗員は、実際に感じたストレス状態と比較して、フィードバックを行うことができる。
【００１０】
さらに、複数の乗員の中から選定する選定部をさらに備え、生体情報取得部は、複数の乗員の生体信号を取得し、状態判定部は、複数の乗員の状態を判定し、フィードバック受付部は、選定部によって選定された乗員からフィードバックを受け付けることを特徴としてもよい。
これによれば、選定された乗員からフィードバックを受け付けることで、特定の乗員の実際に感じたストレス状態に即した運転制御を行うことができる。
【００１１】
上記課題を解決するために、車両の運転支援および自動運転の少なくとも一方の運転制御を実行する運転制御システムに用いられる運転制御調整方法であって、車両の乗員の生体信号を取得し、取得した生体信号に基づき乗員の状態を判定し、判定した状態について、乗員からフィードバックを受け付け、フィードバックに基づき判定基準を修正する、運転制御調整方法が提供される。
これによれば、乗員からフィードバックを受け付け、そのフィードバックに基づき乗員の状態を判定する判定基準を修正することで、乗員個人の実際に感じたストレスに即した運転制御を行えるようにする運転制御調整方法を提供することができる。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、乗員個人の実際に感じたストレスに即した運転制御を行えるようにする運転制御調整装置および運転制御調整方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る第一実施例の運転制御調整装置のブロック構成図。
【図２】本発明に係る第一実施例の運転制御調整装置の詳細ブロック構成図。
【図３】本発明に係る第一実施例の状態判定部のブロック構成図。
【図４】本発明に係る第一実施例の運転制御調整装置の処理のフローチャート。
【図５】本発明に係る第二実施例の運転制御調整装置のブロック構成図。
【図６】本発明に係る第二実施例の選定部のブロック構成図。
【発明を実施するための形態】
【００１４】
以下では、図面を参照しながら、本発明に係る各実施例について説明する。
【００１５】
＜第一実施例＞
図１と図２を参照し、本実施例における運転制御調整装置１００を説明する。運転制御調整装置１００は、車両ＣＲに設置される。車両ＣＲは、電車や列車などの客車であってもよいが、本実施例では、数人の乗車定員の比較的小型車からバスなどの大型車を含む自動車を例に説明する。また、小型車であっても、個人所有の車であってもよいし、シェアカーのように複数の人が共有する車であってもよい。
【００１６】
車両ＣＲは、車両ＣＲの運転支援や自動運転の制御を行う運転制御システムＤＣを備える。運転制御システムＤＣは、運転支援や自動運転を行うために、加速・操舵・制動の主制御系統に関連するセンサだけでなく、多数のセンサを備えている。たとえば、車両のセンサ（本図では車両センサ１〜４）は、加速度センサ、車速センサ、操舵角センサ、振動センサ、ヨーレートセンサ、ジャイロスコープ、車間距離センサ、カメラ、ＬＩＤＡＲ、位置センサ（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、道路標識センサ、車載ネットワークなどであり、多数の情報源から目的とする物理量などの情報を取得する。
【００１７】
また、運転制御システムＤＣは、実際に運転支援や自動運転の制御を行う多数のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を備える（本図ではＥＣＵ１〜３）。たとえば、主制御系統に関連するものとして、オートクルーズＥＣＵ、エンジン制御ＥＣＵ、ステアリング制御ＥＣＵ、ブレーキ制御ＥＣＵなどがある。それぞれのＥＣＵには、モータやソレノイドなどから構成され、動作を発生させるアクチュエータ（本図ではアクチュエータ１〜３）が対応して備えられている。たとえば、エンジン制御ＥＣＵにはエンジン、ステアリング制御ＥＣＵにはステアリング、ブレーキ制御ＥＣＵにはブレーキが対応している。たとえば、ステアリング制御ＥＣＵは、車両センサの一つである操舵角センサが検出した操舵角などに応じて、アクチュエータとしてのステアリングを制御する。
【００１８】
なお、運転支援や自動運転の自動化レベルは様々な態様があり、それに応じて、ＥＣＵとアクチュエータの組み合わせも様々に考えられる。たとえば、自動運転の一つと考えられる自動車線維持支援システムでは、車両ＣＲが車線を逸脱しそうな場合にステアリング制御ＥＣＵはステアリングを車線から逸脱しないように制御する。一方、運転支援の一つと考えられる車線逸脱防止支援システムでは、車両ＣＲが車線を逸脱しそうな場合に運転者に警告を発し、その警告に対応して運転者がステアリングを制御することを支援する。車両センサ１〜４、ＥＣＵ１〜３、およびアクチュエータ１〜３の組み合わせは、固定的な関係ではなく、自動化のレベルや車両ＣＲの状態に応じ変化するものである。
【００１９】
運転制御調整装置１００は、運転制御システムＤＣ内に、ＥＣＵ１〜３や車両センサ１〜４と、ＣＡＮ（Ｃａｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信バスを介して接続されて備えられる。運転制御調整装置１００は、上述したような車両ＣＲの運転支援および自動運転の少なくとも一方の運転制御を実行する運転制御システムＤＣに用いられる。運転制御調整装置１００は、運転制御システムＤＣがアクチュエータ１〜３の制御を行う際の制御量を後述するように運転制御システムＤＣを支援するものである。
【００２０】
運転制御調整装置１００は、生体情報取得部１０と、状態判定部２０と、判定修正部３０と、フィードバック受付部４０と、制御量決定部５０と、出力部６０とを備える。生体情報取得部１０は、車両ＣＲの乗員である運転者の生体信号の情報を取得する。生体信号は、バイタルサイン、反射、随意運動を少なくとも含むものとする。バイタルサインとは、生物として生きている証拠であり、反射とは、生物の無意識の反応であり、随意運動とは、生物の意志や意図に基づく運動や発声である。
【００２１】
バイタルサインは、血圧、脈拍数、呼吸速度、体温、発汗、脳波、瞳孔反射（対光反射）、膀胱内尿量、動脈血酸素飽和度（ＳｐＯ２）、意識レベル（意識スケール：ＧＣＳ（Ｇｌａｓｇｏｗ Ｃｏｍａ Ｓｃａｌｅ）やＪＣＳ（Ｊａｐａｎ Ｃｏｍａ Ｓｃａｌｅ）等）などである。反射は、化学的反射、物理的反射、電気的反射である。化学的反射は、たとえば、呼吸数が減少し血中酸素濃度（酸素飽和度）が下がるような反射である。物理的反射は、たとえば、目に強い光を受けると瞼を閉じたり、膝蓋腱が刺激を受けると筋が緊張するような反射である。電気的反射は、たとえば、低周波の電気刺激を与えると筋肉が反応して収縮するような反応である。
【００２２】
これらを測る測定器１０（生体情報取得部１０）は、運転者が座る座席の座面、背もたれ、ヘッドレスト、肘掛けなどに設けられ、直接的または間接的にこれらを測定できるものであってもよいし、運転者に可視光／非可視光の波長の電磁波を照射し、その反射光を撮像することのできる撮像装置であってもよい。
【００２３】
たとえば、血圧のデータを取得するには、血圧センサ１１（図示せず）として、近赤外光の反射光から血流の動きを読み取る血圧計等が用いられる。心拍のデータを取得するには、心拍センサ１１として、ミリ波レーダや振動センサ等が用いられる。呼吸のデータを取得するには、呼吸センサ１１（図示せず）として、ミリ波レーダや振動センサ等が用いられる。脈波のデータを取得するには、脈波センサ１１（図示せず）として、ミリ波レーダや振動センサ等が用いられる。発汗のデータを取得するには、発汗センサ１１（図示せず）として、湿度センサ（静電容量）やインピーダンスセンサ等が用いられる。体温のデータを取得するには、体温センサ１１（図示せず）として、サーモグラフィを備えた撮像装置等が用いられる。瞳孔やまぶたの動きのデータを取得するには、カメラ１２が用いられる。カメラ１２は、瞳孔の大きさ、瞬目の回数、視線などにより、目の動きのデータを取得すると共に、頭の揺れ、目／眉間／唇／口角などから形成される表情、顔色なども乗員の状態のデータとして取得する。音声のデータを取得するには、音声マイク１１（図示せず）が用いられる。音声マイク１１は、周波数として捉えて、その声色等のデータを取得できると共に、音声認識技術を組み合わせて、発声したことの意味をデータとして取得することもできる。膀胱内尿量のデータを取得するには、膀胱内尿量測定センサ１１（図示せず）として、超音波を使った機器が用いられる。動脈血酸素飽和度のデータを取得するには、パルスオキシメータ等が用いられる。意識レベルのデータを取得するには、スピーカから問いかけをして、その反応を集音して検出してもよい。運転者の緊張状態を直接的に取得すると考えられるものとして、ステアリングトルクセンサ１３が用いられる。運転者は緊張するとステアリングを硬く握りしめる傾向にあるため、ステアリングトルクセンサ１３が検出した操作反力を取得することで、運転者の緊張状態を取得する。これらの測定器１０は、あくまで例であり、目的とするデータを取得できれば、その取得方法はとくに限定されない。
【００２４】
状態判定部２０は、生体情報取得部１０が取得した生体情報に基づいて、運転者の状態を判定する。図３を参照して、状態判定部２０を説明する。なお、備える測定器１０は、心拍センサ１１とカメラ１２を例として、また車両センサ１〜４はステアリングの操舵角やモーメントの強さを検出するセンサを例として説明する。
【００２５】
状態判定部２０は、カメラ１２から画像データを受信し、記憶する画像記憶部２１と、画像記憶部２１が記憶する画像データを取り出し、顔画像の特徴量を抽出する顔画像特徴量抽出部２２と、抽出した特徴量を解析する特徴量解析部２３とを備える。また、状態判定部２０は、さらに、心拍センサ１１から心拍データを受信し、記憶する心拍データ記憶部２４と、心拍データ記憶部２４が記憶する心拍データを取り出し、心拍データの解析を行う心拍データ解析部２５とを備える。また、状態判定部２０は、さらに、ステアリングトルクセンサ１３から自動操舵を行っているときのステアリングに対して運転者が与える反力（操作反力）を受信し、記憶するトルクデータ記憶部２６と、トルクデータ記憶部２６が記憶するトルクデータを取り出し、トルクデータの解析を行うトルクデータ解析部２７とを備える。また、状態判定部２０は、さらに、特徴量解析部２３、心拍データ解析部２５、およびトルクデータ解析部２７が行った解析結果に基づき、総合的に解析し、運転者の状態を判定する総合判定部２８を備える。
【００２６】
画像記憶部２１、心拍データ記憶部２４、およびトルクデータ記憶部２６は、メモリから構成され、画像データ、心拍データ、トルクデータを時系列的に記憶する。顔画像特徴量抽出部２２は、画像記憶部２１に記憶された画像データの顔の部分における特徴量を抽出する。たとえば、顔画像特徴量抽出部２２は、顔画像から眉や目の端点や輪郭点、鼻と口の周囲の特徴点を抽出する。特徴量解析部２３は、顔画像特徴量抽出部２２が抽出した特徴点の間の距離や、これら特徴点で包囲される領域の画素の特徴の分布を解析し、乗員の属性や表情を解析する。また、特徴量解析部２３は、２時点の間でこれらの特徴点を比較することで経時的な表情の変化を解析する。心拍データ解析部２５は、心拍データ記憶部２４で記憶されている心拍データを取り出し、心拍の間隔や強さ、およびその経時的な変化を解析する。トルクデータ解析部２７は、トルクデータ記憶部２６からトルクデータを取り出し、自動操舵を行っているときのステアリングに対して運転者が与える反力（操作反力）に基づき、その操舵角やモーメントの強さ、それらの経時的な変化を解析し、運転者の緊張状態を推定する。
【００２７】
総合判定部２８は、特徴量解析部２３が行った顔画像の特徴量解析の結果、心拍データ解析部２５が行った心拍データの解析結果、およびステアリングトルクセンサ１３からの操作反力、操舵角やモーメントのデータに基づき、総合的に解析して各乗員の状態を判定する。たとえば、ある乗員の顔画像から緊張している表情が読み取れ、心拍データからも心拍が速くなっており、操作反力からも緊張していると推定されるような場合、その運転者は、緊張状態にあると判定する。また、運転者は、顔画像からは緊張の表情とは読み取れないが、心拍データや操作反力からは緊張していると推定される場合には総合的に緊張していると判定する。なお、操作反力からも緊張していると推定されるような場合とは、ステアリングトルクセンサ１３が検出した操作反力が所定値以上の場合をいう。これによれば、利用者である運転者の状態を検知し易いステアリング操作から利用者の緊張状態を検出することで、精度の高い嗜好データを蓄積することができる。
【００２８】
総合判定部２８は、運転者について、測定器１０によって測定されるこれらの生体信号を取得し、リラックスしているのか、満足しているのか、不快に思っているのか、緊張しているのか、興奮しているのか、恐れているのか、車酔いをしているのか、体調はどのような状態か、意識がどの程度はっきりしているのか等についてそれぞれ閾値（判定基準）を以って判定を行う。なお、上述した総合判定部２８の判定は、一例であり、種々の生体信号から得られる情報を総合的に判定する。
【００２９】
フィードバック受付部４０は、状態判定部２０が判定した状態について、運転者である乗員からフィードバックを受け付ける。フィードバック受付部４０は、タッチパネルのような入力装置を設け、運転者からの入力を直接受け付けてもよいし、近距離無線機能を有し、スマートフォンのような端末装置から運転者の入力を受け付けてもよい。フィードバック受付部４０は、直近の乗車時の緊張状態（ストレス状態）を入力するように促してもよい。フィードバック受付部４０は、乗車時の緊張状態の有無（２段階）で受け付けるように構成してもよいし、３段階以上（たとえば、５段階）のレベルで受け付けるように構成してもよい。フィードバック受付部４０は、乗員からのストレス状態が実際にどのような程度であったかのフィードバックを、判定修正部３０に伝達する。
【００３０】
判定修正部３０は、フィードバック受付部４０が受け付けたフィードバックに基づき、状態判定部２０の閾値（判定基準）を修正する。判定修正部３０が行う閾値の修正について、図２と図３に示すように、心拍センサ１１が取得する心拍データを例に説明する。心拍データ解析部２５は、心拍データ記憶部２４で記憶されている時系列の心拍データを取り出し、心拍の間隔や強さ、およびその経時的な変化を解析し、心拍データを取得した乗員（運転者）がどのようなストレス状態にあるかを解析する。
【００３１】
時系列の心拍データからストレス状態を算出する指標として、たとえばＬＦ／ＨＦ値が知られている（たとえば、http://hclab.sakura.ne.jp/stress_nervous_stressindex.html で解説されている）。ＨＦとは、高周波（Ｈｉ Ｆｒｅｑｕｅｎｃｙ）変動成分の略で、３〜４秒程度の周期を持つ呼吸を源とする変動波、またはその周波数領域のパワースペクトルの合計量を言う。ＬＦとは、低周波（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）変動成分の略で、メイヤー波と呼ばれる約１０秒周期の血圧変化を源とする変動波、またはその周波数領域のパワースペクトルの合計量を言う。ＬＦ／ＨＦ値（ＬＦ成分とＨＦ成分の比）は、交感神経と副交感神経の緊張状態のバランスによって、心拍データへのＨＦの変動波とＬＦの変動波の現れる大きさが変わってくるため、これを利用して心拍データからストレス状態を推定する指標である。ＬＦ／ＨＦ値は、たとえば、パワースペクトルのＬＦ成分の領域（０．０５Ｈｚから０．１５Ｈｚまで）、およびＨＦ成分の領域（０．１５Ｈｚから０．４０Ｈｚまで）の強度の積分値を用いて算出される。心拍データ解析部２５は、たとえば、時系列の心拍データからこのようなＬＦ／ＨＦ値を算出し、ストレス状態を解析する。
【００３２】
総合判定部２８は、心拍データ解析部２５が算出したＬＦ／ＨＦ値に基づき、ＬＦ／ＨＦ値の閾値として、たとえば、２．０未満が「基準値」、２．０以上５．０未満が「注意」、５．０以上が「要注意」と初期値を設定して、ストレス状態を判定する。総合判定部２８は、心拍データ解析部２５が算出したＬＦ／ＨＦ値がたとえば５．０以上であった場合、その乗員は要注意のストレス状態であると判定する。状態判定部２０は、判定を行った基準である閾値と、行った判定結果を判定修正部３０に伝達する。
【００３３】
判定修正部３０は、フィードバック受付部４０から受け取った実際のストレス状態と、状態判定部２０から受け取った判定結果とその判定基準であるＬＦ／ＨＦ値の閾値に基づき、現在の判定基準が妥当か否かを検査する。たとえば、ＬＦ／ＨＦ値が５．１であり、現在の判定基準（初期値）によると「要注意」のストレス状態と判定された結果であったが、フィードバック受付部４０から受けた乗員の実際のストレス状態は、ストレスを感じていないことを示すものであった場合、判定修正部３０は、「基準値」をたとえば５．５未満に状態判定部２０の閾値（判定基準）を修正する。そして、判定修正部３０は、修正した閾値のＬＦ／ＨＦ値を状態判定部２０に伝達する。状態判定部２０の総合判定部２８は、受け取った新しいＬＦ／ＨＦ値の閾値を判定基準として以降判定を行う。このように、乗員からフィードバックを受け付け、そのフィードバックに基づき乗員の状態を判定する判定基準を修正することで、乗員個人の実際に感じたストレス状態に即した運転制御を行えるようにする運転制御調整装置１００を提供することができる。
【００３４】
また、判定修正部３０により上述したように判定基準が修正された場合、状態判定部２０は、生体情報取得部１０が取得した複数の生体信号から、修正された判定基準に適合する生体信号を選択してもよい。上述した例では、心拍センサ１１が取得する心拍データを例にＬＦ／ＨＦ値の閾値を修正することを説明したが、たとえば、ステアリングトルクセンサ１３が検出した操作反力から判定した状態がストレス状態ではない場合、すなわち乗員が実際に感じたストレスと一致している場合、この乗員に対しては心拍データではなくステアリングの操作反力に基づき、判定することが好ましい。このように、判定基準が修正された場合、修正された判定基準に適合する生体信号を選択することで、以降乗員個人の実際に感じたストレス状態に即した運転制御を行えるようにすることができる。
【００３５】
出力部６０は、生体信号を取得した乗員に対して状態判定部２０が判定したストレス状態を出力する。出力部６０は、ディスプレイのような表示装置を設け、運転者に対して直接出力してもよいし、近距離無線機能を介して、スマートフォンのような端末装置に表示してもよい。運転者は、出力部６０に表示されたストレス状態のレベルを認識でき、そうすると、フィードバック受付部４０は、出力部６０が出力した状態に対して運転者が行うフィードバックを受け付けることになる。出力部６０がないと、運転者は自分が感じたストレス状態を絶対的な感覚としてフィードバック受付部４０に入力することになるが、出力部６０が表示する判定結果と比べた相対的なストレス状態をフィードバックすることができるようになり、フィードバックが容易になる。このように、運転者に対して判定した状態を明示することで、運転者は、実際に感じたストレス状態と比較して、フィードバックを行うことができる。
【００３６】
制御量決定部５０は、状態判定部２０が判定したストレス状態に基づき、運転制御システムＤＣに出力する運転制御の制御量を決定する。すなわち、制御量決定部５０は、状態判定部２０が判定した状態が悪い状態である場合に、良い状態にするように制御量を決定する。運転者の悪い状態とは、生体信号から得られるストレス状態のレベルとして「要注意」のようなレベルにある状態を言う。また、運転者の状態を良くするとは、そのようなストレス状態のレベルが改善する方向にすることである。
【００３７】
制御量決定部５０が行う運転制御の制御量の決定とは、たとえば、車間距離を長くする／短くする、加速／減速の大きさを変更する、進行方向横方向の加速度の大きさを小さくする／大きくする、ヨーレートを大きくする／小さくする、上下方向の加速度の大きさを小さくする／大きくする、などである。たとえば、運転者がストレスを感じている場合、制御量決定部５０は、制御量である車間距離の値を現在よりも大きい値に調整する。そして、この調整された制御量をオートクルーズECUに対して出力する。このように、判定した状態が悪い状態である場合には良い状態にするように制御量を決定することで、フィードバックを行った後には、判定した状態が正しい状態として乗員のストレス状態を改善させるように適切な運転制御を行えるようにすることができる。
【００３８】
＜運転制御調整方法について＞
上述したことは、車両の運転支援および自動運転の少なくとも一方の運転制御を実行する運転制御システムＤＣに用いられる運転制御調整方法でもある。以下に、図４を参照し、運転制御調整装置１００における制御の方法（運転制御調整方法）について説明する。
【００３９】
図４は、測定器１０であるカメラ１２と心拍センサ１１から画像データおよび心拍データに基づいた、運転制御調整装置１００の処理を示すフローチャートである。なお、フローチャートにおけるＳはステップを意味する。運転制御調整装置１００は、運転支援または自動運転に設定されると開始する。運転制御調整装置１００は、Ｓ１００において、ストレス状態の判断基準となるＬＦ／ＨＦ値の閾値を設定する。このＬＦ／ＨＦ値の閾値は、過去に当閾値が修正されたことがなければ初期値であり、過去に修正されたことがあれば、直近に修正されたＬＦ／ＨＦ値の閾値である。
【００４０】
運転制御調整装置１００の状態判定部２０（画像記憶部２１、顔画像特徴量抽出部２２、特徴量解析部２３）は、Ｓ１０２において、カメラ１２を介して乗員の顔画像を取得すると共に、その顔画像の特徴量を抽出し、抽出した特徴量を解析する。続いて、状態判定部２０の心拍データ記憶部２４は、Ｓ１０４において、心拍センサ１１を介して乗員の心拍データの変動を時系列データとして取得する。状態判定部２０の心拍データ解析部２５は、Ｓ１０６において、ＨＦ（高周波変動成分）のパワースペクトルの合計量（積分値）とＬＦ（高周波変動成分）のパワースペクトルの合計量（積分値）を算出し、Ｓ１０８において、両者の比を計算し、ＬＦ／ＨＦ値を算出する。
【００４１】
状態判定部２０の総合判定部２８は、Ｓ１１０において、顔画像の特徴量に基づくストレス状態およびＬＦ／ＨＦ値に基づくストレス状態から、総合的にストレス状態を判定する。フィードバック受付部４０は、Ｓ１１６において、顔画像や心拍データを取得した乗員から、実際のストレス状態についてのフィードバックを受け付ける。判定修正部３０は、Ｓ１１２において、判定したストレス状態とフィードバックされたストレス状態とが合致しているか否かを検査する。合致していた場合には、状態判定部２０は、判定したストレス状態の判断基準は正しかったとして、その判断基準によりストレス状態を判断する（Ｓ１０２〜Ｓ１１０を繰り返す）。合致していなかった場合、判定修正部３０は、Ｓ１１４において、ストレス状態を判断するＬＦ／ＨＦ値の閾値や顔画像の特徴量の閾値を合致するように修正し、修正した閾値（判断基準）を状態判定部２０に伝達する。そして、次回のストレス判定からは、状態判定部２０は、修正された判断基準によりストレス状態を判断する（Ｓ１０２に戻る）。
【００４２】
上述したように、運転制御調整方法は、乗員の生体信号を取得し、取得した生体信号に基づき乗員の状態を判定し、その判定した状態について、その乗員からフィードバックを受け付け、そのフィードバックに基づき判定基準を修正する、運転制御システムに用いられる運転制御調整方法である。これによれば、乗員からフィードバックを受け付け、そのフィードバックに基づき乗員の状態を判定する判定基準を修正することで、乗員個人の実際に感じたストレスに即した運転制御を行えるようにする運転制御調整方法を提供することができる。
【００４３】
＜第二実施例＞
図５と図６を参照し、本実施例における運転制御調整装置１００Ａを説明する。なお、重複記載を避けるため、同じ構成要素には同じ符号を付して説明を省略し、上記実施例と異なる点を中心に説明する。運転制御調整装置１００Ａは、生体情報取得部１０Ａと、状態判定部２０Ａと、判定修正部３０と、フィードバック受付部４０Ａと、制御量決定部５０と、出力部６０と、選定部７０とを備える。
【００４４】
生体情報取得部１０Ａは、運転者だけでなく運転者を含めた、車両ＣＲの複数の乗員１〜３のそれぞれの生体信号の情報を取得する。生体情報を測る測定器１０Ａ（生体情報取得部１０Ａ）は、乗員が座る座席の座面、背もたれ、ヘッドレスト、肘掛けなどに設けられ、直接的または間接的にこれらを測定できるものであってもよいし、乗員に可視光／非可視光の波長の電磁波を照射し、その反射光を撮像することのできる撮像装置であってもよい。座席に測定器１０Ａを設置する場合は、測定器１０Ａは、運転席だけでなく、座席毎に設置されることが好ましい。
【００４５】
状態判定部２０Ａは、生体情報取得部１０Ａが取得した生体情報に基づいて、複数の乗員１〜３のそれぞれの状態を判定する。状態判定部２０Ａにおける乗員１〜３それぞれの状態の判定のしかたは上述した通りである。
【００４６】
選定部７０は、状態判定部２０Ａが判定した複数の乗員１〜３の中から主制御系統の制御量を決定するに当たり焦点を当てる乗員を選定し、そのデータを出力する。どのような乗員を選定するかは、様々な考え方があり得る。たとえば、乗員１〜３の中で最も悪い状態の乗員を選定してもよいし、最高齢や最年少などの状態が変わりやすい乗員を選定してもよい。なお、最も悪い状態とは、生体信号から得られる健康状態やストレス状態などを数値化し、その絶対値や変化量の大小などから悪い状態を定義できる。また、年齢は、カメラ１２で撮像した顔画像から年齢が推定できるのでその推定年齢を使用して、乗員を選択してもよい。
【００４７】
図６に示すように、選定部７０は、選択出力部７１と、出力対象決定部７２と、を備える。選択出力部７１は、焦点を当てる乗員の過去のデータやリアルタイムのデータを出力する。たとえば、心拍データのピーク値や現在の状態を示すデータである。選択出力部７１は、アナログデータを出力するのであれば、アナログスイッチやマルチプレクサが用いられる。出力対象決定部７２は、焦点を当てる乗員を決定し、その乗員のデータや状態を出力するように選択出力部７１を制御する。たとえば、最悪状態の乗員が決定される場合には、その乗員のデータや状態を出力するように選択出力部７１を制御する。なお、選定部７０は、複数の乗員が選定してもよく、この場合（たとえば、乗員全員が選定された場合）、選定された複数の乗員等のデータ等を出力する。その場合出力対象決定部７２は、焦点を当てられた乗員全員のデータや状態を出力するように選択出力部７１を制御する。
【００４８】
制御量決定部５０は、状態判定部２０Ａが判定した焦点を当てる乗員のストレス状態に基づき、運転制御システムＤＣに出力する運転制御の制御量を決定する。選定部７０において複数の乗員が選定された場合、制御量決定部５０は、当該複数の焦点を当てた乗員全員の状態の平均を少なくとも悪くしないように制御量を決定してもよい。フィードバック受付部４０Ａは、状態判定部２０Ａが判定した状態について、選定部７０が選定し焦点が当てられた乗員からフィードバックを受け付ける。このように、選定された乗員からフィードバックを受け付けることで、特定の乗員の実際に感じたストレス状態に即した運転制御を行うことができる。
【００４９】
なお、本発明は、例示した実施例に限定するものではなく、特許請求の範囲の各項に記載された内容から逸脱しない範囲の構成による実施が可能である。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。
【符号の説明】
【００５０】
１００    運転制御調整装置
１０      測定器（生体情報取得部）
１１      センサ
１２      カメラ（撮像装置）
２０      状態判定部
２１      画像記憶部
２２      顔画像特徴量抽出部
２３      特徴量解析部
２４      心拍データ記憶部
２５      心拍データ解析部
２６      トルクデータ記憶部
２７      トルクデータ解析部
２８      第一状態判定部
２９      第二状態判定部
３０      判定修正部
４０      フィードバック受付部
５０      制御量決定部
６０      出力部
７０      選定部
ＣＲ      車両
ＤＣ      運転制御システム
【図１】
2020030688.tif 000003
【図２】
2020030688.tif 000004
【図３】
2020030688.tif 000005
【図４】
2020030688.tif 000006
【図５】
2020030688.tif 000007
【図６】
2020030688.tif 000008
【手続補正書】
【提出日】令和1年8月2日(2019.8.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両の運転支援および自動運転の少なくとも一方の運転制御を実行する運転制御システムに用いられる運転制御調整装置であって、
前記車両の複数の乗員の生体信号を取得する生体情報取得部と、
前記生体情報取得部が取得した生体信号に基づき、前記複数の乗員の状態を判定する状態判定部と、
前記複数の乗員の中から選定する選定部と、
前記状態判定部が判定した状態について、前記選定部によって選定された前記乗員からフィードバックを受け付けるフィードバック受付部と、
前記フィードバック受付部が受け付けたフィードバックに基づき、前記状態判定部の判定基準を修正する判定修正部と、
を備える運転制御調整装置。
【請求項２】
前記状態判定部は、前記判定修正部により前記判定基準が修正された場合、前記生体情報取得部が取得した複数の生体信号から、修正された前記判定基準に適合する生体信号を選択することを特徴とする請求項１に記載の運転制御調整装置。
【請求項３】
前記状態判定部が判定した状態に基づき、前記運転制御システムに出力する運転制御の制御量を決定する制御量決定部をさらに備え、
前記制御量決定部は、前記状態判定部が判定した状態が悪い状態である場合に、良い状態にするように制御量を決定することを特徴とする請求項１または２に記載の運転制御調整装置。
【請求項４】
前記状態判定部が判定した状態を前記乗員に出力する出力部をさらに備え、
前記フィードバック受付部は、前記出力部が出力した状態に対して前記乗員が行うフィードバックを受け付けることを特徴とする請求項１乃至３のいずれかに記載の運転制御調整装置。
【請求項５】
車両の運転支援および自動運転の少なくとも一方の運転制御を実行する運転制御システムに用いられる運転制御調整方法であって、
前記車両の複数の乗員の生体信号を取得し、
取得した生体信号に基づき前記複数の乗員の状態を判定し、
前記複数の乗員の中から選定し、
判定した状態について、選定された前記乗員からフィードバックを受け付け、
前記フィードバックに基づき判定基準を修正する、
運転制御調整方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記課題を解決するために、車両の運転支援および自動運転の少なくとも一方の運転制御を実行する運転制御システムに用いられる運転制御調整装置であって、車両の複数の乗員の生体信号を取得する生体情報取得部と、生体情報取得部が取得した生体信号に基づき、複数の乗員の状態を判定する状態判定部と、複数の乗員の中から選定する選定部と、状態判定部が判定した状態について、選定部によって選定された乗員からフィードバックを受け付けるフィードバック受付部と、フィードバック受付部が受け付けたフィードバックに基づき、状態判定部の判定基準を修正する判定修正部と、を備える運転制御調整装置が提供される。
これによれば、乗員からフィードバックを受け付け、そのフィードバックに基づき乗員の状態を判定する判定基準を修正することで、乗員個人の実際に感じたストレス状態に即した運転制御を行えるようにする運転制御調整装置を提供することができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上記課題を解決するために、車両の運転支援および自動運転の少なくとも一方の運転制御を実行する運転制御システムに用いられる運転制御調整方法であって、車両の複数の乗員の生体信号を取得し、取得した生体信号に基づき複数の乗員の状態を判定し、複数の乗員の中から選定し、判定した状態について、選定された乗員からフィードバックを受け付け、フィードバックに基づき判定基準を修正する、運転制御調整方法が提供される。
これによれば、乗員からフィードバックを受け付け、そのフィードバックに基づき乗員の状態を判定する判定基準を修正することで、乗員個人の実際に感じたストレスに即した運転制御を行えるようにする運転制御調整方法を提供することができる。