(57)【要約】【課題】操縦者の移動体の操縦をさらに支援する。【解決手段】移動体の操縦者の視線範囲が操作対象の操作パネル範囲と外界確認範囲の何れの認識範囲にあるかを判定する。少なくとも操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出する。覚醒度と集中度との少なくとも一方と、認識範囲とに基づいて、移動体の搭載装置に対する制御を行う。【選択図】図１
2019006183.tif 000002
【特許請求の範囲】
【請求項１】
移動体の操縦者の視線範囲が操作対象の操作パネル範囲と外界確認範囲の何れの認識範囲にあるかを判定する視線範囲判定部と、
少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出する意識度合算出部と、
前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う制御部と、
を備える操縦支援装置。
【請求項２】
前記制御部は、前記認識範囲が前記外界確認範囲である場合に、複数の前記搭載装置のうち、前記外界確認範囲の注視位置に応じた何れかの前記搭載装置に対する制御を行う
請求項１に記載の操縦支援装置。
【請求項３】
前記制御部は、前記認識範囲が前記操作パネル範囲である場合に、複数の前記搭載装置のうち、前記操作パネル範囲の注視位置に応じた何れかの前記搭載装置に対する制御を行う
請求項１または請求項２に記載の操縦支援装置。
【請求項４】
前記制御部は、
前記覚醒度と前記集中度との少なくとも一方の度合が閾値より低い場合に、複数の前記搭載装置のうち、前記認識範囲に応じた何れかの前記搭載装置に対する警告情報の出力指示を行う
請求項１から請求項３の何れか一項に記載の操縦支援装置。
【請求項５】
前記制御部は、
前記操縦者の前記認識範囲が前記操作パネル範囲である場合に、操作パネルに設けられた複数の操作子の何れかを操作する前記搭載装置に、前記操縦者の注視位置に応じた操作指示を出力する
請求項１から請求項４の何れか一項に記載の操縦支援装置。
【請求項６】
前記制御部は、
前記操縦者の前記認識範囲が前記操作パネル範囲であり、
前記覚醒度と前記集中度の度合が閾値より高い場合に、前記操作パネルに設けられた複数の操作子の何れかを操作する前記搭載装置に、前記操縦者の注視位置に応じた操作指示を出力する
請求項５に記載の操縦支援装置。
【請求項７】
前記制御部は、前記操縦者の前記認識範囲が前記操作パネル範囲である場合に、前記操作パネルに設けられた複数の操作子の何れかを操作する前記搭載装置に、前記操縦者の注視位置に対応する操作子を示す情報と、その操作子の表示を拡大表示する要求を行う情報を示す指示信号を出力する
請求項５または請求項６に記載の操縦支援装置。
【請求項８】
移動体の操縦者の視線範囲が操作対象の操作パネル範囲と外界確認範囲の何れの認識範囲にあるかを判定し、
少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出し、
前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う
操縦支援方法。
【請求項９】
操縦支援装置のコンピュータを、
移動体の操縦者の視線範囲が操作対象の操作パネル範囲と外界確認範囲の何れの認識範囲にあるかを判定する視線範囲判定手段、
少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出する意識度合算出手段、
前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う制御手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操縦支援装置、操縦支援方法、プログラムに関する。
【背景技術】
【０００２】
車を運転する運転手（操縦者）の顔の向きや視線方向などを用いてその運転手の動作や状態を判定する技術が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００７／１０５７９２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで特許文献１のような技術において車などの移動体に搭載された搭載装置等の各機能が向上しているが、それと共に、操縦者の移動体の操縦をさらに支援することのできる技術が望まれている。
【０００５】
そこでこの発明は、上述の課題を解決する操縦支援装置、操縦支援方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、操縦支援装置は、移動体の操縦者の視線範囲が操作対象の操作パネル範囲と外界確認範囲の何れの認識範囲にあるかを判定する視線範囲判定部と、少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出する意識度合算出部と、前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う制御部と、を備えることを特徴とする。
【０００７】
本発明の第２の態様によれば、操縦支援方法は、移動体の操縦者の視線範囲が操作対象の操作パネル範囲と外界確認範囲の何れの認識範囲にあるかを判定し、少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出し、前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行うことを特徴とする。
【０００８】
本発明の第３の態様によれば、プログラムは、操縦支援装置のコンピュータを、移動体の操縦者の視線範囲が操作対象の操作パネル範囲と外界確認範囲の何れの認識範囲にあるかを判定する視線範囲判定手段、少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出する意識度合算出手段、前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う制御手段、として機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、操縦者の移動体の操縦をさらに高度に支援することができる。
【図面の簡単な説明】
【００１０】
【図１】操縦支援装置を備えた操縦支援システムの概略図である。
【図２】操縦支援システムを構成する装置のブロック図である。
【図３】操縦支援装置のハードウェア構成を示す図である。
【図４】操縦支援装置の機能ブロック図である。
【図５】操縦支援装置の処理フローを示す図である。
【図６】操縦支援装置の最小構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態による操縦支援装置を図面を参照して説明する。
図１は同実施形態による操縦支援装置を備えた操縦支援システムの概略図である。
操縦支援システム１００は例えば車に備わる。操縦支援システム１００は少なくとも操縦支援装置１と監視装置２とが通信ケーブルで接続されている。操縦支援装置１は操縦者の操縦を支援する処理を行う。監視装置２はカメラ２１を備える。監視装置２はカメラ２１を用いて操縦者の顔を撮影する。
【００１２】
操縦支援装置１は監視装置２から操縦者の顔画像を取得する。操縦支援装置１は顔画像に映る操縦者の顔の向きや視線方向に基づいて特定した注視位置を用いて、操縦者の視線範囲が操作対象の操作パネル範囲６と外界確認範囲７の何れの認識範囲にあるかを判定する。操縦支援装置１はその認識範囲と、操縦者の覚醒度と集中度の少なくとも一方とに基づいて、車に搭載される搭載装置に対する制御を行う。
搭載装置は例えば操作パネル範囲に設けられた各種計器類などの運転補助装置や表示装置、ブレーキ装置、加速度制御装置、オーディオ装置などである。
【００１３】
操作パネル範囲６は操縦者が車の操作を行うための各操作子が設けられている範囲である。操作パネル範囲６には、インジケータ領域６１、オーディオ操作領域６２など複数の領域が設定されており、操縦支援装置１は車内に対応する仮想空間座標を平面座標に変換した場合の、操作パネル範囲６、インジケータ領域６１、オーディオ操作領域６２を表す座標を記憶しているものとする。
外界確認範囲７は操縦者が車の外界を確認するための範囲であり本実施形態においてはフロントウィンドウ、サイドウィンドウ、バックウィンドウなど窓ガラスの範囲が外界確認範囲７である。外界確認範囲７には、第一領域７１、第二領域７２、第三領域７３など複数の領域が設定されており、操縦支援装置１は車内に対応する仮想空間座標を平面座標に変換した場合の、第一領域７１、第二領域７２、第三領域７３を表す座標を記憶しているものとする。
【００１４】
図１では外界確認範囲７がフロントガラス全面の領域に対応している状態を示しているが、外界確認範囲７には左右のドアガラス、バックガラスなど、操縦者が車の外界を確認する際に目視する範囲が含まれてよい。また外界を撮影するカメラが車に備わりそのカメラで撮影した車の外界の画像を映すモニタの範囲についても外界確認範囲７と定義してもよい。
【００１５】
図２は操縦支援システムを構成する装置のブロック図である。
操縦支援システム１００は図２で示すように、操縦支援装置１と監視装置２とが通信接続され、また操縦支援装置１が搭載装置３、データベース４と通信接続される。通信接続は車内ＬＡＮなどにより実現される。
【００１６】
図３は操縦支援装置のハードウェア構成を示す図である。
操縦支援装置１は、図３で示すように、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は他装置と通信接続を制御するハードウェアであり、他装置と無線通信を行うものであってもよいし、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。
なお操縦支援装置１以外の監視装置２や搭載装置３も同様のハードウェア構成を有していてよい。
【００１７】
図４は操縦支援装置の機能ブロック図である。
操縦支援装置１のＣＰＵ１１は記憶する操縦支援プログラムを実行することにより、制御部１０１、特徴算出部１０２、視線範囲判定部１０３、意識度合算出部１０４を備える。
制御部１０１は操縦支援装置１に備わる他の機能部や搭載装置３を制御する。
特徴算出部１０２は、車の操縦者の顔の向きのベクトル、視線方向のベクトル、単位時間当たりの瞬き回数などを算出する。
視線範囲判定部１０３は、車の操縦者の視線範囲が操作パネル範囲６と外界確認範囲７の何れの認識範囲にあるかを判定する。
意識度合算出部１０４は、操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度の少なくとも一方を算出する。
制御部１０１は、覚醒度と集中度との少なくとも一方と、操縦者の認識範囲とに基づいて車の搭載装置３に対する制御を行う。
【００１８】
図５は操縦支援装置の処理フローを示す図である。
まず監視装置２はカメラ２１で操縦者の顔の撮影を行う。監視装置２は操縦者の顔を撮影した画像データを１秒間に数枚、数十枚などの短い間隔で操縦支援装置１へ出力する。監視装置２は動画像を構成する各静止画像の画像データを操縦支援装置１へ出力してもよい。
【００１９】
操縦支援装置１の特徴算出部１０２は入力した画像データが示す画像内に映る操縦者の顔の特徴と、眼の特徴とを用いて、操縦者の顔の向きのベクトルと視線方向のベクトルとを算出する（ステップＳ１０１）。顔の向きや視線方向の算出は公知の技術を利用してよい。特徴算出部１０２は、例えば顔の鼻、眼、耳などの特徴を検出し、それら特徴の画像中の位置関係に基づいて顔の左右方向の角度、上下方向の角度を算出する。また特徴算出部１０２は目の領域を検出し、その目の領域における眼球の位置に基づいて顔の向きのベクトルを基準とした視線方向のベクトルを算出する。特徴算出部１０２は車内の仮想空間領域における基準方向ベクトルを基準とした顔の向きのベクトルと、視線ベクトルとをそれぞれ算出するようにしてもよい。基準方向ベクトルは例えば操縦者が真っ直ぐ前を直視した際の前方直進方向のベクトルに一致するベクトルである。
【００２０】
特徴算出部１０２はまた単位時間当たりの瞬きの回数を算出する（ステップＳ１０２）。特徴算出部１０２は画像データにおけるユーザの目の領域の変化を解析し、その面積の大きさの変動に基づいて瞬きをしたかどうかを算出するようにしてもよい。なお瞬きを検出するためにカメラ２１は１秒間に数十枚の画像データを撮影する能力を有する。特徴算出部１０２は顔の向きベクトル、視線方向のベクトルを視線範囲判定部１０３および意識度合算出部１０４へ出力する。また特徴算出部１０２は単位時間における瞬き回数を意識度合算出部１０４へ出力する。
【００２１】
意識度合算出部１０４は顔の特徴情報や、顔の向きのベクトル、視線方向のベクトル、単位時間当たりの瞬き回数の少なくとも一つを用いて、操縦者の覚醒度と集中度の少なくとも一方を算出する（ステップＳ１０３）。例えば意識度合算出部１０４は、顔の向きベクトルと、視線方向のベクトルとの相違度合が所定の角度以上であることが単位時間当たりに所定回数以上出現する場合、集中度が低いと判定する。また意識度合算出部１０４は視線方向のベクトルが所定時間以上変化の無い状態が、単位時間当たりに所定回数以上出現する場合には、覚醒度が低いと判定する。また意識度合算出部１０４は単位時間当たりの瞬き回数が所定の数以上である場合には覚醒度が低いと判定する。また意識度合算出部１０４は単位時間当たりの瞬きの回数に基づいて覚醒度や集中度が高いか低いかを判定するようにしてもよい。
【００２２】
意識度合算出部１０４は特徴情報や、顔の向きのベクトル、視線方向のベクトル、単位時間当たりの瞬き回数等の値を覚醒度算出式や、集中度算出式に入力して、それらの算出式で算出された値と閾値とを比較して、上限閾値、下限閾値の閾値以上か閾値未満かに基づいて覚醒度や集中度が高いか、低いか、通常か、を判定するようにしてもよい。意識度合算出部１０４は覚醒度が高いか、低いか、通常か、集中度が高いか、低いか、通常かを示す情報を制御部１０１へ出力する。
【００２３】
視線範囲判定部１０３は顔の向きのベクトルと、視線方向のベクトルとを用いて、車内の仮想空間座標を平面座標に変換した平面領域における注視位置を算出する（ステップＳ１０４）。視線範囲判定部１０３はその注視位置が、操作パネル範囲６と外界確認範囲７の何れの認識範囲にあるかを判定する（ステップＳ１０５）。また視線範囲判定部１０３は注視位置が操作パネル範囲６である場合には、その注視位置が、操作パネル範囲６に含まれるインジケータ領域６１やオーディオ操作領域６２の何れかの小領域に含まれるかを判定する。
【００２４】
視線範囲判定部１０３は注視位置が外界確認範囲７である場合には、その注視位置が、外界確認範囲７に含まれる第一領域７１、第二領域７２、第三領域７３の何れかの小領域に含まれるかを判定する。視線範囲判定部１０３は注視位置が含まれる操作パネル範囲６または外界確認範囲７を示す情報と、注視位置が含まれる各範囲内の小領域を示す識別情報とを制御部１０１へ出力する。
【００２５】
制御部１０１は注視位置が外界確認範囲７にある場合には、覚醒度または集中度の少なくとも一方が閾値よりも低いかを判定する（ステップＳ１０６）。制御部１０１は覚醒度または集中度の少なくとも一方が閾値よりも低い場合には警告情報を搭載装置３へ出力する（ステップＳ１０７）。この場合の搭載装置３は例えばオーディオ装置やモニタなどである。警告情報はオーディオ装置から音声で発せられてもよいし、モニタに警告情報が表示されてもよい。制御部１０１は覚醒度および集中度が閾値よりも高い場合には、注視位置に応じた搭載装置３の制御を行う（ステップＳ１０８）。制御部１０１は覚醒度および集中度が閾値よりも高い場合には、注視位置によらず特に搭載装置３を何も制御しなくともよい。
【００２６】
搭載装置３の制御を行う場合の例としては、制御部１０１は注視位置が外界確認範囲７に設けられた第一領域７１である場合、車の速度制限値を解除する操作を搭載装置３の一つである速度制限装置に指示してよい。第一領域７１に視線方向のベクトルに基づく注視位置が含まれる場合には視線方向と車の直進方向とがほぼ一致する。そのような状況において操縦者の覚醒度と集中度が高い場合には、操縦者は直進方向に危険が存在することとなった場合の回避行動が早い可能性が高い。したがって制御部１０１は搭載装置３である速度制限装置に速度制限値の解除や、増加を指示することができる。
【００２７】
また注視位置が外界確認範囲７にある場合の搭載装置３の制御を行う場合の例としては、操縦者の注視位置が車の左側面のウィンドウである場合には制御部１０１は左方向の方向指示器を点滅させる指示信号を指示器制御装置に出力するようにしてもよい。
【００２８】
制御部１０１は注視位置が操作パネル範囲６にある場合には、覚醒度と集中度が閾値よりも高いかを判定する（ステップＳ１０９）。制御部１０１は覚醒度と集中度が高い場合には、注視位置に応じた搭載装置３の制御を行う（ステップＳ１１０）。制御部１０１は覚醒度および集中度が閾値よりも高い場合には、注視位置によらず特に搭載装置３を何も制御しなくともよい。制御部１０１は覚醒度と集中度が低い場合には警告情報を搭載装置３へ出力する（ステップＳ１１１）。この場合の搭載装置３は例えばオーディオ装置やモニタなどである。警告情報はオーディオ装置から音声で発せられてもよいし、モニタに警告情報が表示されてもよい。
【００２９】
ステップＳ１１０における搭載装置３の制御を行う場合の例としては、制御部１０１は注視位置が操作パネル範囲６に設けられたインジケータ領域６１である場合、さらにインジケータ領域６１における操作子のうち操縦者の注視位置に一致する計器を特定する。ここで操作パネルにモニタが設けられており、インジケータ内の速度、エンジン回転数、エンジン温度などの各計器が画像により表示されているとする。搭載装置３は操縦者の注視位置に一致する計器を検出し、この計器の表示領域を拡大するよう指示する信号をモニタに出力する。搭載装置３がモニタに出力する信号には操縦者の注視位置が含まれる。モニタは注視位置に対応する計器を特定し、その計器の範囲の画像を拡大表示する。このような処理によれば操縦者が高齢になり目の機能が衰えた場合でも注視した計器が拡大表示されるので操縦者の運転の支援に貢献することができる。制御部１０１は注視位置が操作パネル範囲６に設けられたオーディオ操作領域６２である場合、制御部１０１は同様にオーディオ操作領域６２内の注視位置に対応する操作子を特定し、その操作子を自動的に制御するようにしてもよい。
【００３０】
制御部１０１は操縦者の瞬きを検出し、この瞬きが目の片側のみである場合にウィンクを行っている判定し、ウィンクしていることに基づいてオーディオ操作領域６２において注視している操作子を制御するようにしてもよい。
【００３１】
制御部１０１は処理を終了するかどうかを判定する（ステップＳ１１２）。制御部１０１は処理を終了しない場合にはステップＳ１０１からの処理を繰り返す制御を行う。
【００３２】
以上の処理によれば、操縦支援装置１は、操縦者の顔の向きや視線の向きに基づく注視位置の範囲と、覚醒度や集中度とに基づいて、操縦者を支援するための搭載装置の制御を行うことができる。これにより更に車などの移動体の操縦を行う操縦者の支援を行うことができる。
【００３３】
図６は操縦支援装置の最小構成を示す図である。
操縦支援装置１は少なくとも制御部１０１、視線範囲判定部１０３、意識度合算出部１０４の機能を備えればよい。
視線範囲判定部１０３は、移動体の操縦者の視線範囲が操作対象の操作パネル範囲と外界確認範囲の何れの認識範囲にあるかを判定する。
意識度合算出部１０４は、少なくとも操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出する。
制御部は、覚醒度と集中度との少なくとも一方と認識範囲とに基づいて移動体の搭載装置に対する制御を行う。
【００３４】
上述の処理では移動体が車の場合について説明したが、移動体は車に限らず、航空機、船舶などであってもよい。
【００３５】
なお上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、当該装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを当該装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００３６】
また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００３７】
１・・・操縦支援装置
２・・・監視装置
３・・・搭載装置
４・・・データベース
１０１・・・制御部
１０２・・・特徴算出部
１０３・・・視線範囲判定部
１０４・・・意識度合算出部
【図１】
2019006183.tif 000003
【図２】
2019006183.tif 000004
【図３】
2019006183.tif 000005
【図４】
2019006183.tif 000006
【図５】
2019006183.tif 000007
【図６】
2019006183.tif 000008