(57)【要約】【課題】誤操作の発生を抑制しつつ、手を使うことなく操作入力可能な操作装置を提供する。【解決手段】操作装置（１００）は、車両の乗員の視線を検知する視線検知手段（２０２、２０３）と、乗員の顔向きを検知する顔向き検知手段（２０４、２０５）と、検知された顔向きの変化が、検知された視線の変化より所定量以上大きいことを条件に、検知された顔向きに基づいて顔向きによる操作意図を推定する推定手段（２１３）と、を備える。【選択図】図２
2019095911.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員の視線を検知する視線検知手段と、
前記乗員の顔向きを検知する顔向き検知手段と、
前記検知された顔向きの変化が、前記検知された視線の変化より所定量以上大きいことを条件に、前記検知された顔向きに基づいて前記顔向きによる操作意図を推定する推定手段と、
を備えることを特徴とする操作装置。
【請求項２】
前記推定手段は、（ｉ）前記検知された顔向きの変化が、前記検知された視線の変化より前記所定量以上大きく、更に、（ｉｉ）前記顔向きが一の方向に変化した後、前記顔向きが元の方向に変化する場合であって、前記顔向きが前記一の方向に変化する際の前記検知された顔向きの単位時間当たりの変化量が変化量閾値より大きく、且つ、前記顔向きが前記元の方向に変化する際の前記検知された顔向きの単位時間当たりの変化量が前記変化量閾値より大きい場合に、前記顔向きによる操作意図を推定することを特徴とする請求項１に記載の操作装置。
【請求項３】
前記視線検知手段は、前記検知された視線から前記視線の水平方向の変化及び前記視線の垂直方向の変化を求め、
前記顔向き検知手段は、前記検知された顔向きから前記顔向きの水平方向の変化及び前記顔向きの垂直方向の変化を求め、
前記推定手段は、（ｉ）前記顔向きの水平方向の変化が、前記視線の水平方向の変化より、水平方向に対応する前記所定量としての第１所定量以上大きいこと、及び（ｉｉ）前記顔向きの垂直方向の変化が、前記視線の垂直方向の変化より、垂直方向に対応する前記所定量としての第２所定量以上大きいこと、の少なくとも一方が満たされることを条件に、前記顔向きによる操作意図を推定する
ことを特徴とする請求項１又は２に記載の操作装置。
【請求項４】
車両の乗員の視線を検知する視線検知手段と、
前記乗員の顔向きを検知する顔向き検知手段と、
前記検知された顔向きに基づく、前記顔向きが一の方向に変化する際の前記顔向きの変化速度が所定速度より大きく、且つ、前記検知された視線の変化が所定変化量より小さいことを条件に、前記検知された顔向きに基づいて前記顔向きによる操作意図を推定する推定手段と、
を備えることを特徴とする操作装置。
【請求項５】
前記推定手段は、（ｉ）前記検知された視線の変化が前記所定変化量より小さく、更に、（ｉｉ）前記顔向きが一の方向に変化した後、前記顔向きが元の方向に変化する場合であって、前記顔向きが前記一の方向に変化する際の前記検知された顔向きの変化速度が前記所定速度より大きく、且つ、前記顔向きが前記元の方向に変化する際の前記検知された顔向きの変化速度が前記所定速度より大きい場合に、前記顔向きによる操作意図を推定することを特徴とする請求項４に記載の操作装置。
【請求項６】
前記視線検知手段は、前記検知された視線から前記視線の水平方向の変化及び前記視線の垂直方向の変化を求め、
前記顔向き検知手段は、前記検知された顔向きから前記顔向きの水平方向の変化及び前記顔向きの垂直方向の変化を求め、
前記推定手段は、（ｉ）前記顔向きの水平方向の変化速度が、水平方向に対応する前記所定速度としての第１所定速度より大きく、且つ、前記視線の水平方向の変化が、水平方向に対応する前記所定変化量としての第１所定変化量より小さいこと、及び（ｉｉ）前記顔向きの垂直方向の変化速度が、垂直方向に対応する前記所定速度としての第２所定速度より大きく、且つ、前記視線の垂直方向の変化が、垂直方向に対応する前記所定変化量としての第２所定変化量より小さいこと、の少なくとも一方が満たされることを条件に、前記顔向きによる操作意図を推定する
ことを特徴とする請求項４又は５に記載の操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作装置の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えば、車両の運転者の視線移動と該運転者の手によるジェスチャとの組合せにより複数階層に構成された操作メニューから選択項目を選択可能な装置が提案されている（特許文献１参照）。操作者が画面を注視しているときに、該操作者の顔向き又は顔の動きが所定の条件を満たす場合に、所定の画面操作が実行される装置が提案されている（特許文献２参照）。画像から検出された乗員の目の位置及び該乗員の手の位置に基づいて操作対象機器を決定するとともに、画像から検出された該乗員のジェスチャ操作に対応する予め定められた操作が行われるように該決定された操作対象機器を制御する装置が提案されている（特許文献３参照）。運転者の顔の画像から左右の目の位置座標に基づいて、左右の目の上下方向の位置の間隔を算出して、運転者が顔の向きを横方向に傾ける挙動を検出し、該挙動が検出された際に運転者が表示装置上のオブジェクトを注視している場合に、該オブジェクトに対応する操作が行われる装置が提案されている（特許文献４参照）。ユーザの瞳の動作を検出して、表示部に表示されるカーソルを移動させるとともに、ユーザの顔の動作を検出して、対応する操作コマンド又は選択コマンドを実行する装置が提案されている（特許文献５参照）。
【０００３】
尚、視線方向検出方法として、顔画像における黒目の水平方向及び垂直方向各々の位置情報と標準パターンとを比較して視線方向を検出する技術が提案されている（特許文献６参照）。運転者の顔画像に基づいて該運転者の視線の方向を検出し、該運転者の上下方向及び左右方向の脇見を検出する装置が提案されている（特許文献７参照）。運転者の顔画像と３次元顔形状とを照合して顔の向きを特定し、顔の向きの下方への変化と、運転者の視線方向の下方への変化とが同期している場合に、運転者は下方視状態であると判定する装置が提案されている（特許文献８参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１９１３１０号公報
【特許文献２】特開２０１５−０８７８２４号公報
【特許文献３】特開２０１４−１４９６４０号公報
【特許文献４】特開２０１４−１２６９９７号公報
【特許文献５】特開２０１１−２０９９２８号公報
【特許文献６】特開平０８−３２２７９６号公報
【特許文献７】特開２００９−１５７７３６号公報
【特許文献８】特開２０１６−１１５１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、運転者は、車両を安全に運転するために、様々なポイントに視線を向けなければならず、また、ステアリングホイル等を適切に操作する義務を負っている。運転時には運転者の視線が比較的頻繁に動くため、上記特許文献２乃至５に記載の技術では、誤操作が生じる可能性がある。また、上記特許文献２及び４に記載の技術では、運転者が画面上の特定の位置を注視しなければならず、運転に支障をきたすおそれがある。上記特許文献１及び３に記載の技術では、運転者が手によるジェスチャを行わなければならず、運転者に課せられる安全運転義務の観点から改善の余地がある。
【０００６】
本発明は、上記問題点に鑑みてなされたものであり、誤操作の発生を抑制しつつ、手を使うことなく操作入力可能な操作装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る操作装置は、車両の乗員の視線を検知する視線検知手段と、前記乗員の顔向きを検知する顔向き検知手段と、前記検知された顔向きの変化が、前記検知された視線の変化より所定量以上大きいことを条件に、前記検知された顔向きに基づいて前記顔向きによる操作意図を推定する推定手段と、を備えるというものである。
【０００８】
本発明の他の態様に係る操作装置は、車両の乗員の視線を検知する視線検知手段と、前記乗員の顔向きを検知する顔向き検知手段と、前記検知された顔向きに基づく、前記顔向きが一の方向に変化する際の前記顔向きの変化速度が所定速度より大きく、且つ、前記検知された視線の変化が所定変化量より小さいことを条件に、前記顔向きによる操作意図を推定する推定手段と、を備えるというものである。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る操作入力装置の構成を示すブロック図である。
【図２】実施形態に係る処理部の構成を示すブロック図である。
【図３】顔向き、視線方向及び顔向き変化量の時間変化の一例である。
【図４】顔向きと操作種類との関係の一例である。
【図５】変形例に係る処理部の構成を示すブロック図である。
【図６】顔向き、視線方向及び顔向き速度の時間変化の一例である。
【発明を実施するための形態】
【００１０】
操作装置に係る実施形態について図１乃至図４を参照して説明する。以下の実施形態では、操作装置の一例として操作入力装置を挙げる。
【００１１】
（構成）
実施形態に係る操作入力装置の構成について図１を参照して説明する。図１は、実施形態に係る操作入力装置の構成を示すブロック図である。図１において、操作入力装置１００は、車両１に搭載されている。操作入力装置１００は、乗員カメラ１０、処理部２０及び操舵センサ３０を備えて構成されている。
【００１２】
乗員カメラ１０は、車両１の運転者を撮像するためのカメラである。操舵センサ３０は、車両１のステアリングホイル（図示せず）の操舵角を検出可能に構成されている。尚、操舵センサ３０は、操作入力装置１００が独自に備えてなくてよく、他の装置と共用されていてよい。
【００１３】
処理部２０は、乗員カメラ１０により撮像された運転者の画像から、運転者の顔向き操作（即ち、所定機器の操作を意図した運転者の顔の向きを変更する動作）を検知し、該検知された顔向き操作に対応する操作指示を所定機器（例えば空調装置、オーディオ機器等）に送信することにより、該所定機器を操作可能に構成されている。このため、運転者は、顔向き操作によって所定機器の操作を行うことができる。
【００１４】
（処理部の動作）
処理部２０について図２を参照して説明を加える。図２は、実施形態に係る処理部の構成を示すブロック図である。
【００１５】
図２において、処理部２０は、顔向き操作による所定機器の操作を実現するために、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、取得部２０１、視線方向検知部２０２及び２０３、顔向き検知部２０４及び２０５、注視点判定部２０６及び２０７、顔向き変化量検知部２０８及び２０９、顔向き操作判定部２１０及び２１１、回転方向検知部２１２並びに機器制御検知部２１３を備えて構成されている。
【００１６】
１．視線及び顔向きの検知
取得部２０１は、乗員カメラ１０により撮像された映像を取得する。視線方向検知部２０２及び２０３各々は、取得部２０１により取得された映像を構成する各フレーム画像に対して視線検出処理を施す。その後、視線方向検知部２０２は、視線検出処理の結果に基づいて、水平方向における運転者の視線方向を検知する（例えば、運転者の左右方向に沿って延びる軸上のどこに視線が向いているかを検知する）。同様に、視線方向検知部２０３は、視線検出処理の結果に基づいて、垂直方向における運転者の視線方向を検知する（例えば、運転者の上下方向に沿って延びる軸上のどこに視線が向いているかを検知する）。
【００１７】
顔向き検知部２０４及び２０５各々は、取得部２０１により取得された映像を構成する各フレーム画像に対して顔検出処理を施す。その後、顔向き検知部２０４は、顔検出処理の結果に基づいて、水平方向における顔向きを検知する（例えば、運転者の左右方向に沿って延びる軸上のどこに顔が向いているかを検知する）。同様に、顔向き検知部２０５は、顔検出処理の結果に基づいて、垂直方向における顔向きを検知する（例えば、運転者の上下方向に沿って延びる軸上のどこに顔が向いているかを検知する）。
【００１８】
注視点判定部２０６は、視線方向検知部２０２による、例えば６フレーム画像分の検知結果に基づいて、水平方向における運転者の注視方向を判定する。同様に、注視点判定部２０７は、視線方向検知部２０３による、例えば６フレーム画像分の検知結果に基づいて、垂直方向における運転者の注視方向を判定する。ここで、「水平方向における運転者の注視方向」は、例えば注視方向を示すベクトルを、鉛直方向に沿って延びる直線に直交する平面（即ち、水平面）上に射影した場合の、基準方向と射影ベクトルとのなす角として表される。「垂直方向における運転者の注視方向」は、例えば注視方向を示すベクトルを、運転者の左右方向に沿って延びる直線に直交する平面上に射影した場合の、基準方向と射影ベクトルとのなす角として表される。
【００１９】
顔向き変化量検知部２０８は、顔向き検知部２０４による、例えば６フレーム画像分の検知結果に基づいて、顔向きの水平方向の変化量（ここでは、６フレーム画像が撮像される時間の顔向きの水平方向の変化量）を検知する。同様に、顔向き変化量検知部２０９は、顔向き検知部２０５による、例えば６フレーム画像分の検知結果に基づいて、顔向きの垂直方向の変化量（ここでは、６フレーム画像が撮像される時間の顔向きの垂直方向の変化量）を検知する。
【００２０】
２．顔向き操作判定
顔向き操作判定部２１０は、注視点判定部２０６による判定結果と、顔向き変化量検知部２０８による検知結果とに基づいて、操作入力を意図した顔向き操作があるか否かを判定する。同様に、顔向き操作判定部２１１は、注視点判定部２０７による判定結果と、顔向き変化量検知部２０９による検知結果とに基づいて、操作入力を意図した顔向き操作があるか否かを判定する。
【００２１】
ここで、顔向き操作判定部２１０及び２１１各々における判定について、図３を参照して具体的に説明する。図３は、顔向き、視線方向及び顔向き変化量の時間変化の一例である。
【００２２】
先ず、運転者が操作入力を意図した顔向き操作を行う場合と、例えば脇見等に起因して顔向きが変化する場合との違いについて説明する。
【００２３】
操作入力を意図した顔向き操作が行われる場合、運転者の視線は、運転上見るべきポイントに向けられている一方、運転者の顔は該見るべきポイントとは異なる方向に向けられる。つまり、操作入力を意図した顔向き操作が行われる場合、該顔向き操作が行われる比較的短い期間では、運転者の視線が向けられる方向と顔が向けられる方向とは比較的大きく異なるとともに、運転者の視線方向の変化は比較的小さいが、顔向きの変化は比較的大きくなる。
【００２４】
他方、脇見等に起因して顔向きが変化する場合、運転者の視線が向けられる方向と、顔が向けられる方向との違いは比較的小さくなる。つまり、脇見等に起因して顔向きが変化する場合、運転者の視線方向の変化が比較的小さければ、顔向きの変化も比較的小さく、視線方向の変化が比較的大きければ、顔向きの変化も比較的大きくなる。
【００２５】
さて、顔向き操作判定部２１０は、注視点判定部２０６による判定結果に基づく視線の水平方向への変化（即ち、注視方向の水平方向への変化）と、顔向き変化量検知部２０８による検知結果に基づく顔向きの水平方向への変化（例えば、単位時間（ここでは、６フレーム画像が撮像される時間）当たりの顔向きの水平方向の変化量を積分することにより求めればよい）とを比較して、顔向きの水平方向への変化が、視線の水平方向への変化より第１所定量以上大きいか否かを判定する。顔向き操作判定部２１０は更に、顔向き変化量検知部２０８による検知結果に基づく、単位時間当たりの顔向きの水平方向の変化量の絶対値が、第１所定期間内に２回、第１閾値を超えたか否かを判定する。
【００２６】
顔向きの水平方向への変化（図３（ａ）における“顔向き変化”参照）が、視線の水平方向への変化（図３（ａ）における“視線変化”参照）より第１所定量以上大きいと判定され、且つ、単位時間当たりの顔向きの水平方向の変化量の絶対値が、第１所定期間内に２回、第１閾値を超えたと判定された場合、顔向き操作判定部２１０は、水平方向への顔向き操作が行われたと判定する。他方、顔向きの水平方向への変化が、視線の水平方向への変化より第１所定量以上大きくないと判定された場合、又は、単位時間当たりの顔向きの水平方向の変化量の絶対値が、第１所定期間内に２回、第１閾値を超えていないと判定された場合、顔向き操作判定部２１０は、水平方向への顔向き操作がないと判定する。
【００２７】
ここで、顔向き操作の一例としての「顔向きの右方向への変化」について考えると、運転者は、顔向き操作として顔の向きを右方向へ変化させた後、必ず顔の向きを元に戻す（即ち、顔の向きを左方向へ変化させる）。このため、「顔向きの右方向への変化」という顔向き操作が行われる場合、顔の向きを右方向へ変化させるとき及び顔の向きを元に戻すときの２回、単位時間当たりの顔向きの水平方向への変化量の絶対値が比較的大きくなったことが、顔向き変化量検知部２０８による検知結果により示される。
【００２８】
具体的には例えば、図３（ａ）に示すように、顔向き（図中の破線参照）が右方向に変化するとき（時刻ｔ１〜ｔ２参照）に、顔向き変化量の絶対値（図中の点線参照）のピークが現れる。また、顔向きが左方向に変化するとき（時刻ｔ３〜ｔ４参照）にも、顔向き変化量の絶対値のピークが現れる。尚、図３（ａ）の縦軸の正方向を「右」とする。
【００２９】
このため、顔向き操作判定部２１０は、単位時間当たりの顔向きの水平方向への変化量の絶対値が、「２回」、第１閾値を超えたか否かを判定するのである。「第１所定期間」は、顔向き操作と、それ以外の顔の向きを変える動作とを区別する期間であり、典型的には予め固定値として定められている。尚、第１所定期間は、例えば運転者の年齢等に応じて、或いは、運転者の顔向き操作に係る挙動の学習結果等に応じて、変化してもよい。
【００３０】
「第１所定量」は、水平方向への顔向き操作があるか否かを決定する値の一つであり、予め固定値として、又は、何らかの物理量若しくはパラメータに応じた可変値として設定されている。「第１所定量」は、実験的若しくは経験的に、又はシミュレーションによって、例えば顔向き操作を意図している場合の顔向きの水平方向への変化と視線の水平方向への変化との違いを示す複数の計測点と、脇見等に起因して顔向きが変化する場合の顔向きの水平方向への変化と視線の水平方向への変化との違いを示す複数の計測点と、の分布を求め、該求められた分布に基づいて、顔向き操作と脇見等に起因する顔向きの変化とを適切に区別可能な値として設定すればよい。
【００３１】
「第１閾値」は、水平方向への顔向き操作があるか否かを決定する値の一つであり、予め固定値として、又は、何らかの物理量若しくはパラメータに応じた可変値として設定されている。「第１閾値」は、実験的若しくは経験的に、又はシミュレーションによって、例えば顔向き操作を意図している場合の単位時間当たりの顔向きの水平方向の変化量を示す複数の計測点の分布を求め、該求められた分布に基づいて分布範囲の下限値として設定すればよい。
【００３２】
顔向き操作判定部２１１は、注視点判定部２０７による判定結果に基づく視線の垂直方向への変化（即ち、注視方向の垂直方向への変化）と、顔向き変化量検知部２０９による検知結果に基づく顔向きの垂直方向への変化（例えば、単位時間（ここでは、６フレーム画像が撮像される時間）当たりの顔向きの垂直方向の変化量を積分することにより求めればよい）とを比較して、顔向きの垂直方向への変化が、視線の垂直方向への変化より第２所定量以上大きいか否かを判定する。顔向き操作判定部２１０は更に、顔向き変化量検知部２０９による検知結果に基づく、単位時間当たりの顔向きの垂直方向の変化量の絶対値が、第１所定期間内に２回、第２閾値を超えたか否かを判定する。
【００３３】
顔向きの垂直方向への変化が、視線の垂直方向への変化より第２所定量以上大きいと判定され、且つ、単位時間当たりの顔向きの垂直方向の変化量の絶対値が、第１所定期間内に２回、第２閾値を超えたと判定された場合、顔向き操作判定部２１１は、垂直方向への顔向き操作が行われたと判定する。他方、顔向きの垂直方向への変化が、視線の垂直方向への変化より第２所定量以上大きくないと判定された場合、又は、単位時間当たりの顔向きの垂直方向の変化量の絶対値が、第１所定期間内に２回、第２閾値を超えていないと判定された場合、顔向き操作判定部２１１は、垂直方向への顔向き操作がないと判定する。
【００３４】
例えば、図３（ｂ）に示すように、顔向き（図中の破線参照）が上方向に変化するとき（時刻ｔ５〜ｔ６参照）に、顔向き変化量の絶対値（図中の点線参照）のピークが現れる。また、顔向きが下方向に変化するとき（即ち、顔向きが元に戻るとき）（時刻ｔ７〜ｔ８参照）にも、顔向き変化量の絶対値のピークが現れる。尚、図３（ｂ）の縦軸の正方向を「上」とする。従って、顔向き操作判定部２１１は、上述した顔向き操作判定部２１０と同様に、単位時間当たりの顔向きの垂直方向への変化量の絶対値が、「２回」、第２閾値を超えたか否かを判定する。
【００３５】
「第２所定量」は、垂直方向への顔向き操作があるか否かを決定する値の一つであり、予め固定値として、又は、何らかの物理量若しくはパラメータに応じた可変値として設定されている。「第２所定量」は、実験的若しくは経験的に、又はシミュレーションによって、例えば顔向き操作を意図している場合の顔向きの垂直方向への変化と視線の垂直方向への変化との違いを示す複数の計測点と、脇見等に起因して顔向きが変化する場合の顔向きの垂直方向への変化と視線の垂直方向への変化との違いを示す複数の計測点と、の分布を求め、該求められた分布に基づいて、顔向き操作と脇見等に起因する顔向きの変化とを適切に区別可能な値として設定すればよい。
【００３６】
「第２閾値」は、垂直方向への顔向き操作があるか否かを決定する値の一つであり、予め固定値として、又は、何らかの物理量若しくはパラメータに応じた可変値として設定されている。「第２閾値」は、実験的若しくは経験的に、又はシミュレーションによって、例えば顔向き操作を意図している場合の単位時間当たりの顔向きの垂直方向の変化量を示す複数の計測点の分布を求め、該求められた分布に基づいて分布範囲の下限値として設定すればよい。尚、第２閾値は、典型的には、第１閾値より小さくなることが、本願発明者の研究により判明している。
【００３７】
３．操作意図推定
回転方向検知部２１２は、顔向き操作判定部２１０及び２１１各々による判定結果に基づいて、運転者の顔の回転の有無及び回転方向を検知する。具体的には、回転方向検知部２１２は、顔向き操作判定部２１０及び２１１各々による判定結果により示される顔向きが、例えば「下方向」、「左方向」、「上方向」及び「右方向」の順に連続して変化している場合、運転者の顔が右回りに回転していると判定する。つまり、回転方向検知部２１２は、顔向きが所定の順に連続して変化している場合に、運転者の顔の回転があると判定する。
【００３８】
他方、回転方向検知部２１２は、（ｉ）顔向き操作判定部２１０及び２１１各々による判定結果により示される顔向きが、不規則に変化している場合、或いは、（ｉｉ）顔向き操作判定部２１０及び２１１各々による判定結果により、一の時点における顔向きの変化が示された後、第２所定期間以内に顔向きの変化が示されない（即ち、顔向き操作判定部２１０及び２１１のいずれにおいても、顔向き操作がないと判定された場合）、運転者の顔の回転はないと判定する。
【００３９】
機器制御検知部２１３は、顔向き操作判定部２１０及び２１１各々による判定結果、並びに、回転方向検知部２１２による検知結果に基づいて、車両１の運転者の操作意図を推定する。具体的には、機器制御検知部２１３は、例えば該機器制御検知部２１３のメモリ等に予め格納されている、顔向き、対象機器及び操作の関係を規定するテーブル（図４参照）を参照して、顔向き操作判定部２１０及び２１１各々による判定結果、並びに、回転方向検知部２１２による検知結果から、操作対象機器及び操作内容を特定することによって、運転者の操作意図を推定する。
【００４０】
尚、図４において「水平方向判定」、「垂直方向判定」及び「回転」は、夫々、顔向き操作判定部２１０による判定結果、顔向き操作判定部２１１による判定結果及び回転方向検知部２１２による検知結果に対応している。
【００４１】
機器制御検知部２１３は、操舵センサ３０からの出力により示される操舵角の変化量が比較的小さいことを条件に、推定された操作意図により示される操作入力を実現すべく、操作対象機器に操作内容を示す信号を送信する。この結果、操作対象機器において、推定された操作意図に応じた操作が実行される。この場合、機器制御検知部２１３は、例えば音声等によって、操作入力が受け付けられたことが運転者に報知されるように、ＨＭＩ（Ｈｕｍａｎ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）等を制御してよい。
【００４２】
他方、機器制御検知部２１３は、操舵センサ３０からの出力により示される操舵角の変化量が比較的大きい場合、運転者の操作意図が推定された場合であっても、顔向き操作を受け付けない。つまり、車両１の運転者がステアリングホイルを比較的大きく操舵している場合、顔向き操作による操作入力を行うことはできない。
【００４３】
（技術的効果）
当該操作入力装置１００では、運転者が操作入力を意図した顔向き操作を行う場合、及び、脇見等に起因して顔向きが変化する場合各々の顔向きと視線方向との関係の違いに着目し、顔向き操作の有無が判定される。当該操作入力装置１００では更に、顔向き操作として顔の向きが変化された場合、必ず顔の向きが元に戻ることに着目し、顔向き操作の有無が判定される。
【００４４】
具体的には、顔向き操作判定部２１０は、顔向きの水平方向への変化が視線の水平方向への変化より第１所定量以上大きく、且つ、単位時間当たりの顔向きの水平方向の変化量の絶対値が、第１所定期間内に２回、第１閾値を超えたことを条件に、水平方向への顔向き操作が行われたと判定する。顔向き操作判定部２１１は、顔向きの垂直方向への変化が視線の垂直方向への変化より第２所定量以上大きく、且つ、単位時間当たりの顔向きの垂直方向の変化量の絶対値が、第１所定期間内に２回、第２閾値を超えたことを条件に、垂直方向への顔向き操作が行われたと判定する。
【００４５】
当該操作入力装置１００によれば、操作入力のために運転上見るべきポイントから視線を外す必要がなく、また、手によるジェスチャも不要である。加えて、上述の如く、（ｉ）運転者が操作入力を意図した顔向き操作を行う場合、及び、脇見等に起因して顔向きが変化する場合各々の顔向きと視線方向との関係の違い、並びに、（ｉｉｉ）顔向き操作として顔の向きが変化された場合、必ず顔の向きが元に戻ること、に着目した顔向き操作判定が行われるので、誤判定に起因する誤操作の発生を抑制することができる。
【００４６】
操舵角が比較的大きい場合（即ち、運転者がステアリングホイルを比較的大きく操舵している場合）、運転者の顔の向きは（運転者が意図しなくても）比較的大きく変化することが多い。本実施形態では、機器制御検知部２１３を、操舵角の変化量が比較的大きい場合顔向き操作を受け付けないように構成することによって、運転者の意図しない顔向きの変化に起因して、誤った操作入力が受け付けられることを防止している。加えて、このように構成することによって、運転者をステアリングホイルの操舵に集中させることができる。
【００４７】
＜変形例＞
上述の実施形態では、顔向きの変化量に基づいて顔向き操作の有無の判定が行われているが、顔向きの速度に基づいて顔向き操作の有無の判定が行われてもよい。
【００４８】
変形例に係る処理部の動作について、図５及び図６を参照して具体的に説明する。図５は、変形例に係る処理部の構成を示すブロック図である。図５において、処理部２０´は、顔向き変化量検知部２０８及び２０９に代えて、顔向き速度検知部２２１及び２２２を備えて構成されている。
【００４９】
顔向き速度検知部２２１は、顔向き検知部２０４による検知結果に基づいて、顔向きの水平方向の変化速度を検知する。同様に、顔向き速度検知部２２２は、顔向き検知部２０５の検知結果に基づいて、顔向きの垂直方向の変化速度を検知する。
【００５０】
ところで、操作入力を意図した顔向き操作が行われる場合、図６に示すように、顔向き（図中の破線参照）が一の方向に変化するとき（時刻ｔ９〜ｔ１０参照）に、顔向き速度の絶対値（図中の点線参照）のピークが現れる。また、顔向きが、一の方向とは反対方向に変化するとき（時刻ｔ１１〜ｔ１２参照）にも、顔向き速度の絶対値のピークが現れる。他方で、視線方向（図中の実線参照）の変化は比較的小さい。
【００５１】
顔向き操作判定部２１０は、顔向き速度検知部２２１による検知結果に基づく顔向きの水平方向の変化速度の絶対値が速度閾値（図６参照）より大きく、且つ、注視点判定部２０６による判定結果に基づく視線の水平方向への変化が変化量閾値（図６参照）より小さいことを条件に、水平方向への顔向き操作が行われたと判定する。同様に、顔向き操作判定部２１１は、顔向き速度検知部２２２による検知結果に基づく顔向きの垂直方向の変化速度の絶対値が速度閾値より大きく、且つ、注視点判定部２０７による判定結果に基づく視線の垂直方向への変化が変化量閾値より小さいことを条件に、垂直方向への顔向き操作が行われたと判定する。
【００５２】
尚、顔向き操作判定部２１０は、顔向きの水平方向の変化速度の絶対値が、第１所定期間内に２回、速度閾値を超え、且つ、視線方向の水平方向への変化が変化量閾値より小さいことを条件に、水平方向への顔向き操作が行われたと判定してもよい。同様に、顔向き操作判定部２１１は、顔向きの垂直方向の変化速度の絶対値が、第１所定期間内に２回、速度閾値を超え、且つ、視線方向の垂直方向への変化が変化量閾値より小さいことを条件に、垂直方向への顔向き操作が行われたと判定してもよい。
【００５３】
「速度閾値」は、顔向き操作があるか否かを決定する値の一つであり、予め固定値として、又は、何らかの物理量若しくはパラメータに応じた可変値として設定されている。「速度閾値」は、実験的若しくは経験的に、又はシミュレーションによって、例えば顔向き操作を意図している場合の顔向きの変化速度を示す複数の計測点の分布を求め、該求められた分布に基づいて分布範囲の下限値として設定すればよい。尚、「速度閾値」は、水平方向及び垂直方向で互いに異なっていてよい。
【００５４】
「変化量閾値」は、顔向き操作があるか否かを決定する値の一つであり、予め固定値として、又は、何らかの物理量若しくはパラメータに応じた可変値として設定されている。「変化量閾値」は、実験的若しくは経験的に、又はシミュレーションによって、例えば顔向き操作を意図している場合の視線の変化を示す複数の計測点と、脇見等に起因して顔向きが変化する場合の視線の変化を示す複数の計測点と、の分布を求め、該求められた分布に基づいて、顔向き操作と脇見等に起因する顔向きの変化とを適切に区別可能な値として設定すればよい。尚、「変化量閾値」は、水平方向及び垂直方向で互いに異なっていてよい。
【００５５】
その他変形例
例えば第１閾値（図３（ａ）参照）として、互いに値の異なる複数の閾値が設定されてよい。例えば音量や温度に係る操作入力に対応する顔向き操作の場合、顔向き変化量の絶対値が超えた閾値によって、音量や温度の増減幅が変更されてよい。このように構成すれば、顔向き操作を行う回数を低減することができ、実用上非常に有利である。
【００５６】
上述の実施形態では、顔向き及び視線を水平方向及び垂直方向に分けて扱っているが、水平方向及び垂直方向に分けずに扱ってもよい。
【００５７】
顔向き操作と、例えば音声入力とを組み合わせて、運転者の操作意図が推定されてよい。
【００５８】
以上に説明した実施形態及び変形例から導き出される発明の各種態様を以下に説明する。
【００５９】
発明の一態様に係る操作装置は、車両の乗員の視線を検知する視線検知手段と、前記乗員の顔向きを検知する顔向き検知手段と、前記検知された顔向きの変化が、前記検知された視線の変化より所定量以上大きいことを条件に、前記検知された顔向きに基づいて前記顔向きによる操作意図を推定する推定手段と、を備えるというものである。上述の実施形態においては、視線方向検知部２０２及び２０３並びに注視点判定部２０６及び２０７が視線検知手段の一例に相当し、顔向き検知部２０４及び２０５並びに顔向き変化量検知部２０８及び２０９が顔向き検知手段の一例に相当し、機器制御検知部２１３が推定手段の一例に相当する。
【００６０】
ここで、操作を意図して顔向きが変化する場合、比較的短い期間では、乗員（例えば運転者）の視線が向けられる方向と顔が向けられる方向とは比較的大きく異なるとともに、乗員の視線方向の変化は比較的小さいが、顔向きの変化は比較的大きくなる。他方、脇見等に起因して顔向きが変化する場合、乗員の視線が向けられる方向と、顔が向けられる方向との違いは比較的小さくなる。従って、検知された顔向きの変化が検知された視線の変化より所定量以上大きければ、検知された顔向きの変化は、操作を意図したものであると言える。
【００６１】
当該操作装置によれば、顔向きの変化と視線の変化とを比較することによって、操作を意図した顔向きの変化と、脇見等とを区別することができるので、脇見等が操作を意図した顔向きの変化と誤って認識されることを抑制することができる。この結果、当該操作装置によれば、誤操作の発生を抑制することができる。また、当該操作装置では、顔向きの変化から乗員の操作意図が推定される。つまり、当該操作装置によれば、手によるジェスチャを行う必要はない。
【００６２】
当該操作装置の一態様では、前記推定手段は、（ｉ）前記検知された顔向きの変化が、前記検知された視線の変化より前記所定量以上大きく、更に、（ｉｉ）前記顔向きが一の方向に変化した後、前記顔向きが元の方向に変化する場合であって、前記顔向きが前記一の方向に変化する際の前記検知された顔向きの単位時間当たりの変化量が変化量閾値より大きく、且つ、前記顔向きが前記元の方向に変化する際の前記検知された顔向きの単位時間当たりの変化量が前記変化量閾値より大きい場合に、前記顔向きによる操作意図を推定する。上述の実施形態においては、第１閾値及び第２閾値が、変化量閾値の一例に相当する。
【００６３】
ここで、操作を意図して顔向きが一の方向に変化された場合、顔向きは必ず元に戻る。このため、単位時間当たりの顔向きの変化量は、顔向きが一の方向に変化するときと、顔向きが元に戻るときの２回、比較的大きくなる。つまり、単位時間当たりの顔向きの変化量が２回、変化量閾値より大きくなることは、操作を意図した顔向きの変化があったことの有力な手がかりである。従って、この態様によれば、誤操作の発生を好適に抑制することができる。
【００６４】
当該操作装置の他の態様では、前記視線検知手段は、前記検知された視線から前記視線の水平方向の変化及び前記視線の垂直方向の変化を求め、前記顔向き検知手段は、前記検知された顔向きから前記顔向きの水平方向の変化及び前記顔向きの垂直方向の変化を求め、前記推定手段は、（ｉ）前記顔向きの水平方向の変化が、前記視線の水平方向の変化より、水平方向に対応する前記所定量としての第１所定量以上大きいこと、及び（ｉｉ）前記顔向きの垂直方向の変化が、前記視線の垂直方向の変化より、垂直方向に対応する前記所定量としての第２所定量以上大きいこと、の少なくとも一方が満たされることを条件に、前記顔向きによる操作意図を推定する。
【００６５】
乗員が、例えば「顔向きの右方向への変化」に対応する操作を意図して、顔向きを右方向へ変化させた場合に、実際の顔向きの変化方向がやや右斜め下方向への変化であった場合を考える。仮に、顔向き及び視線の水平方向の変化と、顔向き及び視線の垂直方向とが別々に扱われない構成では、上記顔向きの変化は、「顔向きの右方向への変化」ではなく、「顔向きの右斜め下方向への変化」と誤って認識される可能性がある。しかるに、この態様によれば、顔向き及び視線の水平方向の変化と、顔向き及び視線の垂直方向とが別々に扱われるので、上記のような誤認識を抑制することができる。
【００６６】
発明の他の態様に係る操作装置は、車両の乗員の視線を検知する視線検知手段と、前記乗員の顔向きを検知する顔向き検知手段と、前記検知された顔向きに基づく、前記顔向きが一の方向に変化する際の前記顔向きの変化速度が所定速度より大きく、且つ、前記検知された視線の変化が所定変化量より小さいことを条件に、前記顔向きによる操作意図を推定する推定手段と、を備えるというものである。上述の実施形態においては、速度閾値が所定速度の一例に相当し、変化量閾値が所定変化量に相当する。
【００６７】
ここで、操作を意図して顔向きが変化する場合、乗員の視線が向けられる方向はほとんど変化しない一方、顔向きは比較的大きく変化する。操作を意図した顔向きの変化は、比較的短い時間に行われるので、顔向きの変化速度は比較的大きくなる。従って、顔向きの変化速度が所定速度より大きく、且つ、視線の変化が所定変化量より小さければ、検知された顔向きの変化は、操作を意図したものであると言える。
【００６８】
当該操作装置によれば、顔向きの変化速度と視線の変化とが考慮されるので、操作を意図した顔向きの変化と、脇見等とを区別することができる（なぜなら、脇見等に起因して顔向きが変化する場合は、視線も比較的大きく変化するからである）。このため、脇見等が操作を意図した顔向きの変化と誤って認識されることを抑制することができる。この結果、当該操作装置によれば、誤操作の発生を抑制することができる。また、当該操作装置によれば、手によるジェスチャを行う必要はない。
【００６９】
当該操作装置の一態様では、前記推定手段は、（ｉ）前記検知された視線の変化が前記所定変化量より小さく、更に、（ｉｉ）前記顔向きが一の方向に変化した後、前記顔向きが元の方向に変化する場合であって、前記顔向きが前記一の方向に変化する際の前記検知された顔向きの変化速度が前記所定速度より大きく、且つ、前記顔向きが前記元の方向に変化する際の前記検知された顔向きの変化速度が前記所定速度より大きい場合に、前記顔向きによる操作意図を推定する。
【００７０】
ここで、操作を意図して顔向きが一の方向に変化された場合、顔向きは必ず元に戻る。このため、顔向きの変化速度は、顔向きが一の方向に変化するときと、顔向きが元に戻るときの２回、比較的大きくなる。つまり、顔向きの変化速度が２回、所定速度より大きくなることは、操作を意図した顔向きの変化があったことの有力な手がかりである。従って、この態様によれば、誤操作の発生を好適に抑制することができる。
【００７１】
当該操作装置の他の態様では、前記視線検知手段は、前記検知された視線から前記視線の水平方向の変化及び前記視線の垂直方向の変化を求め、前記顔向き検知手段は、前記検知された顔向きから前記顔向きの水平方向の変化及び前記顔向きの垂直方向の変化を求め、
前記推定手段は、（ｉ）前記顔向きの水平方向の変化速度が、水平方向に対応する前記所定速度としての第１所定速度より大きく、且つ、前記視線の水平方向の変化が、水平方向に対応する前記所定変化量としての第１所定変化量より小さいこと、及び（ｉｉ）前記顔向きの垂直方向の変化速度が、垂直方向に対応する前記所定速度としての第２所定速度より大きく、且つ、前記視線の垂直方向の変化が、垂直方向に対応する前記所定変化量としての第２所定変化量より小さいこと、の少なくとも一方が満たされることを条件に、前記顔向きによる操作意図を推定する。
【００７２】
乗員が、例えば「顔向きの右方向への変化」に対応する操作を意図して、顔向きを右方向へ変化させた場合に、実際の顔向きの変化方向がやや右斜め下方向への変化であった場合を考える。仮に、顔向き及び視線の水平方向の変化と、顔向き及び視線の垂直方向とが別々に扱われない構成では、上記顔向きの変化は、「顔向きの右方向への変化」ではなく、「顔向きの右斜め下方向への変化」と誤って認識される可能性がある。しかるに、この態様によれば、顔向き及び視線の水平方向の変化と、顔向き及び視線の垂直方向とが別々に扱われるので、上記のような誤認識を抑制することができる。
【００７３】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う操作装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００７４】
１…車両、１０…乗員カメラ、２０…処理部、３０…操舵センサ、２０１…取得部、２０２、２０３…視線方向検知部、２０４、２０５…顔向き検知部、２０６、２０７…注視点判定部、２０８、２０９…顔向き変化量検知部、２１０、２１１…顔向き操作判定部、２１２…回転方向検知部、２１３…機器制御検知部、２２１、２２２…顔向き速度検知部
【図１】
2019095911.tif 000003
【図２】
2019095911.tif 000004
【図３】
2019095911.tif 000005
【図４】
2019095911.tif 000006
【図５】
2019095911.tif 000007
【図６】
2019095911.tif 000008