(57)【要約】【課題】視線の検出結果を校正する。【解決手段】校正装置（１００）は、ユーザの視線を検出する視線検出処理を行う視線検出手段（１１、１２、３１）と、ユーザの手による入力を受け付け可能な手入力受付手段（１３、３２）と、視線検出処理の結果に基づいて、ユーザの注視位置を示す情報を提示する提示手段（２２）と、提示手段により注視位置を示す情報が提示された後に、手入力受付手段を介して注視位置の修正指示が入力された場合、修正指示に対応する注視位置に係る誤差を、次回の視線検出処理に反映する補正手段（１５）と、を備える。補正手段は、視線検出処理が複数回行われ、修正指示が複数回連続して入力された場合、複数回の修正指示に夫々対応する複数の注視位置の誤差の平均値を、次回の視線検出処理に反映する。【選択図】図３
2019152957.tif 000002
【特許請求の範囲】
【請求項１】
視線による操作入力を受け付け可能な機器操作装置において前記視線による操作入力に係る校正を行う校正装置であって、
ユーザの視線を検出する視線検出処理を行う視線検出手段と、
前記ユーザの手による入力を受け付け可能な手入力受付手段と、
前記視線検出処理の結果に基づいて、前記ユーザの注視位置を示す情報を前記ユーザに提示する提示手段と、
前記提示手段により前記注視位置を示す情報が提示された後に、前記手入力受付手段を介して前記注視位置の修正指示が入力された場合、前記修正指示に対応する前記注視位置に係る誤差を、次回の前記視線検出処理に反映する補正手段と、
を備え、
前記補正手段は、前記視線検出処理が複数回行われ、前記修正指示が複数回連続して入力された場合、前記複数回の修正指示に夫々対応する複数の前記注視位置の誤差の平均値を、次回の前記視線検出処理に反映する
ことを特徴とする校正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線による操作入力に係る校正を行う校正装置の技術分野に関する。
【背景技術】
【０００２】
視線による操作入力が可能な装置として、例えば、ステアリングホイールに設けられた十字キーが操作者の入力を受け付けた際、複数の車載機器のうち操作者の視線上に存在する車載機器を操作対象として、十字キーが受け付けた操作者の入力に基づいて操作対象の車載機器を制御する装置が提案されている（特許文献１参照）。或いは、乗員の注視方向に基づいて車載機器群を特定し、車載機器群が特定されている状態で上下方向選択手段が操作された場合に、選択された上下方向に基づいて特定された車載機器群のうちいずれかの車載機器を特定する装置が提案されている（特許文献２参照）。
【０００３】
視線位置を補正する技術として、例えば、表示画面上のカーソルが視線位置に追従して移動し、視線の移動位置でリターンキーが押されることにより、表示画面に対応する入力を行うことができる表示装置において、視線位置データを補正データにより補正して実際の視線位置を算出し、その視線位置データを表示した後、補正操作があったとき、その視線位置データと直前に算出された視線位置データとのズレ量を算出して調整する技術が提案されている（特許文献３参照）。或いは、ユーザ操作に伴う注視対象の位置と、ユーザ操作時におけるユーザの視線位置とに基づいて、ユーザの視線位置を検出する視線検出の調整を行う装置が提案されている（特許文献４参照）。或いは、術者が術具を用いて手術をしている最中に、術者の視線の検出値を補正する方法であって、術具の先端を参照点として検出し、術者の視線の検出値と参照点との誤差に対応して視線の検出値を補正する方法が提案されている（特許文献５参照）。或いは、表示画面に表示されるオブジェクトに対する操作者の操作中に検出される視線の移動に基づいて、操作者が視線入力を行う場合の誤差を補正するための補正係数を取得する技術が提案されている（特許文献６参照）。或いは、表示部に補正用ターゲットを表示し、補正用ターゲットが表示された座標位置と、検出された視線の視線位置とのずれを算出して、そのずれを補正する技術が提案されている（特許文献７参照）。或いは、表示部の表示領域における操作者の視線位置を視線方向に基づいて検出し、操作者が指示した表示領域内の位置である指示位置に基づいて、検出された視線位置を補正する技術が提案されている（特許文献８参照）。或いは、利用者がオブジェクトを選択する度に、仮の補正係数を求め、選択オブジェクトとその他のオブジェクトとの関係に基づいて、利用者の注視具合が高い場合に算出された仮の補正係数に重きをおいて補正係数を算出する技術が提案されている（特許文献９参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１５１０５９号公報
【特許文献２】国際公開第２０１２／１７６５３５号
【特許文献３】特開平０８−０３０３８０号公報
【特許文献４】国際公開第２０１６／１３９８５０号
【特許文献５】特開２０１７−１７６４１４号公報
【特許文献６】特開２０１５−１５２９３９号公報
【特許文献７】特開平１１−０７６１６５号公報
【特許文献８】特開２０１５−０４６１１１号公報
【特許文献９】特開２０１２−０６５７８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１及び２に記載の技術では、視線検出の検出精度が比較的高いことが前提とされている。しかしながら、該前提を満足するためには、視線検出に係る構成が比較的複雑になったり、コストが比較的高くなったりする。視線検出の検出精度が比較的低い場合には、例えば特許文献３乃至９に記載されているような補正（校正）技術を用いる必要がある。しかしながら、特許文献３乃至９に記載の技術には、改善の余地がある。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、視線の検出結果を校正することができる校正装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る校正装置は、視線による操作入力を受け付け可能な機器操作装置において前記視線による操作入力に係る校正を行う校正装置であって、ユーザの視線を検出する視線検出処理を行う視線検出手段と、前記ユーザの手による入力を受け付け可能な手入力受付手段と、前記視線検出処理の結果に基づいて、前記ユーザの注視位置を示す情報を前記ユーザに提示する提示手段と、前記提示手段により前記注視位置を示す情報が提示された後に、前記手入力受付手段を介して前記注視位置の修正指示が入力された場合、前記修正指示に対応する前記注視位置に係る誤差を、次回の前記視線検出処理に反映する補正手段と、を備え、前記補正手段は、前記視線検出処理が複数回行われ、前記修正指示が複数回連続して入力された場合、前記複数回の修正指示に夫々対応する複数の前記注視位置の誤差の平均値を、次回の前記視線検出処理に反映するというものである。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る機器操作装置の構成を示すブロック図である。
【図２】ドライバによる操作概念を示す概念図である。
【図３】実施形態に係る校正処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
校正装置に係る実施形態を図１乃至図３に基づいて説明する。以下の実施形態では、校正装置の一例として、機器操作装置を挙げる。
【００１０】
（構成）
実施形態に係る機器操作装置の構成について図１を参照して説明する。図１は、実施形態に係る機器操作装置の構成を示すブロック図である。
【００１１】
図１において、機器操作装置１００は、車両１に搭載されている。車両１は、例えばナビゲーション装置２０１、オーディオ装置２０２、エアーコンディショナ２０３、パワーウィンド２０４、ミラー２０５等の複数の車載機器を備えて構成されている。
【００１２】
機器操作装置１００は、上記複数の車載機器を操作可能に構成されている。機器操作装置１００は、演算部１０、記憶装置２１、表示部２２、視線検出センサ３１及び手操作検出センサ３２を備えて構成されている。演算部１０は、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、視線検出部１１、注視点検出部１２、手操作検出部１３、車載機器制御部１４及び校正部１５を備えて構成されている。
【００１３】
視線検知センサ３１は、例えば視線計測用ＩＲ（ＩｎｆｒａＲｅｄ）カメラと、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）光源（例えば近赤外照明）を有している。上記カメラは、ユーザ（ここでは、車両１のドライバ）の顔（特に、目）を撮像可能に設置されている。上記ＬＥＤ光源は、ユーザの顔に該ＬＥＤ光源からの光が照射されるように設置されている。
【００１４】
演算部１０の視線検出部１１は、上記カメラにより撮像された画像からユーザの視線方向を検出する。視線検出部１１は、具体的には、角膜反射法によりユーザの視線方向を検出する。尚、角膜反射法については、既存の各種態様を適用可能であるので、その詳細な説明は省略する。
【００１５】
演算部１０の注視点検出部１２は、視線検出部１１により検出された視線方向に基づいて、視線が所定時間（例えば０．２秒等）以上滞留している場合に、視線が滞留している位置を注視点として検出する。
【００１６】
手操作検出センサ３２は、車両１のステアリングホイールに設けられた十字キー（図２参照）を備えて構成されている。該十字キーは、上下左右の各方向を指示するためのボタンと、「決定」を指示するためのボタンとを有する。
【００１７】
演算部１０の手操作検出部１３は、手操作検出センサ３２からの出力に基づいて、ユーザによる手操作を検出する。
【００１８】
演算部１０の車載機器制御部１４は、注視点検出部１２及び手操作検出部１３の少なくとも一方からの出力に基づいて、例えばナビゲーション装置２０１等の複数の車載機器を制御する。
【００１９】
演算部１０の校正部１５は、視線検出部１１による検出結果を校正する。尚、校正部１５の詳細については後述する。
【００２０】
表示部２２は、例えばＨＵＤ（Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）、ＭＩＤ（Ｍｕｌｔｉ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｄｉｓｐｌａｙ）又は液晶ディスプレイを備えて構成されている。表示部２２は、当該機器操作装置１００が独自に備えていてもよいし、例えばナビゲーション装置２０１の表示部等と共用されていてもよい。
【００２１】
（機器の操作）
次に、機器操作装置１００を用いた車載機器の操作概念について図２を参照して説明する。図２は、ドライバによる操作概念を示す概念図である。
【００２２】
表示部２２には、例えばナビゲーション装置２０１等の複数の車載機器のうち少なくとも一部の車載機器に係る操作候補が表示される。例えばオーディオ装置２０２の場合、例えば、電源のＯＮ／ＯＦＦ、音量の上げ／下げ、選局等を示すアイコンや記号等が操作候補として表示される。例えばエアーコンディショナ２０３の場合、例えば、電源のＯＮ／ＯＦＦ、設定温度の上げ／下げ等を示すアイコンや記号が操作候補として表示される。
【００２３】
表示部２２には、更に、ユーザの注視点を示す情報（例えば記号等）が表示される。例えば、ユーザが所望する操作候補と注視点を示す情報とが重なっている場合（即ち、該所望する操作候補がユーザの視線により選択されている場合）に、手操作検出センサ３２が備える十字キーの「決定」を示すボタンが押下されると、該操作候補に対応する操作が行われる。
【００２４】
（視線入力の問題点）
ユーザの視線の検出結果を用いて車載機器の操作を行う場合、視線の検出精度が比較的低いと、例えばユーザが所望する操作とは異なる操作が行われる可能性がある。他方で、視線の検出精度を十分に高くしようとすると、視線検出に係る機器（例えば視線検出センサ３１等）の構成が比較的複雑になったり、該機器のコストが比較的高くなったりする。
【００２５】
そこで、当該機器操作装置１００では、視線検出部１１等による検出結果を校正するための校正部１５を導入することによって、視線検出に係る機器自体の検出精度を抑えつつ、視線の検出精度の向上を図っている。
【００２６】
（校正処理）
次に、機器操作装置１００が実施する校正処理について図３のフローチャートを参照して説明する。
【００２７】
図３において、機器操作装置１００は、視線検出に係る校正処理の開始トリガーがＯＮであるか否かを判定する（ステップＳ１０１）。機器操作装置１００は、例えば所定のスイッチ又はボタンが押下された場合に、開始トリガーがＯＮであると判定する。ステップＳ１０１の判定において、開始トリガーがＯＮではないと判定された場合（ステップＳ１０１：Ｎｏ）、図３に示す処理は終了される。その後、所定期間（例えば数十ミリ秒から数百ミリ秒）経過後にステップＳ１０１の処理が行われる。
【００２８】
ステップＳ１０１の判定において、開始トリガーがＯＮであると判定された場合（ステップＳ１０１：Ｙｅｓ）、視線検出部１１は、ユーザの視線方向を検出する。注視点検出部１２は、視線検出部１１により検出された視線方向に基づいて注視点を特定する（ステップＳ１０２）。次に、ステップＳ１０２の処理の結果に基づいて、注視点の情報が表示部２２に表示される。この結果、注視点の情報がユーザに提示される（ステップＳ１０３）。
【００２９】
次に、手操作検出部１３は、手操作検出センサ３２からの出力に基づいて、ユーザによる手操作を検出する。手操作検出部１３は、特に、十字キー（図２参照）のいずれのボタン（即ち、手操作対象）が押下されたかを特定する（ステップＳ１０４）。
【００３０】
次に、機器操作装置１００は、ステップＳ１０３の処理において提示された注視点に係る情報と、ステップＳ１０４の処理の結果とが一致したか否かを判定する（ステップＳ１０５）。機器操作装置１００は、ステップＳ１０４の処理において、十字キーの「決定」を示すボタンが押下された場合、「一致」と判定する。他方、機器操作装置１００は、ステップＳ１０４の処理において、十字キーの上下左右の各方向を指示するためのボタンのいずれかが押下された場合、「不一致」と判定する。
【００３１】
ステップＳ１０５の判定において、一致と判定された場合（ステップＳ１０５：Ｙｅｓ）、機器操作装置１００は、次回（即ち、ステップＳ１０５の判定において一致と判定された時点以降）から、ユーザの視線による操作入力を可能とする（ステップＳ１０６）。なぜなら、ステップＳ１０５の判定において、一致と判定された場合は、注視点の情報とユーザの意図とが一致しており、校正の必要がないからである。
【００３２】
他方、ステップＳ１０５の判定において、不一致と判定された場合（ステップＳ１０５：Ｎｏ）、校正部１５は、ステップＳ１０５の判定において「不一致」との判定がＮ回（Ｎは２以上の自然数）連続してなされたか否かを判定する（ステップＳ１０７）。
【００３３】
ステップＳ１０７の判定において、「不一致」との判定がＮ回連続ではない（即ち、Ｎ回未満である）と判定された場合（ステップＳ１０７：Ｎｏ）、校正部１５は、誤差（即ち、注視点の情報とユーザの意図とのズレ量）を記憶装置２１に記憶する（ステップＳ１０８）。
【００３４】
本実施形態では、ステップＳ１０４の処理において十字キーの上下左右の各方向を指示するためのボタンのいずれかが押下された場合、押下されたボタンに対応する方向に誤差が生じているとされる。十字キーの上下左右の各方向を指示するためのボタンが１回押下された場合の誤差は予め定められている。校正部１５は、ステップＳ１０４の処理において、十字キーの上下左右の各方向を指示するためのボタンが押下された回数に応じて誤差を求め、記憶装置２１に記憶する。
【００３５】
図３のフローチャートからわかるように、ステップＳ１０５の判定において、連続して「不一致」と判定されたとしても、「不一致」との判定がＮ回未満であれば、ステップＳ１０２乃至Ｓ１０５の処理が再度行われる。ステップＳ１０５の判定において、ｎ回（ｎはＮ未満の自然数）連続して「不一致」と判定された場合、校正部１５は、各回の誤差の平均値を求め、該平均値（即ち、平均誤差）を記憶装置２１に記憶する。
【００３６】
ステップＳ１０８の処理の後、校正部１５は、ステップＳ１０８の処理において求められた誤差を、視線検出部１１及び注視点検出部１２の少なくとも一方による検出に反映させる（ステップＳ１０９）。この結果、視線検出部１１等による検出が校正される。その後、ステップＳ１０２以降の処理が行われる。
【００３７】
ステップＳ１０７の判定において、「不一致」との判定がＮ回連続であると判定された場合（ステップＳ１０７：Ｙｅｓ）、校正部１５は、記憶装置２１に記憶されている誤差をリセットする（ステップＳ１１０）。この場合、機器操作装置１００は、例えば、校正のやり直しを勧める旨のメッセージ等をユーザに報知してよい。その後、所定期間経過後にステップＳ１０１の処理が行われる。
【００３８】
（技術的効果）
当該機器操作装置１００によれば、上述の校正処理により視線検出部１１等による検出が校正される。このため、当該機器操作装置１００では、視線検出センサ３１、視線検出部１１及び注視点検出部１２に比較的高い検出精度を求める必要がない。言い換えれば、当該機器操作装置１００では、視線検出センサ３１、視線検出部１１及び注視点検出部１２の検出精度がそれほど高くないことを前提として、上述の校正処理が導入されている。従って、当該機器操作装置１００によれば、上述の校正処理により視線の検出精度を向上することができる。加えて、例えば視線検出センサ３１等の視線検出に係る機器の構成を比較的簡便にすることができ、もって、該機器のコストを抑制することができる。
【００３９】
当該機器操作装置１００では、手操作検出センサ３２の一部としての十字キー（図２参照）の操作結果に基づいて、視線検出部１１により検出された視線方向に基づく注視点が、ユーザの意図と一致しているか否かが判定される。このため、当該機器操作装置１００によれば、比較的容易にして、視線検出部１１等による検出結果のズレを判定することができる。
【００４０】
＜変形例＞
図３に示した校正処理では、ステップＳ１０８の処理において平均誤差が求められる（ステップＳ１０５の判定において、ｎ回連続して「不一致」と判定された場合）。しかしながら、ステップＳ１０５の判定において「不一致」と判定される毎に、単純に、毎回の誤差が視線検出部１１及び注視点検出部１２の少なくとも一方による検出に反映されてよい。
【００４１】
以上に説明した実施形態及び変形例から導き出される発明の各種態様を以下に説明する。
【００４２】
発明の一態様に係る校正装置は、視線による操作入力を受け付け可能な機器操作装置において前記視線による操作入力に係る校正を行う校正装置であって、ユーザの視線を検出する視線検出処理を行う視線検出手段と、前記ユーザの手による入力を受け付け可能な手入力受付手段と、前記視線検出処理の結果に基づいて、前記ユーザの注視位置を示す情報を前記ユーザに提示する提示手段と、前記提示手段により前記注視位置を示す情報が提示された後に、前記手入力受付手段を介して前記注視位置の修正指示が入力された場合、前記修正指示に対応する前記注視位置に係る誤差を、次回の前記視線検出処理に反映する補正手段と、を備え、前記補正手段は、前記視線検出処理が複数回行われ、前記修正指示が複数回連続して入力された場合、前記複数回の修正指示に夫々対応する複数の前記注視位置の誤差の平均値を、次回の前記視線検出処理に反映するというものである。
【００４３】
上述の実施形態においては、視線検出センサ１１、視線検出部１１及び注視点検出部１２は、視線検出手段の一例に相当し、手操作検出センサ３２及び手操作検出部１３は、手入力受付手段の一例に相当し、表示部２２は提示手段の一例に相当し、校正部１５は補正手段の一例に相当する。
【００４４】
当該校正装置では、注視位置の修正指示に応じて、視線検出処理が校正される。当該校正装置によれば、視線の検出結果を校正することができ、もって、視線による操作入力に係る校正が行われる。この結果、当該校正装置によれば、視線検出処理に係る検出精度を向上させることができる。
【００４５】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う校正装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００４６】
１…車両、１０…演算部、１１…視線検出部、１２…注視点検出部、１３…手操作検出部、１４…車載機器制御部、１５…校正部、２１…記憶装置、２２…表示部、３１…視線検出センサ、３２…手操作検出センサ、１００…機器操作装置
【図１】
2019152957.tif 000003
【図２】
2019152957.tif 000004
【図３】
2019152957.tif 000005