(57)【要約】      （修正有）【課題】ユーザの利便性を向上する。【解決手段】機器操作装置は、ユーザの視線を検知する視線検知手段と、入力部を一つだけ有する入力受付手段と、視線に基づいて、複数の機器のうちユーザが注視している機器を操作対象機器として推定する推定手段と、操作対象機器に係る操作候補をユーザに表示する表示手段と、操作候補が表示されているときに、入力受付手段がユーザの入力を受け付けたことを条件に、表示された操作候補に対応する操作内容が行われるように操作対象機器を制御する制御手段と、を備える。制御手段は、操作候補に対応する操作内容が、連続して複数回行うことが可能な内容である場合、操作候補が表示されているときに、入力受付手段がユーザの入力を複数回受け付けたことを条件に、表示された操作候補に対応する操作内容が複数回行われるように操作対象機器を制御する。【選択図】図３
2019130992.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視線を検知する視線検知手段と、
前記ユーザの入力を受け付け可能であり、入力部を一つだけ有する入力受付手段と、
前記視線検知手段により検知された視線に基づいて、複数の機器のうち前記ユーザが注視している機器を操作対象機器として推定する推定手段と、
前記推定された操作対象機器に係る操作候補を前記ユーザに表示する表示手段と、
前記操作候補が表示されているときに、前記入力受付手段が前記ユーザの入力を受け付けたことを条件に、前記表示された操作候補に対応する操作内容が行われるように前記推定された操作対象機器を制御する制御手段と、
を備え、
前記制御手段は、前記操作候補に対応する操作内容が、連続して複数回行うことが可能な内容である場合、前記操作候補が表示されているときに、前記入力受付手段が前記ユーザの入力を複数回受け付けたことを条件に、前記表示された操作候補に対応する操作内容が複数回行われるように前記推定された操作対象機器を制御する
ことを特徴とする機器操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者の視線を用いて機器を操作することができる機器操作装置の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えば、ステアリングホイールに設けられた十字キーが操作者の入力を受け付けた際、複数の車載機器のうち操作者の視線上に存在する車載機器を操作対象として、十字キーが受け付けた操作者の入力に基づいて操作対象の車載機器を制御する装置が提案されている（特許文献１参照）。或いは、複数の車載機器のうち操作者の視線が指向する車載機器を操作可能とするとともに、操作可能な車載機器のパイロットランプを点灯して操作可能な車載機器を操作者に報知する装置が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１５１０５９号公報
【特許文献２】特開２０１１−０００９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１及び２に記載の技術には改善の余地がある。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、ユーザの利便性を向上させることができる機器操作装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る機器操作装置は、ユーザの視線を検知する視線検知手段と、前記ユーザの入力を受け付け可能であり、入力部を一つだけ有する入力受付手段と、前記視線検知手段により検知された視線に基づいて、複数の機器のうち前記ユーザが注視している機器を操作対象機器として推定する推定手段と、前記推定された操作対象機器に係る操作候補を前記ユーザに表示する表示手段と、前記操作候補が表示されているときに、前記入力受付手段が前記ユーザの入力を受け付けたことを条件に、前記表示された操作候補に対応する操作内容が行われるように前記推定された操作対象機器を制御する制御手段と、を備え、前記制御手段は、前記操作候補に対応する操作内容が、連続して複数回行うことが可能な内容である場合、前記操作候補が表示されているときに、前記入力受付手段が前記ユーザの入力を複数回受け付けたことを条件に、前記表示された操作候補に対応する操作内容が複数回行われるように前記推定された操作対象機器を制御するというものである。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る機器操作装置の構成を示すブロック図である。
【図２】実施形態に係る機器操作装置を用いた機器の操作概念を示す図である。
【図３】実施形態に係る操作処理を示すフローチャートである。
【発明を実施するための形態】
【０００８】
機器操作装置に係る実施形態を図１乃至図３を参照して説明する。
【０００９】
（構成）
実施形態に係る機器操作装置の構成について図１を参照して説明する。図１は、実施形態に係る機器操作装置の構成を示すブロック図である。
【００１０】
図１において、機器操作装置１００は車両１に搭載されている。車両１は、例えばエアーコンディショナ、オーディオ装置等の複数の機器２１０、２２０、２３０、…（以降、適宜、“複数の機器２００”と称する）を備えている。機器操作装置１００は、ユーザ（ここでは、車両１のドライバ）の視線等に基づいて、複数の機器２００のうちの一の機器を操作可能に構成されている。
【００１１】
機器操作装置１００は、制御部１０、視線計測用ＩＲ（ＩｎｆｒａＲｅｄ）カメラ装置２０（以降、適宜“カメラ２０”と称する）、入力用ボタン３０及び表示部４０を備えて構成されている。
【００１２】
カメラ２０は、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）光源（例えば近赤外照明）を有している。カメラ２０は、ユーザの顔（特に、目）を撮像可能に設置されている。ＬＥＤ光源は、ユーザの顔に該ＬＥＤ光源からの光が照射されるように設置されている。
【００１３】
入力用ボタン３０は、単一のボタン（即ち、押下可能な部分が一つだけ）である。入力用ボタン３０は、例えば車両１のステアリングホイールに設けられている（図２参照）。本実施形態では、入力用ボタン３０が押下された場合、ユーザの決定の意思が示されたものとして扱われる。
【００１４】
表示部４０は、例えばＨＵＤ（Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）、ＭＩＤ（Ｍｕｌｔｉ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｄｉｓｐｌａｙ）又は液晶ディスプレイを備えて構成されている。表示部４０は、当該機器操作装置１００が独自に備えていてもよいし、例えばナビゲーション装置の表示部等と共用されていてもよい。
【００１５】
制御部１０は、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、視線算出部１１、操作対象判定部１２、映像制御部１３、ボタン入力判定部１４及び車載機器操作部１５を備えて構成されている。
【００１６】
視線算出部１１は、カメラ２０により撮像された画像からユーザの視線方向を算出する。視線算出部１１は、具体的には、角膜反射法によりユーザの視線方向を算出する。尚、角膜反射法については、既存の各種態様を適用可能であるので、その詳細な説明は省略する。
【００１７】
ボタン入力判定部１４は、入力用ボタン３０が押下されたか否かを判定する。ボタン入力判定部１４は、入力用ボタン３０が押下された場合に、押下されたことを示す信号を操作対象判定部１２に送信する。
【００１８】
操作対象判定部１２は、視線算出部１１により算出された視線方向と、ボタン入力判定部１４からの上記信号とに基づいて、複数の機器２００のうち、ユーザにより選択された機器を判定し、該判定された機器を操作対象機器とする。操作対象判定部１２は、操作対象機器を示す信号を、映像制御部１３に送信する。
【００１９】
映像制御部１３は、操作対象機器に係る操作候補が表示されるように表示部４０を制御する。操作対象機器が例えばエアーコンディショナの場合、映像制御部１３は、電源のＯＮ／ＯＦＦ、設定温度の上げ／下げ等を示すアイコンや記号等が表示されるように表示部４０を制御する。操作対象機器が例えばオーディオ装置の場合、映像制御部１３は、電源のＯＮ／ＯＦＦ、音量の上げ／下げ、選局等を示すアイコンや記号等が表示されるように表示部４０を制御する。
【００２０】
操作対象判定部１２は、操作候補が表示されているときに、視線算出部１１により算出された視線方向と、ボタン入力判定部１４からの上記信号とに基づいて、表示されている操作候補のうち、ユーザにより選択された操作候補を判定する。操作対象判定部１２は、上記操作対象機器と、該判定された操作候補に対応する操作とを示す信号を、車載機器操作部１５に送信する。
【００２１】
車載機器操作部１５は、操作対象判定部１２から送信された信号に従って、複数の機器２１０、２２０、２３０、…のうち操作対象機器に対応する機器を制御する。
【００２２】
（機器の操作）
次に、当該機器操作装置１００を用いた機器の操作概念について図２を参照して説明する。図２は、実施形態に係る機器操作装置を用いた機器の操作概念を示す図である。
【００２３】
ユーザ（ここでは、車両１のドライバ）が視線を複数の機器２００のいずれかに向けているときに、ユーザが入力用ボタン３０を押下することにより、操作対象機器が決定される。このとき、機器操作装置１００の操作対象判定部１２によりユーザにより選択された機器が判定され、操作対象機器が決定される。
【００２４】
操作対象機器が決定された後、表示部４０に操作対象機器に係る操作候補が表示される。ユーザが視線を、表示された操作候補のいずれかに向けているときに、ユーザが入力用ボタン３０を押下することにより、操作候補に対応する操作が行われる。このとき、機器操作装置１００の操作対象判定部１２によりユーザにより選択された操作候補が判定され、その後、車載機器操作部１５により、選択された操作候補に対応する操作が行われるように操作対象機器が制御される。
【００２５】
（操作処理）
次に、上述の如く構成された機器操作装置１００において実施される操作処理について、図３のフローチャートを参照して説明する。
【００２６】
図３において、先ず、視線算出部１１は、ユーザの視線を算出する（ステップＳ１０１）。次に、操作対象判定部１２は、視線算出部１１により算出された視線が、複数の機器２００のうち一の機器（即ち、ユーザが操作しようと意図している機器）をｔ１以上注視しているか否かを判定する（ステップＳ１０２）。
【００２７】
人間の眼球は常時運動しているため、視線も常に変動する。このため、本実施形態では、所定時間、所定範囲内に視線が滞留していることを「注視」とみなしている。該所定時間が、上記“ｔ１”に相当する。“ｔ１”は、例えば０．２秒等であり、人間の眼球の運動や、視線算出部１１に係る誤差等を考慮して設定されている。
【００２８】
ステップＳ１０２の判定において、注視していないと判定された場合（ステップＳ１０２：Ｎｏ）、図３に示す処理は終了される。その後、所定期間（例えば数十ミリ秒から数百ミリ秒）経過後にステップＳ１０１の処理が行われる。
【００２９】
他方、ステップＳ１０２の判定において、注視していると判定された場合（ステップＳ１０２：Ｙｅｓ）、操作対象判定部１２は、入力用ボタン３０の操作があるか否かを判定する（ステップＳ１０３）。この判定において、入力用ボタン３０の操作がないと判定された場合（ステップＳ１０３：Ｎｏ）、図３に示す処理は終了される。その後、所定期間経過後にステップＳ１０１の処理が行われる。
【００３０】
他方、ステップＳ１０３の判定において、入力用ボタン３０の操作があると判定された場合（ステップＳ１０３：Ｙｅｓ）、操作対象判定部１２は、上記一の機器を操作対象機器として決定する。このとき、映像制御部１３は、操作対象機器に係る操作候補が表示されるように表示部４０を制御する。（ステップＳ１０４）。
【００３１】
次に、操作対象判定部１２は、視線算出部１１により算出された視線が、表示された操作候補のうち一の操作候補（即ち、ユーザが意図している操作に対応する操作候補）をｔ２以上注視しているか否かを判定する（ステップＳ１０５）。“ｔ２”は、上記“ｔ１”と同様に、例えば０．２秒等であり、人間の眼球の運動や、視線算出部１１に係る誤差等を考慮して設定されている。
【００３２】
ステップＳ１０５の判定において、注視していないと判定された場合（ステップＳ１０５：Ｎｏ）、後述するステップＳ１０９の判定が行われる。他方、ステップＳ１０５の判定において、注視していると判定された場合（ステップＳ１０５：Ｙｅｓ）、操作対象判定部１２は、入力用ボタン３０の操作があるか否かを判定する（ステップＳ１０６）。
【００３３】
ステップＳ１０６の判定において、入力用ボタン３０の操作がないと判定された場合（ステップＳ１０６：Ｎｏ）、後述するステップＳ１０９の判定が行われる。他方、ステップＳ１０６の判定において、入力用ボタン３０の操作があると判定された場合（ステップＳ１０６：Ｙｅｓ）、操作対象判定部１２は、操作対象機器と、上記一の操作候補に対応する操作とを示す信号を、車載機器操作部１５に送信する。この結果、操作対象機器である上記一の機器が操作される（ステップＳ１０７）。
【００３４】
その後、操作対象判定部１２は、前回入力用ボタン３０の操作があってから、ｔ３以内に再度入力用ボタン３０の操作があるか否かを判定する（ステップＳ１０８）。ここで、“ｔ３”は、例えば２秒等であり、ユーザが連続操作（例えば、エアーコンディショナの設定温度を連続して上げる又は下げる等）を意図して入力用ボタン３０を押下する時間範囲に基づいて設定されている。尚、ステップＳ１０８の判定は、表示されている操作候補の内容が、連続して複数回行うことが可能な内容（例えば、設定温度の上げ／下げ、音量の上げ／下げ等）であることを条件に行われてよい。
【００３５】
ステップＳ１０８の判定において、入力用ボタン３０の操作があると判定された場合（ステップＳ１０８：Ｙｅｓ）、操作対象判定部１２は、直前の（即ち、ステップＳ１０７の）操作が再度行われるように、車載機器操作部１５に信号を送信する。この結果、直前の操作が再度行われる。
【００３６】
他方、ステップＳ１０８の判定において、前回入力用ボタン３０の操作があってから、ｔ４以上経過したか否かが判定される（ステップＳ１０９）。ここで、“ｔ４”は、例えば５秒等であり、ユーザに操作意思がないとみなせる時間範囲に基づいて設定されている。ステップＳ１０９の判定において、ｔ４以上経過していないと判定された場合（ステップＳ１０９：Ｎｏ）、ステップＳ１０４の処理が行われる（即ち、操作候補の表示が維持される）。他方、ステップＳ１０９の判定において、ｔ４以上経過したと判定された場合（ステップＳ１０９：Ｙｅｓ）、図３に示す処理は終了される。その後、所定期間経過後にステップＳ１０１の処理が行われる。
【００３７】
（技術的効果）
当該機器操作装置１００によれば、ユーザが機器選択及び操作選択を視線を用いて行うことができる。当該機器操作装置１００では、入力用ボタン３０が単一のボタンであるため、例えば十字キー等に比べて、ユーザが入力用ボタン３０を押下するときの操作負担を軽減することができる。具体的には例えば、車両１の運転中にユーザ（即ち、ドライバ）が入力用ボタン３０を押下するときに、ユーザが入力用ボタン３０の押下に注意を払うことを抑制することができる。この結果、車両１の運転中の機器２１０、２２０、２３０、…の操作時のユーザの不安全な行動を抑制することができる。
【００３８】
当該機器操作装置１００では、表示部４０に操作候補が表示されているときに、入力用ボタン３０が複数回押下された場合、表示されている操作候補のうち一の操作候補に対応する操作が複数回行われる。従って、当該機器操作装置１００によれば、例えばエアーコンディショナの設定温度の上げ／下げ、オーディオ装置の音量の上げ／下げ等を、比較的短期間に複数回連続して行うことができる。
【００３９】
以上に説明した実施形態及び変形例から導き出される発明の各種態様を以下に説明する。
【００４０】
発明の一態様に係る機器操作装置は、ユーザの視線を検知する視線検知手段と、前記ユーザの入力を受け付け可能であり、入力部を一つだけ有する入力受付手段と、前記視線検知手段により検知された視線に基づいて、複数の機器のうち前記ユーザが注視している機器を操作対象機器として推定する推定手段と、前記推定された操作対象機器に係る操作候補を前記ユーザに表示する表示手段と、前記操作候補が表示されているときに、前記入力受付手段が前記ユーザの入力を受け付けたことを条件に、前記表示された操作候補に対応する操作内容が行われるように前記推定された操作対象機器を制御する制御手段と、を備え、前記制御手段は、前記操作候補に対応する操作内容が、連続して複数回行うことが可能な内容である場合、前記操作候補が表示されているときに、前記入力受付手段が前記ユーザの入力を複数回受け付けたことを条件に、前記表示された操作候補に対応する操作内容が複数回行われるように前記推定された操作対象機器を制御するというものである。
【００４１】
上述の実施形態においては、視線算出部１１が視線検知手段の一例に相当し、入力用ボタン３０が入力受付手段の一例に相当し、操作対象判定部１２が推定手段の一例に相当し、映像制御部１３が表示手段の一例に相当し、車載機器操作部１５が制御手段の一例に相当する。
【００４２】
当該機器操作装置では、操作候補に対応する操作内容が、連続して複数回行うことが可能な内容である場合、操作候補が表示されているときに、入力受付手段がユーザの入力を複数回受け付けたことを条件に、表示された操作候補に対応する操作内容が複数回行われるように推定された操作対象機器が制御される。このため、当該機器操作装置によれば、連続して複数回行うことが可能な操作を、ユーザの操作負担を軽減しつつ、比較的短期間に複数回連続して行うことができる。従って、当該機器操作装置によれば、ユーザの利便性を向上させることができる。
【００４３】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う機器操作装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００４４】
１…車両、１０…制御部、１１…視線算出部、１２…操作対象判定部、１３…映像制御部、１４…ボタン入力判定部、１５…車載機器操作部、２０…視線計測用ＩＲカメラ装置、３０…入力用ボタン、４０…表示部、１００…機器操作装置、２１０、２２０、２３０…機器
【図１】
2019130992.tif 000003
【図２】
2019130992.tif 000004
【図３】
2019130992.tif 000005