(57)【要約】【課題】視点による入力と操作による入力が可能なシステムにおいて、画面に表示された選択肢を選択する際の利便性を向上させる。【解決手段】利用者の視点を検出する視点検出部と、前記利用者の操作を検出する操作検出部と、前記操作に応じてカーソルを移動させる表示制御部と、前記カーソルの移動後に前記視点が既定範囲内に第一時間以上存在する場合、移動後の前記カーソルが示す選択肢の選択を決定する決定制御部と、を備える入力システムを構成する。【選択図】図１
2018097443.tif 000002
【特許請求の範囲】
【請求項１】
利用者の視点を検出する視点検出部と、
前記利用者の操作を検出する操作検出部と、
前記操作に応じてカーソルを移動させる表示制御部と、
前記カーソルの移動後に前記視点が既定範囲内に第一時間以上存在する場合、移動後の前記カーソルが示す選択肢の選択を決定する決定制御部と、
を備える入力システム。
【請求項２】
前記表示制御部は、前記視点に応じて前記カーソルを移動させる、
請求項１に記載の入力システム。
【請求項３】
前記選択肢の選択は、前記操作に応じて移動した前記カーソルの停止から第二時間以上経過した場合に決定される、
請求項１または請求項２に記載の入力システム。
【請求項４】
前記選択肢の選択は、前記視点と前記カーソルとの距離が既定距離以内である場合に決定される、
請求項１〜請求項３のいずれかに記載の入力システム。
【請求項５】
前記選択肢の選択は、前記操作が検出されなくなってから第三時間以上経過した場合に決定される、
請求項１〜請求項４のいずれかに記載の入力システム。
【請求項６】
コンピュータを、
利用者の視点を検出する視点検出部、
前記利用者の操作を検出する操作検出部、
前記操作に応じてカーソルを移動させる表示制御部、
前記カーソルの移動後に前記視点が既定範囲内に第一時間以上存在する場合、移動後の前記カーソルが示す選択肢の選択を決定する決定制御部、
として機能させる入力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力システム、入力プログラムに関する。
【背景技術】
【０００２】
従来、利用者の視線に基づく指示入力と、ハード操作による指示入力の両方の構成を備えるシステムが知られている。例えば特許文献１には、利用者の視点に基づいて対象のアイコンが選択され、スイッチ操作に応じて当該アイコンに対応する処理が実行されることが記載されている。特許文献２には、マウス操作を行っていない期間に視点に基づくカーソル移動を有効とする手法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１４３０１２号公報
【特許文献２】特開平１１−２５９２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画面に表示された選択肢を利用者が注視したことによって当該選択肢を選択する構成の場合、ポインティングデバイス等の入力機器に対する操作によって選択肢を選択する場合よりも手軽であり利用者の負担を軽減できる。しかし、視点検出の誤差によって利用者が実際に注視している選択肢を選択できない場合がある。また、視点による入力と操作による入力とが可能なシステムにおいて、画面に表示されたいずれかの選択肢を選択する（選択肢の選択を入力する）ために利用者が行う行為は、簡易な行為であることが、利便性向上の観点から望ましい。
本発明は、上記課題にかんがみてなされたもので、視点による入力と操作による入力が可能なシステムにおいて、画面に表示された選択肢を選択する際の利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するため、入力システムは、利用者の視点を検出する視点検出部と、利用者の操作を検出する操作検出部と、操作に応じてカーソルを移動させる表示制御部と、カーソルの移動後に視点が既定範囲内に第一時間以上存在する場合、移動後のカーソルが示す選択肢の選択を決定する決定制御部と、を備える。
【０００６】
さらに、上記の目的を達成するため、入力プログラムは、コンピュータを、利用者の視点を検出する視点検出部、利用者の操作を検出する操作検出部、操作に応じてカーソルを移動させる表示制御部、カーソルの移動後に視点が既定範囲内に第一時間以上存在する場合、移動後のカーソルが示す選択肢の選択を決定する決定制御部、として機能させる。
【０００７】
本入力システム、プログラムによると、利用者は操作によってカーソルを移動させた後、任意の位置を第一時間以上注視するという簡易な行為によって、移動後のカーソルが示す選択肢を選択することができる。視点検出には誤差が生じうるため、任意の位置を第一時間以上注視したか否かは、任意の位置を含む既定範囲内に視点が第一時間以上継続して存在したか否かによって判定される。操作によるカーソル移動後の視点が当該既定範囲に第一時間以上存在することを、移動後のカーソル位置の選択肢の選択を決定する条件とすることにより、利用者は厳密に視点を任意の位置に合わせようとする必要がない。また、利用者が操作によってカーソルを移動させた後に注視する位置は任意であり、利用者は特定の位置を注視する必要はない。したがって、本入力システム、プログラムによると、利用者は簡易な行為によって画面に表示されたいずれかの選択肢を選択することができる。その結果、選択肢を選択する際の利便性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】入力システムのブロック図である。
【図２】ＵＩ制御処理を示すフローチャートである。
【図３】カーソル描画処理を示すフローチャートである。
【図４】決定処理を示すフローチャートである。
【図５】図５Ａおよび図５Ｂは動作例を示す図である。
【図６】動作例を示す図である。
【発明を実施するための形態】
【０００９】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）入力システムの構成：
（２）ＵＩ制御処理：
（２−１）カーソル描画処理：
（２−２）決定処理：
（３）動作例：
（４）他の実施形態：
【００１０】
（１）入力システムの構成：
図１は、本発明の一実施形態である入力システム１０の構成を示すブロック図である。入力システム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。
【００１１】
本実施形態において、制御部２０は、ナビゲーションプログラム（不図示）や入力プログラム２１を実行することができる。制御部２０は、ナビゲーションプログラムを実行することにより、表示部としてのディスプレイ４０に地図を表示し、図示しないＧＰＳ信号等に基づいて入力システム１０が搭載された車両を指定の目的地まで誘導することができる。
【００１２】
本実施形態においては、ナビゲーションプログラムに関して利用者が目的地等の情報を入力するユーザインタフェース（ＵＩ）を提供するため、制御部２０は、図示しないＲＯＭや記録媒体３０等に記録された入力プログラム２１を実行する。当該入力プログラム２１には後述するカーソル描画処理や決定処理を含むＵＩ制御処理が含まれる。これらの処理を実行するため、車両は、ディスプレイ（表示部）４０、タッチパッド４１および視線検出センサ４２を備えている。
【００１３】
ディスプレイ４０は、図示しないインタフェースを介して制御部２０と接続されており、制御部２０は、ディスプレイ４０に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をディスプレイ４０に表示させることができる。タッチパッド４１は、矩形平面の接触検出面を備えた入力デバイスであり、接触検出面に対して検出対象物が接触した位置を検出し、検出位置を示す座標を出力する。制御部２０は、当該座標に基づいて接触位置を取得する。
【００１４】
視線検出センサ４２は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された利用者（運転者）の目の像に基づいて、目の位置および利用者の視線方向（ベクトル）を検出し、出力する。制御部２０は、当該出力に基づいて、予め定義された３次元空間内で目の位置および視線方向を特定することができる。視線方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線方向の平均値等によって利用者の視線方向を１方向に特定することができるが、視線方向の特定方法も種々の方法が採用され得る。
【００１５】
以上の構成において、制御部２０は、ディスプレイ４０およびタッチパッド４１をＵＩとして利用し、ＵＩ画面を介して利用者による入力を受け付ける。ＵＩ画面には利用者が選択する選択肢を示すオブジェクトとしてのボタンが複数含まれうる。複数のボタンのうち仮選択中のボタンを示すため当該ボタンにはカーソルが表示される。カーソルは仮選択中のボタンを示す図形である。
【００１６】
本実施形態では、カーソルは利用者の視点に基づいて移動する。すなわち利用者が見ているボタンにカーソルが移動するように構成される。また、カーソルが位置するボタンを利用者が注視する（第一時間以上見る）と、当該ボタンの選択が決定され（仮選択が本選択となる）、当該ボタンの選択時に対応付けられた処理が実行される。なお本実施形態では、カーソルの移動はタッチパッド４１へのスワイプ操作によっても可能に構成されている。このような構成を実現するために入力プログラム２１は、視点検出部２１ａと操作検出部２１ｂと表示制御部２１ｃと決定制御部２１ｄとを備えている。
【００１７】
視点検出部２１ａは、利用者の視点を検出する機能を制御部２０に実現させるプログラムモジュールである。本実施形態においては、視点の検出領域となるディスプレイ４０の位置が、車室内空間の位置を既定する３次元座標系によって予め特定されている。制御部２０は、視線検出センサ４２の出力に基づいて、利用者の目の位置および視線方向を取得し、画面の位置が規定された３次元座標系内で利用者の目の位置および視線方向を特定する。そして、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の表示面との交点を視点として特定する。画面上に視点が存在しない場合、例えば、視点が不定とされてもよいし、他の構造体（例えば、インストルメントパネル等）上に存在すると判定されても良い。
【００１８】
操作検出部２１ｂは、タッチパッド４１に対する利用者の操作を検出する機能を制御部２０に実現させるプログラムモジュールである。制御部２０は操作検出部２１ｂの処理により、タッチパッド４１から出力される信号に基づいて、利用者が接触したタッチパッド４１上の座標を取得する。制御部２０は、経時的な当該座標の変化に基づいて利用者の操作（タップ操作やスワイプ操作等）を特定する。
【００１９】
表示制御部２１ｃは、ディスプレイ４０（表示部）にＵＩ画面を表示する機能を制御部２０に実現させるプログラムモジュールである。ＵＩ画面を構成するオブジェクトを描画するための画像情報（地図描画情報やアイコン描画情報、カーソル描画情報等）は予め表示情報３０ａとして記録媒体３０に記録されている。制御部２０が入力プログラムを実行すると、制御部２０は表示情報３０ａを参照してボタンやカーソルや背景等のオブジェクトを含むＵＩ画面をＲＡＭに記録する（ＲＡＭに描画する）。制御部２０は、表示制御部２１ｃの処理により、当該描画されたＵＩ画面の情報を取得し、当該ＵＩ画面を表示するための制御信号をディスプレイ４０に対して出力する。この結果、ナビゲーションプログラムを含む各プログラムにおけるＵＩ画面がディスプレイ４０に表示される。
【００２０】
また表示制御部２１ｃは、タッチパッド４１に対する操作に応じて、または、利用者の視点に応じて、カーソルの表示位置を移動させる機能を制御部２０に実現させる。具体的には、制御部２０は、タッチパッド４１に対する操作がスワイプ操作であった場合に、それまでカーソルが表示されていたボタンから、タッチパッド４１に対する接触座標が変化した方向および距離に応じた位置に表示されているボタンにカーソルを移動して表示させる。また制御部２０は、視点の位置にボタンが表示されている場合に当該ボタンにカーソルを表示させる。したがって後述する無効期間に該当しない場合、視点の移動にカーソルが追従する。
【００２１】
決定制御部２１ｄは、操作に応じたカーソルの移動後に視点が既定範囲内に第一時間（例えば１秒）以上存在する場合に移動後のカーソルが示すボタンの選択を決定する機能を制御部２０に実現させるプログラムモジュールである。また、決定制御部２１ｄは、視点に追従してカーソルが移動した後、既定範囲内に視点が第一時間以上存在する場合に、移動後のカーソルが示すボタンの選択を決定する機能を制御部２０に実現させる。また決定制御部２１ｄは、いずれかのボタンの選択が決定されると、当該ボタンに対応する処理を実行する。
【００２２】
（２）ＵＩ制御処理：
次に、制御部２０が実行するＵＩ制御処理を、図２を参照しながら説明する。ＵＩ制御処理は、ディスプレイ４０にＵＩ画面を表示する期間中、予め決められた周期で繰り返し実行される。なおＵＩ制御処理が初めて実行される前にＵＩ制御処理で使用する各種の変数が初期化される。具体的には、後述する無効期間カウンタが０に初期化される。また、固着判定用経過時間カウンタが０に初期化される。また既定範囲を示す座標を保持する変数に無効な値が設定される。
【００２３】
ＵＩ制御処理が開始されると、制御部２０は視点検出部２１ａの処理により、利用者の視点を検出する（ステップＳ３００）。すなわち、制御部２０はディスプレイ４０の画面内において視点が位置する座標を取得する。ステップＳ３００で取得した視点の座標は後述するカーソル描画処理のステップＳ１００、および、決定処理のステップＳ２００で参照される。
【００２４】
続いて制御部２０は表示制御部２１ｃの処理により、カーソル以外のオブジェクトを描画する（ステップＳ３０５）。すなわち、後述するカーソル描画処理や決定処理の内容に応じたＵＩ画面を構成するオブジェクトであってカーソル以外のオブジェクトをＲＡＭに描画する。例えば背景や複数のボタン等がＲＡＭに描画される。続いて制御部２０はカーソル描画処理を実行する（ステップＳ３１０）。カーソル描画処理はカーソルをＲＡＭに描画する処理である。続いて制御部２０は決定処理を実行する（ステップＳ３１５）。決定処理は、ＵＩ画面に表示された複数のボタンのうちいずれかのボタンの選択を決定する処理である。
【００２５】
続いて制御部２０は、描画された内容をディスプレイ４０に表示させる。すなわち、ステップＳ３０５およびステップＳ３１０にてＲＡＭに描画されたオブジェクトを、制御信号に応じてディスプレイ４０に出力する。その結果、ディスプレイ４０の表示内容が更新される。
【００２６】
（２−１）カーソル描画処理：
続いてＵＩ制御処理のステップＳ３１０で実行されるカーソル描画処理の詳細について図３を参照しながら説明する。カーソル描画処理が開始されると、表示制御部２１ｃの処理により制御部２０は、ＵＩ制御処理のステップＳ３００で検出した視点の座標を取得する（ステップＳ１００）。続いて制御部２０は操作検出部２１ｂの処理により、操作によるカーソル移動指示の有無を判定する（ステップＳ１１０）。具体的には、スワイプ操作が検出された場合に制御部２０はカーソル移動指示有りと判定する。
【００２７】
ステップＳ１１０においてカーソル移動指示有りと判定された場合、制御部２０は表示制御部２１ｃの処理により、操作による指示位置にカーソルを描画する（ステップＳ１１５）。すなわち制御部２０は、スワイプ操作の方向および移動量に応じた位置に該当するボタンにカーソルを表示させる。
【００２８】
続いて制御部２０は表示制御部２１ｃの処理により、視点によるカーソル移動の無効期間を設定する（ステップＳ１２０）。当該無効期間は、利用者が操作によって移動させた位置にカーソルを表示させることを、視点検出位置にカーソルを表示させることよりも優先させるために設けられる。すなわち、当該無効期間中は、カーソルが表示されているボタンとは異なるボタンに視点が検出されていても、カーソルは利用者が移動させた位置に留まって表示されることを意味する。なおステップＳ１２０では具体的には、制御部２０は、無効期間カウンタに無効期間の長さに相当する値（無効期間の長さ／ＵＩ制御処理の実行周期）をセットする。無効期間カウンタについては後述するステップＳ１３０〜Ｓ１３５においてカウントダウンされ、ステップＳ１４０において参照される。
【００２９】
続いて制御部２０は決定制御部２１ｄの処理により、後述する決定処理にて操作によるカーソル移動後の視点の固着判定に用いる既定範囲の設定を行い、当該固着判定のための経過時間を初期化する（ステップＳ１２５）。具体的には、制御部２０は既定範囲として、ステップＳ１００で取得した視点の座標を中心とする矩形領域が設定される。矩形領域の辺の長さは例えば、視点検出の誤差に相当する長さに設定されてもよい。また例えば、当該矩形領域は、カーソルが表示されているボタン一つ分に相当する大きさであってもよい。また、固着判定のための経過時間は、固着判定用経過時間カウンタによって後述する決定処理においてカウントされる。ステップＳ１２５では制御部２０はこの固着判定カウンタの値を０にする。固着判定用経過時間カウンタは決定処理のステップＳ２１５においてカウントアップされ、ステップＳ２１０において参照される。また固着判定用経過時間カウンタは後述するステップＳ１５２においても初期化される。
【００３０】
続いて制御部２０は、無効期間内であるか否かを判定し（ステップＳ１３０）、無効期間内であると判定されない場合はカーソル描画処理を終了する。ステップＳ１３０において無効期間内であると判定された場合、制御部２０は無効期間内の経過をカウントして（ステップＳ１３５）、カーソル描画処理を終了する。具体的にはステップＳ１３０では制御部２０は、無効期間カウンタが１以上である場合に無効期間内であると判定する。ステップＳ１３５では制御部２０は、無効期間カウンタを１ずつカウントダウンする。すなわち、無効期間カウンタは１以上の値が０になるまでカウントダウンされる。
【００３１】
ステップＳ１１０においてカーソル移動指示有りと判定されなかった場合、制御部２０は無効期間内であるか否かを判定する（ステップＳ１４０）。具体的には制御部２０は、無効期間カウンタの値が１以上である場合に無効期間内であると判定する。ステップＳ１４０において無効期間内であると判定された場合、制御部２０は表示制御部２１ｃの処理により、前回のカーソル表示位置にカーソルを描画して（ステップＳ１５５）、その後ステップＳ１３０に進む。ステップＳ１５５において制御部２０は、具体的にはステップＳ１００で取得した視点の座標にかかわらず、前回周期においてカーソルが表示された位置にカーソルを描画する。その結果、無効期間中は視点の座標によらず操作によって移動された位置に継続してカーソルが表示されることとなる。
【００３２】
ステップＳ１４０において無効期間内であると判定されない場合、制御部２０は表示制御部２１ｃの処理により、視点が位置するオブジェクトにカーソルを描画する（ステップＳ１４５）。すなわち、無効期間内でない場合は、視点が検出された位置に表示されるボタンにカーソルが表示される。したがって、無効期間内でない場合は視点の移動に追従してカーソルが移動する。なお、当該無効期間外であって選択可能なオブジェクトに視点が位置していない場合（例えばＵＩ画面においてボタン以外の背景領域に視点が位置する場合）は、カーソルを表示しなくてもよい。あるいは、前回周期においてカーソルが表示されていたボタンに継続してカーソルを表示させるようにしてもよい。
【００３３】
ステップＳ１４５を実行後、制御部２０は表示制御部２１ｃの処理によりカーソルが前回の表示位置から移動するか否かを判定する（ステップＳ１５０）。すなわち前回周期においてカーソルが表示されていたボタンとは異なるボタンに今回カーソルを描画した場合、制御部２０はカーソルが前回の表示位置から移動すると判定する。ステップＳ１５０において前回からカーソルが移動すると判定された場合、制御部２０は決定制御部２１ｄの処理により、既定範囲を設定し経過時間を初期化して（ステップＳ１５２）、ステップＳ１３０に進む。
【００３４】
ステップＳ１５２においては、制御部２０は、カーソルが表示されているボタンの表示領域を既定範囲として設定する。ステップＳ１５２では既定範囲をこのように設定することで、視点のみによってカーソル移動と移動後のカーソル位置のボタン選択を行う場合に、後述する決定処理（ステップＳ２０５〜Ｓ２１０）において、第一時間以上カーソル位置のボタンに視点が留まり続けたことを当該ボタンの選択決定の条件とすることができる。なお、ステップＳ１５２において、既定範囲はステップＳ１２５と同様に設定されてもよい。またステップＳ１５２において制御部２０は、固着判定用経過時間カウンタの値を０にする。したがって、無効期間外においては、視点によってカーソルを移動し、同一のボタンに視点が第一時間以上存在する（したがって視点によるカーソル移動が停止してから第一時間以上経過する）と、当該ボタンの選択が決定されることとなる。ステップＳ１５０において前回からカーソルが移動すると判定されなかった場合、制御部２０はステップＳ１３０に進む。
【００３５】
（２−２）決定処理：
続いてＵＩ制御処理のステップＳ３１５で実行される決定処理の詳細について図４を参照しながら説明する。決定処理が開始されると、決定制御部２１ｄの処理により制御部２０は、ＵＩ制御処理のステップＳ３００で検出した視点の座標を取得する（ステップＳ２００）。続いて制御部２０は決定制御部２１ｄの処理により、視点は既定範囲内に存在するか否かを判定する（ステップＳ２０５）。当該既定範囲は、カーソル描画処理のステップＳ１２５またはステップＳ１５２で設定された領域である。当該既定範囲が初期化されている状態の場合、ステップＳ２０５においてはＮ判定となる。
【００３６】
ステップＳ２０５において視点が既定範囲内にあると判定されない場合、制御部２０は後述するステップＳ２３０を実行する。ステップＳ２０５において視点が既定範囲内にあると判定された場合、制御部２０は決定制御部２１ｄの処理により既定範囲内に視点が位置する状態での経過時間が第一時間以上となったか否かを判定する（ステップＳ２１０）。具体的には、固着判定用経過時間カウンタによってカウントアップされた値が、第一時間に相当する値（第一時間／ＵＩ制御処理の実行周期）以上となった場合に、制御部２０は経過時間が第一時間以上となったと判定する。ステップＳ２１０において経過時間が第一時間以上であると判定されない場合、制御部２０は決定制御部２１ｄの処理により経過時間をカウントアップする。具体的には制御部２０は、固着判定用経過時間カウンタの値を１ずつカウントアップする（ステップＳ２１５）。
【００３７】
ステップＳ２１０において経過時間が第一時間以上であると判定された場合、制御部２０は決定制御部２１ｄの処理により、カーソルが表示中であるか否かを判定する（ステップＳ２２０）。すなわち制御部２０は、ＵＩ画面のいずれかのボタンにカーソルが表示されている状態であるか否かを判定する。ステップＳ２２０においてカーソル表示中であると判定されなかった場合、制御部２０は後述するステップＳ２３０を実行する。
【００３８】
ステップＳ２２０においてカーソル表示中であると判定された場合、制御部２０は決定制御部２１ｄの処理によりカーソルが示すボタンの選択を決定する（ステップＳ２２５）。ボタンの選択が決定されると、当該ボタンの選択に対応する処理を制御部２０は実行する。
【００３９】
続いて、制御部２０は決定制御部２１ｄの処理により既定範囲と経過時間を初期化し（ステップＳ２３０）、決定処理を終了する。ステップＳ２３０では具体的には、制御部２０は、既定範囲を示す座標を保持する変数に無効な値を設定する。また制御部２０は、固着判定用経過時間カウンタの値を０にする。
【００４０】
（３）動作例：
次に、上記のＵＩ制御処理が繰り返し実行される場合の、カーソル表示およびカーソル位置のボタンの選択決定の例を、図５および図６を参照しながら説明する。図５Ａおよび図５Ｂは５０音入力画面において表示される５０音ボタンを示している。ひらがなの文字や濁点、半濁点、長音記号がそれぞれ含まれた矩形領域の一つ一つが５０音ボタンに相当する。各５０音ボタンは、５０音を選択するための選択肢を示すオブジェクトである。
【００４１】
例えば利用者がボタンｂ２を見ている場面で、視点検出の誤差によって視点がＥの位置にあることが検出された場合、カーソル描画処理のステップＳ１４５によって図５Ａに示すようにカーソルＣは視点検出位置Ｅが存在するボタンｂ１に表示される。しかし、利用者はボタンｂ２を見ておりボタンｂ２を選択したいため、利用者はタッチパッド４１にてボタンｂ２に向かう方向にスワイプ操作を行う。当該スワイプ操作が行われると、カーソル描画処理のステップＳ１１５および同周期におけるＵＩ制御処理のステップＳ３２０によって、図５Ｂに示すようにカーソルＣはボタンｂ２の位置に移動する。
【００４２】
カーソルＣが利用者の意図通りボタンｂ２に移動したことから、利用者はボタンｂ２から視線を移動させずボタンｂ２を注視する。利用者がボタンｂ２を注視している間中、視点検出の誤差によって視点も位置Ｅや位置Ｅの近傍に検出され続けたとしても、視点が既定範囲Ａ内に存在する状態で第一時間が経過すれば、決定処理のステップＳ２２５によってカーソルが表示されているボタンｂ２の選択が決定される。ボタンｂ２の選択が決定されると、ボタンｂ２の選択に対応する処理として、制御部２０は入力文字列を保持するバッファに「き」を追加する。
【００４３】
なお例えば、カーソルＣがボタンｂ１以外のボタンにあった状態から利用者が視線を位置Ｅに移し、視点が誤差無く位置Ｅに検出された場合、カーソルＣは図６に示すようにボタンｂ１に表示される。利用者がボタンｂ１を選択したい場合、利用者はカーソルＣを操作によって移動させることはせず、そのままボタンｂ１を見続けることが予想される。この場合、ステップＳ１５２によって既定範囲は図６に示すＡのようにボタンｂ１の表示領域そのものに設定される。したがって視点がボタンｂ１内に第一時間以上検出され続けるとボタンｂ１の選択が決定される。ボタンｂ１の選択が決定されると、ボタンｂ１の選択に対応する処理として、制御部２０は入力文字列を保持するバッファに「い」を追加する。なお、ステップＳ１５２によって、既定範囲はステップＳ１２５と同様に図５Ｂに示すＡの領域に設定されてもよい。
【００４４】
このように、本実施形態によると、利用者は視線の移動によって所望のボタンにカーソルを移動させ、そのまま所望のボタンを第一時間以上見続けることによって当該ボタンを選択することができる。そのため、ボタン選択のために毎回シングルタップやダブルタップ等の操作を要する構成と比較すると利用者の負担を軽減できる。
【００４５】
また、視点検出の誤差等によって視線の移動によっては所望のボタンにカーソルを移動させることができない場合、利用者はタッチパッド４１に対する操作によってカーソル位置を補正し所望のボタンにカーソルを移動させることができる。そして、カーソルを移動させた後、所望のボタンを第一時間以上見続けることによって当該ボタンを選択することができる。この場合に、検出された視点の位置は実際に利用者が見続けているボタンとは視点検出の誤差により異なる可能性がある。本実施形態では、検出された視点の位置が所望のボタンとは異なるボタンであったとしても、視点が固着していれば所望のボタンを選択することが可能である。
【００４６】
したがって本実施形態の場合、視点の検出誤差によって利用者が所望のボタンにカーソルを移動させることができないという状況を防止することができる。また、視点の検出誤差によって利用者が所望のボタンを選択できないという状況を防止することができる。その結果、利便性を向上させることができる。
【００４７】
（４）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、操作に応じたカーソルの移動後に視点が既定範囲内に第一時間以上存在する場合に、移動後のカーソルが示す選択肢の選択を決定する限りにおいて、他にも種々の実施形態を採用可能である。例えば、入力システム１０は、各種のシステム、汎用コンピュータシステムに適用されていても良い。また、入力システム１０は、複数の装置（例えば、クライアントとサーバ）によって実現されるシステムであっても良い。入力システム１０は車両に搭載される構成に限定されない。
【００４８】
さらに、入力システム１０を構成する視点検出部２１ａ、操作検出部２１ｂ、表示制御部２１ｃ、決定制御部２１ｄの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、操作検出部２１ｂが、タッチパッド４１内の制御部で実現されても良いし、視点検出部２１ａが視線検出センサ４２内の制御部で実現されても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
【００４９】
上記実施形態では、視点が固着した場合に、カーソルが表示されているボタンの選択が決定される構成であったが、もちろんタッチパッド４１への操作（例えばタップ操作）によっても、カーソルが位置するボタンの選択が決定されてもよい。
【００５０】
また上記実施形態では、選択肢の例として日本語の文字を選択するための５０音ボタンを例に挙げたが、５０音ボタン以外にも様々な選択対象のオブジェクトが表示されるＵＩ画面に本発明を適用可能である。
【００５１】
視点検出部は、利用者の視点を検出することができればよく、種々の構成を採用可能である。例えば、上述の実施形態のように、利用者の目を撮影するカメラの出力に基づいて利用者の目の動作を特定することにより視線を特定し、視線と予め特定されたディスプレイ画面との交点を始点と見なす構成等を採用可能である。検出対象となる目は１個であっても良いし、２個であっても良いが、精度を高めるためには検出対象の目は２個であることが好ましい。２個の目の視線が特定された場合における視点は、各目の視線に基づいて特定された各視点から統計的に特定されても良いし、利き目によるバイアスに基づいて視点が特定されても良い。さらに、視点は、少なくとも、利用者が視認している表示領域上で特定されれば良い。
【００５２】
操作検出部は、利用者の操作を検出することができればよく、種々の構成を採用可能である。例えば上記実施形態のように、タッチパッドに対する利用者の接触操作（シングルタップ、ダブルタップ、スワイプ、ピンチイン、ピンチアウト等）を検出する構成を採用してもよい。タッチパッドとは別の入力機器（例：ボタン、スイッチ、マウス等）が採用されてもよい。利用者の操作は、利用者が装置を操る動作であり、利用者の体が物理的に装置に接触することによって行われる構成を採用可能である。この場合利用者の操作は、利用者の手によって行われることに限定されず、手以外の体の部位によって行われても良い。なお、利用者の体が物理的に接触する動作以外にも、利用者の体を装置に接近させる動作（近接センサを用いて利用者の体が装置に接近したことを検出）等を検出する構成を採用してもよい。
【００５３】
表示制御部は、操作に応じてカーソルを移動させることができればよく（すなわち、操作に応じて移動するカーソルを表示部に表示させることができればよく）、種々の構成を採用可能である。上記実施形態で説明したように、カーソルは視点に応じて移動することを前提とし、視点に応じて移動したカーソルの位置を補正するために補助的に操作によるカーソルの移動を行うことができる構成であってもよい。
また、カーソルや選択肢が表示される表示部は、単数であっても複数であってもよい。
【００５４】
決定制御部は、操作によるカーソルの移動後に視点が既定範囲内に第一時間以上存在する場合に、移動後のカーソルが示す選択肢の選択を決定することが少なくともできればよく、種々の構成を採用可能である。例えば、既定範囲はカーソル位置とは無関係に設定されてもよいし、カーソル位置に基づいて設定されてもよい。また既定範囲は、操作によるカーソルの移動後の視点の座標を含んで設定されてもよい。また例えば、視点が位置する選択肢の表示領域に既定範囲が設定されてもよい。なお、視点はカーソルや選択肢が表示される表示部の画面上にあることに限定されず、既定範囲も当該画面上に設定されることに限定されない。例えば既定範囲はカーソルや選択肢が表示される表示部とは異なる表示部の画面上に設定されてもよい。また例えば、既定範囲は表示部の画面の外に設定されてもよい。また、既定範囲はどのような形態であってもよく、例えば矩形であってもよいし、多角形であってもよいし、円や楕円であってもよい。
【００５５】
また例えば、カーソルが操作に応じて移動した場合であって当該カーソルの停止から第二時間以上経過した場合に、移動後のカーソルが示す選択肢の選択を決定するようにしてもよい。すなわち、カーソルが操作に応じて移動した場合であって当該カーソルの停止から第二時間以上経過していない間は、移動後のカーソルが示す選択肢の選択を決定しないようにしてもよい。
【００５６】
仮に、操作に応じて移動したカーソルの停止後に視点が固着した場合に選択肢の選択を決定してしまうと、短期間に続けて複数回操作を行ってカーソルを移動させる場合に利用者が意図しない選択肢を選択してしまう可能性がある。図５を参照しながら具体例を説明する。図５Ａに示すように視点検出位置Ｅがボタンｂ１にありカーソルＣがボタンｂ１に表示されている状態で、利用者がカーソルＣをボタンｂ３に移動させるためにスワイプ操作を行うと、図５Ｂに示すようにカーソルＣがボタンｂ２に移動する。仮に、カーソル移動が停止した後、既定範囲内に視点が第一時間以上存在した（視点が固着した）場合、ボタンｂ２の選択が決定されてしまう。そこで、例えば第二時間を第一時間より長い時間であって、連続で操作を行う場合に想定される操作間隔時間とする。この構成によれば、カーソル停止から第二時間が経過するまでは視点の固着の有無にかかわらずカーソル位置のボタンの選択は決定されない。そのため、利用者は１度目のスワイプ操作によってカーソルＣがボタンｂ１に表示されてから第二時間が経過するまでの間に２度目のスワイプ操作することで、ボタンｂ２を選択してしまうことなくボタンｂ３にカーソルＣを移動させることができる。
【００５７】
第一時間のカウントと第二時間のカウントとは、操作によって移動したカーソルの停止をトリガとして始まる。そのため、視点が既定範囲内に存在する状態で第一時間が経過した場合であっても、第二時間（＞第一時間）が経過するまでは移動後のカーソルが示すボタンの選択は決定されない。しかし、操作によって移動したカーソルが停止してから第一時間が経過するまでの間に視点が既定範囲から外れた場合、視点の固着を判定するための第一時間のカウントが再度開始される。したがって操作によって移動したカーソルが停止してから第二時間が経過した段階では、視点がまだ固着していない可能性がある。そのため、操作によって移動したカーソルの停止後に視点が既定範囲内に第一時間継続して存在したという条件と、操作によって移動したカーソルの停止後、第二時間が経過したという条件の両方を満たす場合に、移動後のカーソルが位置するボタンの選択を決定するようにしてもよい。なお、第二時間は第一時間と同一の値であってもよい。
【００５８】
また例えば、視点と移動後のカーソルとの距離が既定距離以内である場合に、移動後のカーソルが示す選択肢の選択を決定するようにしてもよい。すなわち、視点と移動後のカーソルとの距離が既定距離を超える場合、移動後のカーソルが示す選択肢の選択を決定しないようにしてもよい。なお既定距離は、例えば誤差の最大値を示す距離より大きく設定される。移動後のカーソルと視点との距離が既定距離を超える場合、利用者は移動後のカーソルが示す選択肢に注意が向いていない（例えば当該選択肢から遠く離れた別の選択肢を見ている）可能性がある。そのためこの場合は、視点の固着の有無にかかわらずカーソルが示す選択肢の選択を決定しないことで、利用者が意図しない選択肢を選択してしまうことを防止できる。
【００５９】
また例えば、操作が検出されなくなってから第三時間以上経過した場合に、移動後のカーソルが示す選択肢の選択を決定するようにしてもよい。すなわち、操作が検出されなくなってから第三時間以上経過するまでの間は、移動後のカーソルが示す選択肢の選択を決定しないようにしてもよい。例えば操作対象がタッチパッドである場合、タッチパッドに利用者の指等の検出対象物が接触している間は、たとえタッチパッド上で検出対象物が停止していてもまだ利用者がカーソルを移動させるための操作をする可能性がある。そのため、タッチパッドに検出対象物が離れてから第三時間が経過するまでの間は、視点の固着の有無にかかわらず、選択肢の選択を決定しないことで、利用者が意図しない選択肢を選択してしまうことを防止できる。なお、第三時間は第一時間と同じ値であってもよいし異なる値であってもよい。
【００６０】
なお、表示制御部は、操作に応じてポインタを移動させることができてもよく、その場合、決定制御部は、カーソルの移動後に視点が既定範囲内に第一時間以上存在する場合、移動後のポインタが示す選択肢の選択を決定してもよい。ポインタは画面内の任意の位置に移動し、当該位置を示す図形である。
【００６１】
さらに、本発明のように、操作に応じたカーソルの移動後に視点が既定範囲内に第一時間以上存在する場合に、移動後のカーソルが示す選択肢の選択を決定する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【符号の説明】
【００６２】
１０…入力システム、２０…制御部、２１…入力プログラム、２１ａ…視点検出部、２１ｂ…操作検出部、２１ｃ…表示制御部、２１ｄ…決定制御部、３０…記録媒体、３０ａ…表示情報、４０…ディスプレイ、４１…タッチパッド、４２…視線検出センサ、Ａ…既定範囲、ｂ１〜ｂ２…ボタン（選択肢）、Ｃ…カーソル、Ｅ…視点検出位置
【図１】
2018097443.tif 000003
【図２】
2018097443.tif 000004
【図３】
2018097443.tif 000005
【図４】
2018097443.tif 000006
【図５】
2018097443.tif 000007
【図６】
2018097443.tif 000008