(57)【要約】【課題】所定以上の面積の表示部に対する入力操作に用いられ、タッチ操作とジェスチャ操作とのスムーズな切り替えが可能な構成とされた入力装置を実現する。【解決手段】所定以上の面積の表示部１０に対して重畳配置されたタッチパネル１１と、操作者のジェスチャを認識し、ジェスチャに応じた信号を出力するジェスチャ認識部１２と、タッチ操作による入力制御およびジェスチャ操作による入力制御を行う制御部１７と、を備える。このような構成において、制御部は、タッチ操作およびジェスチャ操作のいずれか一方による入力制御となるように操作系の切り替えを実行する。【選択図】図１
2020197942.tif 000002
【特許請求の範囲】
【請求項１】
所定以上の面積とされた表示部（１０）に対して重畳配置されたタッチパネル（１１）と、
操作者の身体形状を撮像する撮像部（２１）が取得した画像データに基づいて、前記操作者のジェスチャを認識し、前記ジェスチャに応じた信号を出力するジェスチャ認識部（１２）と、
前記タッチパネルからの出力信号に基づくタッチ操作による入力制御、および前記ジェスチャ認識部からの出力信号に基づくジェスチャ操作による入力制御を行う制御部（１７）と、を備え、
前記制御部は、前記タッチ操作および前記ジェスチャ操作のいずれか一方による入力制御となるように操作系の切り替えを実行する、入力装置。
【請求項２】
前記タッチパネルは、前記操作者との相対位置の変化が所定以下に制限されている状況において、前記操作者が接触可能な第１領域（１１１）と、前記操作者が接触できない第２領域（１１２）とを有してなり、
前記制御部は、少なくとも前記表示部のうち前記第２領域に位置する部分については前記ジェスチャ操作による入力制御を行う、請求項１に記載の入力装置。
【請求項３】
前記制御部は、前記タッチパネルからの信号出力がある場合には、前記タッチ操作による入力制御を実行し、前記タッチパネルからの信号出力がない場合には、前記ジェスチャ操作による入力制御を実行する、請求項１または２に記載の入力装置。
【請求項４】
前記制御部は、前記タッチパネルからの出力信号の強度が所定の閾値以上の場合には、前記タッチ操作による入力制御を実行し、前記タッチパネルからの出力信号の強度が所定の閾値未満の場合には、前記ジェスチャ操作による入力制御を実行する、請求項１または２に記載の入力装置。
【請求項５】
前記操作者が前記タッチパネルにおける所定の箇所に接触し、接触した状態を保ったまま前記所定の箇所から他の箇所へスライドさせたときの前記所定の箇所から前記他の箇所への距離を移動量として、
前記制御部は、
タッチ座標における移動量とジェスチャ座標における移動量との差が所定の閾値以上の場合には、前記タッチ操作による入力制御を実行し、
タッチ座標における移動量とジェスチャ座標における移動量との差が所定の閾値未満の場合には、前記ジェスチャ操作による入力制御を実行する、請求項１または２に記載の入力装置。
【請求項６】
前記制御部は、
前記タッチパネルからの信号出力の強度が所定の閾値以上であり、かつタッチ座標における移動量とジェスチャ座標における移動量との差が所定の閾値以上の場合には、前記タッチ操作による入力制御を実行し、
前記タッチパネルからの信号出力の強度が所定の閾値未満であり、かつタッチ座標における移動量とジェスチャ座標における移動量との差が所定の閾値未満の場合には、前記ジェスチャ操作による入力制御を実行する、請求項５に記載の入力装置。
【請求項７】
前記制御部は、前記タッチ操作による入力制御時にはタッチ座標を用い、前記ジェスチャ操作による入力制御時にはジェスチャ座標を用いると共に、操作系の切り替えを実行する場合には、前記タッチ座標および前記ジェスチャ座標の一方から他方の座標へ切り替える制御を実行する、請求項１ないし６のいずれか１つに記載の入力装置。
【請求項８】
前記制御部は、前記タッチ座標から前記ジェスチャ座標に切り替える場合には、前記タッチ座標における操作位置と前記ジェスチャ座標における操作位置とが同じになるように前記ジェスチャ座標のオフセットを行う、請求項７に記載の入力装置。
【請求項９】
前記制御部は、前記表示部に前記操作者による操作位置にポインタ（Ｐ）を表示させる制御を行っている場合において、前記タッチ座標および前記ジェスチャ座標の一方から他方の座標へ切り替える制御を実行するとき、前記ポインタを振動させるアニメーション表示を実行する、請求項７に記載の入力装置。
【請求項１０】
前記制御部は、前記表示部に前記操作者による操作位置にポインタ（Ｐ）を表示させる制御を行っている場合において、前記タッチ座標および前記ジェスチャ座標の一方から他方の座標へ切り替える制御を実行するとき、前記ポインタの大きさを一時的に大きくし、切り替えた座標における操作位置に集束するように前記ポインタの大きさを元に戻す制御を行う、請求項７に記載の入力装置。
【請求項１１】
前記制御部は、前記表示部に前記操作者による操作位置にポインタ（Ｐ）を表示させる制御を行っている場合において、前記ポインタの意匠を、前記タッチ操作による入力制御時と前記ジェスチャ操作による入力制御時とで異なるものとする制御を行う、請求項１ないし１０のいずれか１つに記載の入力装置。
【請求項１２】
前記制御部は、前記表示部に表示されているアイコンであって、前記操作者が選択している選択アイコンを強調表示させる制御を実行すると共に、前記選択アイコンの意匠を、前記タッチ操作による入力制御時と前記ジェスチャ操作による入力制御時とで異なるものとする制御を行う、請求項１ないし１１のいずれか１つに記載の入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチ操作およびジェスチャ操作が可能な入力装置に関する。
【背景技術】
【０００２】
従来、操作者がタッチパネルに指を接触させた状態で行うタッチ操作、または操作者がタッチパネルから指を離した状態で行うジェスチャに基づくジェスチャ操作を実行可能な構成とされた入力装置としては、例えば特許文献１に記載のものが提案されている。
【０００３】
なお、本明細書において「ジェスチャ」とは、例えば、操作者が指を上下左右などの所定の一方向に動かす、または指を時計回りもしくは反時計回りに動かすといった簡単な動作を意味する。また、「ジェスチャ操作」とは、タッチ操作が行われていない状況にて、操作者のジェスチャに基づいて行われる入力操作を意味する。
【０００４】
この入力装置は、表示部に重畳配置されたタッチパネルと、操作者がジェスチャ操作を行う際の当該操作者の身体形状を画像データとして取り込む身体形状入力部と、当該画像データに基づいてジェスチャ操作を認識し、入力制御を行う制御部とを備える。この入力装置は、例えば車両に搭載されるディスプレイなどに適用され、操作者と表示部との相対位置の変化が所定の範囲内に制限されている状況において、操作者が表示部の全域において、タッチ操作またはジェスチャ操作が可能な構成である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１３／１３６７７６号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、この種の入力装置では、操作者が姿勢や表示部に対する相対位置などを大きく変えないとその全域をタッチ操作できないほどに表示部を大面積化したいとのニーズが存在する。
【０００７】
しかしながら、例えば車載用途のように、表示部と操作者との相対位置の変化が所定の範囲内に制限された状況においては、操作者は、表示部のうち一部の領域しかタッチ操作をすることができない。このような状況では、表示部のうち操作者がタッチ操作できない領域については、非接触でのジェスチャ操作により各種の入力操作を可能にすることが求められる。
【０００８】
また、この状況において、操作者が、表示部のうちタッチ操作をすることが可能な第１の領域からタッチ操作ができない第２の領域、すなわち操作者の指が届かない領域に跨って所定の入力操作をすることが想定される。この場合、操作性を向上させるためには、タッチ操作に続けてジェスチャ操作を行う際に、これらの操作の切り替えをスムーズに行い、連続した操作が可能な構成とする必要がある。特許文献１に記載の入力装置は、表示部の面積が小さいため、このような操作系のスムーズな切り替えが考慮された構成となっていない。
【０００９】
本発明は、上記の点に鑑み、所定以上の面積とされた表示部に対する入力操作に用いられ、タッチ操作とジェスチャ操作とのスムーズな切り替えが可能な構成とされた入力装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、請求項１に記載の入力装置は、所定以上の面積とされた表示部（１０）に対して重畳配置されたタッチパネル（１１）と、操作者の身体形状を撮像する撮像部（２１）が取得した画像データに基づいて、操作者のジェスチャを認識し、ジェスチャに応じた信号を出力するジェスチャ認識部（１２）と、タッチパネルからの出力信号に基づくタッチ操作による入力制御、およびジェスチャ認識部からの出力信号に基づくジェスチャ操作による入力制御を行う制御部（１７）と、を備え、制御部は、タッチ操作およびジェスチャ操作のいずれか一方による入力制御となるように操作系の切り替えを実行する。
【００１１】
これにより、所定以上の面積の表示部へのタッチ操作およびジェスチャ操作が可能な入力装置において、制御部がタッチ操作とジェスチャ操作との切り替えを実行することで、スムーズな操作系の切り替えがなされる構成となる。
【００１２】
なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態の入力装置を有する車載装置の構成を示すブロック図である。
【図２】図１の車載装置の搭載例を説明するための説明図である。
【図３】図１の車載装置のうちタッチパネルの第１領域および第２領域の区画例を示す図である。
【図４Ａ】タッチパネルをタッチ操作中の様子および表示部におけるポインタの表示を示す図である。
【図４Ｂ】図４Ａに続くジェスチャ操作の様子および表示部におけるポインタの表示を示す図である。
【図５】タッチ操作およびジェスチャ操作におけるポインタの表示例を示す図である。
【図６】タッチ操作およびジェスチャ操作において選択されたコンテンツの表示例を示す図である。
【図７】タッチ操作からジェスチャ操作への切り替えにおける座標系の切り替えの一例を説明するための説明図である。
【図８】図７に示す座標系の切り替え時におけるポインタ表示の変化の一例を示す図である。
【図９】図７に示す座標系の切り替え時におけるポインタ表示の変化の他の一例を示す図である。
【図１０】タッチ操作からジェスチャ操作への切り替えにおける座標系の切り替えの他の一例を説明するための説明図である。
【図１１】第１領域に表示されているアイコンを第２領域に移動する操作の例を示す図である。
【図１２】図１１の操作に対応する処理動作の一例を示すフローチャートである。
【図１３】図１２の処理動作の変形例であって、その変形した部分に係る一部を示すフローチャートである。
【図１４】図１２の処理動作の他の変形例であって、その変形した部分に係る一部を示すフローチャートである。
【図１５】図１２の処理動作の他の変形例であって、その変形した部分に係る一部を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。
【００１５】
（実施形態）
実施形態に係る入力装置について説明する。本明細書では、例えば、図１に示すように自動車などの車両に搭載される車載装置１として適用された場合を代表例として説明するが、この用途に限定されるものではない。
【００１６】
車載装置１は、例えば図１に示すように、表示部１０と、タッチパネル１１と、ジェスチャ認識部１２と、記憶部１３と、音声認識部１４と、音声合成部１５と、通信部１６と、制御部１７とを有してなる。車載装置１は、例えば図２に示すように、車両ＶのサイドウィンドウＶ１に表示部１０が搭載されたサイドウィンドウディスプレイとされ得る。この車載装置１は、乗員、すなわち操作者が表示部１０に対してタッチ操作およびジェスチャ操作が可能な構成となっている。
【００１７】
なお、図２は、紙面左右方向を車両Ｖの進行可能な方向に沿った「車両全長方向」とし、紙面上において車両全長方向に直交する方向を「車幅方向」として、これらのなす平面に対する法線方向から車室内を見たときの平面図に相当する。図２では、車両全長方向において、座席Ｖ２、Ｖ３に着座した乗員が向き合う状態とされると共に、座席Ｖ２、Ｖ３に隣接するサイドウィンドウＶ１に表示部１０が搭載された状態を示している。そして、図２に示す例では、座席Ｖ２またはＶ３に着座した乗員が、着座した状態のままサイドウィンドウディスプレイとされた車載装置１の入力操作が可能な状況となっている。
【００１８】
表示部１０は、各種の映像等を表示する任意のディスプレイである。表示部１０は、図２に示すようにサイドウィンドウディスプレイとされる場合には、透明ディスプレイ、例えば有機ＥＬ（エレクトロルミネッセンスの略）ディスプレイとされる。表示部１０は、サイドウィンドウディスプレイへの適用に限られないが、映像等が表示される表示面が、少なくとも操作者が移動しないとその全域を触れることができない程度の所定以上の面積とされている。
【００１９】
タッチパネル１１は、表示部１０のうち表示面に対して重畳配置された透明体であり、操作者によるタッチ操作に用いられる。タッチパネル１１は、表示部１０に表示される映像等を透過させると共に、タッチパネル１１のうち表示部１０とは反対側の一面における操作者の接触箇所に応じた信号を出力する。タッチパネル１１は、例えば、静電容量式とされ、複数の第１電極と複数の第２電極とが格子状に配列されると共に、任意の絶縁性材料により覆われてなる。この場合、タッチパネル１１は、一面に指等の操作体が置かれたときに、一面における当該操作体の位置に応じて静電容量が変化する構成とされ、当該静電容量の信号を出力する構成とされる。タッチパネル１１が出力する操作体の位置に応じた信号は、例えば、後述する制御部１７に出力され、表示部１０に表示された操作アイコン等に割り当てられた所定の車載機器等への入力操作に用いられる。
【００２０】
なお、タッチパネル１１は、一面に指等の操作体が置かれたときに、その位置に応じた信号を出力する構成であればよく、静電容量式に限定されず、感圧式などの他の任意の方式とされてもよい。
【００２１】
表示部１０およびタッチパネル１１は、操作者との相対位置の変化が所定以下に制限された状況において、当該操作者が、手が届くことによりタッチ操作が可能な領域と、手が届かないことでタッチ操作ができない領域とを有する所定以上の大きさとされる。
【００２２】
以下、説明の便宜上、図３に示すように、上記した状況において、タッチパネル１１のうち操作者の手が届き、タッチ操作が可能な領域、すなわち接触可能な領域を「第１領域１１１」と称することがある。また、同状況において、タッチパネル１１のうち操作者の手が届かないためにタッチ操作ができない領域を「第２領域１１２」と称することがある。
【００２３】
なお、図３では、第１領域１１１と第２領域１１２との境界を便宜的に破線で示しているが、これらの区画について便宜的なものであり、明確な境界が存在するわけではない。また、第２領域１１２は、指などの操作体が接触した場合には、その接触された位置に応じた信号を出力する構成となっており、操作者が移動したり、体勢を変えたりした場合にはタッチ操作も可能な領域である。つまり、タッチパネル１１における第１領域１１１および第２領域１１２は、タッチパネル１１のサイズ、操作者の位置、姿勢や体格等の諸条件によりその面積や位置等が変化する。
【００２４】
ジェスチャ認識部１２は、撮像部２１から取得した画像データに基づいて、操作者の手や指等を用いたジェスチャを三次元的に認識する。ジェスチャ認識部１２は、例えば、所定の一方向への指のスライドや回転といった各種のジェスチャを認識すると共に、各種のジェスチャに応じた信号を制御部１７へ出力する。このジェスチャに応じた信号は、例えば、操作者の手が届ない第２領域１１２における非接触のジェスチャ操作に用いられるが、第１領域１１１におけるジェスチャ操作にも用いられ得る。
【００２５】
撮像部２１は、操作者がジェスチャ操作を行う際の当該操作者の手や指などの身体形状であって、ジェスチャに用いる部分を撮像するカメラである。撮像部２１は、例えば、可視光カメラ、近赤外カメラ、赤外線カメラ等の任意のカメラとされる。撮像部２１は、例えば図１に示すように、車載装置１とは別体とされると共に、図示しない配線等により車載装置１に電気的に接続される。撮像部２１で取得した画像データは、ジェスチャ認識部１２に伝送され、操作者のジェスチャの特定に用いられる。
【００２６】
なお、撮像部２１は、操作者の指等を撮像できる位置に設置されていればよく、例えば図２に示すように、車両Ｖの車室内における天井等の任意の箇所に設置される。
【００２７】
記憶部１３には、例えば、表示部１０に表示される操作アイコン等に係る情報、車載装置１の動作制御や車載機器等の機能を実行するための各種プログラムが格納されている。記憶部１３は、例えば、不図示のＲＯＭ、ＲＡＭや不揮発性ＲＡＭ等により構成される記憶媒体である。
【００２８】
音声認識部１４は、例えば、車両Ｖに搭載されるマイク２２から取得した音声データに基づき、操作者による発話等を認識する。音声認識部１４は、例えば、車載装置１とは別体のマイク２２からの音声データに応じた信号を制御部１７に出力する。音声認識部１４から出力された信号は、音声入力等に用いられる。
【００２９】
マイク２２は、操作者による発話等の音声が入力される任意の音声装置である。マイク２２は、操作者による音声が入力される位置に配置されていればよく、車両Ｖの車室内における任意の位置に設置される。
【００３０】
音声合成部１５は、例えば、車載装置１とは別体のスピーカ２３を介して音声によるメッセージ等を通知する際の音声を合成する。音声合成部１５は、例えば、制御部１７から操作者へのメッセージ等に関するテキストデータが伝送され、当該テキストデータに応じた音声信号をスピーカ２３に出力する。
【００３１】
スピーカ２３は、例えば、音声合成部１５から出力された音声信号に基づき、音声を出力する。スピーカ２３は、操作者等がスピーカ２３から出力される音声を聞き取ることができる箇所に搭載されていればよく、車両Ｖの任意の位置に設置される。
【００３２】
通信部１６は、車両Ｖに搭載される任意の車載機器と不図示のネットワーク配線等を介して接続されており、制御部１７と車載機器との通信に用いられる。
【００３３】
なお、車載機器としては、例えば図１に示すように、通信機器２４、ナビゲーション装置２５、オーディオ装置２６、カーエアコン２７や車両ＥＣＵ（Electronic Control Unitの略）２８等が挙げられるが、これらに限定されない。通信機器２４は、例えばインターネットなどの外部ネットワークとの通信用であってもよいし、車両Ｖ内にある車載機器とは異なる他の電子機器との通信用であってもよい。
【００３４】
制御部１７は、例えば、回路配線を備える不図示の基板上にＣＰＵ等が搭載されてなる電子制御ユニットであり、記憶部１３に格納された各種プログラムを読み込んで実行する。制御部１７は、タッチパネル１１からの出力信号に基づいて、タッチパネル１１のうち操作者の指が接触もしくは近接した位置を算出する。制御部１７は、ジェスチャ認識部１２からの出力信号に基づいて、タッチパネル１１のうち操作者のジェスチャ操作に対応する位置を算出する。制御部１７は、音声認識部１４からの出力信号に基づいて、操作者の発話を特定し、必要に応じて音声合成部１５や車載機器への信号を出力する。制御部１７は、各種の映像等を表示部１０に表示させる制御を行うと共に、表示部１０に表示された操作アイコンに割り当てられたコンテンツを実行させるため、通信部１６を介して車載機器への出力を行う。また、制御部１７は、例えば、操作アイコン等に関連付けられた機能やジェスチャ認識部１２が認識したジェスチャに対応する機能を実行する。
【００３５】
つまり、制御部１７は、タッチパネル１１からの出力信号に基づくタッチ操作による入力制御、およびジェスチャ認識部１２からの出力信号に基づくジェスチャ操作による入力制御を行う。そして、制御部１７は、タッチ操作およびジェスチャ操作のいずれか一方による入力制御を行うように、その切り替えを実行する構成とされている。
【００３６】
以上が、入力装置が適用される車載装置１の基本的な構成である。この車載装置１は、例えば、タッチパネル１１が信号を制御部１７に出力している場合には、タッチ操作が行われ、タッチパネル１１が信号を制御部１７に出力していない場合には、ジェスチャ操作が行われ得る構成とされている。
【００３７】
（操作系の切り替え）
次に、車載装置１におけるタッチ操作とジェスチャ操作との切り替えについて、図４Ａ、図４Ｂに示す操作を代表例として説明する。
【００３８】
図４Ａ、図４Ｂでは、断面を示すものではないが、見易くするため、操作者の操作位置に対応する位置を示すものとして表示部１０に表示されるポインタＰにハッチングを施している。また、図４Ａ、図４Ｂでは、タッチパネル１１のうち操作者による接触操作が可能な面を操作面１１ａとして、操作面１１ａのタッチ操作またはジェスチャ操作を行う操作者の頭上から見た、いわば「平面視」したときの状況を示している。さらに、図４Ａ、図４Ｂでは、操作面１１ａに対する法線方向、すなわち操作面法線方向から表示部１０およびタッチパネル１１を見た、いわば「側面視」した状況を示している。図４Ｂでは、分かり易くするため、タッチパネル１１から所定以上離れた操作者の手を破線で示している。
【００３９】
操作者が図４Ａに示すようにタッチパネル１１の操作面１１ａのうち第１領域１１１の任意の位置に一本の指を置き、その後、図４Ｂに続くように第２領域１１２にポインタＰをジェスチャ操作で移動させる操作を行った場合について説明する。
【００４０】
図４Ａに示すように、操作者が第１領域１１１の任意の場所に指を置いた場合、制御部１７は、表示部１０のうち操作者が指を置いた場所に相当する箇所にポインタＰを表示させる制御を行う。操作者がタッチパネル１１の操作面１１ａに触れたまま、第２領域１１２に向かって指をスライドさせると、制御部１７の制御により、この指の位置に連動してポインタＰが移動する。
【００４１】
ポインタＰを表示部１０のうち第１領域１１１に相当する位置から第２領域１１２に相当する位置に移動させる場合、図４Ｂに示すように、操作者は、タッチパネル１１から指を離して、引き続き、非接触のジェスチャ操作を行うことになる。制御部１７は、例えば、操作者がタッチパネル１１から指を離したタイミングでタッチ操作からジェスチャ操作への切り替えを実行する。
【００４２】
なお、ジェスチャ操作時においては、撮像部２１は、操作者の動きを撮影し、指の動きや形状を画像データとして生成し、ジェスチャ認識部１２にデータを出力する。その後、ジェスチャ認識部１２は、指の動きや向きに対応する信号を制御部１７に出力する。そして、制御部１７は、例えば、ジェスチャ認識部１２により認識された指のなす直線と表示部１０との交点にポインタＰを表示させる制御を行う。また、撮像部２１による撮像およびジェスチャ認識部１２への信号出力、並びにジェスチャ認識部１２から制御部１７への信号出力については、ジェスチャ操作時だけでなく、タッチ操作時においても行われてもよい。
【００４３】
タッチ操作とジェスチャ操作との切り替えについては、例えば、「タッチパネル１１からの信号出力の有無」、「タッチパネル１１からの出力信号の強度」や「タッチ座標とジェスチャ座標との差」などに基づいて行われる。以下、タッチ操作とジェスチャ操作との切り替えを単に「操作系の切り替え」と称する。
【００４４】
具体的には、例えば、タッチパネル１１が感圧式などの指等の操作体が接触した場合にのみ信号を出力する構成である場合には、制御部１７は、タッチパネル１１からの信号の出力、すなわちタッチ座標の出力がある場合にはタッチ操作に基づく制御を行う。この場合において、タッチパネル１１からの信号出力、すなわちタッチ座標の出力がないときには、制御部１７は、ジェスチャ操作に基づく制御へと切り替える。
【００４５】
なお、ここでいう「タッチ座標」とは、タッチパネル１１からの信号に関連付けられ、タッチ操作時に用いられる座標系である。「ジェスチャ座標」とは、ジェスチャ認識部１２からの信号に関連付けられ、主にジェスチャ操作時に用いられる座標系である。ジェスチャ座標は、タッチ座標におけるタッチ位置にも関連付けられると共に、タッチ操作からジェスチャ操作への切り替え時にスムーズに座標系の切り替えができるように、タッチ操作中にも内部処理がされている。
【００４６】
操作系の切り替えは、タッチパネル１１からの出力信号の有無に代わって、タッチパネル１１からの出力信号の強度に応じて行われてもよい。具体的には、タッチパネル１１が静電センサ等のように操作者の指等の操作体が操作面１１ａと所定の距離内に近づいた場合に感度が高くなる、すなわち出力信号が大きくなる構成である場合には、操作系の切り替えは、この出力信号の強度により行われてもよい。より具体的には、操作者の指が操作面１１ａに触れているか、または所定の距離以内にある場合、タッチパネル１１からの出力信号が所定以上の強度となるため、制御部１７は、出力信号が当該閾値以上であれば、タッチ操作に基づく制御を行う。一方、タッチパネル１１からの出力信号が当該閾値未満であるときには、制御部１７は、タッチ操作からジェスチャ操作へ切り替える。
【００４７】
操作者の違和感を低減し、より滑らかにするためには、操作系の切り替えは、例えば、タッチ座標とジェスチャ座標との差に基づいて行われてもよい。
【００４８】
具体的には、例えば、ポインタＰを所定の距離だけタッチ操作により移動させた場合について検討する。
【００４９】
タッチ座標における操作位置は、操作者がタッチパネル１１に接触した際にタッチパネル１１から出力される信号に基づいて算出される。そのため、タッチ座標におけるポインタＰの移動量は、実際の操作者の指の移動量との差がほとんどない。
【００５０】
一方、ジェスチャ座標における操作位置は、ジェスチャ認識部１２からの出力信号に基づいて算出される。例えば、操作者の指のなす直線と表示部１０との交点がジェスチャ座標における操作位置として算出され、その操作位置の座標の変化量がジェスチャ座標における移動量となる。つまり、ジェスチャ座標における移動量は、操作者の指との物理的な接触によらずに算出される仮想的な数値であり、タッチ座標における移動量に比べて、実際の操作者の指の移動量との差が大きい。そして、タッチ座標における移動量とジェスチャ座標における移動量との差は、操作者によるポインタＰの移動量が大きいほど大きくなる。
【００５１】
したがって、表示部１０と操作者との相対位置の変化量が所定以下に制限されている状況においては、第１領域１１１内におけるポインタＰの移動操作では、操作者の指の移動量が小さく、各座標における移動量の差は小さい。一方、同じ状況において、第２領域１１２にポインタＰを移動させる場合、操作者の指の移動量が大きくなり、各座標における移動量の差は大きくなる。
【００５２】
そこで、タッチ座標における移動量とジェスチャ座標における移動量との差に閾値を設け、制御部１７は、これらの移動量の差が所定の閾値以上の場合には、タッチ操作のままとし、タッチ操作に基づく入力制御を行ってもよい。逆に、これらの移動量の差が所定の閾値未満の場合には、制御部１７は、タッチ操作からジェスチャ操作に切り替え、タッチ操作に基づく入力制御を行ってもよい。このような操作系の切り替えとすることにより、タッチ操作からジェスチャ操作への切り替え時に、座標差によるポインタＰの位置ズレ（後述）を所定以下に抑えることができ、操作系のスムーズな切り替えを実行できる。つまり、両座標における移動量が所定の閾値以上の状態でタッチ操作からジェスチャ操作に切り替わると、ポインタＰの表示位置が大きくずれてしまい違和感を覚えるため、上記の操作系の切り替え条件とすることでこのような事態を防止できる。
【００５３】
なお、操作系の切り替えに用いられる出力信号の強度や両座標の差における閾値は、例えば記憶部１３に格納され、必要に応じて制御部１７により読み込まれる。また、操作系の切り替えにおいては、タッチパネル１１からの出力信号の強度と、両座標における移動量の差とを組み合わせてもよい。例えば、タッチパネル１１からの出力信号の強度が閾値以上、かつ両座標における移動量が所定の値以上の場合には、制御部１７は、タッチ操作を有効とし、タッチ操作に基づく入力制御を実行してもよい。また、タッチパネル１１からの出力信号の強度が閾値未満、かつ両座標における移動量が所定の値未満の場合には、制御部１７は、ジェスチャ操作を有効とし、ジェスチャ操作に基づく入力制御を実行してもよい。
【００５４】
また、タッチ操作かジェスチャ操作かを操作者が視覚的に把握し易くするため、図５に示すように、ポインタＰの意匠をタッチ操作とジェスチャ操作とで異なるものとしてもよい。また、同様の目的で、図６に示すように、表示部１０に表示されているアイコンのうち操作者が選択している選択アイコンを強調表示する場合、その意匠をタッチ操作とジェスチャ操作とで異なるものとしてもよい。意匠の変更の様式としては、ポインタＰについては色、形状や大きさを変えたり、選択アイコンについては枠の色、太さや模様を変えたりすることが挙げられるが、視覚的に差異が認識できればよく、これらに限定されない。
【００５５】
なお、上記したポインタＰの意匠の変更については、タッチ操作からジェスチャ操作に切り替える場合だけでなく、その逆の場合に適用してもよい。つまり、制御部１７は、タッチ操作およびジェスチャ操作のいずれか一方から他方へ切り替える際に、座標ズレによる違和感を低減する制御を実行してもよい。
【００５６】
（座標系の切り替え）
次に、操作系の切り替え時におけるタッチ座標とジェスチャ座標との切り替えについて、図７〜図１０を参照して説明する。
【００５７】
図７、図１０では、紙面左右方向をｘ方向とし、紙面上においてｘ方向に直交する方向をｙ方向として示すと共に、ｘ方向におけるタッチ座標Ｔｘと同方向におけるジェスチャ座標Ｇｘとを矢印で示している。また、図７、図１０では、分かり易くするため、タッチ操作中の操作者の手を実線で示している。図７〜図１０では、ジェスチャ操作中の操作者の手を破線で示している。
【００５８】
以下の説明においては、説明の便宜上、操作系の切り替えに伴ってなされる、ポインタＰ等の現操作位置の表示に使用される座標の切り替えを単に「座標系の切り替え」と称する。また、座標系の切り替えを分かり易くするため、ここでは、ポインタＰのｙ方向における座標を変化させず、ｘ方向における座標を変化させるように、ポインタＰを移動させる操作を行う場合を代表例として説明する。
【００５９】
制御部１７は、例えば図７に示すように、タッチ操作からジェスチャ操作へ切り替えを行う際に、ポインタＰ等を表示させる現操作位置を算出するために用いる座標をタッチ座標からジェスチャ座標に切り替える制御を行う。
【００６０】
例えば、操作系の切り替えの直前におけるポインタＰのタッチ座標をｔｘ１として、制御部１７は、図７に示すように、タッチ操作時においては、ポインタＰをタッチ座標でのｔｘ１に対応する位置に表示させる制御を行う。一方、ジェスチャ座標においてｔｘ１に対応する位置をｇｘ１として、制御部１７は、ジェスチャ操作時においては、ポインタＰをジェスチャ座標でのｇｘ１に対応する位置に表示させる制御を行う。
【００６１】
このとき、図７に示すように、タッチ座標のｔｘ１とジェスチャ座標ｇｘ１との間に所定以上のズレがある場合には、座標系の切り替えに伴って、ポインタＰの表示位置が瞬間的に大きくずれてしまい、操作者に違和感を覚えさせ得る。
【００６２】
このようにタッチ座標とジェスチャ座標とを単純に切り替える場合において、座標系の切り替えに伴うポインタＰ等の位置ズレによる違和感を低減するため、制御部１７は、座標系の切り替え時におけるポインタＰの表示制御を実行することが好ましい。
【００６３】
例えば、図８に示すように、ポインタＰをタッチ座標上での位置とジェスチャ座標上での位置とにおいて短時間で交互に数回表示させ、最終的に、切り替え後の座標系での位置にポインタＰを表示させてもよい。つまり、制御部１７は、操作系の切り替え時にポインタＰが振動しているように表示をさせつつ、切り替え後の座標系での位置に表示させるといったアニメーション表示をさせることで、位置ズレによる違和感を低減する。また、図９に示すように、制御部１７は、操作系の切り替え時においてポインタＰの大きさを一時的に大きくし、切り替えた座標系における表示位置に集束するようにポインタＰの大きさを元に戻すことで位置ズレによる違和感を低減してもよい。
【００６４】
また、制御部１７は、例えば図１０に示すように、タッチ操作からジェスチャ操作への切り替えを行う際に、ジェスチャ座標のオフセット処理を行った上で、タッチ座標からジェスチャ座標に切り替える制御を実行してもよい。
【００６５】
図７に示すように、操作系の切り替え直前におけるタッチ座標のｔｘ１とジェスチャ座標のｇｘ１との間にズレが生じている場合、制御部１７は、図１０に示すように、これらの差（ｔｘ１−ｇｘ１）の分だけジェスチャ座標の原点をオフセットしてもよい。これにより、オフセット後のジェスチャ座標のｇｘ１とタッチ座標のｔｘ１とが同じ位置となり、座標系を切り替えた後であっても、ポインタＰは、操作系の切り替え前後において同じ位置に表示されることになる。このような表示制御により、操作者は、タッチ操作からジェスチャ操作への切り替えによる違和感を覚えることなく、よりスムーズにジェスチャ操作を続行することができる。
【００６６】
（処理動作例）
次に、車載装置１における処理動作例について、図１１に示す操作を行った場合における処理動作例を代表例に、図１２を参照して説明する。
【００６７】
図１１では、操作者が表示部１０のうち第１領域１１１内において表示されているアイコンを選択し、当該選択アイコンを第２領域１１２に移動させる操作を示している。また、図１１では、分かり易くするため、断面を示すものではないが、操作するアイコンにハッチングを施している。さらに、図１１では、第１領域１１１と第２領域１１２との境界を便宜的に破線で示すと共に、操作の順番を白抜き矢印で示している。
【００６８】
制御部１７は、例えば車載装置１がＯＮの状態となったら、図１２に示す制御フローを実行する。
【００６９】
ステップＳ１０１では、制御部１７は、タッチパネル１１から信号を出力されたか否か、すなわちタッチパネル１１の入力有無についての判定を行う。制御部１７は、ステップＳ１０１にて肯定判定の場合、すなわちタッチパネル１１から信号が出力されたと判定した場合には処理をステップＳ１０２に進め、否定判定の場合には処理を終了させる。
【００７０】
ステップＳ１０２では、制御部１７は、タッチパネル１１からの出力信号に基づいて算出された操作位置が、表示部１０に表示された操作アイコン上であって、当該操作アイコンの移動を有効にできる位置であるか否かの判定を行う。ステップＳ１０２で肯定判定の場合には、制御部１７は、処理をステップＳ１０３に進める。例えば、操作者がタッチパネル１１に指を置いたまたは近接させた際に、表示部１０に表示されるポインタＰが操作アイコンの移動を有効にする位置にある状況等がこの場合に該当する。一方、否定判定の場合には、制御部１７は、処理を終了させる。
【００７１】
ステップＳ１０３では、制御部１７は、操作位置に表示されているアイコンを移動可能な状態にする制御を行う。その後、制御部１７は、処理をステップＳ１０４に進める。
【００７２】
ステップＳ１０４では、制御部１７は、タッチパネル１１からの出力信号により算出される操作位置が、タッチ座標上で変化したか否かについて判定する。ステップＳ１０４で肯定判定の場合には、制御部１７は、処理をステップＳ１０５に進める。例えば、操作者がタッチパネル１１に触れた状態のまま、第１領域１１１から第２領域１１２に向かってスライド操作をしている状況等がこの場合に該当する。一方、ステップＳ１０４にて否定判定の場合には、制御部１７は、処理をステップＳ１０６に進める。
【００７３】
ステップＳ１０５では、制御部１７は、タッチ座標上での操作位置の変化に連動して、選択アイコン（移動が有効な状態とされたアイコン）を移動させる制御を行う。その後、制御部１７は、処理をステップＳ１０７に進める。
【００７４】
ステップＳ１０６では、制御部１７は、タッチパネル１１からの入力がないか否かについて判定を行う。ステップＳ１０６で肯定判定の場合、すなわちタッチパネル１１からの入力がないと判定した場合には、制御部１７は、処理を後述のステップＳ１１３に進める。一方、ステップＳ１０６で否定判定の場合、すなわちタッチパネル１１からの入力があると判定した場合には、制御部１７は、処理をステップＳ１０４に戻す。
【００７５】
なお、Ｓ１０６での判定については、前述したように、タッチパネル１１からの出力信号の有無、当該出力信号の強度、およびタッチ座標とジェスチャ座標との差などに基づいて実行され得る。
【００７６】
ステップＳ１０７では、制御部１７は、ステップＳ１０６と同様に、タッチパネル１１における入力がないか否かについて判定を行う。ステップＳ１０７にて肯定判定の場合、すなわちタッチパネル１１からの入力がないと判定した場合には、制御部１７は、処理をステップＳ１０８に進める。例えば、操作者がタッチパネル１１から指を離し、タッチパネル１１からの出力信号が制御部１７に伝送されなくなった状況等がこの場合に該当する。一方、ステップＳ１０７で否定判定の場合、すなわちタッチパネル１１からの入力があると判定した場合には、制御部１７は、処理をステップＳ１０５に戻す。
【００７７】
ステップＳ１０８では、制御部１７は、ジェスチャ操作を有効とし、タッチ操作からジェスチャ操作に切り替える。言い換えると、ステップＳ１０８では、制御部１７は、タッチ操作に代えて、ジェスチャ操作に基づく入力制御を実行可能な状態とする。これにより、操作者は、ジェスチャ操作により車載機器への入力操作が可能となる。続けて、制御部１７は、処理をステップＳ１０９に進める。
【００７８】
ステップＳ１０９では、制御部１７は、所定時間内にジェスチャ座標上における操作位置の変化があるか否かについて判定を行う。ステップＳ１０９で肯定判定の場合、制御部１７は、処理をステップＳ１１０に進める。一方、ステップＳ１０９で否定判定の場合、制御部１７は、処理を後述のステップＳ１１２に進める。なお、この所定時間については、任意であり、適宜設定される。
【００７９】
ステップＳ１１０では、制御部１７は、ジェスチャ座標上における操作位置の変化に連動して、選択アイコンを移動させる。続けて、制御部１７は、処理をステップＳ１１１に進める。
【００８０】
ステップＳ１１１では、制御部１７は、再度、所定時間内にジェスチャ座標上における操作位置の変化があるか否かについて判定を行う。ステップＳ１１１にて肯定判定の場合、制御部１７は、処理をステップＳ１１０に戻す。一方、ステップＳ１１１にて否定判定の場合、制御部１７は、処理をステップＳ１１２に進める。
【００８１】
なお、ステップＳ１０９およびＳ１１１では、制御部１７は、ジェスチャ座標における操作位置の変化量が所定以上であるか否かを判定してもよい。また、ステップＳ１０９およびＳ１１１では、制御部１７は、ジェスチャ座標における操作位置の変化量が所定以上であるか否かの判定において、上記と同様に所定の制限時間を設け、その所定時間内に判定を実行してもよい。ステップＳ１０９およびＳ１１１における否定判定の場合は、例えば、操作者がジェスチャ操作に用いていた指を一定時間停止させた状態にする状況等が該当する。言い換えると、この場合、「操作者が指差しの位置を一定時間停止させること」が選択アイコンの移動の終了条件とされているとも言える。
【００８２】
ステップＳ１１２では、制御部１７は、選択アイコンの位置をジェスチャ座標における操作位置に決定する。そして、制御部１７は、続くステップＳ１１３にて、当該選択アイコンの移動可能状態を無効とする制御を行う。これにより、例えば図１１に示すように、選択アイコンは、表示部１０のうち第２領域１１２の所定位置に固定された状態となり、その移動が終了する。その後、制御部１７は、図１２の制御フローの処理を終了する。
【００８３】
（処理動作の変形例）
上記の処理動作例では、「ジェスチャ座標における操作位置の変化」により、選択アイコンの移動終了が決定されていた。しかしながら、制御フローのうち選択アイコンの移動終了条件は、図１２に示す例に限られず、図１３〜図１５に示すように変更されてもよい。以降の説明では、図１２を参照して説明した上記の処理動作とは相違する部分について主に説明する。
【００８４】
図１３〜図１５では、図１２に示す制御フローのうちステップＳ１０３からステップＳ１０６またはステップＳ１１２までの間を抜粋して示している。
【００８５】
図１３に示す変形例では、制御部１７は、ステップＳ１０７の後、処理をステップＳ１１４に進める。ステップＳ１１４では、制御部１７は、所定時間内にタッチ操作によるタップがないか否かについて判定を行う。ステップＳ１１４にて肯定判定の場合、すなわち操作者が所定時間内にタッチ操作によるタップをしなかったと判定した場合、制御部１７は、処理をステップＳ１０８に進める。一方、ステップＳ１１４にて否定判定の場合、制御部１７は、処理をステップＳ１１２に進める。
【００８６】
制御部１７は、ステップＳ１０８の後、ステップＳ１１０にて選択アイコンをジェスチャ座標における操作位置に移動させる処理を行い、次に、処理をステップＳ１１５に進める。ステップＳ１１５では、制御部１７は、タップ動作に対応する操作者のジェスチャがないか否かについて判定を行う。ステップＳ１１５にて肯定判定の場合、すなわちタップ動作がないと判定した場合には、制御部１７は、処理をステップＳ１１０に戻す。一方、ステップＳ１１５にて否定判定の場合、すなわちタップ動作があると判定した場合には、制御部１７は、処理をステップＳ１１２に進める。
【００８７】
なお、操作者がタッチ操作によるタップの動作をしたか否かについては、例えば、タッチパネル１１のうち所定の範囲内、かつ所定の時間内に少なくとも２回の断続的な出力信号が制御部１７に伝送されたか否かにより判定可能である。また、操作者がジェスチャ操作によるタップの動作をしたか否かについては、例えば、所定の範囲内かつ所定の時間内に少なくとも２回の往復動作がされた場合に対応する信号が、ジェスチャ認識部１２から制御部１７に伝送されたか否かにより判定可能である。操作者によるタップ動作の有無の判定方法については、上記の例に限定されるものではない。
【００８８】
つまり、図１３に示す変形例では、選択アイコンの移動終了条件が「タッチ操作またはジェスチャ操作によるタップ動作」となっている。また、図１４に示すように、選択アイコンの移動終了条件は、「タッチ操作またはジェスチャ操作による押し込み動作」であってもよい。
【００８９】
図１４に示す変形例では、制御部１７は、ステップＳ１０５の後、処理をステップＳ１１６に進める。ステップＳ１１６では、制御部１７は、所定時間内にタッチ操作による押し込み動作がないか否かについて判定を行う。ステップＳ１１６にて肯定判定の場合、すなわち操作者が所定時間内にタッチ操作による押し込み動作をしなかったと判定された場合、制御部１７は、処理をステップＳ１１７に進める。一方、ステップＳ１１６にて否定判定の場合、すなわち操作者が所定時間内にタッチ操作による押し込み動作をしたと判定した場合、制御部１７は、処理をステップＳ１１２に進める。
【００９０】
ステップＳ１１７では、制御部１７は、図１２におけるステップＳ１０７と同様に、タッチパネル１１からの入力がないか否かについて判定を行う。ステップＳ１１７で肯定判定の場合、すなわちタッチパネル１１からの入力がないと判定した場合には、制御部１７は、処理をステップＳ１０８、Ｓ１１０の順に進める。一方、ステップＳ１１７で否定判定の場合、すなわちタッチパネル１１からの入力があると判定した場合には、制御部１７は、処理をステップＳ１０５に戻す。
【００９１】
制御部１７は、ステップＳ１１０の後、処理をステップＳ１１８に進め、ジェスチャ操作による押し込みの動作がないか否かについて判定を行う。ステップＳ１１８で肯定判定の場合、すなわち押し込みのジェスチャがないと判定した場合には、制御部１７は、処理をステップＳ１１０に戻す。一方、ステップＳ１１８で否定判定の場合、すなわち押し込みのジェスチャがあると判定した場合には、制御部１７は、処理をステップＳ１１２に進める。
【００９２】
なお、操作者がタッチ操作による押し込みの動作をしたか否かについては、例えば、タッチパネル１１が押圧センサを有した構成とされ、タッチパネル１１から押圧に応じた信号を制御部１７に伝送されたか否かにより判定可能である。また、操作者がジェスチャ操作による押し込みの動作をしたか否かについては、例えば、所定の範囲内かつ所定の時間内に少なくとも１回の往復動作がされた場合に対応する信号が、ジェスチャ認識部１２から制御部１７に伝送されたか否かにより判定可能である。操作者による押し込む動作の有無の判定方法については、上記の例に限定されるものではない。
【００９３】
さらに、図１５に示す変形例のように、操作者による所定の発話をアイコンの移動終了条件としてもよい。図１５に示す変形例は、ステップＳ１１６、Ｓ１１８に代わって、アイコンの移動を停止させる発話がないか否かを判定するステップＳ１１９、Ｓ１２０とされたものである。
【００９４】
ステップＳ１１９では、制御部１７は、例えば、「はい」、「そこ」、「ストップ」等の所定の発話に対応した音声信号が、音声認識部１４から出力されているか否かにより、停止の発話がないか否かを判定する。ステップＳ１１９で肯定判定の場合、すなわち操作者による停止の発話がないと判定した場合には、制御部１７は、処理をステップＳ１１７に進める。一方、ステップＳ１１９で否定判定の場合、すなわち操作者による停止の発話があったと判定した場合には、制御部１７は、処理をステップＳ１１２に進める。
【００９５】
ステップＳ１２０では、ステップＳ１１９と同様の判定を行い、制御部１７は、肯定判定の場合には処理をステップＳ１１０に戻し、否定判定の場合には処理をステップＳ１１２に進める。
【００９６】
本実施形態によれば、操作者が移動しなければその全域をタッチ操作できないほどの大面積化された表示部１０に対する入力操作において、タッチ操作とジェスチャ操作とをスムーズに切り替えることが可能な構成とされた入力装置となる。
【００９７】
（他の実施形態）
本発明は、実施例に準拠して記述されたが、本発明は当該実施例や構造に限定されるものではないと理解される。本発明は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらの一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本発明の範疇や思想範囲に入るものである。
【００９８】
（１）例えば、上記実施形態では、１点でタッチパネル１１を操作する場合を例に説明したが、２点以上でタッチパネル１１を操作する場合であっても同様に適用できる。
【００９９】
（２）上記実施形態では、表示部１０が車両ＶのサイドウィンドウＶ１に搭載された例について説明したが、表示部１０は、リアウィンドウやウィンドシールド等の他の部位に搭載されてもよい。また、上記した入力装置は、車載用途に適用された場合であっても、操作者が移動せずとも表示部１０の表示面全域についてタッチ操作とジェスチャ操作とを駆使して入力操作が可能な構成とされる。
【０１００】
（３）音声入力をしない場合や音声によるメッセージ等を出力しない場合には、音声認識部１４、音声合成部１５、マイク２２およびスピーカ２３を有しない構成であってもよい。
【符号の説明】
【０１０１】
１０    表示部
１１    タッチパネル
１１１  第１領域
１１２  第２領域
１２    ジェスチャ認識部
１７    制御部
２１    撮像部 
【図１】
2020197942.tif 000003
【図２】
2020197942.tif 000004
【図３】
2020197942.tif 000005
【図４Ａ】
2020197942.tif 000006
【図４Ｂ】
2020197942.tif 000007
【図５】
2020197942.tif 000008
【図６】
2020197942.tif 000009
【図７】
2020197942.tif 000010
【図８】
2020197942.tif 000011
【図９】
2020197942.tif 000012
【図１０】
2020197942.tif 000013
【図１１】
2020197942.tif 000014
【図１２】
2020197942.tif 000015
【図１３】
2020197942.tif 000016
【図１４】
2020197942.tif 000017
【図１５】
2020197942.tif 000018