(57)【要約】【課題】ディスプレイの傾きを変えるときの誤作動を防止する。【解決手段】タッチパネルを有するディスプレイを備えた端末装置であって、撮像された画像から腕のベクトルを示す情報を抽出する抽出部と、抽出した前記腕のベクトルを示す情報から前記腕が前記ディスプレイの外縁部のベゼルに所定以上近付いたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を無効にする操作判定部と、を有する端末装置が提供される。【選択図】図４
2017211723.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルを有するディスプレイを備えた端末装置であって、
撮像された画像から腕のベクトルを示す情報を抽出する抽出部と、
抽出した前記腕のベクトルを示す情報から前記腕が前記ディスプレイの外縁部のベゼルに所定以上近付いたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を無効にする操作判定部と、
を有する端末装置。
【請求項２】
前記抽出部は、両腕のベクトルを示す情報を抽出し、
前記操作判定部は、抽出した前記両腕のベクトルを示す情報から前記両腕が前記ディスプレイの外縁部のベゼルに近付いたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を無効にする、
請求項１に記載の端末装置。
【請求項３】
前記操作判定部は、前記ディスプレイの全領域のタッチ操作の検出を無効にする、又は前記腕が近付いたと判定した前記ディスプレイの外縁部のベゼル周辺の特定領域のタッチ操作の検出を無効にする、
請求項１又は２に記載の端末装置。
【請求項４】
前記操作判定部は、抽出した前記腕のベクトルを示す情報から前記腕が前記ディスプレイの外縁部のベゼルから所定以上離れたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を有効にする、
請求項１〜３のいずれか一項に記載の端末装置。
【請求項５】
タッチパネルを有するディスプレイを備えた端末装置におけるタッチ操作の検出処理をコンピュータに実行させるためのタッチパネルの制御プログラムであって、
撮像された画像から腕のベクトルを示す情報を抽出し、
抽出した前記腕のベクトルを示す情報から前記腕が前記ディスプレイの外縁部のベゼルに所定以上近付いたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を無効にする、
タッチパネルの制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置及びタッチパネルの制御プログラムに関する。
【背景技術】
【０００２】
図１（ａ）に示すように、端末装置１０のディスプレイ３の底部にはヒンジ部１４が取り付けられ、ディスプレイ３の傾きθを所定の角度に保持できるようになっている。例えば、ディスプレイ３の傾きθを図１（ａ）の垂直状態から図１（ｂ）の水平状態に変更する際、ユーザは、ディスプレイ３の外縁部にある枠状のベゼル１７（例えば、領域Ａ１、Ａ２）を持って動かすことがある。
【０００３】
ディスプレイ３がタッチ操作を受け付ける場合、例えば図１（ｃ）に示すように、手が誤ってタッチパネル１２に触れてしまい、端末装置１０が意図しない動作を行う（以下、「誤作動」という。）ことがある。特に、近年のディスプレイ３のトレンドでは、ベゼル１７をより狭額にデザインするため、手がタッチパネル１２の領域Ｂにタッチしてしまい、誤作動がより発生し易い構造になっている。
【０００４】
そこで、ディスプレイに設けられた複数個所の検出部を用いてディスプレイの接触を検知すると、タッチパネルの一部分へのタッチ操作の受け付けを無効にする無効領域をタッチパネル上に設定する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−６３３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、検出部がディスプレイの接触を検出したときには、タッチ操作の受け付けを無効にする前に、タッチ操作の検出に基づく誤作動が生じてしまう。
【０００７】
また、ベゼル部分に検出部を備える場合、検出部（例えばセンサ）の厚みの分だけベゼルを厚くする必要があるので、ベゼルの狭額化に反する。一方、タッチパネルの裏面に検出部を備える場合、タッチパネルに検出部を埋め込む必要があるので、検出部の厚みの分だけタッチパネルが厚くなり、タッチパネルの薄型化に反する。
【０００８】
そこで、一側面では、本発明は、ディスプレイの傾きを変えるときの誤作動を防止することを目的とする。
【課題を解決するための手段】
【０００９】
一つの案では、タッチパネルを有するディスプレイを備えた端末装置であって、撮像された画像から腕のベクトルを示す情報を抽出する抽出部と、抽出した前記腕のベクトルを示す情報から前記腕が前記ディスプレイの外縁部のベゼルに所定以上近付いたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を無効にする操作判定部と、を有する端末装置が提供される。
【発明の効果】
【００１０】
一側面によれば、ディスプレイの傾きを変えるときの誤作動を防止することができる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態に係る端末装置の全体構成とディスプレイの傾きを説明するための図。
【図２】一実施形態に係る端末装置のハードウェア構成の一例を示す図。
【図３】一実施形態に係る端末装置の機能構成の一例を示す図。
【図４】一実施形態に係るタッチパネルの制御処理の一例を示すフローチャート。
【図５】一実施形態に係る腕のベクトルとベゼルへの操作判定を説明するための図。
【図６】一実施形態に係るタッチパネルの無効領域の一例を示す図。
【図７】一実施形態に係るタッチパネルの制御処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１３】
［端末装置の全体構成とディスプレイの傾き］
まず、本発明の一実施形態に係る端末装置１０の全体構成とディスプレイ３の傾きについて、図１を参照しながら説明する。図１（ａ）に示すように、一実施形態に係る端末装置１０は、ＰＣ本体１、マウス１５及びキーボード１６を有する。端末装置１０は、タッチパネル１２を有する電子機器であれば、パーソナルコンピュータ（ＰＣ）に限らず、タブレット型端末、ゲーム機器等であってもよい。
【００１４】
ＰＣ本体１には、ディスプレイ３と、ディスプレイ３の外縁部を囲む枠状のベゼル１７とが取り付けられている。ベゼル１７の上辺部の中央には、カメラコントローラ２が取り付けられている。カメラコントローラ２は、カメラ１３が撮像したディスプレイ３の前方の画像を分析する。
【００１５】
ディスプレイ３には、液晶パネル１１とタッチパネル１２とが積層されている。ディスプレイ３は、所定の情報を表示するとともに、ユーザのタッチ操作を検知する。端末装置１０は、検知したタッチ操作に対応して動作する。
【００１６】
ＰＣ本体１の底部にはヒンジ部１４が取り付けられ、ディスプレイ３の傾きθを所定の角度に保持できるようになっている。例えば、ディスプレイ３の傾きθを図１（ａ）の垂直状態から図１（ｂ）及び図１（ｃ）に示す水平状態に変える際、ディスプレイ３のベゼル１７の右辺や左辺（例えば図１（ｂ）の領域Ａ１、Ａ２）を持って動かすことがある。
【００１７】
ディスプレイ３がタッチパネル１２を搭載し、タッチ操作を受け付ける場合、例えば図１（ｃ）に示すように、ベゼル１７を持つ手がタッチパネル１２（例えば図１（ｃ）の領域Ｂ）にタッチしてしまい、誤作動することがある。特に、近年の端末装置１０のディスプレイ３では、ベゼル１７の幅Ｗが狭くなるデザインがトレンドとなっているため、ベゼル１７を持つ手がタッチパネル１２に触れ易くなっている。
【００１８】
そこで、本実施形態に示す端末装置１０は、カメラ１３が撮像した画像を使用して腕がベゼル１７に向かって所定以上近付いたことを検出すると、タッチパネル１２へのタッチ検出を無効にする。これにより、ディスプレイ３の傾きを変えるときにベゼル１７を持つ手が誤ってタッチパネル１２に触れたときの誤作動を防止することができる。
【００１９】
［ハードウェア構成］
次に、一実施形態に係る端末装置１０のハードウェア構成の一例について、図２を参照しながら説明する。端末装置１０のＰＣ本体１は、ＣＰＵ（Central Processing Unit）２１、チップセット２２、メモリ２３及びＨＤＤ（Hard Disk Drive）２４を有する。
【００２０】
ＣＰＵ２１は、チップセット２２を介してＨＤＤ２４から、タッチパネルの制御プログラム２７等のプログラム及びデータを読み出し、タッチパネル１２の制御処理等の処理を実行することで、装置全体の制御やタッチパネル１２の制御等の搭載機能を実現する。
【００２１】
チップセット２２には、ＣＰＵ２１、ＨＤＤ２４、ディスプレイ３、カメラコントローラ２、マウス１５及びキーボード１６が接続されている。チップセット２２は、各部のバス制御機能を有し、各部へのデータの送受信を管理する。
【００２２】
ＣＰＵ２１は、ＯＳ２５を起動してカメラアプリ２６を立ち上げると、チップセット２２を介してカメラ１３に画像を撮影させる。コントロールＩＣ３１は、その画像に写る指と肘との特徴点を測定し、特徴点である指と肘とを結んだ腕のベクトル解析を行い、腕のベクトルを示す情報を抽出する。スイッチ３２は、タッチパネル１２の無効領域を画定するためのスイッチである。スイッチ３２の切り替えにより、タッチパネル１２へのタッチ操作の検出を無効にする所定領域を変えることができる。なお、カメラ１３は、２台の３Ｄカメラであってもよく、１台のカメラであってもよい。カメラ１３の替わりにキネクトが設けられてもよい。
【００２３】
［機能構成］
次に、一実施形態に係る端末装置１０の機能構成の一例について、図３を参照しながら説明する。端末装置１０は、制御部５１、操作判定部５２、抽出部５３、画像分析部５４、撮像部５５、表示部５６及びタッチ操作部５７を有する。
【００２４】
撮像部５５は、ディスプレイ３の前方を撮像する。撮像部５５の機能は、例えばカメラ１３により実現可能である。画像分析部５４は、カメラ１３が撮像した画像を分析し、指と肘との特徴点を測定する。画像分析部５４の機能は、例えばコントロールＩＣ３１により実現可能である。なお、画像分析部５４は、タッチパネル１２へのタッチ操作の検出を無効にする所定領域を切り替える機能を有してもよい。
【００２５】
表示部５６は、所定の情報を表示する。表示部５６の機能は、例えば液晶パネル１１により実現可能である。タッチ操作部５７は、ユーザの指のタッチ操作を検出する。タッチ操作部５７の機能は、例えばタッチパネル１２により実現可能である。
【００２６】
制御部５１は、端末装置１０の全体を制御する。抽出部５３は、画像分析部５４が画像解析により抽出した指と肘との特徴点を結んだ腕のベクトルを示す情報を抽出する。操作判定部５２は、抽出した腕のベクトルを示す情報から、腕がベゼル１７に所定以上近付いたと判定した場合、ディスプレイ３の所定領域のタッチ操作の検出を無効にする。
【００２７】
制御部５１、操作判定部５２、抽出部５３の各機能は、例えばＣＰＵ２１により実現可能である。つまり、これら各部は、タッチパネルの制御プログラム２７が、ＣＰＵ２１に実行させる処理により実現される。
【００２８】
なお、図３は機能に着目したブロック図を描いており、これらの機能ブロックで示した各部は、ハードウエアのみ、ソフトウエアのみ、またはハードウエアとソフトウエアとの組合せによって実現することができる。
【００２９】
［タッチパネルの制御処理］
次に、本実施形態に係るタッチパネルの制御処理について、図４を参照して説明する。図４は、本実施形態に係るタッチパネルの制御処理を示したフローチャートである。本処理が開始されると、画像分析部５４は、カメラ１３が撮影した画像を入力する（ステップＳ１０）。次に、画像分析部５４は、カメラ１３が撮影した画像を分析し、指と肘の特徴点を測定し、抽出部５３は、指と肘とを繋いだ腕のベクトルを示す情報を抽出する（ステップＳ１２）。
【００３０】
次に、操作判定部５２は、抽出した腕のベクトルを示す情報から、腕のベクトルがベゼル１７に向いているかを判定する（ステップＳ１４）。例えば、図５（ａ）に示すように、カメラ１３がディスプレイ３の前方を撮影したとき、画角ｒ内の状態が画像に撮影される。その画像解析により指先及び肘の特徴点がそれぞれ測定され、右腕のベクトル４０ｒと左腕のベクトル４０ｌとを示す情報が抽出されたとする。なお、ここでは、指及び肘の特徴点を測定したが、腕の向う方向が分かれば、指及び肘に限らず、手首や掌、腕の一部に関する情報を測定及び抽出してもよい。
【００３１】
図４に戻り、操作判定部５２は、腕のベクトルがベゼル１７に向いていないと判定すると、ステップＳ１０に戻り、画像分析部５４は、次のカメラ画像を入力する。一方、操作判定部５２は、腕のベクトルがベゼル１７に向いていると判定すると、指先が画像から消えたか否かを判定する（ステップＳ１６）。図５（ａ）の状態では、指先は、カメラ１３の画角ｒ内に位置するため、指先は画像から消えていない。よって、この場合には、ステップＳ１０に戻り、次のカメラ画像を入力する。
【００３２】
ユーザの両腕が図５（ａ）の状態から図５（ｂ）の状態に遷移したことを示す両腕の画像ベクトルＧｒ、Ｇｌが測定され、今回の両腕のベクトル４０ｒ、４０ｌが抽出されたとき、指先は、カメラ１３の画角ｒ内に位置せず、画像から消えている。よって、この場合には、ステップＳ１６において、操作判定部５２は、指先が画像から消えていると判定し、ディスプレイ３の所定領域へのタッチ操作の検出を無効にし（ステップＳ１８）、本処理を終了する。
【００３３】
なお、ステップＳ１６において、操作判定部５２は、両手の指先が画像から消えたか否かを判定してもよいし、何れかの手の指先が画像から消えたか否かを判定してもよい。
【００３４】
タッチ操作の検出の無効の領域は、図６（ａ）に示すように、ディスプレイ３の全領域Ａａであってもよい。タッチ操作の検出の無効の領域は、図６（ｂ）に示すように両腕がベゼル１７に近付いたと判定された場合、腕が近付く左辺及び右辺のベゼル１７周辺の特定領域Ａｐ１、Ａｐ２であってもよい。タッチ操作の検出の無効の領域は、図６（ｃ）に示すように片腕がベゼル１７に近付いたと判定された場合、腕が近付く右辺のベゼル１７周辺の特定領域Ａｐ２のみであってもよい。タッチ操作の検出の無効の領域は、図６（ｄ）に示すように片腕がベゼル１７に近付いたと判定された場合、腕が近付く上辺のベゼル１７周辺の特定領域Ａｐ３であってもよい。
【００３５】
ただし、ディスプレイ３の傾きを変える動作が行われていると判定する条件は、両腕がベゼル１７に近付いたときとする方が、片腕がベゼル１７に近付いたときとするよりも該動作を誤って判定することが少ないため好ましい。これにより、タッチ操作の検出の無効化をより的確に行うことができる。
【００３６】
［タッチパネルの制御処理］
次に、図４にてタッチ操作の検出が無効になった場合、所定の条件でタッチ操作の検出の無効の領域を有効にする。このときの本実施形態に係るタッチパネルの制御処理について、図７を参照して説明する。
【００３７】
本処理が開始されると、操作判定部５２は、タッチ操作の検出が無効の領域があるか否かを判定する（ステップＳ２０）。操作判定部５２は、タッチ操作の検出が無効の領域がない場合、本処理を終了する。一方、操作判定部５２は、タッチ操作の検出が無効の領域がある場合、ステップＳ２２に進み、画像分析部５４は、カメラ１３が撮影した画像を入力する。次に、画像分析部５４は、カメラ１３が撮影した画像を分析し、指と肘の特徴点を測定し、抽出部５３は、指と肘とを結んだ腕のベクトルを示す情報を抽出する（ステップＳ２４）。
【００３８】
次に、操作判定部５２は、抽出した腕のベクトルを示す情報から、腕のベクトルがベゼル１７から離れていくかを判定する（ステップＳ２６）。操作判定部５２は、腕のベクトルがベゼル１７から離れていかないと判定すると、ステップＳ２２に戻り、画像分析部５４は、次のカメラ画像を入力する。
【００３９】
一方、操作判定部５２は、腕のベクトルがベゼル１７から離れていくと判定すると、指先が画像に現れたか否かを判定する（ステップＳ２８）。指先が画像に現れていないと判定された場合、ステップＳ２２に戻り、画像分析部５４は、次のカメラ画像を入力する。
【００４０】
一方、指先が画像に現れていると判定された場合、操作判定部５２は、無効領域のタッチ操作の検出を有効にし（ステップＳ３０）、本処理を終了する。
【００４１】
以上に説明したように、本実施形態に係る端末装置１０が実行するタッチパネルの制御処理によれば、ディスプレイ３の傾きを変えるときの誤作動を防止することができる。
【００４２】
また、本実施形態に係る端末装置１０が実行するタッチパネルの制御処理によれば、ディスプレイ３の傾きを変え終わった後、スムーズにタッチ操作の検出を有効にすることができる。
【００４３】
なお、ステップＳ２８において、操作判定部５２は、両手の指先が画像に現れたか否かを判定してもよいし、いずれかの手の指先が画像に現れたか否かを判定してもよい。また、タッチ操作の検出の有効は、図６（ａ）に示すように、無効にしていたディスプレイ３の全領域Ａａのタッチ操作の検出を有効にしてもよい。また、近付いたと判定された両手又は片手のベゼル１７周辺の特定領域のタッチ操作の検出を有効にしてもよい。
【００４４】
なお、図７の制御処理は、図４の制御処理と連動して、図４の制御処理の終了から所定時間経過後に実行してもよいし、図４の制御処理と独立して所定期間毎に実行してもよい。図７の制御処理を、図４の制御処理から所定時間経過後に実行する場合、ステップＳ２０の処理を省略してもよい。
【００４５】
以上、端末装置及びタッチパネルの制御プログラムを上記実施形態により説明したが、本発明にかかる端末装置及びタッチパネルの制御プログラムは上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。
【００４６】
例えば、図４のステップＳ１４では、腕のベクトルがディスプレイ３の外縁部のベゼル１７に向いているかが判定された。通常、ディスプレイ３の傾きを変えるとき、ユーザは、ベゼル１７を構成する各辺の少なくともいずれかの辺の中央部を持つことが多く、角部を持つことは少ないと想定される。よって、図４のステップＳ１４では、腕のベクトルがベゼル１７の４辺のうち、角部を除いた各辺のいずれかに向いているかを判定してもよい。
【００４７】
また、距離を検出可能な２台の３Ｄカメラを使用すれば、指先がベゼル１７に対してどのくらいの距離に位置するかを検出できる。その場合、タッチ操作の検出を無効にする条件が満たされているかの図４のステップＳ１４、Ｓ１６における判定処理及び無効領域を再び有効領域条件が満たされているかの図７のステップＳ２６、Ｓ２８における判定処理に替えて距離に基づく判定処理が行われる。
【００４８】
よって、腕がベゼル１７に所定以上近付いたか否かの判定は、カメラ１３で実際に測定した距離により判定してもよいし、カメラ１３が撮影した画像を解析することで判定してもよい。
【００４９】
また、図４のステップＳ１４、Ｓ１６におけるタッチ操作の検出の無効判定処理及び図７のステップＳ２６、Ｓ２８におけるタッチ操作の検出の有効判定処理に際して、カメラ画像による判定に加えて視線検出を行ってもよい。これにより、腕がベゼル１７に向かっているかや腕がベゼル１７から離れていくかの判定に視線がベゼル１７の方向に向いているかの判定を加えることができる。これにより、判定精度を高め、タッチ操作の検出の無効及び有効の制御タイミングを正しく行うことにより、上記誤作動をより的確に低減できる。
【００５０】
以上の説明に関し、更に以下の項を開示する。
（付記１）
タッチパネルを有するディスプレイを備えた端末装置であって、
撮像された画像から腕のベクトルを示す情報を抽出する抽出部と、
抽出した前記腕のベクトルを示す情報から前記腕が前記ディスプレイの外縁部のベゼルに所定以上近付いたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を無効にする操作判定部と、
を有する端末装置。
（付記２）
前記抽出部は、両腕のベクトルを示す情報を抽出し、
前記操作判定部は、抽出した前記両腕のベクトルを示す情報から前記両腕が前記ディスプレイの外縁部のベゼルに近付いたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を無効にする、
付記１に記載の端末装置。
（付記３）
前記操作判定部は、前記ディスプレイの全領域のタッチ操作の検出を無効にする、又は前記腕が近付いたと判定した前記ディスプレイの外縁部のベゼル周辺の特定領域のタッチ操作の検出を無効にする、
付記１又は２に記載の端末装置。
（付記４）
前記操作判定部は、抽出した前記腕のベクトルを示す情報から前記腕が前記ディスプレイの外縁部のベゼルから所定以上離れたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を有効にする、
付記１〜３のいずれか一項に記載の端末装置。
（付記５）
タッチパネルを有するディスプレイを備えた端末装置におけるタッチ操作の検出処理をコンピュータに実行させるためのタッチパネルの制御プログラムであって、
撮像された画像から腕のベクトルを示す情報を抽出し、
抽出した前記腕のベクトルを示す情報から前記腕が前記ディスプレイの外縁部のベゼルに所定以上近付いたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を無効にする、
タッチパネルの制御プログラム。
（付記６）
前記抽出部は、両腕のベクトルを示す情報を抽出し、
前記操作判定部は、抽出した前記両腕のベクトルを示す情報から前記両腕が前記ディスプレイの外縁部のベゼルに近付いたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を無効にする、
付記５に記載のタッチパネルの制御プログラム。
（付記７）
前記操作判定部は、前記ディスプレイの全領域のタッチ操作の検出を無効にする、又は前記腕が近付いたと判定した前記ディスプレイの外縁部のベゼル周辺の特定領域のタッチ操作の検出を無効にする、
付記５又は６に記載のタッチパネルの制御プログラム。
（付記８）
前記操作判定部は、抽出した前記腕のベクトルを示す情報から前記腕が前記ディスプレイの外縁部のベゼルから所定以上離れたと判定した場合、前記ディスプレイの所定領域のタッチ操作の検出を有効にする、
付記５〜７のいずれか一項に記載のタッチパネルの制御プログラム。
【符号の説明】
【００５１】
１    ＰＣ本体
２    カメラコントローラ
３    ディスプレイ
１０  端末装置
１１  液晶パネル
１２  タッチパネル
１３  カメラ
１４  ヒンジ部
１５  マウス
１６  キーボード
１７  ベゼル
２１  ＣＰＵ
２２  チップセット
２３  メモリ
２４  ＨＤＤ
２５  ＯＳ
２６  カメラアプリ
２７  タッチパネルの制御プログラム
３１  コントロールＩＣ
３２  スイッチ
５１  制御部
５２  操作判定部
５３  抽出部
５４  画像分析部
５５  撮像部
５６  表示部
５７  タッチ操作部
【図１】
2017211723.tif 000003
【図２】
2017211723.tif 000004
【図３】
2017211723.tif 000005
【図４】
2017211723.tif 000006
【図５】
2017211723.tif 000007
【図６】
2017211723.tif 000008
【図７】
2017211723.tif 000009