(57)【要約】  実施形態によれば、情報処理装置は、ディスプレイと、前記ディスプレイを保護するための保護パネルと、カメラと、前記保護パネル上でのタッチ入力を検出して位置情報を出力するセンサと、前記カメラにより得られる画像を用いて、前記センサにより得られる位置情報で示されるタッチ入力位置を補正する補正手段とを具備する。
2014147715.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイと、
前記ディスプレイを保護するための保護パネルと、
カメラと、
前記保護パネル上でのタッチ入力を検出して位置情報を出力するセンサと、
前記カメラにより得られる画像を用いて、前記センサにより得られる位置情報で示されるタッチ入力位置を補正する補正手段と、
を具備する情報処理装置。
情報処理装置。
【請求項２】
前記補正手段は、前記画像に含まれる被写体像の前記画像上での位置に基づき、実空間上での被写体の眼の位置を検出する請求項１に記載の情報処理装置。
【請求項３】
前記補正手段は、前記被写体の眼の位置に関する情報として、前記保護パネル面と、前記カメラと前記被写体の眼とを結ぶ線分とがなす第１角の角度と、前記カメラの撮像方向と直交する前記カメラの位置を含む第１面と、前記第１面上の前記カメラの位置を通過する垂直方向の中心線を前記被写体の眼の方向に伸ばすことによって形成される第２面とがなす第２角の角度とを算出する請求項２に記載の情報処理装置。
【請求項４】
前記補正手段は、前記第１角の角度と、前記第２角の角度と、前記カメラと前記タッチ入力位置との間の距離と、前記カメラと前記被写体の眼との間の距離とに基づき、前記タッチ入力位置を通過する前記保護パネル面の法線方向の線分と、前記被写体の眼と前記タッチ入力位置とを結ぶ線分とがなす第３角の角度を算出する請求項３に記載の情報処理装置。
【請求項５】
前記補正手段は、前記画像に含まれる被写体像の部位の大きさまたは部位間の距離に基づき、前記カメラと前記被写体の眼との間の距離を算出する請求項４に記載の情報処理装置。
【請求項６】
前記補正手段は、前記第３角の角度と、前記保護パネル面と前記ディスプレイ面との間の距離とに基づき、前記タッチ入力位置の補正量を算出する請求項４または５に記載の情報処理装置。
【請求項７】
前記補正手段は、前記補正量の算出時、前記保護パネル面と前記ディスプレイ面との間に介在する１以上の部材それぞれの厚みおよび屈折率を適用する請求項６に記載の情報処理装置。
【請求項８】
前記補正手段は、
前記補正量をｇ、前記１以上の部材それぞれの厚みをｈm（ｍは整数）、前記１以上の部材それぞれの屈折率をｎm、前記第３角の角度を初期値（入射角θ0）とする前記被写体の眼の位置から前記タッチ入力位置に至る視線光路の前記１以上の部材それぞれに対する入射角をθmとして、
ｇ＝ｈ1×tanθ1+ … ｈm×tanθm
ここで、θm＝arc sin(ｎm-1×sinθm-1／ｎm)
の計算を実行する
請求項７に記載の情報処理装置。
【請求項９】
前記カメラを複数具備し、
前記補正手段は、第１カメラにより得られた第１画像に含まれる被写体像の前記第１画像上での位置に基づき、前記保護パネル面と、前記第１カメラと前記被写体の眼とを結ぶ線分とがなす前記第１カメラに関する第１角の角度、および、前記第１カメラの撮像方向と直交する前記第１カメラの位置を含む前記第１カメラに関する第１面と、前記第１カメラに関する第１面上の前記第１カメラの位置を通過する垂直方向の中心線を前記被写体の眼の方向に伸ばすことによって形成される前記第１カメラに関する第２面とがなす前記第１カメラに関する第２角の角度を算出すると共に、第２カメラにより得られた第２画像に含まれる被写体像の前記第２画像上での位置に基づき、前記保護パネル面と、前記第１カメラと前記被写体の眼とを結ぶ線分とがなす前記第２カメラに関する第１角の角度、および、前記第２カメラの撮像方向と直交する前記第２カメラの位置を含む前記第２カメラに関する第１面と、前記第２カメラに関する第１面上の前記第２カメラの位置を通過する垂直方向の中心線を前記被写体の眼の方向に伸ばすことによって形成される前記第２カメラに関する第２面とがなす前記第２カメラに関する第２角の角度を算出し、前記第１カメラに関する第１角および第２角の角度と、前記第２カメラに関する第１角および第２角の角度と、前記第１カメラと前記タッチ入力位置との間の距離と、前記第２カメラと前記タッチ入力位置との間の距離と、前記第１カメラと前記第２カメラとの間の距離とに基づき、前記タッチ入力位置を通過する前記保護パネル面の法線方向の線分と、前記被写体の眼と前記タッチ入力位置とを結ぶ線分とがなす第３角の角度を算出する
請求項１に記載の情報処理装置。
【請求項１０】
前記センサは、デジタイザであり、専用ペンによる前記保護パネル上でのタッチ入力を検出する請求項１に記載の情報処理装置。
【請求項１１】
情報処理装置の制御方法であって、
タッチスクリーンディスプレイ上でのタッチ入力を検出し、
カメラにより得られる画像を用いて、前記検出したタッチ入力の位置を補正する、
制御方法。
【請求項１２】
コンピュータを、
タッチスクリーンディスプレイ上でのタッチ入力を検出し、
カメラにより得られる画像を用いて、前記検出したタッチ入力の位置を補正する、
ように動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、タッチスクリーンディスプレイを備える情報処理装置に好適な制御技術に関する。
【背景技術】
【０００２】
近年、タブレット端末やスマートフォンといったバッテリ駆動可能で携行容易な情報処理装置が広く普及している。この種の情報処理装置の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。【０００３】
ユーザは、タッチスクリーンディスプレイ上に表示されるアイコンやメニュー等のオブジェクトを指でタッチすることにより、これらアイコンやメニューに関連づけられた機能の実行を情報処理装置に指示することができる。【０００４】
また、タッチスクリーンディスプレイを使った入力操作は、情報処理装置に対して動作指示を与えるに止まらず、手書きで文書を入力する用途にも使われている。タッチスクリーンディスプレイ上でタッチ入力を行うと、その軌跡がタッチスクリーンディスプレイに表示されるようになっている。【０００５】
タッチスクリーンディスプレイ上には、ディスプレイ面を外圧から保護するために、ある程度の厚みを持った透明の保護パネルが配置され、また、ユーザは、タッチスクリーンディスプレイを斜めから見ることが多いので、タッチ入力位置と、例えばその軌跡の表示位置との間にずれが生じていると感じることが少なくない。そこで、このような見た目上のずれを生じさせないようにするための提案が、これまでも種々成されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３０２０２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
最近では、タッチスクリーンディスプレイを備える情報処理装置の多くが、静止画像や動画像を撮像するためのカメラを備えている。しかしながら、前述したような見た目上のずれの解消に、このカメラを使用するという発想は皆無であった。【０００８】
本発明は、カメラで得られる画像を用いて、タッチ入力位置を適切に補正することを可能とした情報処理装置、制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
実施形態によれば、情報処理装置は、ディスプレイと、前記ディスプレイを保護するための保護パネルと、カメラと、前記保護パネル上でのタッチ入力を検出して位置情報を出力するセンサと、前記カメラにより得られる画像を用いて、前記センサにより得られる位置情報で示されるタッチ入力位置を補正する補正手段とを具備する。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１実施形態の情報処理装置とユーザとの位置関係を示すための上面図である。
【図２】図２は、第１実施形態の情報処理装置とユーザとの位置関係を示すための断面図である。
【図３】図３は、第１実施形態の情報処理装置のシステム構成を示す図である。
【図４】図４は、第１実施形態の情報処理装置上で動作するタッチ入力支援アプリケーションプログラムの補正モジュールが補正量の計算に用いる各要素を示す図である。
【図５】図５は、第１実施形態の情報処理装置におけるカメラ画像とユーザの眼の角度の関係を示す図である。
【図６】図６は、第１実施形態の情報処理装置上で動作するタッチ入力支援アプリケーションプログラムの補正モジュールが補正量の計算に用いる各要素の関係を簡易的に示す模式図である。
【図７】図７は、第１実施形態の情報処理装置上で動作するタッチ入力支援アプリケーションプログラムの補正モジュールの処理手順を示すフローチャートである。
【図８】図８は、第２実施形態の情報処理装置におけるカメラとユーザの眼との位置関係を示す図である。
【図９】図９は、第２実施形態の情報処理装置における、カメラで捉えた顔のサイズと、カメラとユーザとの距離との関係を示す図である。
【図１０】図１０は、第３実施形態の（カメラを複数配置した）情報処理装置とユーザとの位置関係を示すための上面図である。
【図１１】図１１は、第３実施形態の情報処理装置上で動作するタッチ入力支援アプリケーションプログラムの補正モジュールが補正量の計算に用いる各要素の関係を簡易的に示す模式図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態について図面を参照して説明する。
【００１２】
（第１実施形態）
まず、第１実施形態について説明する。
【００１３】
本実施形態の情報処理装置は、例えば、タブレット端末やスマートフォン等、タッチ入力可能な携帯型情報処理装置として実現され得る。図１は、本情報処理装置とユーザとの位置関係を示すための上面図であり、図２は、本情報処理装置とユーザとの位置関係を示すための断面図である。
【００１４】
図１に示すように、ここでは、本情報処理装置が、タブレット端末１０として実現されている場合を想定する。タブレット端末１０は、本体１１、タッチスクリーンディスプレイ１２およびカメラ１３を備える。タッチスクリーンディスプレイ１２およびカメラ１３は、本体１１の上面に取り付けられている。
【００１５】
本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１２には、フラットパネルディスプレイと、タッチスクリーンディスプレイ１２上でのタッチ入力位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えばＬＣＤ（Liquid crystal display）１２Ａである。センサは、例えば静電容量方式のタッチパネル（デジタイザ）１２Ｂである。タッチパネル１２Ｂは、フラットパネルディスプレイの画面を覆うように設けられる。
【００１６】
そして、ユーザは、スタイラスなどと称されるペン１００を使って、タッチスクリーンディスプレイ１２上でのタッチ入力を実施する。
【００１７】
図２に示すように、ペン先と表示位置との位置ずれ（ａ１）は、センサで検出したペン先の位置（ａ２）と、ペン先で捉えた位置（ａ３）とが、保護ガラスやタッチパネルのＩＴＯ膜などで屈折してずれることで発生する。また、屈折の仕方も、タッチパネル１２Ｂの表面からＬＣＤ１２Ａの表示面までいくつものデバイスで構成されており、それぞれ屈折率が異なるため、考慮する必要がある。特に、保護ガラスとＬＣＤ１２Ａなどの表示デバイスとの間が、表面から外圧で押されても吸着しないように、一定の間隙を設けてある場合、デバイスと空気層とで屈折率が大きく異なり、視線光路が大きくずれるため、屈折率を考慮した補正が重要である。
【００１８】
そこで、本タブレット端末１０は、カメラ１３で得た画像を用いて、適切な補正を施すようにしたものであり、以下、この点について詳述する。
【００１９】
図３は、本タブレット端末１０のシステム構成を示す図である。
【００２０】
図３に示されるように、タブレット端末１０は、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、ＥＣ（Embedded controller）１０８等を備える。
【００２１】
ＣＰＵ１０１は、タブレット端末１０内の各種コンポーネントの動作を制御するプロセッサである。ＣＰＵ１０１は、不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２１０や、当該ＯＳ２１０の制御下で動作する後述するタッチ入力支援アプリケーションプログラム２２０が含まれている。タッチ入力支援アプリケーションプログラム２２０は、補正モジュール２２１を有している。
【００２２】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ：Basic input/output system）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００２３】
システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ  ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
【００２４】
グラフィクスコントローラ１０４は、タブレット端末１０のディスプレイモニタとして使用されるＬＣＤ１２Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１２Ａに送られる。ＬＣＤ１２Ａは、表示信号に基づいて画面イメージを表示する。ＬＣＤ１２Ａ上にはタッチパネル１２Ｂが配置されている。タッチパネル１２Ｂは、タッチスクリーンディスプレイ１２上でタッチ入力を行うための例えば静電容量式のポインティングデバイスである。ペン１００が接地した位置は、このタッチパネル１２Ｂによって検出される。
【００２５】
無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じてタブレット端末１０を電源オン／オフする機能を有している。
【００２６】
図４に、補正モジュール２２１が補正量の計算に用いる各要素を示す。また、図５に、カメラ１３の画像とユーザの眼の角度の関係を示す。
【００２７】
図４および図５中、角度αは、保護ガラス面（本体１１の周辺を含む保護ガラス面を含む面）と、カメラ１３と眼とを結ぶ線分とがなす角度である。また、角度φは、カメラ１３の撮像方向と直交するカメラ１３の位置を含む第１面と、この第１面上のカメラ１３の位置を通過する垂直方向の中心線を眼の方向に伸ばすことによって形成される第２面とがなす角度である。（タッチ入力支援アプリケーションプログラム２２０の）補正モジュール２２１は、カメラ画像で捉えた眼や鼻、口の座標位置に対して、カメラの有効視野角に対する眼の位置に比例した角度の対応表などから、当該角度α，φを算出する。
【００２８】
図６は、補正モジュール２２１が補正量の計算に用いる各要素の関係を簡易的に示す模式図である。
【００２９】
補正モジュール２２１は、カメラ１３の画像で眼の方向をトラッキングすることで、角度α，φを算出する。また、カメラ位置は固定のため、補正モジュール２２１は、タッチスクリーンディスプレイ１２上でのタッチ入力位置を検出することで、カメラ１３−ペン１００間の距離Ｌを算出する。さらに、カメラ１３とユーザの眼との間の距離ａは２０〜５０ｃｍとある程度推定できるため、補正モジュール２２１は、角度α，φ、距離Ｌを算出すると、三角形の公式から、図示の距離ａ’，ａ”を算出し、最終的に、保護ガラス面の法線と視線とのなす角度θ0を算出する。
【００３０】
これにより、補正モジュール２２１は、
ずれ量ｇ、各デバイス厚みｈm（m=1,2,…）、各デバイス屈折率ｎm（m=1,2,…）、視線光路の各デバイスに対する入射角θm（m=1,2,…）として、θ0が、カメラと眼の方向で形成される角度α，φ、眼とタブレット本体との距離ａ、ペン先とカメラとの距離Ｌから算出される時、
ｇ=ｈ1*tanθ1+ … +ｈm*tanθm
ここで、θm=arc sin（ｎm-1*sinθm-1／ｈm）（m=1,2,…）
の計算を実行して、補正量を算出する。
【００３１】
この補正量の補正を行うことで、位置ずれ量が少なくなり、ユーザは、ストレスなく筆記できることになる。
【００３２】
なお、カメラ１３では、眼だけでなく、鼻や口、耳、眉、髪の毛などの位置関係から眼の位置を推定することでもよい。また、カメラ１３で捉えられる範囲は限定されているので、認識できなかった場合は、あらかじめ決めていたずれ量を補正する。
【００３３】
図７は、補正モジュール２２１の処理手順を示すフローチャートである。
【００３４】
補正モジュール２２１は、カメラ１３の画像からカメラ１３とユーザの眼の方向で形成される角度（α，φ）を算出する（ブロックＡ１）。また、補正モジュール２２１は、ペン先とカメラとの間の距離（Ｌ）を算出する（ブロックＡ２）。さらに、補正モジュール２２１は、保護ガラス面の法線と視線とがなす角の角度（θ）を算出する（ブロックＡ３）。そして、補正モジュール２２１は、位置ずれ量（ｇ）を算出する（ブロックＡ４）。
【００３５】
このように、本タブレット端末１０は、カメラで得られる画像を用いて、タッチ入力位置を適切に補正することを可能とする。
【００３６】
また、センサをデジタイザ（電磁誘導式）、ペンをデジタイザ専用ペンとすることで、手の影響などを受けることなく、ペン先を検出することができるため、より高精度な補正が実現される。
【００３７】
（第２実施形態）
次に、第２実施形態について説明する。
【００３８】
本実施形態では、カメラ１３とユーザの眼の距離を測距することで、さらに位置ずれ精度を向上させる。
【００３９】
図８は、カメラとユーザの眼との位置関係を示す図であり、図９は、カメラで捉えた顔のサイズと、カメラとユーザとの距離との関係を示す図である。
【００４０】
図８および図９に示すように、カメラ１３とユーザの眼との距離ａは、カメラ１３で捉えた映像から推定できる。そこで、本実施形態の補正モジュール２２１は、例えば、眼−鼻でつくる三角形の一般人の平均的な大きさと距離との対応表をもっておき、画面から眼−鼻でつくる三角形の大きさを検出し、対応表を参照して、距離ａを求める。
【００４１】
当然、眼−鼻の三角形を捉えられないこともあり、両眼だけ、鼻−口だけということもあり、それらも参考値として、眼−鼻−口の対応表をもっておけば、ある程度精度よく距離aを求めることはできる。
【００４２】
（第３実施形態）
次に、第３実施形態について説明する。
【００４３】
本実施形態では、カメラを複数配置することで、さらに位置ずれ精度を向上させる。
【００４４】
図１０は、（カメラ［１３ａ，１３ｂ］を複数配置した）本実施形態のタブレット端末１０とユーザとの位置関係を示すための上面図である。また、図１１に、本実施形態の補正モジュール２２１が補正量の計算に用いる各要素の関係を簡易的に示す。
【００４５】
タブレット端末において、カメラを複数配置することは、３Ｄ映像を観る等の理由で想定されることである。補正モジュール２２１は、まず、前述の手順で、カメラ［１］と眼の方向で形成される角度α，φと、カメラ［１］の位置とペン位置との距離Ｌと、カメラ［２］と眼の方向で形成される角度β，δと、カメラ［２］の位置とペン位置との距離Ｍとを算出する。カメラ［１］とカメラ［２］との距離Ｏは既知のため、補正モジュール２２１は、三角形の公式から、最終的に、角度θ0を算出することができる。
【００４６】
これにより、より高精度の位置ずれ補正を実現できる。
【００４７】
以上のように、第１乃至第３実施形態で説明した各タブレット端末１０によれば、カメラで得られる画像を用いて、タッチ入力位置を適切に補正することを可能とする。
【００４８】
なお、本実施形態の動作手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。
【００４９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【図１】
2014147715.tif 000003
【図２】
2014147715.tif 000004
【図３】
2014147715.tif 000005
【図４】
2014147715.tif 000006
【図５】
2014147715.tif 000007
【図６】
2014147715.tif 000008
【図７】
2014147715.tif 000009
【図８】
2014147715.tif 000010
【図９】
2014147715.tif 000011
【図１０】
2014147715.tif 000012
【図１１】
2014147715.tif 000013
【国際調査報告】
2014147715.tif 000014
2014147715.tif 000015
2014147715.tif 000016
2014147715.tif 000017