(57)【要約】【課題】タッチパネルに表示される手接触領域を、常に表示させるのではなく、適切に表示させること【解決手段】本発明の情報処理装置は、ユーザからタッチ操作を受け付けることの可能なタッチパネルを備え、タッチパネルへの入力動作が停止したと判断した場合には、タッチパネルに手が接触している領域である手接触領域を所定の位置に表示させる。タッチパネルから手接触領域がなくなったと判断された場合には表示されている手接触領域を非表示にするよう制御する。【選択図】図１４
2016110349.tif 000002
【特許請求の範囲】
【請求項１】
ユーザのタッチ操作による入力を受け付けることが可能な表示部を備える情報処理装置であって、
前記表示部に接触している領域の情報を取得する領域情報取得手段と、
前記表示部に対する入力が停止した場合に、前記領域情報取得手段で取得した前記領域の情報を、前記表示部に接触している領域とは異なる領域に表示するよう制御する表示制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記表示部に対する入力が停止したか否かを判定する判定手段を更に備え、
前記表示制御手段は、前記判定手段で前記入力が停止したと判定した場合に、前記領域情報取得手段で取得した領域の情報を、当該領域とは異なる領域に表示するよう制御すること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記判定手段は、前記表示部に接触している領域が所定の領域より大きいか否かを更に判定し、
前記表示制御手段は、前記判定手段が前記表示部に接触している領域が所定の領域より大きいと判定した場合に、当該領域の情報を表示すること
を特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記判定手段は、タッチ操作による入力を所定時間受け付けなかった場合に前記入力の停止をしたと判定すること
を特徴とする請求項２または３のいずれか１項に記載の情報処理装置。
【請求項５】
ユーザからの視線を検出する視線検出手段と、
前記視線検出手段で検出した視線が、表示部上のどの領域を指しているかを特定する視線領域特定手段と
を更に備え、
前記判定手段は、前記表示部に接触している領域に、前記視線領域特定手段で特定した領域が含まれるか否かを更に判定し、
前記判定手段で、前記表示部に接触している領域に、前記視線領域特定手段で特定した領域が含まれると判定された場合に、前記表示制御手段は、前記領域情報取得手段で取得した前記領域の情報を、当該領域とは異なる領域に表示すること
を特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記表示制御手段は、ユーザが既に入力を行った領域ではない領域に、前記領域情報取得手段で取得した領域の情報を表示すること
を特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記判定手段は、ユーザによる入力の方向を更に判定し、
前記表示制御手段は、前記判定手段が特定した前記入力の方向に基づいて表示する位置を決定し、前記領域情報取得手段で取得した領域の情報を表示すること
を特徴とする請求項２乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記表示部に接触している領域に情報が含まれているか否かを判定する情報包含判定手段を更に備え、
前記情報包含判定手段が前記表示部に接触している領域に情報が含まれていると判定した場合に、前記表示制御手段は、前記領域情報取得手段で取得した前記領域の情報を、前記表示部に接触している領域とは異なる領域に表示するよう制御すること
を特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記判定手段は、前記領域情報取得手段で取得した情報が前記表示部に接触している領域のうち一定の割合を満たしているか否かを更に判定し、
前記判定手段が前記領域情報取得手段で取得した情報が前記表示部に接触している領域のうち一定の割合を満たしていると判定した場合に、前記表示制御手段は、前記領域情報取得手段で取得した前記領域の情報を、前記表示部に接触している領域とは異なる領域に表示するよう制御すること
を特徴とする請求項２乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記表示制御手段は、前記表示部に接触している領域をコピーすることによって、当該領域とは異なる領域に前記領域情報取得手段で取得した情報を表示することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
ユーザのタッチ操作による入力を受け付けることが可能な表示部を備える情報処理装置の制御方法であって、
前記情報処理装置の領域情報取得手段が、前記表示部に接触している領域の情報を取得する領域情報取得工程と、
前記情報処理装置の表示制御手段が、前記表示部に対する入力が停止した場合に、前記領域情報取得工程で取得した前記領域の情報を、前記表示部に接触している領域とは異なる領域に表示するよう制御する表示制御工程と
を備えることを特徴とする情報処理装置の制御方法。
【請求項１２】
ユーザのタッチ操作による入力を受け付けることが可能な表示部を備える情報処理装置の制御方法をコンピュータに実行させることの可能なプログラムであって、
前記情報処理装置を、
前記表示部に接触している領域の情報を取得する領域情報取得手段と、
前記表示部に対する入力が停止した場合に、前記領域情報取得手段で取得した前記領域の情報を、前記表示部に接触している領域とは異なる領域に表示するよう制御する表示制御手段
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
タッチ操作による文字の入力が可能な情報処理装置、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、タッチパネルを備えタッチ操作でディスプレイ上のボタンなどを押下し操作をすることが可能な端末（以下、タブレット端末）がある。
【０００３】
タッチパネルに対するタッチ操作は１点だけではなくマルチタッチによる操作が可能であり、例えば人差し指や親指を用いるピンチインピンチアウト動作による拡大縮小が可能である。
【０００４】
このようなタッチパネルを備える端末では、ユーザがタッチ操作をするとタッチした領域がユーザの指で隠れて見えなくなってしまう。
【０００５】
そこで、下記の特許文献１に示すようにタッチ操作をすることにより隠れてしまう領域をタッチした領域とは異なる領域に表示をさせるという仕組みが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１８１９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述したようなタッチパネルを備える端末において作文を行うということが、例えば学校などの教育施設で行われている。
【０００８】
ユーザがペンを用いてタッチパネルに対してタッチ操作を行う。受け付けたタッチ操作の線をタブレット端末がタッチパネル上に描画することで、ユーザはあたかも紙に文字を書いているかのように、タブレット端末に文字を書くことができる。
【０００９】
ユーザはペンを用いて筆記動作をする場合、手接触領域が生じる。手接触領域とは、ペン入力を行うためにタッチパネル上に手をつく領域である。ユーザが筆記動作をしている場合、ユーザは手接触領域の下に書かれている文字は手で隠れてしまい見ることができない。
【００１０】
上述した特許文献１によれば、タッチパネル上のタッチされた領域（手接触領域）をタッチされた領域とは異なる領域に表示することが可能である。
【００１１】
しかしながら、上述した特許文献１では、手接触領域が手接触領域とは異なる領域に常に表示されることになり、ユーザの作業領域が減ってしまうという課題がある。
【００１２】
そこで本発明の目的は、タッチ操作が可能な表示部に接触している領域を適切に表示することの可能な仕組みを提供することである。
【課題を解決するための手段】
【００１３】
本発明の情報処理装置は、ユーザのタッチ操作による入力を受け付けることが可能な表示部を備える情報処理装置であって、前記表示部に接触している領域の情報を取得する領域情報取得手段と、前記表示部に対する入力が停止した場合に、前記領域情報取得手段で取得した前記領域の情報を、前記表示部に接触している領域とは異なる領域に表示するよう制御する表示制御手段とを備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、タッチ操作が可能な表示部に接触している領域を適切に表示することを可能にする。
【図面の簡単な説明】
【００１５】
【図１】本発明の情報処理装置１００におけるハードウェア構成の一例を示すブロック図である。
【図２】第１及び第２の実施形態の情報処理装置１００における機能ブロック図である。
【図３】本発明の第１の実施形態における一連の処理の流れを示すフローチャートである。
【図４】図３に示す部分画像表示処理の一例を示すフローチャートである。
【図５】本発明の第２の実施形態における一連の処理の流れを示すフローチャートである。
【図６】手接触領域テーブル６００の一例を示す図である。
【図７】タッチ座標テーブル７００の一例を示す図である。
【図８】部分画像テーブル８００の一例を示す図である。
【図９】検知誤差情報テーブル９００の一例を示す図である。
【図１０】視線座標テーブル１０００の一例を示す図である。
【図１１】部分画像のイメージを示す部分画像イメージ１１００である。
【図１２】手接触領域のイメージを示す手接触領域イメージ１２００である。
【図１３】ユーザが情報処理装置１００に筆記を行うイメージである筆記イメージ１３００である。
【図１４】部分画像が表示されるイメージを示す部分画像表示イメージ１４００である。
【図１５】情報処理装置１００を横向きにして横書きを行うイメージである横書きイメージ１５００である。
【図１６】本発明の第２の実施形態における視線の領域に応じて部分画像を表示する視線イメージ１６００である。
【図１７】図４のフローチャートで用いる分岐条件テーブル１７００の一例である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１７】
図１は、情報処理装置１００のハードウェア構成を示す図である。尚、図１に示すハードウェア構成はあくまで一例である。
【００１８】
情報処理装置１００は、タッチパネルを備える装置である。本実施形態では、いわゆるスマートフォンやタブレット端末のような装置を想定して説明を行うが、特にこれに限らない。タッチパネルを備える装置であれば、パーソナルコンピュータであってもよい。
【００１９】
ＣＰＵ１０１は、システムバスを介してメモリやコントローラを統括的に制御する。ＲＯＭ１０２あるいはフラッシュメモリ１１４には、ＣＰＵ１０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステム２００が記憶されている。更には、情報処理装置１００が実行する機能を実現するために必要な、後述する各種プログラム等が記憶されている。
【００２０】
ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。ＣＰＵ１０１は、処理の実行に際して必要なプログラム等をＲＡＭ１０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００２１】
ディスプレイコントローラ１０４は、ディスプレイ１１０（表示部）等の表示装置への表示を制御する。ディスプレイ１１０は例えば液晶ディスプレイである。また、ディスプレイ１１０の表面にはタッチパネル１１１が備えられている。タッチパネル１１１に対するタッチ操作の検知をタッチパネルコントローラ１０５が制御する。タッチパネルコントローラ１０５は、タッチパネル１１１に対する複数の箇所に対するタッチ操作（以下、マルチタッチという。）も検知することが可能である。
【００２２】
カメラコントローラ１０６は、カメラ１１２（視線検出手段に相当する）における撮影を制御する。カメラ１１２はデジタルカメラであり、カメラコントローラ１０６からの制御で撮像した画像を撮像素子でデジタルデータに変換する。カメラ１１２は静止画と動画を撮影することが可能である。ユーザの顔と情報処理装置１００との距離を取得するため２つのカメラ１１２を備えており、２つのカメラ１１２から取得する画像の視差により情報処理装置１００からの距離を測ることができる。
【００２３】
センサコントローラ１０７は、情報処理装置１００が備える各種センサ１１３からの入力を制御する。情報処理装置１００のセンサ１１３には様々なセンサが存在し、例えば方位センサ、加速度センサ等である。
【００２４】
ネットワークコントローラ１０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
【００２５】
フラッシュメモリコントローラ１０９は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するフラッシュメモリ１１４へのアクセスを制御する。本実施形態においては、フラッシュメモリとして説明を行うが、ハードディスクやフレキシブルディスク、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の記憶媒体であってもよい。
【００２６】
前述したＣＰＵ１０１、各メモリ、各コントローラは、１つのチップ１１５に統合されている。いわゆるＳｏＣ（Ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ）の形態で情報処理装置１００の内部に備えられている。
【００２７】
尚、ＣＰＵ１０１は、例えばＲＡＭ１０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ１１０での表示を可能としている。
【００２８】
本発明の情報処理装置１００が後述する各種処理を実行するために用いられる各種プログラム等はフラッシュメモリ１１４に記録されており、必要に応じてＲＡＭ１０３にロードされることによりＣＰＵ１０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルはフラッシュメモリ１１４に格納されている。以上が、本実施形態におけるハードウェア構成である。
【００２９】
図２は、本発明の第１の実施形態である情報処理装置１００の機能ブロック図の一例を示す図である。
【００３０】
情報処理装置１００の機能部として、記憶部２０１、表示制御部２０２、及び操作検知部２０３を備えている。これらはオペレーティングシステム２００において動作する機能部である。
【００３１】
記憶部２０１は、後述する各種テーブルの情報や各種画面、カメラ１１２で撮影することにより生成された画像データ等を構成する情報をＲＡＭ１０３やフラッシュメモリ１１４に記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。また、後述するタッチペン入力アプリ２１０からの要求があった場合も同様に動作する。
【００３２】
表示制御部２０２は、ディスプレイ１１０の表示を制御するための機能部である。表示制御部２０２から画面等の表示指示がなされると、ディスプレイコントローラ１０４を介してディスプレイ１１０に表示指示が送信される。そして、ディスプレイ１１０はこの指示を受信すると、指示に従って画面等を表示する。
【００３３】
操作検知部２０３は、タッチパネル１１１に対するタッチ操作を検知するための機能部である。タッチパネル１１１に対するタッチ操作の位置、タッチ操作された数等を検知することができる。また、タッチパネル１１１に対してタッチペンなどの棒状のもので筆記行為がされているのか等、タッチ操作の種別も検知することができる。具体的には、タッチペンによるタッチされた領域とタッチペンを持つ手の接触による手接触領域（手を握った時に小指から手首までの掌の側面に当たる部分）とを、タッチパネル１１１にタッチされた領域の大きさによって判断し、所定の範囲以下のタッチをタッチペンによるタッチとして受け付ける。
【００３４】
また情報処理装置１００は、オペレーティングシステム２００において動作可能なタッチペン入力アプリ２１０がインストールされている。タッチペン入力アプリ２１０は、画像データ制御部２１１、表示制御指示部２１２、操作取得部２１３、手接触領域取得部２１４、表示場所特定部２１５、及び表示タイミング制御部２１６を備えている。
【００３５】
タッチペン入力アプリ２１０は、操作検知部２０３から操作取得部２１３に渡されたタッチ操作の内容に応じて、タッチパネル１１１へのタッチがタッチペンによるタッチ操作であれば軌跡を描画し、手接触領域であれば手接触領域に相当する領域の画像（部分画像）をコピーし、他の領域に表示する等を実行する。
【００３６】
画像データ制御部２１１は、記憶部２０１に記憶されている画像データに対して処理を実行するための機能部である。画像データとは、ユーザがタッチペンにより描画することで得られる画像データのことを示している。画像データ制御部２１１は、画像データの取得や保存を行うことができる。
【００３７】
表示制御指示部２１２は、タッチペン入力アプリ２１０で表示する画面等の表示を表示制御部２０２に指示するための機能部である。表示制御部２０２は、表示制御指示部２１２からの指示に応じた画面等をディスプレイ１１０に表示する。例えばタッチペンによるタッチ操作の軌跡を操作取得部２１３から取得し、軌跡を所定の色で描画する。こうすることで、ユーザがタッチペンによるタッチ操作により作文をタッチパネル上に行うことが可能である。タッチ操作が一定の領域以上である手接触領域であれば、表示画面のスクリーンショットから手接触領域に相当する領域を切り取り、他の領域に表示する等を実行する。
【００３８】
操作取得部２１３は、操作検知部２０３で検知したタッチ操作の内容を取得するための機能部である。
【００３９】
手接触領域取得部２１４は、タッチパネル１１１に対する手接触領域の情報を取得するための機能部である。
【００４０】
表示場所特定部２１５は、手接触領域取得部２１４で取得した手接触領域の情報（部分画像）を表示する場所を特定する機能部である。具体的には、記憶部２０１に記憶された分岐条件テーブル１７００に基づいて、部分画像を表示する位置を決定する。
【００４１】
表示タイミング制御部２１６は、タッチペンによる筆記動作が停止したことや、ユーザの視線が手接触領域に向いている場合など、手接触領域の情報を表示場所特定部２１５で特定した場所に表示させるタイミングを制御する機能部である。以上が、本実施形態における機能構成である。
【００４２】
図３は、本発明の第１の実施形態である一連の処理の一例を示すフローチャートである。なお、各ステップで実行される処理は情報処理装置１００のＣＰＵ１０１が動作することで実現されるものである。
【００４３】
ステップＳ３０１では、情報処理装置１００のＣＰＵ１０１は、タッチパネル１１１上にタッチペンの接触１３０２を検知したか否かを判定する。具体的には、タッチペンの接触１３０２の面積を事前に記憶しておき、１つの接触であってタッチペンの接触１３０２の面積の接触があった場合にタッチペンの接触１３０２を検知したと判定する。タッチパネル１１１上にタッチペンの接触１３０２を検知したと判定した場合に、処理をステップＳ３０２に進め、タッチパネル１１１上にタッチペンの接触１３０２を検知しないと判定された場合には、検知するまで待機する。
【００４４】
ステップＳ３０２では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０１で検知したタッチペンの軌跡をディスプレイ１１０に黒色で表示させる。軌跡の描画の色はこれに限定されない。例えば手接触領域のように、タッチペンの接触より大きい接触である場合には、軌跡を描画しない。これにより、手接触領域が接触したとしても描画されないという効果がある。
【００４５】
ステップＳ３０３では、情報処理装置１００のＣＰＵ１０１は、タッチパネル１１１上に手接触領域を検知したか否かを判定する。手接触領域とは、ユーザがタッチペンによる筆記動作を行う際にタッチペンの接触１３０２以外に手がタッチパネル１１１に接触する領域を示している。
【００４６】
具体的な判定方法は、事前に所定の面積を記憶しておき、１つの領域であって所定の面積以上の領域がタッチパネル１１１上に接触した場合に手接触領域を検知したと判定する。タッチパネル１１１上に手接触領域を検知したと判定した場合に処理をステップＳ３０３に進め、手接触領域を検知しないと判定した場合には、手接触領域を検知するまで待機する。
【００４７】
ステップＳ３０４では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０１とステップＳ３０２で検知したタッチペンの接触した座標と手接触領域をそれぞれ取得する。取得した手接触領域の座標は図６に示す手接触領域テーブル６００に格納する。手接触領域テーブル６００は、第１のＸ座標６０１、第１のＹ座標６０２、第２のＸ座標６０３、第２のＹ座標６０４を備える。図１２の手接触領域イメージ１２００に示すように、第１のＸ座標６０１、第１のＹ座標６０２が示す点は、手接触領域１２０１の上端の辺と左端の辺の交点である。第２のＸ座標６０３、第２のＹ座標６０４が示す点は手接触領域１２０１の下端の辺と右端の辺の交点である。この２点が示す矩形が手接触領域に相当する領域である。一方、タッチペンの接触した座標は、図７に示すタッチ座標テーブル７００に格納する。タッチ座標テーブル７００には、ステップＳ３０１で検知したタッチペンの接触の座標のＸ座標７０１とＹ座標７０２が格納されている。
【００４８】
ステップＳ３０５では、情報処理装置１００のＣＰＵ１０１は、タイマカウントを開始する。ここで、時間を測り始めることで、タッチペンが動いたか否かを後で判断することが可能になる。
【００４９】
ステップＳ３０６では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０５でカウントを始めたタイマが所定時間経過したか否かを判定する。本実施例では、所定時間を１秒とするが、これに限定されない。タイマのカウントが１秒以上であると判定した場合には処理をステップＳ３０６に進め、タイマのカウントが１秒以下であると判定した場合にはタイマのカウントが１秒以上になるまで待機する。
【００５０】
ステップＳ３０７では、情報処理装置１００のＣＰＵ１０１は、再びタッチペンの接触する座標を取得する。ここでタッチパネル１１１へのタッチペンの接触している座標を再度取得することにより、タイマカウントの間にタッチペンの接触１３０２が移動しているのか、または、タッチペンの接触した座標を取得することができず、タッチペンの接触１３０２がなくなっているのかを判断することができる。
【００５１】
ステップＳ３０８では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０７で取得したタッチペンの座標とステップＳ３０４で取得したタッチペンの座標とを比較し、タイマでカウントしている間にタッチペンの接触した座標が変化しているか、または、ステップＳ３０７でタッチペンの接触した座標を取得できなかったかを判定する（判定手段に相当する）。タッチペンの座標が変化なし、または、タッチペンの接触１３０２がないと判定する場合は処理をステップＳ３０９に進める。タッチペンの接触１３０２があり、タッチペンの座標が変化ありと判定する場合は処理をステップＳ３１３に進める。
【００５２】
タッチペンの座標が変化している場合、ユーザの筆記動作は停止しておらず順調に筆記を続けていると判断ができるが、タッチペンの座標の変化がない場合やタッチペンをタッチパネル１１１から離していながら手接触領域がある場合は、ユーザの筆記動作が停止しており、ユーザは何を書くべきか考えていると言える。そのため、タッチペンの座標の動きがない場合やタッチペンをタッチパネル１１１から離していながら手接触領域がある場合は、手接触領域に相当する部分画像を表示させることでユーザの参考とさせることができる。更に、常に部分画像を表示することなく、特定の場合にのみ表示させることでディスプレイ１１０の表示領域を節約することができる。
【００５３】
ステップＳ３０９では、情報処理装置１００のＣＰＵ１０１は、ディスプレイ１１０上の表示を画像データ（スクリーンショット）として取得する。取得した画像データは、ＲＡＭ１０３上に記憶させる。
【００５４】
ステップＳ３１０では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０９で取得したスクリーンショットから、手接触領域テーブル６００が示す矩形の画像データ（部分画像・領域の情報に相当する）を切り出す（領域情報取得手段に相当する）。切り出した部分画像はフラッシュメモリ１１４に記憶し、記憶したファイルの位置と書誌情報を図８の部分画像テーブル８００に格納する。部分画像テーブル８００には部分画像を表示すべき位置の座標を示すＸ座標８０１、Ｙ座標８０２と、部分画像の格納場所を示す格納場所８０３とを記憶している。Ｘ座標８０１とＹ座標８０２は、部分画像を表示すべき位置の座標であり、この座標を中心として部分画像が表示される（図１１部分画像イメージ参照）。Ｘ座標８０１とＹ座標８０２の決定方法については、のちの表示位置決定処理で詳細に説明する。格納場所８０３は、部分画像の格納されている場所を示すものである。
【００５５】
本実施形態では、スクリーンショットから部分画像を切り出して取得したが、一例であってこれに限定されない。
【００５６】
ステップＳ３１１では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３１０で切り取った部分画像に黒色の画素（情報）があるか否かを判定する（情報包含判定手段に相当する）。具体的にはＲＧＢが（０，０，０）となる画素がある場合には処理をステップＳ３１２に進める。ＲＧＢが（０，０，０）となる画素がない場合には処理をステップＳ３１７に進める。
【００５７】
部分画像に黒色の画素がない場合、手接触領域には何も表示すべき情報がないと判断できるため、本実施形態では部分画像表示処理を行わない。これにより、ユーザの参考とならない部分画像を表示させないという効果がある。本実施形態では、手接触領域に表示すべき情報があるか否かを黒色の画素があるか否かによって判定を行ったが、他の色であってもよいし、白以外の色があるか否かの判定を行ってもよい。また、黒色が所定の割合以上か否かの判定を行ってもよい。
【００５８】
ステップＳ３１２では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３１０で切り取った部分画像を表示する位置を決定し、表示させる処理である部分画像表示処理を行う。詳細な処理の説明は図４を用いて説明を行う。
【００５９】
ステップＳ３１３では、情報処理装置１００のＣＰＵ１０１は、タッチパネル１１１上の手接触領域が離れたか否かを判定する。手接触領域が離れたと判定された場合には処理をステップＳ３１４に進める。手接触領域が離れたと判定されない場合には、処理をステップＳ３１７に進める。
【００６０】
ステップＳ３１４では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３１３でタッチパネル１１１から離れたと判定された手接触領域の範囲（ステップＳ３０４で取得した手接触領域）に点線を表示する。例えば図１５に示すイメージである。図１５は点線イメージ１５００であり、タッチパネル１１１から手接触領域が離れると表示される点線１５０１のイメージを表現するものである。このようにタッチパネル１１１から離れた手接触領域部分を点線で表示することにより、表示されている部分画像１５０２がどの部分から切り取られたものであるかを識別可能にするという効果がある。
【００６１】
ステップＳ３１５では、情報処理装置１００のＣＰＵ１０１は、所定時間待機する。本実施形態では1秒間とするが、これに限定されない。
【００６２】
ステップＳ３１６では、情報処理装置１００のＣＰＵ１０１は、点線１５０１と部分画像１５０２を非表示にするよう制御する。非表示にすることによりディスプレイ１１０の表示領域を適切に確保することができる。
【００６３】
ステップＳ３１７では、情報処理装置１００のＣＰＵ１０１は、ユーザからタッチペン入力アプリ２１０の終了指示を受け付けたか否かを判定する。具体的には不図示の終了ボタンの押下を受け付けたか否かによって判定する。ユーザから終了指示を受け付けたと判定した場合は一連の処理を終了させ、ユーザから終了指示を受け付けなかったと判定された場合は、処理をステップＳ３０１に戻し、再びタッチペンによる入力を受け付ける。
【００６４】
以上の一連の処理により、ユーザの筆記動作が停止した場合に適切なタイミングで部分画像を表示させることの可能な効果を奏する。
【００６５】
図４は、本発明の第１の実施形態における表示位置決定処理の流れを示すフローチャートである。
【００６６】
ステップＳ４０１では、情報処理装置１００のＣＰＵ１０１は、情報処理装置１００の姿勢状態を取得する。姿勢状態とは、センサ１１３により取得した情報処理装置１００のディスプレイ１１０の表示向きであり、横向きか縦向きかの２種類である。
【００６７】
ステップＳ４０２では、情報処理装置１００のＣＰＵ１０１は、ステップＳ４０１で取得した姿勢状態に基づいて、ユーザの書く文字の進行方向が縦書きか、横書きかを判定する。この姿勢状態は、ユーザが情報処理装置１００を水平に載置する前の状況を記憶するものである。具体的には、ステップＳ４０１で取得した姿勢状態が横向きであれば横書きであると特定し、ステップＳ４０１で取得した姿勢状態が縦向きであれば縦書きであると特定する。縦書きか横書きかの判定は、情報処理装置１００の姿勢状態によって判定したが、ユーザの筆記する文字の進行方向を特定することにより判定することも可能であり、これに限定されない。特定した文字の進行方向はＲＡＭ１０３に記憶しておく。
【００６８】
ステップＳ４０３では、情報処理装置１００のＣＰＵ１０１は、タッチペンの接触したＸ座標が、手接触領域のＸ座標より大きいか否かを判定する。より具体的には、タッチペンの接触したＸ座標７０１が、手接触領域テーブル６００の第１のＸ座標６０１と第２のＸ座標６０３より大きいか否かを判定する。タッチペンの接触したＸ座標７０１が、手接触領域テーブル６００の第１のＸ座標６０１と第２のＸ座標６０３より大きいと判定された場合は処理をステップＳ４０４に進め、タッチペンの接触したＸ座標７０１が、手接触領域テーブル６００の第１のＸ座標６０１と第２のＸ座標６０３より小さいと判定された場合は処理をステップＳ４０５に進める。
【００６９】
右手による筆記動作であれば必ずタッチペンの接触したＸ座標７０１が、手接触領域テーブル６００の第１のＸ座標６０１と第２のＸ座標６０３より小さいので、このように判定することで、右手による筆記動作か、左手による筆記動作かを判定することができる。
【００７０】
ステップＳ４０４では、情報処理装置１００のＣＰＵ１０１は、筆記動作を行う手が左手によるものであると特定する。特定した情報はＲＡＭ１０３に記憶しておく。
【００７１】
ステップＳ４０５では、情報処理装置１００のＣＰＵ１０１は、筆記動作を行うてが右手によるものであると特定する。特定した情報はＲＡＭ１０３に記憶しておく。
【００７２】
ステップＳ４０６では、情報処理装置１００のＣＰＵ１０１は、フラッシュメモリ１１４に記憶されている分岐条件テーブル１７００を読み込む。例えば図１７に示す分岐条件テーブル１７００である。分岐条件テーブル１７００には文書の方向１７０１、手１７０２、表示位置１７０３、表示位置変更フラグ１７０４が格納されている。文書の方向１７０１は、文書の方向を示すものであり縦書きか横書きかのいずれかである。手１７０２はユーザの筆記動作を行う手を示しており、右手か左手かのいずれかである。表示位置１７０３は、部分画像を表示する位置を規定する座標値であり、タッチペンの接触したＸ座標７０１、Ｙ座標７０２に加算することにより、部分画像を表示する位置を特定することが可能である。表示位置変更フラグ１７０４は、表示位置１７０３を加算する対象を、通常のタッチペンの接触したＸ座標７０１やＹ座標７０２ではなく、手接触領域テーブル６００が示す２点の中点を起点とするよう規定するフラグである。具体的には中点は２点のＸ座標同士とＹ座標同士を足して、２で割ることにより求められる。例えば、図６の手接触領域テーブル６００が示す２点の中点は、（５７５、５７５）である。中点のイメージは図１１に示す部分画像イメージ１１００である。
【００７３】
ステップＳ４０７では、情報処理装置１００のＣＰＵ１０１は、ステップＳ４０２で特定した縦書きか横書きかの情報と、ステップＳ４０４またはステップＳ４０５で特定した筆記動作の手に基づいて、ステップＳ４０６で読み込んだ分岐条件テーブル１７００の表示位置１７０３と表示位置変更フラグ１７０４を取得する。例えば、ステップＳ４０２で縦書きと特定し、ステップＳ４０４で筆記動作が左手によるものであると特定した場合は、表示位置１７０３が「（−ａ，０）」、表示位置変更フラグ１７０４が「１」の値を取得する。
【００７４】
ステップＳ４０８では、情報処理装置１００のＣＰＵ１０１は、ステップＳ４０７で取得した表示位置変更フラグ１７０４が、立っているか否かを判定する。ステップＳ４０７で取得した表示位置変更フラグ１７０４が立っていると判定した場合、処理をステップＳ４０９に進め、ステップＳ４０７で取得した表示位置変更フラグ１７０４が立っていないと判定した場合は処理をステップ４１０に進める。
【００７５】
ステップＳ４０９では、情報処理装置１００のＣＰＵ１０１は、表示位置変更フラグ１７０４が立っているので、手接触領域テーブル６００が示す２点の中点を起点とし、当該中点にステップＳ４０７で取得した表示位置１７０３を加算することで部分画像の表示位置の座標を特定する。特定した部分画像の表示位置の座標は、部分画像テーブル８００のＸ座標８０１とＹ座標８０２に格納する。
【００７６】
部分画像の表示位置の起点を、手接触領域の中心点とすることで、タッチペンの接触する座標を起点とした場合に生じる問題である、部分画像が手接触領域と重複してしまうという問題を解決する。更に、タッチペンの接触位置ではなく手接触領域からの位置関係を規定すべく表示位置１７０３を設定すればよいので、ユーザ毎に手の大きさが違っているような場合であっても適切な位置に部分画像を表示させることを可能にするという効果がある。
【００７７】
ステップＳ４１０では、情報処理装置１００のＣＰＵ１０１は、タッチ座標テーブル７００が示す座標にステップＳ４０７で取得した表示位置１７０３を加算することにより、部分画像を表示する位置を特定し、特定した表示位置を部分画像テーブル８００のＸ座標８０１とＹ座標８０２に格納する。部分画像テーブル８００のＸ座標８０１とＹ座標８０２が示す座標を部分画像の表示位置として特定する。
【００７８】
ステップＳ４１１では、情報処理装置１００のＣＰＵ１０１は、ステップＳ４０９またはステップＳ４１０で特定された表示位置である、部分画像テーブル８００の座標に格納場所８０３の部分画像を表示させる（表示制御手段に相当する）。部分画像１４０１を表示するイメージは図１４に示す部分画像表示イメージ１４００である。部分画像１４０１を表示していないときは、図１３の筆記イメージ１３００に示すように部分画像１４０１が表示されない状態である。
【００７９】
以上により、部分画像表示処理の説明を終了する。
【００８０】
図５は、本発明の第２の実施形態における一連の処理の一例を示すフローチャートである。第１の実施形態では、ユーザからのタッチペンによる筆記動作がなくなったことをトリガーとして部分画像を表示する位置を特定し、部分画像を表示した。第２の実施形態では、ユーザからの視線を検出することにより、部分画像を表示するタイミングを決定する。表示位置決定処理は第１の実施形態と同様であるので説明を省略する。更に、第１の実施形態におけるフローチャートのステップＳ３０１乃至ステップＳ３０４とステップＳ３０９乃至ステップＳ３１７に対応する、ステップＳ５０１乃至ステップＳ５０４とステップＳ５０７乃至ステップＳ５１５の処理は第１の実施形態と同様であるので説明を省略する。
【００８１】
ステップＳ５０５では、情報処理装置１００のＣＰＵ１０１は、ユーザの視線の座標値を取得する（視線領域特定手段に相当する）。より具体的には、まず２つのカメラ１１２よりユーザの目の距離を特定する。距離の特定方法は、２つのカメラ１１２より得られる画像同士の差に基づいて特定する方法を用いるものとする。ユーザの２つの眼球の向きと、ユーザの目の距離によって、ユーザの視線の座標値を取得することができる。取得したユーザの視線の座標値は、図１０に示す視線座標テーブル１０００に記憶しておく。
【００８２】
ステップＳ５０６では、情報処理装置１００のＣＰＵ１０１は、ステップＳ５０５で取得したユーザの視線の座標値が、手接触領域テーブル６００が示す矩形内にあるか否かを判定する（判定手段に相当する）。ステップＳ５０５で取得したユーザの視線の座標値は精度がよくないため、座標値の誤差の範囲を設定する。例えば図９に示す検知誤差情報テーブル９００である。検知誤差情報テーブル９００はＸ座標誤差範囲９０１、Ｙ座標誤差範囲９０２を格納する。Ｘ座標誤差範囲９０１はＸ座標の誤差の範囲を規定し、Ｙ座標誤差範囲９０２はＹ座標の誤差の範囲を規定する。この範囲内のずれであれば、手接触領域テーブル６００が示す矩形内に、ステップＳ５０５で取得した視線の座標がなかった場合でも、手接触領域テーブル６００が示す矩形内にあると判定する。ステップＳ５０５で取得したユーザの視線の座標値が、手接触領域テーブル６００が示す矩形内にあると判定した場合は処理をステップＳ５０７に進め、ステップＳ５０５で取得したユーザの視線の座標値が、手接触領域テーブル６００が示す矩形内にないと判定された場合は処理をステップＳ５１１に進める。
【００８３】
以上の処理により、第２の実施形態ではユーザの動作（筆記動作）が停止したと判断する１方法として、視線の検出による判断を行った。これにより、ユーザの手接触領域を適切なタイミングで表示させることを可能にする。例えば図１６に示す視線イメージ１６００における部分画像１６０３の表示である。
【００８４】
以上説明したように、本発明によれば、タッチ操作が可能な表示部に接触している領域を適切に表示することを可能にする。
【００８５】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【００８６】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【００８７】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００８８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００８９】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【００９０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００９１】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００９２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００９３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００９４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【００９５】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００９６】
１００  情報処理装置
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  ディスプレイコントローラ
１０５  タッチパネルコントローラ
１０６  カメラコントローラ
１０７  センサコントローラ
１０８  ネットワークコントローラ
１０９  フラッシュメモリコントローラ
１１０  ディスプレイ
１１１  タッチパネル
１１２  カメラ
１１３  センサ
１１４  フラッシュメモリ
【図１】
2016110349.tif 000003
【図２】
2016110349.tif 000004
【図３】
2016110349.tif 000005
【図４】
2016110349.tif 000006
【図５】
2016110349.tif 000007
【図６】
2016110349.tif 000008
【図７】
2016110349.tif 000009
【図８】
2016110349.tif 000010
【図９】
2016110349.tif 000011
【図１０】
2016110349.tif 000012
【図１１】
2016110349.tif 000013
【図１２】
2016110349.tif 000014
【図１３】
2016110349.tif 000015
【図１４】
2016110349.tif 000016
【図１５】
2016110349.tif 000017
【図１６】
2016110349.tif 000018
【図１７】
2016110349.tif 000019