(57)【要約】      （修正有）【課題】ユーザの指や手の一部がスクリーン上の操作点周辺の表示領域を遮る場合であっても、タッチ操作の直観的な操作性を維持しつつ、操作の精度を向上させる。【解決手段】ヘッドマウントディスプレイに搭載されたカメラにより、携帯端末の表示部の領域を撮影し、当該領域の画像を取得し、さらに、携帯端末の表示部に表示された画像を受信する。受信した画像と、撮影して取得した画像との差分を算出し、算出された差分の画像をヘッドマウントディスプレイに表示する。【選択図】図１
2016119019.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末の表示部の領域を撮影し、当該領域の画像を取得する取得手段と、
前記携帯端末の表示部に表示された画像を、当該携帯端末から受信する受信手段と、
前記受信手段により受信した画像と、前記取得手段により取得した画像との差分を算出する算出手段と、
前記算出手段により算出された差分の画像を表示する表示手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記携帯端末の表示部におけるユーザが触れている位置を示す情報を取得するタッチ点情報取得手段をさらに備え、
前記表示手段は、前記タッチ点情報取得手段により取得した位置を示す情報にタッチ点を示す画像を表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示手段は、前記差分の画像について、当該画像の輪郭線を付加して表示することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
情報処理装置における情報処理方法であって、
前記情報処理装置の取得手段が、携帯端末の表示部の領域を撮影し、当該領域の画像を取得する取得工程と、
前記情報処理装置の受信手段が、前記携帯端末の表示部に表示された画像を、当該携帯端末から受信する受信工程と、
前記情報処理装置の算出手段が、前記受信工程により受信した画像と、前記取得工程により取得した画像との差分を算出する算出工程と、
前記情報処理装置の表示手段が、前記算出工程により算出された差分の画像を表示する表示工程と、
を備えることを特徴とする情報処理方法。
【請求項５】
情報処理装置において実行可能なプログラムであって、
前記情報処理装置を、
携帯端末の表示部の領域を撮影し、当該領域の画像を取得する取得手段と、
前記携帯端末の表示部に表示された画像を、当該携帯端末から受信する受信手段と、
前記受信手段により受信した画像と、前記取得手段により取得した画像との差分を算出する算出手段と、
前記算出手段により算出された差分の画像を表示する表示手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【０００２】
スマートフォンやタブレット端末に代表されるモバイル機器においては、ユーザが直感的に操作できるよう、ユーザがボタン等が表示された画面（タッチパネル、タッチスクリーン）を触れることにより、操作を受け付けている。
【０００３】
このように、モバイル機器などのタッチスクリーンをユーザが操作する場合、ユーザの指や手の一部がスクリーン上の操作点周辺の表示領域を遮ることになる。そのため、ユーザは指でタッチしようとしている点の実際の位置を視認することができず、正確に位置を把握することができない。
【０００４】
ユーザはスクリーン上のタッチ点を推定しながら操作しなければならないため、スクリーンに対して感覚や勘を利用して操作を行う必要がある。したがって、ユーザは所望の点をタッチできない可能性があり、しばしば操作ミスが発生する。
【０００５】
例えば、メールやＷｅｂブラウザのＵＲＬを含むテキスト編集作業、あるいは指を使って絵を描くような作業を考える。ユーザが文字を入力したい位置にキャレット（カーソル）を移動させるとき、上記の理由によりうまく位置を指定できない場合がある。ユーザは何度かタッチ操作を繰り返すか、カーソルボタンを使いながらキャレットを所望の位置に移動させるため操作回数が多くなってしまう。
【０００６】
また、ユーザが線と線をつなぎ合わせるような操作をする場合には、線を引いては失敗した操作を取り消すというタッチ操作を何度か繰り返すことになるかもしれない。
【０００７】
このような操作回数が増加するという問題に対し、操作精度を改善するための技術として、キャレット周辺の拡大表示機能やタッチペンが挙げられる。
【０００８】
特許文献１には、タッチパネルに複数の選択ボタンを表示した状態で、タッチパネルが指でタッチされたとき、指接触部の周辺にある選択ボタンを拡大再配列して、タッチ座標にある選択ボタン及びそれに隣接する選択ボタンを表示する仕組みについて記載がされている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−７７２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
キャレット周辺の拡大表示機能については、キャレット移動操作時にタッチ点周辺領域の表示内容を異なるウィンドウに拡大画像を表示する方法であり、ユーザの指が画面を覆っていると思われる画面領域の表示内容をタッチ点以外の位置に提示するものである。それにより、タッチ点およびその周辺に対する操作状況をユーザが認識できるようになるため、操作ミスやその回復作業に要するタッチ操作の回数を抑制するものといえる。
【００１１】
しかしながら、ウィンドウの表示場所によっては拡大表示のウィンドウがユーザの指や手などで隠れてしまい、目的をうまく達成できないことがある。また、ユーザが拡大表示のためのタッチ操作を知っている必要があるため、直観的な操作とは言い難い。
【００１２】
タッチペンについては、ペン先が指先より細いためタッチ点周辺に表示している情報の視認性が向上し、タッチ操作の精度を向上させることが可能となる。
【００１３】
しかしながら、タッチ操作インタフェース特有の直観的な操作方法であるマルチタッチの操作を行う際にはペンを使用しないため、ペンを使用する場合と使用しない場合の操作が混在する状況が発生する。このような場合においてはペンの持ち替えが度々発生することが考えられるため画面操作が煩雑なものとなる。
【００１４】
そこで、本発明は、タッチ操作の直観的な操作性を維持しつつ、操作の精度を向上させることが可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の情報処理装置は、携帯端末の表示部の領域を撮影し、当該領域の画像を取得する取得手段と、前記携帯端末の表示部に表示された画像を、当該携帯端末から受信する受信手段と、前記受信手段により受信した画像と、前記取得手段により取得した画像との差分を算出する算出手段と、前記算出手段により算出された差分の画像を表示する表示手段と、を備えることを特徴とする。
【００１６】
本発明の情報処理方法は、情報処理装置の取得手段が、携帯端末の表示部の領域を撮影し、当該領域の画像を取得する取得工程と、前記情報処理装置の受信手段が、前記携帯端末の表示部に表示された画像を、当該携帯端末から受信する受信工程と、前記情報処理装置の算出手段が、前記受信工程により受信した画像と、前記取得工程により取得した画像との差分を算出する算出工程と、前記情報処理装置の表示手段が、前記算出工程により算出された差分の画像を表示する表示工程と、を備えることを特徴とする。
【００１７】
本発明のプログラムは、情報処理装置において実行可能なプログラムであって、前記情報処理装置を、携帯端末の表示部の領域を撮影し、当該領域の画像を取得する取得手段と、前記携帯端末の表示部に表示された画像を、当該携帯端末から受信する受信手段と、前記受信手段により受信した画像と、前記取得手段により取得した画像との差分を算出する算出手段と、前記算出手段により算出された差分の画像を表示する表示手段として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、タッチ操作の直観的な操作性を維持しつつ、操作の精度を向上させることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明のシステムの構成の一例を示すシステム構成図
【図２】携帯端末１００、情報処理装置１０１のハードウェア構成を示すブロック図
【図３】携帯端末１００、情報処理装置１０１の機能を示すブロック図
【図４】画像表示処理の一例を示すフローチャート
【図５】表示画像データ送信処理の一例を示すフローチャート
【図６】タッチ点情報送信処理の一例を示すフローチャート
【図７】マーカの一例を示す図
【図８】マーカを付与した携帯端末の一例を示す図
【図９】タッチ操作時の携帯端末における画面の一例を示す図
【図１０】タッチ操作時の携帯端末における画面の一例を示す図
【図１１】タッチ操作時の携帯端末における画面の一例を示す図
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００２１】
図１は、本発明のシステムの構成の一例を示すシステム構成図である。
【００２２】
図１は、１つの携帯端末１００と、１つの情報処理装置１０１が通信可能に接続された構成となっている。
【００２３】
携帯端末１００はユーザに情報を提示し、ユーザのタッチ操作を入力として受け取るユーザインタフェースの機能を持つオペレーションシステムを搭載したモバイル端末である。例えば、スマートフォンやタブレット端末が好適な例である。
【００２４】
情報処理装置１０１はユーザの視界に重ねて画像を表示することができる装置であり、本発明においてはユーザが携帯端末１００を操作する状況に応じてユーザインタフェース画像をオーバレイ表示する。いわゆるヘッドマウントディスプレイと呼ばれる装置が好適な例である。
【００２５】
本実施形態のシステムでは、上述した構成の１つの携帯端末１００および１つの情報処理装置１０１に物理的なキーボードが接続されないか、物理的なキーボードが接続されていても不使用とする構成であってもよい。
【００２６】
図２は、図１に示した携帯端末１００および情報処理装置１０１のハードウェア構成を示すブロック図である。
【００２７】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１３には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各携帯端末の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００２８】
２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ（フラッシュメモリ（ＲＯＭ））２１３からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００２９】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９、タッチパネル２１０、カメラ２１１、あるいは不図示の加速度センサ等のセンサ等からの入力を制御する。
【００３０】
キーボード２０９は外部接続する装置も含む。タッチパネル２１０は、画面上の複数のタッチ点を感知できる検出方式の装置と、画面から距離が少し離れている指の位置を感知できる検出方式の装置とを併せて構成する。
【００３１】
画面上の複数のタッチ点を感知できる技術として相互容量方式のタッチパネルがある。また、画面から距離が少し離れている指の位置を感知できる技術として、自己容量方式のタッチパネルがある。
【００３２】
あるいは、画面から距離が少し離れている指の位置を感知する方法として画面と指が映った画像の解析によるものも可能であるため、画像入力装置としてカメラ２１１を利用しても良い。
【００３３】
カメラ２１１はまた、情報処理装置１０１においては画像表示処理に必要な位置情報を取得する手段になっており、カメラ画像から携帯端末に付加したマーカを読み取って、携帯端末の姿勢を判別するために用いる。
【００３４】
２０６はビデオコントローラで、ディスプレイ２１２等の表示器への表示を制御する。ディスプレイ２１２の上に前記タッチパネル２１０を重ねてユーザのタッチ操作を受け付けるように構成する。なお、図２で示す表示器は液晶ディスプレイだけでなく、有機ＥＬ等の他の表示器であってもよい。
【００３５】
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部メモリ２１３へのアクセスを制御する。
【００３６】
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、不図示の３Ｇ等の通信ネットワークや無線ＬＡＮ）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００３７】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１２上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１２上の不図示のユーザインタフェース等でのユーザ指示を可能とする。
【００３８】
本発明を実現するための後述する各種プログラムは、ＲＯＭ２０３または外部メモリ２１３に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、ＲＯＭ２０３または外部メモリ２１３に格納されており、これらについての詳細な説明も後述する。
【００３９】
次に、図３を用いて、本発明の情報処理装置としての携帯端末１００の機能ブロック図について説明する。
【００４０】
尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。
【００４１】
図３において、ディスプレイ表示画像取得部３０１は、ディスプレイ２１２に表示している画像データをＲＯＭ２０３または外部メモリ２１３に格納する。
【００４２】
ディスプレイ表示画像送信部３０２は、情報処理装置１０１から要求があった場合、ディスプレイ表示画像取得部３０１により取得した画像データを情報処理装置１０１に送信する。
【００４３】
タッチ情報取得部３０３は、タッチパネル２１０が指を感知したかどうかの情報と、感知した指の画面上の座標（または画面上の指がもっとも接近している座標）を取得する。
【００４４】
タッチ情報送信部３０４は、情報処理装置１０１から要求があった場合、タッチ点情報取得部３０３により取得したタッチ点情報を情報処理装置１０１に送信する。
【００４５】
次に、図３を用いて、本発明の情報処理装置としての情報処理装置１０１の機能ブロック図について説明する。
【００４６】
尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。
【００４７】
図３において、カメラ画像取得部３０５は、情報処理装置１０１のカメラ２１１が撮影している画像データをＲＯＭ２０３または外部メモリ２１３に格納する。
【００４８】
マーカー情報取得部３０６は、カメラ２１１により撮影された画像データを解析し、携帯端末１００に付加されたマーカーの姿勢を判別する。
【００４９】
ディスプレイ表示画像受信部３０７は、携帯端末１００に対して要求したディスプレイ表示画像データを受信する。
【００５０】
タッチ情報受信部３０８は、携帯端末１００に対して要求したタッチ点情報を受信する。
【００５１】
画像生成部３０９は、マーカー情報取得部３０６により取得したマーカーの姿勢と、ディスプレイ表示画像受信部３０７により取得した画像データから、オーバレイ表示する画像データを生成する。
【００５２】
画像表示部３１０は、画像生成部３０９により生成した画像データを情報処理装置１０１のディスプレイ２１２に描画する。図１の例では、眼鏡のレンズ部分が画像表示部３１０となり、レンズ部分に画像生成部３０９が生成した画像を描画することで、ユーザに視覚に画像が入ることになる。
以下、本実施形態におけるシステム全体の流れを説明する。
【００５３】
情報処理装置１０１のカメラ２１１が、携帯端末１００に付与されたマーカーを検知すると、情報処理装置は携帯端末１００に画像データの送信を要求する。また、情報処理装置１０１は検知したマーカー情報から携帯端末１００の姿勢情報ならびに透視変換行列を得る。
【００５４】
携帯端末１００は画像データ送信の要求を受け付けると表示画像データを情報処理装置１０１に送信する。情報処理装置１０１は携帯端末１００から受信した画像データを透視変換行列により変換し、カメラ２１１により撮影されたマーカー領域内の画像との差分を求める。これにより携帯端末１００においてユーザの指や手によっておおわれているスクリーン上の領域（携帯端末１００が表示している画像と、情報処理装置１０１のカメラ２１１により撮影されたマーカー領域内の画像との差分）を情報処理装置１０１が特定する。
【００５５】
情報処理装置１０１は、この差分領域に対して、変換した表示画像データを重ねて表示する。情報処理装置１０１はまた、携帯端末１００のスクリーンと指との距離が一定以内の場合、情報処理装置１０１はさらに、スクリーン上のタッチ点を示す画像も重ねて表示する。
【００５６】
以下、図４を参照して、本実施形態のシステムにおけるＵＩ表示処理について説明する。
【００５７】
図４のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００５８】
ステップＳ４０１では、情報処理装置１０１のカメラ２１１により、画面周囲にマーカーを付加した状態の携帯端末１００を撮影する。そして、撮影された画像に対して解析を行い、マーカーの画像パターンを抽出（取得）する。
【００５９】
マーカーの一例を図７に示す。また、マーカーが付加された携帯端末１００の一例を図８に示す。
【００６０】
なお、本実施例においては、マーカーについては、図７に示すように携帯端末１００の画面周囲を囲むように付加されているが、マーカーの態様はこれに限られず、携帯端末の画面領域を認識させることが可能なものであれば、いずれの態様でもよい。
【００６１】
ステップＳ４０２では、ステップＳ４０１で取得したマーカーの画像パターンが、予め登録されているマーカー画像パターンに合致（一致）するか判断する。
【００６２】
一致する場合（ステップＳ４０２：ＹＥＳ）は、処理をステップＳ４０３に移行する。
一致しない場合は、本フローチャートの処理を終了する。
【００６３】
ステップＳ４０３では、ステップＳ４０１で取得したマーカーの画像からマーカー領域の４頂点を取得し、携帯端末１００の表示画像領域からマーカー領域への射影変換行列を算出する。ただし、情報処理装置１０１を装着しているユーザの視点に対するマーカー座標の補正を行う必要がある。
【００６４】
ステップＳ４０４において、情報処理装置１０１は携帯端末１００に対して表示画像データの送信を要求する。表示画像データ送信の要求を受けた携帯端末１００は、表示画像データ送信処理を実行する。そして、情報処理装置１０１は携帯端末１００より、表示画像データを受信する。
表示画像データ送信処理の詳細は、図５を用いて説明する。
【００６５】
図５のフローチャートで示す処理は、携帯端末１００のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００６６】
ステップＳ５０１では、携帯端末１００のＣＰＵ２０１は、情報処理装置１０１から画像データ送信要求を受信する。
【００６７】
ステップＳ５０２では、携帯端末１００のＣＰＵ２０１は、画面（表示部）に表示されている画像データを取得する。
【００６８】
ステップＳ５０３では、携帯端末１００のＣＰＵ２０１は、ステップＳ５０２で取得した画像データを情報処理装置１０１に対して送信する。
図４の説明に戻る。
【００６９】
ステップＳ４０５で、情報処理装置１０１はステップＳ４０４で取得した表示画像データに対してＳ４０３にて算出した射影変換行列を掛け、表示画像データからマーカー領域への射影画像データを生成する。
【００７０】
そして、情報処理装置１０１はカメラ２１１で撮影された画像におけるマーカー領域内の画像と射影画像データとの差分を取得する。この差分画像はマーカー座標系に変換されているため、情報処理装置１０１から見た、ユーザの指または手の一部などが携帯端末１００のスクリーン（表示部）を覆っている領域に一致する。
【００７１】
ステップＳ４０６では、ステップＳ４０５で差分画像が取得できたか判断する。
【００７２】
差分画像が取得できた場合（ステップＳ４０６：ＹＥＳ）は、処理をステップＳ４０７に移行する。
【００７３】
差分画像が取得できない場合（ステップＳ４０６：ＮＯ）、すなわち、表示領域がユーザの指や手の一部などで覆われていない場合は、処理をステップＳ４０１に移行する。
【００７４】
ステップＳ４０７で、情報処理装置１０１はステップＳ４０５において取得した差分画像を情報処理装置１０１のディスプレイ２１２に表示する。
【００７５】
このとき、情報処理装置１０１のユーザがスクリーンを通して携帯端末１００を見ると、実映像に差分画像が重って表示されている状態を確認できる。つまりマーカー領域内においてユーザの指が携帯端末１００のスクリーンを覆っている部分について、携帯端末１００の画面に表示中の画像が表示されている（一例を図１０に示す）。
【００７６】
ステップＳ４０８で、情報処理装置１０１は携帯端末１００に対してタッチ点情報の送信を要求する。
【００７７】
タッチ点情報送信の要求を受けた携帯端末１００は、タッチ点情報送信処理（図６）を実行し、情報処理装置１０１に対してタッチ点情報を送信する。そして、情報処理装置１０１は、送信されたタッチ点情報を受信する。
【００７８】
タッチ点情報送信処理の詳細については、図６のフローチャートを用いて説明する。
【００７９】
図６のフローチャートで示す処理は、携帯端末１００のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００８０】
ステップＳ６０１では、携帯端末１００のＣＰＵ２０１は、情報処理装置１０１からタッチ点情報の送信要求を受信する。
【００８１】
ステップＳ６０２では、携帯端末１００のＣＰＵ２０１は、画面上のタッチ点情報を取得する。具体的には、ユーザの指やスタイラスペンと画面との距離がもっとも近い点を取得する。
【００８２】
ステップＳ６０３では、携帯端末１００のＣＰＵ２０１は、ステップＳ６０２で取得したタッチ点情報を情報処理装置１０１に送信する。
図４の説明に戻る。
【００８３】
ステップＳ４０９で、情報処理装置１０１はステップＳ４０８で取得したタッチ点情報を参照し、指とディスプレイが一定の距離内にあるかを判断する。
【００８４】
一定距離内にある場合（ステップＳ４０９：ＹＥＳ）は、処理をステップＳ４１０に移行する。
【００８５】
一定距離内にない場合（ステップＳ４０９：ＮＯ）は、処理をステップＳ４０１に戻す。
【００８６】
ステップＳ４１０で、情報処理装置１０１はステップＳ４０８で取得したタッチ点情報に対してＳ４０３にて算出した射影変換行列を掛け、マーカー領域における変換後のタッチ点座標を算出する。
【００８７】
変換後のタッチ点座標に対して情報処理装置１０１はディスプレイ２１２にポインタ画像を重ねて表示する。このときマーカー領域内においてユーザの指が携帯端末１００のスクリーンを覆っている部分について、ステップＳ４０７の差分画像の上にさらにタッチ点を示すポインタ画像が表示されている。図１１に一例を示す。
【００８８】
図９は、携帯端末１００の画面において、指やスタイラスペンなど（９０１）が表示部を覆っている様子を示す図である。
【００８９】
図１０は、本実施形態のシステムにおける情報処理装置１０１での画面表示の一例を示す図である。ユーザがタッチ操作を行う場合、指が携帯端末１００の画面を遮ってしまい、画面の一部が見えなくなるが、その領域に対して情報処理装置１０１は差分画像１０００をディスプレイ２１２に表示する。その際、差分画像１０００の枠線（輪郭線）を表示することで、ユーザは自身が操作する指や手の占める領域を認識できるため、携帯端末１００の画面のどの箇所を操作しているかが分かる。
【００９０】
図１１は、本実施形態のシステムにおける情報処理装置１０１でのポインタ画像表示の一例を示す図である。情報処理装置１０１が差分画像の上に重ねて表示しているポインタ画像１１００により、ユーザは自身が操作しているタッチ点の位置を認識できるため、タッチ操作の誤りを抑制できる。
【００９１】
以上のように、本発明によれば、ユーザがタッチスクリーンを操作する際、ユーザの指や手の一部により視界が遮られているタッチ点周辺の画面情報とタッチ点の位置とをユーザが認識できるため、操作精度が向上する。
【００９２】
例えば、スクリーンに表示されている文字列に対して直観的なタッチ操作によりキャレット（ポインタ、カーソル）を所望の位置に移動させることができる。
【００９３】
あるいは、Ｗｅｂブラウザにて表示しているリンクが近接している場合でも所望のリンクを容易にタッチすることが可能となる。その他にも、指を使うタッチ操作が不得意とするような細かな操作においてその精度を高めることができる。
【００９４】
また、本発明におけるプログラムは、図４〜図６の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図４〜図６の各処理ごとのプログラムであってもよい。
【００９５】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【００９６】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【００９７】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【００９８】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１００】
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１０１】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１０２】
１００  携帯端末
１０１  情報処理装置
【図１】
2016119019.tif 000003
【図２】
2016119019.tif 000004
【図３】
2016119019.tif 000005
【図４】
2016119019.tif 000006
【図５】
2016119019.tif 000007
【図６】
2016119019.tif 000008
【図７】
2016119019.tif 000009
【図８】
2016119019.tif 000010
【図９】
2016119019.tif 000011
【図１０】
2016119019.tif 000012
【図１１】
2016119019.tif 000013