(57)【特許請求の範囲】
【請求項１】
使用者の手の動きに応じて表示装置の表示内容を制御する表示制御装置であって、
前記使用者を撮像した画像を入力する画像入力部と、
前記画像入力部が入力した画像中における、前記使用者の予め定められた操作用の手を認識対象とし、当該認識対象の動きを認識したことに応じて、前記表示装置の表示内容に対する操作指示を取得する指示取得部と、
前記操作指示に応じて前記表示装置の表示内容を制御する表示制御部と、
前記操作用の手が物を持ったことを検出する検出部と、
前記操作用の手が前記物を持ったことが検出されたことに応じて、前記指示取得部の前記認識対象を切り替える切替部と、
を備える表示制御装置。
【請求項２】
前記切替部は、前記操作用の手が前記物を持ったことが検出された場合に、前記認識対象を前記操作用の手から前記操作用の手が持った前記物に切り替える請求項１に記載の表示制御装置。
【請求項３】
前記切替部は、前記認識対象が前記物の場合に、前記使用者が前記物を手から離したことが検出されたことに応じて、前記認識対象を前記物から前記使用者の前記物を離した手に切り替える請求項１または２に記載の表示制御装置。
【請求項４】
前記切替部は、前記操作用の手が前記物を持ったことが検出された場合に、前記認識対象を前記使用者の当該物を持っていない方の手に切り替える請求項１に記載の表示制御装置。
【請求項５】
前記使用者の前記操作指示に応じて、前記表示装置に表示された操作対象を選択するカーソルを表示制御するカーソル制御部を更に備える請求項１から４のいずれか一項に記載の表示制御装置。
【請求項６】
前記表示制御部は、前記使用者の指示に応じた情報を、前記表示装置に表示させる請求項１から５のいずれか一項に記載の表示制御装置。
【請求項７】
前記表示制御部は、前記使用者の前記画像を前記情報と共に前記表示装置に表示させる請求項６に記載の表示制御装置。
【請求項８】
前記指示取得部は、
前記使用者の前記画像から前記使用者の顔部分および胴体部分を認識する認識部と、
前記顔部分および胴体部分の右および左に位置する肌色領域を検索する検索部と、
前記予め定められた前記使用者の手に対応する肌色領域を前記認識対象として特定する特定部と、
を有する請求項１から７のいずれか一項に記載の表示制御装置。
【請求項９】
前記検出部は、前記認識対象が手の場合に、前記認識対象に対応する肌色領域が移動しても当該肌色領域に隣接する領域の色が略同一の場合に、前記使用者の前記操作用の手が前記物を持ったことを検出する請求項８に記載の表示制御装置。
【請求項１０】
前記検出部は、前記認識対象が物の場合に、前記認識対象に対応する領域が、前記使用者の前記認識対象を持つ手に対応する前記肌色領域の移動に対応して移動しなくなったことに応じて、前記認識対象である前記物が手から離れたことを検出し、前記切替部は、前記認識対象である前記物が手から離れたことが検出されたことに応じて、前記認識対象を切り替える請求項８または９に記載の表示制御装置。
【請求項１１】
前記検出部は、前記認識対象が前記物の場合に、前記認識対象を持つ手に対応する前記肌色領域と隣接する領域の色が略同一でなくなったことに応じて、前記認識対象である前記物が手から離れたことを検出し、
前記切替部は、前記認識対象である前記物が手から離れたことが検出されたことに応じて、前記認識対象を切り替える請求項８または９に記載の表示制御装置。
【請求項１２】
前記指示取得部は、前記肌色領域と、前記使用者の左右の肩および肘との動きに応じて、前記肌色領域に対応する手が右手および左手のいずれかを判断する請求項８から１１のいずれか一項に記載の表示制御装置。
【請求項１３】
前記指示取得部は、複数の前記画像の差分画像から前記使用者の動きを検出し、前記認識対象を特定する請求項１から１２のいずれか一項に記載の表示制御装置。
【請求項１４】
前記切替部は、前記使用者が一方の手で前記物を持つ場合に、前記使用者が当該一方の手から他方の手に前記物を渡した場合に、前記物の移動に応じて前記認識対象を切り替える請求項１から１３のいずれか一項に記載の表示制御装置。
【請求項１５】
前記使用者を撮像する撮像部と、
請求項１から１４のいずれか一項に記載の表示制御装置と、
前記表示制御装置の制御に応じた表示内容を表示する表示装置と、
を備える情報表示システム。
【請求項１６】
使用者の手の動きに応じて表示装置の表示内容を制御する表示制御方法であって、
前記使用者を撮像した画像を入力する画像入力段階と、
入力した画像中における、前記使用者の予め定められた操作用の手を認識対象とし、当該認識対象の動きを認識したことに応じて、前記表示装置の表示内容に対する操作指示を取得する指示取得段階と、
前記操作指示に応じて前記表示装置の表示内容を制御する表示制御段階と、
前記操作用の手が物を持ったことを検出する検出段階と、
前記操作用の手が前記物を持ったことが検出されたことに応じて、前記認識対象を切り替える切替段階と、
を備える表示制御方法。
【請求項１７】
請求項１６に記載の表示制御方法を、コンピュータにより実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御方法、情報表示システム、およびプログラムに関する。
【背景技術】
【０００２】
従来、使用者のジェスチャー等を検出して情報の選択および表示等の指示を入力させ、当該使用者のジェスチャー等に応じたカーソルと、当該使用者の指示等に応じた情報とを表示する情報表示装置が知られている（例えば、特許文献１および２参照）。
特許文献１  特開２０００−１８１６０１号公報
特許文献２  国際公開第２００７／０８８９３９号
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような情報表示装置において、使用者が手に物を持った状態でジェスチャー入力をすると、誤検出または誤動作を引き起こしていた。例えば、使用者が物を手に持った場合に、使用者が当該物で指示を入力するのか、物を持っていない方の手で入力するのか、ジェスチャーから判断することは困難であった。また、使用者が、例えば、飲食をする、歯磨きをする、またはひげを剃る等の動作と共にジェスチャー入力をした場合に、情報表示装置へのジェスチャー入力を検出することも困難であった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、使用者の手の動きに応じて表示装置の表示内容を制御する表示制御装置であって、使用者を撮像した画像を入力する画像入力部と、画像入力部が入力した画像中における、使用者の予め定められた操作用の手を認識対象とし、当該認識対象の動きを認識したことに応じて、表示装置の表示内容に対する操作指示を取得する指示取得部と、操作指示に応じて表示装置の表示内容を制御する表示制御部と、操作用の手が物を持ったことを検出する検出部と、操作用の手が物を持ったことが検出されたことに応じて、指示取得部の認識対象を切り替える切替部と、を備える表示制御装置を提供する。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本実施形態に係る情報表示システム１０の第１の構成例を使用者２０と共に示す。
【図２】本実施形態に係る情報表示システム１０の第２の構成例を使用者２０と共に示す。
【図３】本実施形態に係る情報表示システム１０の動作フローを示す。
【図４】本実施形態に係る情報表示システム１０の変形例の動作フローを示す。
【図５】本実施形態に係る表示制御装置３００として機能するコンピュータ１９００のハードウェア構成の一例を示す。
【発明を実施するための形態】
【０００７】
以下、本発明の実施の形態を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。
【０００８】
図１は、本実施形態に係る情報表示システム１０の第１の構成例を使用者２０と共に示す。情報表示システム１０は、使用者の操作に用いる手指を認識し、当該使用者の操作指示等に応じた情報を表示する。また、情報表示システム１０は、使用者の操作に用いる手が物を持ったことに応じて、操作用の認識対象を切り替え、切り替えた認識対象の操作指示等に応じた情報を表示する。本実施形態において、情報表示システム１０は、使用者２０の指示等に応じた情報を表示する例を説明する。
【０００９】
使用者２０は、情報表示システム１０に手指等のジェスチャー等で指示を入力し、ゲーム、メールの送受信、Ｗｅｂの閲覧、ソーシャルネットワークへの参加、画像または動画の閲覧、および文書編集等、情報の表示およびアプリケーションの実行等を指示する。図１は、使用者２０が右手に持った物２４を用いて情報表示システム１０にジェスチャー入力する例を示す。情報表示システム１０は、表示装置１００と、検出センサ装置２００と、表示制御装置３００とを備える。
【００１０】
表示装置１００は、表示領域１１０に、使用者２０の指示に応じた情報を表示する。表示装置１００は、当該情報と共に、使用者２０を表示してもよい。表示装置１００は、使用者が複数いる場合、表示領域１１０を複数に分割し、当該複数の使用者に対応する情報を対応する表示領域にそれぞれ表示してもよい。また、表示装置１００は、使用者２０のシルエットを表示してもよい。
【００１１】
表示装置１００は、二次元画像または三次元画像を表示する、液晶ディスプレイ、プラズマディスプレイまたは有機エレクトロルミネッセンスディスプレイ等の電子表示装置であってよい。図１に示す例における表示領域１１０には、使用者２０の指示に応じて、カーソル５０、情報１１６およびアイコン等が表示される。
【００１２】
カーソル５０は、使用者２０の操作用の手２２または使用者２０が手に持った物２４に対応して表示される。表示装置１００が使用者２０の情報と共に使用者２０の鏡像を表示する場合、カーソル５０は、例えば、使用者２０の操作用の手２２または手に持った物２４の鏡像として表示する。この場合、カーソル５０は、予め定められた色、縁取り、または点滅等の強調表示を加えて、操作用の手２２または手に持った物２４の鏡像を表示してもよい。
【００１３】
また、カーソル５０は、予め定められた形状のポインタ画像でよい。また、カーソル５０は、使用者２０の指示または予め定めた設定により、表示されなくてもよい。図１は、使用者２０の鏡像表示をオフにして、矢印の形状のカーソル５０を表示させた例を示す。
【００１４】
情報１１６は、例えば、ウィンドウ表示される文書、画像、動画、またはＷｅｂコンテンツである。これに代えて、情報１１６は、使用者２０が実行させたアプリケーションの実行画面であってもよい。
【００１５】
検出センサ装置２００は、使用者２０の身体の空間上の位置を検出する。検出センサ装置２００は、例えば、表示装置１００を使用する使用者が複数いる場合、当該複数の使用者を検出する。検出センサ装置２００は、使用者２０の身体の一部または全体の二次元および／または三次元空間上の位置を検出してよい。検出センサ装置２００は、例えば、光波測距センサおよび／またはビデオカメラ等の撮像部を有する。
【００１６】
光波測距センサは、光波測距を用いて距離データの画像を生成し、生成した距離データの画像から使用者を検出する。一例として、光波測距センサは、赤外線等の光を照射する投光器、集光レンズ等の光学系、および、複数の画素を含み、画素毎に使用者からの反射光の検出時間を測定する測距素子を有する。光波測距センサは、使用者に赤外線等を照射し、その反射光を光学系により測距素子の受光面上に結像させ、測距素子の各画素が測定した反射光の検出時間を画像内の各画素の輝度値等に対応付けすることで、使用者の光波測距センサからの距離情報を含む画像を取得する。
【００１７】
このように、光波測距センサは、三次元空間上の位置情報と共に使用者の画像を取得するので、使用者と背景画像とを分離することができる。また、光波測距センサは、このような検出を連続して実行することで、使用者の体の動き等を検出することができる。また、光波測距センサは、一例として、使用者を体、頭、上腕、下腕、手指、上腿、および下腿等に分離して各部を検出し、各部毎の検出を連続することで使用者のジェスチャーを精度よく検出する。
【００１８】
撮像部は、使用者を撮像する。撮像部は、１又は複数のビデオカメラを有し、使用者２０を含む画像を取得して使用者２０を検出する。撮像部は、撮像した画像より、画像処理によって各使用者を検出する。例えば、撮像部は、使用者２０を時間的に連続して撮像した連続画像から、一つ前に撮像された画像との差分を算出した複数の差分画像を取得して、使用者２０の動き等を検出する。これに代えて、撮像部は、２以上の視点から使用者２０の画像を撮像して使用者２０の視差画像を取得し、当該視差画像の視差情報に基づいて、使用者２０の動き等を検出してもよい。
【００１９】
ここで、検出センサ装置２００は、上記の光波測距センサおよび撮像部を有し、使用者２０の距離情報および動画像をそれぞれ検出し、使用者２０の動きの検出感度を向上させてよい。検出センサ装置２００は、使用者２０の検出結果を表示制御装置３００に供給する。
【００２０】
表示制御装置３００は、使用者２０の手の動きに応じて表示装置１００の表示内容を制御する。即ち、表示制御装置３００は、検出センサ装置２００の検出結果を入力し、使用者２０の動きの検出結果から当該使用者２０の指示を特定し、当該指示に応じて表示装置１００の表示内容を制御する。表示制御装置３００は、画像入力部３０２と、指示取得部３１０と、検出部３２０と、切替部３２２と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０と、を有する。
【００２１】
画像入力部３０２は、使用者２０を撮像した画像を入力する。本例において、画像入力部３０２は、検出センサ装置２００に接続され、検出センサ装置２００の検出結果が入力される。画像入力部３０２は、画像の他に、光波測距センサが検出した使用者２０の距離情報等が入力されてもよい。
【００２２】
指示取得部３１０は、画像入力部３０２が入力した画像中における、使用者２０の予め定められた操作用の手２２を認識対象とし、当該認識対象の動きを認識したことに応じて、表示装置１００の表示内容に対する操作指示を取得する。また、指示取得部３１０は、認識対象が切り替わって更新されたことに応じて、更新された認識対象の動きに対応する操作指示を検出する。
【００２３】
これに加えて、指示取得部３１０は、検出センサ装置２００の検出結果に基づき、使用者２０の動きから使用者２０の指示を検出してもよい。例えば、指示取得部３１０は、表示装置１００の前で人が立ち止まったことに応じて、当該立ち止まった人を使用者２０として認識して使用者２０のジェスチャー入力の検出を開始する。また、指示取得部３１０は、使用者２０が表示装置１００の前から立ち去ったことに応じて、当該使用者２０のジェスチャー入力の検出を停止して使用者２０としての認識を解除してよい。指示取得部３１０は、使用者の人数の増減を検出してもよい。
【００２４】
また、指示取得部３１０は、使用者２０の右手または左手を認識対象とし、表示装置１００に表示された情報等への選択、選択解除、移動、および実行等の指示を検出する。また、指示取得部３１０は、使用者２０の右手または左手が持った物を認識対象とし、表示装置１００に表示された情報等への指示を検出する。また、指示取得部３１０は、表示装置１００が情報をＧＵＩによる操作入力を有するウィンドウ表示する場合に、当該操作入力に対応する使用者２０の認識対象からの指示を検出してよい。
【００２５】
例えば、指示取得部３１０は、使用者２０が手のひら、指、または手に持った物を表示装置１００の表示面に向けて押す動作を検出することで、情報の選択、ボタンの押し下げ、およびウィンドウの切り替え等の指示を検出する。また、使用者２０が手のひら、指、または手に持った物を表示装置１００の表示面に向けて繰り返し押す動作を検出することで、アプリケーションの実行等の指示を検出してよい。
【００２６】
また、指示取得部３１０は、使用者２０が画面上の情報を選択した後に、選択した手のひら、指、または手に持った物といった認識対象を移動させる動作を検出することで、情報の画面上での移動、および移動先のアプリケーション実行等の指示を検出してよい。ここで、指示取得部３１０は、使用者２０が選択指示をし、かつ、選択指示をした認識対象の表示装置１００における表示位置に情報が表示されている場合、使用者２０の当該情報の選択を検出してよい。
【００２７】
指示取得部３１０は、例えば、使用者２０の複数の画像の差分画像から使用者の動きを検出し、認識対象を特定する。指示取得部３１０は、一例として、使用者２０の画像から当該使用者２０の顔部分および胴体部分を認識する認識部と、顔部分および胴体部分の右および左に位置する肌色領域を検索する検索部と、予め定められた認識対象の使用者の操作用の手２２に対応する肌色領域を認識対象として特定する特定部と、を有する。
【００２８】
認識部は、一例として、使用者２０の画像から、使用者２０の動きに応じて背景画像と使用者２０とを分離する。また、認識部は、使用者２０の動きに応じて当該使用者２０の顔部分および胴体部分を認識してもよく、予め定められた形状等とのパターンマッチングを実行して当該使用者２０の顔部分および胴体部分を認識してもよい。
【００２９】
また、認識部は、検出センサ装置２００が使用者２０の体、頭、上腕、下腕、手指、上腿、および下腿等を分離して各部を検出できる光波測距センサ等を有する場合、当該光波測距センサの検出結果より、使用者２０の顔部分および胴体部分を認識してもよい。
【００３０】
検索部は、使用者２０の画像から、使用者２０の右手または左手に位置する肌色領域を検索する。検索部は、予め定められた形状等とのパターンマッチングを実行して当該使用者２０の右手または左手の領域を検索してもよい。認識部および／または検索部がパターンマッチングを実行する場合、マッチングすべき予め定められた形状は、ユーザに対応づけられて予め登録されていてもよく、これに代えて、一般的な人間の形状として予め登録されていてもよい。
【００３１】
特定部は、認識対象として予め定められた使用者２０の右手または左手に対応する、顔部分および胴体部分の右または左に位置する肌色領域を認識対象として特定する。ここで、特定部は、一例として、肌色領域と、使用者２０の左右の肩および肘との動きに応じて、肌色領域に対応する手が右手および左手のいずれかを判断する。このように、特定部は、使用者２０の手の関節の動きを追従して、関節の動きを元に右手および左手を判別することで、認識対象の特定の精度を向上させてよい。
【００３２】
検出部３２０は、指示取得部３１０に接続され、指示取得部３１０が特定した認識対象に基づき、使用者２０の操作用の手２２が物を持ったことを検出する。また、検出部３２０は、使用者２０の操作用の手２２が持っていた物を離したことを検出する。また、検出部３２０は、使用者２０の操作用の手２２が持っていた物を、他方の手に手渡したことを検出してもよい。
【００３３】
検出部３２０は、例えば、認識対象が手の場合に、認識対象に対応する肌色領域が移動しても当該肌色領域に隣接する領域の色が略同一の場合に、使用者２０の操作用の手２２が物を持ったことを検出する。これに代えて、またはこれに加えて、検出部３２０は、当該肌色領域に隣接する略同一の色の領域の形状が、認識対象に対応する肌色領域が移動してもほとんど変化がない場合に、使用者２０の操作用の手２２が物を持ったことを検出してもよい。ここで、検出部３２０は、一例として、肌色領域の移動の前後において、当該領域の形状をマッチングさせて、形状の変化を検出する。
【００３４】
また、検出部３２０は、認識対象が物の場合に、認識対象に対応する領域が、使用者２０の認識対象を持つ手に対応する肌色領域の移動に対応して移動しなくなったことに応じて、認識対象である物が手から離れたことを検出する。また、検出部３２０は、認識対象が物の場合に、認識対象を持つ手に対応する肌色領域と隣接する領域の色が略同一でなくなったことに応じて、認識対象である物が手から離れたことを検出する。 
【００３５】
切替部３２２は、検出部３２０に接続され、使用者２０の操作用の手が物を持ったことが検出されたことに応じて、指示取得部３１０の認識対象を切り替える。例えば、切替部３２２は、操作用の手が物を持ったことが検出された場合に、認識対象を操作用の手から操作用の手が持った当該物に切り替える。これに代えて、切替部３２２は、操作用の手が物を持ったことが検出された場合に、認識対象を使用者２０の当該物を持っていない方の手に切り替えてもよい。
【００３６】
また、切替部３２２は、使用者２０の操作用の手２２が持っていた物を離したことに応じて、指示取得部３１０の認識対象を切り替える。例えば、切替部３２２は、認識対象が物の場合に、使用者２０が当該物を手から離したことが検出されたことに応じて、認識対象を当該物から使用者２０の当該物を離した手に切り替える。これに代えて、切替部３２２は、操作用の手２２が持っていた物を離したことに応じて、認識対象として予め定められた使用者２０の操作用の手２２に切り替えてもよい。
【００３７】
また、切替部３２２は、使用者２０の操作用の手２２が持っていた物を、他方の手に手渡したことに応じて、指示取得部３１０の認識対象を切り替えてもよい。例えば、切替部３２２は、使用者２０が一方の手で物を持つ場合に、使用者２０が当該一方の手から他方の手に物を渡した場合に、物の移動に応じて認識対象を他方の手が持つ物に切り替える。これに代えて、切替部３２２は、使用者２０が当該一方の手から他方の手に物を渡した場合に、認識対象を物を手渡した一方の手に切り替えてもよい。切替部３２２は、一例として、予め定められた認識対象の切り替え先に応じて、認識対象を切り替える。
【００３８】
記憶部３３０は、予め定められた使用者２０の操作用の手２２を認識対象として記憶する。また、記憶部３３０は、切替部３２２に接続され、切替部３２２が切り替えた認識対象を記憶し、切替部３２２が切り替える毎に当該認識対象を更新する。また、記憶部３３０は、切替部３２２が切り替えるべき認識対象の切り替え先が予め定められている場合に、当該認識対象の切り替え先を記憶する。
【００３９】
また、記憶部３３０は、使用者２０に対して表示すべき情報を記憶する。記憶部３３０は、文書、画像、動画、Ｗｅｂコンテンツ、ＵＲＬ、およびアプリケーション等の情報を記憶してよい。また、記憶部３３０は、使用者２０が複数の場合は、それぞれの使用者に対応する情報を、それぞれの使用者に対応づけて記憶してもよい。
【００４０】
また、記憶部３３０は、指示取得部３１０に接続され、使用者の動作パターンを記憶してもよい。この場合、指示取得部３１０は、記憶された動作パターンと検出された使用者の動作とを比較することで、使用者のジェスチャー入力による指示を検出することができる。また、記憶部３３０は、それぞれの使用者の画像情報を記憶してもよい。この場合、指示取得部３１０は、記憶された使用者と検出された使用者とを比較し、使用者がマッチングした場合に、当該使用者が過去に表示した情報を現在の表示領域１１０に表示させる指示を検出したと判断してよい。
【００４１】
実行部３４０は、指示取得部３１０に接続され、指示取得部３１０が検出したアプリケーションの実行の指示に応じて、当該アプリケーションを実行する。実行部３４０は、予め記憶されたメール送受信、文書編集、画像表示、動画再生、Ｗｅｂブラウザ、および表示システム１０の設定等のアプリケーションプログラムを実行する。また、実行部３４０は、アプリケーションのインストールおよびアンインストール等を、指示に応じて実行してもよい。
【００４２】
実行部３４０は、例えば、記憶部３３０に接続され、当該アプリケーションの実行画面を表示させるべく、実行画面の情報を当該使用者２０に対応づけて記憶部３３０に記憶する。また、実行部３４０は、当該アプリケーションの実行画面を表示領域１１０に表示させるべく、実行画面の情報を表示制御部３５０に供給する。
【００４３】
表示制御部３５０は、使用者２０の操作指示に応じて表示装置１００の表示内容を制御する。表示制御部３５０は、記憶部３３０に記憶された使用者２０に対応付けられた情報を、表示領域１１０に表示してよい。また、表示制御部３５０は、記憶部３３０の記憶が更新される毎に、更新された情報を表示領域１１０に表示してよい。また、表示制御部３５０は、指示取得部３１０の検出した使用者２０の指示に応じた情報を、表示装置１００に表示させる。
【００４４】
表示制御部３５０は、使用者２０が表示指示した情報を、表示領域１１０にウィンドウ表示させてよい。これに代えて、表示制御部３５０は、指示に応じた情報を、使用者２０を撮像したシルエット画像と共に表示制御してもよい。
【００４５】
また、表示制御部３５０は、一例として、予め定められた設定または使用者２０の入力に応じて、使用者２０の画像を使用者２０の指示に応じた情報と共に表示装置１００に表示させる。この場合、表示制御部３５０は、使用者２０の画像に重ねて、当該情報を表示制御してよい。これに代えて、表示制御部３５０は、当該情報に重ねて、当該使用者２０の画像を表示制御してよい。表示制御部３５０は、予め定められた表示優先順位に応じて、使用者２０の情報および使用者の画像を重ねて表示してよい。
【００４６】
カーソル制御部３６０は、使用者２０の操作指示に応じて、表示装置１００に表示された操作対象を選択するカーソル５０を表示制御する。即ち、カーソル制御部３６０は、使用者２０の認識対象の移動等を検出した検出結果を指示取得部３１０から受け取り、当該認識対象の移動に対応して、カーソル５０を表示および移動させる指示を表示制御部３５０に供給する。
【００４７】
例えば、カーソル制御部３６０は、使用者２０の認識対象が使用者２０の操作用の手２２の場合、当該操作用の手２２の動きに応じてカーソル５０を表示装置１００の表示領域１１０内で動かす。同様に、カーソル制御部３６０は、使用者２０の認識対象が使用者２０の手が持つ物２４の場合、当該物２４の動きに応じてカーソル５０を表示装置１００の表示領域１１０内で動かす。
【００４８】
図１は、カーソル制御部３６０が、使用者２０が手に持つ物２４に応じて、表示領域１１０の対応する位置にカーソル５０を表示する例を示す。ここで、使用者２０が手に持つ物２４は、一例として、ペン等の棒状の物体である。
【００４９】
以上の表示装置１００は、表示制御装置３００の表示制御に応じた表示内容を表示する。また、情報表示システム１０は、使用者２０を検出し、検出した使用者２０の認識対象のジェスチャー入力に応じた情報を表示領域１１０に表示する。情報表示システム１０は、使用者２０の認識対象を、使用者２０のジェスチャー入力によって特定しつつ、使用者２０の動作に応じて切り替える。
【００５０】
図２は、本実施形態に係る情報表示システム１０の第２の構成例を使用者２０と共に示す。本構成例の情報表示システム１０において、図１に示された本実施形態に係る情報表示システム１０の動作と略同一のものには同一の符号を付け、説明を省略する。
【００５１】
本構成例において、使用者２０の右手を操作用の手２２として認識対象にした場合に、カーソル制御部３６０が、当該操作用の手２２の動きに応じてカーソル５０を表示装置１００の表示領域１１０内で動かす例を示す。また、図２は、使用者２０が左手に物２６を持つ例を示す。
【００５２】
図２において、物２６は、コーヒーカップ等であり、使用者２０が当該物２６を用いて情報表示システム１０の操作に用いるよりも、当該物２６を持たない右手で操作をした方が操作性が向上する例を示す。このような場合に、情報表示システム１０は、物２６を持たない右手を操作用の手２２として認識対象に切り替え、当該認識対象をの動きに応じてカーソル５０を表示して使用者２０の入力に応じた情報を表示領域１１０に表示する。
【００５３】
図３は、本実施形態に係る情報表示システム１０の動作フローを示す。情報表示システム１０は、Ｓ３００からＳ３７０までの処理により、使用者２０の指示に応じた情報を表示装置１００に表示する。
【００５４】
表示制御装置３００は、まず、初期設定として、使用者２０の操作モードを第１の操作モードに設定する（Ｓ３００）。ここで、第１の操作モードとは、操作を認識する際の認識対象である、使用者２０の手が物を持ったことに応じて、認識対象を当該物に切り替えるモードである。そして、認識対象である手が物を持ったことに応じて、認識対象を当該物を持たない他方の手に切り替えるモードを、第２の操作モードとする。
【００５５】
ここで表示制御装置３００は、使用者２０の操作モードおよび認識対象である操作用の手２２が左右いずれであるかを記憶部３３０に記憶する。これに代えて、表示制御装置３００は、予め記憶部３３０に記憶されて定められた操作モードおよび認識対象である操作用の手２２の設定情報に応じて、初期設定されてもよい。
【００５６】
次に、情報表示システム１０は、表示装置１００の前の使用者２０の存在を検出する（Ｓ３１０）。例えば、指示取得部３１０は、検出センサ装置２００の検出結果に基づき、人が表示装置１００の前に立ったことに応じて、当該人を使用者２０として検出する。指示取得部３１０は、１以上の使用者２０が検出されるまで使用者２０の検出を繰り返す。
【００５７】
次に、指示取得部３１０は、操作を認識する際の認識対象である操作用の手２２または物２４を特定し、検出部３２０は、当該認識対象に変化があるか否かを検出する（Ｓ３２０）。具体的には、検出部３２０は、操作用の手２２が物を持ったか否か、または認識対象の物を手から離したか否かを検出する。指示取得部３１０は、認識対象に変化が無い場合は、当該認識対象の動作に応じた指示を検出するステップＳ３６０に進む。
【００５８】
検出部３２０によって操作用の手２２が物を持ったことが検出され、かつ、検出時の操作モードが第１の操作モードの場合、切替部３２２は、認識対象を当該物に切り替える（Ｓ３３０、Ｓ３４０、およびＳ３４２）。これによって、情報表示システム１０は、使用者２０が操作用にペンまたは差し棒等の棒状の物２４を持ったことに応じて、当該物２４を認識対象にし、当該物２４の動作に応じた指示を検出して使用者２０の操作入力をスムーズに継続することができる。
【００５９】
また、検出部３２０によって操作用の手２２が物を持ったことが検出され、かつ、検出時の操作モードが第２の操作モードの場合、切替部３２２は、認識対象を当該物を持っていない他方の手に切り替える（Ｓ３３０、Ｓ３４０、およびＳ３４４）。これによって、情報表示システム１０は、使用者２０が操作用の手２２でコーヒーカップ、歯ブラシ、またはひげ剃り等の操作に無関係な物２６を持ったことに応じて、当該物２６を持っていない方の手を認識対象にすることができる。即ち、情報表示システム１０は、使用者２０の操作とは関係のない動作による誤検出を防ぎつつ、認識対象の動作に応じた指示を検出することができる。
【００６０】
また、検出部３２０によって使用者２０が認識対象の物を手離したことが検出された場合、認識対象は物で、かつ、検出時の操作モードは第１の操作モードとなるので、切替部３２２は、認識対象を当該物からその物を離した手に切り替える（Ｓ３３０、Ｓ３３２およびＳ３５２）。これによって、情報表示システム１０は、使用者２０が操作用に持ったペンまたは差し棒等の操作指示に用いる棒状の物２４を離したことに応じて、当該物２４を離した手を認識対象に切り替え、当該操作用の手２２の動作に応じた指示を検出して使用者２０の操作入力をスムーズに継続することができる。
【００６１】
ここで、検出部３２０によって、使用者２０が持っていた認識対象の物を他方の手に手渡したことが検出された場合、切替部３２２は、認識対象を物にしたままにする（Ｓ３３２）。これによって、情報表示システム１０は、使用者２０が操作用に持ったペンまたは差し棒等の操作指示に用いる棒状の物２４を一方の手から他方の手に手渡しても、当該物２４を認識対象にしたまま、当該物２４の動作に応じた指示を検出して使用者２０の操作入力をスムーズに継続することができる。
【００６２】
切替部３２２は、ステップＳ３４２、Ｓ３４４、およびＳ３５２のいずれの切り替え動作においても、切り替えた結果を記憶部３３０に記憶して、認識対象を更新する。指示取得部３１０は、記憶部３３０に記憶された認識対象が更新されたことに応じて、更新された認識対象を特定し、当該認識対象の動作に応じた指示を検出する（Ｓ３６０）。使用者２０は、情報表示の指示を認識対象を用いたジェスチャーによって入力する。
【００６３】
例えば、指示取得部３１０は、認識対象として使用者２０の操作用の手２２が特定されている場合、使用者２０の画像の操作用の手２２に対応する領域の変化を、予め記憶した多数の手の立体パターンの変化、輪郭パターンの変化またはシルエットパターンの変化等とそれぞれ対比する。これにより、指示取得部３１０は、使用者の操作用の手２２のジェスチャー等の動きを検出して、当該ジェスチャー等の動きから操作指示を取得する。
【００６４】
例えば、指示取得部３１０は、使用者の認識対象の動きとして、開いた手を握った状態にすること、握った手を開くこと、手を左右方向に振ること、手を上下方向に動かすこと、手でボタンを押す動作をすること、手でクリックまたはダブルクリックする動作をすること、手で円を描く動作をすること、手を一定時間静止させること、一部または全ての指を動かすこと、その他の手の運動、またはこれらの組み合わせを検出する。
【００６５】
また、指示取得部３１０は、認識対象として使用者２０が手に持った物２４が特定されている場合、使用者２０の画像の認識対象に対応する領域の異なる時間で撮像された複数の画像をそれぞれ比較して、立体的なパターン、輪郭パターン、またはシルエットパターンの時間的な変化等を検出する。これにより、指示取得部３１０は、使用者の認識対象の動きを検出して、当該動きから操作指示を取得する。
【００６６】
例えば、指示取得部３１０は、使用者の認識対象の動きとして、手に持った物２４を左右方向に振ること、物２４を上下方向に動かすこと、物２４でボタンを押す動作をすること、物２４でクリックまたはダブルクリックする動作をすること、物２４で円を描く動作をすること、物２４を一定時間静止させること、その他の物２４の運動、またはこれらの組み合わせを検出する。
【００６７】
指示取得部３１０は、カーソル５０がアイコンと重なった状態で、使用者２０が認識対象で予め定められた操作指示をしたことを認識した場合、当該アイコンに対応するアプリケーションに関連する操作指示を検出してよい。この場合、指示取得部３１０は、アプリケーションの実行を検出してよく、また、使用者２０がファイル等の情報を選択したままアプリケーションの操作指示を出した場合は、当該ファイルを当該アプリケーションに入力させて実行してよい。
【００６８】
ここで、アプリケーションに関連する指示は、当該アプリケーションの実行、削除、またはプロパティの表示等であってよい。指示取得部３１０は、カーソル５０がアイコンと重なった状態で、認識対象がボタンを押す動作をしたことを検出した場合、当該アイコンに対応するアプリケーションの実行指示を検出してよい。ここで、アプリケーションは、一例として、情報表示システム１０の設定を含む。これにより、使用者２０は、操作モードの設定、切替部３２２が切り替える切り替え先、および表示装置１００が鏡像表示をするか否か等をジェスチャーによって入力することができる。
【００６９】
また、指示取得部３１０は、カーソル５０がアイコンと重なった状態で、認識対象が円を描く動作をしたことを検出した場合、当該アイコンに対応するアプリケーションの終了指示を検出してよい。また、指示取得部３１０は、カーソル５０がアイコンと重なった状態で、認識対象で押す動作をした状態にし、更に当該認識対象で押した状態のまま移動させたことを検出した場合、認識対象の位置と連動させて当該アイコンをドラッグする指示を検出してよい。
【００７０】
また、指示取得部３１０は、当該認識対象で押した状態からもとの状態に戻したことを検出した場合、当該アイコンを認識対象の位置でドロップする指示を検出してよい。指示取得部３１０は、使用者が複数の場合、使用者毎に、検出した指示に応じて、当該指示を検出部３２０、実行部３４０、表示制御部３５０、またはカーソル制御部３６０に供給する。
【００７１】
一例として、使用者２０の操作指示が操作モードを切り替える指示の場合、切替部３２２は、使用者２０が操作指示を出した時点の操作モードを切り替える（Ｓ３６２およびＳ３６４）。この場合、使用者２０は、操作モードを切り替える設定画面を操作して当該操作モードを切り替えてよく、これに代えて、ショートカットアイコン等を操作してもよい。
【００７２】
検出部３２０は、一例として、使用者２０が画面に表示されている操作モードを切り替える切り替えボタン等を認識対象で押す動作をしたことを検出する。ここで、操作モードが第１の操作モードで、かつ、検出部３２０が使用者２０の持つ物２４による切り替え指示を検出した場合、切替部３２２は、操作モードを第２の操作モードに切り替え、認識対象を使用者２０の物を持っていない方の手とする。
【００７３】
また、操作モードが第１の操作モードで、かつ、使用者２０の操作用の手２２による切り替え指示を検出部３２０が検出した場合、切替部３２２は、操作モードを第２の操作モードに切り替え、認識対象を操作用の手２２のままとする。また、操作モードが第２の操作モードで、かつ、使用者２０の操作用の手２２による切り替え指示を検出部３２０が検出した場合、切替部３２２は、操作モードを第１の操作モードに切り替え、認識対象を操作用の手２２のままとする。このようにして、情報表示システム１０は、使用者２０の指示に応じて、操作モードを切り替えることができる。
【００７４】
表示制御部３５０は、指示取得部３１０から受け取った使用者２０の指示に対応する情報を表示装置１００に表示する（Ｓ３７０）。例えば、検出センサ装置２００が撮像した使用者の画像を表示する場合、当該画像を指示取得部３１０から受け取り、表示領域１１０に表示する。また、表示制御部３５０は、使用者の情報を移動させる指示を指示取得部３１０から受け取ったことに応じて、当該情報を移動させてよく、また、記憶部３３０が表示位置を記憶している場合は記憶部３３０の情報を更新してよい。
【００７５】
また、表示制御部３５０は、実行部３４０から実行画面の情報を受け取った場合、表示領域１１０に当該実行画面を表示する。また、表示制御部３５０は、カーソル制御部３６０からカーソル表示の情報を受け取った場合、表示領域１１０に当該カーソルを表示する。また、表示制御部３５０は、記憶部３３０に記憶された情報に応じて、表示装置１００に当該情報を表示する。
【００７６】
情報表示システム１０は、ステップＳ３１０に戻り、使用者２０の検出と、使用者２０の認識対象による指示の検出と、使用者２０の指示に応じた情報の表示とを繰り返す。以上の本実施例に係る情報表示システム１０は、情報表示の指示を認識対象を用いたジェスチャーによって入力させ、操作入力の最中に、指示用の物２４を手に持って当該物２４で操作入力することができる。また、情報表示システム１０は、ジェスチャー入力の最中に、指示用の物２４を手から離しても操作入力を続行することができる。
【００７７】
また、情報表示システム１０は、ジェスチャー入力の最中に、操作指示とは関係のない物２６を手に持っても、認識対象を切り替えて操作入力を続行することができる。
【００７８】
ここで、情報表示システム１０は、一例として、使用者２０が表示させていた情報、特定した認識対象の情報、複数回利用した情報またはアプリケーション等の情報、および予め使用者２０が登録した情報等を、使用者２０と対応づけて使用者２０の画像と共に記憶部３３０に記憶させる。また、この場合、指示取得部３１０は、ステップＳ３１０において使用者２０を検出する場合に、画像比較等の処理を実行して、記憶された使用者候補画像と検出された使用者画像が同一であるか否かを検出してよい。
【００７９】
指示取得部３１０は、一例として、記憶された使用者候補画像と検出された使用者画像が同一の場合、記憶された使用者２０の情報に応じて、操作モード、切替部３２２が切り替えるべき認識対象等を設定する。ここで、表示制御部３５０は、記憶された使用者２０に対応する情報、アプリケーション等を表示してよい。これによって、情報表示システム１０は、予め登録された使用者２０が表示装置１００の前に立つことで、当該登録された使用者２０に対応する情報を表示することができる。
【００８０】
例えば、情報表示システム１０は、使用者２０が表示装置１００の前に立つと、使用者２０の登録したＵＲＬのウェブサイトを表示するウィンドウを表示領域１１０に表示しつつ、使用者２０が以前に用いた操作モードで速やかな入力を開始させることができる。
【００８１】
以上の本実施形態にかかる情報表示システム１０の動作フローは、操作モードを予め定めること、および、使用者２０が操作モードを設定することを説明した。これに代えて、情報表示システム１０は、使用者２０が手に持った物に応じて、操作モードを切り替えてもよい。このような情報表示システム１０の動作フローについて、図４を用いて説明する。
【００８２】
図４は、本実施形態に係る情報表示システム１０の変形例の動作フローを示す。本変形例の動作フローにおいて、図３に示された本実施形態に係る情報表示システム１０の動作フローと略同一のものには同一の符号を付け、説明を省略する。
【００８３】
表示制御装置３００は、まず、初期設定として、使用者２０の操作モードを第１の操作モードに設定する（Ｓ３００）。次に、情報表示システム１０は、表示装置１００の前の使用者２０の存在を検出する（Ｓ３１０）。次に、指示取得部３１０は、使用者２０の認識対象を特定し、検出部３２０は、当該認識対象に変化があるかを検出する（Ｓ３２０）。
【００８４】
検出部３２０は、操作用の手２２が物を持ったことを検出した場合、当該物に応じた操作モードを決定する（Ｓ４００）。検出部３２０は、当該物が例えば棒状といった操作指示に関係する形状を有する場合に、操作モードを第１の操作モードとする。また、当該物が操作指示とは関係のない形状を有する場合に、操作モードを第２の操作モードとする。
【００８５】
検出部３２０は、例えば、当該物として検出した領域の形状が、棒状であるか否かを認識して操作モードを決定する。この場合、一例として、検出部３２０は、当該物として検出した領域の形状と、予め定められたパターン形状とを比較することにより、当該形状が棒状であるか否かを認識する。これに代えて、検出部３２０は、使用者２０が使用した物の画像情報を記憶部３３０に記憶しておき、過去に使用して記憶された物の画像と、物として検出された画像とを比較して、同一の物であると認識した場合に、操作モードを使用者２０が過去に当該物を用いた場合の操作モードと同一にしてよい。
【００８６】
次に、切替部３２２は、検出部３２０が決定した操作モードと、操作用の手２２が物を持ったことまたは離したことの検出結果とに応じて、認識対象を切り替える（Ｓ３３０、Ｓ３３２、Ｓ３４０、Ｓ３４２、Ｓ３４４、およびＳ３５２）。次に、指示取得部３１０は、認識対象の動作に応じた指示を検出する（Ｓ３６０）。次に、表示制御部３５０は、指示取得部３１０から受け取った使用者２０の指示に対応する情報を表示装置１００に表示する（Ｓ３７０）。
【００８７】
このように、検出部３２０は、操作用の手２２が持った物の形状に応じて、操作モードを決定するので、使用者２０は、操作モードを設定することなく、ジェスチャー入力を続けることができる。また、検出部３２０は、使用者２０が手に持った物の画像と当該物を用いた操作モードの情報とを記憶部３３０に記憶するので、使用者２０が情報表示システム１０を使用すれば使用するほど、操作モードを正確に決定することができる。
【００８８】
図５は、本実施形態に係る表示制御装置３００として機能するコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び、表示装置１００として機能しうる表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部を備える。
【００８９】
ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部を制御する。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００９０】
入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信インターフェイス２０３０は、実行部３４０の指示によって外部のネットワークと通信するハードウェアとして機能する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
【００９１】
また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
【００９２】
ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
【００９３】
コンピュータ１９００にインストールされ、コンピュータ１９００を表示制御装置３００として機能させるプログラムは、指示取得モジュールと、検出モジュールと、切替モジュールと、記憶モジュールと、実行モジュールと、表示制御モジュールと、カーソル制御モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、指示取得部３１０と、検出部３２０と、切替部３２２と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０としてそれぞれ機能させてよい。
【００９４】
これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である指示取得部３１０と、検出部３２０と、切替部３２２と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の表示制御装置３００が構築される。
【００９５】
一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
【００９６】
また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。
【００９７】
また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすか否かを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
【００９８】
また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、予め定められた条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
【００９９】
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
【０１００】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１０２】
１０  表示システム、２０  使用者、２２  操作用の手、２４  物、２６  物、５０  カーソル、１００  表示装置、１１０  表示領域、１１６  情報、２００  検出センサ装置、３００  表示制御装置、３０２  画像入力部、３１０  指示取得部、３２０  検出部、３２２  切替部、３３０  記憶部、３４０  実行部、３５０  表示制御部、３６０  カーソル制御部、１９００  コンピュータ、２０００  ＣＰＵ、２０１０  ＲＯＭ、２０２０  ＲＡＭ、２０３０  通信インターフェイス、２０４０  ハードディスクドライブ、２０５０  フレキシブルディスク・ドライブ、２０６０  ＣＤ−ＲＯＭドライブ、２０７０  入出力チップ、２０７５  グラフィック・コントローラ、２０８０  表示装置、２０８２  ホスト・コントローラ、２０８４  入出力コントローラ、２０９０  フレキシブルディスク、２０９５  ＣＤ−ＲＯＭ
【図１】
0005499106.tif 000002
【図２】
0005499106.tif 000003
【図３】
0005499106.tif 000004
【図４】
0005499106.tif 000005
【図５】
0005499106.tif 000006