(57)【要約】【課題】マウスの指示操作と等価な操作を実現できるようにする。【解決手段】受光画像生成部１５は、表示部１３に隣接して配置される受光部１３の複数の受光素子からの各受光信号に基づいて受光画像データを生成する。オブジェクト検出部１６は、その受光画像データから、表示部１３の表示面に接触又は近接する指等の物体に対応するオブジェクトを検出する。コマンド認識／発行部１７は、検出されたオブジェクトについての、位置関係、時間位置変化、および形状のうちの少なくとも１つに基づいて、操作者のコマンドとして、マウスで使用されるコマンドのうちの所定の１つを認識して発行する。表示画像生成部１１は、発行されたコマンドに従って画像データを生成し、その画像データに対応する画像を表示制御部１２を介して表示部１３に表示させる。本発明は、液晶表示ディスプレイやＥＬディスプレイ等に適用可能である。【選択図】図１
2008097172.tif 000002
【特許請求の範囲】
【請求項１】
画像の表示と受光とを同時又は交互に行う表示装置において、
マトリクス状に配置された複数の表示素子と、
前記複数の表示素子に隣接して配置されて、表示面に入射した光の受光を行う複数の受光素子と、
前記受光素子で受光した受光信号に基づいて、前記表示面に接触又は近接する物体の状態を画像データとして生成する受光画像生成部と、
前記受光画像生成部で生成した前記画像データから、前記表示面に接触又は近接する前記物体に対応する領域をオブジェクトとして検出するオブジェクト検出部と、
前記オブジェクト検出部により検出された前記オブジェクトについての、位置関係、時間位置変化、および形状のうちの少なくとも１つに基づいて、操作者の指示を、所定のマウス指示として認識する指示認識部と、
前記指示認識部により認識された前記所定のマウス指示に応じた所定の処理を実行する処理実行部と
を備える表示装置。
【請求項２】
前記オブジェクト検出部は、所定の一物体が前記表示面に接触又は近接しているときに前記受光画像生成部により生成された前記画像データから、前記所定の一物体に対応するオブジェクトを検出し、
前記指示認識部は、前記所定の一物体に対応する前記オブジェクトが前記オブジェクト検出部により検出されたとき、前記所定のマウス指示は、前記所定の一物体の位置にポインタを表示させるというポインタ表示指示であると認識し、
前記処理実行部は、前記指示認識部により認識された前記ポインタ表示指示に従って、前記表示面のうちの、前記所定の一物体に対応する前記オブジェクトの位置にポインタを表示させる表示制御処理を実行する
請求項１に記載の表示装置。
【請求項３】
前記受光画像生成部は、所定の時間間隔毎に、前記画像データを順次生成し、
前記オブジェクト検出部は、前記所定の一物体が前記表示面に接触又は近接している状態で移動している最中に前記受光画像生成部により連続的に順次生成される複数の画像データのそれぞれから、前記所定の一物体に対応する前記オブジェクトをそれぞれ検出し、
前記指示認識部は、前記複数の画像データのそれぞれから前記オブジェクトが前記オブジェクト検出部により検出される毎に、前記ポインタ表示指示であると繰り返し認識し、
前記処理実行部は、前記指示認識部により前記ポインタ表示指示が繰り返し認識される毎に、前記表示制御処理を繰り返し実行することで、前記ポインタの表示位置を、前記所定の一物体の移動軌跡に沿って移動させる
請求項２に記載の表示装置。
【請求項４】
前記オブジェクト検出部は、第１の物体が前記表示面に接触又は近接した状態で第２の物体が前記表示面に接触または近接したときに前記受光画像生成部により生成された前記画像データから、前記第１の物体に対応する第１のオブジェクトと、前記第２の物体に対応する第２のオブジェクトを検出し、
前記指示認識部は、前記オブジェクト検出部により検出された前記第１のオブジェクトと前記第２のオブジェクトとを比較し、前記第２の物体は前記第１の物体とは違うものと認識することで、前記所定のマウス指示を認識し、
前記処理実行部は、前記指示認識部により認識された前記所定のマウス指示に従って、前記表示面の表示内容を更新する表示制御処理を実行する
請求項１に記載の表示装置。
【請求項５】
前記オブジェクト検出部は、第１の物体が前記表示面に接触又は近接した状態で第２の物体が前記表示面に接触または近接したときに前記受光画像生成部により生成された前記画像データから、前記第１の物体に対応する第１のオブジェクトと、前記第２の物体に対応する第２のオブジェクトを検出し、
前記指示認識部は、前記オブジェクト検出部により検出された前記第１のオブジェクトと前記第２のオブジェクトとの位置関係に基づいて、前記所定のマウス指示とは、２以上のマウス指示のうちの何れのマウス指示であるのかを認識し、
前記処理実行部は、前記指示認識部により認識された前記所定のマウス指示に従って、前記表示面の表示内容を更新する表示制御処理を実行する
請求項１に記載の表示装置。
【請求項６】
前記指示認識部は、前記第１のオブジェクトの位置に対して前記第２のオブジェクトの位置が左側にある場合、左クリックによるマウス指示であると認識し、前記第１のオブジェクトの位置に対して前記第２のオブジェクトの位置が右側にある場合、右クリックによるマウス指示であると認識する
請求項５に記載の表示装置。
【請求項７】
前記オブジェクト検出部は、第１の物体と第２の物体とが前記表示面に接触又は近接した状態で前記受光画像生成部により生成された第１の画像データからオブジェクトを検出し、その後、前記第２の物体が前記表示面上から離された状態で前記受光画像生成部により生成された第２の画像データからオブジェクトを検出し、
前記指示認識部は、前記オブジェクト検出部により前記第１の画像データと前記第２の画像データとのそれぞれから検出された各オブジェクトを比較することで、前記第２の物体が前記表示面から離されたことを検知し、その検知によって前記所定のマウス指示を認識し、
前記処理実行部は、前記指示認識部により認識された前記所定のマウス指示に従って、前記表示面の表示内容を更新する表示制御処理を実行する
請求項１に記載の表示装置。
【請求項８】
画像の表示と受光とを同時又は交互に行う表示方法において、
マトリクス状に配置された複数の表示素子で表示を行い、
前記複数の表示素子のそれぞれに近接して配置された受光素子が出力する受光信号に基づいて、前記表示面に接触又は近接する物体の状態を画像データとして生成し、
生成された前記画像データから、前記表示面に接触又は近接する前記物体に対応する領域をオブジェクトとして検出し、
検出された前記オブジェクトについての、位置関係、時間位置変化、および形状のうちの少なくとも１つに基づいて、操作者の指示を、所定のマウス指示として認識し、
認識された前記所定のマウス指示に応じた所定の処理を実行する
ステップを含む表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、液晶表示ディスプレイやＥＬ（electro- luminescence ）ディスプレイに適用して好適な表示装置及び表示方法に関し、特にディスプレイを通じた操作を効率的、効果的に行う技術として、マウスの指示操作と等価な操作を行う技術に関する。
【背景技術】
【０００２】
従来、テレビジョン受像機などの表示装置の表示画面上に、その画面に触れることで操作が可能なタッチパネルを構成させる場合、表示装置とは別体のタッチパネルを表示画面上に重ねる構成が存在する（特許文献１参照）。
【０００３】
別体のタッチパネルを使用する構成としては、例えば、画面の上に透明で薄い入力検出装置を貼り付けたものがある。ディスプレイの表面に接触したことを検知する手段としては、圧力の変化を感知する抵抗膜式や、人体との接触で変化する静電気による電気信号を感知する静電容量式などのタッチパネルが実用化されている。ただし、これらのタッチパネルは、基本的に表面の１点のみの位置検出が可能であり、複数点の同時検出はできない。そのためタッチパネルを用いた操作入力装置においては、接触した１点の位置を基に使用者からの指示を判別するか、あるいは１点の位置の変化を基に指示を判別する方法が一般的であった。
【０００４】
また、特許文献２には、表示画面上の２次元方向の１点の指示位置の移動入力を受け付け、移動開始から移動終了までの１点の指示位置の座標変化に基づいて使用者からの指示内容を判別し、指示内容に応じた処理を行う操作入力受付装置についての開示がある。
【特許文献１】特開２００２−１８９３８９号公報
【特許文献２】特開２００４−３３６５９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ディスプレイを通した操作を分かりやすく、効率的に行うためには、ディスプレイの表面に直接触れて指示する方法が有効であるが、上述したように、従来のタッチパネルでは表示画面上の接触箇所を１点しか認識できないため、操作方法が限定され、画面上で実行できる処理に限界があった。
【０００６】
例えば、パーソナルコンピュータではポインティングデバイスとしてマウスを使用する操作方法が一般的に採用されている。マウスを使用する操作方法とは、マウス本体の動きによってポインタ（マウスカーソル）を動かし、マウス本体に取り付けられたボタンを押下することで選択などを行う操作をいう。かかるマウスの操作方法と等価な操作方法を、マウスを使用せずに従来のタッチパネルで実現しようとしても、従来のタッチパネルにおいては指等が接触したことではじめて位置情報が検出されるため、その後に更に「ボタンを押下する」という指示操作に相当する動作を規定することが極めて難しい。このため、一般的にマウスによる操作を、タッチパネルによる操作で置き換えることは実質上不可能である。
【０００７】
これらの従来のタッチパネルの不都合を解決するために、パネルを分割して複数点を検出できるようにしたタッチパネルも考案されている。しかしながら、かかるタッチパネルも、結局、各々限られた範囲の中で１点ずつを検出するものであり、画面上の自由な位置で複数の点を検知する事は難しい。また、赤外線式などの検出部を複数備えることで、複数点の位置検出ができる接触位置検出装置も考案されているが、画面外部に検出部を設置する必要があるなど、装置が大型化、複雑化するという問題があった。即ち、マウスによる操作を、このような接触位置検出装置等による操作で置き換えることもまた非常に困難である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、表示画面上に指等の物体を接触又は近接させる操作を行うだけで、マウスによる操作と等価な操作を実現できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の表示装置は、画像の表示と受光とを同時又は交互に行う表示装置であって、マトリクス状に配置された複数の表示素子と、前記複数の表示素子に隣接して配置されて、表示面に入射した光の受光を行う複数の受光素子と、前記受光素子で受光した受光信号に基づいて、前記表示面に接触又は近接する物体の状態を画像データとして生成する受光画像生成部と、前記受光画像生成部で生成した前記画像データから、前記表示面に接触又は近接する前記物体に対応する領域をオブジェクトとして検出するオブジェクト検出部と、前記オブジェクト検出部により検出された前記オブジェクトについての、位置関係、時間位置変化、および形状のうちの少なくとも１つに基づいて、操作者の指示として、所定のマウス操作による指示と等価な指示がなされたと認識する指示認識部と、前記指示認識部により等価である認識された前記所定のマウス操作に応じた所定の処理を実行する処理実行部とを備える。
【００１０】
前記オブジェクト検出部は、所定の一物体が前記表示面に接触又は近接しているときに前記受光画像生成部により生成された前記画像データから、前記所定の一物体に対応するオブジェクトを検出し、前記指示認識部は、前記所定の一物体に対応する前記オブジェクトが前記オブジェクト検出部により検出されたとき、前記所定のマウス指示は、前記所定の一物体の位置にポインタを表示させるというポインタ表示指示であると認識し、前記処理実行部は、前記指示認識部により認識された前記ポインタ表示指示に従って、前記表示面のうちの、前記所定の一物体に対応する前記オブジェクトの位置にポインタを表示させる表示制御処理を実行する。
【００１１】
前記受光画像生成部は、所定の時間間隔毎に、前記画像データを順次生成し、前記オブジェクト検出部は、前記所定の一物体が前記表示面に接触又は近接している状態で移動している最中に前記受光画像生成部により連続的に順次生成される複数の画像データのそれぞれから、前記所定の一物体に対応する前記オブジェクトをそれぞれ検出し、前記指示認識部は、前記複数の画像データのそれぞれから前記オブジェクトが前記オブジェクト検出部により検出される毎に、前記ポインタ表示指示であると繰り返し認識し、前記処理実行部は、前記指示認識部により前記ポインタ表示指示が繰り返し認識される毎に、前記表示制御処理を繰り返し実行することで、前記ポインタの表示位置を、前記所定の一物体の移動軌跡に沿って移動させる。
【００１２】
前記オブジェクト検出部は、第１の物体が前記表示面に接触又は近接した状態で第２の物体が前記表示面に接触または近接したときに前記受光画像生成部により生成された前記画像データから、前記第１の物体に対応する第１のオブジェクトと、前記第２の物体に対応する第２のオブジェクトを検出し、前記指示認識部は、前記オブジェクト検出部により検出された前記第１のオブジェクトと前記第２のオブジェクトとを比較し、前記第２の物体は前記第１の物体とは違うものと認識することで、前記所定のマウス指示を認識し、前記処理実行部は、前記指示認識部により認識された前記所定のマウス指示に従って、前記表示面の表示内容を更新する表示制御処理を実行する。
【００１３】
前記オブジェクト検出部は、第１の物体が前記表示面に接触又は近接した状態で第２の物体が前記表示面に接触または近接したときに前記受光画像生成部により生成された前記画像データから、前記第１の物体に対応する第１のオブジェクトと、前記第２の物体に対応する第２のオブジェクトを検出し、前記指示認識部は、前記オブジェクト検出部により検出された前記第１のオブジェクトと前記第２のオブジェクトとの位置関係に基づいて、前記所定のマウス指示とは、２以上のマウス指示のうちの何れのマウス指示であるのかを認識し、前記処理実行部は、前記指示認識部により認識された前記所定のマウス指示に従って、前記表示面の表示内容を更新する表示制御処理を実行する。
【００１４】
前記指示認識部は、前記第１のオブジェクトの位置に対して前記第２のオブジェクトの位置が左側にある場合、左クリックによるマウス指示であると認識し、前記第１のオブジェクトの位置に対して前記第２のオブジェクトの位置が右側にある場合、右クリックによるマウス指示であると認識する。
【００１５】
前記オブジェクト検出部は、第１の物体と第２の物体とが前記表示面に接触又は近接した状態で前記受光画像生成部により生成された第１の画像データからオブジェクトを検出し、その後、前記第２の物体が前記表示面上から離された状態で前記受光画像生成部により生成された第２の画像データからオブジェクトを検出し、前記指示認識部は、前記オブジェクト検出部により前記第１の画像データと前記第２の画像データとのそれぞれから検出された各オブジェクトを比較することで、前記第２の物体が前記表示面から離されたことを検知し、その検知によって前記所定のマウス指示を認識し、前記処理実行部は、前記指示認識部により認識された前記所定のマウス指示に従って、前記表示面の表示内容を更新する表示制御処理を実行する。
【００１６】
本発明の一側面の表示方法は、画像の表示と受光とを同時又は交互に行う表示方法であって、マトリクス状に配置された複数の表示素子で表示を行い、前記複数の表示素子のそれぞれに近接して配置された受光素子が出力する受光信号に基づいて、前記表示面に接触又は近接する物体の状態を画像データとして生成し、生成された前記画像データから、前記表示面に接触又は近接する前記物体に対応する領域をオブジェクトとして検出し、検出された前記オブジェクトについての、位置関係、時間位置変化、および形状のうちの少なくとも１つに基づいて、操作者の指示として、所定のマウス操作による指示と等価な指示がなされたと認識し、等価である認識された前記所定のマウス操作に応じた所定の処理を実行するステップを含む。
【００１７】
本発明の一側面の表示装置および表示方法においては、画像の表示と受光とが同時又は交互に行われる。即ち、マトリクス状に配置された複数の表示素子で表示が行われ、前記複数の表示素子のそれぞれに近接して配置された受光素子が出力する受光信号に基づいて、前記表示面に接触又は近接する物体の状態が画像データとして生成され、生成された前記画像データから、前記表示面に接触又は近接する前記物体に対応する領域がオブジェクトとして検出され、検出された前記オブジェクトについての、位置関係、時間位置変化、および形状のうちの少なくとも１つに基づいて、操作者の指示として、所定のマウス指示が認識され、その所定のマウス指示に応じた所定の処理が実行される。
【発明の効果】
【００１８】
本発明によれば、表示面に接触又は近接する物体に対応するオブジェクトについての、位置関係、時間位置変化、および形状のうちの少なくとも１つに基づいて、操作者の指示を、所定のマウス指示として認識することが可能になる。その結果、操作者にとっては、表示画面上に指等の物体を接触又は近接させる操作を行うだけで、マウスの指示操作と等価な操作を実現できるようになる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
本発明の一側面の表示装置（例えば図１と図２の画像入出力装置１）は、
画像の表示と受光とを同時又は交互に行う表示装置において、
マトリクス状に配置された複数の表示素子（例えば図１の表示部１３）と、
前記複数の表示素子に隣接して配置されて、表示面に入射した光の受光を行う複数の受光素子（例えば図１の受光部１４）と、
前記受光素子で受光した受光信号に基づいて、前記表示面に接触又は近接する物体の状態を画像データとして生成する受光画像生成部（例えば図１の受光画像生成部１５）と、
前記受光画像生成部で生成した前記画像データから、前記表示面に接触又は近接する前記物体（例えば図７以降の指ｆ１，ｆ２）に対応する領域をオブジェクトとして検出するオブジェクト検出部（例えば図１のオブジェクト検出部１６）と、
前記オブジェクト検出部により検出された前記オブジェクトについての、位置関係、時間位置変化、および形状のうちの少なくとも１つに基づいて、操作者の指示を、所定のマウス指示として認識する指示認識部（例えば図１のコマンド認識／発行部１７）と、
前記指示認識部により認識された前記所定のマウス指示に応じた所定の処理を実行する処理実行部（例えば図１の表示画像生成部１１や表示制御部１２）と
を備える。
【００２１】
前記オブジェクト検出部は、所定の一物体（例えば図７の指ｆ１）が前記表示面に接触又は近接しているときに前記受光画像生成部により生成された前記画像データ（例えば図８の左上部の受光画像に対応する画像データ）から、前記所定の一物体に対応するオブジェクト（例えば図８の左下部のオブジェクト１４１）を検出し、
前記指示認識部は、前記所定の一物体に対応する前記オブジェクトが前記オブジェクト検出部により検出されたとき、前記所定のマウス指示は、前記所定の一物体の位置にポインタを表示させるというポインタ表示指示であると認識し、
前記処理実行部は、前記指示認識部により認識された前記ポインタ表示指示に従って、前記表示面のうちの、前記所定の一物体に対応する前記オブジェクトの位置（例えば図８の左下部の位置Ｇ１）にポインタを表示させる表示制御処理を実行する（例えば図８の右部のように、指ｆ１の位置にポインタ１５１を表示させる）。
【００２２】
前記受光画像生成部は、所定の時間間隔毎（例えばフィールドまたはフレーム周期で）、前記画像データを順次生成し（例えば動画データを構成するフィールドデータまたはフレームデータとして画像データを生成し）、
前記オブジェクト検出部は、前記所定の一物体が前記表示面に接触又は近接している状態で移動している最中に（例えば図８の状態から図９の状態に指ｆ１が移動している最中に）前記受光画像生成部により連続的に順次生成される複数の画像データのそれぞれから、前記所定の一物体に対応する前記オブジェクトをそれぞれ検出し（例えば図８の左下部と図９の下部のそれぞれに示されるように、各オブジェクト１４１をそれぞれ検出し）、
前記指示認識部は、前記複数の画像データのそれぞれから前記オブジェクトが前記オブジェクト検出部により検出される毎に、前記ポインタ表示指示であると繰り返し認識し、
前記処理実行部は、前記指示認識部により前記ポインタ表示指示が繰り返し認識される毎に、前記表示制御処理を繰り返し実行することで、前記ポインタの表示位置を、前記所定の一物体の移動軌跡に沿って移動させる（例えば図８から図９に示されるように、ポインタ１５１を移動させる）。
【００２３】
前記オブジェクト検出部は、第１の物体が前記表示面に接触又は近接した状態で第２の物体が前記表示面に接触または近接したときに（例えば図９の状態から図１０の状態に遷移したときに）前記受光画像生成部により生成された前記画像データから、前記第１の物体に対応する第１のオブジェクトと、前記第２の物体に対応する第２のオブジェクトを検出し（例えば図１１の左上部に示されるように、第1の指ｆ１に対応するオブジェクト１４１と、第２の指ｆ２に対応するオブジェクト１４２とを検出し）、
前記指示認識部は、前記オブジェクト検出部により検出された前記第１のオブジェクトと前記第２のオブジェクトとを比較し、前記第２の物体は前記第１の物体とは違うものと認識することで、前記所定のマウス指示（例えば「クリック」による指示）を認識し、
前記処理実行部は、前記指示認識部により認識された前記所定のマウス指示に従って、前記表示面の表示内容を更新する（例えば図１１や図１２に示されるように、ポインタ１５１が指し示すアイコン１５２を「選択済みの表示」にする）表示制御処理を実行する。
【００２４】
前記オブジェクト検出部は、第１の物体が前記表示面に接触又は近接した状態で第２の物体が前記表示面に接触または近接したときに（例えば図１３の状態になったとき）前記受光画像生成部により生成された前記画像データから、前記第１の物体に対応する第１のオブジェクトと、前記第２の物体に対応する第２のオブジェクトを検出し（例えば図１３の左下部に示されるように、第1の指ｆ１に対応するオブジェクト１４１と、第２の指ｆ２に対応するオブジェクト１４２とを検出し）、
前記指示認識部は、前記オブジェクト検出部により検出された前記第１のオブジェクトと前記第２のオブジェクトとの位置関係（例えば図１３のオブジェクト１４１の位置Ｇ１とオブジェクト１４２の位置Ｇ２との位置関係）に基づいて、前記所定のマウス指示とは、２以上のマウス指示のうちの何れのマウス指示であるのかを認識し、
前記処理実行部は、前記指示認識部により認識されたマウス指示に従って、前記表示面の表示内容を更新する（例えば図１３の例では、第１の指ｆ１の位置にあるアイコン１５２のコンテキストメニュー１５３を表示する）表示制御処理を実行する。
【００２５】
前記指示認識部は、前記第１のオブジェクトの位置に対して前記第２のオブジェクトの位置が左側にある場合（例えば図１２の状態の場合）、左クリックによるマウス指示であると認識し、前記第１のオブジェクトの位置に対して前記第２のオブジェクトの位置が右側にある場合（例えば図１３の状態の場合）、右クリックによるマウス指示であると認識する。
【００２６】
前記オブジェクト検出部は、第１の物体と第２の物体とが前記表示面に接触又は近接した状態で前記受光画像生成部により生成された第１の画像データ（例えば図２９の上部の状態で生成された画像データであって、図２９の下部の受光画像に対応する画像データ）からオブジェクトを検出し、その後、前記第２の物体が前記表示面上から離された状態で前記受光画像生成部により生成された第２の画像データ（例えば図３０の上部の状態で生成された画像データであって、図３０の下部の受光画像に対応する画像データ）からオブジェクトを検出し、
前記指示認識部は、前記オブジェクト検出部により前記第１の画像データと前記第２の画像データとのそれぞれから検出された各オブジェクトを比較することで、前記第２の物体が前記表示面から離されたことを検知し、その検知によって前記所定のマウス指示を認識し、
前記処理実行部は、前記指示認識部により認識された前記所定のマウス指示に従って、前記表示面の表示内容を更新する表示制御処理を実行する。
【００２７】
本発明の一側面の表示方法は、画像の表示と受光とを同時又は交互に行う表示方法において、
マトリクス状に配置された複数の表示素子で表示を行い（例えば図１の表示部１３の処理）、
前記複数の表示素子のそれぞれに近接して配置された受光素子が出力する受光信号に基づいて、前記表示面に接触又は近接する物体の状態を画像データとして生成し（例えば図１の受光部１４からの受光信号に基づく図１の受光画像生成部１５の処理）、
生成された前記画像データから、前記表示面に接触又は近接する前記物体に対応する領域をオブジェクトとして検出し（例えば図１のオブジェクト検出部１６の処理であって、図１４のステップＳ１乃至Ｓ４等の処理）、
検出された前記オブジェクトについての、位置関係、時間位置変化、および形状のうちの少なくとも１つに基づいて、操作者の指示を、所定のマウス指示として認識し（例えば図１のコマンド認識／発行部１７の処理であって、図１４のステップＳ５等の処理）、
認識された所定のマウス指示に応じた所定の処理を実行する（例えば図１の表示画像生成部１１や表示制御部１２の処理）
ステップを含む表示方法。
【００２８】
以下、本発明の一実施の形態を、図１乃至図３４を参照して説明する。
【００２９】
図１は、本発明が適用される情報処理システムの機能的構成例を示す機能ブロック図である。
【００３０】
図１の情報処理システムは、本発明が適用される画像処理装置としての画像入出力装置１と、情報処理装置２とから構成されている。
【００３１】
画像入出力装置１は、自身が生成した画像データや、情報処理装置２から入力された画像データを、操作者に認識可能な画像として表示することができる。また、画像入出力装置１は、所定の画像データを取得するためのコマンド等の各種情報を、情報処理装置２に適宜出力することもできる。
【００３２】
詳細には、画像入出力装置１は、表示画像生成部１１乃至コマンド認識／発行部１７を含むように構成されている。
【００３３】
表示画像生成部１１は、表示部１３において動画像や静止画像を表示するための画像データを生成し、表示制御部１２に提供する。なお、以下、動画像と静止画像とを区別する必要がない場合、それらをまとめて単に画像と称する。
【００３４】
また、表示画像生成部１１は、必要に応じて、情報処理装置２と各種情報の授受を行う。なお、授受される情報の具体例については、後述する。
【００３５】
表示制御部１２は、表示画像生成部１１からの画像データを、表示部１３の画面に表示できる形式およびタイミングの形態に変換し、表示部１３に提供する。表示部１３は、表示制御部１２からの画像データを、認識可能な画像として画面に表示する。これにより、操作者は画像を視認できるようになる。
【００３６】
受光部１４は、複数の受光素子がマトリクス状に配置されて構成されている。複数の受光素子のそれぞれからは、受光量に基づく信号（以下、受光信号と称する）が出力され、受光画像生成部１５にそれぞれ提供される。
【００３７】
受光部１４は、例えば、表示部１３と同一平面上又は重ね合わさられて配置されている。従って、受光部１４は、表示部１３が画像を表示している最中にその表示部１３に対して入射された光を、受光することになる。
【００３８】
換言すると、操作者は、表示部１３に表示された画像を観察しつつ、光による指示を表示部１３に対して行うことができる。このとき、その光が受光部１４の各受光素子に入射され、その指示に応じたレベルをそれぞれ有する受光信号が各受光素子から出力されることになる。ここに、「光による指示」とは、受光部１４の複数の受光素子のうちの少なくとも一部の入射光の光量を変化させることをいう。この場合、入射光の光源は特に限定されず、また、入射光の光量の変化量、変化率、変化方向（明→暗の方向、または暗→明の方向）等も特に限定されない。例えば、外部の光源からの光を受光部１４に照射することによる指示（光量を増加させる指示）、外部の光源からの光を遮って影として与える指示（光量を減少させる指示）、或いは、光源として、外部の光源ではなく、表示部１３からの照射光の反射光を用いる指示等の様々な指示を、「光による指示」として採用することができる。
【００３９】
受光画像生成部１５は、受光部１４の複数の受光素子のそれぞれから出力された各受光信号に基づいて、１枚の静止画像の画像データ（以下、受光画像データと称し、それに対応する静止画像を受光画像と称する）を生成し、オブジェクト検出部１６に提供する。より正確には、受光部１４の各受光素子からの受光信号は順次出力されてくるので、受光画像生成部１５においては、複数の受光画像データが連続的に生成され、生成された順番で１枚ずつオブジェクト検出部１６に順次提供される。即ち、受光画像生成部１５は、１つの受光画像を例えばフィールドまたはフレームとして、複数のフィールドまたはフレームから構成される動画像のストリームデータを生成して、オブジェクト検出部１６に提供する。換言すると、以下、単に受光画像と称している場合、それは、１つのフレームまたはフィールドを意味する。
【００４０】
オブジェクト検出部１６は、受光画像生成部１５からの受光画像データからオブジェクトを１以上検出する。
【００４１】
ここに、オブジェクトとは、受光画像内の領域であって、所定の規則に従って形成される一領域をいう。例えば、受光画像が複数の画素から構成されているとすると、所定の規則に従って連結される１以上の画素の集合体（以下、連結要素と称する）が、オブジェクトの一例である。
【００４２】
オブジェクト検出部１６は、さらに、各オブジェクトに関する各種情報（以下、これらの各種情報をまとめてオブジェクト情報と称する）をそれぞれ生成する。例えば、オブジェクトが持つ様々な属性情報、より具体的には例えば、その重心の座標、その中心の座標、その面積、その形状等が、オブジェクト情報としてオブジェクト検出部１６により生成される。
【００４３】
オブジェクト検出部１６により生成された各オブジェクト情報は、コマンド認識／発行部１７に提供される。
【００４４】
なお、オブジェクト情報の生成機能は、オブジェクト検出部１６が有する必要は特に無く、後述するコマンド認識／発行部１７に委譲してもよい。この場合、オブジェクト検出部１６が、オブジェクトを検出し、その検出結果をコマンド認識／発行部１７に提供する。そして、コマンド認識／発行部１７が、その検出結果に基づいて、オブジェクト情報を生成することになる。
【００４５】
いずれにしても、コマンド認識／発行部１７は、各オブジェクト情報に基づいて、表示部１３に対して操作者が与えた「光による指示」とは如何なるコマンドであったのかを認識し、即ち、操作者が画像入出力装置１に対して与えたコマンドを認識し、そのコマンドを表示画像生成部１１に発行する。
【００４６】
ここで、所定の「光による指示」に対して、「ポイント」、「ドラッグ＆ドロップ」、「右クリック」、「左クリック」等の各種マウス操作のうちの所定のマウス操作による指示（以下、マウス指示と称する）を対応付けておくことで、コマンド認識／発行部１７は、表示部１３に対して操作者が与えた所定の「光による指示」とは、対応するマウス指示であると擬制し、そのマウス指示に対応するコマンドを表示画像生成部１１に発行することができる。即ち、操作者が各種の「光による指示」を行うと、画像入出力装置１は、対応するマウス指示が行われた場合の動作（以下、マウス動作と称する）と等価な動作を実行する。ただし、この具体例については、図７以降の図面を参照して後述する。
【００４７】
また、コマンド認識／発行部１７の詳細例等については、図２を参照して後述する。
【００４８】
このようにしてコマンド認識／発行部１７から所定のコマンドが発行されると、表示画像生成部１１は、その所定のコマンドに従って表示部１３の表示画像を変更すべく、新たな画像データを生成し、表示制御部１２に提供する。すると、表示部１３の表示画像は、その所定のコマンドに従って更新されることになる。
【００４９】
なお、表示画像生成部１１は、表示画像データを自身で生成せずに、コマンド認識／発行部１７から発行されたコマンドを、外部の情報処理装置２に提供するようにしてもよい。この場合、情報処理装置２は、得られたコマンドによって表示させる画像データを変更し、即ち新たな画像データを生成し、表示画像生成部１１に提供する。表示画像生成部１１は、その画像データを表示制御部１２に提供する。すると、この場合も、表示部１３の表示画像は、そのコマンドに従って更新されることになる。換言すると、画像データの生成機能は、画像入出力装置１が有する必要は特に無く、外部の情報処理装置２に委譲することも可能である。
【００５０】
なお、表示部１３の画面表示の状態によっては、ある時だけコマンドの発行が必要になる場合がある。例えば、画面の右端にソフトウエアボタンが出現する場合である。この場合は、コマンド認識／発行部１７は、自身でコマンドを認識せずに、オブジェクト情報を表示画像生成部１１を介して情報処理装置２に提供し、情報処理装置２側でコマンドを認識させるようにしてもよい。或いは、情報処理装置２または表示画像生成部１１が、表示画像内のソフトウエアボタンの座標位置およびその有無を認識し、点線矢印で示されているように、その認識結果をコマンド認識／発行部１７に提供し、コマンド定義を新たに追加して、コマンド認識／発行部１７がコマンドの発行有無を判断するようにしてもよい。
【００５１】
図２は、図１の画像入出力装置１のうちのコマンド認識／発行部１７の詳細な機能的構成例を示している。
【００５２】
図２の例のコマンド認識／発行部１７は、検出結果保持部２１乃至コマンド発行部２７を含むように構成されている。
【００５３】
オブジェクト検出部１６から出力された各オブジェクト情報は、検出結果保持部２１、時間位置変化型コマンド認識部２２、位置関係型コマンド認識部２３、形状型コマンド認識部２４、および複合型コマンド認識部２５のそれぞれに提供される。
【００５４】
コマンド定義保持部２６には、所定のオブジェクト情報に基づいて所定のコマンドを判定するための条件が１以上保持されている。
【００５５】
本実施の形態では、判定されるオブジェクト情報の種類に応じて次の４つの型のコマンドが定義されている。
【００５６】
即ち、１つ目の型のコマンドは、オブジェクト情報のうちの、オブジェクトの形状に基づいて判定されるコマンドである。以下、このような１つ目の型のコマンドを、形状型コマンドと称する。
【００５７】
２つ目の型のコマンドは、オブジェクト情報のうち、オブジェクトの座標位置に基づいて判定されるコマンドである。かかる２つ目の型のコマンドには、１つのオブジェクトの座標位置のみに基づいて判定されるコマンドと、複数のオブジェクトの各々の座標位置の関係に基づいて判定されるコマンドとが存在する。以下、このような２つ目の型のコマンドを、位置関係型コマンドと称する。
【００５８】
３つ目の型のコマンドは、オブジェクト情報のうち、オブジェクトの時間位置変化に基づいて判定されるコマンドである。即ち、上述したように、受光画像生成部１５においては、時間的に連続して複数の受光画像データが順次生成される。それらに対応する複数の受光画像のうちの時間差がある２以上の受光画像における、同一オブジェクトの座標位置の変化の関係に基づいて判定されるコマンドが、３つ目の型のコマンドである。以下、このような３つ目の型のコマンドを、時間位置変化型コマンドと称する。
【００５９】
４つ目の型のコマンドは、オブジェクト情報のうちの、上述したオブジェクトの形状、オブジェクトの座標位置、および、オブジェクトの時間位置変化のうちの２以上の情報を複合的に用いて判定されるコマンドである。以下、このような４つ目の型のコマンドを、複合型コマンドと称する。
【００６０】
さらに以下、形状型コマンド、位置関係型コマンド、時間位置変化型コマンド、および複合型コマンドのそれぞれの詳細について、その順番で個別に説明していく。
【００６１】
はじめに、形状型コマンドについて説明する。
【００６２】
１つの形状型コマンドに対してオブジェクトの１以上の形状が対応付けられており、この対応関係が条件として、コマンド定義保持部２６に保持されている。そこで、形状型コマンド認識部２４は、オブジェクト検出部１６から提供されたオブジェクト情報のうちのオブジェクトの形状を取得し、その形状と、コマンド定義保持部２６に保持されている各種条件とを比較する。そして、その形状と合致する条件がコマンド定義保持部２６に保持されている場合には、形状型コマンド認識部２４は、その条件により特定される形状型コマンド、即ち、その形状に対応付けられた形状型コマンドが、操作者により指示されたコマンドであると認識し、その認識結果をコマンド発行部２７に通知する。
【００６３】
ここで、オブジェクトの形状とは、丸や四角等のオブジェクトのかたちの他、オブジェクトの所定部分の長さや幅、オブジェクトの大きさ（面積）等、或いは、それらの１以上の組合せを含む広義な概念である。
【００６４】
次に、位置関係型コマンドについて説明する。
【００６５】
１つの位置関係型コマンドに対して、１つのオブジェクトの所定の座標位置、または、複数のオブジェクトの各々の座標位置の所定の関係が対応付けられており、この対応関係が条件として、コマンド定義保持部２６に保持されている。そこで、位置関係型コマンド認識部２３は、オブジェクト検出部１６から提供されたオブジェクト情報のうちの各オブジェクトの各座標位置を取得し、座標位置単体や２以上の座標位置の関係と、コマンド定義保持部２６に保持されている各種条件とをそれぞれ比較する。そして、各座標位置のうちの所定の１つの位置、または、２以上の座標位置の所定の関係と合致する条件がコマンド定義保持部２６に保持されている場合には、位置関係型コマンド認識部２３は、その条件により特定される位置関係型コマンド、即ち、各座標位置のうちの所定の１つの位置、または、２以上の座標位置の所定の関係に対応付けられた位置関係型コマンドが、操作者により指示されたコマンドであると認識し、その認識結果をコマンド発行部２７に通知する。
【００６６】
なお、オブジェクトの座標位置は、受光画像内におけるオブジェクトを一意に特定できる位置であれば特に限定されない。例えば、オブジェクトの重心、中心、所定の端点等の各座標位置を、オブジェクトの座標位置として採用できる。なお、受光画像生成部１５により生成される受光画像が複数の画素からなる場合、受光画像における所定の画素位置が、オブジェクトの座標位置として採用される。
【００６７】
また、複数のオブジェクトの各々の座標位置の所定の関係とは、各々の座標位置が示す各点の絶対的な位置関係、受光画像内における各点の相対的な位置関係、それらを組み合わせた関係等を含む広義な概念である。
【００６８】
前者の関係、即ち、各点の絶対的な位置関係としては、例えば、各点の絶対距離に基づく関係や、各点を結んで形成される形状に基づく関係を採用できる。
【００６９】
一方、後者の関係、即ち、各点の相対的な位置関係としては、例えば、受光画像を基準とした各点の配置関係、具体的には例えば、各点の全てが受光画像の下側または上側にあるという関係を採用できる。
【００７０】
次に、時間位置変化型コマンドについて説明する。
【００７１】
１つの時間位置関係型コマンドに対して、オブジェクトの所定の時間位置変化が対応付けられており、この対応関係が条件として、コマンド定義保持部２６に保持されている。そこで、時間位置変化型コマンド認識部２２は、オブジェクト検出部１６から提供されたオブジェクト情報のうちのオブジェクトの座標位置を取得し、また、検出結果保持部２１に保持されている同一オブジェクトの過去の座標位置を１以上取得し、それらの座標位置の時間位置変化を認識し、その変化と、コマンド定義保持部２６に保持されている各種条件とを比較する。そして、その変化と合致する条件がコマンド定義保持部２６に保持されている場合には、時間位置変化型コマンド認識部２２は、その条件により特定される時間位置変化型コマンド、即ち、その時間位置変化に対応付けられた時間位置変化型コマンドが、操作者により指示されたコマンドであると認識し、その認識結果をコマンド発行部２７に通知する。
【００７２】
なお、オブジェクトの座標位置は、位置関係型コマンド認識部２３で利用される情報と基本的に同様のものを採用できる。
【００７３】
また、オブジェクト検出部１６から提供されるオブジェクトの座標位置とは、動画像を構成する複数の受光画像（フレームまたはフィールド）のうちの、処理対象として注目すべき受光画像（以下、注目受光画像と称する）における座標位置をいう。一方、検出結果保持部２１から提供されるオブジェクトの過去の座標位置とは、注目受光画像より過去に処理された受光画像における座標位置をいう。
【００７４】
即ち、検出結果保持部２１においては、受光画像生成部１５により１枚の受光画像データが生成され、それからオブジェクト情報がオブジェクト検出部１６により生成される度に、このオブジェクト情報が更新されていく。これにより、時間位置変化型コマンド認識部２２においては、注目受光画像におけるオブジェクトの座標位置（最新のデータ）と、例えば注目受光画像の１つ前の受光画像における同一オブジェクトの座標位置（１つ前のデータ）との比較が可能になる。もちろん、検出結果保持部２１は、１つ前の状態のみを残しておくだけでなく、複数枚の過去の受光画像データ毎のオブジェクト情報をそれぞれ保持しておくこともでき、この場合には、過去一定時間との間での比較も可能になる。
【００７５】
また、時間位置変化型コマンド認識部２２が認識するオブジェクトの時間位置変化は、時間的変化を表現可能な情報であれば特に限定されず、オブジェクトの移動方向、移動量、それらを組み合わせた移動ベクトル、移動速度等を採用できる。
【００７６】
次に、複合型コマンドについて説明する。
【００７７】
１つの複合型コマンドに対しては、オブジェクトの形状、座標位置、時間位置変化等のうちの２以上が複合されたものが条件として対応付けられており、かかる条件が、コマンド定義保持部２６に保持されている。そこで、複合型コマンド認識部２５は、オブジェクト検出部１６から提供された各種オブジェクト情報を取得し、また必要に応じて、検出結果保持部２１に保持されている過去のオブジェクト情報（座標位置等）を取得し、それらを用いた各種組合せと、コマンド定義保持部２６に保持されている各種条件とを比較する。そして、所定の組合せと合致する条件がコマンド定義保持部２６に保持されている場合には、複合型コマンド認識部２５は、その条件により特定される複合型コマンドが、操作者により指示されたコマンドであると認識し、その認識結果をコマンド発行部２７に通知する。
【００７８】
コマンド定義保持部２６は、上述した様に、オブジェクト検出部１６から提供されたオブジェクト情報等が、所定のコマンドに対応付けられているか否かを判断するための定義（条件）を保持している。コマンド定義保持部２６は、あらかじめ設定されている定義だけでなく、時間位置変化型コマンド認識部２２乃至複合型コマンド認識部２５からコマンド定義保持部２６に引かれた各矢印で示されるように、操作者の操作によって発生したオブジェクト情報に基づく新たな定義を保持することも可能である。また、上述したように、表示部１３の画面表示の状態との比較が必要になる場合、例えば、画面の右端にソフトウエアボタンが出現するような場合、表示画像生成部１１からコマンド定義保持部２６に引かれた矢印で示されるように、コマンド定義保持部２６は、表示画像生成部１１または情報処理装置２から新たな定義を取得して、保持することもできる。
【００７９】
コマンド発行部２７は、時間位置変化型コマンド認識部２２乃至複合型コマンド認識部２５のうちの何れかにより認識されたコマンドを、表示画像生成部１１に対して発行する。
【００８０】
なお、複合型コマンド認識部２５の機能を、コマンド発行部２７に委譲することも可能である。この場合、コマンド発行部２７は、時間位置変化型コマンド認識部２２乃至形状型コマンド認識部２４の各認識結果を総合的に判断して、どのようなコマンドが操作者から発せられたかを最終的に判断して、そのコマンドを表示画像生成部１１に対して発行する。特に、オブジェクトの形状、位置関係、および時間位置変化のうちの２以上の条件が重なりあった状態が発生する場合、コマンド発行部２７は、その意味を判断し、最終的なコマンド、即ち、上述した複合型コマンドを発行する役目を負う。
【００８１】
以上説明した図１または図２に示される１つの機能ブロックは、ハードウエア単体で構成してもよいし、ソフトウエア単体で構成してもよいし、或いは、それらの組合せで構成してもよい。また、図１または図２に示される機能ブロックは、特に図示しないが、他の機能ブロックと結合した機能ブロックとして構成してもよいし、分割して複数の小機能ブロックとして構成してもよい。
【００８２】
以下の図３乃至図６の例（以下、本例と称する）は、図２の機能的構成を有する画像入出力装置１を、液晶表示ディスプレイとして構成された表示装置に適用した例であり、その液晶表示ディスプレイを構成する各発光素子に隣接して受光素子を配置して、発光（表示）と受光（読み取り）とを並行して行えるように構成した例である。ここでは、発光（表示）と受光（読み取り）を並行して行える本例のディスプレイを、表示／受光ディスプレイと称する。即ち、図１の表示部１３と受光部１４とを組み合わせたものの一例が、本例の表示／受光ディスプレイである。また、後述するように本例の表示／受光ディスプレイは、画面を触れた状態である接触だけでなく、画面に近接した物体についても検出が可能であり、以下の説明で接触の検出と述べた場合には、特に説明がある場合を除いて、近接の検出をも含むようにしてある。
【００８３】
図３は、本例の表示装置の構成例を示すブロック図である。本例では、表示装置の入出力の処理を行う入出力処理部１０１と、画面上に表示した文書などの情報を編集するドキュメント処理部１０２から構成する場合について説明する。
【００８４】
表示信号生成部１１０は、例えば、ドキュメント処理部１０２から要求されたドキュメントや、その他のアプリケーションから要求された画像などの情報を表示するための表示データを生成し、その表示データを信号制御部１１１に送る。信号制御部１１１は、表示データを表示信号ドライバ１１２に送り、表示信号ドライバ１１２は表示／受光ディスプレイパネル部１２０で画像を表示させるための駆動を行う。
【００８５】
表示／受光ディスプレイパネル部１２０（表示／受光パネルと呼ぶ）は、液晶表示ディスプレイとして構成し、ガラス基板などの透明な基板上に透明電極などを配置して、表示エリア（センサエリア）１２１（図４参照）に、複数の画素（表示素子）をマトリクス状に形成したディスプレイであり、背面にバックライト（図示せず）を配置してある。本例のバックライトは、例えば複数の発光ダイオードが配列されたものを使用してあり、比較的高速でバックライトの点灯のオン・オフ制御ができるようにしてある。バックライトの点灯のオン・オフ制御は、表示信号ドライバ１１２での表示駆動に連動して行われる。表示信号ドライバ１１２による液晶表示ディスプレイの駆動としては、ディスプレイを構成する画素電極に、駆動用の電圧信号を印加することで行われる。
【００８６】
表示／受光パネル部１２０は、表示素子とは別に複数の受光素子を配置してある。即ち、例えば、後述する図４の表示エリア（センサエリア）１２１の各表示画素に隣接して、受光素子がマトリクス状に配置してあり、この受光素子への受光光量に対応して蓄積した信号電荷を、受光信号レシーバ１１３からの駆動で読み出す構成としてある。
【００８７】
信号制御部１１１は、表示信号ドライバ１１２へ表示データを送るとともに、上記表示及び受光の走査ラインの制御を行う表示側スキャナ１２７と受光側スキャナ１２８に対して駆動を指示する。
【００８８】
受光信号レシーバ１１３は、表示／受光パネル部１２０に入力された光を受光信号として読み出し、受光画像生成部１１４に送る。受光画像生成部１１４は、受光信号を基に表示画面に接触又は近接する物体の状態などを画像データとして生成する。受光画像生成部１１４には記憶装置（フレームメモリ（図示せず））があり、１フレーム毎の画像データを記憶する。この画像データは画像処理演算部１１５にて画像処理され、接触又は近接する物体の形状や大きさ、位置の変化などの判定を行う。この判定を行う際には、１フレーム前の判定結果との差分を判断して、接触状態の変化についても検出するようにしてある。また、本例においては、複数箇所の同時接触についても判定するようにしてある。画像処理演算部１１５での判定結果は、指示判定部１１６に送られ、その判定結果に基づいてどのように指示されたかを判断し、表示信号生成部１１０に送られる。表示信号生成部１１０では、実行中のアプリケーションに応じた所定の処理を行う。具体的な処理状態の例については後述する。
【００８９】
即ち、入出力処理部１０１が、図１の画像入出力装置１の一例である。具体的には、表示信号生成部１１０が表示画像生成部１１の一例であり、信号制御部１１１と表示信号ドライバ１１２とが表示制御部１２の一例であり、表示／受光パネル部１２０（表示側スキャナ１２７や受光側スキャナ１２８を含めてもよい）が表示部１３と受光部１４との組合せの一例であり、受光信号レシーバ１１３と受光画像生成部１１４が受光画像生成部１５の一例であり、画像処理演算部１１５が主にオブジェクト検出部１６の一例であり、指示判定部１１６が主にコマンド認識／発行部１７の一例である。なお、「主に」と記述したのは、コマンド認識／発行部１７の一部の機能を、画像処理演算部１１５が有している場合もあるからである。
【００９０】
次に、図４を参照して、本例の表示／受光パネル部１２０のドライバの配置例を説明する。図３に示したように、表示／受光パネル部１２０は、画面表示のための表示信号ドライバ１１２と受光のための受光信号レシーバ１１３を通して画像データの発光（表示）と受光（読み取り）を行うが、実際の構成としては、どちらも２次元の画像に対応するために水平方向と垂直方向の２組の装置で構成する。
【００９１】
表示／受光パネル部１２０は、図４に示すように、中央に透明な表示エリア（センサエリア）１２１が配置され、表示エリア１２１の４つの端面に、表示用水平（Ｈ）ドライバ１２２、表示用垂直（Ｖ）ドライバ１２３、センサ用水平（Ｈ）レシーバ１２５、センサ用垂直（Ｖ）レシーバ１２４を配置してある。表示用水平ドライバ１２２と表示用垂直ドライバ１２３には、表示用のデータとして、表示信号と制御クロックとが供給されて、表示エリア１２１にマトリクス状に配置された表示画素の駆動が行われる。センサ用水平レシーバ１２５とセンサ用垂直レシーバ１２４には、読み出し用のクロックが供給されて、そのクロックに同期して読み出された受光信号が、受光信号線を介して受光画像生成部１１４に供給される。
【００９２】
図５は、表示エリア１２１に配置された画素の１つの構成を示した図である。１つの画素１３１が備える表示のための構成としては、ここでは水平方向にゲート電極１３１ｈが配置してあり、垂直方向にドレイン電極１３１ｉが配置してあり、両電極の交点にスイッチング素子１３１ａが配置してあり、そのスイッチング素子１３１ａと画素電極１３１ｂが接続してある。スイッチング素子１３１ａは、ゲート電極１３１ｈを介して得られる信号によりオン・オフが制御され、ドレイン電極１３１ｉを介して供給される信号により、画素電極１３１ｂでの表示状態が設定される。
【００９３】
そして、画素電極１３１ｂに隣接した位置に、受光センサ（受光素子）１３１ｃが配置してあり、電源電圧VDDが供給される。この受光センサ（受光素子）１３１ｃには、リセットスイッチ１３１ｄとコンデンサ１３１ｅが接続してあり、リセットスイッチ１３１ｄでリセットされた後、コンデンサ１３１ｅで受光量に対応した電荷を蓄積するようにしてある。その蓄積された電荷に比例した電圧が、読み出しスイッチ１３１ｇがオンとなるタイミングで、バッファアンプ１３１ｆを介して、信号出力用電極１３１ｊに供給され、外部に出力される。リセットスイッチ１３１ｄのオン・オフは、リセット電極１３１ｋに得られる信号により制御され、読み出しスイッチ１３１ｇのオン・オフは、読出し制御電極１３１ｍに得られる信号により制御される。
【００９４】
図６は、画像の表示（発光）と受光とが、各フレーム期間に行われる状態を示した図である。図６の横軸は時間であり、縦軸は表示や受光を行う走査ライン（水平ライン）の位置を示してあり、表示信号の書き換えや受光信号の読出しは、ここでは１画面の最下段のラインから順に走査ラインを上に変化させて、最後に最上段のライン（１番目のライン）の走査を行う構成としてある。図６では、任意のフレーム位置である、ｎフレーム目の処理と、そのｎフレームの次のフレームであるｎ＋１フレーム目の処理を示してあり、同様の処理が継続して行われる。
【００９５】
ここでは、１フレーム期間は、例えば１ ／６０秒としてあり、図６に示すように、その１フレーム期間を前半と後半に２等分して分けてあり、前半はバックライトを点灯させる期間とし、後半はバックライトを消灯させる期間としてある。そして、受光信号の読出しについては、点灯期間と消灯期間のそれぞれで行うようにしてある。
【００９６】
さらに、バックライトオンの期間と、バックライトオフの期間とを、それぞれ２等分してある。ｎフレーム目では、表示のための画素電極の駆動ラインＧ１は、バックライトオンの期間の前半に、画面の下半分の走査を行って、そのラインの表示状態を、そのフレーム期間の画像に書き換えさせ、バックライトオンの期間の後半では、走査ラインを変化させずに休止期間としてある。バックライトオフの期間の前半には、画面の上半分の走査を行って、そのラインの表示状態を、そのフレーム期間の画像に書き換えさせ、バックライトオフの期間の後半では、走査ラインを変化させずに休止期間としてある。
【００９７】
受光処理については、ｎフレーム目では、バックライトオンの期間の前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ１を行い、バックライトオンの期間の後半に、全てのラインの受光信号を順に読み出す処理ＲＤ１を行い、それぞれのセンサで一定期間蓄積した受光信号を読み出す。同様に、バックライトオフの期間の前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ２を行い、バックライトオフの期間の後半に、全てのラインの受光信号を順に読み出す処理ＲＤ２を行い、それぞれのセンサで一定期間蓄積した受光信号を読み出す。
【００９８】
このようにして、１フレーム当り、バックライトがオンでいわゆる自発光時の受光信号読出しと、バックライトがオフで消灯時の受光信号読出しの２回の読出しが行われる。その１フレームの２回の読出し信号は、受光画像生成部１１４内のフレームメモリ（図示せず）に入力されて、各画素位置の信号ごとに差分が検出され、その差分の信号が、ノイズ除去された差分受光信号として、画像処理演算部１１５に送られる。
【００９９】
次に、指などの１以上の物体の表示面への近接または接触に基づく操作がなされたとき、その操作に対応する所定のマウス操作がなされた場合のマウス動作と等価な動作を、図２の機能的構成を有する画像入出力装置１が行う例について説明する。
【０１００】
即ち、操作者は、マウス操作の代わりとして、１以上の物体（ここでは操作者の指とする）を、表示部１３の表示面（以下、適宜表示画面または画面と称する）に接触又は近接させる操作（以下、指操作と称する）を行うとする。
【０１０１】
この場合、所定の指操作がなされると、それに対応する所定のマウス操作がなされたときに発行されるコマンド、即ち、所定のマウス操作に対応する所定のマウス動作を実行させるコマンドが、コマンド認識／発行部１７により認識され、表示画像生成部１１に対して発行される。すると、表示画像生成部１１が、そのコマンドに従った画像データを新たに生成して、その新たな画像データに対応する画像を、表示制御部１２を介して表示部１３に表示させる。これにより、表示部１３の表示内容が更新される。このようにして、所定のマウス操作がなされた場合のマウス動作と等価な動作が行われる。
【０１０２】
より具体的には、画像入出力装置１が、次の第１の動作乃至第４の動作を行う場合を例として、以下、説明していく。
【０１０３】
即ち、第１の動作とは、画面上に接触または近接した第１の物体（１つの指）の位置に、ポインタを表示させる、という動作である。以下、かかる第１の動作を、ポインタ表示動作と称する。
【０１０４】
第２の動作とは、２以上の物体が接触または近接した状態のまま画面上を所定の軌跡で移動したとき、その所定の軌跡に沿って所定の表示物（ポインタや、アイコン等）を移動させる、という動作である。以下、かかる第２の動作を、表示物移動動作と称する。
【０１０５】
例えば、ポインタ表示動作後に、第１の物体（１つの指）が接触または近接した状態のまま画面上を所定の軌跡で移動したとき、その所定の軌跡に沿ってポインタを移動させる、という動作が表示物移動動作の一例である。
【０１０６】
また例えば、ポインタ表示動作後に、後述する第３の動作によって、所定のアイコンが選択された状態で、第１の物体と第２の物体（２つの指）が接触または近接した状態のまま画面上を所定の軌跡で移動したとき、その所定の軌跡に沿って所定のアイコンを移動させるという動作、即ち、マウスの「ドラッグ」の操作がなされたときのマウス動作と等価な動作が、表示物移動動作の一例である。
【０１０７】
第３の動作とは、第１の物体（１つの指）が画面上に接触または近接した状態で、第１の物体から離間して第２の物体（別の指）が画面上に接触または近接したときに、第２の物体を第１の物体とは違うものと認識し、その認識がなされたことは所定のマウス操作（例えば「クリック」の操作）が行われたことと等価であるとして、その所定のマウス操作に対応するマウス動作を実行する、という動作である。以下、かかる第３の動作を、別物体認識動作と称する。
【０１０８】
第４の動作とは、第１の物体（１つの指）が画面上に接触または近接した状態で、第１の物体から離間して第２の物体（別の指）が画面上に接触または近接したときに、第１の物体と第２の物体の位置関係に基づいて、２以上のマウス操作（例えば「左クリック」と「右クリック」）のうちの何れの操作と等価な操作が行われたのかを認識し、その等価なマウス操作に対応するマウス動作を実行する、という動作である。以下、第４の動作を、位置関係認識動作と称する。
【０１０９】
第５の動作とは、第１の物体と第２の物体（２つの指）が画面上に接触または近接した状態から、第２の物体が画面から離れたたとき、そのことは所定のマウス操作が行われたのと等価であるとして、その所定のマウス操作に対応するマウス動作を実行する、という動作である。以下、かかる第５の動作を、別物体離脱検知動作と称する。
【０１１０】
例えば、例えば、上述したマウスの「ドラッグ」の操作と等価な操作がなされ、アイコンが移動している最中に指が離れたとき、そのことを検知し、マウスの「ドロップ」の操作がなされたことと等価であると判断し、移動していたアイコンを、その検知時点の位置に留めるという動作が、別物体離脱検知動作の一例である。
【０１１１】
以下、図７乃至図３３を参照して、ポインタ表示動作、表示物移動動作、別物体認識動作、位置関係認識動作、および、別物体離脱検知動作の具体例について、その順番で順次説明していく。
【０１１２】
なお、以下の例では、画像入出力装置１として例えばユーザ（操作者）が携帯可能な小型・薄型の表示装置として構成してあり、表示部１３の表示面を操作者が、２つの指、即ち第１の指ｆ１や第２の指ｆ２で触れることで、操作ができる構成としてある。この場合、表示部１３の表示面に、指などの反射物が触れた、あるいは近づいた場合、表示部１３に表示されている映像によって反射物が照射され、反射した光が再び表示部１３に戻り、これを受光部１４が受光し、その結果として受光画像生成部１５により受光画像データが得られ、オブジェクト検出部１６が、その受光画像データから、反射光に対応する領域を指のオブジェクトとして検出し、その指のオブジェクトの形状や位置等をオブジェクト情報として、コマンド認識／発行部１７に提供する。すると、コマンド認識／発行部１７は、そのオブジェクト情報等に対応付けられた所定のマウス動作と等価な動作を実行させるためのコマンドを認識し、それを表示画像生成部１１に発行することで、そのマウス動作と等価な動作を実現させる。
【０１１３】
はじめに、図７と図８を参照して、ポインタ表示動作の具体例について説明する。
【０１１４】
図７の上部に示したように表示部１３の画面上の所定の位置を操作者が第１の指ｆ１で触れた場合、図７の下部に示したような受光画像が得られる。この受光画像では、第１の指ｆ１に対応するオブジェクト１４１が検出される。
【０１１５】
なお、より正確には、図７の下部の受光画像とは、図１８乃至図２５を参照して後述する画像二値化処理後の画像（図２１参照）である。このことは、後述する図面に示される他の受光画像についても同様である。
【０１１６】
図７に示すような受光画像からオブジェクトを検出する処理は、オブジェクト検出部１６で行われる。オブジェクト検出部１６は、さらに、図８の左下部に示されるように、オブジェクト１４１の位置Ｇ１を、オブジェクト情報の1つとして算出し、コマンド認識／発行部１７に提供する。なお、オブジェクトの位置の算出手法の具体例については後述する。
【０１１７】
すると、コマンド認識／発行部１７は、その位置Ｇ１にポインタを移動させるコマンド（例えばマウス動作でいうWM_MOUSEMOVE）を、表示画像生成部１１に発行する。
【０１１８】
より具体的には例えば、「１本の指が接触または近接したときに、ポインタをその位置に移動させるコマンド（WM_MOUSEMOVE）を発行する」という定義を、コマンド定義保持部２６に保持させておき、位置関係型コマンド認識部２３が、１つの指に対応するオブジェクトの位置（ここではオブジェクト１４１の位置Ｇ１）をオブジェクト検出部１６から取得したとき、かかる定義から「ポインタをその位置に移動させるコマンド（WM_MOUSEMOVE）」を認識して、コマンド発行部２７を介して表示画像生成部１１に発行する。
【０１１９】
表示画像生成部１１は、オブジェクト１４１の位置Ｇ１にポインタを配置した画像を、画像データの形態で生成し、表示制御部１２に提供する。すると、図８の右部に示されるように、表示部１３の表示面には、第１の指ｆ１の位置にポインタ１５１が表示される。
【０１２０】
上述したように、受光画像生成部１５は、時間的に連続して複数の受光画像データを順次生成しており、オブジェクト検出部１６は、複数の受光画像データのそれぞれについて順次オブジェクトを検出している。なお、以下、動画像を構成する複数の受光画像データのうちの、処理対象として注目すべき受光画像データ（フィールドまたはフレームデータ）を、注目受光画像データと称し、この呼称に伴い、注目受光画像データに対応する画像を、注目受光画像と称する。
【０１２１】
即ち、オブジェクト検出部１６は、受光画像生成部１５から１枚ずつ受光画像データが順次提供されてくる毎に、それを注目受光画像データとして設定し、その注目受光画像データからオブジェクトを検出し、そのオブジェクト情報をコマンド認識／発行部１７に提供する、という処理を繰り返す。換言すると、受光画像データの生成単位（フレーム又はフィールド周期の単位）で、オブジェクト情報が順次生成され、生成された各オブジェクト情報がコマンド認識／発行部１７に順次提供されてくる。
【０１２２】
この場合、例えば図８の右部の状態から図９の上部の状態に遷移したとき、即ち、表示部１３の表示面上を所定の軌跡で第１の指ｆ１が移動したときには、第１の指ｆ１に対応するオブジェクト１４１の位置Ｇ１も、第１の指ｆ１の軌跡に従って移動していくことになる。即ち、第１の指ｆ１の軌跡に従って座標が刻々と変化していく各位置Ｇ１が、受光画像データの生成単位（フレーム又はフィールド周期の単位）で、オブジェクト検出部１６からコマンド認識／発行部１７に各オブジェクト情報のひとつとして順次提供されてくる。そこで、コマンド認識／発行部１７は、第１の指ｆ１の軌跡に従って座標が刻々と変化していく各位置Ｇ１が提供されてくる毎に、その提供時点の位置Ｇ１にポインタを移動させるコマンド（WM_MOUSEMOVE）を発行する、という処理を繰り返す。これにより、表示部１３の表示画面においては、ポインタ１５１が、第１の指ｆ１の軌跡に従って移動していくことになる。即ち、かかる動作が、上述した表示物移動動作の具体例である。
【０１２３】
なお、ポインタ１５１が表示された後に、第１の指ｆ１などの物体が表示部１３の表示面から離れた場合には、ポインタ１５１をその位置に固定させるようにしてもよいし、或いはポインタ１５１の表示を止める（表示部１３の表示面から消去させる）ようにしてもよい。
【０１２４】
次に、図１０乃至図１２を参照して、別物体認識動作の具体例について説明する。
【０１２５】
例えば図９の上部の状態から図１０の上部の状態に遷移した場合、即ち、操作者が、第１の指ｆ１を表示部１３の表示面に接触したまま、第２の指ｆ２を表示部１３の表示面に接触させた場合、図１０の下部に示したような受光画像が得られる。この受光画像では、第１の指ｆ１に対応するオブジェクト１４１に加えてさらに、第２の指ｆ２に対応するオブジェクト１４２が検出される。
【０１２６】
図１０に示すような受光画像からオブジェクトを検出する処理は、図７の場合と同様に、オブジェクト検出部１６で行われる。オブジェクト検出部１６は、さらに、図１１の左下部に示されるように、オブジェクト１４１の位置Ｇ１とオブジェクト１４２の位置Ｇ２とのそれぞれを、オブジェクト情報の1つとして算出し、コマンド認識／発行部１７に提供する。
【０１２７】
即ち、図１０の下部の受光画像が注目受光画像とされた場合、その注目受光画像についてのオブジェクト情報の一部として、図１１の左下部に示されるオブジェクト１４１の位置Ｇ１（以下、注目位置Ｇ１と称する）とオブジェクト１４２の位置Ｇ２（以下、注目位置Ｇ２と称する）とが、オブジェクト検出部１６からコマンド認識／発行部１７に提供される。
【０１２８】
ここで、注目受光画像の１つ前の受光画像が図９の下部の受光画像とし、そのオブジェクト情報の一部として、図９の下部に示されるオブジェクト１４１の位置Ｇ１（以下、直前位置Ｇ１と称する）が検出結果保持部２１に保持されているとする。
【０１２９】
この場合、時間位置変化型コマンド認識部２２は、オブジェクト検出部１６からの注目位置Ｇ１，Ｇ２と、検出結果保持部２１に保持されている直前位置Ｇ１とを比較することで、注目位置Ｇ２に位置するオブジェクト１４２と、直前位置Ｇ１や注目位置Ｇ１に位置しているオブジェクト１４１とは、異なる２つの物体の各オブジェクトであることを認識できる。
【０１３０】
即ち、第１の指ｆ１が表示部１３の表示面に接触または近接した状態で、第１の指ｆ１から離間して第２の指ｆ２が表示面に接触または近接したときに、時間位置変化型コマンド認識部２２は、オブジェクト１４２に対応する第２の指ｆ２を、オブジェクト１４１に対応する第１の指ｆ１とは違うものと認識できる。なお、この認識処理の詳細例については、図２８を参照して後述する。
【０１３１】
この場合、例えば「１本の指が画面のアイコン上に接触または近接した状態で、別の指が画面上に接触または近接したときに、そのアイコンを選択済み表示にする」という定義が、コマンド定義保持部２６に保持されていれば、時間位置変化型コマンド認識部２２は、かかる定義から「位置Ｇ１のアイコンを選択済み表示にさせる」というコマンドを認識し、コマンド発行部２７を介して表示画像生成部１１に発行する。
【０１３２】
すると、表示画像生成部１１は、図１１の右部に示されるように、第１の指ｆ１が接触しているアイコン１５２、即ち、ポインタ１５１が指し示すアイコン１５２を「選択済み表示」とさせた画像を、表示制御部１２を介して表示部１３に表示させる。即ち、ポインタ１５１がアイコン１５２を指し示している状態でマウスの「クリック」の操作がなされた場合のマウス動作と等価の動作が実行される。
【０１３３】
なお、アイコン１５２の「選択済み表示」の表示形態は、特に限定されず、図１１の例のように、単にアイコン１５２を反転表示させてもよい。ただし、第１の指ｆ１等の比較的大きな物体が表示部１３の表示面に接触または近接することになるので、それらの物体によりアイコン１５２が隠れて見にくくなる場合がでてくる。そこで、このような場合を考慮して、図１２に示されるように、アイコン１５２を拡大したり変更するような表示形態を採用して、アイコン１５２の視認性を向上させるようにしてもよい。
【０１３４】
次に、位置関係認識動作の具体例として、第１の物体（１つの指）が画面上に接触または近接した状態で、第１の物体から離間して第２の物体（別の指）が画面上に接触または近接した場合に、その第２の物体が、第１の物体に対して左側に位置するときには、マウスの「左クック」の操作がなされたと認識し、第１の物体に対して右側に位置するときには、マウスの「右クリック」の操作がなされたと認識し、認識された「左クリック」または「右クリック」の操作に対応するマウス動作を実行する、という例について説明する。
【０１３５】
具体的には例えば、「第１の指が画面上に接触または近接した状態で、第２の指が画面上の第１の指に対して左側に接触または近接したときに、マウスの「左クリック（押下操作）」がなされたとみなして、マウス動作でいうWM_LBUTTONDOWNを出力する」という定義（以下、左クリック押下定義と称する）と、「第１の指が画面上に接触または近接した状態で、第２の指が画面上の第１の指に対して右側に接触または近接したときに、マウスの「右クリック（押下操作）」がなされたとみなして、マウスでいうWM_RBUTTONDOWNを出力する」という定義（以下、右クリック押下定義と称する）が、コマンド定義保持部２６に保持されている例について説明する。
【０１３６】
この場合、図１０乃至図１２を参照して説明した別物体認識動作の場合と同様に、オブジェクト検出部１６からの注目位置Ｇ１，Ｇ２とが位置関係型コマンド認識部２３に提供されてきたとき、位置関係型コマンド認識部２３は、この注目位置Ｇ１，Ｇ２の位置関係から、第２の指ｆ２は第１の指ｆ１の左側に存在するのか、或いは右側に存在するのかを判定する。具体的には例えば、注目位置Ｇ２のｘ座標が、注目位置Ｇ１のｘ座標よりも大きい場合、第２の指ｆ２は第１の指ｆ１の右側に存在すると判定し、その逆の場合、第２の指ｆ２は第１の指ｆ１の左側に存在すると判定することができる。
【０１３７】
そして、位置関係型コマンド認識部２３は、第２の指ｆ２は第１の指ｆ１の右側に存在すると判定した場合には、右クリック押下定義より、WM_RBUTTONDOWNを認識し、コマンド発行部２７を介して表示画像生成部１１に発行する。
【０１３８】
これに対して、位置関係型コマンド認識部２３は、第２の指ｆ２は第１の指ｆ１の左側に存在すると判定した場合には、左クリック押下定義より、WM_LBUTTONDOWNを認識し、コマンド発行部２７を介して表示画像生成部１１に発行する。
【０１３９】
さらに、「WM_LBUTTONDOWN発行後、第２の指が画面上から離されたときに、マウス動作でいうWM_LBUTTONUPを出力する」という定義（以下、左クリック押上定義と称する）、「WM_RBUTTONDOWN発行後、第２の指が画面上から離されたときに、マウス動作でいうWM_RBUTTONUPを出力する」という定義（以下、右クリック押上定義と称する）、および、「第１の指が画面のアイコン上に接触または近接した状態で、WM_RBUTTONDOWN発行後、第２の指が画面上から離されたときに、そのアイコンのコンテキストメニューを表示する」という定義（以下、メニュー表示定義と称する）が、コマンド定義保持部２６に保持されているとする。
【０１４０】
この場合、位置関係型コマンド認識部２３は、WM_RBUTTONDOWN発行後に、オブジェクト検出部１６から注目位置Ｇ２が提供されてこなくなった段階で、第２の指ｆ２が表示部１３の画面から離れたと認識し、メニュー表示定義により、「アイコンのコンテキストメニューを表示させる」というコマンドを認識し、コマンド発行部２７を介して表示画像生成部１１に発行する。また、位置関係型コマンド認識部２３は、右クリック押上定義より、WM_RBUTTONUPというコマンドを認識し、コマンド発行部２７を介して表示画像生成部１１に発行する。
【０１４１】
一方、位置関係型コマンド認識部２３は、WM_LBUTTONDOWN発行後に、オブジェクト検出部１６から注目位置Ｇ２が提供されてこなくなった段階で、第２の指ｆ２が表示部１３の画面から離れたと認識し、左クリック押上定義より、WM_LBUTTONUPというコマンドを認識し、コマンド発行部２７を介して表示画像生成部１１に発行する。
【０１４２】
以上の例、即ち、第２の指ｆ２が画面から離されたことを検知して「アイコンのコンテキストメニューを表示させる」というコマンド、WM＿RBUTTONUPやWM_LBUTTONUP等のコマンドを発行する例が、別物体離脱検知動作の具体例である。
【０１４３】
より具体的には例えば、図１３の左上部に示されるように、表示部１３の表示面上にて、第１の指ｆ１が接触または近接した状態で、第２の指ｆ２が、第１の指ｆ１の右側に接触又は近接した場合、図１３の左下部に示されるような受光画像が得られ、その結果、図１３の右下部に示されるように、第１の指ｆ１に対応するオブジェクト１４１の位置Ｇ１と、第２の指ｆ２に対応するオブジェクト１４２の位置Ｇ２とが得られることになる。
【０１４４】
この場合、位置関係型コマンド認識部２３は、上述したように、右クリック押下定義より、WM_RBUTTONDOWNというコマンドを認識し、コマンド発行部２７を介して表示画像生成部１１に発行する。
【０１４５】
さらにその後、図１３の右上部に示されるように、第２の指ｆ２が表示部１３の表示面から離れた場合には、図示はしないが、第１の指ｆ１に対応するオブジェクト１４１のみが検出され、その結果、オブジェクト１４１の位置Ｇ１のみが得られるようになる。即ち、第２の指ｆ２のオブジェクト１４２の位置Ｇ２は、注目受光画像のオブジェクト情報としては得られなくなる。
【０１４６】
この段階で、位置関係型コマンド認識部２３は、第２の指ｆ２が表示部１３の画面から離されたと認識し、メニュー表示定義により、「第１の指ｆ１が接触しているアイコン１５２のコンテキストメニューを表示させる」というコマンドを認識し、コマンド発行部２７を介して表示画像生成部１１に発行する。また、位置関係型コマンド認識部２３は、右クリック押上定義より、WM_RBUTTONUPというコマンドを認識し、コマンド発行部２７を介して表示画像生成部１１に発行する。
【０１４７】
すると、表示画像生成部１１は、図１３の右上部に示されるように、第１の指ｆ１が接触しているアイコン１５２のコンテキストメニュー１５３を含む画像を、表示制御部１２を介して表示部１３に表示させる。即ち、ポインタ１５１がアイコン１５２を指し示している状態でマウスの「右クリック」の操作がなされた場合のマウス動作と等価の動作が実行される。
【０１４８】
なお、別物体離脱検知動作の際にコマンドを認識する機能ブロック、即ち、「アイコンのコンテキストメニューを表示させる」というコマンド、WM＿RBUTTONUPやWM_LBUTTONUP等のコマンドを認識する機能ブロックとしては、上述した例では位置関係型コマンド認識部２３が採用されたが、上述した例に限定されず、その他例えば、時間位置変化型コマンド認識部２２が採用されてもよい。
【０１４９】
以上の図７乃至図１３を参照して説明した動作のうちの、オブジェクト検出部１６とコマンド認識／発行部１７により実行される処理例を説明するフローチャートが、図１４乃至図１７に示されている。
【０１５０】
なお、各ステップの処理の動作主体は、以下に説明する例に限定されず、逆でもよい。即ち、以下の例ではオブジェクト検出部１６が実行しているステップの処理は、コマンド認識／発行部１７が実行するようにしてもよい。逆に、以下の例ではコマンド認識／発行部１７が実行しているステップの処理は、オブジェクト検出部１６が実行するようにしてもよい。
【０１５１】
図１４のステップＳ１において、オブジェクト検出部１６は、注目受光画像データ（以下、適宜画像データと略称する）を受光画像生成部１５から取得する。
【０１５２】
ステップＳ２において、オブジェクト検出部１６は、受光画像データから、指のオブジェクト候補を検出するための画像処理を実行する。なお、この画像処理の詳細例については、図１８乃至図２５を参照して後述する。
【０１５３】
ステップＳ３において、オブジェクト検出部１６は、ステップＳ２の画像処理結果に基づいて、表示部１３の表示面に指が接触しているか否かを判定する。
【０１５４】
なお、ここでいう「接触」とは、実際には、接触状態だけではなく、近接している状態も含む広義な概念である。フローチャートの説明で利用する他の「接触」についても同様である。
【０１５５】
また、ステップＳ３の処理は、ここではオブジェクト検出部１６が実行するとしているが、実装上、コマンド認識／発行部１７が実行した方がよい場合もある。その理由は、次の通りである。即ち、オブジェクト検出部１６は、主処理として、上述したように、指の候補となるオブジェクトの属性情報を、即ち例えば、面積、重心位置、中心位置、エリア（ラベルとも称する）の端の座標、長軸や短軸の長さ等を、オブジェクト情報として検出する、といった処理を実行する。これに対して、ステップＳ３の指が接触しているか否かの判断処理を行うためには、前提条件として、指の候補として検出されたオブジェクトは、本当に指のオブジェクトであるのか否かの判断処理が必要である。即ち、そのオブジェクトは指のオブジェクトであると判断するためには、例えばオブジェクトの面積が大きすぎても小さすぎても指のオブジェクトといえないことから、「オブジェクトの面積がある範囲内に収まっている」という条件を設定して、この条件を満たすか否かの判断を行う必要がある。或いはまた例えば、細長いマッチ棒のような形状のオブジェクトは指のオブジェクトとはいえないことから、「オブジェクトはほぼ丸い形状を有している」という条件を設定して、この条件を満たすか否かの判断を行う必要がある。このような判断処理は、オブジェクト検出部１６が実行するよりも、コマンド認識／発行部１７の例えば形状型コマンド認識部２４（図２参照）が実行する方が好適だからである。
【０１５６】
なお、このようなステップＳ３の判断処理の詳細例については、図２６と図２７を参照して後述する。
【０１５７】
ステップＳ３において指が接触していないと判定された場合、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
【０１５８】
これに対して、ステップＳ３において指が接触していると判定された場合、処理はステップＳ４に進む。
【０１５９】
ステップＳ４において、オブジェクト検出部１６は、指位置の座標を算出する。ここでいう指位置の座標とは、上述した図７乃至図１３の例でいう位置Ｇ１や位置Ｇ２の座標である。即ち、以下、第１の指とは、図７乃至図１３の例でいう第１の指ｆ１を指し、その結果、第１の指の位置とは、図７乃至図１３の例でいう位置Ｇ１を指す。一方、第２の指とは、図７乃至図１３の例でいう第２の指ｆ２を指し、その結果、第２の指の位置とは、図７乃至図１３の例でいう位置Ｇ２を指す。
【０１６０】
ステップＳ４の処理結果は、オブジェクト検出部１６からコマンド認識／発行部１７にオブジェクト情報のひとつとして提供される。その後、処理はステップＳ５に進む。ステップＳ５において、コマンド認識／発行部１７は、WM_MOUSEMOVEを出力する。
【０１６１】
これにより、図７と図８とを用いて説明したポインタ表示動作の具体例が実現される。即ち、表示部１３には、ポインタ１５１が表示されるようになる。
【０１６２】
ステップＳ６において、コマンド認識／発行部１７は、指は一本か否かを判定する。
【０１６３】
ステップＳ４の処理で座標が算出された指の位置が、第１の指ｆ１の位置Ｇ１のみであった場合には、ステップＳ６において、指は一本であると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
【０１６４】
即ち、ステップＳ１乃至Ｓ６の処理が繰り返されることで、図８と図９を用いて説明した表示物移動動作の具体例が実現される。即ち、表示部１３の表示面においては、第１の指ｆ１の移動に応じて、ポインタ１５１が移動していくことになる。
【０１６５】
その後、上述した図１０等の状態になると、即ち、第２の指も表示部１３の表示面上に接触された状態になると、ステップＳ４の処理では、第１の指の位置のみならず、第２の指の位置も算出されることになる。このような場合、ステップＳ６の処理では指は一本ではないと判定されて、処理は図１５のステップＳ７に進む。
【０１６６】
ステップＳ７において、コマンド認識／発行部１７は、第２の指のｘ座標は第１の指のｘ座標よりも大きいか否かを判定する。
【０１６７】
表示部１３の表示面において、第２の指が第１の指の左側で接触していた場合には、第２の指のｘ座標は第１の指のｘ座標以下となる。従って、このような場合、ステップＳ７の処理でＮＯであると判定されて、処理はステップＳ８に進む。
【０１６８】
ステップＳ８において、コマンド認識／発行部１７は、WM_LBUTTONDOWNを出力する。
【０１６９】
ステップＳ９において、コマンド認識／発行部１７は、第１の指の位置にアイコンはあるか否かを判定する。
【０１７０】
ステップＳ９において、第１の指の位置にアイコンはあると判定した場合、コマンド認識／発行部１７は、ステップＳ１０において、第１の指の位置にあるアイコンの画像を「選択済み表示」にする、というコマンドを発行する。これにより、処理はステップＳ１１に進む。
【０１７１】
なお、ステップＳ９とＳ１０の処理は、情報処理装置２（図２等）が実行するようにしてもよい。
【０１７２】
これにより、図１０乃至図１２を用いて説明した別物体認識動作の具体例が実現される。即ち、表示部１３の表示画面においては、ポインタ１５１が指し示すアイコン１５２が「選択済み表示」となる。
【０１７３】
これに対して、ステップＳ９において、第１の指の位置にアイコンはないと判定された場合、ステップＳ１０の処理は実行されずに、処理はステップＳ１１に進む。
【０１７４】
ステップＳ１１において、オブジェクト検出部１６は、画像データを受光画像生成部１５から取得する。
【０１７５】
ステップＳ１２において、オブジェクト検出部１６は、後述するステップＳ１３の判定処理を行うために必要な画像処理を実行する。なお、この画像処理は、図１４のステップＳ２の処理と基本的に同様の処理であり、その処理の詳細例については、図１８乃至図２５を参照して後述する。
【０１７６】
ステップＳ１３において、オブジェクト検出部１６は、ステップＳ１２の画像処理結果に基づいて、表示部１３の表示面から第２の指が離れたか否かを判定する。なお、この判定処理としては、図１４のステップＳ３の「指が接触しているか？」という判定処理と基本的に同内容の処理が行われる。ただし、ステップＳ３の判定処理では「２本の指が接触している」と判定される場合に、ステップＳ１３の処理では第２の指が離れていないと判定されることになる、それ以外の場合、ステップＳ１３の処理では第２の指が離れたと判定されることになる。
【０１７７】
ステップＳ１３において、第２の指が離れていないと判定された場合、処理はステップＳ１４に進む。この場合、上述した図１４のステップＳ４と同様の処理がオブジェクト検出部１６によりなされて、その処理結果、即ち、第１の指の位置と第２の指の位置とがオブジェクト情報のひとつとして出力される。そこで、コマンド認識／発行部１７は、ステップＳ１４において、そのうちの第１の指の位置の座標を取得し、ステップＳ１５において、WM_MOUSEMOVEを出力する。
【０１７８】
その後、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。即ち、第２の指が表示部１３の表示面から離されるまでの間、表示部１３の表示面においては、ポインタ１５１が、第１の指ｆ１の軌跡に従って移動していくことになる。
【０１７９】
その後、第２の指が表示部１３の表示面から離されると、ステップＳ１３の処理でＹＥＳであると判定されて、処理はステップＳ１６に進む。ステップＳ１６において、コマンド認識／発行部１７は、WM_LBUTTONUPを出力する。これにより、処理全体が終了となる。
【０１８０】
以上、ステップＳ７の処理でＮＯであると判定された場合、即ち、表示部１３の表示面において、第２の指が第１の指の左側で接触していた場合のそれ以降の処理について説明した。
【０１８１】
これに対して、表示部１３の表示面において、第２の指が第１の指の右側で接触していた場合には、ステップＳ７の処理でＹＥＳであると判定されて、処理は図１６のステップＳ１７に進む。
【０１８２】
ステップＳ１７において、コマンド認識／発行部１７は、WM_RBUTTONDOWNを出力する。
【０１８３】
その後、処理はステップＳ１８に進む。ステップＳ１８とＳ１９の処理は、上述した図１５のステップＳ９とＳ１０の処理と基本的に同様であり、また、ステップＳ２０乃至Ｓ２４のループ処理は、上述した図１５のステップＳ１１乃至Ｓ１５のループ処理と基本的に同様であるので、ここではその説明については省略する。
【０１８４】
なお、ステップＳ９とＳ１０の処理と同様に、ステップＳ１８とＳ１９の処理は、情報処理装置２（図２等）が実行するようにしてもよい。
【０１８５】
ステップＳ２０乃至Ｓ２４のループ処理実行中に、表示部１３の表示面から第２の指が離された場合、ステップＳ２２の処理でＹＥＳであると判定されて、処理は図１７のステップＳ２５に進む。
【０１８６】
図１７のステップＳ２５において、コマンド認識／発行部１７は、第１の指の位置にアイコンはあるか否かを判定する。
【０１８７】
ステップＳ２５において、第１の指の位置にアイコンはあると判定した場合、コマンド認識／発行部１７は、ステップＳ２６において、第１の指の位置にあるアイコンのコンテキストメニューを表示する、というコマンドを発行する。その結果、表示部１３には、上述した図１３の右上に示されるような画像、即ち、第１の指の位置にあるアイコンのコンテキストメニューを含む画像が表示部１３の表示面に表示される。その後、処理はステップＳ２７に進む。
【０１８８】
これに対して、ステップＳ２５において、第１の指の位置にアイコンはないと判定された場合、ステップＳ２６の処理は実行されずに、処理はステップＳ２７に進む。
【０１８９】
ステップＳ２７において、コマンド認識／発行部１７は、WM_RBUTTONUPを出力する。これにより、処理全体が終了となる。
【０１９０】
このようにして、位置関係認識動作の一具体例、即ち、第１の指が表示部１３の画面上に接触または近接した状態で、第１の指から離間して第２の指が画面上に接触または近接した場合に、その第２の物体が、第１の物体に対して左側に位置するときには、マウスの「左クック」の操作が行われたと認識し、第１の物体に対して右側に位置するときには、マウスの「右クリック」の操作が行われたと認識し、認識された「左クリック」または「右クリック」の操作によるマウス動作と等価な動作を実行する、という例が実現される。
【０１９１】
なお、WM_MOUSEMOVEは、図１４乃至図１７の処理例では、指位置または第１の指の位置の座標が、以前の座標とは異なる場合（即ち、指または第１の指が移動した場合）のみならず、指または第１の指が離れない（接触または近接している）限り、以前の座標と同じ場合（即ち、指または第１の指が移動しない場合）にも出力されるようになされている。ただし、指位置または第１の指の位置の座標が以前の座標と同じ場合、即ち、指または第１の指が移動しない場合には、WM_MOUSEMOVEの出力を禁止するようにしてもよい。
【０１９２】
以下、図１４乃至図１７の処理例のうちの、ステップＳ２等の画像処理、ステップＳ３の判定処理、ステップＳ４の処理、並びに、ステップＳ６，Ｓ７の判定処理等の詳細例について個別に説明していく。
【０１９３】
図１８は、ステップＳ２等の画像処理の詳細例を説明するフローチャートである。
【０１９４】
ステップＳ５１において、オブジェクト検出部１６は、画像二値化処理を実行する。
【０１９５】
具体的には例えば、図１４のステップＳ１において、図１９に示される受光画像に対応する画像データが取得されたとする。この画像データは、１フィールド期間におけるディスプレイ表面（図２の表示部１３と受光部１４の表面）に配置された各受光素子からの出力を再校正した結果得られたものである。図１９の例では、受光素子の出力が大きくなるほど、より白くなるようになされており、また、指が接触または近接している場所からの受光素子の出力は大きく、そうでない場所からの受光素子の出力は小さい値となるようになされている。
【０１９６】
この図１９の受光画像の横線Ｌに対応する画像データの水平ラインの各画素の信号レベル（輝度）が、図２０の上部に示されている。この場合、オブジェクト検出部１６は、画像二値化処理として、かかる水平ラインの各信号レベル（各画素値）と、スライスレベル（Ｓ）とを比較し、スライスレベル（Ｓ）以上である画素には「１」という画素値を付し、スライスレベル（Ｓ）未満である場合「０」という画素値を付す処理を実行する。かかる画像二値化処理が施された結果が、図２０の下部に示されている。なお、図２０の例では、スライスレベル（Ｓ）は固定されているが、必ずしも固定である必要は無い。例えば、画像データ全体の平均値からスライスレベル（Ｓ）を導出してもよいし、画像データから作成した平均化などのフィルタの値をスライスレベル（Ｓ）として算出してもよい。
【０１９７】
このような画像二値化処理を、図１９の受光画像に対応する画像データの全水平ラインについて同様に施した結果得られる画像が、図２１に示されている。
【０１９８】
図２１の例では、白い部分を多く含む領域、即ち画素値が「１」の画素（白い画素）を多く含む領域が、指等の物体に対応する領域である。しかしながら、かかる領域の内部には、画素値が「０」の画素（黒い画素）も存在しており、また、領域の境界もあいまいである。ここで、画素値が「１」の画素の集合体からなる領域、即ち、画素値が「１」の画素の連結成分をオブジェクトとして検出すると定義すると、図２１の状態の白い部分を多く含む領域はまだ、検出されたオブジェクトであるとはいえない。なお、かかる定義を採用したのは、オブジェクト情報を容易に作成できるから、例えば、オブジェクトの面積算出（後述するステップＳ５５参照）や、オブジェクトの位置（指位置の座標）の算出（上述した図１４のステップＳ４）等が容易に行えるからである。
【０１９９】
そこで、指のオブジェクトの候補（連結成分）を適切に検出すべく、さらに、図１８のステップＳ５２乃至Ｓ５４の処理が実行されるのである。
【０２００】
即ち、オブジェクト検出部１６は、ステップＳ５２において、ノイズ除去処理を実行し、ステップＳ５３において、孤立点除去処理を実行し、さらに、ステップＳ５４において、ラベリング処理を実行する。これにより、指のオブジェクトの候補となる幾つかの連結成分が生成される。
【０２０１】
なお、ステップＳ５２の処理でノイズ除去処理が実行される理由は、次の通りである。
【０２０２】
即ち、図２の受光画像生成部１５から出力された画像データ（図１９参照）は、受光部１４の各受光素子が持つばらつきや周囲環境によってノイズを含んだものになっている場合が多い。このノイズは、画像二値化処理（ステップＳ５１）の後にも残ることがあり、こうしたノイズが多く残っている場合は、後に行う孤立点除去処理（ステップＳ５３）やラベリング処理（ステップＳ５４）の際に処理量が著しく増加することがある。これを防止する為に、ステップＳ５２の処理でノイズ除去処理を実行するのである。
【０２０３】
ノイズ除去処理としては、様々な手法が提案されており、何れの手法を採用しても構わないが、ここでは次のような手法が採用されているとする。即ち、処理対象として注目すべき画素（以下、注目画素と称する）の周囲の幾つかの画素の状態を調査し、この状態によって注目画素の画素値を特定する、といった手法が採用されているとする。
【０２０４】
そして、ここでは例えば次のようなルールが規定されているとする。即ち、注目画素の８近傍の各画素のうちの画素値が「０」の画素の数（黒の画素数）が１個以下の場合、注目画素の画素値は「１」とする。即ち、注目画素は白の画素とする。一方、注目画素の８近傍の各画素のうちの画素値が「０」の画素の数（黒の画素数）が５個以上の場合、注目画素の画素値は「０」とする。即ち、注目画素は黒の画素とする。また、注目画素の８近傍の各画素のうちの画素値が「０」の画素の数（黒の画素数）が２個以上４個以下の場合、注目画素の画素値は元のままの値（二値化されているので「０」または「１」）とする、といったルールが規定されているとする。
【０２０５】
この場合、オブジェクト検出部１６は、画像二値化処理後の受光画像を構成する各画素を１つずつ注目画素として、上述したルールに従って注目画素の画素値を決定していく。なお、注目画素の設定手法は特に限定されないが、ここでは例えば、受光画像の左上から順次右側に注目画素を設定していき、右端の画素が注目画素に設定されたら、次に、１つ下の行（水平ライン）の左端の画素を注目画素に設定していく、という設定を最下行（最終水平ライン）まで繰り返していく、という設定手法が採用されているとする。
【０２０６】
なお、上述したルールはあくまでも一例であり、他のルールを採用してもよい。例えば、注目画素の画素値を「０」にする基準条件は、上述した例では黒の画素の数が１個以下とされたが、上述した例に限定されず、状況に応じて適宜変更することもできる。同様に、注目画素の画素値を「１」にする基準条件は、上述した例では黒の画素の数が５個以上とされたが、上述した例に限定されず、状況に応じて適宜変更することもできる。
【０２０７】
次に、ステップＳ５３の孤立点除去処理について、詳しく説明する。
【０２０８】
上述したように、ステップＳ５４のラベリング処理の結果得られた幾つかの連結成分の中から指のオブジェクトが検出されることになる。即ち、ステップＳ５４のラベリング処理の結果、指のオブジェクトの候補となる幾つかの連結成分が得られることになる。なお、ここでは、接触或いは近接している物体（ここでは指）に対応する画素データ（画素値）群が、オブジェクトとして検出されることになる。そこで、かかる検出処理を容易に行うべく、即ち、オブジェクト候補の数を減らすことを目的として、ノイズ除去処理後の画像データに含まれる幾つかの連結成分（オブジェクト候補）のうちの、明らかに接触あるいは近接している物体ではない連結成分、即ち、除去しきれなかったノイズにより形成された連結成分を除外する、といった処理を行うと好適である。かかる処理の一例として、図１８の例では、ステップＳ５３の孤立点除去処理が実行されるのである。
【０２０９】
具体的には例えば、ステップＳ５２のノイズ除去処理後の結果、図２２に示されるような受光画像（一部）が得られたとする。
【０２１０】
この場合、周囲が黒で囲まれた白の画素の集合体である連結成分I，IIが、指のオブジェクトの候補となる。
【０２１１】
後述するように、図２６のステップＳ６１の処理で面積閾値Ａが設定され、ステップＳ６２の処理でデータ中に面積Ａ以上の連結成分（画素数がＡ以上の連結成分）が、指のオブジェクトとして検出されることになる。
【０２１２】
この場合、面積とは、連結成分に属する画素の総数であるとし、面積閾値Ａ＝１００が設定されたとすると、この面積閾値Ａよりも遥かに小さい面積の連結成分（画素群）、例えば「5」以下の面積の連結成分は、指のオブジェクトではなくノイズであると判断できる。
【０２１３】
図２２の例では、連結成分Iは、３つの白い画素の集合体である。即ち、連結成分Iの面積は「３」である。そこで、かかる連結成分Iは有意なデータではないと判断し、即ち指のオブジェクトの候補ではないと判断し、連結成分Ｉを除去する、という処理が孤立点除去処理である。なお、連結成分Ｉを除去するとは、連結成分Ｉを構成する３つの白い画素を黒の画素に変換する、即ち、連結成分Ｉを構成する３つの画素の画素値を「１」から「０」に変換することを意味する。なお、連結成分IIは、１５の白い画素の集合体である。即ち、連結成分IIの面積は「１５」である。従って、連結成分IIは、孤立点除去処理では除去されずにそのまま残ることになる。即ち、図２２の受光画像（一部）に対して孤立点除去処理が施されると、図２３に示されるような画像が得られることになる。
【０２１４】
次に、ステップＳ５４のラベリング処理について、詳しく説明する。
【０２１５】
即ち、孤立点除去処理後の画像データの中から、画素値が「１」の画素（白い画素）の集合体からなる連結成分の１つ１つに一意のラベルを付す処理が、ラベリング処理である。
【０２１６】
具体的には例えば、ステップＳ５３の孤立点除去処理後の結果、図２４に示されるような受光画像（一部）が得られたとする。
【０２１７】
この場合、図２４の受光画像に対してラベリング処理が施されると、図２５に示されるように、４つの連結成分のそれぞれに対して、Label 01 , Label 02 , Label 03 , Label 04のそれぞれが付されることになる。
【０２１８】
このようにして、図１８のステップ５４のラベリング処理が実行されると、処理はステップＳ５５に進む。ステップＳ５５において、オブジェクト検出部１６は、ラベルが付された各連結成分の点（画素）の数を数える。
【０２１９】
このステップＳ５５の処理結果が、各連結成分の面積となる。具体的には例えば図２５の例の受光画像に対してステップＳ５５の処理が施されると、Label 01の連結成分の面積は「１８９」と、Label 02の連結成分の面積は「６」と、Label 03の連結成分の面積は「２３６」と、Label 04の連結成分の面積は「１８」と、それぞれ算出されることになる。
【０２２０】
この場合、例えば面積閾値Ａ＝１００が設定されたとすると、Label 01の連結成分と、Label 03の連結成分とのそれぞれが、指のオブジェクトとして検出されることになる。
【０２２１】
以上、図１４のステップＳ２等の画像処理（面積計算）の詳細について説明した。
【０２２２】
次に、ステップＳ２の処理として図１８の例の画像処理が施された後に実行されるステップＳ３の判定処理、即ち「指が接触しているか」否かの判定処理の詳細例について説明する。
【０２２３】
なお、上述したように、ステップＳ３の処理は、実装上、コマンド認識／発行部１７が実行した方がよい場合もあるが、以下の説明でも、上述した例に併せて、オブジェクト検出部１６が実行するとする。
【０２２４】
図２６は、ステップＳ３の判定処理の詳細例を説明するフローチャートである。
【０２２５】
ステップＳ６１において、オブジェクト検出部１６は、面積閾値：Ａを設定する。
【０２２６】
ステップＳ６２において、オブジェクト検出部１６は、画素数がＡ以上の連結成分は存在するか否かを判定する。
【０２２７】
上述したように、画素数がＡ以上の連結成分、即ち、面積がＡ以上の連結成分が、指のオブジェクトとして検出される。従って、画素数がＡ以上の連結成分が存在することは、その連結成分に対応する指が表示部１３の表示面に接触又は近接していることを意味する。従って、ステップＳ６２の処理で画素数がＡ以上の連結成分は存在すると判定された場合には、ステップＳ３の最終的な判定として、指が接触していると判定されるのである。
【０２２８】
なお、図２６の例では、面積閾値Ａで面積の下限を設定し、この面積閾値Ａ以上の面積を有する連結成分を、指のオブジェクトとして検出するようにした。従って、図２６の例では、指以外の大きな物体、例えば手のひら等が表示部１３の表示面に接触または近接しても、その大きな物体に対応する連結成分は、指のオブジェクトとして検出されてしまうことになる。そこで、さらに、面積閾値Ｂで面積の上限を設定して、指のオブジェクトの検出精度を高めるようにしてもよい。かかる場合のステップＳ３の判定処理の詳細例が、図２７のフローチャートに示されている。
【０２２９】
ステップＳ７１において、オブジェクト検出部１６は、面積閾値：Ａ，Ｂを設定する。
【０２３０】
ステップＳ７２において、オブジェクト検出部１６は、画素数がＡ以上Ｂ以下の連結成分は存在するか否かを判定する。
【０２３１】
このように、図２７の例では、画素数がＡ以上Ｂ以下の連結成分、即ち、面積がＡ以上Ｂ以下の連結成分が、指のオブジェクトとして検出される。従って、画素数がＡ以上Ｂ以下の連結成分が存在することは、その連結成分に対応する指が表示部１３の表示面に接触していることを意味する。従って、ステップＳ７２の処理で画素数がＡ以上Ｂ以下の連結成分は存在すると判定された場合には、ステップＳ３の最終的な判定として、指が接触していると判定されるのである。
【０２３２】
このようにして、ステップＳ３の処理で指が接触していると判定された場合、即ち、指のオブジェクトが１以上検出された場合、次のステップＳ４の処理で、指位置の座標、即ち、検出された１以上のオブジェクトの注目受光画像における配置位置の座標が算出される。
【０２３３】
この場合の座標は、各オブジェクトを一意に特定できる座標であれば特に限定されず、例えば、オブジェクトの中心位置や端点の座標を採用できる。ただし、ここでは、オブジェクトの重心位置の座標が、対応する指位置の座標として算出されるとする。
【０２３４】
この場合のオブジェクトの重心位置座標の算出手法自体も、特に限定されず、様々な手法を採用できる。以下、幾つかの手法について説明する。なお、以下の説明では、上述した図２５の連結成分のうちの、Label 01の連結成分とLabel 03の連結成分との重心位置座標が算出されるとする。
【０２３５】
この場合、例えば図２５のLabel 01の連結成分を構成する各画素をPn（nは１乃至189のうちの何れかの整数値）とし、この座標を（xn,yn）とすると、Label 01の連結成分の重心位置座標は、次のようにして算出される。
【０２３６】
即ち、Label 01の連結成分は189個の画素の集合体であるので、この189個の画素の位置座標の平均が、重心位置座標G01となる。即ち、重心位置座標G01=(（x1+x2+x3+…x189）/189, （y1+y2+y3+…y189）/189)となる。
【０２３７】
あるいは、Labelｋ（ここでは、ｋは01，02，03のうちの何れかの値）の重心位置座標Gkを求める式は、全画素を順に計算していく場合、次の式（１）のように表される。
Gｋ=((Σxi*wi)/ Σwi,(Σyi*wi)/ Σwi)    ・・・（１）
ただし、式（１）において、wiはLabelｋを持つ画素の場合には1として、そうでない場合には0とする。
【０２３８】
このようにして、ステップＳ４の処理により、指位置の座標として、Label 01の連結成分の重心位置座標G01，Label 03の連結成分の重心位置座標G03のそれぞれが算出される。なお、ここでいう重心位置座標Gkが、上述した、オブジェクトの位置Gi（上述した例では、iは1または２のうちの何れかの値）を意味する。
【０２３９】
従って、例えば、ステップＳ４の処理でLabel 01の連結成分の重心位置座標G01が、第１の指ｆ１に対応する位置Ｇ１として算出された場合には、図１４のステップＳ５の処理でWM_MOUSEMOVEが出力されると、表示部１３の表示面のうちの、重心位置座標G01にポインタ１５１（図８等参照）が表示されることになる。
【０２４０】
次に、図２８を参照して、図１４のステップＳ６と図１５のステップＳ７の判定処理等の詳細例について説明する。
【０２４１】
図２８の例では、中央部のフレームｎがｎ番目の受光画像を示し、上部のフレームｎ−１が、ｎ−１番目の受光画像、即ち、フレームｎの直前の受光画像を示している。そして、下部のフレームｎ−１＋フレームｎが、フレームｎ−１とフレームｎとを重ね合わせた図を示している。
【０２４２】
また、座標Go1が、フレームｎ−１におけるLabel 01の連結成分の重心位置座標を示している。一方、座標GN1が、フレームｎにおけるLabel 01の連結成分の重心位置座標を示し、座標GN2が、フレームｎにおけるLabel 02の連結成分の重心位置座標を示している。なお、ここでいうLabel 01の連結成分とLabel 02の連結成分とは、上述した図２５の例とは別のものであるとする。
【０２４３】
この場合、フレームｎ−１が注目受光画像とされた場合には、図１４のステップＳ４の処理で座標Go1がオブジェクト検出部１６により算出されて、フレームｎ−１のオブジェクト情報の一部として、コマンド認識／発行部１７に提供されてくる。
【０２４４】
この場合、座標Go1は、第１の指f1の位置座標であるとみなせるので、その後のステップＳ６の処理では、指は一本であると判定される。即ち、ステップＳ４の処理で算出された指位置の座標が1つだけの場合、ステップＳ６の処理では、指は一本であると判定される。
【０２４５】
すると、今度はフレームｎが注目受光画像に設定されて、ステップＳ１以降の処理が繰り返される。その結果、ステップＳ４の処理で座標GN1，GN2がオブジェクト検出部１６により算出されて、フレームｎのオブジェクト情報の一部として、コマンド認識／発行部１７に提供されてくる。
【０２４６】
このように、ステップＳ４の処理で算出された指位置の座標が２つの場合、ステップＳ６の処理では、指は一本ではないと判定されて、処理は図１５のステップＳ７に進む。
【０２４７】
このステップＳ７の判定処理を行う場合には、ステップＳ４の処理で算出された２つの指位置の座標のうちの、何れが第１の指の座標であり、何れが第２の指の座標であるのかを先ず判別する必要がある。即ち、図２８の例では、フレームｎにおける座標GN1，GN2のうち、何れが第１の指の座標であり、何れが第２の指の座標であるのかを判別する必要がある。そこで、以下、かかる判別手法の一例について説明する。
【０２４８】
なお、以下、説明の簡略上、動作主体は、時間位置変化型コマンド認識部２２であるとして説明していく。
【０２４９】
また、以下の説明では、フレームｎ−１における座標Go1に関する情報が、注目受光画像データの１つ前の受光画像データのオブジェクト情報（以下、直前オブジェクト情報と称する）として、図２の検出結果保持部２１に保持されているとする。そして、フレームｎにおける座標GN1，GN2に関する情報が、注目受光画像データのオブジェクト情報（以下、注目オブジェクト情報と称する）として、図２のオブジェクト検出部１６から時間位置変化型コマンド認識部２２に提供されてきたとする。
【０２５０】
この場合、注目オブジェクト情報と直前オブジェクト情報との位置関係は、図２８の下部に示されるようになる。
【０２５１】
この場合、図２の時間位置変化型コマンド認識部２２は、図２８の下部の情報を参照することで、座標GN1，GN2のうち、何れが第１の指の座標であり、何れが第２の指の座標であるのかを判別することができる。
【０２５２】
この判別手法自体は、特に限定されないが、ここでは、座標からの距離で判別する次のような手法が採用されているとする。即ち、フレームｎ−１における座標Go1が第１の指の座標であることを前提として、座標GN1，GN2のうちの座標Go1に最も近い方を、第１の指の座標であるとして、もう一方を、第２の指の座標とする、という手法が採用されているとする。
【０２５３】
この場合、時間位置変化型コマンド認識部２２は、座標Go1と座標GN1との距離と、座標Go1と座標GN2との距離とをそれぞれ演算し、座標GN1，GN2のうちの、座標Go1との距離が短い方を、第１の指の座標であるとして、もう一方を、第２の指の座標として判別する。図２８の例では、座標GN1が第１の指の座標であり、座標GN2が第２の指の座標であると判別される。
【０２５４】
その後、時間位置変化型コマンド認識部２２は、図１４のステップＳ７の処理として、第２の指のｘ座標は第１の指のｘ座標よりも大きいか否かを判定する。
【０２５５】
図２８の例では、第１の指のx座標とは、座標GN1のｘ座標x11であり、第２の指のx座標とは、座標GN2のｘ座標x12であり、同図から明らかなように、x11>x12であるので、ステップＳ２７に処理では、第２の指のｘ座標は第１の指のx座標よりも小さいと判定されて、図１５のステップＳ８以降の処理が実行されることになる。
【０２５６】
次に、図２９乃至図３２を参照して、位置関係認識動作と別物体離脱検知動作の具体例として、マウスの「ドラッグ＆ドロップ操作」と等価な操作を行うことで、それに対応する動作を実行する、という例について説明する。
【０２５７】
この例でも、「第１の指が画面上に接触または近接した状態で、第２の指が画面上の第１の指に対して左側に接触または近接したときに、マウスの「左クリック（押下操作）」がなされたとみなして、マウス動作でいうWM_LBUTTONDOWNを出力する」という定義、即ち、左クリック押下定義が、コマンド定義保持部２６に保持されているとする。この場合、図１１を用いて上述したように、位置関係型コマンド認識部２３は、第２の指ｆ２は第１の指ｆ１の左側に存在すると判定したときには、左クリック押下定義より、WM_LBUTTONDOWNというコマンドを認識し、コマンド発行部２７を介して表示画像生成部１１に発行する。これにより、アイコン１５２は選択状態となる。
【０２５８】
「アイコンが選択状態で、即ち、図１１の例では第１の指ｆ１がアイコン１５２を指し示しかつ第２の指ｆ２が表示部１３の表示面に接触している状態で、２本の指ｆ１，ｆ２が接触または近接したまま移動したときに、ポインタをその位置に移動させるコマンド（WM_MOUSEMOVE）を発行する」という定義（以下、ポインタ移動定義と称する）を、コマンド定義保持部２６に保持させておくとする。
【０２５９】
この場合、図２９の上部に示されるように、第１の指ｆ１と第２の指ｆ２とが接触または近接したまま表示部１３の表示面上を移動していくと、オブジェクト検出部１６からは、連続して得られる複数の受光画像毎に、即ちフレームまたはフィールド単位で、図２９の下部に示される様な第１の指ｆ１の位置Ｇ１と第２の指ｆ２の位置Ｇ２のそれぞれが順次検出され、コマンド認識／発行部１７に順次提供される。
【０２６０】
即ち、指ｆ１の移動軌跡に従って座標が刻々と変化していく各位置Ｇ１が、フレームまたはフィールド単位でコマンド認識／発行部１７に順次提供される。そこで、コマンド認識／発行部１７の位置関係型コマンド認識部２３は、座標が刻々と変化していく各位置Ｇ１が提供されてくる毎に、上述したポインタ移動定義より、その提供時点の位置Ｇ１にポインタを移動させるコマンド（WM_MOUSEMOVE）を発行する、という処理を繰り返す。これにより、表示部１３の表示面においては、ポインタ１５１が、第１の指ｆ１の軌跡に従って移動していくとともに、選択済みのアイコン１５２も、第１の指ｆ１の軌跡に従って移動していく。これにより、マウスの「ドラッグ」の操作がなされた場合のマウス動作と等価の動作が実現できる。即ち、かかる動作が、上述した表示物移動動作の具体例である。
【０２６１】
ここで、図３０の上部に示されるように、第２の指ｆ２が表示部１３の表示面から離されると、図３０の下部に示されるように、その後の受光画像データからは、第２の指ｆ２の位置Ｇ２は検出されなくなる。そこで、例えば、上述した左クリックク押上定義、即ち、「WM_LBUTTONDOWN発行後、第２の指が画面上から離された場合に、マウスでいうWM_LBUTTONUPを出力する」という定義が、コマンド定義保持部２６に保持されていれば、マウスの「ドロップ」の操作がなされた場合のマウス動作と等価の動作を実現できる。
【０２６２】
即ち、位置関係型コマンド認識部２３は、WM_LBUTTONDOWN発行後に、オブジェクト検出部１６から注目位置Ｇ２が提供されてこなくなった段階で、第２の指ｆ２が表示部１３の画面から離されたと認識し、左クリック押上定義より、WM_LBUTTONUPというコマンドを認識し、コマンド発行部２７を介して表示画像生成部１１に発行する。これにより、この時点の第１の指ｆ１の位置Ｇ１に、アイコン１５２で表されたファイルが移動する。このようにして、マウスの「ドロップ」の操作がなされた場合のマウス動作と等価の動作を実現できる。即ち、かかる動作が、別物体離脱検知動作の具体例である。
【０２６３】
以上の図２９と図３０を参照して説明した動作のうちの、オブジェクト検出部１６とコマンド認識／発行部１７により実行される処理例を説明するフローチャートが、図３１，図３２に示されている。
【０２６４】
なお、各ステップの処理の動作主体は、以下に説明する例に限定されず、逆でもよい。即ち、以下の例ではオブジェクト検出部１６が実行しているステップの処理は、コマンド認識／発行部１７が実行するようにしてもよい。逆に、以下の例ではコマンド認識／発行部１７が実行しているステップの処理は、オブジェクト検出部１６が実行するようにしてもよい。
【０２６５】
また、図３１のステップＳ１０１乃至Ｓ１０６および図３２のステップＳ１０７乃至Ｓ１１１までの処理は、上述した図１４のステップＳ１乃至Ｓ６および図１５のステップＳ７乃至Ｓ１０までの処理と基本的に同様であるので、ここではそれらの説明については省略する。また、図３２のステップＳ１０８の処理としては、例えば、図１６のステップＳ１７乃至図１７のステップＳ２７までの処理を採用できる。
【０２６６】
そこで、以下、図３２のステップＳ１１２以降の処理について説明する。
【０２６７】
即ち、ステップＳ１０９の処理でWM_LBUTTONDOWNが出力されて、ステップＳ１１０の処理で第１の指の位置にアイコンはあると判定されて、ステップＳ１１１の処理で、第１の指の位置にあるアイコンの画像が「選択済み表示」にされると、次のようなステップＳ１１２乃至Ｓ１１８の処理が実行されて、マウスの「ドラッグ＆ドロップ操作」がなされた場合のマウス動作と等価の動作が実現される。
【０２６８】
即ち、ステップＳ１１２において、オブジェクト検出部１６は、画像データを受光画像生成部１５から取得する。
【０２６９】
ステップＳ１１３において、オブジェクト検出部１６は、後述するステップＳ１１４の判定処理等を行うために必要な画像処理を実行する。なお、この画像処理は、図１４のステップＳ２の処理と基本的に同様の処理であり、その処理の詳細例については、図１８乃至図２５を参照して上述した通りである。
【０２７０】
ステップＳ１１４において、オブジェクト検出部１６は、ステップＳ１１３の画像処理結果に基づいて、表示部１３の画面から第２の指が離れたか否かを判定する。なお、この判定処理は、上述した図１４のステップＳ３の「指が接触しているか？」という判定処理と基本的に同内容の処理がなされる。ただし、ステップＳ３の判定処理では「２本の指が接触している」と判定される場合には、ステップＳ１１４の処理では第２の指が離れていないと判定され、それ以外の場合、ステップＳ１１４の処理では第２の指が離れたと判定される。
【０２７１】
ステップＳ１１４において、第２の指が離れていないと判定された場合、処理はステップＳ１１５に進む。この場合、上述した図１４のステップＳ４と同様の処理がオブジェクト検出部１６によりなされて、その処理結果、即ち、第１の指の位置と第２の指の位置の各座標が出力される。そこで、コマンド認識／発行部１７は、ステップＳ１１５において、そのうちの第１の指の位置の座標を取得し、ステップＳ１１６において、WM_MOUSEMOVEを出力することで、第１の指の位置にポインタを移動させる。
【０２７２】
その後、処理はステップＳ１１２に戻され、それ以降の処理が繰り返される。即ち、第２の指が表示部１３の表示面から離れるまでの間、表示部１３の表示面においては、ポインタ１５１が、第１の指ｆ１の軌跡に従って移動していき、それに伴い、アイコンも、第１の指ｆ１の軌跡に従って移動していくことになる。即ち、マウスの「ドラッグ」の操作がなされた場合のマウス動作と等価の動作が実現される。
【０２７３】
その後、第２の指が表示部１３の表示面から離れると、ステップＳ１１４の処理ＹＥＳであると判定されて、処理はステップＳ１１７に進む。ステップＳ１１７において、コマンド認識／発行部１７は、WM_LBUTTONUPを出力し、ステップＳ１１８において、第１の指の位置にアイコンを移動させ、ファイルをコピーする、というコマンドを発行する。即ち、マウスの「ドロップ」の操作がなされた場合のマウス動作と等価の動作が実現される。これにより、処理全体が終了となる。
【０２７４】
以上説明した図３２の例では、マウスの「ドラッグ」の操作がなされた場合のマウス動作と等価な動作を行っている間は、操作者は、第１の指と第２の指の２本を常に表示部１３の表示面に接触または近接させながら移動させる必要がある。この動作が煩雑な場合は例えば第２の指が接触または近接した段階で対象のアイコンが選択された状態（マウス動作でいうところのWM_LBUTTONDOWNの出力後状態）とし、この状態を、第２の指が離れても保持させる様にしても良い。この場合は第１の指がパネルに接触している間は常にその第１の指の位置に応じたドラッグ動作が維持され、第１の指が表示部１３の表示面から離れたときに選択解除（マウス動作でいうところのWM_LBUTTONUPの出力後状態）になるようにする。このようにすることで、操作者は、移動中（マウス動作でいうところのWM_MOUSEMOVEの出力継続状態）には第１の指の１本だけで指示を与えることができる。この場合には、図３１のステップＳ１０６でＮＯであると判定された後の処理としては、例えば図３３に示される処理が実行される。
【０２７５】
なお、図３２と図３３との処理の差異は、ステップＳ１１４とＳ２１４との判定処理のみである。即ち、図３２の例では、マウスの「ドラッグ」の操作がなされた場合のマウス動作と等価の動作中に第２の指が離れた場合に、ステップＳ１１４でＹＥＳであると判定されて、ステップＳ１１７，Ｓ１１８の処理により、マウスの「ドロップ」の操作がなされた場合のマウス動作と等価の動作が実現される。これに対して、図３３の例では、マウスの「ドラッグ」の操作がなされた場合のマウス動作と等価の動作中に第１の指が離れた場合に、ステップＳ２１４でＹＥＳであると判定されて、ステップＳ２１７，Ｓ２１８の処理により、マウスの「ドロップ」の操作がなされた場合のマウス動作と等価の動作が実現される。
【０２７６】
本実施の形態では、表示装置の表示エリアに接触または近接した物体を検出し、その接触部の状態を次のように判断する例について述べた。
複数の接触部(オブジェクト)の位置関係を基に操作指示を判断する。
・ 複数の接触部(オブジェクト)の時間位置変化を基に操作指示を判断する。
・ 複数の接触部（オブジェクト）の形状（大きさ等）を基に操作指示を判断する。
これらの状態を組み合わせたものや、操作する接触部の数、位置関係や移動方法などの他の条件と操作指示との対応を定義することで、他の画面操作や、文書データの他の編集処理を行わせることも可能である。また、画面操作だけでなく、特定のアプリケーションの処理を実行させることもできる。他のアプリケーションを実行させる場合は、そのアプリケーション処理部を入出力処理部１０１の外部、即ち図１の画像の入出力装置１の外部、例えば情報処理装置２等に組み込むように構成することで、処理を実現することができる。
【０２７７】
さらに、これらの操作指示を、コンピュータの操作に用いるマウスの「ポイント」「ムーブ」「右クリック」「左クリック」「ドラッグ」などの操作指示の代用指示として利用することが可能になる。
【０２７８】
以上の説明では、主に指などの反射物がディスプレイ表面に接触、あるいは近接した場合について述べてきた。しかし、本発明における表示部１３と受光部１４との組合せの一例である表示/受光パネル部１２０はディスプレイ表面に受光素子を二次元的に配置してあるので、これ以外の状況でも操作の指示が可能である。例えば、レーザーポインタなどの光源を複数使用する、あるいはビームの大きさを変える、ビームの形状を変える、更にはこれらを動かす、などによって操作の指示をしても良い。
【０２７９】
あるいはディスプレイ上に他の物体の像を結像させる、または影を検出するなど、受光画像が形成でき、かつそれが変化させられるものであれば何を用いても良い。例えば、クリップがディスプレイ上に置かれたら、特定のアプリケーションの処理を実行する、または、ディスプレイ上に鍵を置き、その鍵を右方向に回転させると「ロック」、左方向へ回転させると「ロック解除」などの処理を実行させることも可能である。
【０２８０】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０２８１】
この場合、図１の画像入出力装置１の少なくとも一部として、例えば、図３４に示されるパーソナルコンピュータを採用してもよい。
【０２８２】
図３４において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２８３】
CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。
【０２８４】
入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０２８５】
入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。
【０２８６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２８７】
このようなプログラムを含む記録媒体は、図３４に示されるように、装置本体とは別に、操作者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態で操作者に提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０２８８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２８９】
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。
【図面の簡単な説明】
【０２９０】
【図１】本発明が適用される情報処理システムの機能的構成例を示す機能ブロック図である。
【図２】図１のコマンド認識／発行部の詳細例を示す機能ブロック図である。
【図３】本発明の一実施の形態による表示装置の構成例を示すブロック図である。
【図４】本発明の一実施の形態による表示／受光ディスプレイパネルの例を示す構成図である。
【図５】本発明の一実施の形態による画素構成例を示す接続図である。
【図６】本発明の一実施の形態による表示と受光のタイミング例を示すタイミング図である。
【図７】本発明の一実施の形態による画像入出力装置の第１の操作例を示す説明図である。
【図８】本発明の一実施の形態による画像入出力装置の第１の操作例を示す説明図である。
【図９】本発明の一実施の形態による画像入出力装置の第２の操作例を示す説明図である。
【図１０】本発明の一実施の形態による画像入出力装置の第３の操作例を示す説明図である。
【図１１】本発明の一実施の形態による画像入出力装置の第３の操作例を示す説明図である。
【図１２】本発明の一実施の形態による画像入出力装置の第３の操作例を示す説明図である。
【図１３】本発明の一実施の形態による画像入出力装置の第４の操作例を示す説明図である。
【図１４】本発明の一実施の形態による画像入出力装置の第１乃至第４の操作例に対応する処理例を説明するフローチャートである。
【図１５】本発明の一実施の形態による画像入出力装置の第１乃至第４の操作例に対応する処理例を説明するフローチャートである。
【図１６】本発明の一実施の形態による画像入出力装置の第１乃至第４の操作例に対応する処理例を説明するフローチャートである。
【図１７】本発明の一実施の形態による画像入出力装置の第１乃至第４の操作例に対応する処理例を説明するフローチャートである。
【図１８】図１４乃至図１７の処理のうちのステップＳ２等の画像処理の詳細例を説明するフローチャートである。
【図１９】図１８の処理結果の具体例を示す図である。
【図２０】図１８の処理結果の具体例を示す図である。
【図２１】図１８の処理結果の具体例を示す図である。
【図２２】図１８の処理結果の具体例を示す図である。
【図２３】図１８の処理結果の具体例を示す図である。
【図２４】図１８の処理結果の具体例を示す図である。
【図２５】図１８の処理結果の具体例を示す図である。
【図２６】図１４乃至図１７の処理のうちのステップＳ３の詳細例を示すフローチャートである。
【図２７】図１４乃至図１７の処理のうちのステップＳ３の詳細の別の例を示すフローチャートである。
【図２８】図１４乃至図１７の処理のうちのステップＳ６等の判断処理の判断手法の一例を説明する図である。
【図２９】本発明の一実施の形態による画像入出力装置の第５の操作例を示す説明図である。
【図３０】本発明の一実施の形態による画像入出力装置の第５の操作例を示す説明図である。
【図３１】本発明の一実施の形態による画像入出力装置の第５の操作例に対応する処理例を説明するフローチャートである。
【図３２】本発明の一実施の形態による画像入出力装置の第５の操作例に対応する処理例を説明するフローチャートである。
【図３３】本発明の一実施の形態による画像入出力装置の第５の操作例に対応する処理例であって図３２とは別の例を説明するフローチャートである。
【図３４】本発明が適用される処理をソフトウエアで実行するパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０２９１】
１  画像入出力装置，  ２  情報処理装置，  １１  表示画像生成部，  １２  表示制御部，  １３  表示部，  １４  受光部，  １５  受光画像生成部，  １６  オブジェクト検出部，  １７  コマンド認識／発行部，  ２１  検出結果保持部，  ２２  時間位置変化型コマンド認識部，  ２３  位置関係型コマンド認識部，  ２４  形状型コマンド認識部，  ２５  複合型コマンド認識部，  ２６  コマンド定義保持部，  ２７  コマンド発行部，  １０１  入出力処理部，  １０２  ドキュメント処理部，  １１０  表示信号生成部，  １１１  信号制御部，  １１２  表示信号ドライバ，  １１３  受光信号レシーバ，  １１４  受光画像生成部，  １１５  画像処理演算部，  １１６  指示判定部，  １２０  表示／受光パネル部，  １２１  表示エリア（センサエリア），  １２２  表示用水平ドライバ，  １２３  表示用垂直ドライバ，  １２４  センサ用垂直レシーバ，  １２５  センサ用水平レシーバ，  １２７  表示側スキャナ，  １２８  受光側スキャナ，  １３０  表示装置，  １３１  画素，  １３１ａ  スイッチング素子，  １３１ｂ  画素電極，  １３１ｃ  センサ素子，  １３１ｄ  リセットスイッチ，  １３１ｅ  コンデンサ，  １３１ｆ  バッファアンプ，  １３１ｇ  読み出しスイッチ，  １３１ｈ  ゲート電極，  １３１ｉ  ドレイン電極，  １３１ｊ  信号出力用電極，  １３１ｋ  リセット電極，  １３１ｍ  読出し制御電極，  ｆ１ ，ｆ２    指，  １４１ ，１４２  オブジェクト，  １５１  ポインタ，  １５２  アイコン，  １５３  コンテキストメニュー，  ２０１  ＣＰＵ，  ２０２  ＲＯＭ，  ２０３  ＲＡＭ，  ２０４  バス，  ２０５  入出力インタフェース，  ２０６  入力部，  ２０７  出力部，  ２０８  記憶部，  ２０９  通信部，  ２１０  ドライブ，  ２１１  リムーバブルメディア
【図１】
2008097172.tif 000003
【図２】
2008097172.tif 000004
【図３】
2008097172.tif 000005
【図４】
2008097172.tif 000006
【図５】
2008097172.tif 000007
【図６】
2008097172.tif 000008
【図７】
2008097172.tif 000009
【図８】
2008097172.tif 000010
【図９】
2008097172.tif 000011
【図１０】
2008097172.tif 000012
【図１１】
2008097172.tif 000013
【図１２】
2008097172.tif 000014
【図１３】
2008097172.tif 000015
【図１４】
2008097172.tif 000016
【図１５】
2008097172.tif 000017
【図１６】
2008097172.tif 000018
【図１７】
2008097172.tif 000019
【図１８】
2008097172.tif 000020
【図１９】
2008097172.tif 000021
【図２０】
2008097172.tif 000022
【図２１】
2008097172.tif 000023
【図２２】
2008097172.tif 000024
【図２３】
2008097172.tif 000025
【図２４】
2008097172.tif 000026
【図２５】
2008097172.tif 000027
【図２６】
2008097172.tif 000028
【図２７】
2008097172.tif 000029
【図２８】
2008097172.tif 000030
【図２９】
2008097172.tif 000031
【図３０】
2008097172.tif 000032
【図３１】
2008097172.tif 000033
【図３２】
2008097172.tif 000034
【図３３】
2008097172.tif 000035
【図３４】
2008097172.tif 000036