(57)【要約】【課題】外部から入力された複数の点の点情報を、容易に扱うことができるようにする。【解決手段】表示システム１では、ターゲット生成部３１は、入出力ディスプレイ２２の光センサ２２Ａで検出された外部からの入力における入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成する。イベント生成部３２は、ターゲットの情報に基づいて、ターゲットの状態の変化を表すイベントを認識し、イベントの情報を生成する。本発明は、例えば、入出力ディスプレイを有する携帯電話機等に適用できる。【選択図】図１
2008146165.tif 000002
【特許請求の範囲】
【請求項１】
画像の表示と外部からの入力に対応する光の検出を行う入出力部を有し、前記入出力部の表示画面上の複数の点に対する入力が可能な表示装置において、
外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成手段と、
前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントを認識し、前記イベントの情報を生成するイベント生成手段と
を備える表示装置。
【請求項２】
前記ターゲット若しくは前記イベントの情報に基づいて、前記入出力部の表示状態を変更させる表示制御手段をさらに備える
請求項１に記載の表示装置。
【請求項３】
前記ターゲットの情報は、少なくとも、前記ターゲットに固有の識別情報、及び前記ターゲットに統合される入力部分を代表する位置の座標の情報を含むターゲットの属性である
請求項１に記載の表示装置。
【請求項４】
前記ターゲットの情報は、前記ターゲットに統合される入力部分の範囲を表す領域情報、前記ターゲットに統合される入力部分の領域の面積の情報である面積情報、前記ターゲットとしての一連の入力が開始したときの時刻を表す情報、または前記ターゲットとしての一連の入力が終了したときの時刻を表す情報を含むターゲットの属性である
請求項３に記載の表示装置。
【請求項５】
前記ターゲットに統合される入力部分を代表する位置の座標は、その入力部分の重心若しくは中心の座標である
請求項３に記載の表示装置。
【請求項６】
前記ターゲットの情報を記憶するターゲット記憶手段をさらに備え、
前記ターゲット記憶手段は、所定の条件に基づいて、記憶している前記ターゲットの情報を削除する
請求項１に記載の表示装置。
【請求項７】
前記イベントの情報は、少なくとも、前記イベントに固有の識別情報、前記イベントの種類を表す情報、前記イベントが状態を表すターゲットを特定する特定情報、及び前記イベントが発行されたときの時刻を表す情報を含むイベントの属性である
請求項１に記載の表示装置。
【請求項８】
前記イベントの情報は、前記イベントの付加的な情報である付加情報を含むイベントの属性である
請求項７に記載の表示装置。
【請求項９】
前記イベントの情報は、前記付加情報の数と前記イベントが状態を表すターゲットの数を含むイベントの属性である
請求項８に記載の表示装置。
【請求項１０】
前記イベントの情報を記憶するイベント記憶手段をさらに備え、
前記イベント記憶手段は、所定の条件に基づいて、記憶している前記イベントの情報を削除する
請求項１に記載の表示装置。
【請求項１１】
前記ターゲット生成手段または前記イベント生成手段は、前記ターゲットまたは前記イベントの情報を出力するときの時刻を表す情報を合わせて出力する
請求項１に記載の表示装置
【請求項１２】
画像の表示と外部からの入力に対応する光の検出を行う入出力部を有し、前記入出力部の表示画面上の複数の点に対する入力が可能な表示装置の制御方法において、
外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、
前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントを認識し、前記イベントの情報を生成する
ステップを含む制御方法。
【請求項１３】
画像の表示と外部からの入力に対応する光の検出を行う入出力部を有し、前記入出力部の表示画面上の複数の点に対する入力が可能な表示装置の制御処理をコンピュータに実行させるプログラムにおいて、
外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、
前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントを認識し、前記イベントの情報を生成する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示装置の制御方法、及びプログラムに関し、特に、例えば、外部から入力があったパネル上の複数の点に関する点情報を、上位のアプリケーション等が容易に扱うことができるようにする、表示装置、表示装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
パネル上の点に関する情報を、複数の点について出力可能なパネルとして、例えば、液晶表示装置に光センサを内蔵させ、外部からの光の入力を光センサで検出することにより、光による入力が可能な表示パネル（以下、入出力パネルともいう）が提案されている（例えば、特許文献１や特許文献２を参照）。
【０００３】
入出力パネルにおいて、光による入力を検出する方法としては、大きく分けて、LED(Light Emitting Diode)等の外部光源を持つ物体（例えば、ペンなど）をユーザに操作させる方法と、そのような外部光源を持たない指やペン等で入力操作させ、液晶表示装置が発する光、つまり、液晶表示装置のバックライトの透過光が、液晶表示装置の表示画面に近づいている指やペンで反射して液晶表示装置の内部に戻ってくる光を光センサで検出する方法とがある。
【０００４】
また、静電式や感圧式のタッチパネルでは、外部からの入力に対して、その入力があったタッチパネル上の点に関する情報（例えば、点の座標等）である点情報が出力されるが、その点情報は、１つの点についてのみ出力可能であった。
【０００５】
すなわち、例えば、ユーザが、タッチパネル上の２つの点に近接しても、タッチパネルでは、その２つの点のうちの、圧力の強い方の点や、先にタッチされた方の点等の１つの点のみについて、点情報が出力される。
【０００６】
これに対して、入出力パネルでは、複数の点の点情報を出力することができ、今後、従来のタッチパネルが適用されていた製品等のアプリケーションへの適用が期待されている。
【０００７】
なお、複数の入力を扱う技術としては、例えば、外部環境を認識する複数の認識手段からの認識結果を、STM(Short Term Memory)を利用して処理するロボット装置が提案されている（例えば、特許文献３を参照）。
【０００８】
【特許文献１】特開２０００−０１９４７８号公報
【特許文献２】特開２００４−１２７２７２号公報
【特許文献３】国際公開第０３／０３５３３４号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述したように、入出力パネルは、複数の点の点情報を出力することができるが、複数の点の点情報を、そのまま、入出力パネルが適用される装置の上位のアプリケーションに渡すようにした場合、その上位のアプリケーションにおいて、複数の点の点情報を処理しなければならず、上位のアプリケーションの負担が大となる。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、外部から入力があった複数の点の点情報を、上位のアプリケーション等が容易に扱うことができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の表示装置は、画像の表示と外部からの入力に対応する光の検出を行う入出力部を有し、前記入出力部の表示画面上の複数の点に対する入力が可能な表示装置において、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成手段と、前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントを認識し、前記イベントの情報を生成するイベント生成手段とを備える。
【００１２】
本発明の一側面の表示装置には、前記ターゲット若しくは前記イベントの情報に基づいて、前記入出力部の表示状態を変更させる表示制御手段をさらに設けることができる。
【００１３】
本発明の一側面の表示装置には、前記ターゲットの情報を記憶するターゲット記憶手段をさらに設け、前記ターゲット記憶手段には、所定の条件に基づいて、記憶している前記ターゲットの情報を削除させることができる。
【００１４】
本発明の一側面の表示装置には、前記イベントの情報を記憶するイベント記憶手段をさらに設け、前記イベント記憶手段には、所定の条件に基づいて、記憶している前記イベントの情報を削除させることができる。
【００１５】
本発明の一側面の表示装置の制御方法またはプログラムは、画像の表示と外部からの入力に対応する光の検出を行う入出力部を有し、前記入出力部の表示画面上の複数の点に対する入力が可能な表示装置の制御方法または制御処理をコンピュータに実行させるプログラムにおいて、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントを認識し、前記イベントの情報を生成するステップを含む。
【００１６】
本発明の一側面においては、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報が生成され、前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントが認識され、前記イベントの情報が生成される。
【発明の効果】
【００１７】
本発明の一側面によれば、外部から入力があった複数の点の点情報を、容易に扱うことができる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
本発明の一側面の表示装置は、
画像の表示と外部からの入力に対応する光の検出を行う入出力部（例えば、図１の入出力ディスプレイ２２）を有し、前記入出力部の表示画面上の複数の点に対する入力が可能な表示装置（例えば、図１の表示システム１）において、
外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成手段（例えば、図１のターゲット生成部３１）と、
前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントを認識し、前記イベントの情報を生成するイベント生成手段（図１のイベント生成部３２）と
を備える。
【００２０】
本発明の一側面の表示装置には、
前記ターゲット若しくは前記イベントの情報に基づいて、前記入出力部の表示状態を変更させる表示制御手段（例えば、図１の制御部１２）をさらに設けることができる。
【００２１】
本発明の一側面の表示装置には、
前記ターゲットの情報を記憶するターゲット記憶手段（例えば、図１の記憶部３３）をさらに設け、
前記ターゲット記憶手段には、所定の条件に基づいて、記憶している前記ターゲットの情報を削除させることができる。
【００２２】
本発明の一側面の表示装置には、
前記イベントの情報を記憶するイベント記憶手段（例えば、図１の記憶部３３）をさらに設け、
前記イベント記憶手段には、所定の条件に基づいて、記憶している前記イベントの情報を削除させることができる。
【００２３】
本発明の一側面の制御方法またはプログラムは、
画像の表示と外部からの入力に対応する光の検出を行う入出力部を有し、前記入出力部の表示画面上の複数の点に対する入力が可能な表示装置の制御方法または制御処理をコンピュータに実行させるプログラムにおいて、
外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成し（例えば、図２のステップＳ４）、
前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントを認識し、前記イベントの情報を生成する（例えば、図２のステップＳ４及びＳ５）
ステップを含む。
【００２４】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００２５】
図１は、本発明を適用した表示システムの一実施の形態の構成例を示すブロック図である。
【００２６】
図１において、表示システム１は、例えば、携帯電話機やTV(Television)受像機等を構成する。
【００２７】
表示システム１は、アンテナ１０、信号処理部１１、制御部１２、記憶部１３、操作部１４、通信部１５、及び入出力パネル１６から構成される。
【００２８】
信号処理部１１は、アンテナ１０で受信された地上波や衛星波等のテレビジョン放送の放送電波を復調し、その結果得られる画像データ及び音声データを制御部１２に供給する。
【００２９】
制御部１２は、操作部１４から供給されるユーザの操作に対応する操作信号に基づいて、各種の処理を行い、その過程で一時的に記憶すべきデータを、記憶部１３に供給する。また、制御部１２は、信号処理部１１から供給される画像データ等を入出力パネル１６に供給する。さらに、制御部１２は、入出力パネル１６から供給される、後述するターゲットとイベントの情報に基づいて、必要に応じて、画像データを、入出力パネル１６の入出力ディスプレイ２２に供給することにより、入出力ディスプレイ２２の表示状態を変更させる等の表示制御を行う。
【００３０】
記憶部１３は、例えば、RAM(Random Access Memory)から構成される。記憶部１３は、制御部１２から供給されるデータを一時的に記憶する。
【００３１】
操作部１４は、例えば、テンキー、キーボード等から構成される。操作部１４は、ユーザによって操作されることにより、その操作に対応する操作信号を生成し、制御部１２に供給する。
【００３２】
通信部１５は、例えば、図示せぬ無線局との間で無線電波を用いて通信を行う。
【００３３】
入出力パネル１６は、制御部１２から供給される画像データに対応する画像を入出力ディスプレイ２２に表示するとともに、入出力ディスプレイ２２から出力される受光信号から検出される１以上の点に対する入力の情報に、後述する統合処理と認識処理を施すことにより、ターゲットとイベントの情報を生成し、制御部１２に供給する。
【００３４】
すなわち、入出力パネル１６は、表示信号処理部２１、入出力ディスプレイ２２、受光信号処理部２３、画像処理部２４、及び生成部２５から構成される。
【００３５】
表示信号処理部２１は、制御部１２から供給される画像データに対して、入出力ディスプレイ２２に表示するための処理を施し、その結果得られる画像データを、入出力ディスプレイ２２に供給する。
【００３６】
入出力ディスプレイ２２は、画像の表示と、外部からの入力に対応する光の検出とを行う。すなわち、入出力ディスプレイ２２は、表示信号処理部２１から供給される画像データに対応する画像を、その表示画面に表示する。また、入出力ディスプレイ２２は、例えば、表示画面全体に分布するように配置された複数の光センサ２２Ａを内蔵し、外部から入射する光を受光し、その光の受光量に対応する受光信号を生成して、受光信号処理部２３に供給する。
【００３７】
受光信号処理部２３は、入出力ディスプレイ２２から供給される受光信号に対して、所定の処理を施すことにより、入出力ディスプレイ２２の表示画面に対して、ユーザの指等が短い距離だけ離れて近接している（接触しているか、または離れている）部分と、何も近接していない部分とで輝度が異なる画像を、フレームごとに得て、画像処理部２４に供給する。
【００３８】
画像処理部２４は、受光信号処理部２３から供給される各フレームの画像に対して、２値化、ノイズ除去、ラベリング等の画像処理を施すことにより、入出力ディスプレイ２２の表示画面に指等の物体が近接している（近づいている）部分（領域）を、外部からの入力があった入力部分として検出し、その入力部分の情報、すなわち、例えば、その入力部分を代表する表示画面上の点の座標である代表座標等の入力があった表示画面上の点に関する点情報、つまり、入力部分の点情報を得て、生成部２５に供給する。
【００３９】
生成部２５は、画像処理部２４から供給される入力部分の点情報に、後述の統合処理を施すことにより、ターゲットの情報を生成する。さらに、生成部２５は、ターゲットの情報に基づいて、後述の認識処理を行うことにより、ターゲットの状態の変化を表すイベントの情報を生成する。なお、統合処理でも、一部のイベントの情報が生成される。
【００４０】
すなわち、生成部２５は、ターゲット生成部３１、イベント生成部３２、及び記憶部３３から構成され、ターゲットとイベントの情報を、フレームごとに生成し、制御部１２に供給する。
【００４１】
入出力ディスプレイ２２に対しては、その表示画面に、例えば、指等を近接することにより、入力を行うことができるが、この入出力ディスプレイ２２に対する一連の入力が、ターゲットである。すなわち、例えば、入出力ディスプレイ２２の表示画面に対して、指が近接し、その近接が維持されながら指が移動し、指の近接が解除されるまでに行われる、入出力ディスプレイ２２の表示画面への一連の入力がターゲットとなる。
【００４２】
また、イベントは、ターゲットの状態の変化を表し、例えば、ターゲットの位置が移動したことや、ターゲットが新たに出現した（生成された）こと、ターゲットが消滅した（削除された）こと等を表す。
【００４３】
生成部２５のターゲット生成部３１は、画像処理部２４から供給されるフレームごとの入力部分の点情報に、統合処理を施すことにより、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成して、記憶部３３に供給する。
【００４４】
いま、画像処理部２４からターゲット生成部３１に供給される入力部分の点情報が、時刻t+1の第t+1フレームの点情報であるとすると、ターゲット生成部３１は、第t+1フレームの入力部分の点情報と、時間的に近い関係にある１つ前のフレームである時刻tの第tフレームのターゲットの情報とを比較する。
【００４５】
第tフレームのあるターゲットを、注目ターゲットとして注目することとすると、ターゲット生成部３１は、注目ターゲットに対して、第t+1フレームの空間的に近い関係にある入力部分を、注目ターゲットとしての一連の入力における一部を構成する入力部分であるとして、注目ターゲットに統合する。
【００４６】
また、ターゲット生成部３１は、注目ターゲットに対して、空間的に近い関係にある入力部分が第t+1フレームに存在しない場合には、注目ターゲットとしての一連の入力が終了したとして、注目ターゲットを削除する。
【００４７】
さらに、ターゲット生成部３１は、ターゲットに統合されずに残った第t+1フレームの入力部分については、ターゲットとしての一連の入力が開始されたとして、新たなターゲットを生成する。そして、ターゲット生成部３１は、統合されたターゲットの情報と新たに生成されたターゲットの情報を、第t+1フレームのターゲットの情報として記憶部３３に供給する。
【００４８】
イベント生成部３２は、ターゲットの情報に基づいて、ターゲットの状態の変化を表すイベントの情報を適宜生成し、記憶部３３に供給する。すなわち、例えば、イベント生成部３２は、第tフレームと第t+1フレームのそれぞれのターゲットの情報、あるいは、必要に応じて、記憶部３３に記憶されている第tフレーム以前に発行されたイベントの情報等に基づいて、ターゲットの状態の変化を表すイベントを認識する。そして、イベント生成部３２は、認識したイベントの内容を表すイベントの情報を生成するイベントの発行を行い、そのイベントの情報を第t+1フレームのイベントの情報として記憶部３３に供給する。
【００４９】
また、イベント生成部３２は、記憶部３３から第t+1フレームのターゲットとイベントの情報を読み出し、制御部１２に供給（出力）する。
【００５０】
記憶部３３は、ターゲット生成部３１から供給されるターゲットの情報と、イベント生成部３２から供給されるイベントの情報とを記憶する。
【００５１】
次に、図２のフローチャートを参照して、表示システム１による表示受光制御処理について説明する。
【００５２】
表示システム１による表示受光制御処理は、例えば、ユーザが表示システム１の電源をオンにすると、開始される。
【００５３】
なお、以下においては、既に、表示受光制御処理のステップＳ１乃至Ｓ８の処理が第tフレームまで行われており、記憶部３３には、少なくとも、第tフレーム以前のターゲットとイベントの情報が適宜記憶されているものとする。
【００５４】
ステップＳ１において、入出力ディスプレイ２２の光センサ２２Ａは、時刻t+1のフレームのタイミングで、表示画面に指が近接している部分から反射した光等の外部からの光を受光し、その光の受光量に対応する受光信号を受光信号処理部２３に供給する。
【００５５】
ステップＳ２において、受光信号処理部２３は、入出力ディスプレイ２２から供給される受光信号に所定の処理を施すことにより、入出力ディスプレイ２２に対して、指等が近接している部分と、何も近接していない部分とで輝度が異なる画像を、第t+1フレームの画像として得て、画像処理部２４に供給する。
【００５６】
ステップＳ３において、画像処理部２４は、受光信号処理部２３から供給される第t+1フレームの画像に対して、２値化、ノイズ除去、ラベリング等の画像処理を施すことにより、第t+1フレームについて、入出力ディスプレイ２２の表示画面に指等の物体が近接した部分（領域）を、外部からの入力があった入力部分として検出し、その入力部分の点情報を得て、生成部２５に供給する。
【００５７】
ステップＳ４において、生成部２５のターゲット生成部３１は、画像処理部２４から供給される第t+1フレームの入力部分の点情報に、統合処理を施すことにより、第t+1フレームについて、ターゲットの情報を生成し、記憶部３３に記憶させる。また、生成部２５のイベント生成部３２は、ターゲットの情報に基づいて、統合処理を行うことにより、第t+1フレームについて、特定のイベント、すなわち、例えば、ターゲットの生成及び削除（消滅）を表すイベントの情報を適宜生成し、記憶部３３に記憶させる。統合処理の詳細については、図４乃至図８を参照して、後述する。
【００５８】
ステップＳ５において、生成部２５のイベント生成部３２は、さらに、ターゲットの情報に基づいて、認識処理を行うことにより、第t+1フレームについて、ターゲットの状態の変化を表すイベントの情報を生成し、記憶部３３に記憶させる。認識処理の詳細については、図９乃至図２３を参照して後述する。
【００５９】
ステップＳ６において、生成部２５のイベント生成部３２は、記憶部３３から第t+1フレームのターゲットとイベントの情報を読み出し、制御部１２に供給（出力）する。
【００６０】
ステップＳ７において、制御部１２は、入出力パネル１６の生成部２５から供給（出力）されるターゲットとイベントの情報に基づいて、必要に応じて、画像データを、表示信号処理部２１を介して、入出力ディスプレイ２２に供給することにより、入出力ディスプレイ２２の表示状態を変更させる等の表示制御を行う。
【００６１】
ステップＳ８において、入出力ディスプレイ２２は、制御部１２の表示制御に従い、それまでとは異なる表示状態、例えば、それまで表示されていた画像が時計周りに９０°回転して表示される表示状態で、画像を表示する。
【００６２】
その後、処理は、ステップＳ１に戻り、次の第t+2フレームについて、同様の処理が繰り返される。
【００６３】
図３は、図２の表示受光制御処理を行うソフトウェアの構成例を説明する図である。
【００６４】
ここで、表示受光制御処理を行うソフトウェアは、受光信号処理を行うソフトウェア、点情報の生成処理を行うソフトウェア、統合処理を行うソフトウェア、認識処理を行うソフトウェア、出力処理を行うソフトウェア、及び上位のアプリケーションとしての表示制御ソフトウェアを含む。
【００６５】
図３において、入出力ディスプレイ２２の光センサ２２Ａは、外部からの光、例えば、表示画面に近接している指等で反射した光を受光し、１フレームの受光信号を生成する。
【００６６】
受光信号処理の階層では、入出力ディスプレイ２２から供給される１フレームの受光信号に、例えば、増幅やフィルタ処理等の受光信号処理が施されることにより、その受光信号に対応する１フレームの画像が得られる。
【００６７】
受光信号処理の階層の上位階層の点情報の生成処理の階層では、受光信号処理で得られる画像に対して、所定の画像処理、例えば、２値化、ノイズ除去、ラベリング等が施されることにより、入出力ディスプレイ２２の表示画面の、物体が近接している部分である入力部分が検出される。そして、入力部分の点情報がフレームごとに生成される。
【００６８】
点情報の生成処理の上位の統合処理の階層では、点情報の生成処理で得られる点情報に、統合処理が施され、フレームごとのターゲットの情報が生成される。さらに、そのフレームのターゲットの情報に基づいて、特定のイベント、例えば、ターゲットの生成や削除（消滅）を表すイベントの情報が生成される。
【００６９】
統合処理の上位階層の認識処理の階層では、統合処理で生成されたターゲットの情報等に基づいて、ユーザの指の動きやジェスチャ等の認識処理が施されることにより、ターゲットの状態の変化を表すイベントの情報がフレームごとに生成される。
【００７０】
認識処理の上位階層の出力処理の階層では、統合処理で生成されたターゲット及びイベントの情報と、認識処理で生成されたイベントの情報が、フレームごとに出力される。
【００７１】
出力処理の上位階層の上位のアプリケーションとしての、例えば、表示制御ソフトウェアの階層では、出力処理で出力されたターゲットとイベントの情報に基づいて、必要に応じて、画像データが、図１の入出力パネル１６の入出力ディスプレイ２２に供給されることにより、入出力ディスプレイ２２の表示状態が変更される等の表示制御が行われる。
【００７２】
次に、図４乃至図８を参照して、図１の生成部２５による統合処理の詳細について説明する。
【００７３】
図４は、時刻tの第tフレームに存在するターゲットを表している。
【００７４】
ここで、図４では（後述する図５及び図６でも同様）、フレームを表す長方形の内部に、説明の便宜上、マスを図示してある。
【００７５】
図４において、時刻tの第tフレームには、３つのターゲット#1，#2、及び#3が存在する。ターゲットには、ターゲットの属性であるターゲット属性を与えることができる。ターゲット属性には、例えば、各ターゲットを識別するための識別情報としてのターゲットID(Identifier)（識別番号）があり、図４では、３つのターゲットに対して、#1，#2、及び#3がそれぞれターゲットIDとして付されている。
【００７６】
例えば、ユーザが、３本の指を、入出力ディスプレイ２２の表示画面に近づけている（近接している）場合に、図４に示したような３つのターゲット#1乃至#3が存在する状態となる。
【００７７】
図５は、時刻tの第tフレームより１フレーム後の時刻t+1の第t+1フレームの統合処理前の入力部分を表している。
【００７８】
図５において、第t+1フレームには、４つの入力部分#a乃至#dが存在する。
【００７９】
例えば、ユーザが、４本の指を、入出力ディスプレイ２２の表示画面に近接している場合に、図５に示したような４つの入力部分#a乃至#dが生じる。
【００８０】
図６は、図４に示した第tフレームと図５に示した第t+1フレームとを重ね合わせた状態を表している。
【００８１】
統合処理では、例えば、時間的に近い関係にある第tフレームのターゲットと第t+1フレームの入力部分とが比較される。そして、第tフレームのあるターゲットを、注目ターゲットとして注目すると、例えば、注目ターゲットに対して、空間的に近い関係にある入力部分、すなわち、注目ターゲットからの距離が、例えば、所定の距離（例えば、２マス分の距離）以内にある入力部分が、注目ターゲットとしての一連の入力の一部を構成する入力部分であるとして、注目ターゲットに統合される。
【００８２】
なお、注目ターゲットに対して、空間的に近い関係にある入力部分が、複数存在する場合には、例えば、その複数の入力部分のうちの、注目ターゲットに対して、最も近い入力部分が、注目ターゲットに統合される。
【００８３】
また、統合処理では、例えば、注目ターゲットに対して、空間的に近い関係にある入力部分が存在しない場合には、その注目ターゲットとしての一連の入力が終了したとして、注目ターゲットが削除される。
【００８４】
さらに、統合処理では、例えば、ターゲットに統合されずに残った入力部分、つまり、ターゲットに対して空間的に近い関係にない入力部分については、新たな一連の入力が開始されたとして、新たなターゲットが生成される。
【００８５】
したがって、図６に示される第t+1フレームの入力部分#a乃至#dと第tフレームのターゲット#1乃至#3を対象として、統合処理が行われると、ターゲット#1の近傍には、入力部分#aと#bが存在するが、入力部分#bの方が、入力部分#aに比べてより近いので、入力部分#bが、ターゲット#1に統合（マージ）される。
【００８６】
また、図６では、ターゲット#2の近傍には、入力部分が存在しないので、このターゲット#2は、削除される。そして、ターゲットが削除されたことを表すイベント「削除」が生成される。
【００８７】
さらに、図６では、ターゲット#3の近傍には、入力部分#cと#dが存在するが、入力部分#dの方が、入力部分#cに比べてより近いので、入力部分#dが、ターゲット#3に統合（マージ）される。
【００８８】
そして、ターゲット#1乃至#3のうちのいずれにも統合されずに残った入力部分#aと#cは、それぞれ新たなターゲットとして生成される。そして、ターゲットが生成されたことを表すイベント「生成」が生成される。
【００８９】
統合処理では、第tフレームのターゲットのうちの削除されずに残ったターゲットと、第t+1フレームの入力部分のうちの統合されずに残った入力部分について新たに生成されたターゲットとが、第t+1フレームのターゲットとなる。そして、第t+1フレームのターゲットの情報は、第t+1フレームの入力部分の点情報に基づいて、生成される。
【００９０】
ここで、入力部分の点情報は、受光信号処理部２３から画像処理部２４に供給される１フレームの画像である受光画像に対して、画像処理を施すことで得られる。
【００９１】
図７は、受光画像を示している。
【００９２】
図７の受光画像には、３つの入力部分#1乃至#3が存在する。
【００９３】
受光画像上の各入力部分は、例えば、表示画面の指が近接している部分から反射した光が受光された部分であるので、表示画面の指が近接していない部分に比べて、輝度の高いまたは低い部分となっている。画像処理部２４は、受光画像の輝度の高いまたは低い領域を、入力部分として検出し、その入力部分の領域の特徴量を、その入力部分の点情報として出力する。
【００９４】
点情報としては、入力部分を代表する位置の座標である代表座標としての入力部分の領域の中心（例えば、入力部分を囲む最小の円の中心など）や重心、入力部分の領域（図中の斜線部分）の面積の情報である面積情報、入力部分の範囲を表す領域情報としての、例えば、入力部分を囲む最小の長方形の上端の座標、下端の座標、左端の座標、及び右端の座標等を採用することができる。
【００９５】
ターゲットの情報のうちのターゲットの属性であるターゲット属性は、ターゲットに統合される入力部分の点情報に基づいて、生成される。すなわち、ターゲットに入力部分が統合されるとき、ターゲットに固有の識別情報であるターゲットIDが維持され、それ以外のターゲット属性、例えば、ターゲットの代表座標、面積情報、領域情報等が、そのターゲットに統合される入力部分の点情報、すなわち、入力部分の代表座標、面積情報、領域情報等で置き換えられる。
【００９６】
また、ターゲット属性には、ターゲットしての一連の入力が開始したときの時刻を表す情報やターゲットしての一連の入力が終了したときの時刻を表す情報等が含まれてもよい。
【００９７】
ターゲットの情報には、上述したターゲット属性の他、例えば、生成部２５が制御部１２に出力するフレームごとのターゲットの数等を採用することができる。
【００９８】
次に、図８のフローチャートを参照して、図２のステップＳ４で図１の生成部２５が行う統合処理について説明する。
【００９９】
ステップＳ２１において、ターゲット生成部３１は、記憶部３３から第t+1フレームの時間的な近傍である第tフレームのターゲットの情報を読み出し、画像処理部２４から供給される第t+1フレームの入力部分の点情報と、記憶部３３から読み出した第tフレームのターゲットの情報とを比較する。
【０１００】
ステップＳ２２において、ターゲット生成部３１は、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがあるかを判定する。ステップＳ２２において、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがあると判定された場合、ステップＳ２３において、ターゲット生成部３１は、第tフレームのターゲットのうちの、まだ注目ターゲットとしていないターゲットのうちの１つを注目ターゲットとし、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在するかを判定する。
【０１０１】
ステップＳ２３において、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在すると判定された場合、ステップＳ２４において、ターゲット生成部３１は、ステップＳ２２で注目ターゲットの空間的な近傍にあると判定された第t+1フレームの入力部分を注目ターゲットに統合し、統合後の注目ターゲットの情報を、第t+1フレームのターゲットの情報として、記憶部３３に記憶させる。
【０１０２】
具体的には、ターゲット生成部３１は、注目ターゲットのターゲットIDを維持し、それ以外のターゲット属性、例えば、注目ターゲットの代表座標等を、注目ターゲットに統合される入力部分の代表座標等で置き換え、第t+1フレームのターゲットの情報として、記憶部３３に記憶させる。
【０１０３】
一方、ステップＳ２３において、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在しないと判定された場合、ステップＳ２５において、ターゲット生成部３１は、注目ターゲットの情報を記憶部３３から削除する。
【０１０４】
ステップＳ２６において、イベント生成部３２は、ターゲット生成部３１が注目ターゲットを削除すると、ターゲットが消滅したこと、すなわち、ターゲットとしての一連の入力が終了したことを表すイベント「削除」を新たに発行し、そのイベントの情報を第t+1フレームのイベントの情報として、記憶部３３に記憶させる。図６の例では、ターゲット#2が注目ターゲットである場合、ターゲット#2が第t+1フレームで削除されたことを表すイベント「削除」が発行され、そのイベント「削除」の情報が記憶部３３に記憶される。
【０１０５】
ステップＳ２４，Ｓ２６の処理の後、処理は、ステップＳ２２に戻り、新たな注目ターゲットについて、同様の処理が実行される。
【０１０６】
ステップＳ２２において、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがないと判定された場合、ステップＳ２７において、ターゲット生成部３１は、画像処理部２４から供給された第t+1フレームに、第tフレームのターゲットに統合されずに残っている入力部分が存在するかを判定する。
【０１０７】
ステップＳ２７において、第t+1フレームに統合されずに残っている入力部分が存在すると判定された場合、ステップＳ２８において、ターゲット生成部３１は、統合されずに残っている入力部分について、新しいターゲットを生成する。
【０１０８】
すなわち、第tフレームのターゲットに統合されずに残った第t+1フレームの入力部分、つまり、ターゲットに対して空間的に近い関係にない入力部分については、新たな一連の入力が開始されたとして、新しいターゲットを生成する。そして、ターゲット生成部３１は、新しいターゲットの情報を、第t+1フレームのターゲットの情報として、記憶部３３に記憶させる。
【０１０９】
ステップＳ２９において、イベント生成部３２は、ターゲット生成部３１が新しいターゲットを生成すると、イベント「生成」を新たに発行し、そのイベントの情報を、第t+1フレームのイベントの情報として、記憶部３３に記憶させる。そして、統合処理を終了し、処理は、図２のステップＳ５にリターンする。
【０１１０】
一方、ステップＳ２７において、第t+1フレームに残っている入力部分が存在しないと判定された場合、ステップＳ２８，Ｓ２９の処理はスキップされ、統合処理は終了する。そして、処理は、図２のステップＳ５にリターンする。
【０１１１】
なお、上述した統合処理では、第tフレームのターゲットのうちの、第t+1フレームの入力部分が空間的に近い位置に存在しないターゲットの情報が削除されるように説明したが、その他、第tフレームのターゲットのうちの、第t+1フレームの入力部分が空間的に近い位置に存在しないターゲットの情報を、入力部分が空間的に近い位置にない場合に限って、その後も数フレーム連続して保持してから削除するようにしてもよい。これにより、ユーザが指の近接を誤って一瞬解除してしまった場合でも、指の近接を再開すれば、表示画面に近接している指に対応する入力部分を、指の近接を一瞬解除する前のターゲットに統合することが可能となる。
【０１１２】
以上のように、統合処理では、入出力ディスプレイ２２の表示画面に対して新たに入力があった入力部分のうちの、ターゲットの時間的及び空間的近傍にある入力部分が、ターゲットとしての一連の入力における一部を構成する入力部分としてそのターゲットに統合される。また、統合処理では、ターゲットの生成または消滅（削除）を表すイベントが適宜発行される。
【０１１３】
図９は、生成部２５から出力されるターゲットとイベントの情報の例を表している。
【０１１４】
図９の上の図は、時刻nの第nフレーム乃至時刻n+5の第n+5フレームのそれぞれの受光画像上の入力部分（図中、白丸で表す）を示している。また、図９の下の図は、第nフレーム乃至第n+5フレームのそれぞれに出力されるターゲットとイベントの情報を示している。
【０１１５】
図９の上の図は、例えば、ユーザが、時刻nにおいて、１本の指で、入出力ディスプレイ２２の表示画面に対する近接を開始し、その後、時刻nからn+4までの間、入出力ディスプレイ２２の表示画面に対する近接をし続けながら、第n+2フレームで、表示画面に近接している位置を、左から右方向に移動することを開始し、第n+4フレームで、その移動を停止して、時刻n+5において、入出力ディスプレイ２２の表示画面に対する近接を解除した場合に得られる入力部分#0を表している。
【０１１６】
すなわち、第nフレームでは、ユーザが入出力ディスプレイ２２の表示画面に対する近接を開始することにより、図９の上の図に示すように、入力部分#0が新たに出現している。
【０１１７】
この場合、第nフレームの入力部分#0について、新たなターゲット#0が生成される。すなわち、第nフレームでは、図９の下の図に示すように、ターゲットIDが0で、第nフレームの入力部分#0の位置情報（代表座標）等のターゲットID以外のターゲット属性（以下、ターゲット関連情報INFOという）を有する新たなターゲット#0が生成される。
【０１１８】
なお、ターゲットの実体は、ターゲット属性を記憶する、メモリ等に確保される記憶領域である。
【０１１９】
第nフレームでは、新たなターゲット#0が生成されたことに対応して、イベントが生成される。すなわち、第nフレームでは、図９の下の図に示すように、イベントを識別する識別情報であるイベントIDが0で、イベントの種類を表すイベントタイプTypeが新たなターゲットの生成を表すCreateであり、イベントが状態を表すターゲットを特定する特定情報tidが、ターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#0が生成される。
【０１２０】
なお、イベントタイプTypeが新たなターゲットの生成を表すCreateであるイベントが、イベント「生成」である。
【０１２１】
このように、イベントは、イベントが状態を表すターゲットを特定する特定情報tidを、イベント属性の１つとして有するので、その特定情報tidによって、イベントが状態を表すターゲットを特定することができる。
【０１２２】
なお、イベントの実体は、イベント属性を記憶する、メモリ等に確保される記憶領域である。
【０１２３】
次に、第n+1フレームでは、図９の上の図に示すように、入力部分#0が移動せずに、そのまま存在している。
【０１２４】
この場合、その１フレーム前の第nフレームのターゲット#0に、第n+1フレームの入力部分#0が統合される。その結果、第n+1フレームでは、ターゲット#0は、図９の下の図に示すように、ターゲット関連情報INFOが、第n+1フレームの入力部分の位置情報等で更新された第nフレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
【０１２５】
第n+2フレームでは、図９の上の図に示すように、入力部分#0が移動を開始している。
【０１２６】
この場合、その１フレーム前の第n+1フレームのターゲット#0に、第n+2フレームの入力部分#0が統合される。その結果、第n+2フレームでは、ターゲット#0は、図９の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
【０１２７】
さらに、第n+2フレームでは、ターゲット#0に統合された入力部分#0の移動が開始されたこと、したがって、ターゲット#0の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図９の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレームで生成されたイベントのイベントIDとは異なる1で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#1が生成される。
【０１２８】
次に、第n+3フレームでは、図９の上の図に示すように、入力部分#0が移動中である。
【０１２９】
この場合、その１フレーム前の第n+2フレームのターゲット#0に、第n+3フレームの入力部分#0が統合される。その結果、第n+3フレームでは、ターゲット#0は、図９の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
【０１３０】
第n+4フレームでは、図９の上の図に示すように、入力部分#0が停止している。
【０１３１】
この場合、その１フレーム前の第n+3フレームのターゲット#0に、第n+4フレームの入力部分#0が統合される。その結果、第n+4フレームでは、ターゲット#0は、図９の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
【０１３２】
さらに、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了されたこと、したがって、ターゲット#0の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図９の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレームまたは第n+2フレームで生成されたイベントのいずれのイベントIDとも異なる2で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#2が生成される。
【０１３３】
第n+5フレームでは、ユーザが入出力ディスプレイ２２の表示画面に対する指の近接を解除することにより、図９の上の図に示すように、入力部分#0が消滅している。
【０１３４】
この場合、第n+5フレームでは、ターゲット#0が削除される。
【０１３５】
さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベントが生成される。すなわち、第n+5フレームでは、図９の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレーム、第n+2フレーム、または第n+4フレームで生成されたイベントのいずれのイベントIDとも異なる3で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#3が生成される。
【０１３６】
なお、イベントタイプTypeがターゲットの削除を表すDeleteであるイベントが、イベント「削除」である。
【０１３７】
図１０は、生成部２５から出力されるターゲットとイベントの情報の他の例を表している。
【０１３８】
図１０の上の図は、時刻nの第nフレーム乃至時刻n+5の第n+5フレームのそれぞれの受光画像上の入力部分（図中、白丸で表す）を示している。図１０の下の図は、第nフレーム乃至第n+5フレームのそれぞれに出力されるターゲットとイベントの情報を示している。
【０１３９】
図１０は、例えば、ユーザが、時刻nにおいて、ある１本の指で、入出力ディスプレイ２２の表示画面に対する近接を開始し、その後、時刻nからn+4までの間、入出力ディスプレイ２２の表示画面に対する近接をし続けながら、第n+2フレームで、表示画面に近接している位置を、左から右方向に移動することを開始し、第n+4フレームで、その移動を停止して、時刻n+5において、入出力ディスプレイ２２の表示画面に対する近接を解除した場合に得られる入力部分を表している。
【０１４０】
また、図１０は、ユーザが、時刻n+1において、他の１本の指で、入出力ディスプレイ２２の表示画面に対する近接を開始し、その後、時刻n+1からn+3までの間、入出力ディスプレイ２２の表示画面に対する近接をし続けながら、第n+2フレームで、表示画面に近接している位置を、右から左方向に移動することを開始し、第n+3フレームで、その移動を停止して、時刻n+4において、入出力ディスプレイ２２の表示画面に対する近接を解除した場合に得られる入力部分を表している。
【０１４１】
すなわち、第nフレームでは、ユーザが、ある１本の指で、入出力ディスプレイ２２の表示画面に対する近接を開始することにより、図１０の上の図に示すように、入力部分#0が新たに出現している。
【０１４２】
この場合、第nフレームの入力部分#0について、図９の場合と同様に新たなターゲット#0が生成される。すなわち、第nフレームでは、図１０の下の図に示すように、ターゲットIDが0で、ターゲット関連情報INFOが、第nフレームの入力部分#0の位置情報等になっているターゲット属性を有する新たなターゲット#0が生成される。
【０１４３】
さらに、第nフレームでは、新たなターゲット#0が生成されたことに対応して、図９の場合と同様に、イベントが生成される。すなわち、第nフレームでは、図１０の下の図に示すように、イベントIDが0で、イベントタイプTypeが新たなターゲットの生成を表すCreateであり、特定情報tidがターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#0が生成される。
【０１４４】
次に、第n+1フレームでは、図１０の上の図に示すように、入力部分#0が移動せずに、そのまま存在している。
【０１４５】
この場合、その１フレーム前の第nフレームのターゲット#0に、第n+1フレームの入力部分#0が統合される。その結果、第n+1フレームでは、ターゲット#0は、図１０の下の図に示すように、ターゲット関連情報INFOが、第n+1フレームの入力部分#0の位置情報等で更新された第nフレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
【０１４６】
また、第n+1フレームでは、ユーザが、他の１本の指で、入出力ディスプレイ２２の表示画面に対する近接を開始することにより、図１０の上の図に示すように、他の入力部分#1が新たに出現している。
【０１４７】
この場合、第n+1フレームの新たな入力部分#1について、新たなターゲット#1が生成される。すなわち、第n+1フレームでは、図１０の下の図に示すように、ターゲットIDが、既に存在するターゲット#0のターゲットIDの0とは異なる1で、ターゲット関連情報INFOが、第n+1フレームの新たな入力部分#1の位置情報等になっているターゲット属性を有する新たなターゲット#1が生成される。
【０１４８】
さらに、第n+1フレームでは、新たなターゲット#0が生成されたことに対応して、イベントが生成される。すなわち、第n+1フレームでは、図１０の下の図に示すように、イベントIDが、第nフレームで生成されたイベントのイベントIDの0とは異なる1で、イベントタイプTypeが新たなターゲットの生成を表すCreateであり、特定情報tidがターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#1が生成される。
【０１４９】
第n+2フレームでは、図１０の上の図に示すように、入力部分#0と#1が移動を開始している。
【０１５０】
この場合、その１フレーム前の第n+1フレームのターゲット#0に、第n+2フレームの入力部分#0が統合される。その結果、第n+2フレームでは、ターゲット#0は、図１０の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
【０１５１】
同様に、第n+1フレームのターゲット#1に、第n+2フレームの入力部分#1が統合される。その結果、第n+2フレームでは、ターゲット#1は、図１０の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#1の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが1のままで、第n+2フレームの入力部分#1の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
【０１５２】
また、第n+2フレームでは、ターゲット#0に統合された入力部分#0の移動が開始されたこと、したがって、ターゲット#0の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図１０の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0及び#1のイベントとは異なる2で、イベントタイプTypeがターゲットの移動移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#2が生成される。
【０１５３】
同様に、第n+2フレームでは、ターゲット#1に統合された入力部分#1の移動が開始されたこと、したがって、ターゲット#1の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図１０の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#2のイベントIDとは異なる3で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#3が生成される。
【０１５４】
次に、第n+3フレームでは、図１０の上の図に示すように、入力部分#0が移動中である。
【０１５５】
この場合、その１フレーム前の第n+2フレームのターゲット#0に、第n+3フレームの入力部分#0が統合される。その結果、第n+3フレームでは、ターゲット#0は、図１０の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
【０１５６】
また、第n+3フレームでは、入力部分#1が停止している。
【０１５７】
この場合、その１フレーム前の第n+2フレームのターゲット#1に、第n+3フレームの入力部分#1が統合される。その結果、第n+3フレームでは、ターゲット#1は、図１０の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#1の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが1のままで、第n+3フレームの入力部分#1の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
【０１５８】
さらに、第n+3フレームでは、ターゲット#1に統合された入力部分#1の移動が終了されたこと、したがって、ターゲット#1の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+3フレームでは、図１０の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#3のイベントIDとは異なるとは異なる4で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#4が生成される。
【０１５９】
次に、第n+4フレームでは、ユーザが、指の近接を解除することにより、図１０の上の図に示すように、入力部分#1が消滅している。
【０１６０】
この場合、第n+4フレームでは、ターゲット#1が削除される。
【０１６１】
また、第n+4フレームでは、図１０の上の図に示すように、入力部分#0が停止している。
【０１６２】
この場合、その１フレーム前の第n+3フレームのターゲット#0に、第n+4フレームの入力部分#0が統合される。その結果、第n+4フレームでは、ターゲット#0は、図１０の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+4フレームのターゲット、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。
【０１６３】
また、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了されたこと、したがって、ターゲット#0の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図１０の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#4のイベントとは異なる5で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#5が生成される。
【０１６４】
同様に、第n+4フレームでは、入力部分#1が消滅したこと、したがって、ターゲット#1が削除されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図１０の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#5のイベントIDとは異なる6で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#6が生成される。
【０１６５】
第n+5フレームでは、ユーザが入出力ディスプレイ２２の表示画面に対する近接を解除することにより、図１０の上の図に示すように、入力部分#0が消滅している。
【０１６６】
この場合、第n+5フレームでは、ターゲット#0が削除される。
【０１６７】
さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベントが生成される。すなわち、第n+5フレームでは、図１０の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#6のイベントIDとは異なる7で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#7が生成される。
【０１６８】
次に、図１１乃至図２３を参照して、図２のステップＳ５における認識処理について説明する。
【０１６９】
まず、ターゲットの移動、またはターゲットの停止を表すイベントを認識する移動の認識処理について説明する。
【０１７０】
図１１のフローチャートを参照して、図２のステップＳ５で図１のイベント生成部３２が行うイベント「移動」及び「停止」を認識する処理である移動の認識処理について説明する。
【０１７１】
なお、イベント「移動」は、図９及び図１０におけるイベントタイプTypeがMoveStartであるイベントであり、イベント「停止」は、図９及び図１０におけるイベントタイプTypeがMoveStopであるイベントである。
【０１７２】
移動の認識処理は、統合処理の後に行われるので、移動の認識処理の開始時において、第tフレームと第t+1フレームのターゲットの情報が、使用可能な状態になっている。
【０１７３】
ステップＳ４１において、イベント生成部３２は、第t+1フレームのターゲットに、まだ注目ターゲットとしていないターゲットがあるかを判定する。
【０１７４】
ステップＳ４１において、第t+1フレームのターゲットに、まだ注目ターゲットとしていないターゲットがないと判定された場合、移動の認識処理が終了する。
【０１７５】
一方、ステップＳ４１において、第t+1フレームのターゲットに、まだ注目ターゲットとしていないターゲットがあると判定された場合、ステップＳ４２において、イベント生成部３２は、第t+1フレームのターゲットのうちのまだ注目ターゲットとしていないターゲットを注目ターゲットとし、第tフレームと第t+1フレームの間で注目ターゲットが移動したかを判定する。
【０１７６】
ステップＳ４２において、第tフレームと第t+1フレームの間で注目ターゲットが移動したと判定された場合、ステップＳ４３において、イベント生成部３２は、記憶部３３に記憶されているイベントの情報を読み出し、特定情報tidが注目ターゲットのターゲットIDであるイベントの中に、イベント「移動」があるかを判定する。
【０１７７】
ステップＳ４３において、特定情報tidが注目ターゲットのターゲットIDであるイベントの中に、イベント「移動」がないと判定された場合、すなわち、注目ターゲットが直前まで停止しており、移動を開始した場合、ステップＳ４４において、イベント生成部３２は、注目ターゲットが移動したことに対応して、イベント「移動」を発行する。
【０１７８】
具体的には、イベント生成部３２は、イベントIDが、いままでに生成されたイベントとは異なる値で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始した注目ターゲットのターゲットIDであるイベント属性を有する新たなイベント「移動」を生成する。
【０１７９】
そして、イベント生成部３２は、生成したイベント「移動」の情報、すなわち、イベントID、イベントタイプType、特定情報tid等を、記憶部３３に記憶させる。そして、処理はステップＳ４１に戻り、以下、同様の処理が繰り返される。
【０１８０】
一方、ステップＳ４３において、特定情報tidが注目ターゲットのターゲットIDであるイベントの中に、イベント「移動」があると判定された場合、すなわち、注目ターゲットが移動中である場合、処理はステップＳ４１に戻り、以下、同様の処理が繰り返される。
【０１８１】
また、ステップＳ４２において、第tフレームと第t+1フレームの間で注目ターゲットが移動していないと判定された場合、ステップＳ４５において、イベント生成部３２は、記憶部３３に記憶されているイベントの情報を読み出し、特定情報tidが注目ターゲットのターゲットIDであるイベントの中に、イベント「移動」があるかを判定する。
【０１８２】
ステップＳ４５において、特定情報tidが注目ターゲットのターゲットIDであるイベントの中に、イベント「移動」があると判定された場合、すなわち、注目ターゲットが直前に移動しており、移動を終了した（停止した）場合、ステップＳ４６において、イベント生成部３２は、注目ターゲットが停止したことに対応して、イベント「停止」を発行する。
【０１８３】
具体的には、イベント生成部３２は、イベントIDが、いままでに生成されたイベントとは異なる値で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了した注目ターゲットのターゲットIDであるイベント属性を有する新たなイベント「停止」を発行する。
【０１８４】
そして、イベント生成部３２は、生成したイベント「停止」の情報、すなわち、イベントID、イベントタイプType、特定情報tid等を、記憶部３３に記憶させる。そして、処理はステップＳ４１に戻り、以下、同様の処理が繰り返される。
【０１８５】
一方、ステップＳ４５において、特定情報tidが注目ターゲットのターゲットIDであるイベントの中に、イベント「移動」がないと判定された場合、すなわち、注目ターゲットが停止中である場合、処理はステップＳ４１に戻り、以下、同様の処理が繰り返される。
【０１８６】
このように、移動の認識処理を行うことにより、第tフレームと第t+1フレームの間のターゲットの移動または停止というイベントを認識することが可能となる。
【０１８７】
次に、例えば、ユーザが表示画面に対する指の近接を開始し、近接を継続しながら指を移動して、指の近接を解除した場合に、近接を開始したときの指の位置と近接を終了したときの指の位置との間の距離が閾値以上であるときに、イベント生成部３２は、イベント「投射」を発行する。
【０１８８】
図１２を参照して、イベント「投射」を認識する投射の認識処理について説明する。
【０１８９】
ここで、表示画面に対する指の近接を開始したときのフレームを開始フレームという。
【０１９０】
図１２では、ユーザが位置Ａで近接を開始し、近接を継続しながら指を移動して、位置Ｂで近接を解除した様子が示されている。
【０１９１】
位置Ａの座標、すなわち、ユーザが指の近接を開始したとき（開始フレーム）のターゲットの代表座標を、座標(Xa, Ya)とするとともに、位置Ｂの座標、すなわち、ユーザが指の近接を解除したときのターゲットの代表座標を、座標(Xb, Yb)とすると、位置Ａと位置Ｂの間の距離、つまり、ターゲットの変位した距離ｄは、d=√((Xb−Xa)2+(Yb−Ya)2)と表される。
【０１９２】
ターゲットの変位した距離dが所定の閾値以上である場合に、イベント「投射」が発行される。
【０１９３】
イベント「投射」は、イベントID、イベントタイプType、特定情報tidの他、イベント「投射」の付加的な情報を表す付加情報（エキストラ情報ともいう）、例えば、イベント「投射」が状態を表すターゲットの変位した距離dや投射角度α=atan2(Yb−Ya, Xb−Xa)等のイベント属性を有する。
【０１９４】
なお、投射角度α=atan2(Yb−Ya, Xb−Xa)の右辺における関数atan2(y, x)は、引数xとyに対して、tan(φ) = y/xを満足し、かつ、−π≦φ≦πであるラジアン単位の角度φを返す。なお、x > 0かつy = 0の場合atan2(y, x) = 0、x < 0 かつy = 0の場合atan2(y, x) =π、x = y = 0の場合atan2(y, x)は未定義、y < 0の場合−π< atan2(y, x) < 0、そしてy > 0の場合0 < atan2(y, x) <πである。
【０１９５】
イベント「投射」のイベント属性に、イベント「投射」が状態を表すターゲットの変位した距離dと投射角度αを含めることにより、第t+1フレームのターゲットとイベントの情報のみから、イベント「投射」が状態を表すターゲットの変位の始点座標としての位置Aの座標(Xa, Ya)を求めることができる。
【０１９６】
次に、図１３のフローチャートを参照して、図２のステップＳ５で図１のイベント生成部３２が行うイベント「投射」を認識する処理である投射の認識処理について説明する。
【０１９７】
なお、投射の認識処理は、統合処理の後に行われるので、投射の認識処理の開始時において、統合処理後の第t+1フレームのターゲットとイベントの情報が、既に使用可能な状態になっている。
【０１９８】
ステップＳ６１において、イベント生成部３２は、第t+1フレームでイベント「生成」が発行されたかを判定する。ステップＳ６１において、第t+1フレームでイベント「生成」が発行されたと判定された場合、ステップＳ６２において、イベント生成部３２は、第t+1フレームのイベント「生成」の特定情報tidによって特定されるターゲットを注目ターゲットとし、注目ターゲットの代表座標を、注目ターゲットのターゲットIDと対応付けて、記憶部３３に記憶する。
【０１９９】
一方、ステップＳ６１において、第t+1フレームでイベント「生成」が発行されていない場合、処理は、ステップＳ６２をスキップして、ステップＳ６３に進み、イベント生成部３２は、注目ターゲットに対するイベント「削除」は第t+1フレームで発行されたかを判定する。ステップＳ６３において、注目ターゲットに対するイベント「削除」は第t+1フレームで発行されていない場合、投射の認識処理は終了する。
【０２００】
一方、ステップＳ６３において、注目ターゲットに対するイベント「削除」は第t+1フレームで発行されたと判定された場合、ステップＳ６４において、イベント生成部３２は、記憶部３３に記憶されている注目ターゲットのターゲットIDと対応付けられた開始フレームの代表座標を読み出し、開始フレームと第t+1フレームのそれぞれの注目ターゲットの代表座標から、注目ターゲットの変位した距離dと投射角度αを求める。
【０２０１】
ステップＳ６５において、イベント生成部３２は、注目ターゲットの変位した距離dが所定の閾値以上であるかを判定する。ステップＳ６５において、注目ターゲットの変位した距離dが所定の閾値以上であると判定された場合、ステップＳ６６において、イベント生成部３２は、ステップＳ６４で求めた注目ターゲットの変位した距離dと投射角度αを、付加情報とするイベント属性を有するイベント「投射」を発行する。そして、イベント生成部３２は、同時に、ステップＳ６２で注目ターゲットのターゲットIDと対応付けて記憶された開始フレームの代表座標を、記憶部３３から削除する。これにより、記憶部３３の記憶領域の余計な浪費を防ぐことができる。そして、投射の認識処理は終了する。
【０２０２】
一方、ステップＳ６５において、注目ターゲットの変位した距離dが所定の閾値以上でないと判定された場合、ステップＳ６６の処理はスキップする。そして、投射の認識処理は終了する。
【０２０３】
ターゲットの変位した距離dが所定の閾値以上であるかどうかを判定することにより、ターゲットの変位した距離が短い場合に、イベント「投射」が誤って認識されることが抑制される。
【０２０４】
このように、投射の認識処理を行うことにより、開始フレームと第t+1フレームの間で、ターゲットが所定の閾値以上の距離だけ変位するというイベントを認識することが可能となる。
【０２０５】
次に、例えば、ユーザが表示画面に２本の指の近接を開始し、近接を継続しながら２本の指の間の距離を拡げるか、または狭めるように２本の指を移動して、２本の指の近接を解除した場合に、近接を開始したときの２本の指の間の距離を基準として、２本の指の間の距離の拡大率または縮小率が所定の閾値以上または以下であるときに、イベント生成部３２は、イベント「拡大」または「縮小」を発行する。
【０２０６】
図１４を参照して、イベント「拡大」または「縮小」を認識する拡大縮小の認識処理について説明する。
【０２０７】
ここで、表示画面に対する２本の指の近接を開始したときのフレームを開始フレームという。
【０２０８】
図１４の左の図は、開始フレームの２つのターゲットを示し、図１４の右上の図は、２つのターゲットの間の距離が拡大した場合の第t+1フレームの２つのターゲットを示す。図１４の右下の図は、２つのターゲットの間の距離が縮小した場合の第t+1フレームの２つのターゲットを示す。
【０２０９】
図１４の左の図及び図１４の右上の図では、開始フレームにおいて、ユーザが位置A1と位置B1で２本の指の近接を開始し、近接を継続しながら２本の指の間の距離を拡げるように２本の指を移動して、位置A2と位置B2で２本の指の近接を解除した様子が示されている。
【０２１０】
位置A1と位置B1の座標、すなわち、ユーザが指の近接を開始したとき（開始フレーム）の２つのターゲットの代表座標を、それぞれ座標(Xa1, Ya1)、座標(Xb1, Yb1)とするとともに、位置A2と位置B2の座標、すなわち、ユーザが指の近接を解除したときの２つのターゲットの代表座標を、それぞれ座標(Xa2, Ya2)、座標(Xb2, Yb2)とすると、位置A1と位置B1の間の距離d1=√((Xb1−Xa1)2+(Yb1−Ya1)2)を基準とした、位置A2と位置B2の間の距離d2=√((Xb2−Xa2)2+(Yb2−Ya2)2)の拡大率、つまり、２つのターゲットの間の距離の拡大率Eは、E=d2/d1と表される。
【０２１１】
２つのターゲットの間の距離の拡大率Eが所定の閾値以上である場合に、イベント「拡大」が発行される。
【０２１２】
図１４の左の図及び図１４の右下の図では、開始フレームにおいて、ユーザが位置A1と位置B1で２本の指の近接を開始し、近接を継続しながら２本の指の間の距離を狭めるように２本の指を移動して、位置A3と位置B3で２本の指の近接を解除した様子が示されている。
【０２１３】
位置A1と位置B1の座標、すなわち、ユーザが指の近接を開始したとき（開始フレーム）の２つのターゲットの代表座標を、それぞれ座標(Xa1, Ya1)、座標(Xb1, Yb1)とするとともに、位置A3と位置B3の座標、すなわち、ユーザが指の近接を解除したときの２つのターゲットの代表座標を、それぞれ座標(Xa3, Ya3)、座標(Xb3, Yb3)とすると、位置A1と位置B1の間の距離d1=√((Xb1−Xa1)2+(Yb1−Ya1)2)を基準とした、位置A3と位置B3の間の距離d3=√((Xb3−Xa3)2+(Yb3−Ya3)2)の縮小率、つまり、２つのターゲットの間の距離の縮小率Rは、R=d3/d1と表される。
【０２１４】
２つのターゲットの間の距離の縮小率Rが所定の閾値以下である場合に、イベント「縮小」が発行される。
【０２１５】
なお、拡大率Eと縮小率Rは、いずれも、第t+1フレームにおける２つのターゲットの間の距離を、開始フレームにおける２つのターゲットの間の距離で除算することで求められる。
【０２１６】
イベント「拡大」またはイベント「縮小」は、イベントID、イベントタイプType、特定情報tidの他、イベントの付加的な情報を表す付加情報、例えば、拡大率Eまたは縮小率R、イベント「拡大」またはイベント「縮小」の始点座標としての開始フレームの２つのターゲットのそれぞれの代表座標である座標(Xa1, Ya1)と座標(Xb1, Yb1)等のイベント属性を有する。
【０２１７】
次に、図１５のフローチャートを参照して、図２のステップＳ５で図１のイベント生成部３２が行うイベント「拡大」及び「縮小」を認識する処理である拡大縮小の認識処理について説明する。
【０２１８】
なお、拡大縮小の認識処理は、統合処理の後に行われるので、拡大縮小の認識処理の開始時において、統合処理後の第t+1フレームのターゲットとイベントの情報が、既に使用可能な状態になっている。
【０２１９】
ステップＳ８１において、イベント生成部３２は、２つ目のターゲットに対してイベント「生成」が第t+1フレームで発行されたかを判定する。ステップＳ８１において、２つ目のターゲットに対してイベント「生成」が第t+1フレームで発行されたと判定された場合、ステップＳ８２において、イベント生成部３２は、第t+1フレームの２つのターゲットのセットを注目セットとし、注目セットの２つのターゲットのそれぞれの代表座標を、２つのターゲットのそれぞれのターゲットIDと対応付けて、記憶部３３に記憶させる。
【０２２０】
一方、ステップＳ８１において、２つ目以外のターゲットに対してイベント「生成」が第t+1フレームで発行された場合、あるいは、イベント「生成」が第t+1フレームで発行されていない場合、処理は、ステップＳ８２をスキップする。
【０２２１】
ステップＳ８３において、イベント生成部３２は、注目セットの２つのターゲットが第tフレームで存在し、かつ、注目セットの２つのターゲットのいずれかに対して、イベント「削除」が第t+1フレームで発行されたかを判定する。
【０２２２】
ステップＳ８３において、注目セットが第tフレームで存在し、かつ、注目セットの２つのターゲットのいずれかに対して、イベント「削除」が第t+1フレームで発行されたと判定された場合、ステップＳ８４において、イベント生成部３２は、記憶部３３から注目セットの２つのターゲットのそれぞれのターゲットIDと対応付けられた開始フレームの注目セットの２つのターゲットのそれぞれの代表座標を読み出し、注目セットの２つのターゲットのそれぞれの開始フレームと第t+1フレームの代表座標から、注目セットの２つのターゲットの間の距離の拡大率E（すなわち、縮小率R）を求める。また、イベント生成部３２は、同時に、記憶していた開始フレームの注目セットの２つのターゲットのそれぞれの代表座標を記憶部３３から削除する。これにより、記憶部３３の記憶領域の余計な浪費を防ぐことができる。
【０２２３】
一方、ステップＳ８３において、注目セットが第tフレームで存在しないか、あるいは、注目セットの２つのターゲットのいずれに対しても、イベント「削除」が第t+1フレームで発行されていないと判定された場合、処理は、ステップＳ８４乃至ステップＳ８８をスキップする。そして、拡大縮小の認識処理は終了する。
【０２２４】
ステップＳ８５において、イベント生成部３２は、ステップＳ８４で求めた注目セットの２つのターゲットの間の距離の拡大率Eが所定の閾値以上であるかを判定する。ステップＳ８５において、ステップＳ８４で求めた注目セットの２つのターゲットの間の距離の拡大率Eが所定の閾値以上であると判定された場合、ステップＳ８６において、イベント生成部３２は、ステップＳ８４で求めた注目セットの２つのターゲットの間の距離の拡大率Eと、始点座標としての注目セットの２つのターゲットのそれぞれの開始フレームの代表座標を付加情報とするイベント「拡大」を発行する。そして、拡大縮小の認識処理は終了する。
【０２２５】
一方、ステップＳ８５において、ステップＳ８４で求めた注目セットの２つのターゲットの間の距離の拡大率Eが所定の閾値以上でないと判定された場合、ステップＳ８７において、イベント生成部３２は、注目セットの２つのターゲットの間の距離の縮小率Rが所定の閾値以下であるかを判定する。ステップＳ８７において、注目セットの２つのターゲットの間の距離の縮小率Rが所定の閾値以下であると判定された場合、ステップＳ８８において、イベント生成部３２は、ステップＳ８４で求めた注目セットの２つのターゲットの間の距離の縮小率Rと、始点座標としての注目セットの２つのターゲットのそれぞれの開始フレームの代表座標を付加情報とするイベント「縮小」を発行する。そして、拡大縮小の認識処理は終了する。
【０２２６】
一方、ステップＳ８７において、縮小率Rが所定の閾値以下でないと判定された場合、拡大縮小の認識処理は終了する。
【０２２７】
開始フレームの２つのターゲットの間の距離を基準とした、第t+1フレームの２つのターゲットの間の距離の拡大率Eが所定の閾値以上であるかを判定することにより、２つのターゲットの間の距離の拡大率が小さい場合にイベント「拡大」が誤って認識されることが抑制される。また、開始フレームの２つのターゲットの間の距離を基準とした、第t+1フレームの２つのターゲットの間の距離の縮小率Rが所定の閾値以下であるかを判定することにより、２つのターゲットの間の距離の縮小率が大きい場合にイベント「縮小」が誤って認識されることが抑制される。
【０２２８】
このように、拡大縮小の認識処理を行うことにより、開始フレームの２つのターゲットの間の距離を基準として、第t+1フレームにおける２つのターゲットの間の距離が所定の閾値以上または以下の拡大率または縮小率で拡大または縮小するというイベントを認識することが可能となる。
【０２２９】
次に、例えば、ユーザが表示画面に２本の指の近接を開始し、近接を継続しながら、表示画面上のある点を中心とした同心円を描くように２本の指を移動して、２本の指の近接を解除した場合に、近接を開始したときの２本の指のそれぞれの表示画面上の位置を結ぶ直線に対して、第t+1フレームの２本の指のそれぞれの表示画面上の位置を結ぶ直線が回転する回転角の絶対値が所定の閾値以上であるときに、イベント「回転」を発行する。
【０２３０】
図１６を参照して、イベント「回転」を認識する回転の認識処理について説明する。
【０２３１】
ここで、表示画面に対する２本の指の近接を開始したときのフレームを開始フレームという。
【０２３２】
図１６の左の図は、開始フレームの２つのターゲットを示し、図１６の右の図は、開始フレームの２つのターゲットのそれぞれの位置を結ぶ直線に対して、第t+1フレームの２つのターゲットのそれぞれの位置を結ぶ直線が時計回りに回転した場合の第t+1フレームの２つのターゲットを示す。
【０２３３】
図１６の左の図及び図１６の右の図では、開始フレームにおいて、ユーザが位置A1と位置B1で２本の指の近接を開始し、近接を継続しながら、表示画面上のある点（図中の回転中心）を中心とした同心円を描くように２本の指を移動して、位置A2と位置B2で２本の指の近接を解除した様子が示されている。
【０２３４】
位置A1と位置B1の座標、すなわち、ユーザが指の近接を開始したとき（開始フレーム）の２つのターゲットの代表座標を、それぞれ座標(Xa1, Ya1)、座標(Xb1, Yb1)とするとともに、位置A2と位置B2の座標、すなわち、ユーザが指の近接を解除したときの２つのターゲットの代表座標を、それぞれ座標(Xa2, Ya2)、座標(Xb2, Yb2)とすると、近接を開始したときの２つのターゲットのそれぞれの位置を結ぶ直線に対して、第t+1フレームの２つのターゲットのそれぞれの位置を結ぶ直線が回転する回転角、すなわち、２つのターゲットに対する回転角θは、第t+1フレームの２つのターゲットのそれぞれの位置を結ぶ直線A2B2の水平に対する傾き角を、開始フレームの２つのターゲットのそえぞれの位置を結ぶ直線A1B1の水平に対する傾き角から差し引いた角度であり、式（１）で表される。
【０２３５】
【数１】
2008146165.tif 000003
【０２３６】
２つのターゲットに対する回転角θの絶対値が所定の閾値以上である場合に、イベント「回転」が発行される。
【０２３７】
なお、イベント「回転」は、イベントタイプTypeがRotateであるイベントである。
【０２３８】
イベント「回転」は、イベントID、イベントタイプType、特定情報tidの他、イベントの付加的な情報を表す付加情報、例えば、回転角θや回転の中心である回転中心の座標等のイベント属性を有する。
【０２３９】
図１７は、イベント「回転」が発行されたときに生成部２５から出力されるターゲットとイベントの情報の例を表している。
【０２４０】
図１７のターゲットとイベントの情報は、XML(Extensible Markup Language)形式で記述されている。
【０２４１】
図１７のターゲットとイベントの情報の上から２行目には、ターゲットとイベントの情報が生成部２５により出力されるときの時刻を表す情報である第t+1フレームの番号（frameNumber）、第t+1フレームのターゲットの数(numOfTargets)、第t+1フレームのイベントの数(numOfEvents)が、それぞれ22，2，1として示されている。
【０２４２】
上から４行目と７行目には、第t+1フレーム（フレームの番号が22のフレーム）に存在する２つのターゲットのそれぞれのターゲット属性が示されている。ターゲット属性には、ターゲットの識別番号であるターゲットID(tid)、ターゲットに統合される入力部分の入力が開始された（ターゲットが生成された）ときのフレームの番号(ft)、第t+1フレームにおけるターゲットの代表座標のx座標(x)及びy座標(y)、ターゲットの領域の面積(a)、並びに、領域情報としてのターゲットを囲む最小の長方形の上端の座標(rt)、下端の座標(rb)、左端の座標(rl)、及び右端の座標(rr)が示されている。これらの値が４行目では、0，1，10，20，100，5，25，5，15とされ、７行目では、1，2，30，40，200，30，50，25，35とされている。
【０２４３】
上から１０乃至１５行目には、第t+1フレーム（フレームの番号が22のフレーム）のイベント属性が示されている。
【０２４４】
上から１０行目には、イベントID(eid)が1のイベント#1のイベント属性が記述されている。
【０２４５】
すなわち、上から１０行目には、左から、イベントに固有の識別情報であるイベントID(eid)、イベントが発行されたときの時刻を表す情報としての、イベントが発行されたときのフレームの番号(fn)、イベントの種類を表す情報であるイベントタイプ(type)、イベントが状態を表すターゲットの数(numOfID)、並びに、イベントの付加的な情報である付加情報の数(numOfValue)が示されている。イベント#1のこれらの値は、それぞれ、1，22，Rotate，2，3とされている。
【０２４６】
なお、イベントが発行されたときのフレームの番号(fn)を、イベント属性に含めることで、イベントの検索性を向上させることができる。
【０２４７】
上から１１行目と１２行目には、イベント#1が状態を表すターゲットを特定する特定情報tidが、0，1として示されている。
【０２４８】
イベント#1は、イベント「回転」であり、上から１３行目には、イベント「回転」の付加情報としての回転中心のx座標が示され、上から１４行目には、イベント「回転」の付加情報としての回転中心のy座標が示されている。上から１５行目には、イベント「回転」の付加情報としての回転角θが示されている。イベント#1のこれらの値は、それぞれ20，30，20とされている。
【０２４９】
なお、図１７のターゲットとイベントの情報には、１つのイベント#1の情報だけが記述されているが、ターゲットとイベントの情報に、複数のイベントの情報を含めることも可能である。
【０２５０】
次に、図１８のフローチャートを参照して、図２のステップＳ５で図１のイベント生成部３２が行うイベント「回転」を認識する処理である回転の認識処理について説明する。
【０２５１】
回転の認識処理は、統合処理の後に行われるので、回転の認識処理の開始時において、統合処理後の第t+1フレームのターゲットとイベントの情報が、既に使用可能な状態になっている。
【０２５２】
ステップＳ１０１において、イベント生成部３２は、２つ目のターゲットに対してイベント「生成」が第t+1フレームで発行されたかを判定する。ステップＳ１０１において、２つ目のターゲットに対してイベント「生成」が第t+1フレームで発行されたと判定された場合、ステップＳ１０２において、イベント生成部３２は、第t+1フレームの２つのターゲットのセットを注目セットとし、注目セットの２つのターゲットのそれぞれの代表座標を、２つのターゲットのそれぞれのターゲットIDと対応付けて、記憶部３３に記憶させる。
【０２５３】
一方、ステップＳ１０１において、２つ目以外のターゲットに対してイベント「生成」が第t+1フレームで発行された場合、あるいは、イベント「生成」が第t+1フレームで発行されていない場合、処理は、ステップＳ１０２をスキップする。
【０２５４】
ステップＳ１０３において、イベント生成部３２は、注目セットが第tフレームで存在し、かつ、注目セットの２つのターゲットのいずれかに対して、イベント「削除」が第t+1フレームで発行されたかを判定する。
【０２５５】
ステップＳ１０３において、注目セットの２つのターゲットが第tフレームで存在し、かつ、注目セットの２つのターゲットのいずれか一方に対して、イベント「削除」が第t+1フレームで発行されたと判定された場合、ステップＳ１０４において、イベント生成部３２は、記憶部３３から注目セットの２つのターゲットのそれぞれのターゲットIDと対応付けられた開始フレームの注目セットの２つのターゲットのそれぞれの代表座標を読み出し、注目セットの２つのターゲットのそれぞれの開始フレームと第t+1フレームの代表座標から、式（１）で表される注目セットの２つのターゲットに対する回転角θの絶対値を求める。また、イベント生成部３２は、同時に、記憶していた開始フレームの注目セットの２つのターゲットのそれぞれの代表座標を記憶部３３から削除する。これにより、記憶部３３の記憶領域の余計な浪費を防ぐことができる。
【０２５６】
一方、ステップＳ１０３において、注目セットが第tフレームで存在しないか、あるいは、注目セットの２つのターゲットのいずれに対しても、イベント「削除」が第t+1フレームで発行されていないと判定された場合、処理はステップＳ１０４乃至ステップＳ１０６をスキップする。そして、回転の認識処理は終了する。
【０２５７】
ステップＳ１０５において、イベント生成部３２は、ステップＳ１０４で求めた注目セットの２つのターゲットに対する回転角θの絶対値が所定の閾値以上であるかを判定する。ステップＳ１０５において、ステップＳ１０４で求めた注目セットの２つのターゲットに対する回転角θの絶対値が所定の閾値以上であると判定された場合、ステップＳ１０６において、イベント生成部３２は、注目セットの２つのターゲットに対する回転角θと、注目セットの２つのターゲットに対する回転の回転中心の座標を付加情報とするイベント「回転」を発行する。そして、回転の認識処理は終了する。
【０２５８】
一方、ステップＳ１０５において、ステップＳ１０４で求めた注目セットの２つのターゲットに対する回転角θの絶対値が所定の閾値以上でないと判定された場合、処理はステップＳ１０６をスキップする。そして、回転の認識処理は終了する。
【０２５９】
開始フレームと第t+1フレームの間の２つのターゲットに対する回転角θの絶対値が所定の閾値以上であるかを判定することにより、２つのターゲットに対する回転角の絶対値が小さい場合にイベント「回転」が誤って認識されることが抑制される。
【０２６０】
このように、回転の認識処理を行うことにより、開始フレームと第t+1フレームの間で、２つのターゲットに対する回転が、所定の閾値以上の回転角で生じるというイベントを認識することが可能となる。
【０２６１】
次に、例えば、ユーザが表示画面に３本の指の近接を開始し、近接を継続しながら、表示画面上のある点を中心とした同心円を描くように３本の指を移動して、３本の指の近接を解除した場合に、近接を開始したときの３本の指のうちの２本ずつの指の表示画面上の位置を結ぶ直線に対して、第t+1フレームの３本の指のうちの同じ２本ずつの指の表示画面上の位置を結ぶ直線が回転する回転角を、３本の指のうちの３通りの２本ずつの指のセット（組）について平均した回転角の絶対値が、所定の閾値以上であるときに、イベント「３点回転」を発行する。
【０２６２】
図１９乃至図２２を参照して、イベント「３点回転」を認識する３点回転の認識処理について説明する。
【０２６３】
ここで、表示画面に対する３本の指の近接を開始したときのフレームを開始フレームという。
【０２６４】
図１９の左の図は、開始フレームの３つのターゲットを示し、図１９の右の図は、ある点を中心とした同心円を描くように３つのターゲットが移動した場合の第t+1フレームの３つのターゲットを示す。
【０２６５】
図１９では、開始フレームにおいて、ユーザが座標(x0, y0)、座標(x1, y1)、及び座標(x2, y2)に対応する３つの位置で３本の指の近接を開始し、近接を継続しながら、表示画面上のある点を中心とした同心円を描くように３本の指を移動して、座標(x0', y0')、座標(x1', y1')、及び座標(x2', y2')に対応する３つの位置で３本の指の近接を解除した様子が示されている。
【０２６６】
また、ユーザが指の近接を開始したとき（開始フレーム）の３つのターゲットの代表座標、すなわち、ターゲット#0乃至#2の代表座標を、それぞれ座標(x0, y0)、座標(x1, y1)、及び座標(x2, y2)とするとともに、ユーザが指の近接を解除したときの３つのターゲットの代表座標、すなわち、ターゲット#0乃至#2の代表座標を、それぞれ座標(x0', y0')、座標(x1', y1')、及び座標(x2', y2')とする。
【０２６７】
開始フレームの３つのターゲットのうちの２つずつのターゲットの位置を結ぶ直線に対して、第t+1フレームの３つのターゲットのうちの同じ２つずつのターゲットの位置を結ぶ直線が回転する回転角を求める。
【０２６８】
ここで、３つのターゲットのうちの２つずつのターゲットは、ターゲット#0乃至#2のうちの２つずつのターゲットのセット（組）、すなわち、ターゲット#2とターゲット#0のセット、ターゲット#0とターゲット#1のセット、及びターゲット#1とターゲット#2のセットである。
【０２６９】
図２０は、開始フレームと第t+1フレームを重ねた状態を示している。
【０２７０】
図２０では、開始フレームのターゲット#2とターゲット#0のセットの２つのターゲットのそれぞれの位置を結ぶ直線に対して、第t+1フレームのターゲット#2とターゲット#0のセットの２つのターゲットのそれぞれの位置を結ぶ直線が回転する回転角である回転角Angle0は、開始フレームにおけるターゲット#2とターゲット#0のそれぞれの位置を結ぶ直線の水平に対する傾き角を、第t+1フレームにおけるターゲット#2とターゲット#0のそれぞれの位置を結ぶ直線の水平に対する傾き角から差し引いた角度であり、式（２）で表される。
【０２７１】
【数２】
2008146165.tif 000004
【０２７２】
図２１は、開始フレームと第t+1フレームを重ねた状態を示している。
【０２７３】
図２１では、開始フレームのターゲット#0とターゲット#1のセットの２つのターゲットのそれぞれの位置を結ぶ直線に対して、第t+1フレームのターゲット#0とターゲット#1のセットの２つのターゲットのそれぞれの位置を結ぶ直線が回転する回転角である回転角Angle1は、開始フレームにおけるターゲット#0とターゲット#1のそれぞれの位置を結ぶ直線の水平に対する傾き角を、第t+1フレームにおけるターゲット#0とターゲット#1のそれぞれの位置を結ぶ直線の水平に対する傾き角から差し引いた角度であり、式（３）で表される。
【０２７４】
【数３】
2008146165.tif 000005
【０２７５】
図２２は、開始フレームと第t+1フレームを重ねた状態を示している。
【０２７６】
図２２では、開始フレームのターゲット#1とターゲット#2のセットの２つのターゲットのそれぞれの位置を結ぶ直線に対して、第t+1フレームのターゲット#1とターゲット#2のセットの２つのターゲットのそれぞれの位置を結ぶ直線が回転する回転角である回転角Angle2は、開始フレームにおけるターゲット#1とターゲット#2のそれぞれの位置を結ぶ直線の水平に対する傾き角を、第t+1フレームにおけるターゲット#1とターゲット#2のそれぞれの位置を結ぶ直線の水平に対する傾き角から差し引いた角度であり、式（４）で表される。
【０２７７】
【数４】
2008146165.tif 000006
【０２７８】
そして、回転角Angle0乃至回転角Angle2を、３つのターゲットのうちの３通りの２つずつのターゲットのセット、すなわち、ターゲット#2とターゲット#0、ターゲット#0とターゲット#1、及びターゲット#1とターゲット#2について平均した回転角、つまり、３つのターゲットに対する回転角である回転角Angleは、式（５）に表される。
【０２７９】
【数５】
2008146165.tif 000007
【０２８０】
そして、３つのターゲットに対する回転角Angleの絶対値が、所定の閾値以上である場合に、イベント「３点回転」が発行される。
【０２８１】
イベント「３点回転」は、イベントID、イベントタイプType、特定情報tidの他、イベントの付加的な情報を表す付加情報、例えば、開始フレームと第t+1フレームの間の３つのターゲットに対する回転角Angle等のイベント属性を有する。
【０２８２】
次に、図２３のフローチャートを参照して、図２のステップＳ５で図１のイベント生成部３２が行うイベント「３点回転」を認識する処理である３点回転の認識処理について説明する。
【０２８３】
なお、３点回転の認識処理は、統合処理の後に行われるので、３点回転の認識処理の開始時において、統合処理後の第t+1フレームのターゲットとイベントの情報が、既に使用可能な状態になっている。
【０２８４】
ステップＳ１２１において、イベント生成部３２は、３つ目のターゲットに対してイベント「生成」が第t+1フレームで発行されたかを判定する。ステップＳ１２１において、３つ目のターゲットに対してイベント「生成」が第t+1フレームで発行されたと判定された場合、ステップＳ１２２において、イベント生成部３２は、第t+1フレームの３つのターゲットのセットを注目セットとし、注目セットの３つのターゲットのそれぞれの代表座標を、３つのターゲットのそれぞれのターゲットIDと対応付けて、記憶部３３に記憶させる。
【０２８５】
一方、ステップＳ１２１において、３つ目以外のターゲットに対してイベント「生成」が第t+1フレームで発行された場合、あるいは、イベント「生成」が第t+1フレームで発行されていない場合、処理は、ステップＳ１２２をスキップする。
【０２８６】
ステップＳ１２３において、イベント生成部３２は、注目セットが第tフレームで存在し、かつ、注目セットの３つのターゲットのいずれかに対して、イベント「削除」が第t+1フレームで発行されたかを判定する。
【０２８７】
ステップＳ１２３において、注目セットが第tフレームで存在し、かつ、注目セットの３つのターゲットのいずれかに対して、イベント「削除」が第t+1フレームで発行されたと判定された場合、ステップＳ１２４において、イベント生成部３２は、記憶部３３から注目セットの３つのターゲットのそれぞれのターゲットIDと対応付けられた開始フレームの注目セットの３つのターゲットのそれぞれの代表座標を読み出し、注目セットの３つのターゲットのそれぞれの開始フレームと第t+1フレームの代表座標から、式（５）で表される注目セットの３つのターゲットに対する回転角Angleの絶対値を求める。また、イベント生成部３２は、同時に、記憶していた開始フレームの注目セットの３つのターゲットのそれぞれの代表座標を記憶部３３から削除する。これにより、記憶部３３の記憶領域の余計な浪費を防ぐことができる。
【０２８８】
一方、ステップＳ１２３において、注目セットが第tフレームで存在しないか、あるいは、注目セットの３つのターゲットのいずれに対しても、イベント「削除」が第t+1フレームで発行されていないと判定された場合、処理はステップＳ１２４乃至ステップＳ１２６をスキップする。そして、回転の認識処理を終了する。
【０２８９】
ステップＳ１２５において、イベント生成部３２は、ステップＳ１２４で求めた注目セットの３つのターゲットに対する回転角Angleの絶対値が所定の閾値以上であるかを判定する。ステップＳ１２５において、ステップＳ１２４で求めた注目セットの３つのターゲットに対する回転角Angleの絶対値が所定の閾値以上であると判定された場合、ステップＳ１２６において、イベント生成部３２は、注目セットの３つのターゲットに対する回転角Angleを付加情報とするイベント「回転」を発行する。そして、回転の認識処理は終了する。
【０２９０】
一方、ステップＳ１２５において、ステップＳ１２４で求めた注目セットの３つのターゲットに対する回転角Angleの絶対値が所定の閾値以上でないと判定された場合、処理はステップＳ１２６をスキップする。そして、回転の認識処理は終了する。
【０２９１】
開始フレームと第t+1フレームの間の３つのターゲットに対する回転角Angleの絶対値が所定の閾値以上であるかを判定することにより、３つのターゲットに対する回転角の絶対値が小さい場合にイベント「回転」が誤って認識されることが抑制される。
【０２９２】
このように、回転の認識処理を行うことにより、開始フレームと第t+1フレームの間で、３つのターゲットに対する回転が、所定の閾値以上の回転角で生じるというイベントを認識することが可能となる。
【０２９３】
なお、３点回転の認識処理では、第t+1フレームのターゲットが４つ以上である場合、イベント「３点回転」は発行されないが、その他、例えば、４つ以上のターゲットの中から、２つずつのターゲットのセット（組）を作り、セットごとの回転角を求め、すべてのセットについて回転角の平均を求め、その回転角の平均の絶対値が所定の閾値以上であるときに、所定のイベントを発行するようにしてもよい。
【０２９４】
以上のように、入出力パネル１６では、複数の点に対する入力がある場合でも、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、さらに、ターゲットの状態の変化を表すイベントの情報を生成して出力するので、複数の点に対する入力の情報を容易に扱うことが可能になる。
【０２９５】
上述した統合処理と認識処理を行うと、記憶部３３に記憶されているイベントの数は増える一方となってしまう。そこで、記憶部３３は、例えば、一定の時間が経過したときやイベントの個数が所定の数を超えたとき等といった所定の条件に基づいて、記憶しているイベントの情報を削除する処理、いわゆるガーベージ・コレクティングを行うようにしてもよい。
【０２９６】
また、記憶部３３は、イベントの情報と同様に、例えば、一定の時間が経過したときやターゲットの個数が所定の数を超えたとき等といった所定の条件に基づいて、記憶しているターゲットの情報を削除する処理を行うようにしてもよい。
【０２９７】
上述した認識処理では、ターゲットの情報としてのターゲットの代表座標に基づいて、イベントを発行する場合について説明したが、その他、例えば、ターゲットの面積情報や領域情報等に基づいて、イベントを発行することもできる。
【０２９８】
例えば、入出力ディスプレイ２２の表示画面に押し付けられた指が強く押し付けられたことを、その指に対応する入力部分が統合されるターゲットの面積情報の面積が所定の閾値以上であるかを判定することにより、イベントとして認識し、イベントを発行することができる。
【０２９９】
次に、図２４及び図２５を参照して、図２のステップＳ７で制御部１２が行う入出力ディスプレイ２２の表示制御を行う処理について説明する。
【０３００】
まず、表示画面に表示されている画像のうちの拡大して表示させたい領域の一端と他の端に２本の指の近接を開始し、近接を継続しながら、２本の指を互いに引き離す方向に移動し、２本の指の近接を解除すると、２本の指の間の距離の拡大率が所定の閾値以上であれば、生成部２５は、イベント「拡大」を発行して、拡大率Eと開始フレームの２つのターゲットの代表座標（始点座標）を付加情報として有するイベント「拡大」の情報を、制御部１２に出力（供給）する。そして、制御部１２は、生成部２５から供給されるイベント「拡大」の情報を受信すると、付加情報の拡大率Eが所定の閾値以上であるときに、表示されている画像のうちの２つのターゲットの始点座標を含む最小の長方形の領域を、例えば画面全体に拡大した画像を生成し、入出力ディスプレイ２２に表示させる表示制御を行う。
【０３０１】
図２４を参照して、制御部１２によるイベント「拡大」の情報に基づいて入出力ディスプレイ２２の表示制御を行う処理について説明する。
【０３０２】
２本の指の近接が開始されたときのフレームを開始フレームという。
【０３０３】
図２４Ａは、右側に人が映っている画像が表示されている入出力ディスプレイ２２の表示画面を表し、図２４Ｂは、開始フレームと第t+1フレームを重ね合わせた状態を表し、図２４Ｃは、イベント「拡大」の情報に基づいて、人の顔の領域が拡大して表示されている入出力ディスプレイ２２の表示画面を表す。
【０３０４】
図２４Ａでは、開始フレームにおいて、右側に人が映っている画像が入出力ディスプレイ２２の表示画面に表示されている。
【０３０５】
図２４Ｂでは、拡大して表示させたい人の顔の領域（図中の点線で囲まれた部分）の一端である左下端の位置A1と他の一端である右上端の位置B1に２本の指の近接を開始し、近接を継続しながら、２本の指を互いに引き離す方向に移動して、位置A2と位置B2で２本の指の近接を解除すると、２本の指の間の距離の拡大率が所定の閾値以上であれば、生成部２５は、イベント「拡大」を発行して、拡大率Eを付加情報として有するイベント「拡大」の情報を、制御部１２に出力（供給）する。
【０３０６】
制御部１２は、生成部２５から供給されるイベント「拡大」の情報を受信すると、付加情報の拡大率Eが所定の閾値以上であるときに、始点座標を含む最小の長方形の領域を拡大した画像を生成し、その画像の画像データを、表示信号処理部２１を介して、入出力ディスプレイ２２に供給する。
【０３０７】
図２４Ｃでは、入出力ディスプレイ２２の表示画面には、人の顔の領域を拡大した画像が、画面全体の大きさに拡大されて表示される。
【０３０８】
このように、表示画面に表示されている画像のうちの拡大して表示させたい領域の一端と他の端に２本の指の近接を開始し、近接を継続しながら、２本の指を互いに引き離す方向に移動し、２本の指の近接を解除することで、拡大して表示させたい領域（人の顔の領域）が、画面全体の大きさに拡大された画像を入出力ディスプレイ２２の表示画面に表示させることができる。
【０３０９】
次に、表示画面に２本の指の近接を開始し、近接を継続しながら、表示画面上のある点を中心として同心円を描くように２本の指を移動し、２本の指の近接を解除すると、２本の指に対する回転の回転角の絶対値が所定の閾値以上であれば、生成部２５は、イベント「回転」を発行して、回転角θを付加情報として有するイベント「回転」の情報を、制御部１２に出力（供給）する。そして、制御部１２は、生成部２５から供給されるイベント「回転」の情報を受信すると、付加情報の回転角θの絶対値が所定の閾値以上であるときに、表示されていた画像が時計回りに９０°回転した画像を生成し、入出力ディスプレイ２２に表示させる表示制御を行う。
【０３１０】
図２５を参照して、制御部１２によるイベント「回転」の情報に基づいて入出力ディスプレイ２２の表示制御を行う処理について説明する。
【０３１１】
２本の指の近接が開始されたときのフレームを開始フレームといい、イベント「回転」が発行されたときのフレームを第t+1フレームという。
【０３１２】
図２５Ａは、中央に人が映っている画像が表示されている入出力ディスプレイ２２の表示画面を表し、図２５Ｂは、開始フレームと第t+1フレームを重ね合わせた状態を表し、図２５Ｃは、イベント「回転」の情報に基づいて、中央に人が映っている画像が時計回りに９０°回転して表示されている入出力ディスプレイ２２の表示画面を表す。
【０３１３】
図２５Ａでは、開始フレームにおいて、中央に人が映っている画像が入出力ディスプレイ２２の表示画面に表示されている。
【０３１４】
図２５Ｂでは、位置A1と位置B1で２本の指の近接を開始し、近接を継続しながら、表示画面上のある点を中心として同心円を描くように２本の指を移動し、位置A2と位置B2で２本の指の近接を解除すると、２本の指に対する回転の回転角の絶対値が所定の閾値以上であれば、生成部２５は、イベント「回転」を発行して、回転角θを付加情報として有するイベント「回転」の情報を、制御部１２に出力（供給）する。
【０３１５】
制御部１２は、生成部２５からイベント「回転」の情報を受信すると、付加情報の回転角θの絶対値が所定の閾値以上であるときに、表示されていた画像が時計回りに９０°回転した画像を生成し、その画像の画像データを、表示信号処理部２１を介して、入出力ディスプレイ２２に供給する。
【０３１６】
図２５Ｃでは、入出力ディスプレイ２２の表示画面には、表示されていた画像が時計回りに９０°回転した画像が表示される。
【０３１７】
このように、表示画面に２本の指の近接を開始し、近接を継続しながら、表示画面上のある点を中心として同心円を描くように２本の指を移動し、２本の指の近接を解除することで、表示されていた画像が時計回りに９０°回転した画像を入出力ディスプレイ２２の表示画面に表示させることができる。
【０３１８】
図２６は、本発明を適用した表示システムの他の一実施の形態の構成例を示すブロック図である。
【０３１９】
図２６の表示システム１０１では、図１における制御部１２に、入出力パネル１６の生成部２５が移動されている。
【０３２０】
すなわち、図２６において、アンテナ１１０、信号処理部１１１、記憶部１１３、操作部１１４、通信部１１５、表示信号処理部１２１、入出力ディスプレイ１２２、光センサ１２２Ａ、受光信号処理部１２３、画像処理部１２４、及び生成部１２５は、図１におけるアンテナ１０、信号処理部１１、記憶部１３、操作部１４、通信部１５、表示信号処理部２１、入出力ディスプレイ２２、光センサ２２Ａ、受光信号処理部２３、画像処理部２４、及び生成部２５と同様に構成されるので、表示システム１０１は、図１における表示システム１と同様に表示受光制御処理を行うことができる。ただし、図１の生成部２５の記憶部３３として、図２６では、記憶部１３が使用されている。
【０３２１】
図２７は、本発明を適用した表示システムの他の一実施の形態の構成例を示すブロック図である。
【０３２２】
図２７の表示システム２０１では、図１における制御部１２に、入出力パネル１６の生成部２５と画像処理部２４が移動されている。
【０３２３】
すなわち、図２７において、アンテナ２１０、信号処理部２１１、記憶部２１３、操作部２１４、通信部２１５、表示信号処理部２２１、入出力ディスプレイ２２２、光センサ２２２Ａ、受光信号処理部２２３、画像処理部２２４、及び生成部２２５は、図１におけるアンテナ１０、信号処理部１１、記憶部１３、操作部１４、通信部１５、表示信号処理部２１、入出力ディスプレイ２２、光センサ２２Ａ、受光信号処理部２３、画像処理部２４、及び生成部２５と同様に構成されるので、表示システム２０１は、図１における表示システム１と同様に表示受光制御処理を行うことができる。
【０３２４】
本発明は、画像の表示と受光を行う入出力ディスプレイを有する表示装置の他、かかる入出力ディスプレイを有する携帯電話機やTV受像機等に適用することができる。
【０３２５】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３２６】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３２７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０３２８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３２９】
【図１】本発明を適用した表示システムの一実施の形態の構成を示すブロック図である
【図２】表示システムによる表示受光制御処理を説明するフローチャートである。
【図３】表示受光制御処理を行うソフトウェアの構成を説明する図である。
【図４】時刻tの第tフレームに存在するターゲットを表す図である。
【図５】第t+1フレームの統合処理前の入力部分を表す図である。
【図６】第tフレームと第t+1フレームとを重ね合わせた状態を表す図である。
【図７】受光画像を示す図である。
【図８】図２のステップＳ４の統合処理を説明するフローチャートである。
【図９】生成部２５から出力されるターゲットとイベントの情報の例を表す図である。
【図１０】生成部２５から出力されるターゲットとイベントの情報の他の例を表す図である。
【図１１】図２のステップＳ５の認識処理としての移動の認識処理を説明するフローチャートである。
【図１２】投射の認識処理を説明するための図である。
【図１３】図２のステップＳ５の認識処理としての投射の認識処理を説明するフローチャートである。
【図１４】拡大縮小の認識処理を説明するための図である。
【図１５】図２のステップＳ５の認識処理としての拡大縮小の認識処理を説明するフローチャートである。
【図１６】回転の認識処理を説明するための図である。
【図１７】生成部２５から出力されるターゲットとイベントの情報の例を表す図である。
【図１８】図２のステップＳ５の認識処理としての回転の認識処理を説明するフローチャートである。
【図１９】３点回転の認識処理を説明するための図である。
【図２０】開始フレームと第t+1フレームを重ねた状態を示す図である。
【図２１】開始フレームと第t+1フレームを重ねた状態を示す図である。
【図２２】開始フレームと第t+1フレームを重ねた状態を示す図である。
【図２３】図２のステップＳ５の認識処理としての３点回転の認識処理を説明するフローチャートである。
【図２４】イベント「拡大」の情報に基づいて入出力ディスプレイ２２の表示制御を行う処理を説明するための図である。
【図２５】イベント「回転」の情報に基づいて入出力ディスプレイ２２の表示制御を行う処理を説明するための図である。
【図２６】本発明を適用した表示システムの他の一実施の形態の構成を示すブロック図である。
【図２７】本発明を適用した表示システムの他の一実施の形態の構成を示すブロック図である。
【符号の説明】
【０３３０】
１  表示システム，  １０  アンテナ，  １１  信号処理部，  １２  制御部，  １３  記憶部，  １４  操作部，  １５  通信部，  １６  入出力パネル，  ２１  表示信号処理部，  ２２  入出力ディスプレイ，  ２２Ａ  光センサ，  ２３  受光信号処理部，  ２４  画像処理部，  ２５  生成部，  ３１  ターゲット生成部，  ３２  イベント生成部，  ３３  記憶部，  １０１  表示システム，  １１０  アンテナ，  １１１  信号処理部，  １１２  制御部，  １１３  記憶部，  １１４  操作部，  １１５  通信部，  １１６  入出力パネル，  １２１  表示信号処理部，  １２２  入出力ディスプレイ，  １２２Ａ  光センサ，  １２３  受光信号処理部，  １２４  画像処理部，  １２５  生成部，  １３１  ターゲット生成部，  １３２  イベント生成部，  ２０１  表示システム，  ２１０  アンテナ，  ２１１  信号処理部，  ２１２  制御部，  ２１３  記憶部，  ２１４  操作部，  ２１５  通信部，  ２１６  入出力パネル，  ２２１  表示信号処理部，  ２２２  入出力ディスプレイ，  ２２２Ａ  光センサ，  ２２３  受光信号処理部，  ２２４  画像処理部，  ２２５  生成部，  ２３１  ターゲット生成部，  ２３２  イベント生成部
【図１】
2008146165.tif 000008
【図２】
2008146165.tif 000009
【図３】
2008146165.tif 000010
【図４】
2008146165.tif 000011
【図５】
2008146165.tif 000012
【図６】
2008146165.tif 000013
【図７】
2008146165.tif 000014
【図８】
2008146165.tif 000015
【図９】
2008146165.tif 000016
【図１０】
2008146165.tif 000017
【図１１】
2008146165.tif 000018
【図１２】
2008146165.tif 000019
【図１３】
2008146165.tif 000020
【図１４】
2008146165.tif 000021
【図１５】
2008146165.tif 000022
【図１６】
2008146165.tif 000023
【図１７】
2008146165.tif 000024
【図１８】
2008146165.tif 000025
【図１９】
2008146165.tif 000026
【図２０】
2008146165.tif 000027
【図２１】
2008146165.tif 000028
【図２２】
2008146165.tif 000029
【図２３】
2008146165.tif 000030
【図２４】
2008146165.tif 000031
【図２５】
2008146165.tif 000032
【図２６】
2008146165.tif 000033
【図２７】
2008146165.tif 000034