(57)【要約】【課題】物体を近付けることにより行われる外部からの入力の表示画面からの高さ情報を、上位のアプリケーション等が利用することができる。【解決手段】ターゲット生成部３１は、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、制御部１３は、ターゲットの情報に基づいて、所定の処理を実行し、画像処理部２４は、入出力ディスプレイ２２での受光量に基づいて、ターゲットの入出力ディスプレイ２２の表示画面からの物体の高さを表す高さ情報を生成する。また、ターゲット生成部３１は、高さ情報が付加されたターゲットの情報を生成し、制御部１３は、ターゲットの情報に付加された高さ情報に基づいて、所定の処理を実行する。本発明は、例えば、入出力パネルに適用できる。【選択図】図１
2009116769.tif 000002
【特許請求の範囲】
【請求項１】
外部からの入力に対応する光の受光を行う入力部を有し、前記入力部の入力面上の複数の点に対する入力が可能な入力装置において、
外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成手段と、
前記ターゲットの情報に基づいて、所定の処理を実行する実行手段と、
前記入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報を生成する高さ情報生成手段と
を備え、
前記ターゲット生成手段は、前記高さ情報を付加した前記ターゲットの情報を生成し、
前記実行手段は、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理を実行する
入力装置。
【請求項２】
前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントを認識し、前記イベントの情報を生成するイベント生成手段をさらに備え、
前記実行手段は、前記イベントの情報に基づいて、所定の処理を実行する
請求項１に記載の入力装置。
【請求項３】
前記イベント生成手段は、前記ターゲットの情報に付加された前記高さ情報が表す高さが所定の範囲にある場合、前記イベントの認識を行う
請求項２に記載の入力装置。
【請求項４】
前記入力部は、その前記入力面に対応する表示画面に画像を表示する
請求項１に記載の入力装置。
【請求項５】
前記実行手段は、
前記ターゲットの情報に付加された前記高さ情報が表す高さが第１の閾値以下のターゲットが存在するとき、前記ターゲットを注目ターゲットとするとともに、前記表示画面に表示している複数のキーからなるソフトウェアキーボードのうちの注目ターゲットの近傍の所定のキーを前記表示画面に拡大表示させ、
注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第１の閾値より小さい第２の閾値以下になったとき、あるいは、注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第２の閾値以下になった後で前記第２の閾値より大きくなったとき、前記所定のキーのうちの注目ターゲットの近傍の１つのキーを選択し、その前記１つのキーに対応する情報を入力する
請求項４に記載の入力装置。
【請求項６】
前記実行手段は、
前記ターゲットの情報に付加された前記高さ情報が表す高さが第１の閾値以下のターゲットが存在するとき、前記ターゲットを注目ターゲットとするとともに、複数の項目からなるメニュー項目を前記表示画面に表示させ、
注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第１の閾値より小さい第２の閾値以下になったとき、あるいは、注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第２の閾値以下になった後で前記第２の閾値より大きくなったとき、前記複数の項目のうちの注目ターゲットの近傍の１つの項目を選択し、その前記１つの項目に対応する所定の処理を実行する
請求項４に記載の入力装置。
【請求項７】
前記実行手段は、
前記ターゲットの情報に付加された前記高さ情報が表す高さが第１の閾値以下のターゲットが存在するとき、前記ターゲットを注目ターゲットとするとともに、前記表示画面に表示している複数の写真からなる写真の一覧のうちの注目ターゲットの近傍の所定の写真を前記表示画面に拡大表示させ、
注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第１の閾値より小さい第２の閾値以下になったとき、あるいは、注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第２の閾値以下になった後で前記第２の閾値より大きくなったとき、前記所定の写真のうちの注目ターゲットの近傍の１つの写真を選択し、その前記１つの写真に対して所定の処理を施す
請求項４に記載の入力装置。
【請求項８】
外部からの入力に対応する光の受光を行う入力部を有し、前記入力部の入力面上の複数の点に対する入力が可能な入力装置の制御方法において、
外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成ステップと、
前記ターゲットの情報に基づいて、所定の処理を実行する実行ステップと、
前記入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報を生成する高さ情報生成ステップと
を含み、
前記ターゲット生成ステップの処理において、前記高さ情報を付加した前記ターゲットの情報を生成し、
前記実行ステップの処理において、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理を実行する
制御方法。
【請求項９】
外部からの入力に対応する光の受光を行う入力部を有し、前記入力部の入力面上の複数の点に対する入力が可能な入力装置の制御処理をコンピュータに実行させるプログラムであり、
外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成ステップと、
前記ターゲットの情報に基づいて、所定の処理を実行する実行ステップと、
前記入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報を生成する高さ情報生成ステップと
を含み、
前記ターゲット生成ステップの処理において、前記高さ情報を付加した前記ターゲットの情報を生成し、
前記実行ステップの処理において、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理を実行する
制御処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置、入力装置の制御方法、及びプログラムに関し、特に、例えば、物体を近付けることにより行われる外部からの入力の表示画面からの高さ情報を、上位のアプリケーション等が利用することができるようにする、入力装置、入力装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
パネル上の点に関する情報を、複数の点について出力可能なパネルとして、例えば、液晶表示装置に光センサを内蔵させ、外部からの光の入力を光センサで検出することにより、光による入力が可能な表示パネル（以下、入出力パネルと称する）が提案されている（例えば、特許文献１や特許文献２を参照）。
【０００３】
入出力パネルにおいて、光による入力を行う方法としては、大きく分けて、LED(Light Emitting Diode)等の外部光源を持つ物体（例えば、ペンなど）をユーザが液晶表示装置の表示画面に近付けることにより、その外部光源から液晶表示装置に入射する光を利用する方法と、そのような外部光源を持たない指やペン等の物体をユーザが表示画面に近付けることにより、液晶表示装置が発する光、つまり、液晶表示装置のバックライトの透過光が、表示画面に近づいている物体で反射して液晶表示装置の内部に戻ってくる光を利用する方法とがある。
【０００４】
また、感圧式のタッチパネル等では、外部からの入力に対して、その入力があったタッチパネル上の点に関する情報（例えば、その点の座標等）である点情報が出力されるが、その点情報は、１つの点についてのみ出力可能であった。
【０００５】
すなわち、例えば、ユーザが、タッチパネル上の２個の点に指等を近付けても、タッチパネルでは、その２個の点のうちの、圧力の強い方の点や、先にタッチされた方の点等の１つの点のみについて、点情報が出力される。
【０００６】
これに対して、入出力パネルでは、複数の点の点情報を出力することができ、今後、従来のタッチパネルが適用されていた製品等のアプリケーションへの適用が期待されている。
【特許文献１】特開２０００−０１９４７８号公報
【特許文献２】特開２００４−１２７２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した入出力パネルは、物体を近付けることにより行われる外部から入力の表示画面からの高さを表す高さ情報を出力しないので、その高さ情報を上位のアプリケーション等が利用することはできなかった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、例えば、物体を近付けることにより行われる外部からの入力の表示画面からの高さ情報を、上位のアプリケーション等が利用することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の入力装置は、外部からの入力に対応する光の受光を行う入力部を有し、前記入力部の入力面上の複数の点に対する入力が可能な入力装置において、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成手段と、前記ターゲットの情報に基づいて、所定の処理を実行する実行手段と、前記入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報を生成する高さ情報生成手段とを備え、前記ターゲット生成手段には、前記高さ情報を付加した前記ターゲットの情報を生成させ、前記実行手段には、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理を実行させることができる。
【００１０】
本発明の一側面の入力装置には、前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントを認識し、前記イベントの情報を生成するイベント生成手段をさらに設け、前記実行手段には、前記イベントの情報に基づいて、所定の処理を実行させることができる。
【００１１】
本発明の一側面の入力装置の制御方法またはプログラムは、外部からの入力に対応する光の受光を行う入力部を有し、前記入力部の入力面上の複数の点に対する入力が可能な入力装置の制御方法または制御処理をコンピュータに実行させるプログラムであり、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成ステップと、前記ターゲットの情報に基づいて、所定の処理を実行する実行ステップと、前記入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報を生成する高さ情報生成ステップとを含み、前記ターゲット生成ステップの処理において、前記高さ情報を付加した前記ターゲットの情報を生成し、前記実行ステップの処理において、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理を実行する制御方法または制御処理をコンピュータに実行させるプログラム。
【００１２】
本発明の一側面においては、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報が生成され、前記ターゲットの情報に基づいて、所定の処理が実行され、入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報が生成され、前記ターゲットの情報の生成において、前記高さ情報を付加した前記ターゲットの情報が生成され、所定の処理の実行において、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理が実行される。
【発明の効果】
【００１３】
本発明の一側面によれば、例えば、物体を近接させることにより行われる外部からの入力の表示画面からの高さ情報を、上位のアプリケーション等が利用することができる。
【発明を実施するための最良の形態】
【００１４】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１５】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００１６】
図１は、本発明を適用した携帯電話機の構成例を示すブロック図である。
【００１７】
例えば、ユーザが指等の物体を携帯電話機１の表示画面（図１の例では、入出力ディスプレイ２２の表示画面）に近接させる（接触させるか、あるいは短い距離だけ離す）ことにより入力を行うと、携帯電話機１は、例えば、その指等の物体の表示画面からの高さに応じて、所定の処理を実行する。
【００１８】
例えば、携帯電話機１は、その高さに応じて、表示画面に表示しているソフトウェアキーボードの複数のキーの一部のキーを拡大表示したり、その一部のキーのうちの１つのキーを選択してそのキーに対応する情報を入力したりする。
【００１９】
携帯電話機１は、アンテナ１１、通信部１２、制御部１３、記憶部１４、及び入出力パネル１５から構成される。
【００２０】
アンテナ１１は、図示せぬ基地局からの無線電波に対応する信号を通信部１２に供給するとともに、通信部１２から供給される信号に対応する無線電波を基地局に対して輻射（送信）する。
【００２１】
通信部１２は、例えば、基地局との間でアンテナ１１を介して所定の周波数の信号を送受信することにより、基地局と無線通信を行う。
【００２２】
制御部１３は、例えば、マイクロプロセッサやRAM(Random Access Memory)、ROM(Read Only Memory)等から構成され、記憶部１４に記憶されたプログラムをRAMにロードして実行することにより、携帯電話機１の各部の制御等を行う。
【００２３】
例えば、制御部１３は、入出力パネル１５から供給される上述した入力部分の情報やターゲットの情報等に基づいて、例えば、所定の情報の入力や入出力ディスプレイ２２の表示制御等の所定の処理を実行する。
【００２４】
記憶部１４は、例えば、フラッシュメモリやハードディスク等から構成され、プログラムやデータ等をあらかじめ記憶している。
【００２５】
入出力パネル１５は、制御部１３から供給される表示データに基づいて、入出力ディスプレイ２２に対して画像の表示、すなわち例えばソフトウェアキーボード等のOSD(On Screen Display)表示を行う。
【００２６】
入出力パネル１５はまた、入出力ディスプレイ２２から出力される受光信号から検出される入力部分の情報に所定の処理を施すことにより、後述するターゲットの情報等を生成して制御部１３に供給する。
【００２７】
入出力パネル１５は、表示信号処理部２１、入出力ディスプレイ２２、受光信号処理部２３、画像処理部２４、及び生成部２５から構成される。
【００２８】
表示信号処理部２１は、制御部１３から供給される表示データに所定の処理を施し、その結果得られる表示信号を、入出力ディスプレイ２２に供給する。
【００２９】
入出力ディスプレイ２２は、表示信号処理部２１から供給される表示信号に基づいて、その表示画面にOSD表示等を行う。
【００３０】
入出力ディスプレイ２２はまた、例えば、その表示画面全体に分布した複数の光センサ２２Ａを内蔵しており、外部からの入力に対応して入射される光を受光し、その受光量に対応するフレームごとの受光信号を生成して、受光信号処理部２３に供給する。なお外部からの入力に対応して入射される光とは、例えば、入出力ディスプレイ２２から照射した光のうち、表示画面に近接している指で反射されて戻ってきた光であるものとして以下説明を行う。
【００３１】
受光信号処理部２３は、入出力ディスプレイ２２から供給される受光信号に対して、例えば、増幅やフィルタ処理等の受光信号処理を施すことにより、入出力ディスプレイ２２の表示画面に対して、指等が近接している部分と、何も近接していない部分とで輝度が異なる画像をフレームごとに得て、画像処理部２４に供給する。
【００３２】
画像処理部２４は、受光信号処理部２３から供給される各フレームの画像に対して、２値化、ノイズ除去、ラベリング等の画像処理を施すことにより、表示画面に対して指等の物体が近接している部分（領域）を、入力部分として検出する。例えば、画像処理部２４は、画像処理後の画像のうちの輝度が高い部分を入力部分として検出する。そして、画像処理部２４は、検出した入力部分の情報、すなわち例えば、その入力部分の所定の特徴量である点情報をフレームごとに生成して生成部２５に供給する。
【００３３】
この点情報として算出される入力部分の特徴量としては、例えば、図２に示すような、画像処理後の画像の入力部分の領域（例えば、図中の斜線部分）（即ち入出力ディスプレイ２２の表示画面上の指等が近接している領域）の中心や重心等のその領域の代表点の座標である代表座標、その領域の面積の情報である面積情報、その領域を囲む最小の長方形の上端の座標、下端の座標、左端の座標、及び右端の座標等のその領域の範囲を表す領域情報を採用することができる。
【００３４】
生成部２５は、画像処理部２４から供給される点情報に基づいて、ターゲットとイベントの情報をフレームごとに生成し、制御部１３に供給する。
【００３５】
ここで、ターゲットは、例えば、入出力ディスプレイ２２の表示画面に対して例えば指等を近接し、近接させたままその指を移動し、指の近接をやめるまでに行われる、その表示画面に対する一連の入力である。
【００３６】
また、イベントは、例えば、ターゲットの位置が変化したことや、ターゲットが新たに出現した（生成された）こと、ターゲットが消滅した（削除された）といったターゲットの状態の変化を表すものである。
【００３７】
なおターゲットとイベントの情報の詳細については、図１１等を参照して後述する。
【００３８】
生成部２５は、ターゲット生成部３１、イベント生成部３２、及び記憶部３３から構成される。
【００３９】
ターゲット生成部３１は、画像処理部２４から供給されるフレームごとの入力部分の点情報に対して所定の処理を施すことにより、入力部分の時間的若しくは空間的位置関係に基づいて、フレームごとのターゲットの情報を生成し、記憶部３３に記憶させる。なお、ターゲットの情報とは、例えばターゲットの位置情報等である。
【００４０】
イベント生成部３２は、画像処理部２４から供給されるフレームごとの入力部分の点情報に対して所定の処理を施すことにより、上述したターゲットの生成や削除等のイベントを検出し、そのイベントの情報を生成し、フレームごとに記憶部３３に記憶させる。なお、イベントの情報とは、例えば、イベントの開始時刻やイベントの種類等である。
【００４１】
そして、イベント生成部３２は、記憶部３３からフレームごとのターゲットとイベントの情報を読み出し、制御部１３に供給（出力）する。
【００４２】
記憶部３３は、ターゲット生成部３１から供給されるターゲットの情報と、イベント生成部３２から供給されるイベントの情報を記憶する。
【００４３】
図３は、図１の携帯電話機１に各種の処理を実行させるソフトウェア群を示している。
【００４４】
このソフトウェア群は、受光信号処理を行うソフトウェア、点情報の生成処理を行うソフトウェア、統合処理を行うソフトウェア、動きやジェスチャ等の認識処理を行うソフトウェア、出力処理を行うソフトウェア、及び上位のアプリケーションとしての制御ソフトウェアを含む。
【００４５】
図３において、入出力ディスプレイ２２の光センサ２２Ａは、外部から入射した光を受光し、フレームごとの受光信号を生成する。
【００４６】
受光信号処理の階層では、入出力ディスプレイ２２から供給されるフレームごとの受光信号に、例えば、増幅やフィルタ処理等の受光信号処理が施されることにより、その受光信号に対応するフレームごとの画像が得られる。
【００４７】
受光信号処理より１つ上位の点情報の生成処理の階層では、受光信号処理で得られる画像に対して所定の画像処理、例えば、２値化、ノイズ除去、ラベリング等が施されることにより、入出力ディスプレイ２２の表示画面上の指等の物体が近接している部分である入力部分が検出され、入力部分の点情報がフレームごとに生成される。
【００４８】
点情報の生成処理より１つ上位の統合処理の階層では、点情報の生成処理で得られる点情報から、フレームごとのターゲットの情報が生成されるとともに、例えばターゲットの生成や削除等のイベントが検出され、そのイベントの情報が生成される。
【００４９】
統合処理より１つ上位の認識処理の階層では、点情報の生成処理で得られる点情報から、ターゲットの状態の変化を表すイベントが検出（認識）されることにより動きやジェスチャ等が認識され、そのイベントの情報がフレームごとに生成される。
【００５０】
認識処理より１つ上位の出力処理の階層では、統合処理と認識処理で生成されたターゲットとイベントの情報が、フレームごとに出力される。
【００５１】
出力処理より１つ上位のアプリケーションの階層としての制御ソフトウェアの階層では、出力処理で出力されたターゲットとイベントの情報に基づいて、所定の表示データが作成され、その表示データが入出力ディスプレイ２２に供給されて、例えばソフトウェアキーボード等がその表示画面に表示される。
【００５２】
次に、携帯電話機１による、近接している指等の物体の表示画面からの高さの検出について説明する。
【００５３】
表示画面に近接している指等の表示画面からの高さが高くなるほど、指等から反射して光センサ２２Ａで受光される受光量が小さくなり、それに対応して、受光信号処理部２３から画像処理部２４に供給される画像の指等が近接している入力部分の輝度値が小さくなることを利用して、携帯電話機１は、光センサ２２Ａで受光される受光量に基づいて、その指等の高さを検出することができる。
【００５４】
その指等の表示画面からの高さの検出のためには、例えば、画像処理部２４による入力部分の検出のための２値化の処理を、通常のように１つの閾値に対して行うだけでなく、複数の閾値のそれぞれに対して行うようにする。
【００５５】
すなわち例えば、図４の例では、指等が接触していることを検出するための接触の閾値（図中破線）と、指等が接触していないが所定の距離で離れている、いわば浮いた状態(floating)であることを検出するための、接触の閾値より小の非接触の閾値（図中太線）が用いられている。
【００５６】
なお図４で、縦軸は、受光信号処理部２３から画像処理部２４に供給される画像の輝度値を示し、横軸は、表示画面上の例えば左右方向の位置xを示している。なお、後述の図５についても同様である。
【００５７】
そして、図４の例では、図中左の指が接触している付近が、輝度値が接触の閾値以上の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた左の指が接触していることが検出される。また図中右の指が近接している付近が、輝度値が非接触の閾値以上で接触の閾値より小の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた右の指が浮いた状態であることが検出される。このように、２つの閾値を用いた場合、指等の高さとして、接触していることに対応する高さ0と、浮いた状態であることに対応する所定の正の高さの２つの高さが検出される。
【００５８】
また図５の例では、接触の閾値（図中破線）、及び３つの非接触の閾値#1乃至#3（図中太線）が用いられている。なお、接触の閾値＞閾値#1＞閾値#2＞閾値#3である。
【００５９】
そして、図５の例では、ほぼ高さ0で接触している図中左の指の付近が、輝度値が接触の閾値以上の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた左の指の高さが例えば高さ0と検出される。また、高さha程度で近接しているときの図中右の指の付近が、輝度値が非接触の閾値#1以上で接触の閾値より小の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた右の指の高さが例えば高さhaと検出される。高さhb程度で近接しているときの図中右の指の付近が、輝度値が非接触の閾値#2以上で非接触の閾値#1より小の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた右の指の高さが例えば高さhbと検出される。高さhc程度で近接しているときの図中右の指の付近が、輝度値が非接触の閾値#3以上で非接触の閾値#2より小の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた右の指の高さが例えば高さhcと検出される。このように、４つの閾値を用いた場合、高さ0、ha、hb、hcの４つの高さが検出される。
【００６０】
このように、2値化の処理に用いる閾値の数を増やすことで、検出される高さを増やすことができ、検出される高さの解像度を上げることが可能となる。
【００６１】
このような高さの検出を行うため、画像処理部２４で、そこに供給されるフレームごとの画像に対して、各閾値を用いた２値化を行い、その結果得られる２値画像に、ノイズ除去、ラベリング等の画像処理を施すことにより、閾値ごとの入力部分を検出し、一旦、閾値ごとの入力部分の点情報を生成する。そして、画像処理部２４で、閾値ごとの入力部分の点情報から、生成部２５に供給するフレームごとの入力部分の点情報を最終的に求めるとともに、その点情報に高さ情報を付加する。
【００６２】
例えば、2値化に用いる閾値をn個とし、各閾値を、値の大きい順に第1乃至第nの閾値、それらに対応して検出される高さを、h1乃至hnとすると、画像処理部２４で、第1の閾値に対する入力部分の点情報と第2の閾値に対する入力部分の点情報とを比較し、第2の閾値に対する入力部分の近傍に第1の閾値に対する入力部分がある場合、その第2の閾値に対する入力部分の点情報に高さh2を表す高さ情報を付加し、その第2の閾値に対する入力部分の（高さ情報の付加された）点情報を、第1の閾値に対する入力部分の点情報とし、また、第2の閾値に対する入力部分の近傍に第1の閾値に対する入力部分がない場合、その第2の閾値に対する入力部分の点情報として高さh2を表す高さ情報を付加する。
【００６３】
そして、画像処理部２４で、第2の閾値に対する入力部分の点情報と第3の閾値に対する入力部分の点情報とを比較し、第3の閾値に対する入力部分の近傍に第2の閾値に対する入力部分がある場合、その第3の閾値に対する入力部分の点情報を、第2の閾値に対する入力部分の点情報とし、また、第3の閾値に対する入力部分の近傍に第2の閾値に対する入力部分がない場合、その第3の閾値に対する入力部分の点情報に高さh3を表す高さ情報を付加する。
【００６４】
以下、同様にして、画像処理部２４で、第k(3≦k≦n)の閾値に対する入力部分の点情報と第(k+1)の閾値に対する入力部分の点情報とを比較し、第(k+1)の閾値に対する入力部分の近傍に第kの閾値に対する入力部分がある場合、その第(k+1)の閾値に対する入力部分の点情報を、第kの閾値に対する入力部分の点情報とし、また、第(k+1)の閾値に対する入力部分の近傍に第kの閾値に対する入力部分がない場合、その第(k+1)の閾値に対する入力部分に高さh(k+1)を表す高さ情報を付加する。
【００６５】
そして、画像処理部２４で、第nの閾値に対する入力部分の点情報に対して上述した処理を施した後の第nの閾値に対する入力部分の（高さ情報の付加された）点情報を、このフレームの入力部分の点情報として最終的に生成部２５に供給する。
【００６６】
また、上述したように、携帯電話機１は、表示画面に近接している指等の物体による一連の入力をターゲットとして扱うので、この指等の高さもターゲットの高さとして扱うことができる。
【００６７】
すなわち、生成部２５で、高さ情報の付加された点情報に基づいて、高さ情報が付加されたターゲットの情報が生成され、したがって、高さ情報が付加されたターゲットとイベントの情報が、制御部１３に出力される。
【００６８】
なお以降の図６乃至図１４では、説明の便宜上、画像処理部２４から生成部２５に供給される点情報に高さ情報を付加しない場合について説明する。
【００６９】
次に、図６のフローチャートを参照して、図１の生成部２５による統合処理について説明する。
【００７０】
なおこの統合処理がすでに第tフレーム以前のフレームのそれぞれに対して行われたものとし、記憶部３３には、少なくとも第tフレームのターゲットとイベントの情報が記憶されているものとする。
【００７１】
ステップＳ１において、ターゲット生成部３１は、例えば、画像処理部２４から第t+1フレームの入力部分の点情報が供給されると、記憶部３３から第tフレームのターゲットの情報を読みだし、第tフレームのターゲットの代表座標と第t+1フレームの入力部分の代表座標とを比較することにより、第tフレームのターゲットと第t+1フレームの入力部分の位置関係を比較する。
【００７２】
ステップＳ２において、ターゲット生成部３１は、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在するターゲットがあるかを判定する。ステップＳ２において、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在するターゲットがあると判定された場合、ステップＳ３において、ターゲット生成部３１は、ターゲットの近傍とされた入力部分を、ターゲットとしての一連の入力に加える最新の入力の入力部分であるとして、ターゲットに統合（マージ）する。なお、ターゲット生成部３１は、ターゲットの近傍の入力部分が複数存在する場合、例えば、複数の入力部分のうちそのターゲットに最も近い入力部分をそのターゲットに統合する。
【００７３】
例えば、図７に示すような第tフレームのターゲット#1乃至#3と、図８に示すような第t+1フレームの入力部分#a乃至#dとを重ね合わせた状態を示す図９では、ターゲット#1の近傍には入力部分#aと#bが存在するが、入力部分#bの方が入力部分#aに比べてよりターゲット#1に近いので、入力部分#bがターゲット#1に統合される。また、ターゲット#3の近傍には入力部分#cと#dが存在するが、入力部分#dの方が入力部分#cに比べてよりターゲット#3に近いので、入力部分#dがターゲット#3に統合される。
【００７４】
なお図７乃至図９に示されたフレームには、説明の便宜上マス目が付してあり、ここでいう近傍とは、例えば、図中の２マス分の距離以内の範囲のことである。
【００７５】
図６に戻り、ステップＳ２において、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在するターゲットがないと判定された場合、ステップＳ３をスキップする。
【００７６】
ステップＳ４において、ターゲット生成部３１は、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在しないターゲットがあるかを判定する。ステップＳ４において、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在しないターゲットがあると判定された場合、ステップＳ５において、ターゲット生成部３１は、そのターゲットとしての一連の入力が終了したとして、そのターゲットを削除する。
【００７７】
例えば、図９では、ターゲット#2の近傍に入力部分が存在しないので、このターゲット#2は削除される。
【００７８】
ステップＳ６において、イベント生成部３２は、ターゲットが削除されたことを表すイベント「削除」を生成する。
【００７９】
なおステップＳ４において、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在しないターゲットがないと判定された場合、ステップＳ５及びＳ６をスキップする。
【００８０】
ステップＳ７において、ターゲット生成部３１は、第t+1フレームの入力部分のうち第tフレームのターゲットに統合されずに残った入力部分があるかを判定する。ステップＳ７において、第t+1フレームの入力部分のうち第tフレームのターゲットに統合されずに残った入力部分があると判定された場合、ステップＳ８において、ターゲット生成部３１は、その統合されずに残った入力部分がターゲットとしての一連の入力の最初の入力の入力部分であるとして、新しいターゲットを生成する。
【００８１】
例えば、図９では、入力部分#a乃至#dのうちターゲットに統合されずに残った入力部分#aと#cがターゲットとしての一連の入力の最初の入力の入力部分であるとして、新しいターゲットを生成する。
【００８２】
ステップＳ９において、イベント生成部３２は、ターゲットが生成されたことを表すイベント「生成」を生成する。
【００８３】
なおステップＳ７において、第t+1フレームの入力部分のうち第tフレームのターゲットに統合されずに残った入力部分がないと判定された場合、ステップＳ８及びＳ９をスキップする。
【００８４】
そして、画像処理部２４から次の第t+2フレームの入力部分の点情報が供給されるのを待って、ステップＳ１に戻り、以降の処理が同様に行われる。
【００８５】
次に、ターゲットの移動開始を表すイベント「移動開始」、及びターゲットの移動終了を表すイベント「移動終了」を検出する処理である移動の認識処理について説明する。
【００８６】
図１０のフローチャートを参照して、図１のイベント生成部３２が行う移動の認識処理について説明する。
【００８７】
なおこの移動の認識処理や後述する他の認識処理は、例えば、時刻t+1の第t+1フレームの入力部分に対する上述した統合処理が終了されると開始される。なお、移動の認識処理と他の認識処理は、それぞれ並行して実行されるか、または、所定の順番で順次実行される。
【００８８】
ステップＳ２１において、イベント生成部３２は、ターゲット生成部３１によって比較された第tフレームのターゲットと第t+1フレームの入力部分の位置関係の比較結果に基づいて、移動を開始したターゲットがあるかを判定する。例えば、イベント生成部３２は、第t+1フレームの入力部分が近傍に存在する第tフレームのターゲットのうち、入力部分までの距離が所定の距離以上であり、かつ、第t-1フレーム以前にイベント「移動開始」が生成されていないターゲットがあるかを判定することにより、移動を開始したターゲットがあるかを判定する。ステップＳ２２において、移動を開始したターゲットがあると判定された場合、ステップＳ２３において、イベント生成部３２は、イベント「移動開始」を生成する。
【００８９】
一方、ステップＳ２１において、移動を開始したターゲットがないと判定された場合、ステップＳ２２をスキップする。
【００９０】
ステップＳ２３において、イベント生成部３２は、ターゲット生成部３１によって比較された第tフレームのターゲットと第t+1フレームの入力部分の位置関係の比較結果等に基づいて、移動を終了したターゲットがあるかを判定する。例えば、イベント生成部３２は、第t+1フレームの入力部分が近傍にある第tフレームのターゲットのうち、入力部分までの距離が所定の距離以下であり、かつ、第t-1フレーム以前にイベント「移動終了」が生成されていないターゲットがあるかを判定することにより、移動を終了したターゲットがあるかを判定する。ステップＳ２３において、移動を終了したターゲットがあると判定された場合、ステップＳ２４において、イベント生成部３２は、イベント「移動終了」を生成する。
【００９１】
一方、ステップＳ２３において、移動を終了したターゲットがないと判定された場合、ステップＳ２４をスキップする。
【００９２】
そして、次の第t+2フレームの入力部分に対する統合処理が終了されるのを待って、ステップＳ２１に戻り、以降の処理が同様に行われる。
【００９３】
次に、上述した統合処理と移動の認識処理を行った場合、生成部２５から制御部１３に出力されるターゲットとイベントの情報について、図１１を参照して具体的に説明する。
【００９４】
図１１の例の場合、例えば、ユーザが入出力ディスプレイ２２の表示画面に対して１本の指を近接させ、指を近接させたまま移動し、指の近接をやめるような指の動きをしたとする。
【００９５】
図１１の上の図は、時刻nの第nフレーム乃至時刻n+5の第n+5フレームの入力部分（図中、白丸で表す）を示している。また、図１１の下の図は、第nフレーム乃至第n+5フレームで出力されるターゲットとイベントの情報を示している。
【００９６】
この例では、例えば、時刻nでユーザが入出力ディスプレイ２２の表示画面に対して１本の指を近接させ、表示画面に対して指を近接させたまま、時刻n+2で指を図中左から右の方向に移動し始め、時刻n+4で移動を停止し、時刻n+5で表示画面に対する指を離している。
【００９７】
すなわち、時刻nで表示画面に対してユーザが指を近接させることにより、第nフレームでは、図１１の上の図に示すように、入力部分#0が新たに出現している。
【００９８】
この場合、第nフレームの入力部分#0に対応して、新しいターゲット#0が生成される。すなわち、図１１の下の図に示すように、ターゲットIDが0であり、ターゲット属性のうちの位置情報等（以下、ターゲット関連情報INFOと称する）が入力部分#0の位置情報等である新しいターゲット#0が生成される。
【００９９】
なお、ターゲットの実体は、ターゲット属性を記憶する、メモリ等に確保される記憶領域である。
【０１００】
第nフレームでは、新しいターゲット#0の生成に対応して、イベント「生成」が生成される。すなわち、第nフレームでは、図１１の下の図に示すように、イベントの識別情報であるイベントIDが0で、イベントの種類を表すイベントタイプTypeが新しいターゲットの生成を表すCreateで、イベントが状態を表すターゲットを特定する特定情報tidが、ターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#0が生成される。
【０１０１】
このように、イベントは、イベントが状態を表すターゲットを特定する特定情報tidをイベント属性の１つとして有するので、その特定情報tidによって、イベントが状態を表すターゲットを特定することができる。
【０１０２】
なお、イベントの実体は、イベント属性を記憶する、メモリ等に確保される記憶領域である。
【０１０３】
次に、第n+1フレームでは、図１１の上の図に示すように、入力部分#0が移動せずにそのまま存在している。
【０１０４】
この場合、第n+1フレームの入力部分#0が第nフレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+1フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが第n+1フレームの入力部分#0の位置情報等で更新された第nフレームのターゲット#0、すなわち、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
【０１０５】
第n+2フレームでは、図１１の上の図に示すように、入力部分#0が動き出している。
【０１０６】
この場合、第n+2フレームの入力部分#0が、第n+1フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+2フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
【０１０７】
さらに、第n+2フレームでは、ターゲット#0に統合された入力部分#0が移動を開始すること、したがって、ターゲット#0が移動を開始することに対応して、イベント「移動開始」が生成される。すなわち、第n+2フレームでは、図１１の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる例えば1で、イベントタイプTypeがターゲットの移動の開始を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#1が生成される。
【０１０８】
次に、第n+3フレームでは、図１１の上の図に示すように、入力部分#0が動き途中である。
【０１０９】
この場合、第n+3フレームの入力部分#0が、第n+2フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+3フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+2フレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
【０１１０】
第n+4フレームでは、図１１の上の図に示すように、入力部分#0が停止している。
【０１１１】
この場合、第n+4フレームの入力部分#0が、第n+3フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+4フレームのターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
【０１１２】
さらに、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了したこと、したがって、ターゲット#0の移動が終了したことに対応して、イベント「移動終了」が生成される。すなわち、第n+4フレームでは、図１１の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDと異なる2で、イベントタイプTypeがターゲットの移動の終了を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#2が生成される。
【０１１３】
時刻n+5でユーザが表示画面に対する指の近接を止めることにより、第n+5フレームでは、図１１の上の図に示すように、入力部分#0が消滅している。
【０１１４】
この場合、第n+5フレームでは、入力部分#0の消滅に対応して、ターゲット#0が削除される。
【０１１５】
さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベント「削除」が生成される。すなわち、第n+5フレームでは、図１１の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDと異なる3で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#3が生成される。
【０１１６】
図１２の例に基づいて、ターゲットとイベントの情報についてさらに説明する。
【０１１７】
図１２の例では、
ユーザが入出力ディスプレイ２２の表示画面に対して１本の指を近接させ、指を近接させたまま、指を移動した後、近接を止め、また、その間に他の１本の指を近接させ、指を近接させたまま、指を移動した後、近接を止めるような動きをしたとする。
【０１１８】
図１２の上の図は、第nフレーム乃至第n+5フレームの入力部分（図中、白丸で表す）を示している。図１２の下の図は、第nフレーム乃至第n+5フレームに出力されるターゲットとイベントの情報を示している。
【０１１９】
この例では、例えば、時刻nでユーザが１本の指を入出力ディスプレイ２２の表示画面に近接させ、表示画面に対して指を近接させたまま、時刻n+2で指を図中左から右の方向に移動し始め、時刻n+4で移動を停止し、時刻n+5で表示画面に対する指の近接を止めている。
【０１２０】
また、時刻n+1で他の１本の指を表示画面に近接させ、表示画面に対して指を近接させたまま、時刻n+2で指を図中右から左の方向に移動し始め、時刻n+3で移動を停止し、時刻n+4で表示画面に対する指の近接を止めている。
【０１２１】
すなわち、時刻nでユーザが表示画面に対して１本の指を近接させることにより、第nフレームでは、図１２の上の図に示すように、入力部分#0が新たに出現している。
【０１２２】
この場合、第nフレームの入力部分#0に対応して、図１２の場合と同様に新しいターゲット#0が生成される。すなわち、第nフレームでは、図１２の下の図に示すように、ターゲットIDが0で、ターゲット関連情報INFOが、第nフレームの入力部分#0の位置情報等であるターゲット属性を有する新しいターゲット#0が生成される。
【０１２３】
さらに、第nフレームでは、新しいターゲット#0が生成されたことに対応して、図１２の場合と同様に、イベント「生成」が生成される。すなわち、第nフレームでは、図１２の下の図に示すように、イベントIDが0で、イベントタイプTypeがCreateであり、特定情報tidがターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#0が生成される。
【０１２４】
次に、第n+1フレームでは、図１２の上の図に示すように、入力部分#0が移動せずにそのまま存在している。
【０１２５】
この場合、第n+1フレームの入力部分#0が、第nフレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+1フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+1フレームの入力部分#0の位置情報等で更新された第nフレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
【０１２６】
また、時刻n+1でユーザが他の１本の指を表示画面に対して近接させることにより、第n+1フレームでは、図１２の上の図に示すように、入力部分#1が新たに出現している。
【０１２７】
この場合、第n+1フレームの入力部分#1に対応して、新しいターゲット#1が生成される。すなわち、第n+1フレームでは、図１２の下の図に示すように、ターゲットIDが、すでに生成されたターゲットのターゲットIDとは異なる1で、ターゲット関連情報INFOが、第n+1フレームの入力部分#1の位置情報等であるターゲット属性を有する新しいターゲット#1が生成される。
【０１２８】
さらに、第n+1フレームでは、新しいターゲット#0が生成されたことに対応して、イベント「生成」が生成される。すなわち、第n+1フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる1で、イベントタイプTypeがCreateであり、特定情報tidがターゲット#1のターゲットIDの1であるイベント属性を有する新しいイベント#1が生成される。
【０１２９】
第n+2フレームでは、図１２の上の図に示すように、入力部分#0と#1が動き出している。
【０１３０】
この場合、第n+2フレームの入力部分#0が、第n+1フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+2フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
【０１３１】
同様に、第n+2フレームの入力部分#1が、第n+1フレームのターゲット#1の近傍にあるのでそのターゲット#1に統合される。その結果、第n+2フレームでは、ターゲット#1は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#1の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが1のままで、第n+2フレームの入力部分#1の位置情報等をターゲット関連情報INFOとするターゲットとなる。
【０１３２】
また、第n+2フレームでは、ターゲット#0に統合された入力部分#0の移動が開始されたこと、したがって、ターゲット#0の移動が開始されたことに対応して、イベント「移動開始」が生成される。すなわち、第n+2フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる2で、イベントタイプTypeがMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#2が生成される。
【０１３３】
同様に、第n+2フレームでは、ターゲット#1に統合された入力部分#1の移動が開始されたこと、したがって、ターゲット#1の移動が開始されたことに対応して、イベント「移動開始」が生成される。すなわち、第n+2フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる3で、イベントタイプTypeがMoveStartで、特定情報tidが、移動を開始したターゲット#1のターゲットIDの1であるイベント属性を有する新しいイベント#3が生成される。
【０１３４】
次に、第n+3フレームでは、図１２の上の図に示すように、入力部分#0が動き途中である。
【０１３５】
この場合、第n+3フレームの入力部分#0が、第n+2フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+3フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+2フレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
【０１３６】
また、第n+3フレームでは、入力部分#1が停止している。
【０１３７】
この場合、第n+3フレームの入力部分#1が、第n+2フレームのターゲット#1の近傍にあるのでそのターゲット#1に統合される。その結果、第n+3フレームでは、ターゲット#1は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#1の位置情報等で更新された第n+2フレームのターゲット#1、つまり、ターゲットIDが1のままで、第n+3フレームの入力部分#1の位置情報等をターゲット関連情報INFOとするターゲットとなる。
【０１３８】
さらに、第n+3フレームでは、ターゲット#1に統合された入力部分#1の移動が終了したこと、したがって、ターゲット#1の移動が終了したことに対応して、イベント「移動終了」が生成される。すなわち、第n+3フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる4で、イベントタイプTypeがMoveStopで、特定情報tidが、移動を終了したターゲット#1のターゲットIDの1であるイベント属性を有する新しいイベント#4が生成される。
【０１３９】
次に、第n+4フレームでは、図１２の上の図に示すように、入力部分#0が停止している。
【０１４０】
この場合、第n+4フレームの入力部分#0が、第n+3フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+4フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
【０１４１】
また、時刻n+4で後に近接させた1本の指の表示画面に対する近接をユーザが止めることにより、第n+4フレームでは、図１２の上の図に示すように、入力部分#1が消滅している。
【０１４２】
この場合、第n+4フレームでは、ターゲット#1が削除される。
【０１４３】
また、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了したこと、したがって、ターゲット#0の移動が終了したことに対応して、イベント「移動終了」が生成される。すなわち、第n+4フレームでは、図１２の下の図に示すように、すでに生成されたイベント#0乃至#4のイベントIDとは異なる5で、イベントタイプTypeがMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#5が生成される。
【０１４４】
さらに、第n+4フレームでは、入力部分#1が消滅したこと、したがって、ターゲット#1が削除されたことに対応して、イベント「削除」が生成される。すなわち、第n+4フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる6で、イベントタイプTypeがDeleteで、特定情報tidが、削除されたターゲット#1のターゲットIDの1であるイベント属性を有する新しいイベント#6が生成される。
【０１４５】
時刻n+5で表示画面に対する残りの１本の指の近接をユーザが止めることにより、第n+5フレームでは、図１２の上の図に示すように、入力部分#0が消滅している。
【０１４６】
この場合、第n+5フレームでは、ターゲット#0が削除される。
【０１４７】
さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベント「削除」が生成される。すなわち、第n+5フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる7で、イベントタイプTypeがDeleteで、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#7が生成される。
【０１４８】
以上のように、入出力パネル１５では、複数の点に対する入力がある場合でも、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、さらに、ターゲットの状態の変化を表すイベントの情報を生成して出力するので、複数の点に対する入力の情報を容易に扱うことが可能になる。
【０１４９】
なお統合処理と認識処理を行うと、記憶部３３に記憶されているイベントの数は増える一方となってしまう。そこで、記憶部３３は、例えば、一定の時間が経過したときやイベントの個数が所定の数を超えたとき等といった所定の条件に基づいて、記憶しているイベントの情報を削除する処理、いわゆるガーベージ・コレクティングを行うようにしてもよい。
【０１５０】
また、記憶部３３は、イベントの情報と同様に、例えば、一定の時間が経過したときやターゲットの個数が所定の数を超えたとき等といった所定の条件に基づいて、記憶しているターゲットの情報を削除する処理を行うようにしてもよい。
【０１５１】
なお上述した統合処理では、第tフレームのターゲットのうち第t+1フレームの入力部分の近傍に存在しないターゲットが削除されるように説明したが、その他、第tフレームのターゲットのうち第t+1フレームの入力部分の近傍でなくなったターゲットが、その後も数フレーム連続して保持された後に削除されるようにしてもよい。このようにすることで、例えば、ユーザが誤って指を表示画面から離してしまった場合でも、すぐに指を近接させれば、そのときの表示画面に近接している指に対応する入力部分を、まだ保持されているターゲットに統合することができ、したがって、このような誤操作により処理が中断することを防ぐことができる。
【０１５２】
また、イベントの検出（認識）において比較される第t+1フレームの入力部分の点情報と、記憶部３３から読み出した第tフレームのターゲットの情報としては、それらのうちの高さ情報が表す高さに係わらず全てを用いるものとするが、その他、高さ情報が表す高さが所定の閾値以下といった所定の範囲にあるもののみを用いるといった制限をかけるようにしてもよく、そのような制限をかけることで、イベントの検出のための計算量を減らすことが可能となる。
【０１５３】
次に、認識処理の他の例について説明する。
【０１５４】
例えば、ユーザが表示画面に対して２本の指を近接させ、表示画面に対して指を近接させたまま、表示画面上のある点を中心とした円を描くように２本の指を移動するようなジェスチャをしたとする。このようなジェスチャの認識の例として、例えば、指の近接を開始したときの２本の指のそれぞれの近接している表示画面上の点を結ぶ直線に対して、円を描くように移動している途中の２本の指のそれぞれの近接している表示画面上の点を結ぶ直線がなす角（以下、回転角と称する）の絶対値が所定の閾値以上になったことを表すイベント「回転」を検出（認識）することができる。この認識処理を、回転の認識処理と称する。
【０１５５】
次に、イベント生成部３２による回転の認識処理について、図１３のフローチャートを参照して説明する。
【０１５６】
ステップＳ４１において、イベント生成部３２は、ターゲット生成部３１による統合処理が終了すると、統合処理で用いられた入力部分のフレームを処理対象のフレームとし、処理対象のフレームの入力部分の点情報に基づいて、処理対象のフレームの入力部分が２個であるかを判定する。ステップＳ４１において、処理対象のフレームの入力部分が２個であると判定された場合、ステップＳ４２において、イベント生成部３２は、その２個の入力部分の代表座標を、上述したジェスチャの開始時のフレームである開始フレームの入力部分の代表座標であるとして、記憶部３３に記憶させる。
【０１５７】
ステップＳ４３において、イベント生成部３２は、統合処理が終了すると、統合処理で用いられた入力部分のフレームを処理対象のフレームとし、その処理対象のフレームの入力部分の点情報に基づいて、処理対象のフレームの入力部分が２個であるかを判定する。ステップＳ４３において、処理対象のフレームの入力部分が２個であると判定された場合、ステップＳ４４において、イベント生成部３２は、その２個の入力部分の代表座標と、記憶部３３に記憶された開始フレームの入力部分の代表座標とから上述した回転角の絶対値を算出し、その回転角の絶対値は所定の閾値以上であるかを判定する。
【０１５８】
具体的には、例えば、開始フレームの２個の入力部分を、図１４の左の図に示すような、入力部分A1とB1とし、処理対象のフレームの２個の入力部分を、図１４の右の図に示すような、入力部分A2とB2とすると、イベント生成部３２は、上述した回転角として、開始フレームの入力部分A1とB1を結ぶ直線に対して、処理対象のフレームの２個の入力部分A2とB2を結ぶ直線がなす角である回転角θを算出する。
【０１５９】
なお、開始フレームの入力部分A1とB1のそれぞれの代表座標を、(Xa1, Ya1)、(Xb1, Yb1)とし、処理対象のフレームの２個の入力部分A2とB2のそれぞれの代表座標を、(Xa2, Ya2)、(Xb2, Yb2)とすると、回転角θは、それらの代表座標を用いて、式（１）で表される。
【０１６０】
【数１】
2009116769.tif 000003
【０１６１】
なお、式（１）の右辺の関数atan2(y, x)は、引数xとyに対して、tan(φ) = y/xを満足し、かつ、−π≦φ≦πであるラジアン単位の角度φを返す関数である。なお、x > 0かつy = 0の場合にはatan2(y, x) = 0であり、x < 0 かつy = 0の場合にはatan2(y, x) =πである。x = y = 0の場合にはatan2(y, x)は未定義であり、y < 0の場合には−π< atan2(y, x) < 0である。そして、y > 0の場合には0 < atan2(y, x) <πである。
【０１６２】
ステップＳ４４において、回転角は所定の閾値以上であると判定された場合、すなわち例えば、回転角θの絶対値が所定の閾値以上であると判定された場合、ステップＳ４５において、イベント生成部３２は、イベント「回転」を生成する。そして、例えば、開始フレームの代表座標を記憶部３３から削除して、ステップＳ４３に戻り、以降の処理を同様に行う。
【０１６３】
一方、ステップＳ４３において、処理対象のフレームの入力部分が２個でないと判定された場合、ステップＳ４６において、イベント生成部３２は、処理対象のフレームの入力部分の点情報に基づいて、処理対象のフレームの入力部分が０個であるかを判定する。ステップＳ４６において、処理対象のフレームの入力部分が０個であると判定された場合、上述したジェスチャが一旦終了したとして、ステップＳ４１に戻り、それ以降の処理を同様に行う。
【０１６４】
またステップＳ４６において、処理対象のフレームの入力部分が０個でないと判定された場合、すなわち、処理対象のフレームの入力部分が１個または３個以上である場合、ステップＳ４３に戻り、それ以降の処理を同様に行う。
【０１６５】
以上のように、上述した回転角θの絶対値が所定の閾値以上であるとき、イベント「回転」を生成することにより、ユーザが表示画面上のある点を中心とした円を描くように２本の指を移動するようなジェスチャを認識することができる。そして、イベント「回転」の生成に対応して、所定の処理、例えば、その回転角θで表示画面に表示されている画像等を回転する等の処理を行うことが可能となる。
【０１６６】
また、移動や回転の認識処理では、入力部分の点情報としての代表座標に基づいて、イベントを生成する場合について説明したが、その他、例えば、入力部分の点情報としての面積情報や領域情報等に基づいて、イベントを生成することもできる。
【０１６７】
例えば、入出力ディスプレイ２２の表示画面に押し付けられた指が強く押し付けられたことを、その指に対応する入力部分の面積情報が示す面積が所定の閾値以上であるかを判定することによりイベントとして認識し、イベントを生成することができる。
【０１６８】
図１５は、高さ情報が付加された、生成部２５から制御部１３に出力されるターゲットとイベントの情報の例である。
【０１６９】
なお、この例では、ターゲットとイベントの情報は、XML(Extensible Markup Language)形式で記述されている。
【０１７０】
図１５のターゲットとイベントの情報の上から２行目には、このターゲットとイベントの情報の出力時の時刻情報としての出力時のフレームの番号（frameNumber）、出力時のフレームのターゲットの数(numOfTargets)，出力時のフレームのイベントの数(numOfEvents)が、それぞれ22，2，1と示されている。
【０１７１】
上から４行目には、出力時のフレーム（フレームの番号が22のフレーム）に存在する２個のターゲットのうちのターゲットIDが0のターゲットの情報が示されている。同様に、上から７行目には、出力時のフレームに存在する２個のターゲットのうちのターゲットIDが1のターゲットの情報が示されている。
【０１７２】
すなわち、上から４行目または７行目には、左から順に、ターゲットID(tid)、ターゲットの生成時の時刻情報としてのターゲットの生成時のフレームの番号(ft)、ターゲットの代表座標のうちのx座標(x)、そのうちのy座標(y)、高さ情報(z)、ターゲットの領域の面積(a)、並びに、領域情報としてのターゲットを囲む最小の長方形の上端の座標(rt)、下端の座標(rb)、左端の座標(rl)、及び右端の座標(rr)が示されている。また、これらの値が、上から４行目では、0，1，10，20，10，100，5，25，5，15とされ、上から７行目では、1，2，30，40，0，200，30，50，25，35とされている。なお、この例では、ターゲットの生成時のフレームの番号(ft)、ターゲットの代表座標(x及びy)、高さ情報(z)、ターゲットの領域の面積(a)、並びに、領域情報(rt、rb、rl、及びrr)が、ターゲット属性である。
【０１７３】
上から１０乃至１５行目には、このターゲットとイベントの情報の出力時のフレーム（フレームの番号が22のフレーム）で生成された１つのイベントについてのイベントの情報が示されている。なお、生成されたイベントが複数ある場合には、例えば、各イベントのイベントの情報を記述するための行を追加するようにする。
【０１７４】
すなわち、上から１０行目には、左から順に、イベントID(eid)、イベントの生成時の時刻情報としてのイベントの生成時のフレーム（したがって、出力時のフレーム）の番号(fn)、イベントタイプ(type)、イベントが状態を表すターゲットの数(numOfID)、並びに、イベントの付加的な情報である付加情報の数(numOfValue)が示されている。これらの値が、上から１０行目では、1，22，Rotate，2，3とされている。なお、この例では、イベントの生成時のフレームの番号(fn)、イベントタイプ(type)、ターゲットの数(numOfID)、並びに、付加情報の数(numOfValue)がイベント属性である。
【０１７５】
なおこのように、イベントの生成時のフレームの番号(fn)をイベント属性に含めることで、例えば新しいイベントから順に検索するといったことが可能となり、その結果、イベントの検索性が向上する。
【０１７６】
上から１１行目と１２行目には、特定情報tidとしての、イベントが状態を表すターゲットのターゲットIDが示されている。この例では、それらの値は、0，1としてされている。
【０１７７】
上から１３行目乃至１５行目には、付加情報が示されている。上から１３行目には、付加情報(extra ex)として、このイベント「回転」の回転中心のx座標が示され、上から１４行目には、付加情報(extra ex)として、このイベント「回転」の回転中心のy座標が示されている。上から１５行目には、付加情報(extra ex)として、このイベント「回転」の回転角θが示されている。この例では、それらの値は、それぞれ20，30，20とされている。
【０１７８】
次に、図１６乃至図２１を参照して、入出力ディスプレイ２２の表示画面に対して指等を近接させることにより行われる入力で近接させる指等の表示画面からの高さ情報を利用した、制御部１３による所定の処理について説明する。
【０１７９】
例えば、図１６Ａに示すように、ユーザが入出力ディスプレイ２２の表示画面から十分に遠い高さh1に指を位置させているとき、図１６Ｄに示すように、携帯電話機１は、ソフトウェアキーボードを表示画面に表示している。そして、図１６Ｂに示すように、ユーザが表示画面からやや近い高さh1より小の高さh2まで指を近接させると、図１６Ｅに示すように、携帯電話機１は、そのソフトウェアキーボード上のキーのうちの指が近接している所定のキーを拡大して表示画面に表示する。さらに、図１６Ｃに示すように、ユーザが表示画面に対して指を近接させたままその指をさらに高さh2より小の高さh3まで近接させると、図１６Ｆに示すように、携帯電話機１は、拡大表示しているキーのうちの指が近接している１つのキーを選択状態（図中網掛けの部分）として表示するとともにそのキーに対応する情報を入力する。このような携帯電話機１の動作を実現するための制御部１３による処理をソフトウェアキーボード入力処理と称する。
【０１８０】
図１７のフローチャートを参照して、制御部１３によるソフトウェアキーボード入力処理について説明する。
【０１８１】
例えば、入出力ディスプレイ２２の表示画面に対する所定の入力に基づいて、ソフトウェアキーボードを用いた入力の開始がユーザにより指示されると、ソフトウェアキーボード入力処理は開始される。
【０１８２】
ステップＳ６１において、制御部１３は、所定の表示データを、入出力パネル１５に供給することにより、例えば、図１６Ｄに示すような、複数のキーからなるソフトウェアキーボードを入出力ディスプレイ２２の表示画面に表示させる。なお、このソフトウェアキーボードの表示の状態を初期状態と称する。
【０１８３】
ステップＳ６２において、入出力パネル１５から制御部１３にそのフレームのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれるターゲットの高さ情報に基づいて、高さがh2以下のターゲットが存在するかを判定する。ステップＳ６２において、高さがh2以下のターゲットが存在すると判定された場合、ステップＳ６３において、制御部１３は、その高さがh2以下のターゲットを注目ターゲットとする。
【０１８４】
ステップＳ６４において、制御部１３は、所定の表示データを作成し、その表示データを入出力パネル１５に供給し、注目ターゲットの近傍にある所定のキーが拡大されたソフトウェアキーボードを入出力ディスプレイ２２に表示させる。
【０１８５】
これにより、例えば図１６Ｅに示すようなキー「U」、キー「I」、キー「H」、キー「J」、キー「K」、キー「N」、及びキー「M」が拡大表示されたソフトウェアキーボードが入出力ディスプレイ２２に表示される。
【０１８６】
ステップＳ６５において、入出力パネル１５から制御部１３に次のフレームのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh3以下であるかを判定する。ステップＳ６５において、注目ターゲットの高さがh3以下であると判定された場合、  
【０１８７】
ステップＳ６６において、制御部１３は、所定の表示データを作成し、その表示データを入出力パネル１５に供給し、注目ターゲットの近傍の１つのキーを選択状態とするソフトウェアキーボードを入出力ディスプレイ２２に表示させるとともに、そのキーに対応する情報を入力する。
【０１８８】
これにより、例えば図１６Ｆに示すようなソフトウェアキーボードが入出力ディスプレイ２２に表示されるとともに、そのキー（図中の「J」）に対応する文字情報Jが入力される。
【０１８９】
そして、ステップＳ６１に戻り、以降の処理が同様に行われる。
【０１９０】
またステップＳ６５において、注目ターゲットの高さがh3より大きいと判定された場合、ステップＳ６７において、制御部１３は、入出力パネル１５から供給されるターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh2より大きいかを判定する。ステップＳ６７において、注目ターゲットの高さがh2より大きいと判定された場合、キーの拡大が一旦解除されたものとして、ステップＳ６１に戻り、以降の処理が、同様に行われる。これにより、ソフトウェアキーボードの表示が初期状態に戻る。
【０１９１】
一方、ステップＳ６７において、注目ターゲットの高さがh2以下であると判定された場合、ステップＳ６５に戻り、以降の処理が同様に行われる。
【０１９２】
なおステップＳ６２において、高さがh2以下のターゲットが存在しないと判定された場合、ステップＳ６２に戻り、以降の処理が同様に行われる。
【０１９３】
以上のように、携帯電話機１は、表示画面に近接させる指等の高さに対応して、表示画面に表示しているソフトウェアキーボードの、ターゲットの近傍の所定のキーを拡大表示したり、その拡大表示した所定のキーのうちのターゲットの近傍の１つのキーを選択してその１つのキーに対応する情報を入力したりするようにしたので、例えば、ユーザは、簡単な入力操作で所望の情報の入力を行わせることができる。
【０１９４】
なおこの例では、携帯電話１は、ターゲットの高さがh2以下である場合に拡大表示を行うようにしたが、その他、ターゲットの高さの閾値を複数設け、各閾値に対して高さの判定処理を行うことにより、例えば、ターゲットの高さが小になるほど拡大表示の対象の大きさが大きくなるように拡大表示を行うようにしてもよい。また、後述する図２０及び２１の例の拡大表示についても同様である。
【０１９５】
またこの例では、携帯電話１は、ターゲットの高さがh2以下になり、さらにそのターゲットの高さがh3以下になると、所定の処理を実行するようにしたが、その他、ターゲットの高さがh2以下になり、さらにそのターゲットの高さがh3以下になった後でh3より大きくなると、所定の処理を実行するようにしてもよい。後述する図１８及び１９の例、及び図２０及び２１の例でも同様である。
【０１９６】
次に、例えば、図１８Ａに示すように、ユーザが入出力ディスプレイ２２の表示画面から十分に遠い高さh1に指を位置させているとき、図１８Ｄに示すように、携帯電話機１は、例えば何もない画面を表示画面に表示している。そして、図１８Ｂに示すように、ユーザが表示画面からやや近い高さh2まで指を近接させると、図１８Ｅに示すように、携帯電話機１は、表示画面上のその指が近接している付近にメニュー項目を表示する。さらに、図１８Ｃに示すように、ユーザが表示画面に対して指を近接させたままその指をさらに高さh3まで近接させると、図１８Ｆに示すように、携帯電話機１は、表示しているメニュー項目のうちの指が近接している１つの項目を選択状態（図中網掛けの部分）として表示するとともにその項目に応じた所定の処理を開始する。このような携帯電話機１の動作を実現するための制御部１３による処理をメニュー項目選択処理と称する。
【０１９７】
図１９のフローチャートを参照して、制御部１３によるメニュー項目選択処理について説明する。
【０１９８】
ステップＳ８１において、入出力パネル１５から制御部１３にフレームごとのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれるターゲットの高さ情報に基づいて、高さがh2以下のターゲットが存在するかを判定する。ステップＳ８１において、高さがh2以下のターゲットが存在すると判定された場合、ステップＳ８２において、制御部１３は、その高さがh2以下のターゲットを注目ターゲットとする。
【０１９９】
ステップＳ８３において、制御部１３は、所定の表示データを作成し、その表示データを入出力パネル１５に供給し、表示画面上の注目ターゲットの近傍にメニュー項目を表示させる。
【０２００】
これにより、例えば図１８Ｅに示すようなメニュー項目が入出力ディスプレイ２２に表示される。
【０２０１】
ステップＳ８４において、入出力パネル１５から制御部１３に次のフレームのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh3以下であるかを判定する。ステップＳ８４において、注目ターゲットの高さがh3以下であると判定された場合、ステップＳ８５において、  
【０２０２】
制御部１３は、所定の表示データを作成し、その表示データを入出力パネル１５に供給し、注目ターゲットの近傍の１つの項目を選択状態とするメニュー項目を入出力ディスプレイ２２に表示させるとともに、その選択状態とした項目に対応する所定の処理を実行する。
【０２０３】
これにより、例えば図１８Ｆに示すようなメニュー項目が入出力ディスプレイ２２に表示されるとともに、選択状態の項目（図中の「編集」の項目）に対応して、例えば、表示画面に表示されている画像の編集を行うためのアプリケーションの起動が開始される。
【０２０４】
そして、ステップＳ８１に戻り、以降の処理が同様に行われる。
【０２０５】
またステップＳ８４において、注目ターゲットの高さがh3より大きいと判定された場合、ステップＳ８６において、制御部１３は、入出力パネル１５から供給されるターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh2より大きいかを判定する。ステップＳ８６において、注目ターゲットの高さがh2より大きいと判定された場合、メニュー項目の表示が一旦解除されたものとして、ステップＳ６１に戻り、以降の処理が、同様に行われる。これにより、メニュー項目が表示されなくなる。
【０２０６】
一方、ステップＳ８６において、注目ターゲットの高さがh2以下であると判定された場合、ステップＳ８４に戻り、以降の処理が同様に行われる。
【０２０７】
なおステップＳ８１において、高さがh2以下のターゲットが存在しないと判定された場合、ステップＳ８１に戻り、以降の処理が同様に行われる。
【０２０８】
以上のように、携帯電話機１は、表示画面に近接させる指等の高さに対応して、表示画面のターゲットの近傍にメニュー項目を表示したり、その表示されたメニュー項目のうちの１つの項目を選択してその項目に対応する所定の処理を行うようにしたので、例えば、ユーザは、簡単な入力操作で所定の処理を行わせることができる。
【０２０９】
次に、例えば、図２０Ａに示すように、ユーザが入出力ディスプレイ２２の表示画面から十分に遠い高さh1に指を位置させているとき、図２０Ｄに示すように、携帯電話機１は、複数の写真からなる写真の一覧を表示画面に表示している。そして、図２０Ｂに示すように、ユーザが表示画面からやや近い高さh2まで指を近接させると、図２０Ｅに示すように、携帯電話機１は、その写真の一覧のうちの指が近接している所定の写真を拡大して表示画面に表示する。さらに、図２０Ｃに示すように、ユーザが表示画面に対して指を近接させたままその指をさらに高さh3まで近接させると、図２０Ｆに示すように、携帯電話機１は、拡大表示している写真のうちの指が近接している１つの写真を選択状態（図中網掛けの部分）として表示するとともにその写真に対して所定の処理を施す。このような携帯電話機１の動作を実現するための制御部１３による処理を写真選択処理と称する。
【０２１０】
図２１のフローチャートを参照して、制御部１３による写真選択処理について説明する。
【０２１１】
例えば、入出力ディスプレイ２２の表示画面に対する所定の入力に基づいて、写真の一覧の表示がユーザにより指示されると、写真選択処理は開始される。
【０２１２】
ステップＳ１０１において、制御部１３は、所定の表示データを、入出力パネル１５に供給することにより、例えば、図２０Ｄに示すような、写真１乃至１２からなる写真の一覧を入出力ディスプレイ２２の表示画面に表示させる。なお、この写真の一覧の表示の状態を初期状態と称する。
【０２１３】
ステップＳ１０２において、入出力パネル１５から制御部１３にそのフレームのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれるターゲットの高さ情報に基づいて、高さがh2以下のターゲットが存在するかを判定する。ステップＳ１０２において、高さがh2以下のターゲットが存在すると判定された場合、ステップＳ１０３において、制御部１３は、その高さがh2以下のターゲットを注目ターゲットとする。
【０２１４】
ステップＳ１０４において、制御部１３は、所定の表示データを作成し、その表示データを入出力パネル１５に供給し、注目ターゲットの近傍にある所定の写真が拡大された写真の一覧を入出力ディスプレイ２２に表示させる。
【０２１５】
これにより、例えば図２０Ｅに示すような写真６、写真７、写真１０、及び写真１１が拡大表示された写真の一覧が入出力ディスプレイ２２に表示される。
【０２１６】
ステップＳ１０５において、入出力パネル１５から制御部１３に次のフレームのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh3以下であるかを判定する。ステップＳ１０５において、注目ターゲットの高さがh3以下であると判定された場合、ステップＳ１０６において、制御部１３は、  
【０２１７】
所定の表示データを作成し、その表示データを入出力パネル１５に供給し、注目ターゲットの近傍の１つの写真を選択状態とする写真の一覧を入出力ディスプレイ２２に表示させるとともに、その写真に対して所定の処理を施す。例えば、制御部１３は、その写真を拡大して表示画面に全画面表示させる処理を開始する。
【０２１８】
これにより、例えば図２０Ｆに示すような写真7が選択状態の写真の一覧が入出力ディスプレイ２２に表示されるとともに、例えば、その選択状態の写真7を拡大して表示画面に全画面表示させる処理が開始される。
【０２１９】
そして、ステップＳ１０１に戻り、以降の処理が同様に行われる。
【０２２０】
またステップＳ１０５において、注目ターゲットの高さがh3より大きいと判定された場合、ステップＳ１０７において、制御部１３は、入出力パネル１５から供給されるターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh2より大きいかを判定する。ステップＳ１０７において、注目ターゲットの高さがh2より大きいと判定された場合、写真の拡大が一旦解除されたものとして、ステップＳ１０１に戻り、以降の処理が、同様に行われる。これにより、写真の一覧の表示が初期状態に戻る。
【０２２１】
一方、ステップＳ１０７において、注目ターゲットの高さがh2以下であると判定された場合、ステップＳ１０５に戻り、以降の処理が同様に行われる。
【０２２２】
なおステップＳ１０２において、高さがh2以下のターゲットが存在しないと判定された場合、ステップＳ１０１に戻り、以降の処理が同様に行われる。
【０２２３】
以上のように、携帯電話機１は、表示画面に近接させる指等の高さに対応して、表示画面に表示している写真の一覧のうち、ターゲットの近傍の所定の写真を拡大表示したり、その拡大表示した所定の写真のうちのターゲットの近傍の１つの写真を選択してその１つの写真に対して拡大等の所定の処理を施すようにしたので、例えば、ユーザは、簡単な入力操作で所望の写真に所定の処理を施させることができる。
【０２２４】
なお、表示画面に近接された指等の高さが高くなるほど、その指等から反射して光センサ２２Ａで受光される受光部分の面積が小さくなり、それに対応して、生成部２５から制御部１３に供給（出力）されるターゲットの情報のうちの面積情報が表す面積が小さくなることを利用して、携帯電話機１は、ターゲットの情報に付加された高さ情報が表す高さに対する閾値判定に加えて、その面積情報が表す面積に対して閾値判定を行うことで、例えば、より確実に指等の高さに応じた処理を行うことも可能である。
【０２２５】
図２２は、本発明を適用した携帯電話の他の一実施の形態の構成例を示すブロック図である。
【０２２６】
図２２の携帯電話機１０１では、図１における入出力パネル１５の生成部２５を制御部１３に移動したものが、制御部１１１とされている。ただし、図２２では、図１の記憶部３３として、記憶部１４が利用されている。
【０２２７】
したがって、図２２の携帯電話機１０１は、図１における携帯電話機１と同様の処理を行うことができる。
【０２２８】
図２３は、本発明を適用した携帯電話の他の一実施の形態の構成例を示すブロック図である。
【０２２９】
図２３の携帯電話機１０１では、図１における入出力パネル１５の画像処理部２４及び生成部２５を制御部１３に移動したものが、制御部２１１とされている。ただし、図２３では、図１における記憶部３３として、記憶部１４が利用されている。
【０２３０】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２３１】
図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３２】
コンピュータにおいて、CPU２４１，ROM２４２，RAM２４３は、バス２４４により相互に接続されている。
【０２３３】
バス２４４には、さらに、入出力インタフェース２４５が接続されている。入出力インタフェース２４５には、キーボード、マウス、マイクロホンなどよりなる入力部２４６、ディスプレイ、スピーカなどよりなる出力部２４７、ハードディスクや不揮発性のメモリなどよりなる記憶部２４８、ネットワークインタフェースなどよりなる通信部２４９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２５１を駆動するドライブ２５０が接続されている。
【０２３４】
以上のように構成されるコンピュータでは、CPU２４１が、例えば、記憶部２４８に記憶されているプログラムを、入出力インタフェース２４５及びバス２４４を介して、RAM２４３にロードして実行することにより、上述した一連の処理が行われる。
【０２３５】
コンピュータ（CPU２４１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２５１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２３６】
そして、プログラムは、リムーバブルメディア２５１をドライブ２５０に装着することにより、入出力インタフェース２４５を介して、記憶部２４８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２４９で受信し、記憶部２４８にインストールすることができる。その他、プログラムは、ROM２４２や記憶部２４８に、あらかじめインストールしておくことができる。
【０２３７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３８】
なお、本発明の実施の形態は、上述した携帯電話機１の他、例えばTV(Television)受像機等でもよく、また、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２３９】
【図１】携帯電話機１の構成例を示すブロック図である。
【図２】点情報として算出される入力部分の特徴量の例を示す図である。
【図３】携帯電話機１に各種の処理を実行させるソフトウェア群を示す図である。
【図４】２つの閾値を用いて行われる指の高さの検出の様子を示す図である。
【図５】４つの閾値を用いて行われる指の高さの検出の様子を示す図である。
【図６】生成部２５による統合処理を説明する図である。
【図７】第tフレームのターゲットの例を示す図である。
【図８】第t+1フレームの入力部分の例を示す図である。
【図９】図５の第tフレームのターゲットと、図６の第t+1フレームの入力部分とを重ね合わせた状態を示す図である。
【図１０】イベント生成部３２が行う移動の認識処理を説明するフローチャートである。
【図１１】生成部２５から制御部１３に出力されるターゲットとイベントの情報の例を示す図である。
【図１２】生成部２５から制御部１３に出力されるターゲットとイベントの情報の他の例を示す図である。
【図１３】イベント生成部３２による回転の認識処理を説明するフローチャートである。
【図１４】イベント「回転」を説明するための図である。
【図１５】生成部２５から制御部１３に出力されるターゲットとイベントの情報の例を示す図である。
【図１６】携帯電話機１により指の高さに応じて実行される処理の例を示す図である。
【図１７】制御部１３によるソフトウェアキーボード入力処理を説明するフローチャートである。
【図１８】携帯電話機１により指の高さに応じて実行される処理の他の例を示す図である。
【図１９】制御部１３によるメニュー項目選択処理を説明するフローチャートである。
【図２０】携帯電話機１により指の高さに応じて実行される処理の他の例を示す図である。
【図２１】制御部１３による写真選択処理を説明するフローチャートである。
【図２２】携帯電話機１の他の構成例を示す図である。
【図２３】携帯電話機１の他の構成例を示す図である。
【図２４】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０２４０】
１  携帯電話機，  １１  アンテナ，  １２  通信部，  １３  制御部，  １４  記憶部，  １５  入出力パネル，  ２１  表示信号処理部，  ２２  入出力ディスプレイ，  ２２Ａ  光センサ，  ２３  受光信号処理部，  ２４  画像処理部，  ２５  生成部，  ３１  ターゲット生成部，  ３２  イベント生成部，  ３３  記憶部，  １０１  携帯電話機，  １１１  制御部，  １１２  入出力パネル，  １２１  生成部，  ２０１  携帯電話機，  ２１１  制御部，  ２１２  入出力パネル，  ２２１  生成部，  ２４１  CPU，  ２４２  ROM，  ２４３  RAM，  ２４４  バス，  ２４５  入出力インタフェース，  ２４６  入力部，  ２４７  出力部，  ２４８  記憶部，  ２４９  通信部，  ２５０  ドライブ，  ２５１  リムーバブルメディア
【図１】
2009116769.tif 000004
【図２】
2009116769.tif 000005
【図３】
2009116769.tif 000006
【図４】
2009116769.tif 000007
【図５】
2009116769.tif 000008
【図６】
2009116769.tif 000009
【図７】
2009116769.tif 000010
【図８】
2009116769.tif 000011
【図９】
2009116769.tif 000012
【図１０】
2009116769.tif 000013
【図１１】
2009116769.tif 000014
【図１２】
2009116769.tif 000015
【図１３】
2009116769.tif 000016
【図１４】
2009116769.tif 000017
【図１５】
2009116769.tif 000018
【図１６】
2009116769.tif 000019
【図１７】
2009116769.tif 000020
【図１８】
2009116769.tif 000021
【図１９】
2009116769.tif 000022
【図２０】
2009116769.tif 000023
【図２１】
2009116769.tif 000024
【図２２】
2009116769.tif 000025
【図２３】
2009116769.tif 000026
【図２４】
2009116769.tif 000027