(57)【要約】【課題】ユーザにとって利便性及び操作性の高い入力装置を提供する。【解決手段】データ表示／センサ装置１００は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂを表裏両面に配設しており、第１表示／光センサ部３００Ａが検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１方向への動作に対応付けられた、その特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出部８１０ａと、第２表示／光センサ部３００Ｂが検出した入力操作の動きを特定して、アプリケーションの第１方向とは異なる第２方向への動作に対応付けられた、第２表示／光センサ部３００Ｂにおける特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出部８１０ｂと、を備える。それゆえ、データ表示／センサ装置１００は、優れた利便性及び操作性の入力装置をユーザに提供することができる。【選択図】図１
2010244409.tif 000002
【特許請求の範囲】
【請求項１】
入力操作を検出する面状部材が、表裏両面にそれぞれ配設された板状の入力装置であって、
表面の面状部材が検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１方向への動作に対応付けられた、前記特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出手段と、
裏面の面状部材が検出した入力操作の動きを特定して、前記アプリケーションの前記第１方向とは異なる第２方向への動作に対応付けられた、前記裏面の面状部材における前記特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出手段と、を備えることを特徴とする入力装置。
【請求項２】
前記表面の面状部材にはＸ軸、Ｙ軸が設定されており、前記第１入力検出手段は、前記表面の面状部材が検出した入力操作の動きをＸＹ座標上の移動量及び移動方向として特定し、その特定したＸＹ座標上の移動量及び移動方向に対応する第１入力信号を生成し、
前記第２入力検出手段は、前記裏面の面状部材が検出した入力操作の動きを前記Ｘ軸、前記Ｙ軸と共に３次元を規定するＺ軸上の移動量及び移動方向として特定し、その特定したＺ軸上の移動量及び移動方向に対応する前記第２入力信号を生成することを特徴とする請求項１に記載の入力装置。
【請求項３】
前記第１入力検出手段は、前記特定したＸＹ座標上の移動量及び移動方向と、ＸＹＺ軸により規定される３次元の動作を実行する前記アプリケーションが動作する動作実行装置にＸＹ軸により規定される前記第１方向の動作を実行させる命令とが対応付けられた第１命令対応情報に基づいて、前記特定したＸＹ座標上の移動量及び移動方向が対応付けられた命令を決定し、該命令を示す前記第１入力信号を前記動作実行装置に送信し、
前記第２入力検出手段は、前記特定したＺ軸上の移動量及び移動方向と、前記動作実行装置にＺ軸方向により規定される前記第２方向の動作を実行させる命令とが対応付けられた第２命令対応情報に基づいて、前記特定したＺ軸上の移動量及び移動方向が対応付けられた命令を決定し、該命令を示す前記第２入力信号を前記動作実行装置に送信することを特徴とする請求項２に記載の入力装置。
【請求項４】
前記表裏両面の面状部材のうち、少なくとも何れか一方の面状部材に画像を表示させる画像表示制御手段を備え、
前記第１命令対応情報及び前記第２命令対応情報は、前記画像に対応付けられていることを特徴とする請求項３に記載の入力装置。
【請求項５】
入力操作を検出する面状部材が、表裏両面にそれぞれ配設された板状の入力装置であって、
表面の面状部材が検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１の動作に対応付けられた、前記特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出手段と、
裏面の面状部材が検出した入力操作の動きを特定して、または、裏面の面状部材に対する検出から非検出への入力操作の動きを特定して、前記アプリケーションの前記第１の動作に付随する第２の動作に対応付けられた、前記裏面の面状部材における前記特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出手段と、を備えることを特徴とする入力装置。
【請求項６】
入力操作を検出する面状部材が、表裏両面にそれぞれ配設された板状の入力装置の制御方法であって、
表面の面状部材が検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１方向への動作に対応付けられた、前記特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出ステップと、
裏面の面状部材が検出した入力操作の動きを特定して、前記アプリケーションの前記第１方向とは異なる第２方向への動作に対応付けられた、前記裏面の面状部材における前記特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出ステップと、を含むことを特徴とする入力装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二つの入力面から入力する入力装置、及び入力装置の制御方法に関する。
【背景技術】
【０００２】
近年、タッチパネル式の入力装置が、携帯電話機、ＰＤＡなどに代表されるモバイル機器（携帯端末）において広く普及している。その一例として、入力面に対して、指が接触していない状態から、接触している状態に変化したときに、接触した指の位置に応じた入力が行われる入力装置が知られている（例えば、特許文献１）。
【０００３】
また、単にタッチパネル式で入力を受け付けるのみならず、用途に応じて、より便利な入力が可能な入力装置が提案されている。例えば、携帯用端末機器において、ユーザは、表示画面上のアイコンに指を接触させて、次にアイコンを移動させたい方向にその指を動かすことにより、そのアイコンを表示画面中の好みの位置に移動させることができる。さらに、表示画面上のフォルダを指でダブルクリックすることにより、そのフォルダを開けることもできる（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１４１５１９号公報（平成２０年６月１９日公開）
【特許文献２】特開平１１−３９０９３号公報（平成１１年２月１２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の入力装置は、何れも一つの入力面から入力する方式（以下、一面入力式とする）であって、裏表両面に配設された二つの入力面から入力する方式（以下、両面入力式とする）の入力装置は、そもそも存在しなかった。
【０００６】
従って、ユーザは、両面入力式の入力装置によって実現される多彩で立体的な操作と、その優れた利便性及び操作性を、従来の一面入力式の入力装置では経験することができなかった。
【０００７】
さらに、従来の入力装置には次のような問題があった。つまり、一面入力式の入力装置では、ユーザが気付かないうちに意図しない操作が行われる可能性を排除できない。具体的には、ユーザの指がタッチパネル上のアイコンに無意識のうちに接触し、アイコンを表示画面上のどこか別の場所にドラッグしてしまうことがある。そのドラッグした先がゴミ箱フォルダであった場合には、そのアイコンは、ユーザの知らない間に消去されてしまうという事態に陥る。このように、従来の入力装置には、一つの入力面から入力を行うことによって生じる固有の問題もあった。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザにとって利便性及び操作性の高い入力装置、及び入力装置の制御方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の入力装置は、前記課題を解決するために、入力操作を検出する面状部材が、表裏両面にそれぞれ配設された板状の入力装置であって、表面の面状部材が検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１方向への動作に対応付けられた、前記特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出手段と、裏面の面状部材が検出した入力操作の動きを特定して、前記アプリケーションの前記第１方向とは異なる第２方向への動作に対応付けられた、前記裏面の面状部材における前記特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出手段と、を備えることを特徴としている。
【００１０】
また、本発明の入力装置の制御方法は、入力操作を検出する面状部材が、表裏両面にそれぞれ配設された板状の入力装置の制御方法であって、表面の面状部材が検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１方向への動作に対応付けられた、前記特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出ステップと、裏面の面状部材が検出した入力操作の動きを特定して、前記アプリケーションの前記第１方向とは異なる第２方向への動作に対応付けられた、前記裏面の面状部材における前記特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出ステップと、を含むことを特徴としている。
【００１１】
これにより、本発明に係る入力装置および入力装置の制御方法では、所定の動作を実行するアプリケーションの第１方向への動作に対応付けられた第１入力信号が第１入力検出手段によって、アプリケーションの第１方向とは異なる第２方向への動作に対応付けられた第２入力信号が第２入力検出手段によって、それぞれ生成される。そして、第１及び第２入力信号に従って、アプリケーションは、第１及び第２方向への動作が、別々に、あるいは、融合して実行される。
【００１２】
従って、表裏両面の面状部材が様々な入力操作の動きを検出することによって、従来の入力装置では実現できなかった多彩な操作が実現される。つまり、表面からの入力操作によるアプリケーションの第１方向への動作と、裏面からの入力操作によるアプリケーションの第２方向への動作とが融合されることにより、多彩な種々の操作が実現される。しかも、その第１及び第２方向への動作として様々な動作を割り当てておけば、さらに多彩な操作を実現しうる。加えて、入力装置は板状であるため、ユーザは、その裏表両面を指で挟持するようにして上記多彩な操作を容易に体感することができる。
【００１３】
このように、本発明に係る入力装置および入力装置の制御方法は、優れた操作性及び利便性をユーザに提供することができる。
【００１４】
なお、動作実行装置は、１つであっても複数であってもよく、また入力装置と一体に構成されていてもよく、さらに入力装置から物理的に離れた位置に存在していてもよい。
【００１５】
さらに、本発明に係る入力装置では、前記表面の面状部材にはＸ軸、Ｙ軸が設定されており、前記第１入力検出手段は、前記表面の面状部材が検出した入力操作の動きをＸＹ座標上の移動量及び移動方向として特定し、その特定したＸＹ座標上の移動量及び移動方向に対応する第１入力信号を生成し、前記第２入力検出手段は、前記裏面の面状部材が検出した入力操作の動きを前記Ｘ軸、前記Ｙ軸と共に３次元を規定するＺ軸上の移動量及び移動方向として特定し、その特定したＺ軸上の移動量及び移動方向に対応する前記第２入力信号を生成する構成としてもよい。
【００１６】
上述したように、本発明に係る入力装置は、表裏両面の面状部材が入力操作の動きを検出することによって、従来の入力装置では実現できなかった多彩な操作が実現される。加えて、第１入力信号は、前記第１入力検出手段がＸＹ座標上の移動量及び移動方向として特定した、前記表面の面状部材が検出した入力操作の動きに対応する信号である。また、第２入力信号は、前記第２入力検出手段がＺ軸上の移動量及び移動方向として特定した、前記裏面の面状部材が検出した入力操作の動きに対応する信号である。
【００１７】
従って、表裏両面の面状部材が様々な入力操作の動きを検出することによって、従来の入力装置では実現できなかった多彩な３次元操作を実現する第１及び第２入力信号が生成される。そして、第１及び第２入力信号に基づいて、アプリケーションは、第１及び第２方向への動作が、別々に、あるいは、融合して実行される。
【００１８】
このように、表裏両面の面状部材が様々な入力操作の動きを検出することによって、従来の入力装置では実現できなかった多彩な３次元操作が実現される。それゆえ、優れた利便性及び操作性を有する入力装置がユーザに提供される。また、ユーザは、自身の操作によって実現される３次元動作を想像したうえで、表裏両面の面状部材に当該３次元動作をもたらす所定の入力操作の動きを検出させることができるため、感覚的に優れた操作を体感することができる。
【００１９】
さらに、本発明に係る入力装置では、前記の構成において、前記第１入力検出手段は、前記特定したＸＹ座標上の移動量及び移動方向と、ＸＹＺ軸により規定される３次元の動作を実行する前記アプリケーションが動作する前記動作実行装置にＸＹ軸により規定される前記第１方向の動作を実行させる命令とが対応付けられた第１命令対応情報に基づいて、前記特定したＸＹ座標上の移動量及び移動方向が対応付けられた命令を決定し、該命令を示す前記第１入力信号を前記動作実行装置に送信し、前記第２入力検出手段は、前記特定したＺ軸上の移動量及び移動方向と、前記動作実行装置にＺ軸方向により規定される前記第２方向の動作を実行させる命令とが対応付けられた第２命令対応情報に基づいて、前記特定したＺ軸上の移動量及び移動方向が対応付けられた命令を決定し、該命令を示す前記第２入力信号を前記動作実行装置に送信する構成としてもよい。
【００２０】
前記構成によれば、本発明に係る入力装置では、前記第１方向は、ＸＹＺ軸により規定される３次元の動作を実行する前記アプリケーションにおいてＸＹ軸により規定される方向である。そして、前記第１入力検出手段が特定したＸＹ座標上の移動量及び移動方向と前記第１方向の動作を実行させる命令とが対応付けられた第１命令対応情報に基づいて、前記第１入力検出手段は、前記特定したＸＹ座標上の移動量及び移動方向が対応付けられた命令を決定する。
【００２１】
従って、内部あるいは外部に設けられた記録手段から第１対応命令情報を読み出すことにより、前記第１入力検出手段は、前記特定したＸＹ座標上の移動量及び移動方向が対応付けられた命令を容易に決定することができる。そして、前記第１入力検出手段は、該命令を示す前記第１入力信号を前記動作実行装置に送信する。
【００２２】
また、前記第２方向は、前記アプリケーションにおいてＺ軸方向により規定される方向である。そして、前記第２入力検出手段が特定したＺ軸上の移動量及び移動方向と前記第２方向の動作を実行させる命令とが対応付けられた第２命令対応情報に基づいて、前記第２入力検出手段は、前記特定したＺ軸上の移動量及び移動方向が対応付けられた命令を決定する。
【００２３】
従って、前記記録手段から第２対応命令情報を読み出すことにより、前記第２入力検出手段は、前記特定したＺ軸上の移動量及び移動方向が対応付けられた命令を容易に決定することができる。そして、前記第２入力検出手段は、該命令を示す前記第２入力信号を前記動作実行装置に送信する。
【００２４】
このように、前記第１及び第２入力検出手段は、前記第１及び第２命令対応情報に基づいて、ＸＹ座標上及びＺ軸上の移動量及び移動方向が対応付けられた命令を容易に決定することができる。さらに、アプリケーションごとに前記第１及び第２命令対応情報を対応付けて前記記録手段に記録させておけば、種々のアプリケーションに対して、迅速かつ確実に、多彩な３次元操作をユーザに体感させることができる。
【００２５】
さらに、本発明に係る入力装置では、前記の構成において、前記表裏両面の面状部材のうち、少なくとも何れか一方の面状部材に画像を表示させる画像表示制御手段を備え、前記第１命令対応情報及び前記第２命令対応情報は、前記画像に対応付けられている構成としてもよい。
【００２６】
前記の構成によれば、本発明に係る入力装置では、画像表示制御手段が少なくとも何れか一方の面状部材に画像を表示させる。そして、その画像は、第１及び第２命令対応情報に対応付けられている。
【００２７】
つまり、画像表示制御手段が画像を表示することにより、操作対象がユーザに明示される。そして、前記第１及び第２命令対応情報は前記画像に対応付けられているため、ユーザは、その画像を視認したうえで、その画像に対して所望の動作をもたらす入力操作の動きを表裏両面の面状部材に検出させればよい。
【００２８】
従って、画像を視認したうえで所望の動作を実行させることができるため、ユーザにとって感覚的に操作しやすく、利便性に富んだ入力装置が実現する。
【００２９】
本発明の入力装置は、前記課題を解決するために、入力操作を検出する面状部材が、表裏両面にそれぞれ配設された板状の入力装置であって、表面の面状部材が検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１の動作に対応付けられた、前記特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出手段と、裏面の面状部材が検出した入力操作の動きを特定して、または、裏面の面状部材に対する検出から非検出への入力操作の動きを特定して、前記アプリケーションの前記第１の動作に付随する第２の動作に対応付けられた、前記裏面の面状部材における前記特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出手段と、を備えることを特徴としている。
【００３０】
これにより、本発明に係る入力装置では、所定の動作を実行するアプリケーションの第１の動作に対応付けられた第１入力信号が第１入力検出手段によって、前記第１の動作に付随する第２の動作に対応付けられた第２入力信号が第２入力検出手段によって、それぞれ生成される。そして、その第２入力信号は、裏面の面状部材が検出した入力操作の動き、または、裏面の面状部材に対する検出から非検出への入力操作の動きが第２入力検出手段によって特定されることで生成される。
【００３１】
そこで、例えば裏面の面状部材が入力操作の動きを検出することにより、「確定」、「変換」といった動作が実行されるように割り当てられていたとする。あるいは、裏面の面状部材が検出していた入力操作の動きが非検出の状態に変化した場合に、それまで実行されていたアプリケーションの動作が「キャンセル（無効）」されるように割り当てられていたとする。このとき、ユーザは、「確定」、「変換」、「キャンセル（無効）」といった動作を実行したい場合には、裏面の面状部材に入力操作の動きを検出させる、あるいは、裏面の面状部材に検出から非検出への入力操作の動きを与えればよい。これにより、ユーザが所望するアプリケーションの上記各動作を実行することができる。
【００３２】
つまり、裏面の面状部材に対する入力操作の動きを上述したように割り当てておけば、ユーザは、所望のアプリケーションの動作を容易に実行することができる。加えて、入力装置は板状であるため、ユーザは、その裏表両面を指で挟持するようにして上記操作を行うことができる。
【００３３】
このように、本発明に係る入力装置は、優れた操作性及び利便性をユーザに提供することができる。
【００３４】
なお、動作実行装置は、１つであっても複数であってもよく、また入力装置と一体に構成されていてもよく、さらに入力装置から物理的に離れた位置に存在していてもよい。
【発明の効果】
【００３５】
本発明に係る入力装置は、以上のように、表面の面状部材が検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１方向への動作に対応付けられた、前記特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出手段と、裏面の面状部材が検出した入力操作の動きを特定して、前記アプリケーションの前記第１方向とは異なる第２方向への動作に対応付けられた、前記裏面の面状部材における前記特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出手段と、を備える。
【００３６】
本発明に係る入力装置は、以上のように、表面の面状部材が検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１の動作に対応付けられた、前記特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出手段と、裏面の面状部材が検出した入力操作の動きを特定して、または、裏面の面状部材に対する検出から非検出への入力操作の動きを特定して、前記アプリケーションの前記第１の動作に付随する第２の動作に対応付けられた、前記裏面の面状部材における前記特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出手段と、を備える。
【００３７】
また、本発明の入力装置の制御方法は、表面の面状部材が検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１方向への動作に対応付けられた、前記特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出ステップと、裏面の面状部材が検出した入力操作の動きを特定して、前記アプリケーションの前記第１方向とは異なる第２方向への動作に対応付けられた、前記裏面の面状部材における前記特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出ステップと、を含む。
【００３８】
それゆえ、二つの入力面から入力する、操作性及び利便性に優れた入力装置および入力装置の制御方法をユーザに提供することができる。
【発明を実施するための形態】
【００３９】
本実施の形態について図１〜図１１に基づいて説明すると以下の通りである。
【００４０】
本実施の形態に係るデータ表示／センサ装置１００（入力装置）は、概略的に言えば、第１表示／光センサ部３００Ａ（表面の面状部材）が検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１方向への動作に対応付けられた、前記特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出部８１０ａ（第１入力検出手段）と、第２表示／光センサ部３００Ｂ（裏面の面状部材）が検出した入力操作の動きを特定して、前記アプリケーションの第１方向とは異なる第２方向への動作に対応付けられた、第２表示／光センサ部３００Ｂにおける前記特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出部８１０ｂ（第２入力検出手段）と、を備える装置である。
【００４１】
そこで、まず、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。但し、データ表示／センサ装置１００は、必ずしもセンサ内蔵液晶パネル３０１を使用する必要はなく、他のタッチパネル（例えば抵抗膜方式）を使用する構成であってもよい。
【００４２】
（センサ内蔵液晶パネルの概要）
前記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００４３】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００４４】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００４５】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００４６】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００４７】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００４８】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００４９】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、前記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００５０】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、前記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００５１】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００５２】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００５３】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００５４】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００５５】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００５６】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００５７】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００５８】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００５９】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００６０】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００６１】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００６２】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００６３】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００６４】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００６５】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００６６】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００６７】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００６８】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００６９】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００７０】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００７１】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００７２】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００７３】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００７４】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００７５】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００７６】
なお、前記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００７７】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００７８】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００７９】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００８０】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００８１】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００８２】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００８３】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００８４】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、前記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００８５】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００８６】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００８７】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００８８】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。
【００８９】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、前記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００９０】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００９１】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００９２】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００９３】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００９４】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００９５】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００９６】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００９７】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【００９８】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【００９９】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１００】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１０１】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１０２】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１０３】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１０４】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１０５】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１０６】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、前記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【０１０７】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１０８】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１０９】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１１０】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１１１】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１１２】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１１３】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１１４】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１１５】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１１６】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）にｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１１７】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１１８】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１１９】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１２０】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１２１】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１２２】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１２３】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１２４】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１２５】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
〔実施の形態１〕
本発明の主な特徴は、データ表示／センサ装置１００では、第１表示／光センサ部３００Ａが検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１方向への動作に対応付けられた、前記特定した入力操作の動きに対応する第１入力信号を生成する第１入力検出部８１０ａと、第２表示／光センサ部３００Ｂが検出した入力操作の動きを特定して、前記アプリケーションの第１方向とは異なる第２方向への動作に対応付けられた、第２表示／光センサ部３００Ｂにおける前記特定した入力操作の動きに対応する第２入力信号を生成する第２入力検出部８１０ｂと、を備える点にある。
【０１２６】
これにより、データ表示／センサ装置１００では、前記アプリケーションの第１方向への動作に対応付けられた第１入力信号が第１入力検出部８１０ａによって、アプリケーションの第１方向とは異なる第２方向への動作に対応付けられた第２入力信号が第２入力検出部８１０ｂによって、それぞれ生成される。そして、第１及び第２入力信号に基づいて、アプリケーションは、第１及び第２方向への動作が、別々に、あるいは、融合して実行される。
【０１２７】
従って、表裏両面の面状部材が様々な入力操作の動きを検出することによって、従来の入力装置では実現できなかった多彩な操作が実現される。つまり、表面からの入力操作によるアプリケーションの第１方向への動作と、裏面からの入力操作によるアプリケーションの第２方向への動作とが融合されることにより、その多彩な操作が実現される。しかも、その第１及び第２方向への動作として種々の動作を割り当てておけば、さらに多彩な操作を実現しうる。加えて、入力装置は板状であるため、ユーザは、その裏表両面を指で挟持するようにして上記多彩な操作を容易に体感することができる。
【０１２８】
このように、データ表示／センサ装置１００は、優れた操作性及び利便性をユーザに提供することができる。
（データ表示／センサ装置１００の動作説明）
実施の形態１に係るデータ表示／センサ装置１００について、図１、図９〜図１１を参照して説明する。
【０１２９】
なお、最初に、データ表示／センサ装置１００が実行する動作の具体例を図９を参照して説明する。次に、データ表示／センサ装置１００の構成を図１、図１０を参照して説明する。そして、その動作を実現する処理の流れを図１１を参照して説明する。
【０１３０】
また、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａ、あるいは第２表示／光センサ部３００Ｂの何れに画像を表示させてもよいが、本実施の形態では、第１表示／光センサ部３００Ａに画像を表示するものとして説明する。なお、第１表示／光センサ部３００Ａは、図９において図面手前側に位置する。
（表示画像に対して実行される動作）
以下、図９の概要を説明する。
【０１３１】
図９（ａ）は、ある地域を上空から撮影した写真（以降、このように上空から撮影した写真を鳥瞰写真と称する）が第１表示／光センサ部３００Ａに表示された状態を示す図である。
【０１３２】
図９（ｂ）は、図９（ａ）で示される地域を中心とした周辺地域の鳥瞰写真が表示された状態を示す図であり、その鳥瞰写真は、図９（ａ）の時よりもさらに上空から当該地域を撮影した時の写真である。なお、図９（ａ）から図９（ｂ）への変化は、ユーザが、第２表示／光センサ部３００Ｂを人差し指でタッチして、その指が所定の方向（以下、Ａ方向）に一定量移動することによって得られる。
【０１３３】
図９（ｃ）は、図９（ｂ）で示される地域を中心とした周辺地域の鳥瞰写真が表示された状態を示す図であり、その鳥瞰写真は、図９（ｂ）の時よりもさらに上空から当該地域を撮影した時の写真である。なお、図９（ｂ）から図９（ｃ）への変化は、ユーザが、第２表示／光センサ部３００Ｂを人差し指でタッチして、その指がＡ方向に一定量移動することによって得られる。
【０１３４】
図９（ｄ）は、図９（ｃ）で示される地域とは異なる地域が中心位置に移った鳥瞰写真が表示された状態を示す図である。図９（ｃ）から図９（ｄ）への変化は、ユーザが、第１表示／光センサ部３００Ａを親指でタッチして、その指を所定の方向（以下、Ｂ方向）に一定量移動させると共に、第２表示／光センサ部３００Ｂを人差し指でタッチして、その指をＡ方向に一定量移動させることによって得られる。なお、第１表示／光センサ部３００Ａをタッチした親指がＢ方向に動くことによって、図９（ａ）〜図９（ｃ）において表示画面の中心位置にあった地域とは異なる地域が表示画面の中心に移動する。
【０１３５】
図９（ｅ）は、図９（ｄ）の中心地域を中心とした周辺地域の鳥瞰写真が表示された状態を示す図であり、その鳥瞰写真は、図９（ｄ）よりも上空から当該地域を撮影した時の写真である。なお、図９（ｄ）から図９（ｅ）への変化は、ユーザが、第２表示／光センサ部３００Ｂを人差し指でタッチして、その指がＡ方向に一定量移動することによって得られる。
【０１３６】
図９（ｆ）は、図９（ｅ）で示される地域を中心とした周辺地域の鳥瞰写真が表示された状態を示す図であり、その鳥瞰写真は、図９（ｅ）よりも低空から当該地域を撮影した時の写真である。なお、図９（ｅ）から図９（ｆ）への変化は、ユーザが、第２表示／光センサ部３００Ｂを人差し指でタッチして、その指が所定の方向（以下、Ａ’方向と称する。なお、Ａ’方向は、Ａ方向とは逆の方向である）に一定量移動することによって得られる。
【０１３７】
図９（ｇ）は、図９（ｆ）で示される地域を中心とした周辺地域の鳥瞰写真が表示された状態を示す図であり、その鳥瞰写真は、図９（ｆ）よりも低空から当該地域を撮影した時の写真である。なお、図９（ｆ）から図９（ｅ）への変化は、ユーザが、第２表示／光センサ部３００Ｂを人差し指でタッチして、その指がＡ’方向に一定量移動することによって得られる。
【０１３８】
ここで、第１表示／光センサ部３００ＡにＸ軸、Ｙ軸が設定されているとすれば、図９（ｃ）から図９（ｄ）への変化は、ＸＹ座標によって規定される方向（第１方向）における変化である。また、第２表示／光センサ部３００ＢにＸ軸、Ｙ軸と共に３次元を規定するＺ軸が設定されているとすれば、図９（ａ）から図９（ｂ）への変化は、Ｚ軸方向（第２方向）における変化である。つまり、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検出した入力操作の動きによって、互いに異なる方向である第１及び第２方向への動作が実現される。
（表示画像に対して実行される動作の具体的説明）
次に、図９（ａ）〜図９（ｆ）を参照して説明した上記各動作のうち、代表的な動作をより具体的に説明する。
【０１３９】
まず、図９（ａ）から図９（ｂ）へ表示写真が変化する動作を説明する。図９(ａ)に示すように、第１表示／光センサ部３００Ａにはある地域の鳥瞰写真が表示されている。この状態で、第２表示／光センサ部３００Ｂは、人差し指の像を検知すると共に、その指の像がＡ方向（説明の便宜上、図面上向きとする）に一定量移動したことを検知する。この動作により、第１表示／光センサ部３００Ａには、さらに上空から当該地域を撮影した時の写真が表示される（図９（ｂ））。
【０１４０】
つまり、第２表示／光センサ部３００Ｂが、人差し指の像がＡ方向に移動したことを検知して、それにより、第１表示／光センサ部３００Ａに表示される写真が図９（ａ）よりも上空から当該地域を撮影した時の写真として表示される（以降、このことを地図の縮小と称する）。なお、地図が縮小する割合は、Ａ方向に移動した像の移動量により決まり、像の移動量が多いほど縮小率が高くなり、像の移動量が少ないほど縮小率が小さくなる。
【０１４１】
上記動作とは逆に、図９（ｅ）から図９（ｆ）へ表示写真が変化する動作は、第２表示／光センサ部３００Ｂが、人差し指の像を検知すると共に、その指の像がＡ’方向（図面下向きとする）に一定量移動したことを検知することによって実現される。
【０１４２】
つまり、第２表示／光センサ部３００Ｂが、人差し指の像がＡ’方向に移動したことを検知して、それにより、第１表示／光センサ部３００Ａに表示される写真が図９（ｅ）よりも低空から当該地域を撮影した時の写真として表示される（以降、このことを地図の拡大と称する）。なお、地図が拡大する割合は、Ａ’方向に移動した像の移動量により決まり、像の移動量が多いほど拡大率が高くなり、像の移動量が少ないほど拡大率が小さくなる。
【０１４３】
続いて、図９（ｃ）から図９（ｄ）へ表示写真が変化する動作のうち、第１表示／光センサ部３００Ａの中心位置に表示される地域が移動する動作について説明する。
【０１４４】
図９(ｃ)に示すように、第１表示／光センサ部３００Ａにはある地域の鳥瞰写真が表示されている。この状態で、第１表示／光センサ部３００Ａは、親指の像を検知すると共に、その指の像がＢ方向（説明の便宜上、図面左方向とする）に一定量移動したことを検知する。
【０１４５】
この動作により、第１表示／光センサ部３００Ａには、図９（ｃ）で示される地域とは異なる地域が中心位置に移った鳥瞰写真が表示される（図９（ｄ））。つまり、第１表示／光センサ部３００Ａが、親指の像がＢ方向に移動したことを検知し、これにより、第１表示／光センサ部３００Ａに表示される写真の中心地域が、図９（ｃ）では画面東側に位置していた地域が中心位置に移動する（以降、このことを地図の移動と称する。）。
【０１４６】
なお、地図の移動量は、Ｂ方向に移動した像の移動量により決まり、像の移動量が多いほど移動量は増え、像の移動量が少ないほど移動量は小さくなる。また、Ｂ方向は東西南北何れの方向でもよく、その親指の動きにより、親指を動かした方向とは逆の方向に位置していた、第１表示／光センサ部３００Ａに表示されていなかった地域が、第１表示／光センサ部３００Ａに表示されるようになる。
【０１４７】
なお、上記説明では親指及び人差し指により上記各動作を実現しているが、どの指を使用してもよい。つまり、何れかの指を使って、表示／光センサ部３００に指の像の動きを検知させればよく、そのことが、第１表示／光センサ部３００Ａに表示された地図に対して所定の動作を実行する前提となる。また、表示／光センサ部３００による指の像の検知は、第１表示／光センサ部３００Ａ及び／又は第２表示／光センサ部３００Ｂを実際に指が触る（タッチする）必要はなく、表示／光センサ部３００がその指の像を検知すればよい。但し、以降の説明では、説明の便宜上、上面（第１表示／光センサ部３００Ａ）側から親指で、下面（第２表示／光センサ部３００Ｂ）側から人差し指で、表示／光センサ部３００をタッチするものとして説明する。
【０１４８】
さらに、第１表示／光センサ部３００Ａに表示される画像は地図であるとして説明しているが、必ずしも地図である必要はなく、ＸＹＺ軸により規定される３次元の動作を実行するアプリケーションが機能することによって表示される他の画像でもよい。但し、本実施の形態では、第１表示／光センサ部３００Ａに表示される画像は地図であるものとして説明する。
【０１４９】
また、親指と人差し指の動きの速度については特に言及しないが、その指の像の動きに対応付けられた動作は、指の動きの速度に応じて実行される。
【０１５０】
以上、図９（ａ）〜図９（ｇ）を参照して、指の像の動きに対応して実行される種々の動作の具体例を説明した。なお、前記説明では、親指と人差し指の移動方向、及び移動量と実行される動作とを対応付けて説明したが、実行される動作は、前記の各動作（移動、拡大・縮小）に限定されない。つまり、指の像の動きと実行される動作とを対応付けて後述する指−命令対応情報テーブルに予め登録しておけば、種々の動作を実現することができる。
【０１５１】
ここで、第２表示／光センサ部３００Ｂが検知する指の像の移動方向であるが、例えば次のような方法で特定することができる。つまり、第２表示／光センサ部３００Ｂに基準軸（Ｘ・Ｙ軸）を定めておき、その第２表示／光センサ部３００Ｂが検知する像が、Ｙ軸の正の方向に移動すれば表示画像が拡大し、Ｙ軸の負の方向に移動すれば表示画像が縮小、というように決めておけばよい。このようにして、第２表示／光センサ部３００Ｂが検知する指の像の移動方向が特定される。
【０１５２】
また、第２表示／光センサ部３００Ｂが検知する指の像の移動量は、指の像を上基準座標（Ｘ・Ｙ）により特定することにより、その座標の変化から、指の像の移動量を特定することができる。そして、その移動量に応じて、表示画像の拡大・縮小を動作させればよい。
【０１５３】
また、前述したように、実行される動作は、前記の各動作（移動、拡大・縮小）に限定されない。そして、その種々の実行される動作は、アプリケーション、モード等の動作する状態（場面）に応じて異なるようにすることも可能である。
【０１５４】
（データ表示／センサ装置の要部説明）
次に、図１を参照しながら、データ表示／センサ装置１００の詳細な構成を説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、画像の表示および画像の検知を行うにあたり、主制御部８００の入力インターフェース制御部８０５が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０１５５】
図１は、データ表示／センサ装置１００の要部構成を表すブロック図である。図示のように、主制御部８００は、入力インターフェース制御部８０５と、アプリケーション実行部８５０（動作実行装置）と、を備える。また、入力インターフェース制御部８０５は、入力検出部８１０と、画像表示制御部８６０（画像表示制御手段）と、を備える。
【０１５６】
入力検出部８１０は、第１入力検出部８１０ａと第２入力検出部８１０ｂとを備える。第１入力検出部８１０ａは、第１表示／光センサ部３００Ａが指の像を検知したとき、座標データ、全体画像データ、部分画像データをデータ処理部７００から取得する。そして、第１表示／光センサ部３００ＡにはＸ軸、Ｙ軸が設定されており（図７等参照）、第１入力検出部８１０ａは、第１表示／光センサ部３００Ａが検知した指の像の動きをＸＹ座標により特定し、そのＸＹ座標に対応する第１入力信号を生成する。そして、第１入力検出部８１０ａは、その第１入力信号をアプリケーション実行部８５０に出力する。
【０１５７】
なお、第１入力検出部８１０ａは、そのＸＹ座標を示す情報をそのまま第１入力信号としてアプリケーション実行部８５０に出力してもよい。あるいは、第１入力検出部８１０ａは、後述する第１指−命令対応情報（第１命令対応情報）に基づいて、特定したＸＹ座標が対応付けられた命令を示す第１入力信号をアプリケーション実行部８５０に出力してもよい。
【０１５８】
第２入力検出部８１０ｂは、第２表示／光センサ部３００Ｂが指の像を検知したとき、座標データ、全体画像データ、部分画像データをデータ処理部７００から取得する。そして、第２入力検出部８１０ｂは、第２表示／光センサ部３００Ｂが検知した指の像の動きを前記Ｘ軸・Ｙ軸と共に３次元を規定するＺ軸上の移動量及び移動方向として特定し、その特定したＺ軸上の移動量及び移動方向に対応する第２入力信号を生成する。そして、第２入力検出部８１０ｂは、その第２入力信号をアプリケーション実行部８５０に出力する。
【０１５９】
なお、第２入力検出部８１０ｂは、第２表示／光センサ部３００Ｂが検知した指の像の移動量及び移動方向をそのまま第２入力信号としてアプリケーション実行部８５０に出力してもよい。あるいは、第２入力検出部８１０ｂは、後述する第２指−命令対応情報（第２命令対応情報）に基づいて、特定したＺ軸上の移動量及び移動方向が対応付けられた命令を示す第２入力信号をアプリケーション実行部８５０に出力してもよい。
【０１６０】
ここで、入力検出部８１０（第１入力検出部８１０ａと第２入力検出部８１０ｂとを区別する必要がない場合には、以降の説明では、入力検出部８１０と総称する）は、座標データ、全体画像データ、部分画像データをすべて取得する必要はなく、上記各データを適宜選択して取得する構成であってもよい。
【０１６１】
また、図１では、データ処理部７００から入力検出部８１０へ送信される座標データ、全体画像データ、部分画像データが実線及び破線で記載されている。これは、第１入力検出部８１０ａが第１表示／光センサ部３００Ａから、及び第２入力検出部８１０ｂが第２表示／光センサ部３００Ｂから、それぞれ座標データ、全体画像データ、部分画像データを取得する構成を示すものであり、前者を実線で、後者を破線で示している。
【０１６２】
次に、入力検出部８１０が記憶部９０１から読み出す第１指−命令対応情報、及び第２指−命令対応情報について、図１０を参照して説明する。なお、図１では、記憶部９０１はデータ表示／センサ装置１００の外部に設けられている。しかしながら、記憶部９０１はデータ表示／センサ装置１００の内部に設けられる構成であってもよい。
【０１６３】
図１０は、アプリケーションが地図である場合における指−命令対応情報の一例を示す図であり、図１０（ａ）は第１指−命令対応情報を、図１０（ｂ）は第２指−命令対応情報を示すテーブルである。
【０１６４】
まず、図１０（ａ）について説明する。図１０（ａ）は、第１指−命令対応情報を示すテーブルであり、２つの項目（ＸＹ座標、命令）からなる。つまり、第１表示／光センサ部３００ＡにはＸ軸、Ｙ軸が設定されており、第１入力検出部８１０ａは、第１表示／光センサ部３００Ａが検知した指の像の動きをＸＹ座標により特定する。そして、第１入力検出部８１０ａは、その特定したＸＹ座標から、指の像の動きを移動ベクトルとして算出する。具体的には、図７を参照して説明したように、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）で表され、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）として表される。従って、第１入力検出部８１０ａは、親指の像の移動前後における上記座標データを取得して、その座標データの差分を計算することにより、親指の像の移動ベクトルを算出することができる。
【０１６５】
そして、第１入力検出部８１０ａは、第１指−命令対応情報において、ＸＹ座標に対応する “命令”項目を読み出す。すると、対応する命令は、「移動ベクトルに従って地図を移動させる」であるため、第１入力検出部８１０ａは、ＸＹ座標が対応付けられた当該命令を決定し、その命令を示す第１入力信号をアプリケーション実行部８５０に送信する。
【０１６６】
一例として、表示画面の中心位置にあった地域とは異なる地域が表示画面の中心に移動する図９（ｃ）から図９（ｄ）への変化の場合について説明する。このとき、ユーザは、第１表示／光センサ部３００Ａを親指でタッチして、その指を所定の方向（以下、Ｂ方向）に一定量移動させている。第１入力検出部８１０ａは、その指の像の動きから当該像の動きに係るＸＹ座標を取得し、その移動ベクトルを算出する。そして、第１入力検出部８１０ａは、その移動ベクトルに従って地図を移動させる命令を示す第１入力信号を生成し、その第１入力信号をアプリケーション実行部８５０に送信する。
【０１６７】
このようにして、第１入力検出部８１０ａは、第１指−命令対応情報に基づいて、特定したＸＹ座標が対応付けられた命令を決定し、該命令を示す第１入力信号をアプリケーション実行部８５０に送信する。
【０１６８】
次に、図１０（ｂ）について説明する。図１０（ｂ）は、第２指−命令対応情報を示すテーブルであり、２つの項目（Ｚ軸上の移動量及び移動方向、命令）からなる。つまり、第２表示／光センサ部３００Ｂが検知した指の像の動きは前記Ｘ軸、Ｙ軸と共に３次元を規定するＺ軸上の移動量及び移動方向として特定されるため、第２入力検出部８１０ｂは、その特定したＺ軸上の移動量及び移動方向から、Ｚ軸上の移動量、及びＺ軸上の移動方向（＋／−）を算出する。
【０１６９】
具体的には、図７を参照して説明したように、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）で表され、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）として表される。従って、第２入力検出部８１０ｂは、人差し指の像の移動前後における上記座標データを取得して、その座標データに基づいて、人差し指の像の移動量を算出することができる。
【０１７０】
また、移動方向については、第２表示／光センサ部３００Ｂに基準軸（Ｘ・Ｙ軸）を定めておき、第２表示／光センサ部３００Ｂが検知する指の像が、Ｙ軸の正の方向に移動すれば“＋”とし、Ｙ軸の負の方向に移動すれば“−”とする。これにより、第２表示／光センサ部３００Ｂが検知する指の像の移動方向を“＋”、“−”により特定することができる。
【０１７１】
そして、第２入力検出部８１０ｂは、上記方法により取得した移動量及び移動方向を、第１表示／光センサ部３００Ａに設定されたＸ軸、Ｙ軸と共に３次元を規定するＺ軸上の移動量及び移動方向として特定する。
【０１７２】
続いて、第２入力検出部８１０ｂは、第２指−命令対応情報において、Ｚ軸上の移動方向に対応する “命令”項目を読み出す。すると、対応する命令は、「“＋”であれば地図を拡大させる／“−”であれば地図を縮小させる」であるため、第２入力検出部８１０ｂは、Ｚ軸上の移動方向に対応付けられた当該命令を決定する。同時に、第２入力検出部８１０ｂは、第２指−命令対応情報において、Ｚ軸上の移動量に対応する “命令”項目を読み出す。すると、対応する命令は、「移動量に比例した割合で拡大・縮小を行う」であるため、第２入力検出部８１０ｂは、Ｚ軸上の移動量に対応付けられた当該命令を決定する。そして、第２入力検出部８１０ｂは、上記２つの命令を示す第２入力信号をアプリケーション実行部８５０に送信する。
【０１７３】
ここで、「移動量に比例した割合で」とは、例えば画面のサイズに応じて移動量を１０段階に区分し、段階１の移動量では５％の拡大・縮小を、段階２の移動量では１０％の拡大・縮小をさせるようにすれば、算出した移動量に比例した割合で地図を拡大・縮小させることができる。なお、ここで説明した１０段階は、あくまで一例であって、より多くの段階に分けてよい。段階が多いほど、より正確に移動量に比例した割合で地図の拡大・縮小が実行されるためである。あるいは、移動量を段階分けすることなく、移動量に比例した割合だけ、地図を拡大・縮小する構成でもよい。
【０１７４】
このように、記憶部９０１に記憶された第１指−命令対応情報及び第２指−命令対応情報を読み出すようにすれば、入力検出部８１０は、特定したＺ軸上の移動量及び移動方向が対応付けられた命令を決定し、該命令を示す第１入力信号及び第２入力信号をアプリケーション実行部８５０に送信することができる。
【０１７５】
なお、上記説明では、アプリケーションが地図である場合を扱った。しかしながら、アプリケーションは地図に限定されない。また、実行されるアプリケーション、モード等の動作する状態（場面）ごとに、第１指−命令対応情報及び第２指−命令対応情報を予め準備し、記憶部９０１に登録しておいてよい。
【０１７６】
アプリケーション実行部８５０は、入力検出部８１０から第１入力信号及び第２入力信号を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部８５０は、その動作の結果を示す情報である動作結果情報を画像表示制御部８６０に送信する。
【０１７７】
例えば、第１表示／光センサ部３００Ａが検知した指の像がＡ点からＢ点に移動し、その指の像の動きに対応付けられた命令が、「指の像がＡ点からＢ点へ移動した時の移動ベクトルに従って地図を移動させる」である場合、アプリケーション実行部８５０は、地図を移動ベクトルに従って移動させる処理を行う。そして、アプリケーション実行部８５０は、その動作の結果を示す動作結果情報を画像表示制御部８６０に送信する。
【０１７８】
次に、アプリケーション実行部８５０は、入力検出部８１０から第１入力信号および第２入力信号を受信して、各入力信号によって示される動作を実行し、さらに、その動作の結果を示す動作結果情報を画像表示制御部８６０に送信する。
【０１７９】
なお、図１において、アプリケーション実行部８５０は主制御部８００に含まれる構成である。しかしながら、主制御部８００の外部にアプリケーション実行部８５０を設けて、外部通信部９０７を介して、所定の動作を実行する構成としてもよい。また、アプリケーション実行部８５０は、１または複数のアプリケーションを有してよい。
【０１８０】
画像表示制御部８６０は、アプリケーション実行部８５０から動作結果情報を受信すると、データ処理部７００に表示データを送信する。その表示データは、アプリケーション実行部８５０によって実行された動作結果を第１表示／光センサ部３００Ａに表示するようデータ処理部７００に促すものである。
【０１８１】
従って、「第１表示／光センサ部３００Ａに表示された地図を２０％拡大させる」という動作がアプリケーション実行部８５０によって実行された場合、画像表示制御部８６０は、データ処理部７００にそのことを示す表示データを送信する。そして、その結果、第１表示／光センサ部３００Ａに動作結果が表示される。つまり、地図が２０％拡大した様子が第１表示／光センサ部３００Ａに表示される。
【０１８２】
最後に、入力検出部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂごとに、指の像の全体画像データ、部分画像データ、及び座標データを送信するようデータ処理部７００に要求している。これは、主制御部８００で実行されるアプリケーションプログラムが、指の像の全体画像データ、部分画像データ、及び座標データを第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂごとに送信するようデータ処理部７００を制御することによる。
【０１８３】
（フローチャート説明）
次に、図１１を参照して、データ表示／センサ装置１００の処理の流れ、及び、入力インターフェース制御部８０５からデータ処理部７００に送信されるコマンドの詳細について説明する。
【０１８４】
図１１は、データ表示／センサ装置１００の処理の流れを表すフローチャートである。
【０１８５】
まず、データ表示／センサ装置１００の電源がオフの状態にあるとき、ユーザが電源スイッチ９０５を押下することにより、データ表示／センサ装置１００は電源オンとなる（Ｓ１１）。
【０１８６】
そして、ステップＳ１３では、ユーザが電源スイッチ９０５を押下することにより、表示／光センサ部３００に画像が表示される。なお、当該画像は、第１表示／光センサ部３００Ａに表示されるものとする。そして、この状態で、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは指の像を検知するまで待機する。
【０１８７】
ここで、第１表示／光センサ部３００Ａに画像を表示させる場合は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、第１表示／光センサ部３００Ａと併せて第２表示／光センサ部３００Ｂにも画像を表示させる場合には、「表示パネル」フィールドの値として両画面（“011”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。ここでは、第１表示／光センサ部３００Ａのみに画像を表示させるため、「表示パネル」フィールドの値として上画面（"001"）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０１８８】
また、この段階では、表示／光センサ部３００は近傍の像を検知可能な状態にあるものとする。前記検知を行うために、「データ取得タイミング」フィールドに、“イベント”を指定（“01”）し、「データ種別」フィールドに“座標”および“全体画像”の両方を指定（“101”を指定）したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、“座標”または“全体画像”のみを指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力されてもよい。
【０１８９】
さらに、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにおいて前記検知を行うために、「スキャンパネル」フィールドに両方の表示／光センサ部３００を指定（“011”）したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０１９０】
これにより、センサ内蔵液晶パネル３０１が近傍の像を検知した場合に、入力検出部８１０は、データ処理部７００から座標データ、全体画像データ、部分画像データを取得することができる。
【０１９１】
つまり、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにユーザの指がタッチしたとき、光センサ回路３２が、タッチした指の影像および反射像の少なくとも何れかを検知する。その結果、データ処理部７００がセンサ制御部６０２から取得する画像データに変化が生じる。
【０１９２】
このようにして、入力検出部８１０は、前記画像データに変化が生じた際にデータ処理部７００から出力されてくる、座標データ、全体画像データ、部分画像データを取得することにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、それぞれ指の像を検知したことを認識できる。
【０１９３】
そして、ステップＳ１５では、第１表示／光センサ部３００Ａが親指の像を検知し、座標データ、全体画像データ、部分画像データがデータ処理部７００から第１入力検出部８１０ａに出力される。なお、図１１では、便宜のため、第１表示／光センサ部３００Ａを「Ａ」と称し、第２表示／光センサ部３００Ｂを「Ｂ」と称している。
【０１９４】
続いて、ステップＳ１７では、第１入力検出部８１０ａが第１入力信号を生成する。なお、第１表示／光センサ部３００ＡにはＸ軸、Ｙ軸が設定されており、第１入力検出部８１０ａは、第１表示／光センサ部３００Ａが検知した指の像の動きをＸＹ座標により特定し、そのＸＹ座標に対応するように第１入力信号を生成する。そして、第１入力検出部８１０ａは、生成した第１入力信号をアプリケーション実行部８５０に出力する。
【０１９５】
同様に、ステップＳ１９では、第２表示／光センサ部３００Ｂが人差し指の像を検知し、座標データ、全体画像データ、部分画像データがデータ処理部７００から第２入力検出部８１０ｂに出力される。
【０１９６】
続いて、ステップＳ２１では、第２入力検出部８１０ｂが第２入力信号を生成する。なお、第２入力検出部８１０ｂは、第２表示／光センサ部３００Ｂが検知した指の像の動きを前記Ｘ軸、前記Ｙ軸と共に３次元を規定するＺ軸上の移動量及び移動方向として特定し、その特定したＺ軸上の移動量及び移動方向に対応するように第２入力信号を生成する。そして、第２入力検出部８１０ｂは、生成した第２入力信号をアプリケーション実行部８５０に出力する。
【０１９７】
続いて、ステップＳ２５では、アプリケーション実行部８５０が、入力検出部８１０から第１入力信号及び／又は第２入力信号を受信して、各入力信号によって示される動作を実行する。そして、アプリケーション実行部８５０は、その動作の結果を示す情報である動作結果情報を画像表示制御部８６０に出力する。
【０１９８】
そして、ステップＳ２７では、画像表示制御部８６０が、アプリケーション実行部８５０から動作結果情報を受信して、データ処理部７００に表示データを送信する。その表示データは、アプリケーション実行部８５０によって実行された動作結果を第１表示／光センサ部３００Ａに表示するようデータ処理部７００に促すものである。その結果、第１表示／光センサ部３００Ａには、アプリケーション実行部８５０が実行した動作結果が表示される。
【０１９９】
このとき、第１表示／光センサ部３００Ａに画像を表示させる場合は、「表示パネル」フィールドの値として上画面（"001"）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、第１表示／光センサ部３００Ａと併せて第２表示／光センサ部３００Ｂにも画像を表示させる場合には、「表示パネル」フィールドの値として両画面（"011"）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。ここでは、第１表示／光センサ部３００Ａのみに画像を表示させるため、「表示パネル」フィールドの値として上画面（"001"）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２００】
ここで、前記各ステップ（ステップＳ１３〜ステップＳ２７）の処理の流れを図９（ｃ）から図９（ｄ）への動作に当てはめて説明する。
【０２０１】
図９（ｃ）では、図９（ｂ）で示される地域を中心とした周辺地域の鳥瞰写真が第１表示／光センサ部３００Ａに表示されている。これは、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力された結果、第１表示／光センサ部３００Ａに当該鳥瞰写真が表示されたものである（ステップＳ１３）。
【０２０２】
なお、既にこの段階で、「データ取得タイミング」フィールドに、“イベント”を指定（“01”）し、「データ種別」フィールドに“座標”および“全体画像”の両方を指定（“101”を指定）したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力され、表示／光センサ部３００は近傍の像を検知可能な状態にあるものとする。なお、“座標”または“全体画像”のみを指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力されてもよい。
【０２０３】
また、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにおいて前記検知を行うために、「スキャンパネル」フィールドに両方の表示／光センサ部３００を指定（“011”）したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２０４】
このような状態において、ユーザが、上面（第１表示／光センサ部３００Ａが配設された側）から親指で、下面（第２表示／光センサ部３００Ｂが配設された側）から人差し指でデータ表示／センサ装置１００を把持する。そして、第１表示／光センサ部３００Ａが検知する親指がＢ方向に、第２表示／光センサ部３００Ｂが検知する人差し指がＡ方向に、それぞれ一定量移動する。これにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは共に指の像を検知し、第１入力検出部８１０ａは、両指の像の移動の前後、及び移動の途中における座標データ、全体画像データ、部分画像データをデータ処理部７００から取得する（ステップＳ１５、ステップＳ１９）。
【０２０５】
続いて、データ処理部７００から座標データ、全体画像データ、部分画像データを取得した第１入力検出部８１０ａ及び第２入力検出部８１０ｂが、第１入力信号および第２入力信号をそれぞれ生成する。なお、第１入力信号は、第１表示／光センサ部３００Ａが検知した親指の像がＢ方向に一定量移動したことに対応付けられたものである。つまり、第１入力検出部８１０ａは、第１表示／光センサ部３００Ａが検知した指の像の動き（Ｂ方向へ一定量移動した動き）をＸＹ座標により特定し、そのＸＹ座標に対応するように第１入力信号を生成する（ステップＳ１７）。
【０２０６】
同様に、第２入力信号は、第２表示／光センサ部３００Ｂが検知した人差し指の像がＡ方向に一定量移動したことに対応付けられたものである。つまり、第２入力検出部８１０ｂは、第２表示／光センサ部３００Ｂが検知した指の像の動き（Ａ方向へ一定量移動した動き）を前記Ｘ軸、前記Ｙ軸と共に３次元を規定するＺ軸上の移動量及び移動方向として特定し、その特定したＺ軸上の移動量及び移動方向に対応するように第２入力信号を生成する（ステップＳ２１）。
【０２０７】
このようにして生成された第１入力信号及び第２入力信号が、入力検出部８１０からアプリケーション実行部８５０に出力され、アプリケーション実行部８５０は、各入力信号によって示される動作を実行する。そして、アプリケーション実行部８５０は、その動作の結果を示す情報である動作結果情報を画像表示制御部８６０に出力する（ステップＳ２５）。
【０２０８】
そして、画像表示制御部８６０が、アプリケーション実行部８５０から動作結果情報を受信して、データ処理部７００に表示データを送信する。その表示データは、アプリケーション実行部８５０によって実行された動作結果を第１表示／光センサ部３００Ａに表示するようデータ処理部７００に促すものである。その結果、第１表示／光センサ部３００Ａには、アプリケーション実行部８５０が実行した動作結果が表示される（ステップＳ２７）。そして、その実行結果が、図９（ｄ）で示される鳥瞰写真として表示される。
【０２０９】
このとき、第１表示／光センサ部３００Ａに地図が表示されるため、「表示パネル」フィールドの値として上画面（"001"）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、第１表示／光センサ部３００Ａと併せて第２表示／光センサ部３００Ｂにも地図を表示させたい場合には、「表示パネル」フィールドの値として両画面（"011"）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。但し、ここでは第１表示／光センサ部３００Ａに画像を表示させるため、「表示パネル」フィールドの値として上画面（"001"）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２１０】
このようにして、図９（ｃ）、図９（ｄ）を参照して説明した動作が実行され、その実行結果が第１表示／光センサ部３００Ａに表示される。
【０２１１】
なお、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂによる検知の対象として親指及び人差し指を用いることとして説明したが、検知の対象とする指の種類は、これらの指に限定されず、中指、薬指、小指であってもよい。指の種類ではなく、検知した指の像の動きに基づいて、第１表示／光センサ部３００Ａに表示された画像に対して所定の動作を実行させるためである。
【０２１２】
さらに、上記説明では、第１表示／光センサ部３００Ａ上で地図が表示され、表示／光センサ部３００が指の像の動きを検知することにより、当該地図が移動等する構成を説明した。しかしながら、指の動きによって移動させる対象は、必ずしも地図である必要は無く、地図上のポインタであってもよい。
【０２１３】
データ表示／センサ装置１００の前記処理によって得られる効果を説明すると以下の通りである。
【０２１４】
前記構成を備えることにより、データ表示／センサ装置１００では、アプリケーション実行部８５０が実行するアプリケーションの第１方向への動作に対応付けられた第１入力信号が第１入力検出部８１０ａによって、アプリケーションの第１方向とは異なる第２方向への動作に対応付けられた第２入力信号が第２入力検出部８１０ｂによって、それぞれ生成される。そして、第１及び第２入力信号はアプリケーション実行部８５０に送信され、アプリケーション実行部８５０は、その第１及び第２入力信号に従ったアプリケーションの動作を実行する。
【０２１５】
従って、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが様々な入力操作の動きを検出することによって、従来の入力装置では実現できなかった多彩な操作が実現される。つまり、表面からの入力操作によるアプリケーションの第１方向への動作と、裏面からの入力操作によるアプリケーションの第２方向への動作とが融合されることにより、その多彩な操作が実現される。しかも、その第１及び第２方向への動作として種々の動作を割り当てておけば、さらに多彩な操作を実現しうる。加えて、データ表示／センサ装置１００は板状であるため、ユーザは、その裏表両面を指で挟持するようにして上記多彩な操作を容易に体感することができる。
【０２１６】
さらに、第１入力信号は、第１入力検出部８１０ａがＸＹ座標上の移動量及び移動方向として特定した、第１表示／光センサ部３００Ａが検出した入力操作の動きに対応する信号である。また、第２入力信号は、第２入力検出部８１０ｂがＺ軸上の移動量及び移動方向として特定した、第２表示／光センサ部３００Ｂが検出した入力操作の動きに対応する信号である。
【０２１７】
従って、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが様々な入力操作の動きを検出することによって、従来の入力装置では実現できなかった多彩な３次元操作を実現する第１及び第２入力信号が生成される。そして、第１及び第２入力信号はアプリケーション実行部８５０に送信され、アプリケーション実行部８５０は、その第１及び第２入力信号に基づいてアプリケーションを動作させる。
【０２１８】
それゆえ、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが様々な入力操作の動きを検出することによって、従来の入力装置では実現できなかった多彩な３次元操作が実現されるため、優れた利便性及び操作性を有するデータ表示／センサ装置１００がユーザに提供される。また、ユーザは、自身の操作によって実現される３次元動作を想像したうえで、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂに当該３次元動作をもたらす所定の入力操作の動きを検出させることができ、感覚的に優れた操作を体感することができる。
【０２１９】
さらに、データ表示／センサ装置１００では、第１方向は、ＸＹＺ軸により規定される３次元の動作を実行するアプリケーションにおいてＸＹ軸により規定される方向である。そして、第１入力検出部８１０ａが特定したＸＹ座標上の移動量及び移動方向と第１方向の動作を実行させる命令とが対応付けられた第１指−命令対応情報に基づいて、第１入力検出部８１０ａは、特定したＸＹ座標上の移動量及び移動方向が対応付けられた命令を決定する。
【０２２０】
従って、内部あるいは外部に設けられた記憶部９０１に記録された第１対応命令情報を参照することにより、第１入力検出部８１０ａは、特定したＸＹ座標上の移動量及び移動方向が対応付けられた命令を容易に決定することができる。
【０２２１】
また、第２方向は、アプリケーションにおいてＺ軸方向により規定される方向である。そして、第２入力検出部８１０ｂが特定したＺ軸上の移動量及び移動方向と第２方向の動作を実行させる命令とが対応付けられた第２指−命令対応情報に基づいて、第２入力検出部８１０ｂは、特定したＺ軸上の移動量及び移動方向が対応付けられた命令を決定する。
【０２２２】
従って、記憶部９０１に記録された第２対応命令情報を参照することにより、第２入力検出部８１０ｂは、特定したＺ軸上の移動量及び移動方向が対応付けられた命令を容易に決定することができる。
【０２２３】
このように、第１入力検出部８１０ａ及び第２入力検出部８１０ｂは、第１及び第２指−命令対応情報に基づいて、ＸＹ座標上及びＺ軸上の移動量及び移動方向が対応付けられた命令を容易に決定することができる。そして、アプリケーションごとに第１及び第２指−命令対応情報を対応付けて記憶部９０１に記録させておけば、種々のアプリケーションに対して、迅速かつ確実に、多彩な３次元操作をユーザに体感させることができる。
【０２２４】
さらに、データ表示／センサ装置１００では、前記の構成において、アプリケーション実行部８５０では地図を表示するアプリケーションが動作している場合、第１入力検出部８１０ａは、当該地図または該地図上のポインタを移動させるための命令を示す第１入力信号を、第２入力検出部８１０ｂは、当該地図を拡大・縮小させるための命令を示す第２入力信号を、それぞれアプリケーション実行部８５０に送信する構成としてもよい。
【０２２５】
前記の構成を備えることにより、第１表示／光センサ部３００Ａが検知する指の動きに応じて、地図または地図上のポインタが移動し、第２表示／光センサ部３００Ｂが検知する指の動きに応じて、地図が拡大・縮小する。
【０２２６】
従って、表面（第１表示／光センサ部３００Ａ）側の指の動きが地図を上下左右に移動させ、裏面（第２表示／光センサ部３００Ｂ）側の指の動きが地図を拡大・縮小させるため、ユーザにとって感覚的に操作しやすく、利便性に富んだ入力装置が実現する。
【０２２７】
さらに、データ表示／センサ装置１００では、表示／光センサ部３００のうち、少なくとも何れか一方の表示／光センサ部３００に画像を表示させる画像表示制御部８６０を備え、前記第１指−命令対応情報及び前記第２指−命令対応情報は、前記画像に対応付けられている構成としてもよい。
【０２２８】
前記の構成によれば、データ表示／センサ装置１００では、画像表示制御部８６０が少なくとも何れか一方の表示／光センサ部３００に画像を表示させる。そして、その画像は、第１指−命令対応情報及び第２指−命令対応情報に対応付けられている。
【０２２９】
つまり、画像表示制御部８６０が画像を表示することにより、操作対象がユーザに明示される。そして、第１指−命令対応情報及び第２指−命令対応情報は前記画像に対応付けられているため、ユーザは、その画像を視認したうえで、その画像に対して所望の動作を実行するための指の動きを表示／光センサ部３００に検知させればよい。
【０２３０】
従って、ユーザは、画像を視認したうえで所望の動作を実行させることができ、ユーザにとって感覚的に操作しやすく、利便性に富んだ入力装置が実現する。
【０２３１】
さらに、データ表示／センサ装置１００では、前記の構成において、画像表示制御部８６０は、アプリケーション実行部８５０が実行した動作の結果に基づく画像を、表示／光センサ部３００に表示させる構成としてもよい。
【０２３２】
前記の構成によれば、データ表示／センサ装置１００では、画像表示制御部８６０は、アプリケーション実行部８５０が実行した動作の結果に基づく画像を表示／光センサ部３００に表示させる。
【０２３３】
従って、画像表示制御部８６０は、ユーザの指の動きに対応付けられて実行された動作の結果を表示／光センサ部３００に表示して、その結果をユーザに確認させることができる。
【０２３４】
なお、その動作後の画像に対してさらに何らかの動作を与えたいときは、表示／光センサ部３００に対して所望の指の像の動きを検出させればよい。つまり、ユーザは、動作の結果を画面上で確認することにより、次の動作を連続的に行うことができる。
【０２３５】
また、アプリケーション実行部８５０は、１つであっても複数であってもよく、また入力装置と一体に構成されていてもよく、さらに入力装置から物理的に離れた位置に存在していてもよい。
【０２３６】
このように、データ表示／センサ装置１００は、より優れた操作性および利便性をユーザにも提供することができる。
〔実施の形態２〕
次に、図１２〜図１６を参照して他の実施形態に係るデータ表示／センサ装置１１０を説明する。なお、図１、図９〜図１１を参照して説明した内容と同様の内容は説明を省略する。
【０２３７】
データ表示／センサ装置１１０の主な特徴は、入力操作を検出する表示／光センサ部３００が、表裏両面にそれぞれ配設されており、第１表示／光センサ部３００Ａが検出した入力操作の動きを特定して、所定の動作を実行するアプリケーションの第１の動作に対応付けられた、特定した入力操作の動きに対応する第１入力信号を生成する第１入力生成部８８０ａ（第１入力生成手段）と、第２表示／光センサ部３００Ｂが検出した入力操作の動きを特定して、または、第２表示／光センサ部３００Ｂに対する検出から非検出への入力操作の動きを特定して、前記アプリケーションの第１の動作に付随する第２の動作に対応付けられた、第２表示／光センサ部３００Ｂにおける特定した入力操作の動きに対応する第２入力信号を生成する第２入力生成部８８０ｂ（第２入力生成手段）と、を備える点にある。
【０２３８】
これにより、データ表示／センサ装置１１０では、アプリケーションの第１の動作に対応付けられた第１入力信号が第１入力生成部８８０ａによって、第１の動作に付随する第２の動作に対応付けられた第２入力信号が第２入力生成部８８０ｂによって、それぞれ生成される。そして、その第２入力信号は、第２表示／光センサ部３００Ｂが検出した入力操作の動き、または、第２表示／光センサ部３００Ｂに対する検出から非検出への入力操作の動きが第２入力検出手段によって特定されることで生成される。
【０２３９】
より具体的に、第２表示／光センサ部３００Ｂが検出していた入力操作の動きが検出から非検出の状態に変化した場合に、それまで実行されていたアプリケーションの動作が「キャンセル（無効）」になるように割り当てられていたとする。このとき、ユーザは、それまで実行されていたアプリケーションの動作を「キャンセル（無効）」したい場合には、第２表示／光センサ部３００Ｂに対して、検出から非検出への入力操作の動きを与えればよい。これにより、それまで実行されていたアプリケーションの動作がキャンセルされる。
（データ表示／センサ装置１１０の動作説明）
実施の形態２に係るデータ表示／センサ装置１１０について、図１２〜図１６を参照して説明する。
【０２４０】
なお、最初に、データ表示／センサ装置１１０が実行する動作の具体例を図１２を参照して説明する。次に、データ表示／センサ装置１１０の構成を図１３〜図１５を参照して説明する。そして、その動作を実現する処理の流れを図１６を参照して説明する。
【０２４１】
また、データ表示／センサ装置１１０は、第１表示／光センサ部３００Ａ、あるいは第２表示／光センサ部３００Ｂの何れに画像を表示させてもよいが、本実施の形態では、第１表示／光センサ部３００Ａに画像を表示するものとして説明する。また、第１表示／光センサ部３００Ａは、図１２において図面手前側に位置する。
（表示画像に対して実行される動作）
以下、図１２の概要を説明する。図１２（ａ）では、第１表示／光センサ部３００Ａに正方形の画像２０が表示され、その画像２０が、上面から親指で、下面から人差し指で、それぞれタッチされている。そして、図１２（ｂ）に示すように、ユーザは、親指と人差し指を同一方向（図面横方向において、右方向）へ移動させて、画面の外部へ画像２０を移動させようとしている。つまり、ユーザは、この指の動きにより、その指の動く距離に応じて画像２０を移動させている。次に、図１２（ｃ）では、ユーザは、人差し指を第２表示／光センサ部３００Ｂから離している。そして、画像２０は、ユーザのこの動作により図１２（ａ）で示す最初の位置に自動的に戻る。このように、第２表示／光センサ部３００Ｂが指の像の検知状態から非検知状態に移ることにより、それまでに実行した動作（画像２０の移動）がキャンセルされる。
【０２４２】
なお、図１２（ａ）・（ｂ）では、図面横方向において、親指及び人差し指を共に右側に移動させるものとして説明した。しかしながら、親指及び人差し指を移動させる方向はこれに限らず、いかなる方向であってもよい。従って、ユーザは、任意の場所に画像を移動させることができる。
【０２４３】
また、図１２（ａ）・（ｂ）では、親指及び人差し指を共に右側に移動させるものとして説明した。しかしながら、親指のみ移動した場合であっても画像は移動する。
【０２４４】
さらに、上記説明したとおり、第１表示／光センサ部３００Ａに表示された画像２０は、上面から親指でタッチされることはあっても、下面から人差し指で実際にタッチされることはない。しかしながら、本実施の形態に係る以降の説明では、説明の便宜上、このような状態のことを、「上面から親指で、下面から人差し指で、それぞれタッチする」と表現している。
【０２４５】
加えて、親指及び人差し指が表裏両面から画像２０をタッチするものとして説明しているが、どの指を使用してもよい。つまり、何れかの指を使って、表裏両面から画像２０を挟持すればよく、そのことが、画像２０に対して所定の動作を実行する前提となる。それゆえ、上面あるいは下面の何れか一方のみから画像２０をタッチしても、それだけでは画像２０に対して所定の動作を実行することはできない。また、画像（あるいは画面）を指でタッチするものとして説明しているが、実際に画像をタッチしている必要はなく、表示／光センサ部３００がその指の像を検知すればよい。但し、以降の説明では、説明の便宜のため、上面側から親指で、下面側から人差し指で、画像２０をタッチするものとして説明する。
【０２４６】
加えて、画像２０は正方形であるとして説明しているが、画像２０は任意の形状でよい。また、親指と人差し指の動きの速度については特に言及しないが、その指の像の動きに対応付けられた動作は、指の動きの速度に応じて実行される。
【０２４７】
（データ表示／センサ装置の要部説明）
次に、図１３を参照しながらデータ表示／センサ装置１１０の詳細な構成を説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、画像の表示および画像の検知を行うにあたり、主制御部８００の入力インターフェース制御部８０５が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０２４８】
図１３は、データ表示／センサ装置１１０の要部構成を表すブロック図である。図示のように、主制御部８００は、入力インターフェース制御部８０５と、アプリケーション実行部８５０と、を備える。また、入力インターフェース制御部８０５は、画像表示制御部８６０と、検知判定部８７０と、第１入力生成部８８０ａと、第２入力生成部８８０ｂと、重畳判定部８９０と、を備える。
【０２４９】
検知判定部８７０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、共に指の像を検知したかどうかを判定する。具体的には、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが指の像を検知したとき、座標データ、全体画像データ、部分画像データがデータ処理部７００から検知判定部８７０に送信される。従って、検知判定部８７０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方から座標データ、全体画像データ、部分画像データを受信した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定することができる。なお、検知判定部８７０は、座標データ、全体画像データ、部分画像データのうち少なくとも何れか１つを受信することで、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定することもできる。
【０２５０】
ここで、図１３では、データ処理部７００から検知判定部８７０（及び、第１入力生成部８８０ａ、重畳判定部８９０）へ送信される座標データ、全体画像データ、部分画像データが実線及び破線で記載されている。これは、検知判定部８７０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方から座標データ、全体画像データ、部分画像データを取得するためであり、第１表示／光センサ部３００Ａから検知判定部８７０（及び、第１入力生成部８８０ａ、重畳判定部８９０）へ送信される座標データ、全体画像データ、部分画像データが実線で、第２表示／光センサ部３００Ｂから検知判定部８７０（及び、第１入力生成部８８０ａ、重畳判定部８９０）へ送信される座標データ、全体画像データ、部分画像データが破線で、それぞれ記載されている。
【０２５１】
次に、検知判定部８７０は、「第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した」ことを示す判定結果を第１入力生成部８８０ａに出力する。従って、第１表示／光センサ部３００Ａのみ、あるいは第２表示／光センサ部３００Ｂのみが指の像を検知した場合、若しくは第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知しなかった場合には、検知判定部８７０は、「第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは、共に指の像を検知しなかった」ことを示す判定結果を第１入力生成部８８０ａに出力する。若しくは、検知判定部８７０は、第１入力生成部８８０ａに対して何も出力しない。
【０２５２】
重畳判定部８９０は、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の領域である像領域とが重畳するか否かを判定する。なお、表示／光センサ部３００のうち、第１表示／光センサ部３００Ａに画像が表示され、第２表示／光センサ部３００Ｂには画像が表示されていないものとして説明する。
【０２５３】
より具体的に説明すると、重畳判定部８９０は、データ処理部７００から座標データ、全体画像データ、部分画像データを取得し、それら座標データ、全体画像データ、部分画像データから像領域を特定する。また、重畳判定部８９０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出す。その画像情報には、当該画像に係る表示画像領域が座標により特定されているため、重畳判定部８９０は、記憶部９０１から画像情報を読み出すことにより表示画像領域を特定することができる。
【０２５４】
一例として、図１４、及び図１５を参照して画像情報について説明する。図１４は、円形の画像２６についての画像情報を説明するための図である。また、図１５は、正方形の画像２０についての画像情報を説明するための図である。
【０２５５】
図１４に示すように、円形の画像２６は、座標（Ａ、Ｂ）を中心点として、直径φＴ１で示される円である。なお、ここでは円形の画像２６に係る表示画像領域は、座標（Ａ、Ｂ）、及び直径φＴ１によって特定されているが、円形の画像２６の各円周の座標によって特定する態様であっても構わない。何れの態様であれ、円形の画像２６に係る表示画像領域が特定されるためである。
【０２５６】
また、図１５に示すように、正方形の画像２０は、（Ａ、Ｂ１）という位置を画像の中心として、一辺が長さＣで表される正方形の画像である。なお、ここでは画像２０は、座標（Ａ、Ｂ１）、及び長さＣで特定されるが、画像２０の４辺を示す座標によって特定する態様であっても構わない。何れの態様であれ、画像２０に係る表示画像領域が特定されるためである。
【０２５７】
このように、図１４で言えば座標（Ａ、Ｂ）及びφＴ１という情報を、また図１５で言えば座標（Ａ、Ｂ１）及び一辺の長さＣという情報を、それぞれ画像情報として扱うことにより、重畳判定部８９０は、記憶部９０１からその画像情報を読み出すことで表示画像領域を特定することができる。
【０２５８】
上記の方法により、重畳判定部８９０は、像領域および表示画像領域を特定することができ、従って、像領域と表示画像領域との間に重畳する重畳領域が存在するか否かを判定することができる。そして、重畳判定部８９０は、その判定結果を第１入力生成部８８０ａに出力する。なお、前記の重畳領域が存在しないと判定した場合に、重畳判定部８９０がその判定結果を第１入力生成部８８０ａに出力せず、そのことにより重畳領域が存在しないことの判定結果とすることもできる。
【０２５９】
また、前記の説明では、重畳判定部８９０はデータ処理部７００から座標データ、全体画像データ、部分画像データを取得するものとして説明した。しかしながら、重畳判定部８９０は、検知判定部８７０を介して、データ処理部７００から座標データ、全体画像データ、部分画像データを取得してもよい。
【０２６０】
なお、重畳領域が存在するか否かの判定では、重畳判定部８９０は、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａあるいは第２表示／光センサ部３００Ｂのうち、何れか一方が検知した指の像の領域である像領域とが重畳するか否かを判定してもよい。これにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方の像領域と表示画像領域とが重畳するか否かを判定する場合よりも、「重畳領域が存在する」と判定される条件を緩和することができる。
【０２６１】
ここで、具体例を用いて、重畳判定の条件を緩和することが好ましい理由を説明する。図１２（ａ）では、ユーザは、第１表示／光センサ部３００Ａに表示された画像２０に対応する第２表示／光センサ部３００Ｂ上の領域を人差し指でタッチしている。つまり、第２表示／光センサ部３００Ｂに画像２０が表示されているとしたならば、その画像２０が表示されているであろう領域を、人差し指がタッチする。
【０２６２】
このとき、第２表示／光センサ部３００Ｂは画像２０を画面上に表示していないため、ユーザは、第１表示／光センサ部３００Ａに表示された画像２０に対応する第２表示／光センサ部３００Ｂ上の領域を感覚的に認識して、その上で、その領域をタッチしている。つまり、人差し指による当該領域へのタッチは、感覚的に行われるものであって、常に正確に行われるものではない。
【０２６３】
従って、少なくとも第１表示／光センサ部３００Ａあるいは第２表示／光センサ部３００Ｂのうち、何れか一方が検知した指の像の領域である像領域が表示画像領域と重畳することにより「重畳領域が存在する」と判定されるのであれば、データ表示／センサ装置１１０は、より優れた操作性及び利便性をユーザに提供することができる。
【０２６４】
第１入力生成部８８０ａは、検知判定部８７０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８９０が重畳領域が存在すると判定した場合には、第１表示／光センサ部３００Ａが検知した指の像の動きを検出して、その指の像の動きに対応付けられた第１入力信号を生成し、その第１入力信号をアプリケーション実行部８５０に出力する。なお、第１入力信号は、実施の形態１で説明した第１指−命令対応情報に基づいて、特定したＸＹ座標が対応付けられた命令を示すものとして、アプリケーション実行部８５０に出力されてもよい。
【０２６５】
また、第１入力生成部８８０ａは、さらにアプリケーション、モード等の動作する状態（場面）、あるいは画像の属性にも対応付けて第１入力信号を生成してもよい。これにより、アプリケーション実行部８５０は、第１表示／光センサ部３００Ａに表示された画像に対して所定の動作を実行することができる。なお、第１入力生成部８８０ａは、記憶部９０１から直接、もしくは重畳判定部８９０を介して当該画像等に係る画像情報を取得することができる。これにより、第１入力生成部８８０ａは、第１表示／光センサ部３００Ａに表示された画像に対応付けされた第１入力信号を生成することができる。
【０２６６】
なお、第１入力信号についての詳細説明は、すでに実施の形態１で説明しているため省略する。また、上記説明では、データ表示／センサ装置１１０が、像領域と表示画像領域との間に重畳する重畳領域が存在するか否かを判定する重畳判定部８９０を備え、第１入力生成部８８０ａは、重畳領域が存在する場合に第１入力信号を生成するものとして説明した。しかしながら、データ表示／センサ装置１１０は、必ずしも重畳判定部８９０を備える必要はない。この場合、ユーザは、第１表示／光センサ部３００Ａに表示された画像を表裏両面からタッチする必要はなく、単に第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知すればよい。
【０２６７】
第２入力生成部８８０ｂは、第１表示／光センサ部３００Ａが指の像を検知した状態で、第２表示／光センサ部３００Ｂが指の像を検知しなくなったと判定した場合に、そのことを示す入力信号を第１入力生成部８８０ａ又は検知判定部８７０から受信する。そして、その信号を受信することにより、第２入力生成部８８０ｂは、第１入力信号を生成する前の状態を再現するための第２入力信号を生成する。そして、第２入力生成部８８０ｂは、その第２入力信号をアプリケーション実行部８５０に送信する。
【０２６８】
アプリケーション実行部８５０は、第１入力生成部８８０ａから第１入力信号を、第２入力生成部８８０ｂから第２入力信号を、それぞれ受信する。そして、第１入力信号及び第２入力信号によって示される動作を実行する。続いて、アプリケーション実行部８５０は、その動作の結果を示す情報である動作結果情報を画像表示制御部８６０に送信する。
【０２６９】
具体的に図１２（ａ）〜図１２（ｃ）を参照して説明すると、アプリケーション実行部８５０は、第１入力生成部８８０ａから第１入力信号を受信することにより、画像２０を移動させる動作を実行する。そして、検知判定部８７０が、第１表示／光センサ部３００Ａが指の像を検知した状態で、第２表示／光センサ部３００Ｂが指の像を検知しなくなったと判定した場合に、第２入力生成部８８０ｂは、第１入力信号が生成される前の状態を再現するための第２入力信号をアプリケーション実行部８５０に送信する。アプリケーション実行部８５０は、第２入力信号を受信することにより、図１２（ｂ）で示される画像２０を、図１２（ｃ）で示される位置、すなわち、移動動作が実行される前の位置に戻す動作を実行する。
【０２７０】
このように、第１入力生成部８８０ａは第１入力信号を、第２入力生成部８８０ｂは第２入力信号を、それぞれアプリケーション実行部８５０に出力する。そして、アプリケーション実行部８５０は、第１入力信号及び／又は第２入力信号が示す命令に基づく動作を実行し、さらに、その動作の結果を示す情報である動作結果情報を画像表示制御部８６０に送信する。その結果、第１表示／光センサ部３００Ａには、図１２（ｃ）で示される位置に画像２０が表示される。
【０２７１】
なお、図１３において、アプリケーション実行部８５０は主制御部８００に含まれる構成である。しかしながら、主制御部８００の外部にアプリケーション実行部８５０を設けて、外部通信部９０７を介して、所定の動作を実行する構成としてもよい。また、アプリケーション実行部８５０は、１または複数のアプリケーションを有してよい。
【０２７２】
画像表示制御部８６０は、アプリケーション実行部８５０から動作結果情報を受信すると、データ処理部７００に表示データを送信する。その表示データは、アプリケーション実行部８５０によって実行された動作結果を第１表示／光センサ部３００Ａに表示するようデータ処理部７００に促すものである。
【０２７３】
従って、例えば「画像をＡ点からＢ点へ移動させる」という動作がアプリケーション実行部８５０によって実行された場合、画像表示制御部８６０は、データ処理部７００にそのことを示す表示データを送信して、その結果、第１表示／光センサ部３００Ａに動作結果が表示される。そして、「画像をＡ点からＢ点へ移動させる」という動作がアプリケーション実行部８５０によって実行された場合、画像表示制御部８６０は、データ処理部７００にそのことを示す表示データを送信して、その結果、第１表示／光センサ部３００Ａに動作結果が表示される。
【０２７４】
なお、検知判定部８７０、第１入力生成部８８０ａ、及び重畳判定部８９０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂごとに、指の像の全体画像データ、部分画像データ、及び座標データを送信するようデータ処理部７００に要求している。これは、主制御部８００で実行されるアプリケーションプログラムが、指の像の全体画像データ、部分画像データ、及び座標データを第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂごとに送信するようデータ処理部７００を制御することにより行われる。
【０２７５】
さらに、図１３では、記憶部９０１は、主制御部８００の外部に設けられているが、主制御部８００の内部に設けられる構成であってもよい。
【０２７６】
（フローチャート説明）
次に、図１６を参照しながら、データ表示／センサ装置１１０の処理の流れ、及び、入力インターフェース制御部８０５からデータ処理部７００に送信されるコマンドの詳細について説明する。
【０２７７】
図１６は、データ表示／センサ装置１１０の処理の流れを表すフローチャートである。
【０２７８】
まず、データ表示／センサ装置１１０の電源がオフの状態にあるとき、ユーザが電源スイッチ９０５を押下することにより、データ表示／センサ装置１１０は電源オンとなる（ステップＳ３１）。
【０２７９】
そして、ステップＳ３３では、ユーザが電源スイッチ９０５を押下することにより、表示／光センサ部３００に画像が表示される。なお、ここでは、第１表示／光センサ部３００Ａに画像が表示されるものとする。この状態で、データ表示／センサ装置１１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが指の像を検出するまで待機する。
【０２８０】
ここで、第１表示／光センサ部３００Ａに画像を表示させる場合は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、第２表示／光センサ部３００Ｂに画像を表示させる場合は、「表示パネル」フィールドの値として下画面（“010”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。ここでは、第１表示／光センサ部３００Ａに画像を表示させるため、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２８１】
また、この段階では、表示／光センサ部３００は近傍の像を検知可能な状態にあるものとする。前記検知を行うために、「データ取得タイミング」フィールドに、“イベント”を指定（“01”）し、「データ種別」フィールドに“座標”および“全体画像”の両方を指定（“101”を指定）したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、“座標”または“全体画像”のみを指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力されてもよい。
【０２８２】
さらに、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにおいて前記検知を行うために、「スキャンパネル」フィールドに両方の表示／光センサ部３００を指定（“011”）したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２８３】
これにより、センサ内蔵液晶パネル３０１が近傍の像を検知した場合に、検知判定部８７０、第１入力生成部８８０ａ、及び重畳判定部８９０は、データ処理部７００から座標データ、全体画像データ、部分画像データを取得することができる。
【０２８４】
つまり、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにユーザの指がタッチしたとき、光センサ回路３２が、タッチした指の影像および反射像の少なくとも何れかを検知する。その結果、データ処理部７００がセンサ制御部６０２から取得する画像データに変化が生じる。
【０２８５】
このようにして、検知判定部８７０は、前記画像データに変化が生じた際にデータ処理部７００から出力されてくる、座標データ、全体画像データ、部分画像データを取得することにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したことを認識できる。
【０２８６】
そして、ステップＳ３５では、検知判定部８７０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したかどうかを判定する。つまり、表示／光センサ部３００ごとの座標データ、全体画像データ、部分画像データがデータ処理部７００から検知判定部８７０に入力されることにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定される。なお、図１６では、便宜のため、第１表示／光センサ部３００Ａを「Ａ」と称し、第２表示／光センサ部３００Ｂを「Ｂ」と称している。
【０２８７】
第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した場合（ステップＳ３５でＹｅｓ）、ステップＳ３７に進む。ステップＳ３７では、重畳判定部８９０が、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の領域である像領域とが重畳するか否かを判定する。つまり、データ処理部７００から表示／光センサ部３００ごとの座標データ、全体画像データ、部分画像データを取得することにより、重畳判定部８９０は、座標データ、全体画像データ、及び部分画像データと、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域とを比較して、重畳する領域（重畳領域）が存在するかどうかを判定する。なお、重畳判定部８９０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出している。
【０２８８】
重畳領域が存在すると判定された場合（ステップＳ３７でＹｅｓ）、ステップＳ３９に進む。ステップＳ３９では、第１入力生成部８８０ａが、第１表示／光センサ部３００Ａが検知した指の像の動きを特定して、その指の像の動きに対応付けられた第１入力信号を生成し、その入力信号をアプリケーション実行部８５０に出力する。
【０２８９】
続いて、ステップＳ４１では、アプリケーション実行部８５０が、第１入力生成部８８０ａから第１入力信号を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部８５０は、その動作の結果を示す情報である動作結果情報を画像表示制御部８６０に送信する。
【０２９０】
続いて、ステップＳ４３では、検知判定部８７０が、第１表示／光センサ部３００Ａが指の像を検知した状態で、第２表示／光センサ部３００Ｂが指の像を検知しなくなったと判定した場合に、第２入力生成部８８０ｂが、第１入力信号が生成される前の状態を再現するための第２入力信号を生成する。そして、第２入力生成部８８０ｂは、その第２入力信号をアプリケーション実行部８５０に出力する。
【０２９１】
そして、ステップＳ４５では、第１入力信号が生成された結果として何らかの動作が実行された場合であっても、第２表示／光センサ部３００Ｂが指の像を検知しなくなることにより、それまでに実行された動作がキャンセルされる。そして、アプリケーション実行部８５０は、その動作の結果を示す情報である動作結果情報を画像表示制御部８６０に送信する。
【０２９２】
ここで、画像表示制御部８６０は、アプリケーション実行部８５０から動作結果情報を受信して、データ処理部７００に表示データを送信する。その表示データは、アプリケーション実行部８５０によって実行された動作結果を第１表示／光センサ部３００Ａに表示するようデータ処理部７００に促すものである。その結果、第１表示／光センサ部３００Ａには、アプリケーション実行部８５０が第１入力生成部８８０ａおよび第２入力生成部８８０ｂから受信した命令に基づいて実行した動作結果が表示される。
【０２９３】
なお、第１表示／光センサ部３００Ａに画像を表示させる場合は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。また、第２表示／光センサ部３００Ｂに画像を表示させる場合は、「表示パネル」フィールドの値として下画面（“010”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。ここでは、第１表示／光センサ部３００Ａに画像を表示させるため、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２９４】
一方、ステップＳ３５、及びステップＳ３７で「Ｎｏ」に進む場合は、再びステップＳ３５に戻る。なお、上記説明ではステップＳ３７を含めて説明したが、そのステップは必須ではなく、適宜省略してよい。
【０２９５】
ここで、図１２のケースにおける前記各ステップ（ステップＳ３３〜ステップＳ４５）の処理の流れを説明する。
【０２９６】
図１２（ａ）では、第１表示／光センサ部３００Ａに画像２０が表示されている。これは、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力された結果、第１表示／光センサ部３００Ａに画像２０が表示されたものである（ステップＳ３３）。
【０２９７】
なお、既にこの段階で、「データ取得タイミング」フィールドに、“イベント”を指定（“01”）し、「データ種別」フィールドに“座標”および“全体画像”の両方を指定（“101”を指定）したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力され、表示／光センサ部３００は近傍の像を検知可能な状態にあるものとする。なお、“座標”または“全体画像”のみを指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力されてもよい。
【０２９８】
また、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにおいて前記検知を行うために、「スキャンパネル」フィールドに両方の表示／光センサ部３００を指定（“011”）したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
【０２９９】
このような状態において、ユーザが、上面（第１表示／光センサ部３００Ａが配設された側）から親指で、下面（第２表示／光センサ部３００Ｂが配設された側）から人差し指で、それぞれその画像２０をタッチする。そして、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは共に指の像を検知することができる状態にあるため、検知判定部８７０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、共に指の像を検知していると判定し、その判定結果を第１入力生成部８８０ａに出力する（ステップＳ３５）。
【０３００】
また、図１２（ａ）に示すように、第１表示／光センサ部３００Ａに表示された画像２０の領域を示す表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した親指、人差し指の像の領域である像領域とは重畳している。従って、重畳判定部８９０は、表示画像領域と像領域とが重畳する重畳領域が存在すると判定し、その判定結果を第１入力生成部８８０ａに出力する（ステップＳ３７）。
【０３０１】
なお、重畳判定部８９０は、データ処理部７００から指の像の座標データ、全体画像データ、部分画像データを取得し、それらのデータから前記の像領域を特定する。また、重畳判定部８９０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出すことにより、画像２０の表示画像領域を特定している。このようにして、重畳判定部８９０は、像領域および表示画像領域を特定することができるため、像領域と表示画像領域との間に重畳する重畳領域が存在するか否かを判定することができる。
【０３０２】
第１入力生成部８８０ａは、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと検知判定部８７０が判定し、かつ、重畳判定部８９０が重畳領域が存在すると判定したことを受けて、第１表示／光センサ部３００Ａが検知した指の像の動きを特定する。
【０３０３】
ここで、図１２（ｂ）では、親指（及び人差し指）が図面右方向へ移動しているため、第１入力生成部８８０ａは、その指の像の動きに対応付けられた第１入力信号を生成する。また、第１入力生成部８８０ａは、記憶部９０１から直接、もしくは重畳判定部８９０を介して画像２０に係る画像情報を取得しており、第１入力信号は、画像２０に対応付けて生成されている。そして、第１入力生成部８８０ａはその入力信号をアプリケーション実行部８５０に出力する（ステップＳ３９）。
【０３０４】
なお、第１入力信号が画像２０に対応付けて生成されるとは、アプリケーションが地図である場合は、親指が動く方向に地図も移動する、といったことを表す。従って、地図以外のアプリケーションにおいて、親指を動かす動作によって異なる動作結果を出力するようにしてもよい。このように、第１入力信号は、アプリケーションによって表示される画像に対応付けて生成されてもよい。
【０３０５】
アプリケーション実行部８５０は、第１入力生成部８８０ａから第１入力信号を受信して、その命令によって示される動作を実行する。つまり、アプリケーション実行部８５０は、画像２０を図面右方向に移動させる動作を実行する。そのうえで、アプリケーション実行部８５０は、その動作の結果を示す情報である動作結果情報を画像表示制御部８６０に送信する。
【０３０６】
画像表示制御部８６０は、アプリケーション実行部８５０から前記の動作結果情報を受信すると、データ処理部７００に表示データを送信する。その表示データとは、画像２０を図１２（ａ）の位置から図１２（ｂ）の位置へ移動して表示することを指示するデータである。そして、データ処理部７００は、画像表示制御部８６０から送信された表示データに基づいて、第１表示／光センサ部３００Ａに表示された画像２０を図１２（ｂ）の位置に移動した画像を表示させる。
【０３０７】
なお、移動後の画像２０の表示は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力された結果、第１表示／光センサ部３００Ａに移動後の画像２０が表示されたものである。
【０３０８】
続いて、図１２（ｃ）では、検知判定部８７０が、第１表示／光センサ部３００Ａが指の像を検知した状態で、第２表示／光センサ部３００Ｂが指の像を検知しなくなったと判定し、第２入力生成部８８０ｂが、第１入力信号が生成される前の状態を再現するための第２入力信号を生成する。そして、第２入力生成部８８０ｂは、その第２入力信号をアプリケーション実行部８５０に出力する。
【０３０９】
そして、ステップＳ４５では、第２表示／光センサ部３００Ｂが指の像を検知しなくなることにより、図１２（ｂ）で示される位置に画像２０が移動した動作がキャンセルされる。そして、アプリケーション実行部８５０は、図１２（ｃ）に示される位置に画像２０を戻すという動作の動作結果情報を画像表示制御部８６０に送信する。
【０３１０】
その後の画像表示制御部８６０の動作は上記説明した通りであるため、ここでの説明は省略する。
【０３１１】
このようにして、図１２（ａ）〜図１２（ｃ）を参照して説明した動作が実行され、その実行結果が第１表示／光センサ部３００Ａに表示される。
【０３１２】
また、ここでは第１表示／光センサ部３００Ａに表示画像を表示するものとして説明したが、第２表示／光センサ部３００Ｂに画像を表示させてもよい。
【０３１３】
さらに、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂによる検知の対象として親指及び人差し指を用いることとして説明したが、検知の対象とする指の種類は、これらの指に限定されず、中指、薬指、小指であってもよい。指の種類ではなく、検知した指の像の動きに基づいて、第１表示／光センサ部３００Ａに表示された画像に対して所定の動作を実行させるためである。
【０３１４】
データ表示／センサ装置１１０の前記処理によって得られる効果を説明すると以下の通りである。
【０３１５】
データ表示／センサ装置１１０は、前記構成を備えることにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した場合に、第１入力生成部８８０ａが、指の像の動きに対応付けられた第１入力信号を生成する。そして、第１表示／光センサ部３００Ａが指の像を検知した状態で、第２表示／光センサ部３００Ｂが指の像を検知しなくなった場合には、第２入力生成部８８０ｂが、第１入力信号が生成される前の状態を再現するための第２入力信号を生成する。
【０３１６】
従って、第１入力信号が生成された結果として何らかの動作が実行された場合であっても、第２表示／光センサ部３００Ｂが指の像を検知しない状態になることで、それまでに実行された動作がキャンセルされる。つまり、従来であれば、ある機能（モード）に入ってキャンセル動作を実行する、実行した動作を編集モードに入ってキャンセルする、といった操作が必要であったが、データ表示／センサ装置１１０では、第２表示／光センサ部３００Ｂが指の像を検知しなくなることによって、それまでに実行した動作を容易にキャンセルされる。
【０３１７】
なお、データ表示／センサ装置１１０で実行可能な動作は、「キャンセル（無効）」に限られず、例えば、第２表示／光センサ部３００Ｂが入力操作の動きを検出することにより、「確定」、「変換」といった他の動作が実行されるようにしてもよい。以下、その変形例を説明する。
【０３１８】
既出の説明では、第１入力生成部８８０ａは、検知判定部８７０が第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８９０が重畳領域が存在すると判定した場合に、第１表示／光センサ部３００Ａが検知した指の像の動きを検出して、その指の像の動きに対応付けられた第１入力信号を生成し、その第１入力信号をアプリケーション実行部８５０に出力している。
【０３１９】
しかしながら、第１入力生成部８８０ａは、検知判定部８７０による検知結果および重畳判定部８９０による判定結果に左右されず、第１表示／光センサ部３００Ａが検知した指の像の動きを検出して、その指の像の動きに対応付けられた第１入力信号を生成し、その第１入力信号をアプリケーション実行部８５０に出力する構成としてもよい。
【０３２０】
この場合、第１入力生成部８８０ａは、当該指の動きに対応付けられた第１入力信号を生成して、その第１入力信号をアプリケーション実行部８５０に出力する。そして、アプリケーション実行部８５０は、第１入力信号に対応付けられた所定の動作を実行する。
【０３２１】
その状態において、第２表示／光センサ部３００Ｂが指の像の動きを検知する。これにより、第２入力生成部８８０ｂは、アプリケーション実行部８５０が実行した所定の動作を「確定」することを指示する第２入力信号を生成する。あるいは、例えばアプリケーション実行部８５０が実行した所定の動作が「文字の入力」であった場合、第２入力生成部８８０ｂは、その入力された文字を他の漢字に「変換」することを指示する第２入力信号を生成する。
【０３２２】
このように、第２表示／光センサ部３００Ｂが入力操作の動きを検出することで「確定」、「変換」といった動作が実行されるように割り当てておけば、ユーザは、上記各動作を実行したい場合には、第２表示／光センサ部３００Ｂに入力操作の動きを検出させればよい。これにより、ユーザが所望するアプリケーションの上記各動作が実行される。なお、動作例は、「確定」、「変換」に限られず、種々の動作が可能である。
【０３２３】
また、第２表示／光センサ部３００Ｂが検知すべき入力操作の動きは特に限定されない。例えば、非検知から検知へ変化する入力操作の動きであっても、あるいは、指の像の動きが特定の方向に向かう場合に、「確定」、「変換」といった動作を実行するようにしてもよい。
【０３２４】
このように、第２表示／光センサ部３００Ｂに対する入力操作の動きを予め割り当てておくことにより、ユーザは、所望のアプリケーションの動作を容易に実行することができる。加えて、データ表示／センサ装置１１０は板状であるため、ユーザは、その裏表両面を指で挟持するようにして上記操作を行うことができる。
【０３２５】
なお、データ表示／センサ装置１１０が「キャンセル（無効）」動作を実行する装置とするか、あるいは「確定」、「変換」等の他の動作を実行する装置とするかは、ユーザが選択可能にすればよい。例えば、実行動作選択ボタン等を設けておき、ユーザが何れかを選択可能にすることで、１基のデータ表示／センサ装置１１０を種々の用途に使用することができる。
【０３２６】
このように、データ表示／センサ装置１１０は、優れた操作性及び利便性をユーザに提供することができる。
【０３２７】
なお、発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０３２８】
また、本発明に係る入力装置を備えた携帯電話等の情報端末装置も、本発明の技術的範囲に含まれる。
（その他）
なお、本発明に係る入力装置は、次のような構成を備えていても良い。
【０３２９】
具体的には、本発明に係る入力装置は、入力操作を検出する面状部材が、表裏両面にそれぞれ配設された板状の入力装置であって、表面の面状部材にはＸ軸、Ｙ軸が設定されており、前記表面の面状部材が検出した入力操作の動きをＸＹ座標により特定し、そのＸＹ座標に対応する第１入力信号を生成する第１入力検出手段と、裏面の面状部材が検出した入力操作の動きに対応する第２入力信号を生成する第２入力検出手段と、を備える構成であってもよい。
【０３３０】
これにより、本発明に係る入力装置および入力装置の制御方法では、表面の面状部材が入力操作を検出した場合には、ＸＹ座標により特定された当該入力操作の動きに対応する第１入力信号が第１入力検出手段によって、裏面の面状部材が入力操作を検出した場合には、当該入力操作の動きに対応する第２入力信号が第２入力検出手段によって、それぞれ生成される。
【０３３１】
従って、表裏両面の面状部材が様々な入力操作の動きを検出することによって、従来の入力装置では実現できなかった多彩な操作、つまり、ＸＹ軸方向の動きを実現する操作と、第２入力信号に基づいて実現される他の操作とが融合した多彩な操作を可能とする第１入力信号および第２入力信号が生成される。そして、その第１入力信号および第２入力信号に基づいて実現される動作によって、優れた利便性及び操作性を有する入力装置がユーザに提供される。しかも板状の入力装置の裏表両面から画面を指で挟持するように操作するため、ユーザは、極めて容易に当該装置を使用することができる。
【０３３２】
また、本発明に係る入力装置では、前記の構成において、前記第２入力検出手段は、前記裏面の面状部材が検出した入力操作の動きを前記Ｘ軸、前記Ｙ軸と共に３次元を規定するＺ軸上の移動量及び移動方向として特定し、その特定したＺ軸上の移動量及び移動方向に対応する前記第２入力信号を生成する構成としてもよい。
【０３３３】
これにより、本発明に係る入力装置では、裏面の面状部材が入力操作を検出した場合には、Ｚ軸上の移動量及び移動方向として特定された当該入力操作の動きに対応する第２入力信号が第２入力検出手段によって生成される。
【０３３４】
従って、表裏両面の面状部材が様々な入力操作を検出することによって、従来の入力装置では実現できなかった多彩な３次元操作を実現する第１入力信号および第２入力信号が生成される。その第１入力信号および第２入力信号に基づいて実現される動作によって、優れた利便性及び操作性を有する入力装置がユーザに提供される。
【０３３５】
加えて、表面の面状部材がＸＹ座標という２次元で特定される第１入力信号に対応し、裏面の面状部材がＸ軸、Ｙ軸と共に３次元を規定するＺ軸上での移動量及び移動方向により特定される第２入力信号に対応する。従って、ＸＹＺ軸により規定される３次元の動作を実行するアプリケーションが上記各入力信号によって動作する場合には、ユーザは、自身の操作によって実現される３次元動作を想像したうえで、表裏両面の面状部材に当該３次元動作をもたらす所定の入力操作を検出させることができ、感覚的に優れた操作を体感することができる。
【０３３６】
さらに、本発明に係る入力装置では、前記の構成において、前記第１入力検出手段は、前記特定したＸＹ座標と、ＸＹＺ軸により規定される３次元の動作を実行するアプリケーションが動作する動作実行装置にＸＹ軸により規定される２次元の動作を実行させる命令とが対応付けられた第１指−命令対応情報に基づいて、前記特定したＸＹ座標が対応付けられた命令を決定し、該命令を示す前記第１入力信号を前記動作実行装置に送信し、前記第２入力検出手段は、前記特定したＺ軸上の移動量及び移動方向と、前記動作実行装置にＺ軸方向の動作を実行させる命令とが対応付けられた第２指−命令対応情報に基づいて、前記特定したＺ軸上の移動量及び移動方向が対応付けられた命令を決定し、該命令を示す前記第２入力信号を前記動作実行装置に送信する構成としてもよい。
【０３３７】
前記の構成によれば、本発明に係る入力装置では、第１入力検出手段は、動作実行装置に２次元の動作を実行させる命令を示す第１入力信号を、第２入力検出手段は、動作実行装置にＺ軸方向の動作を実行させる命令を示す第１入力信号を、それぞれ動作実行装置に送信する。そして、その動作実行装置では、ＸＹＺ軸により規定される３次元の動作を実行するアプリケーションが動作する。
【０３３８】
従って、表裏両面の面状部材が様々な入力操作の動きを検出することによって、従来の入力装置では実現できなかった多彩な３次元操作を実現する第１入力信号および第２入力信号が生成されるため、前記アプリケーションは、感覚的に優れた操作をユーザに体感させることができる。
【０３３９】
なお、動作実行装置は、１つであっても複数であってもよく、また入力装置と一体に構成されていてもよく、さらに入力装置から物理的に離れた位置に存在していてもよい。
【０３４０】
さらに、本発明に係る入力装置では、前記の構成において、前記動作実行装置では地図を表示するアプリケーションが動作している場合、前記第１入力検出手段は、前記地図または該地図上のポインタを移動させるための命令を示す前記第１入力信号を、前記第２入力検出手段は、前記地図を拡大・縮小させるための命令を示す前記第２入力信号を、それぞれ前記動作実行装置に送信する構成としてもよい。
【０３４１】
前記の構成を備えることにより、表面の面状部材が検出する入力操作の動きに応じて、地図または地図上のポインタが移動し、裏面の面状部材が検出する入力操作の動きに応じて、地図が拡大・縮小する。
【０３４２】
従って、表面側の入力操作の動きが地図を上下左右に移動させ、裏面側の入力操作の動きが地図を拡大・縮小させるため、ユーザにとって感覚的に操作しやすく、利便性に富んだ入力装置が実現する。
【０３４３】
さらに、本発明に係る入力装置では、前記の構成において、前記画像表示制御手段は、前記動作実行装置が実行した動作の結果に基づく画像を、前記面状部材に表示させる構成としてもよい。
【０３４４】
前記の構成によれば、本発明に係る入力装置では、画像表示制御手段は、前記動作実行装置が実行した動作の結果に基づく画像を前記面状部材に表示させる。
【０３４５】
従って、画像表示制御手段は、ユーザからの入力操作の動きに対応付けられて実行された動作の結果を画面上に表示して、その結果をユーザに確認させることができる。
【０３４６】
なお、その動作後の画像に対してさらに何らかの動作を与えたいときは、前記表裏両面の面状部材に対して所定の入力操作の動きを検出させればよい。つまり、ユーザは、動作の結果を画面上で確認することにより、次の動作を連続的に行うことができる。
【０３４７】
なお、前記入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記各手段として動作させることにより前記入力装置をコンピュータにて実現させる入力装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、前記の入力装置を備えた情報端末装置も、本発明の範疇に入る。
【０３４８】
（プログラム、コンピュータ読み取り可能な記録媒体）
最後に、本実施形態に係るデータ表示／センサ装置１００、１１０の各ブロック、特に入力インターフェース制御部８０５の入力検出部８１０、アプリケーション実行部８５０、画像表示制御部８６０、検知判定部８７０、第１入力生成部８８０ａ、第２入力生成部８８０ｂ、及び重畳判定部８９０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０３４９】
すなわち、本実施形態に係るデータ表示／センサ装置１００、１１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central Processing Unit）、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００、１１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０３５０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０３５１】
また、本実施形態に係るデータ表示／センサ装置１００、１１０を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０３５２】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０３５３】
本発明は、二つの入力面から入力する携帯電話機、ＰＤＡなどのモバイル機器（携帯端末）に適用できる。特に、像検知装置を備えた携帯端末に好適である。
【図面の簡単な説明】
【０３５４】
【図１】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】（ａ）〜（ｇ）は、ある地域を上空から撮影した鳥瞰写真が表示／光センサ部に表示されたときの様子を示す図である。
【図１０】アプリケーションが地図である場合における指−命令対応情報の一例を示す図であり、（ａ）は第１指−命令対応情報を、（ｂ）は第２指−命令対応情報を示すテーブルである。
【図１１】本発明の一実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。
【図１２】（ａ）では、第１表示／光センサ部に画像が表示され、その画像が、上面から親指で、下面から人差し指で、それぞれタッチされており、（ｂ）では、ユーザは、親指と人差し指を同一方向（図面横方向において、右方向）へ移動させて、画面の外部へ当該画像を移動させようとしており、（ｃ）では、ユーザは、人差し指を第２表示／光センサ部から離し、当該画像が、１２（ａ）で示す最初の位置に自動的に戻っている様子を示す図である。
【図１３】本発明の実施形態に係る他のデータ表示／センサ装置の要部構成を表すブロック図である。
【図１４】円形の画像についての画像情報を説明するための図である。
【図１５】正方形の画像についての画像情報を説明するための図である。
【図１６】本発明の他の実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。
【符号の説明】
【０３５５】
１００、１１０  データ表示／センサ装置（入力装置）
８００      主制御部
８０５      入力インターフェース制御部
８１０      入力検出部
８１０ａ    第１入力検出部（第１入力検出手段）
８１０ｂ    第２入力検出部（第２入力検出手段）
８５０      アプリケーション実行部（動作実行装置）
８６０      画像表示制御部（画像表示制御手段）
８７０      検知判定部（検知判定手段）
８８０ａ    第１入力生成部（第１入力生成手段）
８８０ｂ    第２入力生成部（第２入力生成手段）
８９０      重畳判定部
【図１】
2010244409.tif 000003
【図２】
2010244409.tif 000004
【図３】
2010244409.tif 000005
【図４】
2010244409.tif 000006
【図５】
2010244409.tif 000007
【図６】
2010244409.tif 000008
【図７】
2010244409.tif 000009
【図８】
2010244409.tif 000010
【図１０】
2010244409.tif 000011
【図１１】
2010244409.tif 000012
【図１２】
2010244409.tif 000013
【図１３】
2010244409.tif 000014
【図１４】
2010244409.tif 000015
【図１５】
2010244409.tif 000016
【図１６】
2010244409.tif 000017
【図９】
2010244409.tif 000018