(57)【要約】【課題】従来のマウスを用いた利用者の片手による多様な操作指示と同様な操作指示を実現することができる指示入力装置を提供する。【解決手段】本発明の指示入力装置は、近傍の像を検知する面状部材により検知された像に基づいて、その像の面状部材上での位置を表わす座標を特定する特定部１２と、面状部材上の互いに異なる位置で、第１の像と第２の像とが、この順で連続して検知されたときに、第１及び第２の像の座標を比較することで、第１及び第２の像の面状部材上での位置関係を判定する判定部１３と、第１及び第２の像の面状部材上での位置関係に応じた指示内容を決定する決定部１４と、を備えている。【選択図】図１
2010113675.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示するとともに、近傍の像を検知する面状部材と、
前記面状部材により検知された像に基づいて、当該像の前記面状部材上での位置を表わす座標を特定する特定手段と、
前記面状部材上の互いに異なる位置で、第１の像と第２の像とが、この順で連続して検知されたときに、前記特定手段により特定された第１及び第２の像の座標を比較することで、前記第１及び第２の像の前記面状部材上での位置関係を判定する判定手段と、
前記判定手段により判定された位置関係に応じた指示内容を決定する決定手段と
を備えていることを特徴とする指示入力装置。
【請求項２】
前記第１の像の座標が特定されたときに、前記第１の像の座標に基づいて、前記第１の像の前記面状部材上での位置に表示される第１の画像と、前記第１の像と所定の位置関係にある前記第２の像の前記面状部材上での位置に表示される第２の画像と、を前記面状部材上に配置する配置手段をさらに備えていることを特徴とする請求項１に記載の指示入力装置。
【請求項３】
前記配置手段は、前記第１の像が前記面状部材上で移動したときに、前記第１の像の座標変化に従って前記第１及び第２の画像を前記面状部材上で移動させることを特徴とする請求項２に記載の指示入力装置。
【請求項４】
前記第２の像は、前記面状部材上での前記第１の像の座標を含む直線の左側の領域で検知されるべき左側検知像と、前記面状部材上での前記直線の右側の領域で検知されるべき右側検知像と、を含んでおり、
前記第２の画像は、前記左側検知像の前記面状部材上での位置に表示される左側画像と、前記右側検知像の前記面状部材上での位置に表示される右側画像と、を含んでいることを特徴とする請求項２または３に記載の指示入力装置。
【請求項５】
前記決定手段により決定される指示内容に応じた画像表示を行なうための表示データを生成する表示制御手段と、
前記表示制御手段により生成される表示データに基づく画像を表示する画像表示部材と
をさらに備えていることを特徴とする請求項１〜４のいずれか１項に記載の指示入力装置。
【請求項６】
前記決定手段により決定される指示内容に応じた画像表示を行なうための表示データを生成する表示制御手段をさらに備え、
前記面状部材は、前記表示制御手段により生成される表示データに基づく画像を表示することを特徴とする請求項１〜４のいずれか１項に記載の指示入力装置。
【請求項７】
画像を表示するとともに、近傍の像を検知する面状部材を用いた指示入力方法であって、
前記面状部材により検知された像に基づいて、当該像の前記面状部材上での位置を表わす座標を特定する特定ステップと、
前記面状部材上の互いに異なる位置で、第１の像と第２の像とが、この順で連続して検知されたときに、前記特定ステップにて特定された第１及び第２の像の座標を比較することで、前記第１及び第２の像の前記面状部材上での位置関係を判定する判定ステップと、
前記判定ステップにて判定された位置関係に応じた指示内容を決定する決定ステップと
を含んでいることを特徴とする指示入力方法。
【請求項８】
請求項１〜６のいずれか１項に記載の指示入力装置を備えていることを特徴とする携帯型電子機器。
【請求項９】
請求項１〜６のいずれか１項に記載の指示入力装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるための指示入力処理プログラム。
【請求項１０】
請求項９に記載の指示入力処理プログラムを記録している、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯型電子機器、指示入力装置、指示入力方法、指示入力処理プログラム及びコンピュータ読み取り可能な記録媒体に関し、特に、利用者による指示を簡易な操作により入力可能な携帯型電子機器、指示入力装置、指示入力方法、指示入力処理プログラム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
従来、様々な入力装置がパーソナルコンピュータ等の電子機器への指示入力を行なう手段として用いられている。例えば、パーソナルコンピュータの入力装置としてはキーボードやマウス等が一般的である。特に、マウスは実際に移動させた方向を入力信号として出力することができるので、利用者は操作の手応えを感じながら直感的な指示入力を行なうことができる。
【０００３】
ところで、最近、ノート型パーソナルコンピュータの小型化、携帯化が加速し、それに伴い、マウスに代わる入力装置が新たに開発されて来ている。例えば、特許文献１には、２つのボタンを持つマウスによる操作を前提としたアプリケーションを指入力操作だけで使用することが可能な座標入力装置が記載されている。
【０００４】
この特許文献１に記載された座標入力装置では、パソコン等の端末装置に接続されたタブレット上における利用者の指による操作により２つのボタンを有するマウスと同等のデータをアプリケーションに出力することができる。
【０００５】
また、特許文献２には、パソコンの操作性を向上させ、マウス操作を支援するマウスパッドが記載されている。
【０００６】
この特許文献２に記載されたマウスパッドでは、マウスの操作面上に任意の画像を表示可能とすることによりマウスパッド自体を自由に異なる印象の外観に変更することができる。
【０００７】
さらに、特許文献３には、表示面に接触又は近接する物体に対応するオブジェクトについての位置関係、時間位置変化、及び形状のうちの少なくとも１つに基づいて、利用者の指示を認識する表示装置が記載されている。
【０００８】
この特許文献３に記載された表示装置では、利用者は表示画面上の指等の物体を接触又は近接させる操作を行なうことにより、マウスの指示操作を実現することができる。
【特許文献１】特開平成７−９３０９４号公報（平成７年４月７日公開）
【特許文献２】特開２００８−２７１２０号公報（平成２０年２月７日公開）
【特許文献３】特開２００８−９７１７２号公報（平成２０年４月２４日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の特許文献１〜３に記載された技術では、従来のマウスを用いた、利用者の片手による指示操作を完全に実現することができず、さらなる操作性の向上が不可欠であるといった課題があった。
【００１０】
上記課題に鑑み、本発明の目的は、従来のマウスを用いた利用者の片手による多様な操作指示と同様な操作指示を実現することができる携帯型電子機器、指示入力装置、指示入力方法、指示入力処理プログラム及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係る指示入力装置は、画像を表示するとともに、近傍の像を検知する面状部材と、前記面状部材により検知された像に基づいて、当該像の前記面状部材上での位置を表わす座標を特定する特定手段と、前記面状部材上の互いに異なる位置で、第１の像と第２の像とが、この順で連続して検知されたときに、前記特定手段により特定された第１及び第２の像の座標を比較することで、前記第１及び第２の像の前記面状部材上での位置関係を判定する判定手段と、前記判定手段により判定された位置関係に応じた指示内容を決定する決定手段とを備えている。
【００１２】
上記の指示入力装置では、互いに異なる位置で連続して検出された第１及び第２の像の座標を比較することで、第１及び第２の像の面状部材上での位置関係を判定することができるので、第１及び第２の像の面状部材上での位置関係に応じた指示内容を決定することができる。
【００１３】
このため、利用者は面状部材に２本の指を順番にタッチさせることで、従来のマウスを操作するように指示入力を行なうことができる。
【００１４】
したがって、従来のマウスを用いた利用者の片手による多様な操作指示と同様な操作指示を実現することができる。
【００１５】
前記第１の像の座標が特定されたときに、前記第１の像の座標に基づいて、前記第１の像の前記面状部材上での位置に表示される第１の画像と、前記第１の像と所定の位置関係にある前記第２の像の前記面状部材上での位置に表示される第２の画像と、を前記面状部材上に配置する配置手段をさらに備えていることことが好ましい。
【００１６】
この場合、第１の像の座標が特定されたときに、第１の像の位置に第１の画像を、第２の像が検知されるべき位置に第２の画像を、それぞれ表示することができる。
【００１７】
このため、利用者は、第１及び第２の画像を視認することにより、従来のマウスと同様な操作感覚を持つことができる。
【００１８】
前記配置手段は、前記第１の像が前記面状部材上で移動したときに、前記第１の像の座標変化に従って前記第１及び第２の画像を前記面状部材上で移動させることが好ましい。
【００１９】
この場合、第１の像が面状部材上で移動したときでも、第１及び第２の像の位置に第１及び第２の画像を常に配置することができる。
【００２０】
このため、利用者は、第１及び第２の像の移動に追従して移動する第１及び第２の画像を視認することにより、従来のマウスと同様な操作感覚をより強く持つことができる。
【００２１】
前記第２の像は、前記面状部材上での前記第１の像の座標を含む直線の左側の領域で検知されるべき左側検知像と、前記面状部材上での前記直線の右側の領域で検知されるべき右側検知像と、を含んでおり、前記第２の画像は、前記左側検知像の前記面状部材上での位置に表示される左側画像と、前記右側検知像の前記面状部材上での位置に表示される右側画像と、を含んでいることが好ましい。
【００２２】
この場合、利用者が面状部材上に３本の指をタッチさせる場合でも、第１の像の位置に第１の画像を、左側検知像が検知されるべき位置に左側画像を、右側検知像が検知されるべき位置に右側画像を、それぞれ表示することができる。
【００２３】
このため、利用者は、従来からの２つボタンを有するマウスと同様な操作入力を実現することができる。
【００２４】
前記決定手段により決定される指示内容に応じた画像表示を行なうための表示データを生成する表示制御手段と、前記表示制御手段により生成される表示データに基づく画像を表示する画像表示部材とをさらに備えていることが好ましい。
【００２５】
この場合、第１及び第２の像の位置関係に応じた指示内容に基づく画像表示を画像表示部材に表示させることができる。
【００２６】
前記決定手段により決定される指示内容に応じた画像表示を行なうための表示データを生成する表示制御手段をさらに備え、前記面状部材は、前記表示制御手段により生成される表示データに基づく画像を表示することが好ましい。
【００２７】
この場合、第１及び第２の像の位置関係に応じた指示内容に基づく画像表示を面状部材に表示させることができる。
【００２８】
本発明に係る指示入力方法は、画像を表示するとともに、近傍の像を検知する面状部材を用いた指示入力方法であって、前記面状部材により検知された像に基づいて、当該像の前記面状部材上での位置を表わす座標を特定する特定ステップと、前記面状部材上の互いに異なる位置で、第１の像と第２の像とが、この順で連続して検知されたときに、前記特定ステップにて特定された第１及び第２の像の座標を比較することで、前記第１及び第２の像の前記面状部材上での位置関係を判定する判定ステップと、前記判定ステップにて判定された位置関係に応じた指示内容を決定する決定ステップとを含んでいる。
【００２９】
上記の指示入力方法では、互いに異なる位置で連続して検出された第１及び第２の像の座標を比較することで、第１及び第２の像の面状部材上での位置関係を判定することができるので、第１及び第２の像の面状部材上での位置関係に応じた指示内容を決定することができる。
【００３０】
このため、利用者は面状部材に２本の指を順番にタッチさせることで、従来のマウスを操作するように指示入力を行なうことができる。
【００３１】
したがって、従来のマウスを用いた利用者の片手による多様な操作指示と同様な操作指示を実現することができる。
【００３２】
本発明に係る携帯型電子機器は、上記の指示入力装置を備えている。
【００３３】
上記の携帯型電子機器では、上記の指示入力装置を備えている電子機器が実現される。
【００３４】
また、本発明に係る指示入力装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラム及び該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。
【発明の効果】
【００３５】
本発明の指示入力装置は、画像を表示するとともに、近傍の像を検知する面状部材と、前記面状部材により検知された像に基づいて、当該像の前記面状部材上での位置を表わす座標を特定する特定手段と、前記面状部材上の互いに異なる位置で、第１の像と第２の像とが、この順で連続して検知されたときに、前記特定手段により特定された第１及び第２の像の座標を比較することで、前記第１及び第２の像の前記面状部材上での位置関係を判定する判定手段と、前記判定手段により判定された位置関係に応じた指示内容を決定する決定手段とを備えている。
【００３６】
これにより、従来のマウスを用いた利用者の片手による多様な操作指示と同様な操作指示を実現することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３７】
本発明の一実施形態について図１〜１４に基づいて説明すると以下の通りである。
【００３８】
まず、本実施の形態に係るデータ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００３９】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、利用者が指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００４０】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００４１】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００４２】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００４３】
次に、図３（ａ）及び図３（ｂ）を参照しながら、利用者が、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００４４】
図３（ａ）は、反射像を検知することにより、利用者がタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００４５】
また、図３（ｂ）は、影像を検知することにより、利用者がタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００４６】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００４７】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、及び音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００４８】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００４９】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１及び光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００５０】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００５１】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）及びデータ信号（Ｄ）に従って、制御信号（Ｇ）及びデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００５２】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００５３】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００５４】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００５５】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００５６】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、及び表示データ記憶部６０４を備えている。
【００５７】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）及びデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００５８】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００５９】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００６０】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００６１】
バックライト制御部６０３は、表示データ処理部７０１及びセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００６２】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００６３】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００６４】
データ処理部７００は、表示データ処理部７０１及びセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１及びセンサデータ処理部７０３の少なくとも一方が動作する。
【００６５】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１及びバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００６６】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２及びバックライト制御部６０３に指示を与える。
【００６７】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、及び「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、及び座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００６８】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００６９】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンド及び表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、及び座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００７０】
なお、回路制御部６００、データ処理部７００、及び主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）及びメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００７１】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラム及びデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００７２】
次に、操作部９０３は、データ表示／センサ装置１００の利用者の入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００の利用者の入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００７３】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられている利用者スイッチ９０６などのハードウェアスイッチを想定している。
【００７４】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００７５】
（コマンドの詳細）
次に、図５及び図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、及び、その概要を説明する図である。
【００７６】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、及び「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００７７】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００７８】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、及び“10”（オール）という値が指定可能である。
【００７９】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００８０】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００８１】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００８２】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、及び“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００８３】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００８４】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００８５】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００８６】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００８７】
なお、全体画像データ、部分画像データ、及び座標データの具体例については、模式図を参照しながら後述する。
【００８８】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、及び“10”（反射／透過）という値が指定可能である。
【００８９】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００９０】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００９１】
次に、「スキャン画像階調」フィールドは、部分画像データ及び全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、及び“01”（多値）という値が指定可能である。
【００９２】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データ及び全体画像データをモノクロデータとして、主制御部８００に送信する。
【００９３】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データ及び全体画像データを多階調データとして、主制御部８００に送信する。
【００９４】
次に、「スキャン解像度」フィールドは、部分画像データ及び全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）及び“1”（低）という値が指定可能である。
【００９５】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データ及び全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【００９６】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データ及び全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【００９７】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【００９８】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５及びバックライト駆動回路３０８を制御するように、センサ制御部６０２及びバックライト制御部６０３に指示を与える。
【００９９】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１００】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４及びバックライト駆動回路３０８を制御するように、表示制御部６０１及びバックライト制御部６０３に指示を与える。
【０１０１】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１０２】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１０３】
また、利用者が指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１０４】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、利用者が、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１０５】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、利用者が文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１０６】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、及び座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、利用者が指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１０７】
利用者が指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、利用者がタッチした部分の画素値の明度に変化が生じることとなる。
【０１０８】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、利用者の指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１０９】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１１０】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１１１】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、及び、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成及び周辺回路３０９の構成を示すブロック図である。
【０１１２】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、及び、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１１３】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、及びＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１１４】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇ及びＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１１５】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、及びＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１１６】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１１７】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、及びセンサ出力アンプ４４について説明する。
【０１１８】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１及びデータ信号線駆動回路３０４２を含んでいる。
【０１１９】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１２０】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、及びＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１２１】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１２２】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１２３】
（データ表示／センサ装置を備えた電子機器）
次に、本実施の形態に係るデータ表示／センサ装置１００を備えた電子機器について説明する。データ表示／センサ装置１００は、小型化、携帯化された電子機器、例えば、ノート型パーソナルコンピュータに取り付けられる。もちろん、データ表示／センサ装置１００の取り付けは、ノート型パーソナルコンピュータに限定されるものではなく、人によって持ち運ばれることにより移動可能な電子機器であってもよい。例えば、ゲーム機器、携帯電話、ＰＤＡ等の携帯情報端末である。いずれの電子機器においても、同様の効果を奏することができる。
【０１２４】
以下、本実施の形態では、ノート型パーソナルコンピュータに取り付けられたデータ表示／センサ装置１００の実施の形態として説明する。図９は、データ表示／センサ装置１００を備えたノート型パーソナルコンピュータ１０１の外観図である。
【０１２５】
このノート型パーソナルコンピュータ１０１は、図９に示すように、データ表示／センサ装置１００の第１表示／光センサ部３００Ａで構成された入力パッド（面状部材）３００Ｃと、データ表示／センサ装置１００の第２表示／光センサ部３００Ｂで構成された表示パネル（画像表示部材）３００Ｄと、を備えている。
【０１２６】
なお、ここでは、入力パッド３００Ｃと表示パネル３００Ｄは互いに異なる第１表示／光センサ部３００Ａと第２表示／光センサ部３００Ｂで各々を実現しているが、入力パッド３００Ｃと表示パネル３００Ｄを第１表示／光センサ部３００Ａで実現しても構わない。つまり、１つの表示／光センサ部３００Ａが入力パッド３００Ｃ及び表示パネル３００Ｄを兼ねる構成であってもよい。
【０１２７】
入力パッド３００Ｃは、利用者が入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上を指で操作することにより、表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上に表示されているポインタの移動や、そのセンサ内蔵液晶パネル３０１上の各メニュー画面の選択操作等を可能とする。ポインタは、表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上において、指示や操作に対象を指し示すためのものである。
【０１２８】
例えば、利用者の指が入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上をタッチしながら移動させれば、その軌跡に従って表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上のポインタを移動させることができる。
【０１２９】
図１０は、図９に示した入力パッド３００Ｃの周辺部の拡大図である。図１０に示すように、入力パッド３００Ｃは、データ表示／センサ装置１００の操作部９０３に含まれるキーボードの近傍に配置されており、利用者は、例えば、キーボードの入力操作を休止したときに、入力パッド３００Ｃを指で操作することができる。
【０１３０】
入力パッド３００Ｃは、利用者が入力パッド３００Ｃを指で操作するときに従来のマウスと同様な操作感覚を持てるよう、利用者が自身の指を配置すべき領域であると視認可能な指位置画像３０を、自身のセンサ内蔵液晶パネル３０１上に表示する。この指位置画像３０は、利用者の第１の指（第１の像）がタッチすべき領域を表わす中央画像（第１の画像）３０ａと、利用者の手における第１の指の左側に位置する第２の指（第２の像）がタッチすべき領域を表わす左側画像（第２の画像）３０ｂと、利用者の手における第１の指の右側に位置する第３の指（第２の像）がタッチすべき領域を表わす右側画像（第２の画像）３０ｃと、から成っている。すなわち、この指位置画像３０は、利用者にとっては、仮想的なマウス（仮想マウス）を構成するものである。
【０１３１】
図１１は、利用者の指が指位置画像３０に実際にタッチしているときの様子を示す図である。図１１に示すように、例えば、利用者の右手により入力パッド３００Ｃが操作される場合であれば、中央画像３０ａには利用者の中指が第１の指４１としてタッチし、左側画像３０ｂには利用者の人差指が第２の指４２としてタッチし、右側画像３０ｃには利用者の薬指が第３の指４３としてタッチする。
【０１３２】
あるいは、中央画像３０ａに利用者の人差指が第１の指４１としてタッチしたのであれば、左側画像３０ｂには利用者の親指が第２の指４２としてタッチし、右側画像３０ｃには利用者の中指が第３の指４３としてタッチすることになる。
【０１３３】
もちろん、利用者の左手により入力パッド３００Ｃが操作される場合であれば、中央画像３０ａ、左側画像３０ｂ及び右側画像３０ｃへの第１の指４１、第２の指４２及び第３の指４３のタッチは上記の場合と逆になるのは言うまでもない。
【０１３４】
利用者の指による入力パッド３００Ｃの操作は、例えば、次のように実行される。
【０１３５】
先ず、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上における任意の位置に利用者の第１の指がタッチすると、そのタッチ位置に中央画像３０ａが配置されるように、指位置画像３０が表示される。
【０１３６】
そして、利用者が第１の指をタッチしたままで入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上を移動させると、その移動に合わせて表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上におけるポインタの位置を移動させることができる。
【０１３７】
この場合、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上における第１の指の移動距離や方向、速度などを検知し、これに応じて表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上に表示されるポインタの相対的な動きを制御すればよい。なお、１つの表示／光センサ部３００Ａが入力パッド３００Ｃ及び表示パネル３００Ｄを兼ねる構成とした場合には、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上における第１の指の座標と表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上におけるポインタの座標とは絶対座標により対応づけられることになる。
【０１３８】
第１の指が入力パッド３００Ｃのセンサ内蔵液晶パネル３０１の端で止まって、それ以上動かせなくなったときには、第１の指を入力パッド３００Ｃのセンサ内蔵液晶パネル３０１の中央付近に戻して操作を続けることにより、表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上におけるポインタの移動を続けることができる。
【０１３９】
ここで、指位置画像３０は、第１の指が入力パッド３００Ｃにタッチする以前から表示させておいてもよい。この場合、利用者の第１の指が、既に表示されている指位置画像３０の中央画像３０ａ上にタッチせず、異なる位置にタッチしたときには、そのタッチ位置に中央画像３０ａが配置されるように、指位置画像３０を移動させればよい。
【０１４０】
また、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に第１の指のみがタッチし、第２、第３の指がタッチする以前においては、指位置画像３０を表示させないようにしてもよい。この場合、後述する第２、第３の指がタッチされた後に指位置画像３０を表示させればよい。
【０１４１】
次に、第１の指が入力パッド３００Ｃにタッチした状態で、左側画像３０ｂ上に第２の指がタッチすると、表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上において、ポインタの位置にあるアイコン、ファイル等が選択される。
【０１４２】
そして、利用者が第１及び第２の指をタッチしたままで入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上を移動させると、その移動に合わせて表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上における、ポインタにより選択されたアイコン等を移動させることができる。
【０１４３】
さらに、第１の指がタッチした状態で、第２の指が入力パッド３００Ｃから離れると、その移動先の位置においてアイコン等の選択状態が解除され、その位置においてアイコン等を保持することができる。
【０１４４】
一方、第２の指がタッチした状態で、第１の指が入力パッド３００Ｃから離れると、その移動先の位置においてアイコン等の選択状態は維持される。そして、再び、第１の指がタッチすると、第１及び第２の指をタッチしたままで入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上を移動させることにより、ポインタにより選択されたアイコン等の移動を継続することができる。
【０１４５】
同様に、第１の指が入力パッド３００Ｃにタッチした状態で、右側画像３０ｃ上に第３の指がタッチすると、表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上においてポインタの位置にあるアイコン、ファイル等が選択される。
【０１４６】
そして、利用者が第１及び第３の指をタッチしたままで入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上を移動させると、その移動に合わせて表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上における、ポインタにより選択されたアイコン等を移動させることができる。
【０１４７】
さらに、第１の指がタッチした状態で、第３の指が入力パッド３００Ｃから離れると、その移動先の位置においてアイコン等の選択状態が解除され、その位置においてアイコン等を保持することができる。
【０１４８】
一方、第３の指がタッチした状態で、第１の指が入力パッド３００Ｃから離れると、その移動先の位置においてアイコン等の選択状態は維持される。そして、再び、第１の指がタッチすると、第１及び第３の指をタッチしたままで入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上を移動させることにより、ポインタにより選択されたアイコン等の移動を継続することができる。
【０１４９】
なお、本実施の形態における、利用者の指による入力パッド３００Ｃの操作は、上述した内容に限られるものではない。例えば、利用者の指による入力パッド３００Ｃの操作には、以下のものが含まれる。
（Ａ）入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に第１の指がタッチすることによりポインタで指示や操作の対象を指し示す「ポイント」操作
（Ｂ）入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に第２の指が１回だけタッチする「左クリック」操作
（Ｃ）入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に第３の指が１回だけタッチする「右クリック」操作
（Ｄ）入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に第２の指が連続して２回タッチする「ダブルクリック」操作
（Ｅ）入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上を第１及び第２の指がタッチしたままで移動する「左ドラッグ」操作
（Ｆ）入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上を第１及び第３の指がタッチしたままで移動する「右ドラッグ」操作
（Ｇ）「左ドラッグ」操作または「右ドラッグ」操作の後に第２または第３の指が入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上から離脱することにより「左ドラッグ」操作または「右ドラッグ」操作中の対象が移動等を完了させる「ドロップ」操作
（主制御部及び記憶部の構成）
次に、本実施の形態に係るデータ表示／センサ装置１００の主制御部８００及び記憶部９０１の構成について説明する。ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００及び回路制御部６００の動作については説明を省略する。
【０１５０】
ただし、正確には、データの表示及び対象物のスキャンを行なうにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。
【０１５１】
また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、及び座標データを取得する。
【０１５２】
図１は、データ表示／センサ装置１００の主制御部８００及び記憶部９０１の構成を示すブロック図である。データ表示／センサ装置１００の主制御部８００は、図１に示すように、データ取得部１１と、特定部（特定手段）１２と、判定部（判定手段）１３と、決定部（決定手段）１４と、配置部（配置手段）１５と、表示制御部（表示制御手段）１６とを有している。
【０１５３】
また、データ表示／センサ装置（指示入力装置）１００の記憶部９０１は、図１に示すように、座標情報記憶部２１と、判定条件記憶部２２と、判定結果記憶部２３と、指示内容記憶部２４と、を有している。
【０１５４】
データ取得部１１は、主制御部８００からのコマンドに応じてデータ処理部７００のセンサデータ処理部７０３が主制御部８００に送信する座標データを取得する。
【０１５５】
ここで、データ取得部１１は、センサデータ処理部７０３から座標データを取得するため、主制御部８００がデータ処理部７００に送信するコマンドの「データ種別」フィールドに“座標”を指定する。
【０１５６】
さらに、データ取得部１１は、「データ種別」フィールドの指定に加えて、「データ取得タイミング」フィールドに“オール”を指定し、所定の周期で座標データを取得する。
【０１５７】
また、データ取得部１１は、センサデータ処理部７０３により複数の部分画像データが抽出された場合には、各部分画像データの座標データを取得する。
【０１５８】
座標情報記憶部２１は、データ取得部１１により取得された座標データを記憶する。そして、座標情報記憶部２１は、データ取得部１１が複数の部分画像データの座標データを同時に取得した場合には、各部分画像データの座標データが識別可能となるように、部分画像データと座標データとを関連付けて記憶する。
【０１５９】
特定部１２は、データ取得部１１により取得された座標データが入力されると、座標情報記憶部２１に記憶された座標データを読み出し、データ取得部１１からの座標データと比較する。そして、特定部１２は、その比較結果に基づいて、座標情報記憶部２１に記憶された座標データを持つ部分画像データのうち、データ取得部１１により取得された座標データを持つ部分画像データと一致するものがあるか否かを特定する。
【０１６０】
ここで、座標情報記憶部２１は、データ取得部１１により取得された座標データを持つ部分画像データと一致する、座標情報記憶部２１に記憶された座標データを持つ部分画像データがあった場合には、その特定結果に基づいて、データ取得部１１により取得された座標データを、その特定された部分画像に関連付けて記憶する。
【０１６１】
この場合、その部分画像データに対応する、センサ内蔵液晶パネル３０１上における対象物は、センサ内蔵液晶パネル３０１上をタッチしながら移動または待機していることになる。そして、その移動または待機、並びに、移動している場合における移動量及び移動方向については、特定部１２が、データ取得部１１からの座標データと座標情報記憶部２１からの座標データを用いて、特定することができる。
【０１６２】
一方、座標情報記憶部２１は、データ取得部１１により取得された座標データを持つ部分画像データと一致する、座標情報記憶部２１に記憶された座標データを持つ部分画像データがなかった場合には、その特定結果に基づいて、データ取得部１１により取得された座標データを、新たな部分画像データの座標データとして記憶する。
【０１６３】
この場合、その部分画像データに対応する、センサ内蔵液晶パネル３０１上における対象物は、センサ内蔵液晶パネル３０１上に新たにタッチしたことになる。
【０１６４】
また、特定部１２は、座標情報記憶部２１に記憶された座標データを持つ部分画像データのうち、データ取得部１１により取得された座標データを持つ部分画像データと一致するものがないものについては、座標情報記憶部２１から削除する。
【０１６５】
この場合、その部分画像データに対応する、センサ内蔵液晶パネル３０１上における対象物は、センサ内蔵液晶パネル３０１上から離脱したことになる。
【０１６６】
判定部１３は、特定部１２による特定結果に基づいて、利用者の指による入力パッド３００Ｃの操作内容を判定する。具体的には、判定部１３は、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に第１〜３の指がタッチしたか否か、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上において第１〜３の指がタッチしたまま移動したか否か、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上から第１〜第３の指が離脱したか否かを判定する。さらに、判定部１３は、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上において第１〜３の指がタッチしたまま移動したとの判定を行なう場合には、その移動方向及び移動量についても特定部１２から取得する。
【０１６７】
また、判定部１３は、利用者の指による入力パッド３００Ｃの操作を判定する際には、後述する判定条件記憶部２２にあらかじめ記憶されている判定条件を参照する。
【０１６８】
判定条件記憶部２２は、判定部１３が利用者の指による入力パッド３００Ｃの操作を判定する際に参照すべき判定条件をあらかじめ記憶している。この判定条件としては、例えば、次のものが挙げられる。
（Ａ）入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上にタッチする指が第１の指であると判定するための条件
（Ｂ）入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上にタッチする指が第２の指であると判定するための条件
（Ｃ）入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上にタッチする指が第３の指であると判定するための条件
具体的には、上記の（Ａ）の条件は、例えば、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に利用者の指のいずれもタッチしていない状態から新たにタッチされた指であること、である。
【０１６９】
上記の（Ｂ）の条件は、例えば、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に第１の指がタッチしている状態において、第１の指の左側に位置する領域に新たにタッチされた指であること、である。
【０１７０】
この（Ｂ）の条件の場合、第１の指のタッチ位置を基準とする第２の指がタッチすべき領域があらかじめ定められている。そして、この第２の指がタッチすべき領域を利用者が視認可能となるよう、この第２の指がタッチすべき領域に指位置画像３０の左側画像３０ｂが表示されることになる。
【０１７１】
なお、この第２の指がタッチすべき領域の形状と左側画像３０ｂの形状とが完全に一致する必要はない。要は、利用者が左側画像３０ｂに向かって第２の指をタッチさせたときに、第２の指がタッチすべき領域にタッチできればよい。
【０１７２】
また、この第２の指がタッチすべき領域は、例えば、上述したように第１の指が中指、第２の指が人差指の場合であれば、中指の位置を固定した後に人差指が通常動くことが可能と考えられる範囲に基づいて設定しておけばよい。
【０１７３】
上記の（Ｃ）の条件は、例えば、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に第１の指がタッチしている状態において、第１の指の右側に位置する領域に新たにタッチされた指であること、である。
【０１７４】
この（Ｃ）の条件の場合、第１の指のタッチ位置を基準とする第３の指がタッチすべき領域があらかじめ定められている。そして、この第３の指がタッチすべき領域を利用者が視認可能となるよう、この第３の指がタッチすべき領域に指位置画像３０の右側画像３０ｃが表示されることになる。
【０１７５】
なお、この第３の指がタッチすべき領域の形状と右側画像３０ｃの形状とが完全に一致する必要はない。要は、利用者が右側画像３０ｃに向かって第３の指をタッチさせたときに、第３の指がタッチすべき領域にタッチできればよい。
【０１７６】
また、この第３の指がタッチすべき領域は、例えば、上述したように第１の指が中指、第２の指が薬指の場合であれば、中指の位置を固定した後に薬指が通常動くことが可能と考えられる範囲に基づいて設定しておけばよい。
【０１７７】
判定部１３は、このような判定条件記憶部２２に記憶されている判定条件を参照しながら、特定部１２による特定結果に基づいて、利用者の指による入力パッド３００Ｃの操作内容を判定する。
【０１７８】
判定結果記憶部２３は、判定部１３からの判定結果を記憶する。そして、判定結果記憶部２３は、自身が記憶している判定結果を後述する決定部１４及び配置部１５に出力する。
【０１７９】
決定部１４は、判定部１３からの判定結果に基づいて、表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上において実行すべき指示内容を決定する。そして、決定部１４は、その決定された指示内容を、後述する表示制御部１６に出力する。また、決定部１４は、判定結果記憶部２３に記憶されている過去の判定結果を参照しながら、表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上において実行すべき指示内容を決定する。
【０１８０】
さらに、決定部１４は、表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上において実行すべき指示内容を決定する際、後述する指示内容記憶部２４にあらかじめ記憶されている指示内容のうち、判定部１３からの判定結果、つまり、利用者の指による入力パッド３００Ｃの操作内容に対応する指示内容を抽出し、その指示内容を表示制御部１６に出力する。
【０１８１】
指示内容記憶部２４は、利用者の指による入力パッド３００Ｃの操作内容に対応する指示内容をあらかじめ記憶する。この指示内容は、利用者の指による入力パッド３００Ｃの操作に基づいて、表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上において実行される指示内容である。上述したように、利用者の指による入力パッド３００Ｃの操作は、「ポイント」操作、「左クリック」操作、「右クリック」操作等が含まれるが、指示内容記憶部２４は、これら操作に一対一に対応する指示内容をあらかじめ記憶している。
【０１８２】
配置部１５は、判定結果記憶部２３に記憶されている判定結果に基づいて、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に指位置画像３０を配置する。
【０１８３】
具体的には、判定結果記憶部２３は、判定部１３による判定結果、つまり、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に第１の指がタッチしたか否か、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上において第１の指がタッチしたまま移動したか否か、及び、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上から第１の指が離脱したか否か、を記憶している。配置部１５は、このような判定結果に基づいて、第１の指のタッチに合わせて指位置画像３０を入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に表示させ、第１の指のタッチしたままの移動に合わせて指位置画像３０を入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上を移動させ、第１の指の離脱に合わせて入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上における指位置画像３０の表示を停止する。
【０１８４】
また、配置部１５は、このような入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上における指位置画像３０の振る舞いを表示制御部１６に指示する。
【０１８５】
表示制御部１６は、決定部１４及び配置部１５の各々の出力に応じた表示データを生成する。具体的には、表示制御部１６は、決定部１４から表示パネル３００Ｄのセンサ内蔵液晶パネル３０１上における指示内容を受け取った場合には、自身が生成する表示データを表示パネル３００Ｄに出力するため、主制御部８００がデータ処理部７００に送信するコマンドの「表示パネル」フィールドに“010”を指定する。
【０１８６】
一方、表示制御部１６は、配置部１５から入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上における指位置画像３０についての指示を受け取った場合には、自身が生成する表示データを入力パッド３００Ｃに出力するため、主制御部８００がデータ処理部７００に送信するコマンドの「表示パネル」フィールドに“001”を指定する。
【０１８７】
次に、図１２〜１４を用いて、ノート型パーソナルコンピュータ１０１が利用者の指による入力パッド３００Ｃの操作に応じて行なう処理の典型例について説明する。
【０１８８】
図１２は、利用者の第１の指による入力パッド３００Ｃの操作に応じて行なわれる処理の手順を示すフローチャートである。
【０１８９】
図１２に示すように、判定部１３は、特定部１２による特定結果に基づいて、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上における第１の指のタッチ位置（第１の位置）を特定する（ステップＳ１０１）。本ステップＳ１０１においては、判定結果記憶部２３は、この判定部１３による第１の位置の特定結果を記憶する。
【０１９０】
配置部１５は、判定結果記憶部２３に記憶されている第１の位置の特定結果に基づいて、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に仮想マウスである指位置画像３０を配置する（ステップＳ１０２）。
【０１９１】
そして、第１の位置が移動した場合には（ステップＳ１０３ＹＥＳ）、配置部１５は、その移動に応じて仮想マウスである指位置画像３０を入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上において移動させ（ステップＳ１０４）、再び、ステップＳ１０３に戻る。
【０１９２】
一方、第１の位置が移動しない場合には（ステップＳ１０３ＮＯ）、配置部１５は、仮想マウスである入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上において待機させることになる（ステップＳ１０５）。
【０１９３】
図１３及び図１４は、利用者の第１、第２及び第３の指による入力パッド３００Ｃの操作に応じて行われる処理の手順を示すフローチャートである。なお、ここでは、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上に第１の指が既にタッチした状態にあるものとする。
【０１９４】
図１３に示すように、判定部１３は、特定部１２による特定結果に基づいて、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上における第２または第３の指のタッチ位置（第２の位置）を特定する（ステップＳ２０１）。本ステップＳ２０１においては、判定結果記憶部２３は、この判定部１３による第２の位置の特定結果を記憶する。
【０１９５】
そして、第２の位置が第１の位置の左側であれば（ステップＳ２０２左側）、決定部１４は、第２の位置が第１の位置の左側である場合に対応する指示内容を指示内容記憶部２４から抽出し、決定する（ステップＳ２０３）。
【０１９６】
一方、第２の位置が第１の位置の右側であれば（ステップＳ２０２右側）、決定部１４は、第２の位置が第１の位置の右側である場合に対応する指示内容を指示内容記憶部２４から抽出し、決定する（ステップＳ２０４）。
【０１９７】
決定部１４は、上記のステップＳ２０３またはステップＳ２０４において決定された指示内容を表示制御部１６に出力する。そして、表示制御部１６は、決定部１４から出力された指示内容に応じて表示データを生成する（ステップＳ２０５）。
【０１９８】
そして、第１及び第２の位置が移動しなければ（ステップＳ２０６ＮＯ）、処理が終了する。
【０１９９】
一方、第１及び第２の位置が移動した場合には（ステップＳ２０６ＹＥＳ）、図１４に示すように、配置部１５は、その移動に応じて仮想マウスである指位置画像３０を入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上において移動させる（ステップＳ３０１）。
【０２００】
そして、第１及び第２の位置のいずれも特定可能である限り（ステップＳ３０２ＮＯ）、再び、上記のステップＳ３０１に戻る。
【０２０１】
一方、第１または第２の位置が特定不可の場合においては（ステップＳ３０２ＹＥＳ）、第１の位置が特定不可であれば（ステップＳ３０３第１の位置）、配置部１５は、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上において仮想マウスである指位置画像３０をそのまま待機させる（ステップＳ３０４）。そして、再び、判定部１３は、特定部１２による特定結果に基づいて、入力パッド３００Ｃのセンサ内蔵液晶パネル３０１上における第１の位置を特定し（ステップＳ３０５）、再び、上記のステップＳ２０６に戻る。
【０２０２】
一方、第２の位置が特定不可であれば（ステップＳ３０３第２の位置）、決定部１４は、自身が決定した指示内容の実行の停止を図るべく、表示制御部１６に表示データ生成の停止を指示する（ステップＳ３０６）。そして、再び、上記のステップＳ２０１に戻ることになる。
【０２０３】
（プログラム、コンピュータ読み取り可能な記録媒体）
また、データ表示／センサ装置１００の各ブロック、特に主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにコンピュータを用いてソフトウェアによって実現してもよい。
【０２０４】
すなわち、主制御部８００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである主制御部８００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記主制御部８００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２０５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２０６】
また、主制御部８００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２０７】
本発明は、様々な電子機器の指示入力装置として適用することが可能である。特に、携帯型の電子機器の入力装置として適用した場合には、片手で従来のマウスと同様の入力操作を行なうことができるので、携帯電話機、ＰＤＡ（Personal Digital Assistance）、携帯型ゲーム機等に好適に適用できる。
【図面の簡単な説明】
【０２０８】
【図１】本発明の一実施形態に係るデータ表示／センサ装置が備える主制御部及び記憶部の構成を示すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、利用者がタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、利用者がタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、及び、その概要を説明する図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、利用者が指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成及びその周辺回路の構成を示すブロック図である。
【図９】本発明の一実施形態に係るデータ表示／センサ装置を備えるノート型パーソナルコンピュータの外観図である。
【図１０】図９に示した入力パッドの周辺部の拡大図である。
【図１１】利用者の指が指位置画像に実際にタッチしているときの様子を示す図である。
【図１２】利用者の第１の指による入力パッドの操作に応じて行なわれる処理の手順を示すフローチャートである。
【図１３】利用者の第１、第２及び第３の指による入力パッドの操作に応じて行われる処理の手順を示すフローチャートである（その１）。
【図１４】利用者の第１、第２及び第３の指による入力パッドの操作に応じて行われる処理の手順を示すフローチャートである（その２）。
【符号の説明】
【０２０９】
１１    データ取得部
１２    特定部（特定手段）
１３    判定部（判定手段）
１４    決定部（決定手段）
１５    配置部（配置手段）
１６    表示制御部（表示制御手段）
２１    座標情報記憶部
２２    判定条件記憶部
２３    判定結果記憶部
２４    指示内容記憶部
３０    指位置画像
３０ａ    中央画像（第１の画像）
３０ｂ    左側画像（第２の画像）
３０ｃ    右側画像（第１の画像）
４１    第１の指（第１の像）
４２    第２の指（第２の像）
４３    第３の指（第２の像）
１００    データ表示／センサ装置（指示入力装置）
１０１    ノート型パーソナルコンピュータ（携帯型電子機器）
３００    表示／光センサ部
３００Ｃ    入力パッド（面状部材）
３００Ｄ    表示パネル（画像表示部材）
３０１    センサ内蔵液晶パネル
７００    データ処理部
８００    主制御部
９０１    記憶部
【図１】
2010113675.tif 000003
【図２】
2010113675.tif 000004
【図３】
2010113675.tif 000005
【図４】
2010113675.tif 000006
【図５】
2010113675.tif 000007
【図６】
2010113675.tif 000008
【図７】
2010113675.tif 000009
【図８】
2010113675.tif 000010
【図９】
2010113675.tif 000011
【図１０】
2010113675.tif 000012
【図１１】
2010113675.tif 000013
【図１２】
2010113675.tif 000014
【図１３】
2010113675.tif 000015
【図１４】
2010113675.tif 000016