(57)【要約】【課題】情報機器とユーザとの間の対話を円滑化する。【解決手段】本発明に係る像検知装置は、面状部材（センサ内蔵液晶パネル３０１など）が検知した対象物（指６４など）の像から対象物の向きを検出し、面状部材上の選択された領域（選択領域３６０）を検出し、当該領域における向きに沿った先端側の点（領域端点３６０ａ）を検出し、当該領域の幅を検出したうえで、上記先端側の点を中心とし直径が当該領域の幅以下の円形領域と、対象物により選択された上記領域とを合わせて入力領域として認識する。【選択図】図２
2010128566.tif 000002
【特許請求の範囲】
【請求項１】
近傍に位置する対象物の像を検知する面状部材と、
上記面状部材が検知した対象物の像から当該面状部材に対する対象物の向きを検出する向き検出手段と、
上記面状部材が検知した対象物の像に基づいて、当該対象物により選択された当該面状部材上の領域Ａを検出する選択領域検出手段と、
上記選択領域検出手段が検出した上記領域Ａの、上記対象物の向きに沿った先端側の点と後端側の点とを検出する領域端検出手段と、
上記先端側の点と後端側の点との間の距離を、上記領域Ａの幅として検出する領域幅検出手段と、
上記先端側の点を中心又は重心とし、かつ最大幅が上記領域Ａの幅以下となる領域Ｂと、対象物により選択された上記領域Ａとを合わせて、上記面状部材に対する入力領域として認識する入力領域認識手段と、
を備えることを特徴とする像検知装置。
【請求項２】
前記領域Ｂの最大幅が、前記領域Ａの幅に正比例して変動することを特徴とする請求項１に記載の像検知装置。
【請求項３】
前記面状部材に複数の入力キーが設けられており、
前記領域Ｂの最大幅が、隣接する入力キーのキーピッチ以下であることを特徴とする請求項１又は２に記載の像検知装置。
【請求項４】
前記面状部材が画像を表示する機能をさらに有し、前記領域Ｂを示すポインタを当該面状部材に表示することを特徴とする請求項１から３の何れか一項に記載の像検知装置。
【請求項５】
前記領域Ｂが、上記先端側の点を中心とし、かつ直径が上記領域Ａの幅以下の円形領域であることを特徴とする請求項１から４の何れか一項に記載の像検知装置。
【請求項６】
前記面状部材が、当該面状部材上の各位置における受光量を検出するフォトダイオード群を備え、当該フォトダイオード群が検出した受光量の変化に基づいて上記近傍の像を検知することを特徴とする請求項１から５の何れか一項に記載の像検知装置。
【請求項７】
請求項１から６のいずれか一項に記載の像検知装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるための、プログラム。
【請求項８】
近傍に位置する対象物の像を検知する面状部材を備えてなる像検知装置における入力領域の認識方法であって、
上記面状部材が検知した対象物の像から当該面状部材に対する対象物の向きを検出する向き検出工程と、
上記面状部材が検知した対象物の像に基づいて、当該対象物により選択された当該面状部材上の領域Ａを検出する選択領域検出工程と、
上記選択領域検出工程にて検出した上記領域Ａの、上記対象物の向きに沿った先端側の点と後端側の点とを検出する領域端検出工程と、
上記先端側の点と後端側の点との間の距離を、上記領域Ａの幅として検出する領域幅検出工程と、
上記先端側の点を中心又は重心とし、かつ最大幅が上記領域Ａの幅以下となる領域Ｂと、対象物により選択された上記領域Ａとを合わせて、上記面状部材に対する入力領域として認識する入力領域認識工程と、
を含むことを特徴とする入力領域の認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、像検知装置、及び該装置における入力領域の認識方法に関するものである。また、当該像検知装置を動作させるためのプログラムに関する。
【背景技術】
【０００２】
情報化社会の発展に伴い、様々な場面において情報機器が利用される。そのため、情報機器とそのユーザとの対話を円滑化する技術は非常に重要である。特に、近年、低コストでかつデザイン性に優れるという観点から、タッチパネル式の入力キーを備えた情報機器が増加しているが、誤入力の問題も生じやすい。そのため、とりわけ、情報機器に対する、ユーザによる情報入力を円滑化する技術の開発がもとめられている。
【０００３】
例えば、特許文献１には、情報機器の表示／入力画面に指でタッチした場合に、当該タッチ位置を中心として環状に複数のメニュー項目を表示してユーザを補助する技術が開示されている。
【０００４】
また、特許文献２には、片手で操作がなされる情報機器において、ユーザが左右どちらの手で当該機器を持っているかを検知して、検知結果に応じて表示／入力画面上の入力キーの配列を変更してユーザを補助する技術が開示されている。
【特許文献１】特開２００６−１３９６１５号公報（公開日：２００６年６月１日）
【特許文献２】特開２００８−０２７１８３号公報（公開日：２００８年２月７日）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１及び２に記載の技術では、ユーザによる情報入力は十分には円滑とはならず、さらなる改良がもとめられている。
【０００６】
とりわけ、情報機器の小型化に伴い、入力キー自身もより小さくなり、かつ片手で操作を行うユーザが増加したため、誤入力の問題がより生じ易くなっている現状がある。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、特に情報機器に対するユーザの入力を円滑化する技術を提供することを主たる目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る像検知装置は、上記の課題を解決するために、像を検知する面状部材と、面状部材が検知した対象物の像から対象物の向きを検出する向き検出手段と、面状部材が検知した対象物の像に基づいて、選択された当該面状部材上の領域Ａを検出する選択領域検出手段と、当該領域Ａの、上記向きに沿った先端側の点と後端側の点とを検出する領域端検出手段と、先端側の点と後端側の点との間の距離を領域Ａの幅として検出する領域幅検出手段と、先端側の点を中心又は重心とし、かつ最大幅が上記領域Ａの幅以下となる領域Ｂと、対象物により選択された上記領域Ａとを合わせて、面状部材に対する入力領域として認識する入力領域認識手段と、を備えることを特徴としている。
【０００９】
上記の構成によれば、対象物による現実の選択領域（領域Ａ）と、当該対象物の向きの先端側に位置する所定の最大幅を持つ領域Ｂとを合わせて面状部材に対する入力領域として認識する。これにより、対象物の向きに応じた、より正確な入力操作を実現することができる。
【００１０】
また、通常、上記先端側の点と後端側の点との間の距離が短いほど、対象物の先端部による正確な入力である可能性がより高い。したがって、上記の構成によれば、対象物の向きに沿った選択領域の幅、すなわち入力の確からしさを考慮して、上記領域Ｂの最大幅の上限を決定することができる。
【００１１】
なお、本発明において「領域Ｂの最大幅」とは、領域Ｂ内に位置する任意の二点間の距離のうち最大になる長さを指す。例えば、領域Ｂが円形の場合はその直径が、楕円形の場合はその長軸の長さが最大幅に相当する。また、領域ＢがＮ角形（ここでＮは３以上の整数）の場合は任意の二つの頂点を結んだ線分のうち最長のものの長さが、最大幅に相当する。また、領域Ｂが角丸Ｎ角形（ここでＮは３以上の整数）の場合は任意の二つの丸い頂点を結んだ線分のうち最長のものの長さが、最大幅に相当する。
【００１２】
本発明に係る像検知装置では、領域Ｂの最大幅が、上記領域Ａの幅に正比例して変動する構成であってもよい。
【００１３】
通常、上記領域Ａの幅が長いほど不正確な入力である可能性が高く、当該幅が短いほど正確な入力である可能性がより高い。
【００１４】
上記の構成によれば、上記領域Ａの幅が長いほど入力領域として認識される領域Ｂの最大幅が長くなり、領域Ａの幅が短いほど当該領域Ｂの最大幅が短くなるので、入力の確からしさを踏まえたより正確な入力操作を実現することができる。
【００１５】
本発明に係る像検知装置では、面状部材に複数の入力キーが設けられており、上記領域Ｂの最大幅が、隣接する入力キーのキーピッチ以下である構成であってもよい。
【００１６】
上記の構成によれば、キーピッチに応じて上記領域Ｂの最大幅の上限を決定し、より正確な入力操作を実現することができる。
【００１７】
なお、上記キーピッチとは、隣接する入力キーの重心間距離である。
【００１８】
本発明に係る像検知装置では、さらに、面状部材が画像を表示する機能を有し、領域Ｂを示すポインタを面状部材に表示する構成であってもよい。
【００１９】
上記の構成によれば、入力領域と認識される上記領域Ｂの範囲がポインタで示されるため、ユーザの入力操作を補助することができる。
【００２０】
本発明に係る像検知装置では、上記領域Ｂが、上記先端側の点を中心とし、かつ直径が上記領域Ａの幅以下の円形領域であってもよい。
【００２１】
本発明に係る像検知装置では、面状部材がフォトダイオード群を備え、当該フォトダイオード群が検出した受光量の変化に基づいて上記像を検知する構成であってもよい。
【００２２】
本発明に係る入力領域の認識方法は、上記の課題を解決するために、像を検知する面状部材を備えてなる像検知装置における入力領域の認識方法であって、当該像から面状部材に対する対象物の向きを検出する向き検出工程と、当該像に基づいて対象物により選択された面状部材上の領域Ａを検出する選択領域検出工程と、当該領域Ａの、上記向きに沿った先端側の点と後端側の点とを検出する領域端検出工程と、先端側の点と後端側の点との間の距離を領域Ａの幅として検出する領域幅検出工程と、先端側の点を中心又は重心とし、かつ最大幅が上記領域Ａの幅以下となる領域Ｂと、対象物により選択された上記領域Ａとを合わせて、上記面状部材に対する入力領域として認識する入力領域認識工程と、を含むことを特徴としている。
【００２３】
上記の構成によれば、本発明に係る像検知装置と同様の作用効果を奏する。
【００２４】
また、本発明に係る像検知装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。
【発明の効果】
【００２５】
本発明によれば、像を検知する面状部材における、対象物による現実の選択領域（領域Ａ）と、当該対象物の向きの先端側に位置する所定の最大幅の領域Ｂとを合わせて面状部材に対する入力領域として認識する。これにより、対象物の向きに応じた、より正確な入力操作を実現することができる。
【発明を実施するための最良の形態】
【００２６】
（データ表示／センサ装置の動作の概要）
図１は、本発明の一実施形態に係るデータ表示／センサ装置１００の外観を模式的に示す図である。図１に示すように、データ表示／センサ装置１００は筐体の一面にセンサ内蔵液晶パネル（面状部材）３０１が配設されており、その長方形状のパネル面（表示面）にて画像の表示及び情報の入力を受付けるタッチパネル式の入力／表示装置である。データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１が配されないグリップ部１００ａを有し、ユーザが当該グリップ部１００ａを片手で握り持ちながら、片手の親指（対象物）６４により情報の入力などの操作がなされる。
【００２７】
図２は、図１に記載のデータ表示／センサ装置１００の動作の一例を模式的に示す図である。一例において、センサ内蔵液晶パネル３０１の表示面には、複数の入力キー３５０から構成されるスクリーンキーボード３５１が表示されている。
【００２８】
ここで、指６４が上記表示面上の特定の領域（選択領域３６０（領域Ａに相当））を選択したとき、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に対する指６４の向きに基づいて、当該選択領域３６０の先端側の領域端点３６０ａと後端側の領域端点３６０ｂとを検出する。より具体的には、図２では、センサ内蔵液晶パネル３０１の下端部側から上端部側に指６４が向いており、データ表示／センサ装置１００は、指６４の向きに沿った選択領域３６０の領域端点３６０ａ・３６０ｂのうち、センサ内蔵液晶パネル３０１のより上部側に位置する領域端点３６０ａを先端側の領域端点と認識する。
【００２９】
そして、データ表示／センサ装置１００は、先端側の領域端点３６０ａを中心とし、かつその直径が二つの領域端点３６０ａ・３６０ｂ間距離以下の所定の長さの円形領域（領域Ｂに相当）と、上記選択領域３６０とを合わせて、センサ内蔵液晶パネル３０１に対する入力領域として認識する。また、上記円形領域には、必要に応じてその位置を示す目印であるポインタ３６１が表示される。
【００３０】
なお、本明細書において「選択領域」とは、「指６４により実際に選択された表示面上の領域」を指し、当該「選択領域」と上記「円形領域」とを合わせた領域として定義付けられる上記「入力領域」とは区別される。
【００３１】
一般にスクリーンキーボードに対する入力では、ユーザの指が入力キーの中心を正確に触れることは少ない。また、光センサを用いて入力の有無を検知する方式では、ユーザの指がスクリーンキーボードに所定距離まで近接した状態をもって入力有りと検知する場合がある。そのため、入力キーを押し込むタイプの通常のキーボード入力と比較して誤入力の問題が生じ易い。しかしながら、本発明に係るデータ表示／センサ装置１００では、指６４による現実の選択領域３６０と、指６４の向きの先端側に位置する所定の直径の円形領域とを合わせてセンサ内蔵液晶パネル３０１に対する入力領域として認識する。これにより、指６４の向きに応じた、より正確な入力操作を実現することができ、誤入力の発生が低減する。
【００３２】
さらに、必要に応じて、上記円形領域に対応してポインタ３６１が表示されるので、ユーザは入力領域として認識されている領域を容易に知ることができ、スクリーンキーボード３５１を介した入力を円滑に行なうことができる。
【００３３】
なお、入力の実行は、センサ内蔵液晶パネル３０１の表示面に指６４が接触又は近接したと同時に行われてもよく、或いは、指６４を当該表示面に一旦接触又は近接させた後、離す動作（アップ動作）がなされる際に行われてもよい。アップ動作時に入力が実行される構成では、ポインタ３６１の位置を指標にしたより正確な入力が実現可能である。
【００３４】
なお、ユーザは、指６４の他にも、タッチペンなどの遮光物を用いてセンサ内蔵液晶パネル３０１上を指示してもよい。
【００３５】
以下、上述した機能を実現する各部材の構成について詳細に説明する。まず、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００３６】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置（すなわち選択領域）の検出や、印刷物などの画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００３７】
図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００３８】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００３９】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００４０】
次に、図４（ａ）および図４（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置（選択領域）を検出する２種類の方法について説明する。
【００４１】
図４（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指６４などの対象物により反射された光６３を検知する。これにより、指６４などの対象物の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００４２】
また、図４（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００４３】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００４４】
（データ表示／センサ装置の要部構成）
次に、図５を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図５は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。
【００４５】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００４６】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００４７】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００４８】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００４９】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００５０】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００５１】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００５２】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００５３】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００５４】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００５５】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００５６】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００５７】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００５８】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００５９】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００６０】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００６１】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００６２】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００６３】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００６４】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００６５】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）などで構成される一次記憶部９０２に読み出して実行する。
【００６６】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００６７】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリなどで構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００６８】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００６９】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００７０】
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００７１】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカなどの音声出力部９０８、音声信号を入力するためのマイクなどの音声入力部９０９などを適宜備えていてもよい。
【００７２】
（コマンドの詳細）
次に、図６および図７を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図６は、コマンドのフレーム構造の一例を模式的に示す図である。また、図７は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００７３】
図６に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図７に示す値が指定可能である。
【００７４】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００７５】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００７６】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００７７】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００７８】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００７９】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００８０】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００８１】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００８２】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００８３】
加えて、センサデータ処理部７０３は、上記部分画像データに含まれる代表座標以外の座標も検出し、当該座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。代表座標以外の座標の例としては、部分画像データの輪郭部分を構成する画素に対応した座標（「端点座標」と称する）も含まれる。
【００８４】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標及び端点座標等の、全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標及び端点座標等を検出し、当該代表座標及び端点座標等を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００８５】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００８６】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００８７】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００８８】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００８９】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００９０】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００９１】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００９２】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【００９３】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【００９４】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置などが分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【００９５】
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010”（二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【００９６】
ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００９７】
次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010” （二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【００９８】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【００９９】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１００】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１０１】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１０２】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１０３】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１０４】
（全体画像データ／部分画像データ／座標データ）
次に、図８を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図８（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図８（ｂ）に示す画像データは、ユーザが指６４でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１０５】
ユーザが指６４でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１０６】
図８（ｂ）に示す画像データでは、図８（ａ）に示す画像データと比べると、ユーザの指６４に該当する部分の画素値の明度が高くなっている。そして、図８（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１０７】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１０８】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１０９】
なお、本発明において、上記の部分画像データに含まれる、明度が所定の閾値より大きく変化している画素からなる領域は選択領域３６０（図２参照）に相当する。
【０１１０】
また、上記選択領域３６０において、指６４の向き（図８（ｂ）中に矢印で示す）とのなす２つの交点のうち、当該向きに沿って先端側に位置する点が領域端点３６０ａに相当し、後端側に位置する点が領域端点３６０ｂに相当する（図２も参照のこと）。
【０１１１】
また、データ表示／センサ装置１００では、ユーザの使用時におけるセンサ内蔵液晶パネル３０１（図１、図２、図５参照）の左右方向をＸ軸、上下方向（すなわち縦方向）をＹ軸として座標軸が設定されており、当該ＸＹ座標軸にかかる情報は記憶部９０１（図５参照）に格納されている。すなわち、データ表示／センサ装置１００では、その長手方向とＹ軸方向とが一致しており、幅方向とＸ軸方向とが一致している。また、データ表示／センサ装置１００では、ユーザの使用時において、Ｘ軸は複数の入力キー３５０（図２参照）の横並び方向に一致し、Ｙ軸は複数の入力キー３５０の縦並び方向に一致している。
【０１１２】
なお、Ｘ軸とＹ軸との交点、すなわち座標軸の原点は、センサ内蔵液晶パネル３０１のパネル面の重心に固定してもよいが、例えば、上記選択位置の位置座標が原点となるように設定することもできる。
【０１１３】
（センサ内蔵液晶パネルの構成）
次に、図９を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図９は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１１４】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１１５】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１１６】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１１７】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１１８】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１１９】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１２０】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１２１】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１２２】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１２３】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１２４】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１２５】
（データ表示／センサ装置のより詳細な構成）
次に、図１０を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００（図５参照）の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０１２６】
図１０は、本実施形態に係るデータ表示／センサ装置１００の構成を主制御部８００および記憶部９０１を中心に示すブロック図である。図１０に示すように、主制御部８００は、被指示画面表示制御部１１、選択領域検出部（選択領域検出手段）１２、補助画像表示制御部１３、向き検出部（向き検出手段）１４、入力領域認識部（入力領域認識手段）１５、および選択領域端・領域幅検出部（領域端検出手段／領域幅検出手段）１６を備えている。また、記憶部９０１は、被指示画面データ記憶部２１、補助画像データ記憶部２３を備えている。
【０１２７】
次に、図１０及び図１１を参照しながら、データ表示／センサ装置１００の動作の一例について説明する。図１１は、本実施形態に係るデータ表示／センサ装置１００の動作を説明するフローチャートである。
【０１２８】
ステップＳ１では、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上に被指示画面、すなわち指６４による入力を受付けるための入力キーを含んだ画面を表示する。一実施形態において、被指示画面表示制御部１１が、センサ内蔵液晶パネル３０１に、複数の入力キー３５０によって構成されるスクリーンキーボード３５１を表示させる（図２も参照）。
【０１２９】
詳しく述べれば、まず、被指示画面表示制御部１１は、被指示画面データ記憶部２１からデータを呼び出して、表示すべき画像データを取得する。被指示画面データ記憶部２１から呼び出すデータは、例えば、各入力キー３５０の座標、寸法、ならびに画像データであり、すべての入力キー３５０の画像データをそれぞれの座標および寸法に基づいて合成することにより、表示すべき全体画像のデータを生成することができる。また、表示すべき全体画像（スクリーンキーボード３５１の全体画像）のデータをそのまま被指示画面データ記憶部２１から呼び出してもよい。
【０１３０】
次に、被指示画面表示制御部１１は、上記のように得た表示すべき全体画面のデータを表示データ処理部７０１に送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送る。データ処理部７００は、上述したように、表示制御部６０１およびバックライト制御部６０３を制御してセンサ内蔵液晶パネル３０１上にスクリーンキーボード３５１を表示させる（図２、図５も参照）。
【０１３１】
なお、ステップＳ１は、必要に応じて開始されればよく、例えば、アプリケーションの開始とともに開始される。
【０１３２】
次に、ステップＳ２において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上の、指６４により選択された領域（選択領域３６０に相当（図２、図８（ｂ）参照）を検出する。一実施形態において、選択領域検出部１２が、センサデータ処理部７０３から選択領域３６０に含まれる代表座標Ｚ及びその他の座標（前記端点座標を含む）の座標データを取得するとともに、これら座標データを選択領域端・領域幅検出部１６での検出処理及び入力領域認識部１５での認識処理に供する。
【０１３３】
詳しく述べれば、選択領域検出部１２は、データ処理部７００に対して、「データ種別」を”座標”、「データ取得タイミング」を、”イベント”とした上記コマンドを送る。選択領域検出部１２は、上記コマンドの応答としてセンサデータ処理部７０３から得られた上記座標データにより、センサ内蔵液晶パネル３０１の表示面内における選択領域３６０の位置を認識する。次いで、この座標データを、選択領域端・領域幅検出部１６での検出処理及び入力領域認識部１５での認識処理に供する。なお、選択領域検出部１２が、データ取得のタイミングおよび取得データの変化の判定を行なう場合には、上記コマンドの「データ取得タイミング」は、”オール”または”センス”としてもよい。
【０１３４】
なお、ステップＳ２は、ステップＳ１と同様、例えば、アプリケーションの開始とともに開始される。
【０１３５】
次に、ステップＳ３において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に対する指６４の向きを検出する。一実施形態において、向き検出部１４が、センサデータ処理部７０３から全体画像データを取得し、当該全体画像データに基づいて指６４の向きを検出する。
【０１３６】
詳しく述べれば、向き検出部１４は、データ処理部７００に対して、「データ種別」を”全体画像”、「データ取得タイミング」を、”イベント”とした上記コマンドを送る。次いで、向き検出部１４は、取得した全体画像データに基づき、センサ内蔵液晶パネル３０１の表示面内（パネル面内）における指６４の向きにかかる情報を検出し、この情報を選択領域端・領域幅検出部１６での領域端点の検出処理に供する。
【０１３７】
ここで、指６４の向きは、上記全体画像に含まれる指６４の画像の形状及び明度の相違から検知することができる。例えば、図８（ｂ）の例においては、明度が所定の閾値より大きく変化している部分（選択領域３６０）に含まれる代表座標Ｚを終点側とし、指６４の画像の長手中心方向に沿う方向が、指６４の向きとなる（図８（ｂ）中に矢印で示す）。
【０１３８】
なお、向き検出部１４が、データ取得のタイミングおよび取得データの変化の判定を行なう場合には、上記コマンドの「データ取得タイミング」は、”オール”または”センス”としてもよい。
【０１３９】
なお、ステップＳ３は、ステップＳ１と同様、例えば、アプリケーションの開始とともに開始される。また、ステップＳ２とステップＳ３とは実行順序を入れ替えることもできる。
【０１４０】
次に、ステップＳ４において、データ表示／センサ装置１００は、選択領域３６０の輪郭部分を構成する端点のうち、指６４の向きに沿ったものを検出する。一実施形態において、選択領域端・領域幅検出部１６が、選択領域検出部１２から供された選択領域３６０の端点座標のデータと、向き検出部１４から供された指６４の向きに係る情報とを比較して、当該指６４の向きに沿って位置する二つの端点（領域端点３６０ａ・３６０ｂに相当（図２、図８（ｂ）参照））の座標データを検出する。次いで、この座標データを、後述するステップＳ５の検出処理、及び入力領域認識部１５での認識処理に供する。
【０１４１】
次に、ステップＳ５において、データ表示／センサ装置１００は、選択領域３６０の幅を検出する。ここで検出する選択領域３６０の幅とは、選択領域３６０の、指６４の向きに沿った先端側の点（領域端点３６０ａ）と後端側の点（領域端点３６０ｂ）との間の距離である。一実施形態において、選択領域端・領域幅検出部１６が、上記ステップＳ４にて取得した領域端点３６０ａ・３６０ｂの座標データから両領域端点間の距離をもとめる。
【０１４２】
ステップＳ６において、データ表示／センサ装置１００は、ステップＳ５で検出した選択領域３６０の幅が２センチメートル（ｃｍ）以下であるか否かを判定する。そして、当該幅が２ｃｍ以下の場合には、領域端点３６０ａを中心とした円形領域と、選択領域３６０とを合わせて、センサ内蔵液晶パネル３０１に対する入力領域と認識する。
【０１４３】
一実施形態において、選択領域３６０の幅が２ｃｍ以下の場合、入力領域認識部１５は、二つの領域端点３６０ａ・３６０ｂのうち、指６４の向きに沿ってより先端側に位置する領域端点３６０ａを中心とした所定の直径を有する円形領域と、選択領域３６０とを合わせて、センサ内蔵液晶パネル３０１に対する入力領域と認識する。そして、この認識結果を、データ処理部７００での処理、及び補助画像表示制御部１３での処理に供する。
【０１４４】
一方、選択領域３６０の幅が２ｃｍを超える場合、入力領域認識部１５は、指６４による選択領域３６０のみを入力領域として認識するか、或いは指６４による入力がエラーであると認識する。そして、入力領域認識部１５は、この認識結果を、データ処理部７００での処理、及び補助画像表示制御部１３での処理に供する。以降は、ステップＳ２に戻り、ユーザの新たな指示を待つ。
【０１４５】
次に、ステップＳ７において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上における上記円形領域にポインタ３６１を表示する。一実施形態において、補助画像表示制御部（ポインタ表示手段）１３が、補助画像データ記憶部２３から表示すべき補助画像（ポインタ３６１）の画像データを呼び出し、当該画像データをデータ処理部７００に供する。
【０１４６】
データ処理部７００では、ポインタ３６１の画像データと、スクリーンキーボード３５１の画像データとを周知の画像合成技術により合成し、センサ内蔵液晶パネル３０１上に、領域端点３６０ａを中心点としたポインタ３６１を表示する。
【０１４７】
以降は、ステップＳ２に戻り、ユーザの新たな指示を待つ。
【０１４８】
なお、上記ステップＳ１において表示する被指示画面は、スクリーンキーボード３５１である必要はなく、種々の入力キーとすることができる。例えば、それぞれ特定の機能（例えば、ＯＫボタン、キャンセルボタンなど）に対応する入力キーを表示させてもよい。
【０１４９】
また、ここでは、センサ内蔵液晶パネル３０１上にスクリーンキーボード３５１が液晶表示される形態を例示したが、センサ内蔵液晶パネルの面内に、少なくとも一部の入力キーを予めプリントした構成であってもよい。特に、文字、又は一桁の数字のような汎用される入力キーのみを予めプリントした構成であってもよい。なお、予めプリントした入力キーを用いる場合にはステップＳ１は省略される。
【０１５０】
また、ここでは、ステップＳ６において、選択領域の幅が所定値以下の場合のみ、上記円形領域を含めて指６４による入力領域と認識する構成を例示したが、選択領域の幅によらず、常時、円形領域を含めて入力領域と認識する構成としてもよい。
【０１５１】
また、ここでは、ステップＳ７において、ユーザを補助するための補助画像（円形のポインタ３６１）を表示する形態を例示したが、場合によっては、Ｓ７を省略してもよい。
【０１５２】
（入力領域の認識の詳細）
以下、上記ステップＳ６にて説明した、データ表示／センサ装置１００による入力領域の認識の詳細例について、図１２及び図１３に基づき具体的に説明する。なお、図１２及び図１３に示す例では、Ｘ軸方向及びＹ軸方向に隣接する入力キー間のキーピッチ（隣接する入力キーの重心間距離）はいずれも３０ｍｍである。また、対象物により選択された領域（図中、選択領域３６０）の幅として、指６４の向きに沿った先端側の点と後端側の点との間の距離を採用する。
【０１５３】
図１２は、図１に記載のデータ表示／センサ装置１００の動作の他の一例を模式的に示す図面であり、ここでは、ユーザが右手にてデータ表示／センサ装置１００のグリップ部１００ａ（図１参照）を持ち、右手の親指６４にて複数の入力キー３５０に対する操作を行っている。
【０１５４】
指６４は、ユーザから見てセンサ内蔵液晶パネル３０１の右側から進入しており、当該センサ内蔵液晶パネル３０１上の選択領域３６０を選択している。センサ内蔵液晶パネル３０１の表示面内における、指６４の向きは、図１２中の二点ＱＰを結び、点Ｐを終点側とする方向である。なお、二点ＰＱは、順に、選択領域３６０における、指６４の向きに沿った先端側の点（領域端点３６０ａ）と後端側の点（領域端点３６０ｂ）とに相当する。
【０１５５】
ここで、選択領域３６０の幅、すなわち二点ＰＱ間の距離は１ｃｍであり、当該幅が２ｃｍ以下というステップＳ６の実行条件を満たす（図１１も参照）。したがって、入力領域認識部１５（図１０参照）は、点Ｐを中心とする円形領域と選択領域３６０とを合わせて、センサ内蔵液晶パネル３０１に対する指６４の入力領域として認識する。また、当該円形領域には、ポインタ３６１が表示される。
【０１５６】
入力領域認識部１５が決定する上記円形領域の直径は、固定値であってもよく、又は選択領域３６０の幅に応じて変動する値であってもよい。なお、何れの場合でも、直径の上限は、意図しない入力を防止するという理由から、選択領域３６０の幅以下でなければならない。一方、当該直径の下限は、特に限定されないが、スタイラスの先端直径が１ｍｍ程度であるという理由から１ｍｍ以上であることが好ましい。
【０１５７】
また、上記円形領域の直径は、選択領域３６０の幅以下で、かつ隣接する入力キー３５０・３５０のキーピッチ以下であることが好ましい。当該直径がこの範囲内にあれば、原則として、当該円形領域が二以上の入力キー３５０の重心を同時に含むことを防止できる。
【０１５８】
さらに、上記円形領域の直径を、選択領域３６０の幅に応じて変動させる場合には、当該幅に正比例して変動させる構成が好ましい。
【０１５９】
通常、選択領域３６０の幅が短いほど、指６４の先端部のみにて正確な入力が行われている可能性がより高い。一方、選択領域３６０の幅が長いほど、指６４の先端部と指６４の腹とによる不正確な入力が行われている可能性がより高い。
【０１６０】
したがって、円形領域の直径を、選択領域３６０の幅に正比例して変動させれば、当該幅が長いほど入力領域として認識される円形領域の直径が大きくなり、当該幅が短いほど円形領域の直径が小さくなるので、入力の確からしさを踏まえたより正確な入力操作を実現することができる。
【０１６１】
図１２に示す例では、選択領域３６０の幅を（Ｗ：単位ｃｍ）、上記円形領域の直径を（２Ｒ：単位ｃｍ）、比例定数を（α：αは１以下の正の数）とした場合、（２Ｒ）＝（Ｗ）×αの関係式を満たすように設定されている。ここで、特に限定されないが、比例定数αは、正確な入力がなされている際にユーザの邪魔をしないという理由により０．３〜１．０の範囲内の数であることが好ましく、０．４〜０．６の範囲内であることがより好ましく、０．５であることが特に好ましい。
【０１６２】
上記関係式において比例定数αが０．５のとき、図１２に示す場合では、０．５ｃｍ（すなわち、選択領域３６０の幅１ｃｍ×０．５）が、円形領域の直径となる。
【０１６３】
一方、図１３は、図１に記載のデータ表示／センサ装置１００の動作のさらに他の一例を模式的に示す図面であり、ユーザが、センサ内蔵液晶パネル３０１の表示面上を指６４でドラッグした場合を表す。なお、この例でも、円形領域の直径は、上記関係式を満たしかつ当該関係式において比例定数αが０．５となるように設定されている。また、表示の便宜上、センサ内蔵液晶パネル３０１の表示面内にある選択領域３６０とポインタ３６１・３６１’とを、当該表示面外に表記している。
【０１６４】
図１３において、指６４を手前にドラッグする前は、ユーザは、指６４の先端部と腹とでセンサ内蔵液晶パネル３０１の表示面を選択しており、選択領域３６０の幅は２ｃｍある。この場合、当該選択領域３６０の先端部に、直径１ｃｍの円形領域に相当するポインタ３６１が表示される。
【０１６５】
一方、指６４を手前にドラッグした後は、ユーザは指６４の先端部のみでセンサ内蔵液晶パネル３０１の表示面を選択しており、選択領域３６０’（領域Ａに相当）の幅は１ｃｍとなる。この場合、当該選択領域３６０’の先端部に、直径０．５ｃｍの円形領域（領域Ｂに相当）に相当するポインタ３６１’が表示される。
【０１６６】
したがって、図１３に示す構成では、選択領域３６０の幅が長いほど（すなわち、不正確な入力の可能性が高いほど）、入力領域の一部を構成する円形領域が大きくなり、その結果、入力の確からしさを踏まえたより正確な入力操作を実現することができる。
【０１６７】
加えて、センサ内蔵液晶パネル３０１は、円形領域の大きさに対応したポインタ３６１・３６１’を表示するので、入力の確からしさをユーザに認識させることができる。すなわち、ユーザは、ポインタ３６１・３６１’の大きさが相対的に小さいほど、入力が確からしいと把握することができる。
【０１６８】
なお、上記の例示では、領域Ｂが円形領域である場合のみを説明をしたが、特にこれに限定されない。すなわち、当該領域Ｂは、対象物により選択された上記領域Ａ（選択領域３６０・３６０’に相当）における上記先端側の点（点Ｐに相当）を中心又は重心とし、かつ最大幅が上記領域Ａの幅以下となる領域であればその形状は限定されず、円形以外にも、例えば、楕円形領域；三角形領域；正方形領域、長方形領域などのＮ角形領域（Ｎは４以上の整数）；角丸Ｎ角形（頂点が丸いＮ角形を指し、Ｎは３以上の整数である）；等であってよい。
【０１６９】
また、本発明において「領域Ｂの最大幅」とは、領域Ｂ内に位置する任意の二点間の距離のうち最大になる長さを指す。例えば、領域Ｂが円形の場合はその直径が、楕円形の場合はその長軸の長さが最大幅に相当する。また、領域ＢがＮ角形（ここでＮは３以上の整数）の場合は任意の二つの頂点を結んだ線分のうち最長のものの長さが、最大幅に相当する。また、領域Ｂが角丸Ｎ角形（Ｎは３以上の整数）の場合は任意の二つの丸い頂点を結んだ線分のうち最長のものの長さが、最大幅に相当する。なお、特に限定されないが、領域Ｂは、その最大幅が、上記向き検出手段により検出された上記対象物の向きに沿った方向にて測定されるように配されることが好ましい。例えば、領域Ｂが楕円形状の場合には、その長軸が上記対象物の向きに沿っていることが好ましい。
【０１７０】
また、以上のように、本発明に係る像検知装置は、近傍に位置する対象物の像を検知する面状部材と、面状部材が検知した対象物の像から当該面状部材に対する対象物の向きを検出する向き検出手段と、面状部材が検知した対象物の像に基づいて、当該対象物により選択された当該面状部材上の領域を検出する選択領域検出手段と、選択領域検出手段が検出した上記領域の、対象物の向きに沿った先端側の点を検出する領域端検出手段と、選択領域検出手段が検出した上記領域の幅を検出する領域幅検出手段と、上記先端側の点を中心とし、かつ直径が上記領域の幅に正比例した円形のポインタを面状部材に表示するポインタ表示手段とを備える構成であってもよい。
【０１７１】
本発明に係る像検知装置は、上記の構成において、円形のポインタの直径が、選択領域検出手段が検出した上記領域の、対象物の向きに沿った先端側の点と後端側の点との間の距離に正比例するものであってもよい。
【０１７２】
（プログラムおよび記録媒体）
最後に、データ表示／センサ装置１００に含まれている回路制御部６００、データ処理部７００、および主制御部８００は、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いてソフトウェアによって実現してもよい。
【０１７３】
すなわち、回路制御部６００、データ処理部７００および主制御部８００は、各機能を実現するプログラムの命令を実行するＭＰＵなどのＣＰＵ、このプログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを実行可能な形式に展開するＲＡＭ（Random Access Memory）、および、上記プログラムおよび各種データを格納するメモリなどの記憶装置（記録媒体）を備えている。
【０１７４】
そして、本発明の目的は、回路制御部６００、データ処理部７００および主制御部８００のプログラムメモリに固定的に担持されている場合に限らず、上記プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、または、ソースプログラム）を記録した記録媒体をデータ表示／センサ装置１００に供給し、データ表示／センサ装置１００が上記記録媒体に記録されている上記プログラムコードを読み出して実行することによっても、達成可能である。
【０１７５】
上記記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープなどのテープ系、フロッピー（登録商標）ディスク／ハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒなどの光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭなどの半導体メモリ系などとすることができる。
【０１７６】
また、回路制御部６００、データ処理部７００および主制御部８００（またはデータ表示／センサ装置１００）を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して回路制御部６００、データ処理部７００および主制御部８００に供給する。この通信ネットワークは回路制御部６００、データ処理部７００および主制御部８００にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網などであればよい。
【０１７７】
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線などの有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１７８】
以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１７９】
本発明は、各種情報機器において利用することができる。
【図面の簡単な説明】
【０１８０】
【図１】本発明の一実施形態に係るデータ表示／センサ装置の外観を模式的に示す図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置の動作の一例を模式的に示す図である。
【図３】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図４】図４（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図６】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図７】図６に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図８】図８（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図８（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図９】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図１０】本発明の一実施形態に係るデータ表示／センサ装置の構成を主制御部および記憶部を中心に示すブロック図である。
【図１１】本発明の一実施形態に係るデータ表示／センサ装置の動作の一例を説明するフローチャートである。
【図１２】図１２は、指が右側から進入した場合における本発明に係るデータ表示／センサ装置の動作の例を模式的に説明する図である。
【図１３】図１３は、指をドラッグした場合における当該データ表示／センサ装置の動作の例を模式的に説明する図である。
【符号の説明】
【０１８１】
６          フォトダイオード
１２        選択領域検出部（選択領域検出手段）
１４        向き検出部（向き検出手段）
１５        入力領域認識部（入力領域認識手段）
１６        選択領域端・領域幅検出部（領域端検出手段、領域幅検出手段）
６４        指（対象物）
１００      データ表示／センサ装置（像検知装置）
３０１      センサ内蔵液晶パネル（面状部材）
３５０      入力キー
３６０      選択領域（対象物により選択された面状部材上の領域）
３６０ａ    領域端点（先端側の点）
３６０ｂ    領域端点（後端側の点）
３６１      ポインタ
【図１】
2010128566.tif 000003
【図２】
2010128566.tif 000004
【図３】
2010128566.tif 000005
【図４】
2010128566.tif 000006
【図５】
2010128566.tif 000007
【図６】
2010128566.tif 000008
【図７】
2010128566.tif 000009
【図８】
2010128566.tif 000010
【図９】
2010128566.tif 000011
【図１０】
2010128566.tif 000012
【図１１】
2010128566.tif 000013
【図１２】
2010128566.tif 000014
【図１３】
2010128566.tif 000015