(57)【要約】【課題】情報機器とユーザとの間の対話を円滑化する。【解決手段】本発明に係る画像表示／像検知装置は、画像を表示するとともに、近傍の像を検知する表示／光センサ部３００と、表示／光センサ部３００が検知した対象物の像に基づいて、表示／光センサ部３００上の、該対象物が接近する先の点を示す指示座標を検出する指示座標検出部１２と、該対象物により覆い隠された表示／光センサ部３００上の領域を、表示／光センサ部３００が検知した対象物の像に基づいて特定するとともに、特定した領域外に該指示座標に関連付けられた補助画像を表示させる補助画像表示制御部１３とを備える。【選択図】図１０
2010092272.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示するとともに、近傍の像を検知する面状部材と、
該面状部材が検知した対象物の像に基づいて、該面状部材上の、該対象物が接近する先の点を示す指示座標を検出する指示座標検出手段と、
該対象物により覆い隠された該面状部材上の領域を、該面状部材が検知した対象物の像に基づいて特定するとともに、特定した領域外に該指示座標に関連付けられた補助画像を表示させる補助画像表示制御手段と、
を備えていることを特徴とする画像表示／像検知装置。
【請求項２】
上記面状部材に、複数の被指示画像を表示させる被指示画像表示手段を更に備えており、
上記補助画像表示制御手段は、該複数の被指示画像のうち上記指示座標が示す点を包含する被指示画像に関連付けられた画像を、上記補助画像として上記面状部材に表示することを特徴とする請求項１に記載の画像表示／像検知装置。
【請求項３】
上記複数の被指示画像が、それぞれ文字、数字、または記号を示しており、上記面状部材上にスクリーンキーボードを構成していることを特徴とする請求項２に記載の画像表示／像検知装置。
【請求項４】
上記面状部材が、該面状部材上の各位置における受光量を検出するフォトダイオード群を備えており、該フォトダイオード群が検出した受光量の変化に基づいて上記近傍の像を検知することを特徴とする請求項１から３のいずれか一項に記載の画像表示／像検知装置。
【請求項５】
上記補助画像表示制御手段が、上記対象物が上記面状部材に接触する前に、上記補助画像を表示させることを特徴とする請求項１から４のいずれか一項に記載の画像表示／像検知装置。
【請求項６】
画像を表示するとともに近傍の像を検知する面状部材を備えた画像表示／像検知装置が、該面状部材に補助画像を表示する補助画像表示方法であって、
該面状部材が検知した対象物の像に基づいて、該面状部材上の、該対象物が接近する先の点を示す指示座標を検出する指示座標検出工程と、
該対象物により覆い隠された該面状部材上の領域を、該面状部材が検知した対象物の像に基づいて特定するとともに、特定した領域外に該指示座標に関連付けられた補助画像を表示させる補助画像表示工程と
を包含することを特徴とする補助画像表示方法。
【請求項７】
請求項１から５のいずれか一項に記載の画像表示／像検知装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示および対象物の像の検知を行なうことができる画像表示／像検知装置ならびに該装置における補助画像の表示方法に関するものである。また、そのような画像表示／像検知装置を動作させるためのプログラム、および、そのようなプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
情報化社会の発展に伴い、様々な場面において情報機器が利用される。そのため、情報機器とそのユーザとの対話を円滑化する技術は非常に重要である。例えば、特許文献１〜４には、タッチパネルを利用した、情報機器とユーザとの間の対話を円滑化する技術が開示されている。
【特許文献１】特開平８−２１２００５号公報（平成８年８月２０日公開）
【特許文献２】特開平１０−２６９０２２号公報（平成１０年１０月９日公開）
【特許文献３】特開２００３−５９１２号公報（平成１５年１月１０日公開）
【特許文献４】特開２００４−３０２９５８号公報（平成１６年１０月２８日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１〜４に記載の技術では、情報機器とユーザとの間の対話は十分には円滑ではなく、さらに該対話を円滑化する技術が求められている。
【０００４】
本発明は、上記課題に鑑みてなされたものであり、情報機器とユーザとの間の対話を円滑化する技術を提供することを主たる目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像表示／像検知装置は、上記課題を解決するために、画像を表示するとともに、近傍の像を検知する面状部材と、該面状部材が検知した対象物の像に基づいて、該面状部材上の、該対象物が接近する先の点を示す指示座標を検出する指示座標検出手段と、該対象物により覆い隠された該面状部材上の領域を、該面状部材が検知した対象物の像に基づいて特定するとともに、特定した領域外に該指示座標に関連付けられた補助画像を表示させる補助画像表示制御手段と、を備えていることを特徴としている。
【０００６】
上記の構成によれば、上記面状部材上の点を上記対象物が指示したとき、本発明に係る画像表示／像検知装置は、上記面状部材上の該対象物により覆い隠された領域外に、該点の座標に関連付けられた補助画像を表示することができる。これにより、上記画像表示／像検知装置は、上記対象物に覆い隠されてしまい、ユーザが見え難くなってしまっている、該対象物が指示する先についての情報を、ユーザに首尾よく提示することができる。よって、上記画像表示／像検知装置とユーザとの間の対話を円滑化することができる。
【０００７】
本発明に係る画像表示／像検知装置では、上記面状部材に、複数の被指示画像を表示させる被指示画像表示手段を更に備えており、上記補助画像表示制御手段は、該複数の被指示画像のうち上記指示座標が示す点を包含する被指示画像に関連付けられた画像を、上記補助画像として上記面状部材に表示することが好ましい。
【０００８】
上記の構成によれば、任意の上記被指示画像内の点を上記対象物が指示したとき、本発明に係る画像表示／像検知装置は、該被指示画像に関連付けられた画像を上記補助画像として表示することができる。これにより、上記画像表示／像検知装置は、上記対象物が何れの上記被指示画像を指示しているのかを、ユーザに首尾よく提示することができる。よって、上記画像表示／像検知装置とユーザとの間の対話を円滑化することができる。
【０００９】
本発明に係る画像表示／像検知装置では、上記複数の被指示画像が、それぞれ文字、数字、または記号を示しており、上記面状部材上にスクリーンキーボードを構成していてもよい。
【００１０】
上記の構成によれば、一般に各ボタン（被指示画像）が小さく、対象物により任意のボタンを押した際に該任意のボタンが該対象物によって覆い隠されてしまうことが多いスクリーンキーボードにおいて、ユーザが何れのボタンを押しているのかを、ユーザに首尾よく提示することができる。よって、上記画像表示／像検知装置とユーザとの間の対話を円滑化することができる。
【００１１】
本発明に係る画像表示／像検知装置では、上記面状部材が、該面状部材上の各位置における受光量を検出するフォトダイオード群を備えており、該フォトダイオード群が検出した受光量の変化に基づいて上記近傍の像を検知してもよい。
【００１２】
上記の構成によれば、上記面状部材が首尾よく上記近傍の像を検知することができる。
【００１３】
本発明に係る画像表示／像検知装置では、上記補助画像表示制御手段が、上記対象物が上記面状部材に接触する前に、上記補助画像を表示させてもよい。
【００１４】
上記の構成によれば、上記対象物が指示する先についての情報を、いち早くユーザに提示することができる。よって、上記画像表示／像検知装置とユーザとの間の対話を円滑化することができる。
【００１５】
本発明に係る補助画像表示方法は、画像を表示するとともに近傍の像を検知する面状部材を備えた画像表示／像検知装置が、該面状部材に補助画像を表示する補助画像表示方法であって、該面状部材が検知した対象物の像に基づいて、該面状部材上の、該対象物が接近する先の点を示す指示座標を検出する指示座標検出工程と、該対象物により覆い隠された該面状部材上の領域を、該面状部材が検知した対象物の像に基づいて特定するとともに、特定した領域外に該指示座標に関連付けられた補助画像を表示させる補助画像表示工程と、を包含することを特徴としている。
【００１６】
上記の構成によれば、本発明に係る画像表示／像検知装置と同様の作用効果を奏する。
【００１７】
また、本発明に係る画像表示／像検知装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムも本発明の範疇に含まれる。
【発明の効果】
【００１８】
本発明によれば、画像表示／像検知装置は、画像を表示するとともに、近傍の像を検知する該面状部材上の点を対象物が指示したとき、該面状部材上の該対象物により覆い隠された領域外に、該点の座標に関連付けられた補助画像を表示することができる。これにより、上記画像表示／像検知装置は、上記対象物に覆い隠されてしまい、ユーザが見え難くなってしまっている、該対象物が指示する先についての情報を、ユーザに首尾よく提示することができる。よって、上記画像表示／像検知装置とユーザとの間の対話を円滑化することができる。
【発明を実施するための最良の形態】
【００１９】
図１は、本発明の一実施形態に係るデータ表示／センサ装置（画像表示／像検知装置）１００の外観を模式的に示す図である。図１に示すように、データ表示／センサ装置１００は筐体の一面にセンサ内蔵液晶パネル（面状部材）３０１が配設されており、例えば、両手の親指（対象物）６４によって操作される装置である。
【００２０】
図２は、データ表示／センサ装置１００の動作の一例を模式的に示す図である。一例において、図２（ａ）に示すように、センサ内蔵液晶パネル３０１には、複数のボタン（被指示画像）３５０から構成されるスクリーンキーボード３５１が表示されている。
【００２１】
そして、図２（ｂ）に示すように、指６４が特定のボタン３５０ａ（図２（ｂ）の場合は「Ｓ」を示すボタン）を指示したとき、センサ内蔵液晶パネル３０１上に、指６４がいずれのボタン３５０を指示しているのかを示す、ボタン３５０に関連付けられた補助画像３５２が表示される。ユーザは、補助画像３５２を参照することによって、指６４が指示する位置がどのボタン３５０上にあるかを容易に知ることができ、スクリーンキーボード３５１を介した入力を円滑に行なうことができる。
【００２２】
補助画像３５２は特に限定されず、指６４が指示するボタン３５０ａに関連付けられたものであればよい。例えば、ボタン３５０ａの拡大画像等、ボタン３５０ａに類似する画像とすることができる。また、補助画像３５２には、ボタン３５０ａの表示位置を先端とする引き出し部３５３を設けてもよく、これによりユーザは、補助画像３５２がボタン３５０ａに関連付けられていることを容易に認識することができる。
【００２３】
本実施形態において、補助画像３５２は、センサ内蔵液晶パネル３０１上の、指６４が指示した位置の近傍であって、指６４が覆い隠している領域外に表示される。指６４が覆い隠している領域外に補助画像３５２を表示することにより、ユーザは補助画像３５２を確実に参照することができる。このことは、詳しくは後述するが、データ表示／センサ装置１００が、指６４の像を検知して、指６４が覆い隠している領域を特定することにより実現される。また、ユーザの目線は通常、指６４によって指示する先にある。従って、補助画像３５２を指６４が指示した位置の近傍に表示することにより、ユーザに補助画像３５２を容易に認識させることができる。
【００２４】
なお、補助画像３５２を表示するタイミングは、例えば、ユーザによるボタン３５０ａの選択がなされていない間としてもよい。例えば、指６４を一旦センサ内蔵液晶パネル３０１に接触させた後、離す動作（アップ動作）によってボタン３５０ａの選択がなされる場合、指６４がセンサ内蔵液晶パネル３０１に接触した後、アップ動作がされるまで補助画像３５２を表示させてもよい。
【００２５】
また、例えば、指６４を一旦センサ内蔵液晶パネル３０１に接触させる動作（タッチ動作）によってボタン３５０ａの選択がなされる場合、指６４がセンサ内蔵液晶パネル３０１に接触する前に、補助画像３５２を表示させてもよい。この構成では、選択され得るボタン３５０ａの情報を示す補助画像３５２が、指６４がセンサ内蔵液晶パネル３０１に接触する前に表示されるため、ユーザはいち早く該情報を得ることができ、上記入力をさらに円滑に行うことができる。
【００２６】
なお、また、ユーザは、指６４の他にも、ペン等を用いてセンサ内蔵液晶パネル３０１上を指示してもよい。
【００２７】
以下、上述した機能を実現する各部材の構成について詳細に説明する。まず、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００２８】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００２９】
図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００３０】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００３１】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００３２】
次に、図４（ａ）および図４（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００３３】
図４（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００３４】
また、図４（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００３５】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００３６】
（データ表示／センサ装置の要部構成）
次に、図５を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図５は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。
【００３７】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００３８】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００３９】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００４０】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００４１】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００４２】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００４３】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００４４】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００４５】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００４６】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００４７】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００４８】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００４９】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００５０】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００５１】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００５２】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００５３】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００５４】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００５５】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００５６】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００５７】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００５８】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００５９】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００６０】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００６１】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００６２】
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００６３】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００６４】
（コマンドの詳細）
次に、図６および図７を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図６は、コマンドのフレーム構造の一例を模式的に示す図である。また、図７は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００６５】
図６に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図７に示す値が指定可能である。
【００６６】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００６７】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００６８】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００６９】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００７０】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００７１】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００７２】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００７３】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００７４】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、対象物が接近する先の点の座標として、部分画像データにおける代表座標を検出し、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００７５】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００７６】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００７７】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００７８】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００７９】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００８０】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００８１】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００８２】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００８３】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【００８４】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【００８５】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【００８６】
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010”（二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【００８７】
ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００８８】
次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010” （二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【００８９】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【００９０】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【００９１】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【００９２】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【００９３】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【００９４】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【００９５】
（全体画像データ／部分画像データ／座標データ）
次に、図８を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図８（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図８（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【００９６】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【００９７】
図８（ｂ）に示す画像データでは、図８（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図８（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【００９８】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【００９９】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１００】
（センサ内蔵液晶パネルの構成）
次に、図９を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図９は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１０１】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１０２】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１０３】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１０４】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１０５】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１０６】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１０７】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１０８】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１０９】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１１０】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１１１】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１１２】
（データ表示／センサ装置のより詳細な構成）
次に、図１０を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０１１３】
図１０は、本実施形態に係るデータ表示／センサ装置１００の構成を主制御部８００および記憶部９０１を中心に示すブロック図である。図１０に示すように、主制御部８００は、被指示画面表示制御部１１、指示座標検出部（指示座標検出手段）１２、および補助画像表示制御部（補助画像表示制御手段）１３を備えている。また、補助画像表示制御部１３は、補助画像表示判定部１３１、補助画像決定部１３２、および補助画像表示位置決定部１３３を備えている。また、記憶部９０１は、被指示画面データ記憶部２１、指示座標記憶部２２、補助画像データ記憶部２３、および像データ記憶部２４を備えている。
【０１１４】
次に、図１１および１２を参照しながら、データ表示／センサ装置１００の動作の一例について説明する。
【０１１５】
図１１は、本実施形態に係るデータ表示／センサ装置１００の動作を説明するフローチャートである。
【０１１６】
ステップＳ１では、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上に被指示画面を表示する。一実施形態において、被指示画面表示制御部１１が、センサ内蔵液晶パネル３０１に、複数のボタン３５０によって構成されるスクリーンキーボード３５１を表示させる。
【０１１７】
詳しく述べれば、まず、被指示画面表示制御部１１は、被指示画面データ記憶部２１からデータを呼び出して、表示すべき画像データを取得する。被指示画面データ記憶部２１から呼び出すデータは、例えば、各ボタン３５０の座標（例えば、ボタンｉの横方向の位置および縦方向の位置について、（Ｘｂｉ，Ｙｂｉ））、寸法（例えば、ボタンｉの横方向の幅および縦方向の幅について、（Ｗｂｉ，Ｈｂｉ））、ならびに画像データであり、すべてのボタンの画像データをそれぞれの座標および寸法に基づいて合成することにより、表示すべき全体画像のデータを生成することができる。また、表示すべき全体画像（スクリーンキーボード３５１の全体画像）のデータをそのまま被指示画面データ記憶部２１から呼び出してもよい。
【０１１８】
次に、被指示画面表示制御部１１は、上記のように得た表示すべき全体画面のデータを表示データ処理部７０１に送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送る。データ処理部７００は、上述したように、表示制御部６０１およびバックライト制御部６０３を制御してセンサ内蔵液晶パネル３０１上にスクリーンキーボード３５１を表示させる。
【０１１９】
なお、ステップＳ１は、必要に応じて開始されればよく、例えば、アプリケーションの開始とともに開始される。
【０１２０】
次に、ステップＳ２において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上の、指６４が指示する先の点の座標（指示座標６５）を検出する。一実施形態において、指示座標検出部１２が、センサデータ処理部７０３から、上記指示座標６５を取得して指示座標記憶部２２に記憶させる。
【０１２１】
詳しく述べれば、指示座標検出部１２は、データ処理部７００に対して、「データ種別」を”座標”、「データ取得タイミング」を、”イベント”とした上記コマンドを送る。指示座標検出部１２は、上記コマンドの応答としてセンサデータ処理部７０３から得られた上記座標を、指示座標６５として指示座標記憶部２２に記憶させる。なお、指示座標検出部１２が、データ取得のタイミングおよび取得データの変化の判定を行なう場合には、上記コマンドの「データ取得タイミング」は、”オール”または”センス”としてもよい。指示座標検出部１２は、指示座標６５を指示座標記憶部２２に記憶させた後、補助画像表示制御部１３にステップＳ３を開始させる。
【０１２２】
なお、ステップＳ２は、ステップＳ１と同様、例えば、アプリケーションの開始とともに開始される。
【０１２３】
次に、ステップＳ３において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上に補助画像を表示するか否かを判定する。一実施形態において、補助画像表示判定部１３１が、上記指示座標６５が各ボタン３５０の何れかを指示しているときに、補助画像を表示すると決定する。
【０１２４】
詳しく述べれば、補助画像表示判定部１３１は、被指示画面データ記憶部２１から各ボタン３５０の座標（例えば、ボタンｉの横方向の位置および縦方向の位置について、（Ｘｂｉ，Ｙｂｉ））、ならびに寸法（例えば、ボタンｉの横方向の幅および縦方向の幅について、（Ｗｂｉ，Ｈｂｉ））を呼び出し、指示座標記憶部２２に記憶された指示座標６５（Ｘａ,Ｙａ）によって示される点が、何れのボタン３５０内にあるか、すべてのボタン３５０の外にあるかを判定する。指示座標６５（Ｘａ,Ｙａ）がいずれかのボタン３５０内にある場合（すなわち、例えば、ボタンｋに対して、Ｘｂｋ≦Ｘａ≦Ｘｂｋ＋ＷｂｉおよびＹｂｋ≦Ｙａ≦Ｙｂｋ＋Ｈｂｋが成り立つ場合）には、補助画像を表示すると決定する。補助画像表示判定部１３１は、補助画像を表示すると決定した場合、補助画像決定部１３２にステップＳ４を実行させる。
【０１２５】
なお、一実施形態において、データ表示／センサ装置１００は、”選択状態”および”非選択状態”の二つの状態を有しており、いずれかのボタン３５０内に上記指示座標６５が示す点が存在したとしても、データ表示／センサ装置１００の状態が”選択状態”のときには補助画像３５２を表示せず、”未選択状態”のときにのみ補助画像３５２を表示するようにしてもよい。
【０１２６】
”選択状態”とは、ユーザがスクリーンキーボード３５１を介してデータ表示／センサ装置１００に入力する情報が決定されている状態を指し、”未選択状態”とは、該情報が未決定の状態を指す。
【０１２７】
”未選択状態”と”選択状態”との選択は、例えば、指６４がセンサ内蔵液晶パネル３０１と接触していない状態を”非選択状態”、接触している状態を”選択状態”とすることができる。本実施形態に係るデータ表示／センサ装置１００では、指６４の影、または反射光を検出することができるので、非接触状態においても、指６４が指示する先の、センサ内蔵液晶パネル３０１の座標を検出することができる。
【０１２８】
また、一度接触してから離すまでを”非選択状態”、離した後を”選択状態”とすることもできる。
【０１２９】
次に、ステップＳ４において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に表示すべき補助画像３５２を決定する。一実施形態において、補助画像決定部１３２が、記憶部９０１からデータを呼び出して補助画像３５２を決定する。
【０１３０】
詳しく述べれば、補助画像決定部１３２は、ステップＳ３において検出した上記指示座標６５が指示する先の点を包含するボタン３５０（ボタン３５０ａとする）に関連付けられた画像を補助画像３５２として決定する。補助画像決定部１３２は、例えば、ボタン３５０ａを示す情報を用いて、補助画像データ記憶部２３からボタン３５０ａに関連付けられた画像を呼び出してもよい。上記関連付けられた画像としては、例えば、ボタン３５０ａを拡大した画像等を用いることができる。また、補助画像決定部１３２は、ボタン３５０ａの画像データを被指示画面データ記憶部２１から呼び出して加工することにより、ボタン３５０ａに関連付けられた画像を生成してもよい。上記加工としては、拡大処理、引き出し線を付加する処理等、一般に用いられる画像装飾処理を用いることができる。補助画像決定部１３２は、補助画像３５２を決定した後、補助画像表示位置決定部１３３にステップＳ５を実行させる。
【０１３１】
次に、ステップＳ５において、データ表示／センサ装置１００は、補助画像３５２のセンサ内蔵液晶パネル３０１に表示すべき表示位置（Ｘｓ，Ｙｓ）を決定する。一実施形態において、補助画像表示位置決定部１３３が、指示座標記憶部２２に記憶された指示座標６５、およびセンサデータ処理部７０３から取得した指６４の像に基づいて、表示位置（Ｘｓ，Ｙｓ）を決定する。
【０１３２】
詳しく述べれば、まず、補助画像表示位置決定部１３３は、指示座標記憶部２２から指示座標６５を呼び出す。補助画像表示位置決定部１３３はまた、データ処理部７００に、「データ種別」を”全体画像”、「データ取得タイミング」を、”センス”とした上記コマンドを送り、センサデータ処理部７０３から上記”全体画像データ”（以降、像データと称する）を取得する。そして、得られた像データを像データ記憶部２４に記憶させる。なお、ステップＳ２において、”全体画像”を予め座標と同時に取得するようにしてもよい。
【０１３３】
次に、指示座標６５の近傍であって、指６４によって覆い隠されている領域外に補助画像３５２を表示させるように、補助画像３５２の表示位置を決定する。以下、その方法の一例を述べる。
【０１３４】
補助画像表示位置決定部１３３は、像データ記憶部２４に記憶された像データに基づいて、センサ内蔵液晶パネル３０１上の指６４によって覆い隠されている領域を特定する。上述したように、上記像データは、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データであり、指６４がセンサ内蔵液晶パネル３０１上を覆い隠したとき、当該覆い隠した領域の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、指６４が覆い隠した領域の画素値の明度に変化が生じることとなる。すなわち、上記スキャンのための上記コマンドにおける「スキャン方式」が“00”（反射）である場合には、上記領域の明度が高くなり、該「スキャン方式」が“01”（透過）である場合には、上記領域の明度が低くなる。そこで、上記「スキャン方式」が“00”（反射）である場合には、明度が所定の閾値より高い領域を、該「スキャン方式」が“01”（透過）である場合には、明度が所定の閾値より低い領域を、指６４が覆い隠した領域として特定する。特定した結果は、例えば、上記像データの各画素が上記領域に属するか否かの情報を、該像データに関連付けて像データ記憶部２４に記憶すればよい。
【０１３５】
続いて、図１２に示すように、補助画像３５２の表示位置の候補を設定する（図中３５２ａ〜ｄに示される位置）。例えば、指６４によって指示されている（指示座標６５によって示される点を包含している）ボタン３５０を取り囲むように、補助画像３５２の候補位置Ａ、候補位置Ｂ、候補位置Ｃ、および候補位置Ｄを決定する。図１２に、候補位置Ａ〜Ｄのそれぞれの位置に表示した場合の補助画像３５２ａ〜ｄを示す。ボタン３５０の位置を（Ｘｂ，Ｙｂ）、寸法を（Ｗｂ，Ｈｂ）とした場合、一実施形態において、候補位置Ａは（Ｘｂ−Ｗｂ−３ｋ，Ｙｂ−ｋ）、候補位置Ｂは（Ｘｂ−ｋ，Ｙｂ−Ｈｂ−３ｋ）、候補位置Ｃは（Ｘｂ＋Ｗｂ＋２ｋ，Ｙｂ−ｋ）、および候補位置Ｄ（Ｘｂ−ｋ，Ｙｂ＋Ｈｂ＋２ｋ）とすることができる。なお、ｋは定数、補助画像の寸法は（Ｗｂ＋２ｋ，Ｈｂ＋２ｋ）となる。
【０１３６】
次に、それぞれの候補位置に表示させた場合の補助画像と、上記特定した指６４が覆い隠した領域との重なりとを判定する。この判定は、例えば、それぞれの補助画像の候補が包含する画素の内、上記特定した指６４が覆い隠した領域に属する画素のパーセンテージを求め、当該パーセンテージが所定の閾値以上となる場合に重なっていると判断すればよい。そして、候補位置Ａ〜Ｄのうち、補助画像が指６４の像と重なっていないと判定された候補位置を表示位置として決定する。例えば、図１２の場合であれば、候補位置Ｂまたは候補位置Ｃを表示位置として決定する。このとき、指６４の像と重なっていないと判定された複数の候補位置から上記表示位置を選択する際に、指６４の方向に基づいて該表示位置を選択してもよい。すなわち、指示座標６５から、指６４の方向に近い方向に存在する候補位置を表示位置として選択する。指６４の方向は、例えば、指示座標６５から上記指６４が覆い隠した領域に属する画素が多く存在する方向の逆方向として算出すればよい。補助画像表示制御部１３は補助画像表示位置決定部１３３が上記表示位置を決定した後、被指示画面表示制御部１１にステップＳ６を実行させる。
【０１３７】
なお、上記候補位置の選択は、上述した位置に限られるものではなく、４つに限定されるものでもない。例えば、左右または上下の２箇所としてもよいし、６０°ごとに６箇所としてもよいし、それ以上の数の箇所としてもよい。
【０１３８】
次に、ステップＳ６において、データ表示／センサ装置１００は、ステップＳ４において決定した補助画像３５２を、ステップＳ５において決定した表示位置に、センサ内蔵液晶パネル３０１に表示させる。
【０１３９】
一実施形態において、被指示画面表示制御部１１は、補助画像３５２の画像データおよび上記表示位置に基づいて、周知の画像合成技術により、従前に表示していた被指示画面（スクリーンキーボード３５１）に補助画像３５２を合成して、表示すべき全体画像のデータを生成して、表示データ処理部７０１に送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送る。データ処理部７００は、上述したように、表示制御部６０１およびバックライト制御部６０３を制御してセンサ内蔵液晶パネル３０１上にスクリーンキーボード３５１とともに補助画像３５２を表示させる。
【０１４０】
以降は、ステップＳ２に戻り、ユーザの新たな指示を待つ。
【０１４１】
なお、ステップＳ１において表示する被指示画面は、スクリーンキーボード３５１である必要はなく、種々の画像とすることができる。例えば、それぞれ特定の機能（例えば、ＯＫボタン、キャンセルボタン等）に対応するボタン３５０を表示させてもよい。この場合、ステップＳ１において上述のようなボタン３５０を表示させること以外は、ステップＳ１〜Ｓ６について上記と同様に実行すればよい。また、被指示画面にボタン３５０を表示する必要はなく、その場合、ステップＳ４において、補助画像３５０としては、指示座標６５に関連付けられた画像、例えば、指示座標６５が示す点の近傍を拡大した画像等にすることにより、上記実施形態に係るデータ表示／センサ装置１００と同様、指６４等に覆い隠されてしまい、ユーザが見え難くなってしまっている、指６４が指示する先についての情報を、ユーザに首尾よく提示することができる。よって、上記画像表示／像検知装置とユーザとの間の対話を円滑化することができる。
【０１４２】
（プログラムおよび記録媒体）
最後に、データ表示／センサ装置１００に含まれている回路制御部６００、データ処理部７００、および主制御部８００は、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いてソフトウェアによって実現してもよい。
【０１４３】
すなわち、回路制御部６００、データ処理部７００および主制御部８００は、各機能を実現するプログラムの命令を実行するＭＰＵなどのＣＰＵ、このプログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを実行可能な形式に展開するＲＡＭ（Random Access Memory）、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。
【０１４４】
そして、本発明の目的は、回路制御部６００、データ処理部７００および主制御部８００のプログラムメモリに固定的に担持されている場合に限らず、上記プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、または、ソースプログラム）を記録した記録媒体をデータ表示／センサ装置１００に供給し、データ表示／センサ装置１００が上記記録媒体に記録されている上記プログラムコードを読み出して実行することによっても、達成可能である。
【０１４５】
上記記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。
【０１４６】
また、回路制御部６００、データ処理部７００および主制御部８００（またはデータ表示／センサ装置１００）を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して回路制御部６００、データ処理部７００および主制御部８００に供給する。この通信ネットワークは回路制御部６００、データ処理部７００および主制御部８００にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等であればよい。
【０１４７】
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１４８】
以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１４９】
本発明は、各種情報機器において利用することができる。
【図面の簡単な説明】
【０１５０】
【図１】本発明の一実施形態に係るデータ表示／センサ装置の外観を模式的に図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置の動作の一例を模式的に示す図である。
【図３】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図４】図４（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図６】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図７】図６に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図８】図８（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図８（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図９】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図１０】本発明の一実施形態に係るデータ表示／センサ装置の構成を主制御部および記憶部を中心に示すブロック図である。
【図１１】本発明の一実施形態に係るデータ表示／センサ装置の動作の一例を説明するフローチャートである。
【図１２】本発明の一実施形態に係るデータ表示／センサ装置の動作の一例の一部を模式的に説明する図である。
【符号の説明】
【０１５１】
６        フォトダイオード
６４      指（対象物）
６５      指示座標
１００    データ表示／センサ装置（画像表示／像検知装置）
３００    表示／光センサ部
３０１    センサ内蔵液晶パネル（面状部材）
３５０    ボタン（被指示画像）
３５１    スクリーンキーボード
３５２    補助画像
６００    回路制御部
６０１    表示制御部
６０２    センサ制御部
６０３    バックライト制御部
７００    データ処理部
７０１    表示データ処理部
７０３    センサデータ処理部
８００    主制御部
９０１    記憶部
【図１】
2010092272.tif 000003
【図２】
2010092272.tif 000004
【図３】
2010092272.tif 000005
【図４】
2010092272.tif 000006
【図５】
2010092272.tif 000007
【図６】
2010092272.tif 000008
【図７】
2010092272.tif 000009
【図８】
2010092272.tif 000010
【図９】
2010092272.tif 000011
【図１０】
2010092272.tif 000012
【図１１】
2010092272.tif 000013
【図１２】
2010092272.tif 000014