(57)【要約】【課題】表示画面上の対象物を直感的に操作することができる表示装置を提供する。【解決手段】データ表示／センサ装置１００は、表示画面に接触するユーザの複数の指先を撮像した複数の撮像画像をそれぞれ解析することにより、各撮像画像に含まれる複数の指先の像の位置を算出するセンサデータ処理部７０３と、指先の像の位置を複数の撮像画像間で比較することにより、複数の指先を互いに近づける選択動作が行われたかどうかを判定する選択動作判定部８０２と、選択動作が行われたと判定された場合に、複数の撮像画像のうちの１つに含まれる複数の指先の像の位置と、アイコンの表示画面における表示位置とを比較することにより、アイコンの少なくとも１つを、ユーザが選択したユーザ選択アイコンとして特定するアイコン特定部８０４とを備えている。【選択図】図１
2010140300.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置であって、
上記表示画面に接触するユーザの複数の指先を上記撮像センサによって撮像した撮像画像を、当該撮像画像が撮像された順序と対応付けて複数取得し、取得した複数の撮像画像をそれぞれ解析することにより、各撮像画像に含まれる上記複数の指先の像の位置を算出する位置算出手段と、
上記位置算出手段が算出した位置を上記複数の撮像画像間で比較することにより、上記複数の指先を互いに近づける動作である選択動作が行われたかどうかを判定する動作判定手段と、
上記動作判定手段によって上記選択動作が行われたと判定された場合に、上記複数の撮像画像のうちの１つに含まれる上記複数の指先の像のうちの少なくとも１つの指先の像の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定手段とを備えることを特徴とする表示装置。
【請求項２】
上記位置算出手段は、上記指先の像の外縁部を示す座標群を上記複数の指先の像のそれぞれについて算出し、
上記特定手段は、上記位置算出手段が算出した座標群が示す外縁部と対応する上記表示画面上の領域と所定の位置関係を有する選択項目をユーザ選択項目として特定することを特徴とする請求項１に記載の表示装置。
【請求項３】
上記特定手段は、上記ユーザ選択項目を特定した後に撮像された撮像画像に含まれる上記複数の指先の像の数の変化または上記複数の指先の像の外縁部の少なくとも１つに対応する上記表示画面上の領域と上記ユーザ選択項目の表示領域との位置関係の変化に基づいて、特定しているユーザ選択項目の特定を解除することを特徴とする請求項２に記載の表示装置。
【請求項４】
上記特定手段は、上記複数の撮像画像のうち最新の撮像画像を用いて上記ユーザ選択項目を特定することを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
【請求項５】
複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置であって、
上記表示画面に接触するユーザの複数の指先を上記撮像センサによって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像における上記複数の指先の像の複数の位置を算出する位置算出手段と、
上記位置算出手段が算出した複数の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定手段とを備えることを特徴とする表示装置。
【請求項６】
上記位置算出手段が算出した位置を用いて、上記複数の指先の像の間隔を算出する間隔算出手段と、
上記間隔算出手段が算出した間隔が所定の間隔以下であるかどうかを判定する間隔判定手段とをさらに備え、
上記間隔判定手段によって、上記間隔が所定の間隔以下であると判定された場合に、上記特定手段は、上記選択項目の１つを上記ユーザ選択項目として特定することを特徴とする請求項５に記載の表示装置。
【請求項７】
上記特定手段は、上記ユーザ選択項目を特定した後に撮像された撮像画像における上記複数の指先の像の数の変化または上記複数の指先の像と上記ユーザ選択項目との位置関係の変化に基づいて、特定しているユーザ選択項目の特定を解除することを特徴とする請求項５または６に記載の表示装置。
【請求項８】
複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置であって、
上記表示画面に接触するユーザの両手の側部を上記撮像センサによって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像における上記両手の側部の像の位置をそれぞれ算出する位置算出手段と、
上記位置算出手段が算出した複数の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定手段とを備えることを特徴とする表示装置。
【請求項９】
上記特定手段が上記ユーザ選択項目を特定した後に撮像された撮像画像における上記両手の側部の像の位置の変化に応じて上記ユーザ選択項目の表示位置を変更する表示制御手段をさらに備えることを特徴とする請求項８に記載の表示装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の表示装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１１】
請求項１０に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置の制御方法であって、
上記表示画面に接触するユーザの複数の指先を上記撮像センサによって撮像した撮像画像を、当該撮像画像が撮像された順序と対応付けて複数取得し、取得した複数の撮像画像をそれぞれ解析することにより、各撮像画像に含まれる上記複数の指先の像の位置を算出する位置算出工程と、
上記位置算出工程において算出された位置を上記複数の撮像画像間で比較することにより、上記複数の指先を互いに近づける動作である選択動作が行われたかどうかを判定する動作判定工程と、
上記動作判定工程において上記選択動作が行われたと判定された場合に、上記複数の撮像画像のうちの１つに含まれる上記複数の指先の像のうちの少なくとも１つの指先の像の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定工程とを含むことを特徴とする制御方法。
【請求項１３】
複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置の制御方法であって、
上記表示画面に接触するユーザの複数の指先を上記撮像センサによって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像における上記複数の指先の像の複数の位置を算出する位置算出工程と、
上記位置算出工程において算出された複数の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定工程とを含むことを特徴とする制御方法。
【請求項１４】
複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置の制御方法であって、
上記表示画面に接触するユーザの両手の側部を上記撮像センサによって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像における上記両手の側部の像の位置をそれぞれ算出する位置算出工程と、
上記位置算出工程において算出された複数の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定工程とを含むことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの指示を入力可能な表示装置、当該表示装置の制御方法および制御プログラムに関するものである。
【背景技術】
【０００２】
従来、アイコンなど画面上に表示された選択項目（選択対象物）を選択する場合、マウスでクリックする、指でタッチするなどの操作によって当該選択が行われている。また選択状態の選択項目を画面上で移動する場合、クリックしたままマウスを移動する（ドラッグ）、また指で押さえたまま画面上を滑らす、などの操作によって当該移動が行われている。
【０００３】
なお、２本の指の指先の間隔を変化させることにより、画面上の画像を移動、回転、拡大または縮小する表示処理装置が特許文献１に開示されている。
【特許文献１】特開２００８−７０９６８号公報（２００８年３月２７日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、上記従来の構成では、画面上の選択項目を選択するまたは移動するために行う操作が、実世界で行う動作と一致しないため、直感的に操作できないという問題が生ずる。
【０００５】
本発明は、上記の問題点を解決するためになされたもので、その目的は、画面上の選択項目を直感的に操作することができる表示装置、当該表示装置の制御方法および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る表示装置は、上記の課題を解決するために、複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置であって、上記表示画面に接触するユーザの複数の指先を上記撮像センサによって撮像した撮像画像を、当該撮像画像が撮像された順序と対応付けて複数取得し、取得した複数の撮像画像をそれぞれ解析することにより、各撮像画像に含まれる上記複数の指先の像の位置を算出する位置算出手段と、上記位置算出手段が算出した位置を上記複数の撮像画像間で比較することにより、上記複数の指先を互いに近づける動作である選択動作が行われたかどうかを判定する動作判定手段と、上記動作判定手段によって上記選択動作が行われたと判定された場合に、上記複数の撮像画像のうちの１つに含まれる上記複数の指先の像のうちの少なくとも１つの指先の像の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定手段とを備えることを特徴としている。
【０００７】
本発明に係る制御方法は、上記の課題を解決するために、複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置の制御方法であって、上記表示画面に接触するユーザの複数の指先を上記撮像センサによって撮像した撮像画像を、当該撮像画像が撮像された順序と対応付けて複数取得し、取得した複数の撮像画像をそれぞれ解析することにより、各撮像画像に含まれる上記複数の指先の像の位置を算出する位置算出工程と、上記位置算出工程において算出された位置を上記複数の撮像画像間で比較することにより、上記複数の指先を互いに近づける動作である選択動作が行われたかどうかを判定する動作判定工程と、上記動作判定工程において上記選択動作が行われたと判定された場合に、上記複数の撮像画像のうちの１つに含まれる上記複数の指先の像のうちの少なくとも１つの指先の像の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定工程とを含むことを特徴としている。
【０００８】
上記の構成によれば、位置算出手段は、表示画面に接触するユーザの複数の指先を撮像した撮像画像を、撮像された順序と対応付けて複数取得し、取得した複数の撮像画像をそれぞれ解析することにより、各撮像画像に含まれる複数の指先の像の位置をそれぞれ算出する。動作判定手段は、位置算出手段が算出した位置を複数の撮像画像間で比較することにより、複数の指先を互いに近づける動作である選択動作が行われたかどうかを判定する。
【０００９】
この構成により、表示画面に表示された選択項目（例えば、アイコン）を複数の指（例えば、人差し指と親指）でつまむ動作を検出することができる。
【００１０】
そして、特定手段は、選択動作が行われたと判定された場合に、複数の撮像画像のうちの１つに含まれる複数の指先の像のうちの少なくとも１つの指先の像の位置と、選択項目の表示画面における表示位置とを比較することにより、選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する。
【００１１】
この構成により、選択動作が行われた時点の指先の位置に基づいて、どの選択項目をユーザがつまんだのかを特定することができる。
【００１２】
従って、ユーザは、表示画面に表示された選択項目を指でつまむ動作によって当該選択項目を選択することができ、直感的に選択項目を選択することができる。
【００１３】
また、上記位置算出手段は、上記指先の像の外縁部を示す座標群を上記複数の指先の像のそれぞれについて算出し、上記特定手段は、上記位置算出手段が算出した座標群が示す外縁部と対応する上記表示画面上の領域と所定の位置関係を有する選択項目をユーザ選択項目として特定することが好ましい。
【００１４】
上記の構成によれば、指先の像の外縁部を示す座標群が複数の指先の像のそれぞれについて算出され、その座標群が示す外縁部と対応する表示画面上の領域と所定の位置関係を有する選択項目がユーザ選択項目として特定される。例えば、表示画面において指先の像の外縁部とアイコンとが接した場合に、そのアイコンがユーザ選択項目として特定される。
【００１５】
それゆえ、指先の像の位置を１つの座標（例えば、指先の像の中心部の座標）で表して、当該指先の像の位置と選択項目との位置関係に基づいてユーザ選択項目を特定する場合よりも、ユーザがつまんだ選択項目をより正確に特定できる。
【００１６】
また、上記特定手段は、上記ユーザ選択項目を特定した後に撮像された撮像画像に含まれる上記複数の指先の像の数の変化または上記複数の指先の像の外縁部の少なくとも１つに対応する上記表示画面上の領域と上記ユーザ選択項目の表示領域との位置関係の変化に基づいて、特定しているユーザ選択項目の特定を解除することが好ましい。
【００１７】
上記の構成によれば、特定手段がユーザ選択項目を特定した後も指先の像が撮像され、ユーザがユーザ選択項目から指を離した場合にユーザ選択項目の特定が解除される。ユーザがユーザ選択項目から指を離す場合には、表示画面から指先を離す場合と表示画面に指先をつけた状態でユーザ選択項目から指先を離す場合とが含まれる。指先の像の数の変化に基づいて特定を解除する構成は、前者の場合に対応するものである。
【００１８】
それゆえ、ユーザ選択項目から指を離すという直感的な操作により、ユーザ選択項目の特定を解除できる。
【００１９】
また、上記特定手段は、上記複数の撮像画像のうち最新の撮像画像を用いて上記ユーザ選択項目を特定することが好ましい。
【００２０】
上記の構成によれば、選択動作の判定に用いた撮像画像のうち最新の撮像画像を用いることにより、指先の間隔が最も狭くなった状態の指先の位置からユーザ選択項目を特定できるため、ユーザがつまんだ選択項目をより正確に特定することができる。
【００２１】
本発明に係る表示装置は、上記の課題を解決するために、複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置であって、上記表示画面に接触するユーザの複数の指先を上記撮像センサによって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像における上記複数の指先の像の複数の位置を算出する位置算出手段と、上記位置算出手段が算出した複数の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定手段とを備えることを特徴としている。
【００２２】
本発明に係る制御方法は、上記の課題を解決するために、複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置の制御方法であって、上記表示画面に接触するユーザの複数の指先を上記撮像センサによって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像における上記複数の指先の像の複数の位置を算出する位置算出工程と、上記位置算出工程において算出された複数の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定工程とを含むことを特徴としている。
【００２３】
上記の構成によれば、位置算出手段は、表示画面に接触するユーザの複数の指先を撮像した撮像画像を解析することにより、当該撮像画像における複数の指先の像の複数の位置を算出する。特定手段は、位置算出手段が算出した複数の位置と、選択項目の表示画面における表示位置とを比較することにより、選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する。
【００２４】
それゆえ、ユーザが表示画面に表示された１つまたは複数の選択項目を複数の指先で囲むまたは挟んだ場合に、それらの選択項目をユーザ選択アイコンとして特定できる。
【００２５】
従って、ユーザは、選択項目を複数の指先で囲むまたは挟むという直感的な操作によって所望する選択項目を選択することができる。
【００２６】
また、上記位置算出手段が算出した位置を用いて、上記複数の指先の像の間隔を算出する間隔算出手段と、上記間隔算出手段が算出した間隔が所定の間隔以下であるかどうかを判定する間隔判定手段とをさらに備え、上記間隔判定手段によって、上記間隔が所定の間隔以下であると判定された場合に、上記特定手段は、上記選択項目の１つを上記ユーザ選択項目として特定することが好ましい。
【００２７】
上記の構成によれば、撮像画像における複数の指先の像の間隔が所定の間隔以下であると間隔判定手段が判定した場合に、特定手段は、選択項目の１つをユーザ選択項目として特定する。
【００２８】
それゆえ、指先が互いに近づけられた状態を検出したことを契機としてユーザ選択項目の特定を行うことができ、ユーザが選択項目をつまんだ状態をより正確に検出できる。
【００２９】
また、上記特定手段は、上記ユーザ選択項目を特定した後に撮像された撮像画像における上記複数の指先の像の数の変化または上記複数の指先の像と上記ユーザ選択項目との位置関係の変化に基づいて、特定しているユーザ選択項目の特定を解除することが好ましい。
【００３０】
上記の構成によれば、特定手段がユーザ選択項目を特定した後も指先の像が撮像され、ユーザがユーザ選択項目から指を離した場合にユーザ選択項目の特定が解除される。
【００３１】
それゆえ、ユーザ選択項目から指を離すという直感的な操作により、ユーザ選択項目の特定を解除できる。
【００３２】
本発明に係る表示装置は、上記の課題を解決するために、複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置であって、上記表示画面に接触するユーザの両手の側部を上記撮像センサによって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像における上記両手の側部の像の位置をそれぞれ算出する位置算出手段と、上記位置算出手段が算出した複数の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定手段とを備えることを特徴としている。
【００３３】
本発明に係る制御方法は、上記の課題を解決するために、複数の撮像センサを内蔵した表示画面を有し、ユーザが選択可能な少なくとも１つの選択項目を上記表示画面に表示する表示装置の制御方法であって、上記表示画面に接触するユーザの両手の側部を上記撮像センサによって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像における上記両手の側部の像の位置をそれぞれ算出する位置算出工程と、上記位置算出工程において算出された複数の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定工程とを含むことを特徴としている。
【００３４】
上記の構成によれば、位置算出手段は、表示画面に接触するユーザの両手の側部を撮像した撮像画像を解析することにより、当該撮像画像における両手の側部の像の位置をそれぞれ算出する。特定手段は、位置算出手段が算出した両手の側部の位置と、選択項目の表示画面における表示位置とを比較することにより、選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する。
【００３５】
それゆえ、ユーザが表示画面に表示された１つまたは複数の選択項目を両手で囲んだ（または挟んだ）場合に、それらの選択項目をユーザ選択アイコンとして特定できる。従って、ユーザは選択項目を両手で囲む（または挟む）という直感的な操作によって所望する選択項目を選択できる。
【００３６】
また、上記特定手段が上記ユーザ選択項目を特定した後に撮像された撮像画像における上記両手の側部の像の位置の変化に応じて上記ユーザ選択項目の表示位置を変更する表示制御手段をさらに備えることが好ましい。
【００３７】
上記の構成によれば、ユーザ選択項目が特定された状態で、両手の側部を、例えば互いに近づける方向に移動させた場合に、その両手の位置の変化に応じてユーザ選択項目の表示位置が変更される。この場合には、例えば、ユーザ選択選択項目を、両手の側部の像の中間点へ向かう方向へ移動させる。
【００３８】
それゆえ、両手の位置を変化させることにより、当該両手で囲んだ選択項目の表示位置を変更するという直感的な操作をユーザに行わせることができる。
【００３９】
また、上記表示装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラムおよび当該制御プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。
【発明の効果】
【００４０】
以上のように、本発明に係る表示装置は、表示画面に接触するユーザの複数の指先を撮像センサによって撮像した撮像画像を、当該撮像画像が撮像された順序と対応付けて複数取得し、取得した複数の撮像画像をそれぞれ解析することにより、各撮像画像に含まれる上記複数の指先の像の位置を算出する位置算出手段と、上記位置算出手段が算出した位置を上記複数の撮像画像間で比較することにより、上記複数の指先を互いに近づける動作である選択動作が行われたかどうかを判定する動作判定手段と、上記動作判定手段によって上記選択動作が行われたと判定された場合に、上記複数の撮像画像のうちの１つに含まれる上記複数の指先の像のうちの少なくとも１つの指先の像の位置と、選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定手段とを備える構成である。
【００４１】
本発明に係る表示装置は、表示画面に接触するユーザの複数の指先を撮像センサによって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像における上記複数の指先の像の複数の位置を算出する位置算出手段と、上記位置算出手段が算出した複数の位置と、選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定手段とを備える構成である。
【００４２】
本発明に係る表示装置は、表示画面に接触するユーザの両手の側部を撮像センサによって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像における上記両手の側部の像の位置をそれぞれ算出する位置算出手段と、上記位置算出手段が算出した複数の位置と、上記選択項目の上記表示画面における表示位置とを比較することにより、上記選択項目の少なくとも１つを、ユーザが選択したユーザ選択項目として特定する特定手段とを備える構成である。
【００４３】
それゆえ、表示画面に表示された選択項目を指でつまむ動作によって当該選択項目を選択することができ、直感的に選択項目を選択することができるという効果を奏する。
【発明を実施するための最良の形態】
【００４４】
〔実施の形態１〕
本発明の実施の一形態について図１〜図１４に基づいて説明すれば、以下のとおりである。本実施形態のデータ表示／センサ装置（表示装置）１００は、図４に示すように、複数の光センサ回路（撮像センサ）３２を内蔵したセンサ内蔵液晶パネル（表示画面）３０１を備え、このセンサ内蔵液晶パネル３０１によって、当該センサ内蔵液晶パネル３０１に対してタッチされたユーザの指先を撮像する。そして、データ表示／センサ装置１００は、撮像した画像を解析することにより、図９（ａ）に示すように、画面に表示されたアイコン（選択項目）２をつまもうとするユーザの指先の動作を検出し、ユーザがつまもうとしたアイコンをユーザ選択アイコンとして特定する。特定されたアイコンは選択状態となり、移動、削除、コピー等各種の処理の対象となる。図９（ａ）は、画面に表示されたアイコン２をつまむユーザの動作を示す図であり、図９（ｂ）は、つまんだアイコン２を移動させるユーザの動作を示す図である。
【００４５】
まず、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００４６】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００４７】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００４８】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００４９】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００５０】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００５１】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００５２】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００５３】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００５４】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００５５】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００５６】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００５７】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００５８】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部（表示制御手段）６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００５９】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００６０】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００６１】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００６２】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００６３】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００６４】
表示制御部６０１（表示制御手段）は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００６５】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００６６】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００６７】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００６８】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００６９】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００７０】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００７１】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００７２】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００７３】
センサデータ処理部（位置算出手段）７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００７４】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。より詳細には、センサデータ処理部７０３は、表示画面（センサ内蔵液晶パネル３０１）に接触するユーザの複数の指先を光センサ回路３２によって撮像した複数の撮像画像を、当該撮像画像が撮像された順序と対応付けて格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００７５】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００７６】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００７７】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００７８】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００７９】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００８０】
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００８１】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００８２】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００８３】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００８４】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００８５】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００８６】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００８７】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００８８】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００８９】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００９０】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００９１】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００９２】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００９３】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。より詳細には、センサデータ処理部７０３は、取得した複数の撮像画像をそれぞれ解析することにより、各撮像画像に含まれる複数の指先の像の位置を算出し、当該位置を示す座標データを、主制御部８００に送信する。
【００９４】
なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００９５】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００９６】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００９７】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００９８】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００９９】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【０１００】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【０１０１】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【０１０２】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１０３】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１０４】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１０５】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１０６】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１０７】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１０８】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１０９】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１１０】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１１１】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【０１１２】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１１３】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１１４】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１１５】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１１６】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１１７】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１１８】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１１９】
また、センサデータ処理部７０３は、指先の像の外縁部を示す座標群である外縁座標を算出し、座標データとして主制御部８００へ出力してもよい。指先の像の外縁部とは、図７（ｂ）に示すように、明度が所定の閾値より大きく変化している画素値の領域の外縁部である。外縁座標に含まれる座標の数は適宜設定されればよく、おおよそ指先の像の形状が認識できる程度のものであればよい。また、センサデータ処理部７０３は、指先の像の外縁部を示す座標群を、当該座標群を示す数式として表現し、当該数式を座標データとして主制御部８００へ出力してもよい。
【０１２０】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１２１】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１２２】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１２３】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１２４】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１２５】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１２６】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１２７】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１２８】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１２９】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１３０】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１３１】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１３２】
（主制御部８００の構成）
次に、図１を参照しつつ、主制御部８００の構成について説明する。図１は、主制御部８００の構成を示す機能ブロック図である。図１に示すように、主制御部８００は、間隔算出部（間隔算出手段）８０１、選択動作判定部（動作判定手段）８０２、非選択動作判定部８０３、アイコン特定部（特定手段）８０４、表示画像生成部８０５を備えている。
【０１３３】
間隔算出部８０１は、センサデータ処理部７０３が算出した指先の位置（座標データ）を用いて、複数の指先の像の間隔を撮像画像ごと（座標データごと）に算出する。より詳細には、間隔算出部８０１は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。この処理により、撮像画像に指先の像が含まれ始めてから当該指先の像の位置が変化し続ける間は、センサデータ処理部７０３から座標データが間隔算出部８０１へ出力される。間隔算出部８０１は、受信した座標データごとに、複数の指先の像の座標間の間隔を算出し、算出した間隔を示す間隔データを選択動作判定部８０２へ出力する。
【０１３４】
選択動作判定部８０２は、間隔算出部８０１が算出した間隔を複数の撮像画像間で比較することにより、複数の指先を互いに近づける動作である選択動作が行われたかどうかを判定する。具体的には、指先の像の間隔が時間経過とともに小さくなっていった場合に、選択動作が行われたと判定する。この判定を行うために、選択動作判定部８０２は、所定の数（少なくとも２つ）の間隔データを、取得した順に一次記憶部９０２に格納し、格納した所定の数の間隔データが示す間隔を比較する。
【０１３５】
アイコン特定部８０４は、選択動作判定部８０２によって選択動作が行われたと判定された場合に、動作の判定に用いられた複数の撮像画像のうちの１つ、または選択動作が行われたと判定された後に取得された複数の撮像画像のうちの１つに含まれる複数の指先の像のうちの少なくとも１つの指先の像の位置と、アイコンの表示画面における表示位置とを比較することにより、表示画面に表示されたアイコンの少なくとも１つを、ユーザが選択したユーザ選択アイコンとして特定する。
【０１３６】
また、アイコン特定部８０４は、ユーザ選択アイコンを特定した後に取得された撮像画像における複数の指先の像の数または複数の指先の像の少なくとも１つとユーザ選択アイコンとの位置関係の変化に基づいて、特定しているユーザ選択アイコンの特定を解除する。より具体的には、アイコン特定部８０４は、、ユーザ選択アイコンを特定した後に撮像された撮像画像に含まれる複数の指先の像の少なくとも１つに対応する表示画面上の位置とユーザ選択アイコンの表示位置とが所定の距離以上離れた場合または上記撮像画像に含まれる複数の指先の像の数が減少した場合に、ユーザ選択アイコンの特定を解除する。ユーザ選択アイコンの選択処理および選択解除処理の詳細については後述する。
【０１３７】
非選択動作判定部８０３は、アイコン特定部８０４がユーザ選択アイコンを特定した後に撮像された撮像画像における指先の像の数またはユーザ選択アイコンと指先の像との位置関係の変化に基づいて、選択したアイコンを離す非選択動作をユーザが行ったかどうかを判定する。例えば、非選択動作判定部８０３は、ユーザ選択アイコンが特定された後に複数の指先の少なくとも１つがユーザ選択アイコンから所定の距離以上離れたかどうかを判定し、所定の距離以上離れた場合に非選択動作が行われたと判定する。
【０１３８】
または、非選択動作判定部８０３は、ユーザ選択アイコンが特定された後に取得された撮像画像における指先の像の数が減少したかどうかを判定し、減少した場合に非選択動作が行われたと判定する。
【０１３９】
表示画像生成部８０５は、アイコン特定部８０４がユーザ選択アイコンを特定した場合に、当該ユーザ選択アイコンの色を変化させた表示用画像を生成する。この表示用画像が表示画面に表示されることにより、当該アイコンが選択されたことをユーザに報知できる。
【０１４０】
また、表示画像生成部８０５は、ユーザが選択したアイコンを移動させた場合に、撮像画像における指先の像の位置の変化に伴ってアイコンの位置を変化させる。より詳細には、表示画像生成部８０５は、ユーザ選択アイコンが選択されている状態において、撮像画像における指先の像の位置が変化した場合に、当該撮像画像における指先の像の位置に対応する位置にユーザ選択アイコンが表示された表示用画像を生成する。
【０１４１】
アイコンの表示位置を変化させた場合、表示画像生成部８０５は、変化後のアイコンの表示位置（表示領域の範囲）を表示位置テーブル９１０に記録する。この表示位置テーブル９１０は、各アイコンの表示画面における表示位置を示すテーブルであり、記憶部９０１に格納されている。
【０１４２】
表示位置テーブル９１０には、各アイコンが表示されている表示画面上の領域を示す座標が記録されている。アイコンの表示領域は、そのアイコンが四角形であれば、当該四角形の４隅の座標として示されればよい。また、アイコンの表示領域は、そのアイコンの外縁部を示す複数の座標として示されてもよい。また、アイコンの表示領域と、そのアイコンの形状とが完全に一致しなくてもよく、アイコンをほぼ含む多角形または円として当該アイコンの表示領域が示されていてもよい。
【０１４３】
（アイコン特定部８０４における処理の詳細）
アイコン特定部８０４は、選択動作が行われたと選択動作判定部８０２が判定すると、選択動作の判定に用いられた座標データのうち最新の座標データを選択動作判定部８０２から受信し、当該座標データが示す指先の像の位置と、表示位置テーブル９１０が示す各アイコンの表示領域とを比較する。撮像画像における座標系とアイコンの表示領域を示す座標系とは同じものであるため、指先の像の座標とアイコンの座標とをそのまま比較できる。
【０１４４】
そして、複数の指先の像の少なくとも１つに対応する表示画面上の領域（すなわち、表示画面に接する実際の指先の位置）と部分的に重なる（または接する）表示領域を有するアイコンが存在した場合に、当該アイコンをユーザ選択アイコンとして特定する。つまり、アイコン特定部８０４は、ユーザが複数の指先でアイコンをつまむ動作を行い、その指先の少なくとも１つが、あるアイコンの一部に重なった場合（または接した場合）に、当該アイコンをユーザ選択アイコンとして特定する。
【０１４５】
なお、指先の像は撮像画像に含まれており、アイコンは表示画面に表示されているため、実際には指先の像とアイコンとが接することはないが、両者の位置は同一の座標系で示されるため、便宜上両者が接する（または重なる）という表現を用いる場合がある。
【０１４６】
選択動作の判定に用いられた座標データが示す指先の像の位置と、表示位置テーブル９１０が示す各アイコンの表示領域とが重ならなかった場合（または接しなかった場合）、アイコン特定部８０４は、センサデータ処理部７０３から新たな座標データの取得を開始する。そのためにアイコン特定部８０４は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。
【０１４７】
アイコン特定部８０４が取得する座標データは、指先の像の代表点（例えば、中心）の座標を示すものであってもよいが、指先の像の外縁部を示す複数の座標の集合（外縁座標群）を示すものであることが好ましい。その方が、指先の像とアイコンとが接したかどうかをより正確に判定できるからである。
【０１４８】
すなわち、センサデータ処理部７０３は、指先の像の外縁部を示す外縁座標群を複数の指先の像のそれぞれについて算出し、アイコン特定部８０４は、外縁座標群によって示される表示画面上の領域と重なって（または接して）表示されたアイコンをユーザ選択アイコンとして特定する。
【０１４９】
または、指先の像の外縁部とアイコンの外縁部との間隔が所定の間隔以下になった場合に当該アイコンをユーザ選択アイコンとして特定してもよい。すなわち、アイコン特定部８０４は、センサデータ処理部７０３が算出した座標群が示す外縁部と対応する表示画面上の領域と所定の位置関係を有するアイコンをユーザ選択アイコンとして特定してもよい。
【０１５０】
ユーザ選択アイコンを特定する処理を図１０（ａ）および（ｂ）を用いてより具体的に説明する。図１０（ａ）および（ｂ）は、ユーザがアイコンをつまむ動作を行った場合の指先の像とアイコンとの位置関係を示す図である。同図に示すように、アイコン２を人差指と親指とでつまむ場合、人差指の像３と親指の像４とが撮像される。なお、撮像画像にはアイコン２は含まれないが、説明の便宜上、撮像画像とアイコン２とを重ねて示している。
【０１５１】
図１０（ａ）に示すように、人差指と親指とを互いに近づける動作が行われたと選択動作判定部８０２が判定し、選択動作の判定に用いられた座標データが示す指先の像の位置と、各アイコンの表示領域とが重ならなかった場合、アイコン特定部８０４は、センサデータ処理部７０３から新たな座標データを取得し、人差指の像３および親指の像４と、各アイコンの表示領域とを比較する処理を開始する。
【０１５２】
図１０（ｂ）に示すように、アイコン特定部８０４は、人差指の像３または親指の像４、もしくはその両方の外縁部がアイコン２の外縁部と接したことを検出した場合に、アイコン２をユーザ選択アイコンとして特定する。
【０１５３】
なお、人差指の像３と親指の像４との両方の外縁部がアイコン２の外縁部と接した場合にアイコン２をユーザ選択アイコンとして特定してもよい。この構成により、より正確にユーザ選択アイコンを特定できる。
【０１５４】
また、アイコン特定部８０４が座標データとして、指先の像の代表点の座標を取得する場合には、当該代表点とアイコン２の外縁部との間隔が所定の間隔以下になった場合に、アイコン２をユーザ選択アイコンとして特定してもよい。上記所定の間隔は、指先の像の中心とその外縁部との間の距離を考慮して設定すればよい。
【０１５５】
また、指先の像の外縁部または代表点と、アイコンの代表点（例えば、中心点）との間の間隔が所定の間隔以下になった場合に、アイコン２をユーザ選択アイコンとして特定してもよい。
【０１５６】
（アイコンを移動させる場合の処理の詳細）
図１１は、アイコンを移動させる場合の操作を説明するための図である。同図に示すように、人差指の像３と親指の像４とによってアイコン２をつまんだ状態で両指を平行移動させると、その指の移動に伴ってアイコン２の表示位置も移動する。
【０１５７】
アイコン２がユーザ選択アイコンとして特定された後、表示画像生成部８０５は、その時点から座標データの取得を開始する。そのために表示画像生成部８０５は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。
【０１５８】
表示画像生成部８０５は、変化した指先の像の位置に対応する位置にアイコンが配置された表示用画像を生成し、生成した表示用画像を表示データ処理部７０１へ送信するとともに、変化後のアイコンの表示位置を表示位置テーブル９１０に記録する。
【０１５９】
（非選択動作判定部８０３における処理の詳細）
図１２（ａ）および（ｂ）は、非選択動作判定部８０３における処理を説明するための図である。同図（ａ）に示すように、人差指の像３と親指の像４とによってアイコン２を挟んだ状態から、親指を表示画面から離すと、親指の像４が撮像画像から消える。このようにアイコンをつまんだ指先の像の少なくとも１つが消えた場合に、非選択動作判定部８０３は、非選択動作が行われたと判定してもよい。
【０１６０】
このような判定を行う場合には、非選択動作判定部８０３は、アイコン特定部８０４がユーザ選択アイコンを特定した後に、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。そして、非選択動作判定部８０３は、データ処理部７００から座標データを取得し、その座標データに示された指先の像の数（より正確には指先の像を示す座標（または座標群）の数）をカウントする。
【０１６１】
そして、座標データに示された指先の像の数が減少した場合に、非選択動作判定部８０３は、非選択動作が行われたと判定する。
【０１６２】
または、図１２（ｂ）に示すように、人差指の像３または親指の像４、もしくはその両方が、アイコン２の外縁部から所定の距離以上移動した場合に、非選択動作判定部８０３は、非選択動作が行われたと判定してもよい。上記所定の距離とは、例えば、アイコン２の高さ（または幅）に相当する距離である。
【０１６３】
このような判定を行う場合には、非選択動作判定部８０３は、アイコン特定部８０４がユーザ選択アイコンを特定した後に、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。さらに、非選択動作判定部８０３は、表示位置テーブル９１０からユーザ選択アイコンの表示領域の座標を取得する。
【０１６４】
そして、非選択動作判定部８０３は、データ処理部７００から座標データを順次取得し、その座標データに示された指先の像（人差指の像３および／または親指の像４）の位置と、表示位置テーブル９１０が示すユーザ選択アイコンの表示領域とを比較する。そして、両者の間隔が所定の間隔以上になった場合に、非選択動作判定部８０３は、非選択動作が行われたと判定する。
【０１６５】
（ユーザ選択アイコン特定処理の流れ）
次に、データ表示／センサ装置１００におけるユーザ選択アイコンを特定する処理の流れの一例について、図１３を参照しつつ説明する。図１３は、データ表示／センサ装置１００におけるユーザ選択アイコンを特定する処理の流れの一例を示すフローチャートである。ここでは、指先の像の間隔に基づいて選択動作を判定し、指先の像の外縁部とアイコンの外縁部との位置関係に基づいてユーザ選択アイコンを特定する場合の処理の流れについて説明する。
【０１６６】
まず、間隔算出部８０１は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。
【０１６７】
センサ内蔵液晶パネル３０１は、撮像を所定の時間間隔で行い、撮像画像をセンサデータ処理部７０３へ出力する（Ｓ１）。
【０１６８】
撮像画像に変化が生じた場合（すなわち、撮像画像に指先の像が含まれた場合）、データ処理部７００は、所定の時間間隔で取得した撮像画像ごとに、当該撮像画像に含まれる指先の像の外縁部を示す外縁座標群を複数の指先の像のそれぞれについて算出し、当該外縁座標群を示す座標データを間隔算出部８０１へ出力する（Ｓ２）。
【０１６９】
間隔算出部８０１は、座標データを受信すると、当該座標データを一次記憶部９０２に格納するとともに、座標データごとに複数の指先の像の外縁部間の間隔を算出し、算出した間隔を示す間隔データを座標データと対応付けて選択動作判定部８０２へ出力する（Ｓ３）。
【０１７０】
選択動作判定部８０２は、間隔データを受け取るとと、所定の数の間隔データを、取得した順に一次記憶部９０２に格納し、格納した所定の数の間隔データが示す間隔を互いに比較する。そして、当該間隔が時間経過に伴って小さくなっている場合（Ｓ４にてＹＥＳ）、選択動作判定部８０２は、最新の間隔データに対応する座標データを一次記憶部９０２から取得し、当該座標データをアイコン特定部８０４へ出力する。
【０１７１】
一方、上記間隔が時間経過に伴って小さくなっていない場合（Ｓ４にてＮＯ）、選択動作判定部８０２は、選択動作が行われていないと判定し、新たな間隔データが送信されるのを待つ。
【０１７２】
上記座標データを受け取ると、アイコン特定部８０４は、受信した座標データが示す指先の像の位置と、表示位置テーブル９１０が示す各アイコンの表示領域とを比較する。そして、複数の指先の像の少なくとも１つと近接する表示領域を有するアイコンが存在した場合（Ｓ５にてＹＥＳ）、アイコン特定部８０４は、当該アイコンをユーザ選択アイコンとして特定する（Ｓ８）。
【０１７３】
一方、複数の指先の像の少なくとも１つと近接する表示領域を有するアイコンが存在しなかった場合（Ｓ５にてＮＯ）、アイコン特定部８０４は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信し、センサデータ処理部７０３から新たな座標データの取得を開始する（Ｓ６）。
【０１７４】
上記座標データを受け取ると、アイコン特定部８０４は、受信した座標データが示す指先の像の位置と、表示位置テーブル９１０が示す各アイコンの表示領域とを比較し、複数の指先の像の少なくとも１つと近接する表示領域を有するアイコンが存在した場合（Ｓ７にてＹＥＳ）、当該アイコンをユーザ選択アイコンとして特定する（Ｓ８）。そして、アイコン特定部８０４は、ユーザ選択アイコンを示す特定情報を表示画像生成部８０５へ出力する。
【０１７５】
表示画像生成部８０５は、特定情報を受け取ると、当該特定情報が示すアイコンの色を変化させた表示用画像を生成し、表示データ処理部７０１へ出力する（Ｓ９）。
【０１７６】
（アイコン移動処理の流れ）
次に、データ表示／センサ装置１００におけるアイコン移動処理の流れの一例について、図１４を参照しつつ説明する。図１４は、データ表示／センサ装置１００におけるアイコン移動処理の流れの一例を示すフローチャートである。ここでは、撮像画像における指先の像の数が減少するかどうかによってユーザがアイコンを離したかどうかを判定する場合の処理について説明する。
【０１７７】
アイコン特定部８０４によってユーザ選択アイコンが特定された状態から説明を始める。この状態において、図１０（ｂ）に示すように、人差指の像３および親指の像４によってアイコン２が挟まれているものとする。
【０１７８】
アイコン特定部８０４は、ユーザ選択アイコンを特定すると、非選択動作の判定を開始させる開始命令を非選択動作判定部８０３へ出力する。
【０１７９】
非選択動作判定部８０３は、開始命令を受け取ると、「データ取得タイミング」フィールドに、“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。
【０１８０】
センサ内蔵液晶パネル３０１は、撮像を所定の時間間隔で行い、撮像画像をセンサデータ処理部７０３へ出力する（Ｓ１１）。
【０１８１】
データ処理部７００は、所定の時間間隔で取得した撮像画像ごとに、当該撮像画像に含まれる指先の像の座標を複数の指先の像のそれぞれについて算出し、当該座標を示す座標データを非選択動作判定部８０３へ出力する（Ｓ１２）。
【０１８２】
このとき、図１１に示すように、ユーザがユーザ選択アイコンをつまんだ状態で移動させた場合、表示画像生成部８０５は、センサデータ処理部７０３から出力された座標データが示す指先の像の位置と対応する位置にユーザ選択アイコンが表示された表示用画像を生成し、当該表示用画像を表示データ処理部７０１へ出力する。その結果、センサ内蔵液晶パネル３０１に当該表示用画像が表示される（Ｓ１３）。
【０１８３】
その後、非選択動作判定部８０３は、座標データに含まれる指先の像の数をカウントし（Ｓ１４）、図１２（ａ）に示すように指先の像の数が減少した場合（Ｓ１５にてＹＥＳ）、その旨を示す減少情報をアイコン特定部８０４へ出力する。
【０１８４】
アイコン特定部８０４は、減少情報を受け取ると、ユーザ選択アイコンの特定を解除したことを示す解除情報を表示画像生成部８０５へ出力する（Ｓ１６）。
【０１８５】
表示画像生成部８０５は、解除情報を受け取ると、アイコン２の表示を非選択の状態の表示に戻すとともにアイコン２の表示位置を確定させる（Ｓ１７）。
【０１８６】
なお、ユーザ選択アイコンを特定するための処理とユーザ選択アイコンを移動させるための処理とを一連の処理として扱う必要は必ずしもなく、両者を独立した処理として扱ってもよい。例えば、ユーザ選択アイコンが特定された後、ユーザが表示画面から一旦指先を全て離し、１本の指でユーザ選択アイコンを移動させてもよいし、マウス等を用いてユーザ選択アイコンを移動させてもよい。この場合には、ユーザ選択アイコンから指先が離れた時点でユーザ選択アイコンの特定を解除する処理は行われず、別の動作、例えば、ユーザ選択アイコン以外の領域を指でタッチする等の動作によってユーザ選択アイコンの特定を解除すればよい。
【０１８７】
（選択動作判定部８０２における処理の変更例）
選択動作判定部８０２は、センサデータ処理部７０３から出力された座標データが示す複数の指先の移動方向を解析することにより、複数の指先を互いに近づける動作である選択動作が行われたかどうかを判定してもよい。
【０１８８】
具体的には、選択動作判定部８０２は、複数の座標データを用いて、第１の指先の像の移動方向と第２の指先の像の移動方向とを算出し、第１の指先と第２の指先とが互いに近づく方向に第１の指先および／または第２の指先が移動しているかどうかを判定し、そのように移動していると判定した場合に、選択動作が行われたと判定してもよい。
【０１８９】
この場合には、選択動作判定部８０２は、間隔算出部８０１から間隔データを取得する必要はない。
【０１９０】
（非選択動作判定部８０３における処理の変更例）
非選択動作判定部８０３は、ユーザ選択アイコンが特定された後に取得された撮像画像における複数の指先の像が、ユーザ選択アイコンの表示領域の代表点（例えば、中心）から所定の距離以上離れた場合に非選択動作が行われたと判定してもよい。
【０１９１】
また、非選択動作判定部８０３は、ユーザ選択アイコンが特定された後に取得された撮像画像における複数の指先の像の間隔が所定の間隔以上になった場合に非選択動作が行われたと判定してもよい。この場合、間隔算出部８０１は、アイコン特定部８０４がユーザ選択アイコンを特定した時点で、再度「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。そして、間隔算出部８０１は、ユーザ選択アイコンが特定された後の撮像画像における指先の像の間隔を算出して非選択動作判定部８０３へ出力し、非選択動作判定部８０３は算出された間隔を用いて非選択動作の判定を行ってもよい。
【０１９２】
（アイコン特定部８０４における処理の変更例）
ユーザが近接して表示されている複数のアイコンを一度につまむ動作をした場合に、アイコン特定部８０４は、これら複数のアイコンをユーザ選択アイコンとして特定してもよい。図１５は、アイコン特定部８０４における処理の変更例を示す図である。同図に示すように、具体的には、アイコン特定部８０４は、選択動作が行われたと選択動作判定部８０２が判定した時点から座標データの取得を開始し、人差指の像３の外縁部と接したアイコン（第１のアイコン）５ａと、親指の像４と接したアイコン（第２のアイコン）５ｃとを特定し、さらにアイコン５ａとアイコン５ｃとの間に表示されている１つまたは複数のアイコン（第３のアイコン）５ｂを特定し、アイコン５ａ・５ｂ・５ｃをユーザ選択アイコンとして特定してもよい。
【０１９３】
また、アイコン特定部８０４は、選択動作判定部８０２が選択動作の判定に用いた撮像画像のうち、最新の撮像画像に含まれる複数の指先の像の位置と、その時点で表示されているアイコンの表示位置（表示領域）とを比較し、複数の指先の像の間に表示された少なくとも１つのアイコンをユーザ選択アイコンとして特定してもよいし、複数の指先の像の中間点またはその近傍に表示された１つのアイコンをユーザ選択アイコンとして特定してもよい。
【０１９４】
（指の種類および数の変更例）
アイコンをつまむ指は、どの指であってもよく、３本以上の指で１つのアイコンをつまんでもよい。３本の指で１つのアイコンをつまむ場合には、アイコン特定部８０４は、３つの指先の像の位置と各アイコンの表示位置とを比較すればよい。
【０１９５】
また、２本の指でアイコンをつまんだ場合と、３本以上の指でアイコンをつまんだ場合とで、その後の処理の内容を異ならせてもよい。すなわち、主制御部８００は、アイコンをつまんだ指の数に対応する処理を行ってもよい。例えば、ユーザが３本の指でアイコンをつまんだ場合には、主制御部８００は、当該アイコンがダブルクリックされた場合と同様の処理を行ってもよい。
【０１９６】
〔実施の形態２〕
本発明の他の実施形態について図１６〜図１８に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。
【０１９７】
図１６は、本実施の形態のデータ表示／センサ装置（表示装置）１１０が備える主制御部８１０の構成を示す機能ブロック図である。同図に示すように、主制御部８１０は、データ表示／センサ装置１００とは異なり、選択動作判定部８０２および非選択動作判定部８０３の代わりに間隔判定部（間隔判定手段）８０７を備えているとともに、アイコン特定部８０４の代わりにアイコン特定部（特定手段）８０８を備えている。
【０１９８】
データ表示／センサ装置１００では、アイコンをつまむ動作を検出したが、データ表示／センサ装置１１０では、撮像画像における複数の指先の間隔を判定基準として用いる。
【０１９９】
間隔判定部８０７は、アイコン特定部８０８がユーザ選択アイコンを特定する前の状態において、間隔算出部８０１が算出した間隔が所定の間隔（第１間隔）以下であるかどうかを判定し、上記間隔が第１間隔以下である場合に、対応する座標データをアイコン特定部８０８へ出力する。
【０２００】
上記第１間隔は、アイコンをつまんだ状態の指先間の間隔を考慮して予め設定される値であり、例えば、平均的なアイコンの幅（または高さ）とほぼ同じ間隔である。
【０２０１】
また、間隔判定部８０７は、アイコン特定部８０８がユーザ選択アイコンを特定した後、間隔算出部８０１が算出した間隔が所定の間隔（第２間隔）以上であるかどうかを判定し、上記間隔が第２間隔以上である場合に、その旨を示す特定解除情報をアイコン特定部８０８へ出力する。
【０２０２】
上記第２間隔は、ユーザがつまんだアイコンを離したと見なすことができる指先間の間隔であり、例えば、平均的なアイコンの幅（または高さ）の２倍である。
【０２０３】
アイコン特定部８０８は、上記撮像画像に含まれる複数の指先の像のうちの少なくとも１つの指先の像の位置と、アイコンの表示画面における表示位置とを比較することにより、表示画面に表示されたアイコンの少なくとも１つを、ユーザが選択したユーザ選択アイコンとして特定する。
【０２０４】
具体的には、アイコン特定部８０８は、間隔算出部８０１が算出した間隔が第１間隔以下である場合に、その間隔の算出に用いられた撮像画像における複数の指先の像の位置に基づいてユーザ選択アイコンを特定する。
【０２０５】
また、アイコン特定部８０８は、ユーザ選択アイコンを特定した後、間隔算出部８０１が算出した間隔が第２間隔以上になった場合に、ユーザ選択アイコンの特定を解除する。
【０２０６】
（ユーザ選択アイコン特定処理の流れ）
次に、データ表示／センサ装置１１０におけるユーザ選択アイコンを特定する処理の流れの一例について、図１７を参照しつつ説明する。図１７は、データ表示／センサ装置１１０においてユーザ選択アイコンを特定する処理の流れの一例を示すフローチャートである。
【０２０７】
まず、間隔算出部８０１は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。
【０２０８】
センサ内蔵液晶パネル３０１は、撮像を所定の時間間隔で行い、撮像画像をセンサデータ処理部７０３へ出力する（Ｓ２１）。
【０２０９】
撮像画像に変化が生じた場合、データ処理部７００は、所定の時間間隔で取得した撮像画像ごとに、当該撮像画像に含まれる複数の指先の像の位置を示す座標データを生成し、間隔算出部８０１へ出力する（Ｓ２２）。
【０２１０】
間隔算出部８０１は、座標データを受信すると、座標データごとに複数の指先の像のの間隔を算出し、算出した間隔を示す間隔データを座標データとともに間隔判定部８０７へ出力する（Ｓ２３）。
【０２１１】
間隔判定部８０７は、間隔データおよび座標データを受け取ると、当該間隔データが示す間隔が第１間隔以下であるかどうか判定する。上記間隔が第１間隔以下である場合（Ｓ２４にてＹＥＳ）、対応する座標データをアイコン特定部８０８へ出力する。
【０２１２】
一方、上記間隔が第１間隔以下でない場合（Ｓ２４にてＮＯ）には、撮像画像の取得が続行される。
【０２１３】
アイコン特定部８０８は、座標データを受け取ると、当該座標データが示す複数の指先の像の位置に基づいてユーザ選択アイコンを特定する（Ｓ２５）。例えば、人差指の像３と親指の像４との間に、その表示領域の少なくとも一部が位置しているアイコンをユーザ選択アイコンとしてもよいし、人差指の像３と親指の像４との中間点を中心とした所定の半径を有する円に含まれるアイコンをユーザ選択アイコンとしてもよい。
【０２１４】
そして、アイコン特定部８０８は、ユーザ選択アイコンを示す特定情報を表示画像生成部８０５へ出力する。
【０２１５】
表示画像生成部８０５は、特定情報を受け取ると、当該特定情報が示すアイコンの色を変化させた表示用画像を生成し、表示データ処理部７０１へ出力する（Ｓ２６）。
【０２１６】
（アイコン移動処理の流れ）
次に、データ表示／センサ装置１１０におけるアイコン移動処理の流れの一例について、図１８を参照しつつ説明する。図１８は、データ表示／センサ装置１１０におけるアイコン移動処理の流れの一例を示すフローチャートである。
【０２１７】
アイコン特定部８０８によってユーザ選択アイコンが特定された状態から説明を始める。この状態において、図１０（ｂ）に示すように、ユーザは人差指および親指によってアイコン２をつまんでいるものとする。
【０２１８】
アイコン特定部８０８は、ユーザ選択アイコンを特定すると、指先の像の間隔の判定を開始させる開始命令を間隔算出部８０１へ出力する。
【０２１９】
間隔算出部８０１は、開始命令を受け取ると、「データ取得タイミング」フィールドに、“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。
【０２２０】
センサ内蔵液晶パネル３０１は、撮像を所定の時間間隔で行い、撮像画像をセンサデータ処理部７０３へ出力する（Ｓ３１）。
【０２２１】
データ処理部７００は、所定の時間間隔で取得した撮像画像ごとに、当該撮像画像に含まれる指先の像の座標を複数の指先の像のそれぞれについて算出し、当該座標を示す座標データを間隔算出部８０１へ出力する（Ｓ３２）。
【０２２２】
このとき、図１１に示すように、ユーザがユーザ選択アイコンをつまんだ状態で移動させた場合、表示画像生成部８０５は、センサデータ処理部７０３から出力された座標データが示す指先の像の位置と対応する位置にユーザ選択アイコンが表示された表示用画像を生成し、当該表示用画像を表示データ処理部７０１へ出力する。その結果、センサ内蔵液晶パネル３０１に当該表示用画像が表示される（Ｓ３３）。
【０２２３】
その後、間隔算出部８０１は、座標データに含まれる指先の像の座標間の間隔を算出し、算出した間隔を示す間隔データを間隔判定部８０７へ出力する（Ｓ３４）。
【０２２４】
間隔判定部８０７は、間隔算出部８０１が算出した間隔が第２間隔以上であるかどうかを判定する。上記間隔が第２間隔以上である場合に（Ｓ３４にてＹＥＳ）、その旨を示す特定解除情報をアイコン特定部８０８へ出力する。
【０２２５】
アイコン特定部８０８は、特定解除情報を受け取ると、ユーザ選択アイコンの特定を解除したことを示す解除情報を表示画像生成部８０５へ出力する（Ｓ３５）。
【０２２６】
表示画像生成部８０５は、解除情報を受け取ると、アイコン２の表示を非選択の状態の表示に戻すとともにアイコン２の表示位置を確定させる（Ｓ３６）。
【０２２７】
〔実施の形態３〕
本発明の他の実施形態について図１９〜図２１に基づいて説明すれば、以下のとおりである。なお、実施の形態１または２と同様の部材に関しては、同じ符号を付し、その説明を省略する。
【０２２８】
図１９（ａ）および（ｂ）は、複数のアイコンを複数の指先で囲む動作を示す図である。データ表示／センサ装置（表示装置）１２０は、図１９（ａ）に示すように表示画面に表示された複数のアイコン２を、図１９（ｂ）に示すようにユーザが複数の指で囲んだ場合に、その指先によって規定される領域７に含まれるアイコン２をユーザ選択アイコンとして特定する。
【０２２９】
図２０は、本実施の形態のデータ表示／センサ装置１２０が備える主制御部８２０の構成を示す機能ブロック図である。同図に示すように、主制御部８２０は、選択動作判定部８１１、領域判定部８１２、アイコン特定部８１３および表示画像生成部８０５を備えている。
【０２３０】
選択動作判定部８１１は、センサデータ処理部７０３から座標データを取得し、その座標データを複数の撮像画像間で比較することにより、複数の指先を互いに近づける動作である選択動作が行われたかどうかを判定する。具体的には、選択動作判定部８１１は、複数の座標データを用いて、複数の指先の像の移動方向をそれぞれ算出し、複数の指先が互いに近づく方向に移動しているかどうかを判定し、そのように移動していると判定した場合に、選択動作が行われたと判定する。
【０２３１】
領域判定部８１２は、選択動作判定部８１１から、選択動作の判定に用いられた座標データのうち、最新の座標データを取得し、その座標データが示す複数の指先の像の位置に基づいて、ユーザ選択アイコンを特定するための選択領域を決定する。この選択領域は、例えば、複数の指先の像を頂点とする多角形であってもよいし、複数の指先の像の分布状況から回帰分析により求められる円であってもよい。
【０２３２】
アイコン特定部８１３は、領域判定部８１２が決定した選択領域と、表示位置テーブル９１０が示す各アイコンの表示領域とを比較し、選択領域に対応する表示画面上の領域内に表示されている１つまたは複数のアイコンをユーザ選択アイコンとして特定する。
【０２３３】
（ユーザ選択アイコン特定処理の流れ）
次に、データ表示／センサ装置１２０におけるユーザ選択アイコンを特定する処理の流れの一例について、図２１を参照しつつ説明する。図２１は、データ表示／センサ装置１２０におけるユーザ選択アイコンを特定する処理の流れの一例を示すフローチャートである。
【０２３４】
まず、選択動作判定部８１１は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。
【０２３５】
センサ内蔵液晶パネル３０１は、撮像を所定の時間間隔で行い、撮像画像をセンサデータ処理部７０３へ出力する（Ｓ４１）。
【０２３６】
撮像画像に変化が生じた場合、データ処理部７００は、所定の時間間隔で取得した撮像画像ごとに、当該撮像画像に含まれる複数の指先の像の位置（座標）を示す座標データを選択動作判定部８１１へ出力する（Ｓ４２）。
【０２３７】
選択動作判定部８１１は、座標データを受け取るとと、所定の数の座標データを、取得した順に一次記憶部９０２に格納し、格納した所定の数の座標データを互いに比較することにより、座標データが示す複数の指先の像が互いに近づいているかどうか（すなわち、選択動作が行われているかどうか）を判定する（Ｓ４３）。
【０２３８】
この判定は、指先の像の移動ベクトルを各指先の像について算出し、当該移動ベクトルの方向が、複数の指先の像によって囲まれる領域の内側へ向かう方向を向いているかどうかに基づいて行われてもよいし、複数の指先の像のうち、全部または一部の像の間の間隔が時間経過とともに狭まっているかどうかに基づいて行われてもよい。
【０２３９】
そして、選択動作が行われていると判定した場合（Ｓ４４にてＹＥＳ）、選択動作判定部８１１は、最新の撮像画像に対応する座標データを一次記憶部９０２から取得し、当該座標データを領域判定部８１２へ出力する。
【０２４０】
一方、選択動作が行われていないと判定した場合（Ｓ４４にてＮＯ）、選択動作判定部８１１は、新たな座標データが送信されるのを待つ。
【０２４１】
上記座標データを受け取ると、領域判定部８１２は、当該座標データが示す複数の指先の像の座標から選択領域を示す座標群または数式を算出する（Ｓ４５）。上記数式とは、例えば、複数の指先の像を頂点とする多角形に近似した円を示す数式である。領域判定部８１２は、算出した座標群または数式をアイコン特定部８１３へ出力する。
【０２４２】
アイコン特定部８１３は、受信した座標群または数式が示す選択領域と、表示位置テーブル９１０が示す各アイコンの表示領域とを比較する。そして、選択領域に含まれるアイコンをユーザ選択アイコンとして特定する（Ｓ４６）。そして、アイコン特定部８１３は、ユーザ選択アイコンを示す特定情報を表示画像生成部８０５へ出力する。
【０２４３】
表示画像生成部８０５は、特定情報を受け取ると、当該特定情報が示すアイコンの色を変化させた表示用画像を生成し、表示データ処理部７０１へ出力する（Ｓ４７）。
【０２４４】
なお、データ表示／センサ装置１２０において、選択動作の判定を行わずに、複数の指先の像が含まれる撮像画像が取得されたことを契機として、当該撮像画像における複数の指先の像の位置から選択領域を決定し、当該選択領域に対応する表示画面上の領域内に表示されたアイコンをユーザ選択アイコンとして特定してもよい。
【０２４５】
（アイコン移動処理）
複数のユーザ選択アイコンが、ユーザの複数の指先によって囲まれている状態で、ユーザーが複数の指先を平行移動させることにより、当該複数のユーザ選択アイコンを指先の移動に伴って移動させてもよい。この場合の処理は、１つのユーザ選択アイコンを複数の指先の平行移動に伴って移動させる場合の処理と同様のため、その説明を省略する。
【０２４６】
〔実施の形態４〕
本発明の他の実施形態について図２２〜図２５に基づいて説明すれば、以下のとおりである。なお、実施の形態１〜３と同様の部材に関しては、同じ符号を付し、その説明を省略する。
【０２４７】
図２２（ａ）および（ｂ）は、ユーザの両手の側部を表示画面に当接させて、表示画面に表示された複数のアイコンを選択し、移動させる動作を示す図である。本実施形態のデータ表示／センサ装置（表示装置）１３０は、同図に示すようにユーザの両手の側部を表示画面に当接させて、両手を互いに寄せ集める動作をした場合に、両手の間に表示されているアイコンを両手の移動に伴って両手の内側方向に移動させる。
【０２４８】
図２３は、本実施の形態のデータ表示／センサ装置１３０が備える主制御部８３０の構成を示す機能ブロック図である。同図に示すように、主制御部８３０は、領域判定部８１４、アイコン特定部８１５、アイコン位置算出部８１６および表示画像生成部８０５を備えている。
【０２４９】
データ表示／センサ装置１３０においてセンサデータ処理部７０３は、撮像画像に含まれるユーザの手の側部の像が有する長軸方向における両端部の座標、または上記手の側部の像の長手方向における中心線（直線または曲線）を示す座標群（または中心線を表す数式）を座標データとして領域判定部８１４へ出力する。すなわち、センサデータ処理部７０３は、撮像画像におけるユーザの手の側部の像の位置を示す座標データ（座標群または数式）を領域判定部８１４へ出力する。
【０２５０】
領域判定部８１４は、上記座標データから、ユーザ選択アイコンを特定するための選択領域を決定する。この選択領域は、例えば、ユーザの両手の側部の像がそれぞれ有する長軸方向における両端部（合計４つ）を頂点とする矩形であってもよいし、手の側部の像の長手方向における中心線と、当該中心線の端部どうしを結ぶ直線とによって囲まれる領域であってもよい。上記中心線が円弧の一部である場合には、選択領域は、矩形の両側に円弧の一部をつなげた形状になる。
【０２５１】
また、領域判定部８１４における選択領域の決定方法に応じた座標データを領域判定部８１４は取得すればよい。例えば、選択領域が、手の側部の像がそれぞれ有する長軸方向における両端部を頂点とする矩形である場合には、領域判定部８１４は、当該両端部の座標を取得すればよい。
【０２５２】
アイコン特定部８１５は、領域判定部８１４が決定した選択領域と、表示位置テーブル９１０が示す各アイコンの表示領域とを比較し、選択領域に対応する表示画面上の領域内に表示されている１つまたは複数のアイコンをユーザ選択アイコンとして特定する。
【０２５３】
アイコン位置算出部８１６は、ユーザ選択アイコンが特定された後に、ユーザが表示画面に当接させた両手を互いに近づけた場合に、その両手の動作に応じて変化させたアイコンの表示位置を算出する。
【０２５４】
（ユーザ選択アイコン特定処理の流れ）
次に、データ表示／センサ装置１３０におけるユーザ選択アイコンを特定する処理の流れの一例について、図２４を参照しつつ説明する。図２４は、データ表示／センサ装置１３０におけるユーザ選択アイコンを特定する処理の流れの一例を示すフローチャートである。
【０２５５】
まず、領域判定部８１４は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。
【０２５６】
センサ内蔵液晶パネル３０１は、撮像を所定の時間間隔で行い、撮像画像をセンサデータ処理部７０３へ出力する（Ｓ５１）。
【０２５７】
撮像画像に変化が生じた場合、データ処理部７００は、所定の時間間隔で取得した撮像画像ごとに、当該撮像画像に含まれる両手の側部の像の位置を示す座標（例えば、当該像の両端部の座標）を示す座標データを領域判定部８１４へ出力する（Ｓ５２）。
【０２５８】
上記座標データを受け取ると、領域判定部８１４は、当該座標データが示す両手の側部の像の座標から選択領域を示す座標群または数式を算出し、当該座標群または数式を示す選択領域データをアイコン特定部８１５へ出力する（Ｓ５３）。
【０２５９】
アイコン特定部８１３は、受信した選択領域データが示す選択領域と、表示位置テーブル９１０が示す各アイコンの表示領域とを比較する。そして、選択領域に含まれるアイコンをユーザ選択アイコンとして特定する（Ｓ５４）。そして、アイコン特定部８１３は、ユーザ選択アイコンを示す特定情報を表示画像生成部８０５へ出力する。
【０２６０】
表示画像生成部８０５は、特定情報を受け取ると、当該特定情報が示すアイコンの色を変化させた表示用画像を生成し、表示データ処理部７０１へ出力する（Ｓ５５）。
【０２６１】
図２２（ａ）において選択領域は符号１０で示される矩形の領域であり、選択領域１０の内部に表示されている１２個のアイコン２がユーザ選択アイコンである。
（アイコン移動処理の流れ）
次に、データ表示／センサ装置１３０におけるアイコン移動処理の流れの一例について、図２５を参照しつつ説明する。図２５は、データ表示／センサ装置１３０におけるアイコン移動処理の流れの一例を示すフローチャートである。
【０２６２】
アイコン特定部８１５によってユーザ選択アイコンが特定された状態から説明を始める。この状態において、図２２（ａ）に示すように、ユーザは左手８および右手９によってユーザ選択アイコンである複数のアイコン２を囲んでいるものとする。
【０２６３】
アイコン特定部８１５は、ユーザ選択アイコンを特定すると、ユーザ選択アイコンを示す特定情報をアイコン位置算出部８１６へ出力するとともに、手の側部の像の位置の変化を監視させる監視命令を領域判定部８１４へ出力する。
【０２６４】
領域判定部８１４は、監視命令を受け取ると、「データ取得タイミング」フィールドに、“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部７００に送信する。
【０２６５】
センサ内蔵液晶パネル３０１は、撮像を所定の時間間隔で行い、撮像画像をセンサデータ処理部７０３へ出力する（Ｓ６１）。
【０２６６】
データ処理部７００は、所定の時間間隔で取得した撮像画像ごとに、当該撮像画像におけるユーザの手の側部の像の位置を示す座標群または数式を複数の手の側部の像のそれぞれについて算出し、当該座標群および／または数式を示す座標データを領域判定部８１４へ出力する（Ｓ６２）。
【０２６７】
領域判定部８１４は、取得した座標群または数式から選択領域を決定し、決定した選択領域を示す選択領域データをアイコン位置算出部８１６へ出力する（Ｓ６３）。
【０２６８】
図２２（ｂ）に示すように、ユーザが左手８および右手９を互いに近づける方向に移動させた場合、領域判定部８１４が決定する選択領域１０は狭まることになる。アイコン位置算出部８１６は、領域判定部８１４から出力された選択領域データが示す選択領域（縮小選択領域と称する）と、表示位置テーブル９１０に示されたユーザ選択アイコンの表示位置とを比較し、縮小選択領域に対応する表示画面上の領域内に全てのユーザ選択アイコンが表示されるようにユーザ選択アイコンの表示位置を変更する（Ｓ６４）。アイコン位置算出部８１６は、変更したユーザ選択アイコンの表示位置を示す表示位置データを表示画像生成部８０５へ出力する。
【０２６９】
表示画像生成部８０５は、表示位置データを受け取ると、当該表示位置データが示す位置にユーザ選択アイコンが表示された表示用画像を生成し、当該表示用画像を表示データ処理部７０１へ出力する。その結果、センサ内蔵液晶パネル３０１に当該表示用画像が表示される（Ｓ６５）。
【０２７０】
なお、アイコン位置算出部８１６におけるアイコン表示位置の変更方法は特に限定されず、各アイコンが重ならないようにアイコン間の間隔を狭めてもよいし、一部のアイコンが重なるように表示位置を変更してもよい。
【０２７１】
（その他の変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２７２】
上記選択項目は、リスト形式またはテーブル形式で表示された項目（リストまたはテーブルの１区画（セル）であってもよい。
【０２７３】
また、上述したデータ表示／センサ装置１００・１１０・１２０・１３０の各ブロック、特に主制御部８００・８１０・８２０・８３０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２７４】
すなわち、データ表示／センサ装置１００・１１０・１２０・１３０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００・１１０・１２０・１３０の制御プログラム（制御プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００・１１０・１２０・１３０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２７５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２７６】
また、データ表示／センサ装置１００・１１０・１２０・１３０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２７７】
表示画面に表示されたアイコンを直感的に操作できるため、パソコン、携帯電話、ＰＤＡ（personal digital assistance）等、アイコンなどの選択項目が表示される表示画面を有する装置に適用できる。
【図面の簡単な説明】
【０２７８】
【図１】本発明の一実施形態に係るデータ表示／センサ装置が備える主制御部の構成を示す機能ブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備える表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図９】図９（ａ）は、画面に表示されたアイコンをつまむユーザの動作を示す図であり、図９（ｂ）は、つまんだアイコンを移動させるユーザの動作を示す図である。
【図１０】図１０（ａ）および（ｂ）は、ユーザがアイコンをつまむ動作を行った場合の指先の像とアイコンとの位置関係を示す図である。
【図１１】アイコンを移動させる場合の操作を説明するための図である。
【図１２】図１２（ａ）および（ｂ）は、撮像画像における指の像の数および位置の変化を示す図である。
【図１３】上記データ表示／センサ装置におけるユーザ選択アイコン特定処理の流れの一例を示すフローチャートである。
【図１４】上記データ表示／センサ装置におけるアイコン移動処理の流れの一例を示すフローチャートである。
【図１５】上記データ表示／センサ装置が備えるアイコン特定部における処理の変更例を示す図である。
【図１６】本発明の別の実施の形態に係るデータ表示／センサ装置が備える主制御部の構成を示す機能ブロック図である。
【図１７】上記データ表示／センサ装置におけるユーザ選択アイコン特定処理の流れの一例を示すフローチャートである。
【図１８】上記データ表示／センサ装置におけるアイコン移動処理の流れの一例を示すフローチャートである。
【図１９】図１９（ａ）および（ｂ）は、複数のアイコンを複数の指先で囲む動作を示す図である。
【図２０】本発明のさらに別の実施の形態に係るデータ表示／センサ装置が備える主制御部の構成を示す機能ブロック図である。
【図２１】上記データ表示／センサ装置におけるユーザ選択アイコン特定処理の流れの一例を示すフローチャートである。
【図２２】図２２（ａ）および（ｂ）は、ユーザの両手の側部を表示画面に当接させて、表示画面に表示された複数のアイコンを選択および移動させる動作を示す図である。
【図２３】本発明のさらに別の実施の形態に係るデータ表示／センサ装置が備える主制御部の構成を示す機能ブロック図である。
【図２４】上記データ表示／センサ装置におけるユーザ選択アイコン特定処理の流れの一例を示すフローチャートである。
【図２５】上記データ表示／センサ装置におけるアイコン移動処理の流れの一例を示すフローチャートである。
【符号の説明】
【０２７９】
１００  データ表示／センサ装置（表示装置）
１１０  データ表示／センサ装置（表示装置）
１２０  データ表示／センサ装置（表示装置）
１３０  データ表示／センサ装置（表示装置）
７０３  センサデータ処理部（位置算出手段）
８０１  間隔算出部（間隔算出手段）
８０２  選択動作判定部（動作判定手段）
８０４  アイコン特定部（特定手段）
８０７  間隔判定部（間隔判定手段）
８０８  アイコン特定部（特定手段）
８１１  選択動作判定部（特定手段）
８１３  アイコン特定部（特定手段）
８１５  アイコン特定部（特定手段）
【図１】
2010140300.tif 000003
【図２】
2010140300.tif 000004
【図３】
2010140300.tif 000005
【図４】
2010140300.tif 000006
【図５】
2010140300.tif 000007
【図６】
2010140300.tif 000008
【図７】
2010140300.tif 000009
【図８】
2010140300.tif 000010
【図９】
2010140300.tif 000011
【図１０】
2010140300.tif 000012
【図１１】
2010140300.tif 000013
【図１２】
2010140300.tif 000014
【図１３】
2010140300.tif 000015
【図１４】
2010140300.tif 000016
【図１５】
2010140300.tif 000017
【図１６】
2010140300.tif 000018
【図１７】
2010140300.tif 000019
【図１８】
2010140300.tif 000020
【図１９】
2010140300.tif 000021
【図２０】
2010140300.tif 000022
【図２１】
2010140300.tif 000023
【図２２】
2010140300.tif 000024
【図２３】
2010140300.tif 000025
【図２４】
2010140300.tif 000026
【図２５】
2010140300.tif 000027