(57)【要約】【課題】光入力機能を備えた表示装置において、近接する物体の多様な情報を出力し、その情報を利用したアプリケーションを提供する。【解決手段】表示部２の入力機能により撮像された画像から得られる情報をレジスタ４６に格納するとともに、インタフェース回路４５を介してその情報にアクセスできるようにする。これにより、ホストコンピュータ６は、その情報を利用した様々なアプリケーションを提供することが可能となる。また、表示部２に接触した物体の形状情報を検出してレジスタ４６に格納するとともに、形状取得部６２により形状情報を表すカテゴリ情報を取得し、機能割当部６３によりそのカテゴリ情報に機能を割り当てる。これにより、利用者は、親指、小指などのそれぞれに別の機能を割り当てることが可能となり、使いやすいユーザインタフェースを提供することができる。【選択図】図２
2008257454.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮像する光入力機能を備えた表示部と、
撮像された画像を用いて前記物体の位置座標を計算し、前記位置座標を記憶手段に記憶させる座標計算手段と、
前記画像を用いて撮像された物体の近接状態を検出し、前記近接状態を前記記憶手段に記憶させる接触判定手段と、
前記記憶手段から前記位置座標および前記近接状態を読み出して出力するインタフェース回路と、
を有することを特徴とする表示装置。
【請求項２】
前記画像を用いて前記物体の形状情報を検出し、前記記憶手段に記憶させる形状検出手段を有し、
前記インタフェース回路が前記記憶手段から前記形状情報を読み出して出力することを特徴とする請求項１記載の表示装置。
【請求項３】
前記インタフェース回路が出力する位置座標を取得し、当該位置座標に対応する機能を算出する機能算出手段と、
前記インタフェース回路が出力する形状情報を取得する形状取得手段と、
前記機能算出手段が算出した前記機能と取得した前記形状情報とを関連付けて機能記憶手段に記憶させる機能割当手段と、
前記インタフェース回路が出力する位置座標と形状情報とを取得するとともに、前記形状情報に関連付けられた前記機能を前記機能記憶手段を参照して特定し、当該機能を適用する機能適用手段と、
を有することを特徴とする請求項２記載の表示装置。
【請求項４】
画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮像する光入力機能を備えた表示部と、
撮像された画像を用いて前記物体の位置座標を計算し、記憶手段に記憶させる座標計算手段と、
前記画像を用いて撮像された物体の近接状態を検出し、前記近接状態を前記記憶手段に記憶させる接触判定手段と、
所定の周期で前記記憶手段から前記位置座標を読み出して出力するインタフェース回路と、
を有することを特徴とする表示装置。
【請求項５】
画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮像する光入力機能を備えた表示部と、
撮像された画像を用いて前記物体の位置座標を計算し、記憶手段に記憶させる座標計算手段と、
前記画像を用いて撮像された物体の近接状態を検出し、前記近接状態を前記記憶手段に記憶させる接触判定手段と、
前記物体の近接状態が変化したときには、前記記憶手段から前記位置座標を読み出して出力するインタフェース回路と、
を有することを特徴とする表示装置。
【請求項６】
表示画面に近接する物体の位置座標および前記物体の形状情報を検出する表示装置による画像データ処理方法であって、
機能算出手段により、前記位置座標に対応する機能を算出するステップと、
形状取得手段により、前記形状情報を取得するステップと、
機能割当手段により、算出した前記機能と取得した前記形状情報とを関連付けて機能記憶手段に記憶させるステップと、
機能適用手段により、位置座標と形状情報とを取得するとともに、前記形状情報に関連付けられた前記機能を前記機能記憶手段を参照して特定し、当該機能を適用するステップと、
を有することを特徴とする画像データ処理方法。
【請求項７】
表示画面に近接する物体の位置座標および前記物体の形状情報を検出する表示装置により実行される画像データ処理プログラムであって、
前記位置座標に対応する機能を算出する処理と、
前記形状情報を取得する処理と、
算出した前記機能と取得した前記形状情報とを関連付けて機能記憶手段に記憶させる処理と、
位置座標と形状情報とを取得するとともに、前記形状情報に関連付けられた前記機能を前記機能記憶手段を参照して特定し、前記位置座標に対応する画像データに対して前記機能を適用する処理と、
を有することを特徴とする画像データ処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光により表示画面から情報を入力する光入力機能を備えた表示装置の技術に関する。
【背景技術】
【０００２】
近年、携帯電話、ノート型コンピュータなどの各種機器に表示装置として広く利用されている液晶表示装置は、複数の走査線と複数の信号線とが交差するように配線され、この各交差部に薄膜トランジスタ（ＴＦＴ：Thin Film Transistor）、液晶容量、補助容量を備えた表示部と、走査線、信号線を駆動する駆動回路とを有している。一般に、表示部は、ガラス製のアレイ基板上に形成されるが、近年の集積回路技術の発展およびプロセス技術の実用化により駆動回路の一部もアレイ基板上に形成可能となり、液晶表示装置の軽量化・小型化が図られている。
【０００３】
一方、表示装置としては、画素内に光センサを配置し、表示画面に近接する物体を撮像することにより表示部から情報の入力を可能にしたものが提案されている（特許文献１参照）。
【０００４】
図２１は、従来の光入力機能を備えた表示装置の表示部の構成を示す断面図である。表示部は、アレイ基板２０１と対向基板２０２との間に液晶層２０３を備えた構成を有しており、アレイ基板２０１では画素内に光センサ２０５を備え、これを覆うように絶縁層２０４が形成される。対向基板２０２の外側にバックライト２１０を備えている。アレイ基板２０１の画素に形成されたＴＦＴを制御し、液晶容量に印加する電圧を制御することにより、液晶層２０３を通過する光を制御して画像を表示する。また、光センサ２０５には、指など表示部に近接した物体２２０によって遮られていない外光と、バックライト２１０から放射され、物体２２０で反射した光とが入射する。これにより、表示部に近接した物体２２０を撮像した画像を得ることができ、その画像を処理し、撮像した物体２２０の動きや大きさの変化を算出して接触判定を行う。
【特許文献１】特開２００６−２４４４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の光入力機能を備えた表示装置が出力する情報は、表示部に物体２２０が接触したか否かの状態や接触座標だけであって、表示装置を利用するアプリケーションは接触座標に基づく単純な機能しか提供できなかった。
【０００６】
また、表示装置に接続されたホストコンピュータは、表示装置から物体の接触情報を得るために毎フレーム同様の問い合わせを表示装置に対して行う必要があり、ホストコンピュータに負荷がかかっていた。
【０００７】
本発明は、上記に鑑みてなされたものであり、その課題とするところは、光入力機能を備えた表示装置において、近接する物体の多様な情報を出力し、その情報を利用したアプリケーションを提供することにある。
【０００８】
本発明の別の目的は、光入力機能を備えた表示装置から情報を得る際の負荷を軽減することにある。
【課題を解決するための手段】
【０００９】
第１の本発明に係る表示装置は、画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮像する光入力機能を備えた表示部と、撮像された画像を用いて物体の位置座標を計算し、記憶手段に記憶させる座標計算手段と、画像を用いて撮像された物体の近接状態を検出し、近接状態を記憶手段に記憶させる接触判定手段と、記憶手段から位置座標および近接状態を読み出して出力するインタフェース回路と、を有することを特徴とする。
【００１０】
本発明にあっては、物体の近接座標や接触座標などの位置座標や、物体が近づいている、接触している、遠ざかっているなどの近接状態を撮像された画像から計算して記憶手段に記憶するとともに、インタフェース回路によりその位置座標や近接状態を読み出して出力することにより、その情報を利用した多様なアプリケーションソフトウェアを搭載した表示装置を提供することが可能となる。
【００１１】
上記表示装置において、画像を用いて物体の形状情報を検出し、記憶手段に記憶させる形状検出手段を有し、インタフェース回路が記憶手段から形状情報を読み出して出力することを特徴とする。
【００１２】
本発明にあっては、画像を用いて物体の形状情報を検出し、その形状情報を出力することにより、近接する物体の形状情報を利用した多様なアプリケーションソフトウェアを搭載した表示装置を提供することが可能となる。
【００１３】
上記表示装置において、インタフェース回路が出力する位置座標を取得し、当該位置座標に対応する機能を算出する機能算出手段と、インタフェース回路が出力する形状情報を取得する形状取得手段と、機能算出手段が算出した機能と取得した形状情報とを関連付けて機能記憶手段に記憶させる機能割当手段と、インタフェース回路が出力する位置座標と形状情報とを取得するとともに、形状情報に関連付けられた機能を機能記憶手段を参照して特定し、当該機能を適用する機能適用手段と、を有することを特徴とする。
【００１４】
本発明にあっては、形状情報に対応させて機能を割り当てることにより、ユーザは、例えば、小指、親指などのそれぞれの指に線の描画、消去など個別に機能を割り当てることが可能となり、機能毎にアイコンを選択するなどの煩わしい操作が減り、使いやすいユーザインタフェースを提供することができる。
【００１５】
第２の本発明に係る表示装置は、画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮像する光入力機能を備えた表示部と、撮像された画像を用いて物体の位置座標を計算し、記憶手段に記憶させる座標計算手段と、画像を用いて撮像された物体の近接状態を検出し、近接状態を記憶手段に記憶させる接触判定手段と、所定の周期で記憶手段から位置座標を読み出して出力するインタフェース回路と、を有することを特徴とする。
【００１６】
本発明にあっては、所定の周期で位置座標を出力することにより、位置座標などの情報を取得する際の負荷を軽減することができる。
【００１７】
第３の本発明に係る表示装置は、画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮像する光入力機能を備えた表示部と、撮像された画像を用いて物体の位置座標を計算し、記憶手段に記憶させる座標計算手段と、画像を用いて撮像された物体の近接状態を検出し、近接状態を記憶手段に記憶させる接触判定手段と、物体の近接状態が変化したときには、記憶手段から位置座標を読み出して出力するインタフェース回路と、を有することを特徴とする。
【００１８】
近接した物体の近接状態（接近している状態、接触している状態、離脱している状態など）が変化したときに、近接状態が変化したことを出力することにより、必要なときのみ位置座標などの情報を取得することができるので、負荷を軽減することが可能となる。
【００１９】
第４の本発明に係る画像データ処理方法は、表示画面に近接する物体の位置座標および物体の形状情報を検出する表示装置による画像データ処理方法であって、機能算出手段により、位置座標に対応する機能を算出するステップと、形状取得手段により、形状情報を取得するステップと、機能割当手段により、算出した機能と取得した形状情報とを関連付けて機能記憶手段に記憶させるステップと、機能適用手段により、位置座標と形状情報とを取得するとともに、形状情報に関連付けられた機能を機能記憶手段を参照して特定し、当該機能を適用するステップと、を有することを特徴とする。
【００２０】
第５の本発明に係る画像データ処理プログラムは、表示画面に近接する物体の位置座標および物体の形状情報を検出する表示装置により実行される画像データ処理プログラムであって、位置座標に対応する機能を算出する処理と、形状情報を取得する処理と、算出した機能と取得した形状情報とを関連付けて機能記憶手段に記憶させる処理と、位置座標と形状情報とを取得するとともに、形状情報に関連付けられた機能を機能記憶手段を参照して特定し、当該機能を適用する処理と、を有することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、光入力機能を備えた表示装置において、近接する物体の多様な情報を出力し、その情報を利用したアプリケーションを提供することが可能となる。
【００２２】
また、別の本発明によれば、光入力機能を備えた表示装置から情報を得る際の負荷を軽減することが可能となる。
【発明を実施するための最良の形態】
【００２３】
［第１の実施の形態］
図１は、第１の実施の形態における表示装置の構成を示す平面図である。同図に示す表示装置は、ガラス製のアレイ基板１に形成された表示部２、フレキシブル基板３、センサ用ＩＣ４および表示用ＩＣ５を備えている。センサ用ＩＣ４および表示用ＩＣ５は、フレキシブル基板３を介して駆動基板８上に配置されたホストコンピュータ６に接続されている。なお、センサ用ＩＣ４と表示用ＩＣ５を一体化し１つのＩＣで実装しても良い。
【００２４】
表示部２は、ホストコンピュータ６から伝送される映像信号に基づいて画像を表示する表示機能と、表示画面に近接する外部の物体の画像を撮影する光入力機能を備えている。具体的には、表示部２には複数の走査線と複数の信号線とが交差するように配線され、各交差部にスイッチング素子を配置して画素を形成している。光入力機能として、画素毎に、あるいは複数の画素毎に光センサ、センサ容量を備えている。光センサに入射した光量に応じたセンサ容量の電位の変化を検出することにより、近接する物体の撮像画像を得る。
【００２５】
表示用ＩＣ５は、ホストコンピュータ６から伝送される映像信号を表示部２の信号線に出力するとともに、走査線に走査信号を出力する。この映像信号は、走査線に出力された走査信号によりスイッチング素子がオンしたときに、液晶容量などに印加されて表示に用いられる。
【００２６】
図２は、センサ用ＩＣの構成を示す回路ブロック図である。同図に示すセンサ用ＩＣ４は、表示部２とのやり取りをするために信号の電圧を調節するレベルシフタ４１、表示部２から送られてくる撮像画像の信号を処理するデータ処理部４２、データを一時的に格納しておくＲＡＭ（Random Access Memory）４３、表示部２の備えるセンサ容量にプリチャージする際のプリチャージ電圧を出力するＤＡＣ（Digital Analog Convertor）４４およびホストコンピュータ６とのやり取りを行うインタフェース回路４５を備える。データ処理部４２は撮像画像から得られた情報を格納するレジスタ４６を備えており、ホストコンピュータ６は、インタフェース回路４５を介してレジスタ４６に格納された情報を読み出すことができる。
【００２７】
データ処理部４２においては、特許文献１に記載した方法などにより接触判定をして、接触座標を求め、レジスタ４６に記憶させる。また、データ処理部４２は接触判定、接触座標の計算をするだけではなく、入力された撮像画像に基づいて、撮像された物体の大きさ、形、角度などの形状情報を求めレジスタ４６に記憶させる。
【００２８】
物体が表示部２に接触したか否かを判定する方法として、例えば、データ処理部４２が備えるエッジ検出回路（図示せず）により、撮像画像のエッジを検出してエッジ画像を生成し、データ処理部４２が備える接触判定回路（図示せず）により、そのエッジ画像に基づいて接触判定が行い、データ処理部４２が備える座標計算回路（図示せず）により、そのエッジ画像を用いて接触座標を求める方法がある。
【００２９】
また、別の方法として、データ処理部４２に差分処理回路を備え、撮像画像のフレーム間の差分を取った差分画像を生成し、その差分画像を用いて接触判定回路、座標計算回路により接触判定、座標計算を行う方法がある。
【００３０】
なお、接触判定を行う際には、表示部２に近接する物体が近づいているか、接触しているか、離脱しているかなどの近接状態を検出するので、検出された近接状態をレジスタ４６に記憶させる。
【００３１】
図３は、センサ用ＩＣ４および表示用ＩＣ５とホストコンピュータ６とを接続する主要な信号線を示す配線図である。同図に示すように、ホストコンピュータ６から各ＩＣへタイミング信号を伝送するＩ＿ＳＣＬＫ、ホストコンピュータ６から各ＩＣへデータを伝送するＩ＿ＳＤＡＴおよびチップセレクト信号を伝送するＩ＿ＣＳ，Ｄ＿ＣＳと、センサ用ＩＣ４からホストコンピュータ６へデータを伝送するＩ＿ＳＤＯによりホストコンピュータ６と各ＩＣとは接続されている。
【００３２】
図４は、第１の実施の形態における表示装置がレジスタ４６に格納されたデータを出力するときの信号の様子を示すタンミングチャートである。同図を用いてホストコンピュータ６がセンサ用ＩＣ４からデータを読み出す処理の流れを説明する。
【００３３】
まず、ホストコンピュータ６はＩ＿ＣＳをＬｏｗからＨｉにしてセンサ用ＩＣ４を選択する。続いて、Ｉ＿ＳＤＡＴにレジスタを示すアドレスをＩ＿ＳＣＬＫで伝送されるタイミング信号に合わせて１ビットづつ伝送する。図４に示す例では、８ビットのアドレスを上位ビットから１ビットづつ伝送している。続いて、センサ用ＩＣ４は、入力されたアドレスに対応するレジスタに格納された値をＩ＿ＳＤＯを介してホストコンピュータ６へ伝送する。
【００３４】
ホストコンピュータ６へ伝送されるデータとしては、例えば、物体が接触しているか否かを示す接触情報、物体が表示部２に近接する状態を表す近接状態（アイドル状態、接近している状態、接触している状態、離脱している状態など）、接触座標（Ｘ座標，Ｙ座標）、物体が接触していないときの近接座標（Ｘ座標，Ｙ座標）、撮像された物体の太さ、直径および方向などの形状情報などがある。ホストコンピュータ６は、それらの情報を保持するレジスタ４６に対応するアドレスをＩ＿ＳＤＡＴを介して伝送することにより、Ｉ＿ＳＤＯを介してレジスタ４６から読み出すことができる。
【００３５】
図５は、センサ用ＩＣ４が出力する形状情報を用いて２次元画像や３次元モデルなどの画像データの編集処理を行う表示装置の処理部の構成を示すブロック図である。同図に示す処理部は、機能算出部６１、形状取得部６２、機能割当部６３、描画処理部６４および記憶装置６５を備える。この処理部は、駆動基板８上に配置され、センサ用ＩＣ４から必要な情報を取得して処理を行うものである。この処理部は、ホストコンピュータ６や駆動基板８に配置された記憶装置、メモリなどにより構成し、プログラムによって各部の処理を実行するものとしてもよい。このプログラムは、表示装置が備えた記憶装置などに記憶されている。以下、各部の詳細について説明する。
【００３６】
機能算出部６１は、センサ用ＩＣ４から接触座標を取得して、その接触座標に対応する機能を算出する。形状取得部６２は、撮像された物体の太さや直径、角度などの形状情報をセンサ用ＩＣ４から取得する。機能割当部６３は、取得した形状情報に算出した機能を割り当てて、その対応関係を記憶装置６５に記憶させる。描画処理部６４は、取得した形状情報に割り当てられた機能を記憶装置６５を参照して特定し、センサ用ＩＣ４から接触座標を取得し、その機能をその接触座標に適用する。
【００３７】
次に、センサ用ＩＣ４が検出する形状情報について説明する。図６は、接触した物体の形状情報として太さを検出する例を示す図である。センサ用ＩＣ４のデータ処理部４２は、撮像画像から表示部２に接触した物体の太さを検出してレジスタ４６に記憶させる。図６（ａ）は、小指５１が表示部２に接触したときの様子を示し、センサ用ＩＣ４は、符号５２で示す撮像した物体の太さを検出する。図６（ｂ）は、親指５３が表示部に接触したときの様子を示す図である。符号５４で示すように小指５１が表示部２に接触したときよりも太い撮像画像が得られる。レジスタ４６に記憶させる太さの情報としては、例えば、太さが何画素程度であるかといった数値情報であってもよいし、図７に示すように、予めしきい値を設定しておき、親指、小指、それ以外の指などとカテゴリを推定した結果を太さの情報として記憶させてもよい。
【００３８】
次に、形状情報を利用したアプリケーションの処理について説明する。以下に説明するアプリケーションは、図５に示した処理部によって実行されるものである。図８乃至図１０は、センサ用ＩＣ４から形状情報として表示部２に接触した物体の太さに関する情報を受け取って処理を行うアプリケーションを説明するための説明図である。
【００３９】
図８に示すように、ユーザは小指５１により表示画面上のペンアイコンに接触する。センサ用ＩＣ４は、物体が表示部２に接触したことを検出し、その接触座標を算出する。さらに、その物体の太さを算出し、その太さから接触した物体は小指のカテゴリに分類されると推定する。算出した接触座標と形状情報であるカテゴリは、センサ用ＩＣ４のレジスタ４６に記憶される。
【００４０】
続いて、ホストコンピュータ６は、物体が表示部２に接触した情報をセンサ用ＩＣ４から得る。機能算出部６１により、センサ用ＩＣ４から物体が表示部２に接触した接触座標を取得し、その接触座標に対応する機能を算出する。図８に示す例では、小指５１が表示部２に接触した画面上にはペンアイコンが描画されているのでペン機能が算出される。さらに、形状取得部６２により、表示部２に接触した物体のカテゴリをセンサ用ＩＣ４から取得する。図８に示す例では、小指がカテゴリとして取得される。
【００４１】
続いて、機能割当部６３は、取得したカテゴリと算出した機能とを関連付けて記憶装置６５に記憶させる。図８に示す例では、小指とペン機能とが関連付けられる。
【００４２】
図９に示すように、ユーザが親指５３により表示画面上の消しゴムアイコンに接触した場合も同様に、接触した物体のカテゴリを推定し、機能を割り当てる。同図に示す例では、センサ用ＩＣ４は、表示部２に接触した物体の太さを算出し、その太さから接触した物体は親指のカテゴリに分類されると推定する。機能算出部６１、形状取得部６２は、取得した接触座標と表示画像により消しゴム機能を算出し、接触した物体のカテゴリとして親指を取得する。そして、機能割当部６３は、親指に消しゴム機能を対応付けて記憶装置６５に記憶させる。これにより親指には消しゴム機能が割り当てられる。
【００４３】
図１０は、機能を割り当てた小指、親指を表示画面上の描画領域に接触することにより、線を引いたり、消去したりしている様子を示す図である。同図に示すように、小指にはペン機能が割り当てられているので、小指で描画領域に接触した部分には線が引かれ、親指には消しゴム機能が割り当てられているので、親指で描画領域に接触した部分の線は消去される。
【００４４】
描画領域に描画する場合もセンサ用ＩＣ４は、物体の接触座標とその物体のカテゴリを推定する。そして、機能算出部６１は、センサ用ＩＣ４から取得した接触座標から物体が描画領域に接触していると判断するので、取得した接触座標を描画処理部６４へ出力する。また、形状取得部６２は、センサ用ＩＣ４から取得したカテゴリ情報を描画処理部６４へ出力する。
【００４５】
描画処理部６４は記憶装置６５を参照して、入力されたカテゴリ情報に対応する機能を特定し、その機能を用いて接触座標に対応する画像データに対して処理を行う。図１０に示す例では、小指にペン機能が割り当てられ、親指に消しゴム機能が割り当てられているので、小指５１が接触した位置に線を描画し、親指５３が接触した位置の線を消去している。
【００４６】
このように、センサ用ＩＣ４から接触した物体の太さに関する情報を読み出し、接触した物体がどの指であるのかを推定し、それぞれの指に機能を割り当てることにより、利用者は、描画領域に接触させる指を替えるだけでペン機能、消しゴム機能などの機能の切替が可能になる。また、親指、小指が同時に描画領域に接触するときでも、それぞれについて接触座標と太さの情報を検出することで、異なる機能を平行して処理することが可能である。
【００４７】
次に、センサ用ＩＣ４が検出する別の形状情報について説明する。図１１は、接触した物体の形状情報として角度を検出する例を示す図である。同図（ａ）は、左手の指１０１が接触したときの撮像画像であり、同図（ｂ）は、右手の指１０３が接触したときの撮像画像である。センサ用ＩＣ４は、撮像された物体と表示部２の一辺とのなす角度を検出する。検出した角度によりどちらの手で表示部２に接触したのかを推定する。図１１（ａ）の符号１０２で示す角度は、左手の指１０１と表示部２のある辺とのなす角度であり、同図（ｂ）の符号１０４で示す角度は、右手の指１０３と表示部２の別の辺とのなす角度である。図１２に示すように、撮像された物体と辺とのなす角度の大きさによって右手、左手のカテゴリを推定する。
【００４８】
次に、角度の情報を利用したアプリケーションの処理について説明する。図１３乃至図１５は、センサ用ＩＣ４から形状情報として表示部２に接触した物体と表示部２の辺とのなす角度に関する情報を受け取って処理を行うアプリケーションソフトウェアを説明するための説明図である。
【００４９】
図１３に示すように、ユーザは右手の指１０３により表示画面上の彫刻刀アイコンに接触する。センサ用ＩＣ４は、物体が表示部２に接触したことを検出し、その接触座標を算出する。さらに、その物体と表示部２とのなす角度を算出し、その角度から接触した物体は右手のカテゴリに分類されると推定する。算出した接触座標と形状情報であるカテゴリは、センサ用ＩＣ４のレジスタ４６に記憶される。
【００５０】
続いて、ホストコンピュータ６は、物体が表示部２に接触した情報をセンサ用ＩＣ４から得る。機能算出部６１は、センサ用ＩＣ４から物体が表示部２に接触した接触座標を取得し、その接触座標に対応する機能を算出する。図１３に示す例では、接触座標は彫刻刀アイコンに対応する部分であるので、彫刻機能が算出される。さらに、形状取得部６２は、センサ用ＩＣ４から表示部２に接触した物体のカテゴリを取得する。図１３に示す例では、センサ用ＩＣ４は、カテゴリを右手と推定しているので、右手がカテゴリとして取得される。
【００５１】
続いて、機能割当部６３は、取得したカテゴリと算出した機能とを関連付けて記憶装置６５に記憶させる。図１３に示す例では、右手と彫刻機能とが関連付けられる。
【００５２】
図１４に示すように、ユーザが左手の指１０１により表示画面上の回転アイコンに接触した場合も同様に、接触した物体のカテゴリを特定し、機能を割り当てる。同図に示す例では、センサ用ＩＣ４は、その物体と表示部２とのなす角度を算出し、その角度から接触した物体は左手のカテゴリに分類されると推定する。機能算出部６１、形状取得部６２は、取得した接触座標と表示画像により回転機能を算出し、接触した物体のカテゴリとして左手を取得する。そして、機能割当部６３は、左手に回転機能を対応付けて記憶装置６５に記憶させる。これにより左手には回転機能が割り当てられる。
【００５３】
図１５は、機能を割り当てた右手、左手を表示画面上の作業領域に接触させることにより、画面上の３次元モデルの編集を行う様子を示す図である。同図に示すように、左手には回転機能が割り当てられているので、左手の指で作業領域に表示された３次元モデルの回転を行い、右手には彫刻機能が割り当てられているので、右手の指で作業領域に表示された３次元モデルの変形を行うことができる。
【００５４】
作業領域に物体が接触した場合もセンサ用ＩＣ４は、物体の接触座標とその物体のカテゴリを推定する。そして、機能算出部６１は、センサ用ＩＣ４から取得した接触座標から物体が作業領域に接触していると判断するので、取得した接触座標を描画処理部６４へ出力する。また、形状取得部６２は、センサ用ＩＣ４から取得したカテゴリ情報を描画処理部６４へ出力する。
【００５５】
描画処理部６４は記憶装置６５を参照して、入力されたカテゴリ情報に対応する機能を特定し、その機能を用いて物体の接触座標に対応する画像データに対して処理を行う。図１５に示す例では、右手に彫刻機能が割り当てられ、左手に回転機能が割り当てられているので、右手の指１０３が接触した位置で３次元モデルの編集を行い、左手の指１０１が接触することにより３次元モデルの回転が行われる。
【００５６】
なお、接触した物体と表示部２の辺との角度の情報だけでなく、太さ情報も同時に用いることで、右手、左手のそれぞれの指毎に個別の機能を割り当てることも可能である。
【００５７】
次に、ペン型光源などの光源を用いて表示部２に接触する場合について説明する。図１６（ａ）は、細いペン型光源１５１を表示部２に接触させた様子を示す図であり、図１６（ｂ）は、太いペン型光源１５３を表示部２に接触させた様子を示す図である。細いペン型光源１５１を表示部２に接触させた場合には、符号１５２に示す直径の明るい部分を検出することができる。また、太いペン型光源１５３を表示部２に接触させた場合には、符号１５２で示した部分より大きな符号１５４で示す直径の明るい部分を検出することができる。
【００５８】
ペン型光源を用いたときには、ユーザの指を用いた場合に比べて個人差がないので、図１７に示すように、検出された直径をより細かいカテゴリに分類することができる。
【００５９】
以上説明したように、本実施の形態によれば、表示部２の入力機能により撮像された画像から得られる情報をレジスタ４６に格納するとともに、インタフェース回路４５を介してその情報にアクセスできるようにすることにより、ホストコンピュータ６は、その情報を利用した様々なアプリケーションを提供することが可能となる。
【００６０】
本実施の形態によれば、表示部２の入力機能により撮像された画像から表示部２に接触した物体の形状情報を検出してレジスタ４６に格納するとともに、形状取得部６２により形状情報を表すカテゴリ情報を取得し、機能割当部６３によりそのカテゴリ情報に機能を割り当てることにより、利用者は、親指、小指などのそれぞれに別の機能を割り当てることが可能となり、機能毎にアイコンを選択するなどの煩わしい操作が減り、使いやすいユーザインタフェースを提供することができる。
【００６１】
なお、物体が接触したときの形状情報だけでなく、物体が近接する状態を表す近接状態を利用して使いやすいユーザインタフェースを提供することも可能である。近接状態としては、例えば、物体が接近している状態、接触している状態、離脱している状態およびアイドル状態などの状態がある。近接状態を取得し、接近している状態や離脱している状態などに応じて異なる処理を行うことで、様々なユーザインタフェースを提供することが可能となる。
【００６２】
［第２の実施の形態］
次に、センサ用ＩＣからデータを読み出す方法を変更した第２の実施の形態について説明する。第２の実施の形態における表示装置は、第１の実施の形態における表示装置と同様の構成であるので各構成の説明はここでは省略する。
【００６３】
図１８は、第２の実施の形態における表示装置がデータを出力するときの信号の様子を示すタイミングチャートである。第２の実施の形態においては、センサ用ＩＣ４は、Ｉ＿ＳＤＯをＨｉからＬｏｗに変化させた後にレジスタ４６に格納された所定のデータをＩ＿ＳＤＯを介してホストコンピュータ６へ伝送する。このとき、順次伝送されるデータは、例えば、接触判定、接触座標など予め決められたデータである。データの出力は２フレーム毎に繰り返されるので、ホストコンピュータ６は、Ｉ＿ＣＳをＨｉにしてセンサ用ＩＣ４を選択するだけで、センサ用ＩＣ４から順次出力されるデータを受信することが可能となる。
【００６４】
また、ホストコンピュータ６が繰り返し出力される所定のデータ以外のデータを読み出したい場合には、Ｉ＿ＳＤＡＴにより指定する。
【００６５】
以上説明したように、本実施の形態によれば、センサ用ＩＣ４がレジスタ４６に格納されたデータを順次出力することにより、ホストコンピュータ６は、センサ用ＩＣ４を選択するだけでデータを読み出すことができるので、読み出したいレジスタ４６のアドレスを毎回指定する必要がなく、ホストコンピュータ６の負荷が軽減される。
【００６６】
［第３の実施の形態］
次に、センサ用ＩＣからデータを読み出す方法を変更した第３の実施の形態について説明する。第３の実施の形態における表示装置は、図１９で示す信号線の以外は同様の構成であるので、各構成の説明はここでは省略する。
【００６７】
図１９は、センサ用ＩＣ４および表示用ＩＣ５とホストコンピュータ６とを接続する主要な信号線を示す配線図である。同図に示す信号線は、図３に示したものに対してセンサ用ＩＣ４とホストコンピュータ６とを接続するＩ＿ＳＤＯ２が追加された点で異なっている。Ｉ＿ＳＤＯ２は、表示部２に近接する物体の近接状況や接触状態に変化があったことをホストコンピュータ６に通知するために使用される。具体的には、物体が表示部２に近接する状態を表すステート情報（アイドル状態、接近状態、接触状態、離脱状態など）が変化したことを通知するために使用される。
【００６８】
図２０は、第３の実施の形態における表示装置がデータを出力するときの信号の様子を示すタンミングチャートである。通常時（アイドル状態）はＩ＿ＳＤＯ２はＨｉの信号が出力されている。物体が接近してくるときなど物体の状況に変化があったときには、センサ用ＩＣ４は、Ｉ＿ＳＤＯ２をＨｉからＬｏｗに変化させる。続いて、ホストコンピュータ６はセンサ用ＩＣ４から情報を読み出すために、Ｉ＿ＣＳをＨｉに変化させる。続いて、センサ用ＩＣ４は、Ｉ＿ＳＤＯをＨｉにした後にＬｏｗにしてレジスタ４６に格納された所定のデータを出力する。
【００６９】
以上説明したように、本実施の形態によれば、近接する物体の状態に変化が生じた際に、センサ用ＩＣ４がＩ＿ＳＤＯ２をＨｉからＬｏｗに変化させることにより、ホストコンピュータ６は、状態が変化したときだけセンサ用ＩＣ４から情報を読み出せばよいので、ホストコンピュータ６の負荷を軽減することが可能となる。
【図面の簡単な説明】
【００７０】
【図１】第１の実施の形態における表示装置の構成を示す平面図である。
【図２】図１のセンサ用ＩＣの構成を示すブロック図である。
【図３】図１のホストコンピュータとセンサ用ＩＣ及び表示用ＩＣの配線を示す配線図である。
【図４】図１のホストコンピュータがセンサ用ＩＣからデータを読み出す動作を示すタイミングチャートである。
【図５】センサ用ＩＣから出力される形状情報を利用して処理を行う処理部の構成を示すブロック図である。
【図６】図１のセンサ用ＩＣが表示部に接触した物体の太さを検出する様子を示す説明図であり、同図（ａ）は小指を撮像したときの様子を示し、同図（ｂ）は親指を撮像したときの様子を示す。
【図７】図１のセンサ用ＩＣが検出した物体の太さとカテゴリとの対応を示す説明図である。
【図８】小指にペン機能を割り当てるときの様子を示す説明図である。
【図９】親指に消しゴム機能を割り当てるときの様子を示す説明図である。
【図１０】小指と親指を用いて線を描画する様子を示す説明図である。
【図１１】図１のセンサ用ＩＣが表示部に接触した物体の傾きを検出する様子を示す説明図であり、同図（ａ）は左手の指を撮像したときの様子を示し、同図（ｂ）は右手の指を撮像したときの様子を示す。
【図１２】図１のセンサ用ＩＣが検出した物体の角度とカテゴリとの対応を示す説明図である。
【図１３】右手に彫刻機能を割り当てるときの様子を示す説明図である。
【図１４】左手に回転機能を割り当てるときの様子を示す説明図である。
【図１５】右手と左手を用いて３次元モデルを編集する様子を示す説明図である。
【図１６】図１のセンサ用ＩＣが表示部に接触した物体の直径を検出する様子を示す説明図であり、同図（ａ）は細い光学ペンを撮像したときの様子を示し、同図（ｂ）は太い光学ペンを撮像したときの様子を示す。
【図１７】図１のセンサ用ＩＣが検出した物体の直径とカテゴリとの対応を示す説明図である。
【図１８】第２の実施の形態における表示装置のセンサ用ＩＣがデータを出力するときの様子を示すタイミングチャートである。
【図１９】第３の実施の形態における表示装置のホストコンピュータとセンサ用ＩＣおよび表示用ＩＣとの配線を示す配線図である。
【図２０】図１９のセンサ用ＩＣがデータを出力するときの様子を示すタイミングチャートである。
【図２１】従来の光入力機能を備えた表示装置の構成を示す断面図である。
【符号の説明】
【００７１】
１…アレイ基板
２…表示部
３…フレキシブル基板
４…センサ用ＩＣ
５…表示用ＩＣ
６…ホストコンピュータ
８…駆動基板
４１…レベルシフタ
４２…データ処理部
４３…ＲＡＭ
４４…ＤＡＣ
４５…インタフェース回路
４６…レジスタ
６１…機能算出部
６２…形状取得部
６３…機能割当部
６４…描画処理部
６５…記憶装置
２０１…アレイ基板
２０２…対向基板
２０３…液晶層
２０４…絶縁層
２０５…光センサ
２１０…バックライト
２２０…物体
【図１】
2008257454.tif 000003
【図２】
2008257454.tif 000004
【図３】
2008257454.tif 000005
【図４】
2008257454.tif 000006
【図５】
2008257454.tif 000007
【図６】
2008257454.tif 000008
【図７】
2008257454.tif 000009
【図８】
2008257454.tif 000010
【図９】
2008257454.tif 000011
【図１０】
2008257454.tif 000012
【図１１】
2008257454.tif 000013
【図１２】
2008257454.tif 000014
【図１３】
2008257454.tif 000015
【図１４】
2008257454.tif 000016
【図１５】
2008257454.tif 000017
【図１６】
2008257454.tif 000018
【図１７】
2008257454.tif 000019
【図１８】
2008257454.tif 000020
【図１９】
2008257454.tif 000021
【図２０】
2008257454.tif 000022
【図２１】
2008257454.tif 000023