(57)【要約】【課題】液晶表示モジュールに複数のカメラを一体化して、液晶表示モジュールを制御し、タッチ認識を信号処理するための回路を最適化できるようにするマルチタッチ認識機能を有する表示装置及びその駆動方法を得る。【解決手段】本発明の実施の形態に係るマルチタッチ認識機能を有する表示装置は、表示パネル１０と、複数のカメラ２１が一体化された一体化モジュール２０、表示パネルの駆動回路を制御し、カメラによって撮像されたイメージに基づいて液晶表示パネル上にタッチされたタッチイメージのそれぞれの座標を計算するコントロールボード３０、及びコントロールボードにタイミング信号と共に、表示パネルに示されるデジタルビデオデータを供給するシステム４０を備える。【選択図】図１
2008152752.tif 000002
【特許請求の範囲】
【請求項１】
表示パネルおよび複数のカメラが一体化された一体化モジュールと、
前記表示パネルの駆動回路を制御し、前記カメラによって撮像されたイメージに基づいて前記液晶表示パネル上にタッチされたタッチイメージのそれぞれの座標を計算するコントロールボードと、
前記コントロールボードにタイミング信号と共に、前記表示パネルに示されるデジタルビデオデータを供給するシステムと
を備えることを特徴とするマルチタッチ認識機能を有する表示装置。
【請求項２】
前記コントロールボードは、
前記表示パネルを駆動するための駆動回路を制御するタイミングコントローラと、
タイミング信号を前記タイミングコントローラと共に入力を受け、前記カメラによって撮像されたイメージの入力を受け、前記タッチイメージのそれぞれの座標を計算するマルチタッチプロセッサーと
を備えることを特徴とする請求項１に記載のマルチタッチ認識機能を有する表示装置。
【請求項３】
前記カメラそれぞれのレンズの画角は、８０°〜９０°であることを特徴とする請求項１に記載のマルチタッチ認識機能を有する表示装置。
【請求項４】
前記カメラと前記表示パネルのガラス基板との間に数ｍｍ〜数十ｍｍほどの高さで浮上された非反射部材をさらに備えることを特徴とする請求項３に記載のマルチタッチ認識機能を有する表示装置。
【請求項５】
前記非反射部材は、光吸収軸が互いに交差するように積層された２枚の偏光フィルター、黒色層、または非反射体の中のいずれか１つを含むことを特徴とする請求項４に記載のマルチタッチ認識機能を有する表示装置。
【請求項６】
前記マルチタッチプロセッサーは、
前記カメラの撮像イメージから前記表示パネルに近接する有効タッチ領域のイメージを抽出し、
前記有効タッチ領域のイメージに含まれたＲＧＢデータを階調データに変換した後、その階調データと前記表示パネルに示された背景イメージとの差に該当するタッチイメージを抽出し、
前記タッチイメージと予め設定された臨界値とを比較して、前記臨界値以上のタッチイメージデータを白色データに変換し、前記白色データが複数存在すると、前記白色データのそれぞれに対して固有識別符号を付与し、
前記カメラの位置を基準として前記白色データの角度を計算した後、その角度と前記カメラとの間の距離及び前記カメラと前記白色データとの間の距離をパラメータとする三角測量法を用いて、前記白色データのそれぞれに対するｘｙ座標を計算し、そのｘｙ座標のデータを前記システムに供給することを特徴とする請求項２に記載のマルチタッチ認識機能を有する表示装置。
【請求項７】
前記システムは、
前記座標データを用いてタッチデータを発生し、そのタッチデータを前記背景イメージのデジタルビデオデータに合成して前記コントロールボードに供給することを特徴とする請求項６に記載のマルチタッチ認識機能を有する表示装置。
【請求項８】
前記マルチタッチプロセッサーは、
隣接する４つのカメラ対によって計算された結果を比較して、前記ｘｙ座標の計算結果を検証することを特徴とする請求項６に記載のマルチタッチ認識機能を有する表示装置。
【請求項９】
表示パネルおよび複数のカメラが一体化されたモジュールを含むマルチタッチ認識機能を有する表示装置の駆動方法において、
前記カメラによって撮像されたイメージに基づいて前記液晶表示パネル上にタッチされたタッチイメージのそれぞれの座標を計算する段階を含むことを特徴とするマルチタッチ認識機能を有する表示装置の駆動方法。
【請求項１０】
前記カメラそれぞれのレンズの画角は、８０°〜９０°であることを特徴とする請求項９に記載のマルチタッチ認識機能を有する表示装置の駆動方法。
【請求項１１】
前記タッチイメージのそれぞれの座標を計算する段階は、
前記カメラの撮像イメージから前記液晶表示パネルに近接する有効タッチ領域のイメージを抽出する段階と、
前記有効タッチ領域のイメージに含まれたＲＧＢデータを階調データに変換する段階と、
前記階調データと前記液晶表示パネルに示された背景イメージとの差に該当するタッチイメージを抽出する段階と、
前記タッチイメージと予め設定された臨界値とを比較して、前記臨界値以上のタッチイメージデータを白色データに変換する段階と、
前記白色データが複数存在すると、前記白色データのそれぞれに対して固有識別符号を付与する段階と、
前記カメラの位置を基準として前記白色データの角度を計算する段階と、
前記角度と前記カメラとの間の距離及び前記カメラと前記白色データとの間の距離をパラメータとして、前記白色データのそれぞれに対するｘｙ座標を計算する段階と
を含むことを特徴とする請求項９に記載のマルチタッチ認識機能を有する表示装置の駆動方法。
【請求項１２】
前記ｘｙ座標を用いてタッチイメージデータを発生し、そのタッチデータを前記背景イメージのデジタルビデオデータに合成する段階をさらに含むことを特徴とする請求項１１に記載のマルチタッチ認識機能を有する表示装置の駆動方法。
【請求項１３】
前記タッチイメージのそれぞれの座標を計算する段階は、
隣接する４つのカメラ対によって計算された結果を比較して、前記ｘｙ座標の計算結果を検証する段階をさらに含むことを特徴とする請求項１１に記載のマルチタッチ認識機能を有する表示装置の駆動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に関し、特に、液晶表示モジュールに複数のカメラを一体化して、液晶表示モジュールを制御し、タッチ認識を信号処理するための回路を最適化できるようにするマルチタッチ認識機能を有する表示装置及びその駆動方法に関する。
【背景技術】
【０００２】
タッチパネルは、一般的に、表示装置上に取り付けられ、手あるいはペンと接触するタッチ支点から電気的な特性が変わることによって、そのタッチ支点を感知するユーザーインタフェースの１つであり、その応用範囲が小形携帯用端末機、事務用機器等に広がっている。このようなタッチパネルは、２つ以上のマルチタッチを発生させると誤動作するか、予め設定されたプログラムによって、いずれか１つを選択することができる。
【０００３】
従来のタッチパネルにおいて、マルチタッチ認識の限界を克服するため、近来では複数のタッチを同時に認識するマルチタッチ認識装置が開発されている。しかし、このようなマルチタッチ認識装置は、表示装置と分離された構造に作製される。このため、表示装置にマルチタッチ認識装置を取り付ける場合、表示装置の外観の変形が発生し、表示装置にマルチタッチ認識装置を取り付けると組立過程が複雑となり、かつ、かさが増えることによって多くの空間を必要とするという問題がある。さらに、表示装置とマルチタッチ認識装置は、一体形ではないため、それらの間において構造的な安定度が低下する恐れがある。一方、光センサーを表示装置の各画素に内蔵する方法があるが、この方法は、光センサーにより表示装置の開口率が低下することによって、輝度が低下してしまうという問題がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、本発明の目的は、上記従来技術の問題点を解決するために案出された発明であり、液晶表示モジュールに複数のカメラを一体化して、液晶表示モジュールを制御し、タッチ認識を信号処理するための回路を最適化できるようにするマルチタッチ認識機能を有する表示装置及びその駆動方法を得ることである。
【課題を解決するための手段】
【０００５】
前記目的の達成のため、本発明の実施の形態に係るマルチタッチ認識機能を有する表示装置は、表示パネルおよび複数のカメラが一体化された一体化モジュールと、前記表示パネルの駆動回路を制御し、前記カメラによって撮像されたイメージに基づいて前記液晶表示パネル上にタッチされたタッチイメージのそれぞれの座標を計算するコントロールボードと、前記コントロールボードにタイミング信号と共に、前記表示パネルに示されるデジタルビデオデータを供給するシステムとを備える。
【０００６】
前記コントロールボードは、前記表示パネルを駆動するための駆動回路を制御するタイミングコントローラと、タイミング信号を前記タイミングコントローラと共に入力を受け、前記カメラによって撮像されたイメージの入力を受け、前記タッチイメージのそれぞれの座標を計算するマルチタッチプロセッサーとを備える。
【０００７】
前記カメラそれぞれのレンズの画角は、８０°〜９０°である。
【０００８】
前記カメラと前記表示パネルのガラス基板との間に数ｍｍ〜数十ｍｍほどの高さで浮上された非反射部材をさらに備える。
【０００９】
前記非反射部材は、光吸収軸が互いに交差するように積層された２枚の偏光フィルター、黒色層、または非反射体（Ａｎｔｉ−ｒｅｆｌｅｃｔｏｒ）の中のいずれか１つを含む。
【００１０】
前記マルチタッチプロセッサーは、前記カメラの撮像イメージから前記表示パネルに近接する有効タッチ領域のイメージを抽出し、前記有効タッチ領域のイメージに含まれたＲＧＢデータを階調データに変換した後、その階調データと前記表示パネルに示された背景イメージとの差に該当するタッチイメージを抽出し、前記タッチイメージと予め設定された臨界値とを比較して、前記臨界値以上のタッチイメージデータを白色データに変換し、前記白色データが複数存在すると、前記白色データのそれぞれに対して固有識別符号を付与し、前記カメラの位置を基準として前記白色データの角度を計算した後、その角度と前記カメラとの間の距離及び前記カメラと前記白色データとの間の距離をパラメータとする三角測量法を用いて、前記白色データのそれぞれに対するｘｙ座標を計算し、そのｘｙ座標のデータを前記システムに供給する。
【００１１】
前記システムは、前記座標データを用いてタッチデータを発生し、そのタッチデータを前記背景イメージのデジタルビデオデータに合成して前記コントロールボードに供給する。
【００１２】
前記マルチタッチプロセッサーは、隣接する４つのカメラ対によって計算された結果を比較して、前記ｘｙ座標の計算結果を検証する。
【００１３】
本発明の実施の形態に係るマルチタッチ認識機能を有する表示装置の駆動方法は、前記カメラによって撮像されたイメージに基づいて前記液晶表示パネル上にタッチされたタッチイメージのそれぞれの座標を計算する段階を含む。
【発明の効果】
【００１４】
本発明の実施の形態に係るマルチタッチ認識機能を有する表示装置及びその駆動方法は、画素アレイを避けてカメラを配置することによって、開口率の低下要因を最少化すると共に、タッチ認識モジュールと液晶表示モジュールを一体化して、一体化された表示装置の外観の変形なしに構造的安定度の低下を最少化し、液晶表示モジュールを制御してタッチ認識を信号処理するための回路を最適化することができる。
【発明を実施するための最良の形態】
【００１５】
上記目的の外、本発明の他の目的及び特徴は、添付の図面を参照した実施の形態についての説明を通じて明らかに示される。
【００１６】
以下、図１〜図１０を参照して、本発明の好ましい実施の形態について説明する。
【００１７】
図１〜図５を参照すると、本発明の実施の形態に係るマルチタッチ認識機能を有する表示装置は、画像が表示される画素アレイ１０Ａの四つの角にカメラ２１Ａ〜２１Ｄが配置されたタッチ／表示一体化モジュール２０、タッチ／表示一体化モジュール２０を制御してタッチ支点の座標を計算するコントロールボード３０、及びコントロールボード３０にタイミング信号と共に示されるデータＲＧＢを供給するためのシステム４０を備える。
【００１８】
タッチ／表示一体化モジュール２０は、画像が表示される画素アレイ１０Ａが形成された液晶表示パネル１０と、液晶表示パネル１０のデータラインＤ１〜Ｄｍにデータ電圧を供給するためのソースドライバ１１と、液晶表示パネル１０のゲートラインＧ１〜Ｇｎにスキャンパルスを供給するためのゲートドライバ１２と、画素アレイ１０Ａの四つの角に配置されたカメラ２１Ａ〜２１Ｄとを備える。
【００１９】
液晶表示パネル１０は、薄膜トランジスタ（Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ）基板とカラーフィルター基板を含む。ＴＦＴ基板とカラーフィルター基板との間には、液晶層が形成される。ＴＦＴ基板上には、下部ガラス基板上にデータラインＤ１〜ＤｍとゲートラインＧ１〜Ｇｎとが相互に直交するように形成され、データラインＤ１〜ＤｍとゲートラインＧ１〜Ｇｎによって定義されたセル領域に、液晶セルＣｌｃがマトリクス状に配置される。データラインＤ１〜ＤｍとゲートラインＧ１〜Ｇｎとの交差部に形成されたＴＦＴは、ゲートラインＧ１〜Ｇｎからのスキャンパルスに応じて、データラインＤ１〜Ｄｍ上のデータを液晶セルＣｌｃに供給する。このため、ＴＦＴのゲート電極は、ゲートラインＧ１〜Ｇｎに接続され、ソース電極は、データラインＤ１〜Ｄｍに接続される。ＴＦＴのドレイン電極は、液晶セルＣｌｃの画素電極に接続される。画素電極と対向する共通電極には、共通電圧Ｖｃｏｍが供給される。
【００２０】
カラーフィルター基板は、上部ガラス基板上に形成されたブラックマトリクス、カラーフィルターを含む。
【００２１】
一方、共通電極は、ＴＮ（Ｔｗｉｓｔｅｄ  Ｎｅｍａｔｉｃ）モードとＶＡ（Ｖｅｒｔｉｃａｌ  Ａｌｉｇｎｍｅｎｔ）モードのような垂直電界駆動方式で上部ガラス基板上に形成され、ＩＰＳ（Ｉｎ  Ｐｌａｎｅ  Ｓｗｉｔｃｈｉｎｇ）モードとＦＦＳ（Ｆｒｉｎｇｅ  Ｆｉｅｌｄ  Ｓｗｉｔｃｈｉｎｇ）モードのような水平電界駆動方式で、画素電極と共に下部ガラス基板上に形成される。
【００２２】
図面符号「Ｃｓｔ」は、ストレージキャパシタ（Ｓｔｏｒａｇｅ  Ｃａｐａｃｉｔｏｒ）である。ストレージキャパシタＣｓｔは、ゲートラインと液晶セルＣｌｃの画素電極との重畳によって形成されるか、あるいは別途の共通ラインと画素電極との重畳によって形成することができる。
【００２３】
ソースドライバ１１は、複数のデータ集積回路を含めてコントロールボード３０から入力されるデジタルビデオデータＲＧＢを、コントロールボード３０の制御下で正極性あるいは負極性アナログガンマ補償電圧に変換し、そのアナログガンマ補償電圧を、アナログデータ電圧としてデータラインＤ１〜Ｄｍに供給する。
【００２４】
ゲートドライバ１２は、複数のゲート集積回路を含めてコントロールボード３０の制御下で、ゲートラインＧ１〜Ｇｎにスキャンパルスを順次供給する。
【００２５】
ソースドライバ１１のデータ集積回路とゲートドライバ１２のゲート集積回路は、テープキャリアーパッケージ（Ｔａｐｅ  Ｃａｒｒｉｅｒ  Ｐａｃｋａｇｅ）を用いたテープオートメーテッドボンディング（Ｔａｐｅ  Ａｕｔｏｍａｔｅｄ  Ｂｏｎｄｉｎｇ）あるいはチップオンガラス（Ｃｈｉｐ  Ｏｎ  Ｇｌａｓｓ）方式で、下部ガラス基板に形成することができる。
【００２６】
カメラ２１Ａ〜２１Ｄは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーを用いるカメラであり、液晶表示パネル１０から画像が表示される画素アレイ１０Ａの４つの角に配置されて、それぞれが画素アレイの表示面とその近傍のイメージを撮像する。カメラ２１Ａ〜２１Ｄに用いられるＣＭＯＳセンサーは、最少３２０×２４０画素から１２８０×１０２４画素の解像度を必要とする。このカメラ２１Ａ〜２１Ｄのそれぞれから撮像されたタッチイメージは、コントロールボード３０に供給される。
【００２７】
カメラ２１Ａ〜２１Ｄそれぞれのレンズ画角は、図４に示すように、９０°となることが好ましい。このようなカメラ２１Ａ〜２１Ｄのレンズ画角は、液晶表示パネル１０とカメラ２１Ａ〜２１Ｄとの間の距離や液晶表示パネル１０の大きさに応じて異なるが、８０°〜９０°程度になるべきである。これは、カメラ２１Ａ〜２１Ｄのレンズ画角が８０°未満に狭くなると、カメラ２１Ａ〜２１Ｄが撮像できない陰影領域が多くなることによって、マルチタッチを正確に認識できなくなり、９０°より大きいと、液晶表示パネル１０を外れた不要の部分を含めてマルチタッチを正確に認識しなくなるためである。
【００２８】
液晶表示パネル１０のガラス基板の縁部の近傍には、図５に示すように、非反射部材１３が設けられる。非反射部材１３は、光吸収軸が互いに交差するように積層された２枚の偏光フィルター、黒色層、または非反射体の中のいずれか１つを含む。この非反射部材１３は、カメラ２１Ａ〜２１Ｄのレンズの前に配置され、液晶表示パネル１０のガラス基板の表面から所定の高さｈ１だけ浮上される。液晶表示パネル１０のガラス基板表面と非反射部材１３との間の高さｈ１は、液晶表示パネル１０の大きさに反比例し、カメラレンズとガラス基板との間の距離に比例し、概略数ｍｍ〜数十ｍｍほどとなるべきである。非反射部材１３とカメラ２１Ａ〜２１Ｄは、タッチ／表示一体化モジュール２０を支持するブラケット１４の縁部に固定される。非反射部材１３は、外部光を吸収または遮断して、カメラ２１Ａ〜２１Ｄのレンズに入射される外部光による光の干渉現象を予防する役割をする。
【００２９】
コントロールボード３０は、可撓性印刷フィルム（Ｆｌｅｘｉｂｌｅ  Ｐｒｉｎｔｅｄ  Ｃｉｒｃｕｉｔ）とコネクターを通じてソースドライバ１１とゲートドライバ１２に接続される。このコントロールボード３０は、タイミングコントローラ３１とマルチタッチプロセッサー３２を含む。
【００３０】
タイミングコントローラ３１は、垂直／水平同期信号Ｖ、ＨとクロックＣＬＫを用いて、ゲートドライバ１２の動作タイミングを制御するためのゲート制御信号と、ソースドライバ１１の動作タイミングを制御するためのデータ制御信号とを発生する。さらに、タイミングコントローラ３１は、システム４０から入力されるデジタルビデオデータＲＧＢをソースドライバ１１に供給する。
【００３１】
マルチタッチプロセッサー３２は、垂直／水平同期信号Ｖ、ＨとクロックＣＬＫに応じて、背景イメージのデジタルビデオデータＲＧＢを、タイミングコントローラ３１から周期的に入力を受けて貯蔵し、マルチタッチ信号処理プログラムを実行させて、カメラ２１Ａ〜２１Ｄによって予め撮像された背景イメージと、現在撮像されたタッチイメージとを比較してタッチイメージを抽出する。カメラ２１Ａ〜２１Ｄによって予め撮像された背景イメージは、マルチタッチプロセッサー３２のメモリに貯蔵される。そして、マルチタッチプロセッサー３２は、タッチイメージに対する座標を計算し、その結果Ｔｘｙをシステム４０に供給する。このマルチタッチプロセッサー３２は、垂直／水平同期信号Ｖ、ＨとクロックＣＬＫ等のタイミング信号を、タイミングコントローラ３１と共有するため、タイミングコントローラ３１と同期されて動作する。従って、タイミングコントローラ３１とマルチタッチプロセッサー３２が同期されるため、液晶表示パネル１０に表示される背景イメージと、タッチイメージがリアルタイムで合成されたイメージの表示と、タッチ支点の座標計算処理とが同期される。
【００３２】
システム４０は、応用ソフトウェアが内蔵されたメモリ、応用ソフトウェアを実行させるための中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）及び背景イメージとタッチイメージを合成し、その合成データの信号補間処理と解像度変換等を処理するグラフィック処理回路を含む。このシステム４０は、マルチタッチプロセッサー３２からの座標データＴｘｙの入力を受け、その座標データの座標値に連係された応用ソフトウェアを実行させる。例えば、タッチ位置の座標に特定プログラムのアイコンがあると、システム４０は、メモリからそのプログラムをローディングして実行させる。さらに、システム４０は、背景イメージとタッチイメージを合成して液晶表示パネル１０に表示しようとするデジタルビデオデータＲＧＢを発生する。このシステム４０は、パーソナルコンピューター（ＰＣ）により実現ことができ、直列あるいは汎用直列バス（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）インタフェースを通じてマルチタッチプロセッサー３２とデータを交換する。
【００３３】
図６は、マルチタッチプロセッサー３２で実行されるマルチタッチ信号処理プログラムの制御順序を段階的に示すフローチャートである。
【００３４】
図６を参照すると、マルチタッチ信号処理プログラムは、カメラ２１Ａ〜２１Ｄによって撮像されたタッチイメージの入力を受け、ウィンドウ処理を通じて有効タッチ領域のイメージを抽出する（Ｓ１及びＳ２）。カメラ２１Ａ〜２１Ｄによって撮像されたタッチイメージは、図７に示すように、画素アレイのタッチ面から撮像された有効タッチ領域のイメージと共に、タッチ面上の空間に当たる無効タッチ領域のイメージを含む。従って、マルチタッチ信号処理プログラムは、カメラ２１Ａ〜２１Ｄのそれぞれによって撮像されたイメージからタッチ面の近傍でタッチがなされる有効タッチ領域のイメージ（斜線部分）を、ウィンドウ処理を通じて抽出する。ウィンドウ処理は、入力イメージ信号に対してサブ−マトリクス演算を通じて必要なイメージのみを抽出するイメージ抽出技法を用いる。
【００３５】
続いて、マルチタッチ信号処理プログラムは、ウィンドウ処理によって抽出された有効タッチ領域のイメージに含まれたＲＧＢデータを階調（Ｇｒａｙ）データに変換する（Ｓ３）。カメラ２１Ａ〜２１Ｄによって撮像されたイメージは、ＲＧＢデータを含み、さらに、ウィンドウ処理を通じて抽出された有効タッチイメージも、ＲＧＢを含む。タッチ情報を検出するためには、タッチがなされない際に液晶表示パネル１０の画素アレイ１０Ａに表示された背景イメージと、実際にタッチがなされた際のイメージとは、カラー情報、即ち、ＲＧＢで比較されるのではなく、黒白とその間の中間トーンを含む階調（Ｇｒａｙ）を基準として比較されるため、ステップＳ３で、有効タッチイメージのＲＧＢは、次式（１）によって階調データに変換される。
【００３６】
階調データ＝ｐＲ＋ｑＧ＋ｓＢ                                          （１）
ここで、ｐ、ｑ、ｓは、互いに異なる値を有する定数である。
【００３７】
タッチ認識のためには、液晶表示パネル１０の画素アレイ１０Ａに表示された背景イメージと、実際にタッチがなされたタッチイメージとを比較して、そのタッチイメージのみを抽出すべきである。このために、マルチタッチ信号処理プログラムは、予め貯蔵された背景イメージとタッチイメージとを比較して、両イメージ間の差に該当するタッチイメージを抽出する（Ｓ４）。
【００３８】
続いて、マルチタッチ信号処理プログラムは、ステップＳ４で抽出されたタッチイメージの階調データを予め設定された臨界値と比較する。そして、マルチタッチ信号処理プログラムは、臨界値以上のデータに限り、タッチイメージの階調データをホワイトデータ（Ｗｈｉｔｅ  ｄａｔａ）に変換し、臨界値未満のデータをブラックデータ（Ｂｌａｃｋ  ｄａｔａ）に変換する（Ｓ５）。ホワイトデータは、有効なタッチ位置を意味し、ブラックデータは、タッチイメージの中で実際にタッチされない無効データを意味する。臨界値は、実験的に決定される。
【００３９】
ステップＳ６の段階で、マルチタッチ信号処理プログラムは、タッチ位置のそれぞれを区分するため、図８に示すように、ホワイトデータ、即ち、有効タッチ位置データのそれぞれに対して固有識別符号１〜５を付与する。
【００４０】
続いて、マルチタッチ信号処理プログラムは、ホワイトデータに変換された有効タッチ位置のそれぞれに対して、２次元の平面上で位置を捜すために、角度計算アルゴリズムを用いてカメラ２１Ａ〜２１Ｄにより撮像された有効タッチ位置とカメラとの間の角度を計算した後、下式（２）のような三角測量法を用いて、角度データから２次元の位置を計算する（Ｓ７、Ｓ８）。下式（２）は、１つのタッチ位置に対する２次元のｘｙ座標値を求めるための計算式として、図９に示すように、２つのカメラにより測定された角度Ａ、Ｂ、タッチ位置とカメラとの間の角度Ｃ、２つのカメラとタッチ位置との間の距離ａ、ｂ、ｃを含む。タッチ位置とカメラとの間の角度Ｃは、「Ｃ＝１８０−角度Ａ−角度Ｂ」により算出される。
【００４１】
【数１】
2008152752.tif 000003
【００４２】
このように、マルチタッチ信号処理プログラムにより、タッチ位置のそれぞれに対するｘ、ｙ座標データＣｘｙが算出されると、システム４０は、その座標データを用いてタッチデータを発生し、そのタッチデータを液晶表示パネル１０に示される背景イメージに合成する。背景イメージに合成されたタッチデータは、タイミングコントローラ３１に伝送されて液晶表示パネル１０に表示される（Ｓ９）。背景イメージに合成されるタッチデータは、使用者の便宜に応じて様々な形とすることができる。
【００４３】
Ｓ７及びＳ８のマルチタッチ位置の計算過程において、本発明の実施の形態に係るマルチタッチ認識機能を有する表示装置の駆動方法は、上式（２）に示すような三角測量法を用いて算出されたタッチ点の位置に対して検証する過程を含むことができる。
【００４４】
図１０は、タッチ点それぞれの位置に対する検証過程を示す図面である。
【００４５】
図１０を参照すると、表示面１０Ａ上に２つのマルチ支点（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）が存在すると仮定する場合、これら両支点のそれぞれに対して隣接する４つのカメラ対２１Ｃと２１Ｄ、２１Ａと２１Ｂ、２１Ｂと２１Ｄ、２１Ａと２１Ｃの三角測量法の結果を、下式（３）に示すように比較判断する。
【００４６】
Ｘ１：Ａ＊ｃｏｓ（θ１）＆＆（Ｌ−Ｃ＊ｓｉｎ（θ３））＆＆（Ｈ−Ｅ＊ｃｏｓ（θ６））＆＆Ｇ＊ｓｉｎ（θ８）
Ｙ１：Ａ＊ｓｉｎ（θ１）＆＆（Ｌ−Ｃ＊ｃｏｓ（θ３））＆＆（Ｈ−Ｅ＊ｓｉｎ（θ６））＆＆Ｇ＊ｃｏｓ（θ８）
Ｘ２：Ｂ＊ｃｏｓ（θ２）＆＆（Ｌ−Ｄ＊ｓｉｎ（θ４））＆＆（Ｈ−Ｆ＊ｃｏｓ（θ５））＆＆Ｈ＊ｓｉｎ（θ７）
Ｙ２：Ｂ＊ｓｉｎ（θ２）＆＆（Ｌ−Ｄ＊ｃｏｓ（θ４））＆＆（Ｈ−Ｆ＊ｓｉｎ（θ５））＆＆Ｈ＊ｃｏｓ（θ７）                                            （３）
【００４７】
上式（３）において、それぞれの変数は、図１０に示すとおりであり、「＆＆」は、比較演算子である。
【００４８】
マルチタッチ信号処理プログラムは、図１０及び上式（３）に示すような検証過程において、隣接するカメラ対２１Ｃと２１Ｄ、２１Ａと２１Ｂ、２１Ｂと２１Ｄ、２１Ａと２１Ｃによって測定された位置の誤差値が、予め設定された臨界値を超過すると、その位置をタッチ位置として判断せず、エラーとして判断する。
【００４９】
結果的に、本発明の実施の形態に係るマルチタッチ認識機能を有する表示装置とその駆動方法は、画素アレイを避けてカメラを配置して開口率の低下要因を最小化すると共に、タッチ認識モジュールと液晶表示モジュールを一体化して、一体化された表示装置の外観の変形なしに、構造的安定度の低下を最小化することができる。このような本発明は、表示装置においてマルチタッチ位置それぞれを認識することができ、リアルタイムで表示装置に背景イメージとタッチイメージを表示することができるため、タッチ認識と共に、イメージスキャニング、指紋認識等にも適用することができる。
【００５０】
一方、タッチ／表示一体化モジュール２０の液晶表示パネル１０は、他の平板表示パネル、例えば、有機発光ダイオード素子（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）の表示パネル、プラズマディスプレイパネル（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、電界放出素子（Ｆｉｅｌｄ  Ｅｍｉｔｔｉｎｇ  Ｄｉｓｐｌａｙ）あるいは平板表示パネルを含む立体映像表示装置の表示パネルで代用することができる。
【００５１】
前述のように、本発明の実施の形態に係るマルチタッチ認識機能を有する表示装置及びその駆動方法は、画素アレイを避けてカメラを配置して開口率の低下要因を最小化すると共に、タッチ認識モジュールと液晶表示モジュールを一体化して、一体化された表示装置の外観の変形なしに構造的安定度の低下を最小化し、かつ、液晶表示モジュールを制御し、タッチ認識を信号処理するための回路を最適化することができる。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態に係るマルチタッチ認識機能を有する表示装置を概略的に示す図面である。
【図２】図１に示す表示装置を詳細に示す図面である。
【図３】図２に示す画素アレイの一部を等価的に示す回路図である。
【図４】本発明の実施の形態に係るカメラレンズの画角を示す図面である。
【図５】本発明の実施の形態に係る非反射部材を示す断面図である。
【図６】本発明の実施の形態に係るマルチタッチ信号処理プログラムの制御順序を段階的に示すフローチャートである。
【図７】ウィンドウ処理を説明するための図面である。
【図８】マルチタッチ位置それぞれに対する固有識別符号の付与を模式的に示す図面である。
【図９】三角測量方を説明するための図面である。
【図１０】タッチ点それぞれの位置に対する検証過程を示す図面である。
【符号の説明】
【００５３】
１０  液晶表示パネル、１１  ソースドライバ、１２  ゲートドライバ、１３  非反射部材、２０  タッチ／表示一体化モジュール、２１Ａ〜２１Ｄ  カメラ、３０  コントロールボード、３１  タイミングコントローラ、３２  マルチタッチプロセッサー、４０  システム。
【図１】
2008152752.tif 000004
【図２】
2008152752.tif 000005
【図３】
2008152752.tif 000006
【図４】
2008152752.tif 000007
【図５】
2008152752.tif 000008
【図６】
2008152752.tif 000009
【図７】
2008152752.tif 000010
【図８】
2008152752.tif 000011
【図９】
2008152752.tif 000012
【図１０】
2008152752.tif 000013