(57)【要約】【課題】様々な光環境下において撮像対象の像の位置を適切に検出する。【解決手段】タッチ位置検出装置１は、波長に対する感度特性が互いに異なる可視光センサ１３と、赤外光センサ１２と、可視光センサ１３の出力値から、指示物体の周囲の光である環境光の可視光強度を算出する可視光強度算出部３２と、赤外光センサ１２の出力値から、上記環境光の赤外光強度を算出する赤外光強度算出部３１と、可視光強度算出部３２が算出した可視光強度と、赤外光強度算出部３１が算出した赤外光強度とから、上記環境光の種類を判定する外光強度演算部３３とを備える。【選択図】図１
2010211328.tif 000002
【特許請求の範囲】
【請求項１】
撮像画面に近接した撮像対象を撮像した撮像画像を解析することにより、当該撮像画像における上記撮像対象の像の位置を検出する位置検出装置であって、
波長に対する感度特性が互いに異なる第１および第２光センサと、
上記第１光センサの出力値から、上記撮像対象の周囲の光である環境光の光強度を算出する第１光強度算出手段と、
上記第２光センサの出力値から、上記環境光の光強度を算出する第２光強度算出手段と、
上記第１光強度算出手段が算出した第１光強度と、上記第２光強度算出手段が算出した第２光強度とから、上記環境光の種類を判定する環境光判定手段とを備えることを特徴とする位置検出装置。
【請求項２】
上記環境光判定手段は、上記第１光強度と上記第２光強度とを比較した結果、または、上記第１または第２光強度と、所定の閾値とを比較した結果に基づいて上記環境光の種類を判定することを特徴とする請求項１に記載の位置検出装置。
【請求項３】
上記第１光センサは、主に可視光を受光する可視光センサであり、
上記第２光センサは、主に赤外光を受光する赤外光センサであることを特徴とする請求項１または２に記載の位置検出装置。
【請求項４】
光を出射する光源と、
上記環境光判定手段の判定結果に基づいて、上記光源から上記撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像する第１撮像方法と、上記環境光が上記撮像対象によって遮られることによって生じる影を撮像する第２撮像方法とを切り替える切替手段をさらに備えることを特徴とする請求項１または２に記載の位置検出装置。
【請求項５】
上記第１または第２光強度から、上記撮像対象が上記撮像画面に対して接触している場合の当該撮像対象の像と、上記撮像画面に対して接触していない場合の当該撮像対象の像とを区別するための基準値を算出する基準値算出手段をさらに備え、
上記基準値算出手段は、上記環境光判定手段の判定結果に基づいて上記基準値の算出方法を切り替えることを特徴とする請求項１〜４のいずれか１項に記載の位置検出装置。
【請求項６】
請求項１〜５のいずれか１項に記載の位置検出装置を動作させる制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項７】
請求項６に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
撮像画面に近接した撮像対象を撮像した撮像画像を解析することにより、当該撮像画像における上記撮像対象の像の位置を検出する位置検出装置の制御方法であって、
上記位置検出装置は、波長に対する感度特性が互いに異なる第１および第２光センサを備え、
上記第１光センサの出力値から、上記撮像対象の周囲の光である環境光の光強度を算出する第１光強度算出工程と、
上記第２光センサの出力値から、上記環境光の光強度を算出する第２光強度算出工程と、
上記第１光強度算出工程において算出した第１光強度と、上記第２光強度算出工程において算出した第２光強度とから、上記環境光の種類を判定する環境光判定工程とを含むことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光センサを有する撮像画面に近接した撮像対象を光センサによって撮像した撮像画像を解析することにより、当該撮像画像における、撮像対象の像の位置を検出する位置検出装置に関するものである。
【背景技術】
【０００２】
タッチパネル上の任意の位置を指示するユーザの指またはタッチペン等の指示部材（以下、指示物体と総称する）の画像を撮像し、その画像に対してパターンマッチを行うことにより、指示物体が指示した位置を特定するタッチパネルが実現されている。このようなタッチパネルについて、図２１、図２２を用いて説明する。
【０００３】
図２１は、従来の光センサを内蔵した液晶表示装置の概略を表す側面図である。
【０００４】
図２１に示すように、液晶表示装置１００は、光センサ内蔵ＬＣＤ１０１と、バックライト１０２とを備える。
【０００５】
バックライト１０２をオン（ＯＮ）すると、指６０に反射した反射光が光センサ内蔵ＬＣＤ１０１に入射する。また、光センサ内蔵ＬＣＤ１０１の周囲の環境に応じた環境光（外光）も光センサ内蔵ＬＣＤ１０１に入射する。
【０００６】
図２２は、図２１の液晶表示装置にて撮像した撮像画像の様子を表す図である。
【０００７】
図２２において、（ａ）（暗い室内）、（ｃ）（明るい室内）、（ｅ）（明るい屋外）は指を撮像するときの周囲の照明の状態を示し、（ｂ）、（ｄ）、（ｆ）は、撮像画像の一例を示している。
【０００８】
図２２の（ａ）（ｃ）に示す室内などの外光が比較的暗い場合は、図２２の（ｂ）（ｄ）に示すように、指６０で光センサ内蔵ＬＣＤ１０１をタッチした部分（指腹）にバックライト１０２からの光が反射し、この反射光により指６０の位置が特定される。
【０００９】
一方、図２２の（ｅ）に示す屋外のように、太陽光下では、赤外領域の波長の光が指６０を透過したり、周囲からの回り込みによる光などにより、バックライト１０２の反射光はかき消される。このため、図２２で示すように指６０のタッチした部分のみが強い影ができる。
【００１０】
特許文献１の表示装置では、撮像素子（光センサ）を有する表示装置で撮像された撮像画像中の黒と白の割合に基づいて、環境光の明るさを判定している。そして、判定した明るさに応じて、指示位置検出の処理を切り替えている。
【００１１】
この、特許文献１の表示装置について、図２３、図２４を用いて説明する。
【００１２】
図２３は、特許文献１に開示された液晶表示装置１００の概略を表すブロック図である。図２４は、液晶表示装置１００の処理の流れを表すフローチャートである。
【００１３】
図２３に示すように、例えば、液晶表示装置１００はセンサを内蔵したセンサ内蔵表示部１０１と、コントローラ１０３と、ホスト装置１０４とを備える。コントローラ１０３は、表示データをセンサ内蔵表示部１０１に供給したり、センサ内蔵表示部１０１から出力される画像データに基づいて、指が指示する座標の判定等を行うものである。
【００１４】
次に、液晶表示装置１００のコントローラ１０３により実行される処理について説明する。
【００１５】
１画素分のセンサの取込画像のうち、黒の割合が白の割合よりも多いか否かを判定する（Ｓ１０１）。黒の割合のほうが多い場合には、周囲が暗いと判断して、撮像データが黒から白に急激に変化した領域の先端部の座標を、指で触れた指示座標とする（ステップ１０２）。
【００１６】
一方、黒の割合より白の割合の方が多い場合は、周囲が明るいと判断して、白から黒に変化した領域内の白部の中心座標を、指で触れた指示座標とする（ステップＳ１０３）。
【００１７】
このように、特許文献１の表示装置によると、表示装置の周囲の明るさ（明環境または暗環境）を判定することによって、指示物体の位置検出の性能を向上させている。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００４−３１８８１９号公報（２００４年１１月１１日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１９】
しかしながら、特許文献１に開示された表示装置は、表示装置の周囲の明るさに応じて指示物体の位置検出の処理を切替えているが、画素に配置されたセンサは光の波長に対する感度が同一であり、周囲の明るさを判定するための判定材料は、センサで撮像した撮像画像のうち、黒と白との割合を判定することのみである。従って、例えば、蛍光灯、白熱灯、太陽光のように、光の波長に対する強度分布の異なる光源下では指示物体の影による出力が異なることになる。このように、特許文献１の表示装置のように、単純な明環境または暗環境の判定のみでは、環境光に対して広範囲に指示物体の位置検出を行うことができない。
【００２０】
本発明は、上記の問題点を解決するためになされたもので、その目的は、様々な光環境下において撮像対象の像の位置を適切に検出できる位置検出装置を提供することにある。
【課題を解決するための手段】
【００２１】
本発明に係る位置検出装置は、上記の課題を解決するために、撮像画面に近接した撮像対象を撮像した撮像画像を解析することにより、当該撮像画像における上記撮像対象の像の位置を検出する位置検出装置であって、波長に対する感度特性が互いに異なる第１および第２光センサと、上記第１光センサの出力値から、上記撮像対象の周囲の光である環境光の光強度を算出する第１光強度算出手段と、上記第２光センサの出力値から、上記環境光の光強度を算出する第２光強度算出手段と、上記第１光強度算出手段が算出した第１光強度と、上記第２光強度算出手段が算出した第２光強度とから、上記環境光の種類を判定する環境光判定手段とを備えることを特徴とする。
【００２２】
本発明に係る制御方法は、上記の課題を解決するために、撮像画面に近接した撮像対象を撮像した撮像画像を解析することにより、当該撮像画像における上記撮像対象の像の位置を検出する位置検出装置の制御方法であって、上記位置検出装置は、波長に対する感度特性が互いに異なる第１および第２光センサを備え、上記第１光センサの出力値から、上記撮像対象の周囲の光である環境光の光強度を算出する第１光強度算出工程と、上記第２光センサの出力値から、上記環境光の光強度を算出する第２光強度算出工程と、上記第１光強度算出工程において算出した第１光強度と、上記第２光強度算出工程において算出した第２光強度とから、上記環境光の種類を判定する環境光判定工程とを含むことを特徴とする。
【００２３】
上記の構成によれば、上記位置検出装置は、波長に対する感度特性が互いに異なる第１および第２光センサを備えている。第１光強度算出手段は、第１光センサの出力値から環境光の光強度（第１光強度）を算出し、第２光強度算出手段は、第２光センサの出力値から環境光の光強度（第２光強度）を算出する。第１および第２光センサの波長に対する感度特性が互いに異なっているため、環境光に含まれる異なる波長の光の強度を算出できる。環境光判定手段は、第１光強度算出手段が算出した第１光強度と、第２光強度算出手段が算出した第２光強度とから、環境光の種類を判定する。
【００２４】
それゆえ、環境光に含まれる異なる波長の光の強度を用いることによって、環境光の種類を判定することができる。
【００２５】
したがって、環境光の種類に応じて位置検出装置における処理を切り替えることが可能となり、様々な光環境下において撮像対象の像の位置を適切に検出することができる。
【００２６】
また、上記環境光判定手段は、上記第１光強度と上記第２光強度とを比較した結果、または、上記第１または第２光強度と、所定の閾値とを比較した結果に基づいて上記環境光の種類を判定することが好ましい。
【００２７】
上記の構成によれば、第１光強度と第２光強度とを比較した結果（例えば、第１光強度と第２光強度との比または差）、または、第１光強度と所定の閾値とを比較した結果または第２光強度と所定の閾値とを比較した結果に基づいて環境光の種類が判定される。
【００２８】
それゆえ、環境光に含まれる異なる波長の光の割合等に基づいて、当該環境光の種類を適切に判定することができる。
【００２９】
また、上記第１光センサは、主に可視光を受光する可視光センサであり、上記第２光センサは、主に赤外光を受光する赤外光センサであることが好ましい。
【００３０】
上記の構成によれば、環境光に含まれる可視光の光強度と赤外光の光強度とを算出することができ、これらの光強度を用いて環境光の種類を判定することができる。
【００３１】
また、光を出射する光源と、上記環境光判定手段の判定結果に基づいて、上記光源から上記撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像する第１撮像方法と、上記環境光が上記撮像対象によって遮られることによって生じる影を撮像する第２撮像方法とを切り替える切替手段をさらに備えることが好ましい。
【００３２】
上記の構成によれば、切替手段は、環境光判定手段の判定結果に基づいて第１撮像方法と第２撮像方法とを切り替える。第１撮像方法は、撮像対象に対して光源から出射された光が当該撮像対象に反射した光の像を撮像するものであり、反射光の強度以上に環境光に含まれる光の強度が強くなると撮像対象の像を検出することができない。
【００３３】
それゆえ、切替手段が、環境光の種類に基づいて第１撮像方法と第２撮像方法とを切り替えることにより、環境光の種類に応じた適切な撮像方法を選択することができる。
【００３４】
また、上記第１または第２光強度から、上記撮像対象が上記撮像画面に対して接触している場合の当該撮像対象の像と、上記撮像画面に対して接触していない場合の当該撮像対象の像とを区別するための基準値を算出する基準値算出手段をさらに備え、上記基準値算出手段は、上記環境光判定手段の判定結果に基づいて上記基準値の算出方法を切り替えることが好ましい。
【００３５】
上記の構成によれば、基準値算出手段は、撮像対象が撮像画面に対して接触している場合の当該撮像対象の像と、撮像画面に対して接触していない場合の当該撮像対象の像とを区別するための基準値を第１または第２光強度に基づいて算出する。
【００３６】
上記基準値を適切に設定するためには、環境光の種類によって当該基準値を異ならせることが好ましい。そこで、基準値算出手段は、環境光判定手段が判定した環境光の種類に基づいて上記基準値の算出方法を切り替える。
【００３７】
それゆえ、撮像対象が撮像画面に対して接触している撮像対象の像と、接触していない撮像対象の像とを精度高く区別することができ、撮像対象が接触した位置を検出する精度を高めることができる。
【００３８】
上記位置検出装置を動作させる制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラムおよび当該制御プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。
【発明の効果】
【００３９】
本発明に係る位置検出装置は、以上のように、撮像画面に近接した撮像対象を撮像した撮像画像を解析することにより、当該撮像画像における上記撮像対象の像の位置を検出する位置検出装置であって、波長に対する感度特性が互いに異なる第１および第２光センサと、上記第１光センサの出力値から、上記撮像対象の周囲の光である環境光の光強度を算出する第１光強度算出手段と、上記第２光センサの出力値から、上記環境光の光強度を算出する第２光強度算出手段と、上記第１光強度算出手段が算出した第１光強度と、上記第２光強度算出手段が算出した第２光強度とから、上記環境光の種類を判定する環境光判定手段とを備える構成である。
【００４０】
本発明に係る制御方法は、以上のように、撮像画面に近接した撮像対象を撮像した撮像画像を解析することにより、当該撮像画像における上記撮像対象の像の位置を検出する位置検出装置の制御方法であって、上記位置検出装置は、波長に対する感度特性が互いに異なる第１および第２光センサを備え、上記第１光センサの出力値から、上記撮像対象の周囲の光である環境光の光強度を算出する第１光強度算出工程と、上記第２光センサの出力値から、上記環境光の光強度を算出する第２光強度算出工程と、上記第１光強度算出工程において算出した第１光強度と、上記第２光強度算出工程において算出した第２光強度とから、上記環境光の種類を判定する環境光判定工程とを含む構成である。
【００４１】
それゆえ、様々な光環境下において撮像対象の像の位置を適切に検出することができるという効果を奏する。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施の一形態に係るタッチ位置検出装置の構成を表すブロック図である。
【図２】上記タッチ位置検出装置が備える光センサ内蔵ＬＣＤの構成を示す概略図である。
【図３】（ａ）および（ｂ）は、赤外光センサおよび可視光センサの配置様式を示す図である。
【図４】（ａ）は赤外光センサの構成を表す概略図であり、（ｂ）は可視光センサの構成を表す概略図である。
【図５】外光強度算出部が作成するヒストグラムと外光強度との関係を示す図である。
【図６】外光強度算出部における処理の意義を説明するための図である。
【図７】外光強度算出部における処理の変更例を説明するための図である。
【図８】影認識モードにおける撮像画像の例を概念的に示す図である。
【図９】蛍光灯の照射下での、影認識モードでにおける撮像画像の例を概念的に示す図である。
【図１０】白熱灯の照射下での、影認識モードにおける撮像画像の例を概念的に示す図である。
【図１１】太陽光の照射下での、影認識モードにおける撮像画像の例を概念的に示す図である。
【図１２】認識処理選択部における処理の流れの一例を示すフローチャートである。
【図１３】反射光認識モードおよび影認識モードにおける入射光の違いを示す図である。
【図１４】反射光認識モードにおけるタッチ、非タッチの撮像画像を示す図である。
【図１５】影認識モードにおけるタッチ、非タッチの撮像画像を示す図である。
【図１６】（ａ）は、影認識モードにおける、外光強度と非タッチ時の指腹下画素値とタッチ時の指腹下画素値との関係を示すグラフであり、（ｂ）は外光強度の変化に応じた撮像画像の変化を示す図である。
【図１７】各基準値と、影認識モードにおける各処理での画素値との関係を表すグラフである。
【図１８】影認識モードの場合の認識不要情報削除部における処理を説明するための図である。
【図１９】本実施の形態に係るタッチ位置検出装置における各処理モードの動作を表す図である。
【図２０】本実施の形態に係るタッチ位置検出装置におけるタッチ位置検出処理の流れを表すフローチャートである。
【図２１】従来の光センサを内蔵した液晶表示装置の概略を表す側面図である。
【図２２】上記液晶表示装置で撮像した撮像画像の様子を表す図である。
【図２３】従来の表示装置の概略を表すブロック図である。
【図２４】上記表示装置の処理の流れを表すフローチャートである。
【発明を実施するための形態】
【００４３】
〔実施の形態１〕
本発明の実施の一形態について図１〜図２０に基づいて説明すれば、以下のとおりである。ここでは、本発明の実施形態のひとつとして、タッチパネル上の任意の位置を指示するユーザの指またはタッチペン等の指示部材（指示物体と総称する）の画像を撮像し、その画像をもとに指示物体が指示した位置を検出するタッチ位置検出装置１（位置検出装置）について説明する。なお、タッチ位置検出装置を表示装置、撮像装置、入力装置または電子機器と表現することもできる。
【００４４】
タッチ位置検出装置１は、複数の光センサを有する撮像画面に近接した撮像対象を光センサによって撮像した撮像画像を解析することにより、当該撮像画像における上記撮像対象の像の位置を検出するものである。
【００４５】
タッチ位置検出装置１は、反射光を利用して指示物体の像を撮像する反射光認識モードと、指示物体の影を撮像する影認識モードとを切り替えることができる。反射光認識モードと影認識モードとの切り替えは、後述する認識処理選択部５（切替手段）によって行われる。
【００４６】
（タッチ位置検出装置１の構成）
図１は、本実施形態のタッチ位置検出装置１の構成を示すブロック図である。図１に示すように、タッチ位置検出装置（位置検出装置）１は、タッチパネル部１０、画像解析部２０、アプリケーション実行部２１および記憶部４０を備えている。
【００４７】
記憶部４０は、画像解析部２０およびアプリケーション実行部２１が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部４０は、ハードディスク、フラッシュメモリなどの不揮発性の記憶装置によって構成される。
【００４８】
また、タッチ位置検出装置１は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成される一次記憶部（不図示）を備えている。この一次記憶部は画像解析部２０およびアプリケーション実行部２１が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。
【００４９】
画像解析部２０は、画像調整部２、外光強度算出部３、最適感度算出部４、認識処理選択部５（切替手段）、タッチ・非タッチ間画素値算出部６（基準値算出手段）、認識不要情報削除部７、特徴量抽出部８およびタッチ位置検出部９を備えている。
【００５０】
タッチパネル部１０は、撮像素子としての光センサ（赤外光センサ１２および可視光センサ１３）を内蔵した光センサ内蔵ＬＣＤ（液晶パネル／ディスプレイ）１１、ＡＤ（analog/digital）コンバータ１４、バックライト制御部１５および感度調整部１６を備えている。赤外光センサ１２（第２光センサ）および可視光センサ１３（第１光センサ）は、波長に対する感度特性が互いに異なる光センサである。赤外光センサ１２は、主として、相対的に赤外光領域の波長に対する感度特性が高い光センサである。また、可視光センサ１３は、主として、可視光領域の波長に対する感度特性が高い光センサである。
【００５１】
なお、温度などの外的要因によって変化する光センサの検出特性を補償するための補正用のセンサとして、暗電流補償用の光センサ（不図示）が含まれていてもよい。
【００５２】
光センサ内蔵ＬＣＤ１１は、光センサを内蔵しているため、表示だけではなく画像の撮像が可能である。それゆえ、光センサ内蔵ＬＣＤ１１は、タッチパネルとしての光センサ内蔵ＬＣＤ１１の表面をタッチする指示物体の像を含む画像（以下、撮像画像と称する）を撮像する撮像画面として機能する。
【００５３】
図２は、タッチパネル部１０の構成を示す概略図である。図２に示すように、タッチパネル部１０は、対向基板５２に設けられたＲ（赤）・Ｇ（緑）・Ｂ（青）のカラーフィルタ１９ｒ・１９ｇ・１９ｂおよびバックライト１７（光源）を備えている。Ｒ・Ｇ・Ｂの３つの絵素により１つの画素が形成されている。
【００５４】
光センサ（赤外光センサ１２または可視光センサ１３）は、光センサ内蔵ＬＣＤ１１の各画素に対して１つずつ設けられている。換言すれば、光センサ（赤外光センサ１２または可視光センサ１３）は、光センサ内蔵ＬＣＤ１１のアクティブマトリクス基板５１上において、マトリクス状に配置されている。ただし、赤外光センサ１２および可視光センサ１３の配置様式および個数は、上述のものに限定されず、適宜変更してもよい。図２では、赤外光センサ１２（または可視光センサ１３）は、青のカラーフィルタ１９ｂを設けた画素電極の近傍に設けられているが、この構成に限定されるものではない。赤外光センサ１２（または可視光センサ１３）を、赤のカラーフィルタ１９ｒを設けた画素電極の近傍に設けてもよいし、緑のカラーフィルタ１９ｇを設けた画素電極の近傍に設けてもよい。
【００５５】
赤外光センサ１２および可視光センサ１３で取得した信号は、ＡＤコンバータ１４によりデジタル化された後、画像調整部２へ出力される。なお、赤外光センサ１２が取得した撮像画像を赤外光画像と称し、可視光センサ１３が取得した撮像画像を可視光画像と称する。また、赤外光画像および可視光画像を総称してセンサ画像と称する場合もある。
【００５６】
画像調整部２は、タッチパネル部１０で撮像された撮像画像（赤外光画像および可視光画像）のゲインおよびオフセットを調整するキャリブレーション処理などを行い、調整した撮像画像を外光強度算出部３（赤外光強度算出部３１及び可視光強度算出部３２）、認識処理選択部５および認識不要情報削除部７へ出力する。これ以降の説明では、８bit、２５６階調の精度でグレースケールの画像が出力されたものとして説明する。なお、画像調整部２はタッチパネル部１０から撮像画像を取得する取得手段としても機能している。また、画像調整部２は、取得した撮像画像または調整した撮像画像を記憶部４０に格納してもよい。
【００５７】
外光強度算出部３は、赤外光強度算出部３１（第２光強度算出手段）と、可視光強度算出部３２（第１光強度算出手段）と、外光強度演算部３３（環境光判定手段）とを備える。
【００５８】
赤外光強度算出部３１は、赤外光センサ１２の出力値から指示物体（撮像対象）の周囲の光である環境光（光源）の光強度を算出するものであり、可視光強度算出部３２は、可視光センサ１３の出力値から指示物体の周囲の光である環境光の光強度を算出するものである。
【００５９】
換言すると、赤外光強度算出部３１は、画像調整部２から出力された赤外光画像を用いて、指示物体の周囲の光強度である環境光の赤外光強度（第２光強度）を算出する。また、可視光強度算出部３２は、画像調整部２から出力された可視光画像を用いて、指示物体の周囲の光強度である環境光の可視光強度（第１光強度）を算出する。
【００６０】
外光強度演算部３３は、可視光強度算出部３２が算出した可視光強度と、赤外光強度算出部３１が算出した赤外光強度とから、上記環境光の種類を判定するものである。
【００６１】
外光強度演算部３３は、（１）赤外光強度と可視光強度とを比較した結果、または、（２）赤外光強度または可視光強度と、所定の閾値とを比較した結果に基づいて上記環境光の種類を判定する。具体的には、外光強度演算部３３は、赤外光強度と可視光強度との比であるバランスＲ値（判定値）を算出する。このバランスＲ値は、環境光の種類を判定した判定結果を数値で表したものである。外光強度演算部３３は、算出したバランスＲ値を認識処理選択部５およびタッチ・非タッチ間画素値算出部６へ出力する。
【００６２】
なお、赤外光の外光強度とは、赤外光センサ１２に入射した指示物体の周囲の光に含まれる赤外光の強度である。また、可視光の外光強度とは、可視光センサ１３に入射した指示物体（撮像対象）の周囲の光に含まれる可視光の強度である。外光強度算出部３における処理の詳細については後述する。
【００６３】
最適感度算出部４は、外光強度算出部３で算出された赤外光強度に応じて、指示物体を認識するための最適な赤外光センサ１２の感度を算出し、感度調整部１６へ出力する。なお、可視光センサ１３が取得した撮像画像から外光強度を算出する場合には、最適感度算出部４は、可視光センサ１３の感度を調整する。
【００６４】
感度調整部１６は、赤外光センサ１２及び可視光センサ１３の感度を最適感度算出部４から出力された最適感度に調整する。
【００６５】
認識処理選択部５（切替手段）は、外光強度演算部３３から取得するバランスＲ値に基づいて、撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像する反射光認識モード（第１撮像方法）と、赤外光センサ１２（または可視光センサ１３）に入射する外光が撮像対象によって遮られることによって生じる影を撮像する影認識モード（第２撮像方法）とを切り替える。具体的には、認識処理選択部５は、バックライト制御部１５を介してバックライト１７における赤外光光源のオン／オフを切り替えるとともに、タッチ・非タッチ間画素値算出部６における処理の内容を切り替える。認識処理選択部５における処理の詳細については後述する。
【００６６】
タッチ・非タッチ間画素値算出部６は、認識不要情報削除部７において、指示物体の認識に不要な撮像画像中の情報を削除するための画素値の基準値（タッチ・非タッチ間画素値）を算出する。より具体的には、タッチ・非タッチ間画素値算出部６は、外光強度算出部３が算出した外光強度（赤外光強度または可視光強度）から、指示物体が光センサ内蔵ＬＣＤ１１に対して接触していない場合の当該指示物体の像を撮像画像から削除するための画素の基準値であるタッチ・非タッチ間画素値を算出する。換言すれば、タッチ・非タッチ間画素値算出部６は、赤外光強度または可視光強度から、撮像対象が光センサ内蔵ＬＣＤ１１に対して接触している場合の当該撮像対象の像と、接触していない場合の当該撮像対象の像とを区別するための基準値を算出する。タッチ・非タッチ間画素値算出部６における処理の詳細については後述する。
【００６７】
認識不要情報削除部７は、タッチ・非タッチ間画素値算出部６が算出したタッチ・非タッチ間画素値（基準値）基準値に基づいて、撮像画像に含まれる画素の一部の画素の画素値を変更することにより、指示物体の認識に不要な撮像画像中の情報を削除する。
【００６８】
特徴量抽出部８は、認識不要情報削除部７によって処理された撮像画像から、ソーベルフィルタなどのエッジ検出処理により指示物体の特徴を示す特徴量（エッジ特徴量）を撮像画像の画素ごとに抽出する。換言すれば、特徴量抽出部８は、指示物体の像（形状）の特徴を示す特徴領域を撮像画像から抽出する。特徴量抽出部８は、指示物体の特徴量を、例えば、注目する画素の周囲の８方向における画素値の勾配（グラデーション）方向を示す８方向のベクトルを含む特徴量として抽出する。この特徴量の抽出方法は、例えば、特開２００８−２５０９４９号公報に記載されている。
【００６９】
特徴量抽出部８における特徴量抽出処理は、指示物体の形状（特にエッジ）を検出できるものであればよく、特に限定されない。特徴量抽出部８は、抽出した特徴量と、当該特徴量が抽出された画素（特徴領域）とを互いに対応付けてタッチ位置検出部９へ出力する。
【００７０】
タッチ位置検出部９は、特徴量抽出部８が抽出した特徴量を示す特徴領域に対して、パターンマッチすることによりタッチ位置を特定する。この位置検出の手法は、指示物体の像の位置を適切に特定できるものであれば、どのようなものであってもよい。タッチ位置検出部９は、特定したタッチ位置を示す座標をアプリケーション実行部２１へ出力する。
【００７１】
アプリケーション実行部２１は、タッチ位置検出部９が出力した座標を用いて、当該座標に対応したアプリケーションを実行するか、または、特定のアプリケーションにおいて、当該座標に対応した処理を行う。アプリケーション実行部２１において実行されるアプリケーションはどのようなものであってもよい。
【００７２】
（赤外光センサ１２および可視光センサ１３の配置）
図３は、赤外光センサ１２および可視光センサ１３の配置様式を示す図である。同図では、赤外光センサ１２を「Ａ」で、可視光センサ１３を「Ｂ」で表している。図３（ａ）に示すように、光センサ内蔵ＬＣＤ１１において、赤外光センサ１２の列と可視光センサ１３の列とを交互に配置してもよい。
【００７３】
また、図３（ｂ）に示すように、赤外光センサ１２および可視光センサ１３を互い違いに（千鳥状に）配置してもよい。この場合、赤外光センサ１２および可視光センサ１３によって市松模様が形成される。
【００７４】
撮像画像を適切に取得できるのであれば、赤外光センサ１２および可視光センサ１３の配置を上述の配置以外のものにしてもよい。
【００７５】
（赤外光センサ１２および可視光センサ１３の構成）
図４（ａ）は赤外光センサ１２の構成を示す概略図であり、図４（ｂ）は可視光センサ１３の構成を示す概略図である。赤外光センサ１２および可視光センサ１３とは、アクティブマトリクス基板５１上に設けられており、光センサそのものは同じであるが、赤外光センサ１２は、可視光をカットする光学フィルタ５３がその上方（対向基板５２の側）に設けられている点で可視光センサ１３とは異なっている。可視光センサ１３の上方においては、光学フィルタ５３は開口しているため、可視光センサ１３に入射する可視光は遮断されない。光学フィルタ５３の組成は、特に限定されないが、例えば、カラーフィルタの積層構造として実現することができる。
【００７６】
（外光強度算出部３における処理の詳細）
次に、外光強度算出部３における処理の内容について詳細に説明する。図５は、影認識モードにおける、赤外光強度算出部３１、及び可視光強度算出部３２が作成するヒストグラムと外光強度との関係を示す図である。
【００７７】
外光強度算出部３は、赤外光センサ１２及び可視光センサ１３から出力された、受光量を示す出力値（画素値）から少なくとも一部の出力値を選択し、選択した出力値を、その出力値が高い順に並べた場合の所定の順位にある出力値を赤外光強度又は可視光強度として採用する。
【００７８】
つまり、影認識モードの場合、赤外光強度算出部３１は、赤外光センサ１２が取得した撮像画像について、当該撮像画像が有する画素の画素値を大きい順に並べた場合の、画素値と当該画素値を有する画素の個数との関係を示すヒストグラムを作成する。
【００７９】
また、影認識モードの場合、可視光強度算出部３２は、可視光センサ１３が取得した撮像画像について、当該撮像画像が有する画素の画素値を大きい順に並べた場合の、画素値と当該画素値を有する画素の個数との関係を示すヒストグラムを作成する。
【００８０】
また、反射光認識モードの場合は、赤外光強度算出部３１は、赤外光センサ１２が取得した撮像画像について、当該撮像画像が有する画素の画素値を大きい順に並べた場合の、画素値と当該画素値を有する画素の個数との関係を示すヒストグラムを作成する。
【００８１】
また、反射光認識モードの場合は、可視光強度算出部３２は、可視光センサ１３が取得した撮像画像について、当該撮像画像が有する画素の画素値を大きい順に並べた場合の、画素値と当該画素値を有する画素の個数との関係を示すヒストグラムを作成する。
【００８２】
このヒストグラムは、撮像画像の全画素の画素値から作成するのが好ましい。しかし、コストや処理速度の観点から、撮像画像を構成する全ての画素（換言すれば、全ての赤外光センサ１２又は可視光センサ１３からの出力値）から求めるのではなく、撮像画像の画素値から、ある程度間隔をあけて等間隔に選択された画素を用いてもよい。
【００８３】
以下では、影認識モードの場合の処理を例に挙げて、外光強度算出部３（赤外光強度算出部３１、及び可視光強度算出部３２）の処理を説明する。
【００８４】
外光の強さが異なる環境でタッチパネル部１０上に指を置いた状態で外光強度を測定した場合、図５に示すように、作成されるヒストグラムも異なり、外光強度が強いほどヒストグラムの分布する領域が画素値の高い部分にひっぱられるような形になる。なお、図５において、Ａはセンサ画像（３）を撮像したときの外光強度であり、Ｂはセンサ画像（２）を撮像したときの外光強度であり、Ｃはセンサ画像（１）を撮像したときの外光強度である。
【００８５】
次に、求めたヒストグラムから外光強度を算出する処理では、ヒストグラムの画素値が高いほうから順にカウントしていき、そのカウント数が、ヒストグラムの作成に用いた画素値の個数の数％に達した時の画素値を外光強度の値として採用する。
【００８６】
このようにヒストグラムの上位の数％の部分の画素値を外光強度として算出する理由について説明する。図６は、外光強度算出部３における処理の意義を説明するための図である。例えば図６に示すように、同じ外光強度の条件下でも指や手の置き方によって取得される画像に変化が生じる。図６のセンサ画像（１）はパネルの左からパネルの左端のほうに指を置いた場合の撮像画像であり、センサ画像（２）はパネルの左からパネルの右端のほうに指を置いた場合の撮像画像である。
【００８７】
どちらの場合も外光の強度は同じであるが、パネル上の指を置く場所によって画像が異なるので、作成したヒストグラムも図６に示すように異なったものとなる。この場合に正確に外光強度を算出しようとした場合、例えばヒストグラムの上位５％の部分を外光強度とすれば図６のセンサ画像（１）と図６のセンサ画像（２）において差はほとんど生じないが、上位５０％の部分を外光強度として算出した場合は図６のセンサ画像（１）とセンサ画像（２）との間で算出した外光強度の値に大きな差が生じることになる。
【００８８】
以上の理由により、影認識モードの場合、ヒストグラムから外光強度を算出するには、上位数％から外光強度を算出することで、指や手を置く場所による算出値のゆれを極力減らすことが可能になる。
【００８９】
しかし、例えば上位０．１％など極端にヒストグラムの上位の値から算出すると、外光強度算出用画像の画素値の欠陥などによる精度の低下を招くことになるので、一桁％程度から外光強度を算出するのが好ましい。すなわち、外光強度算出用画像中の画素から選択された画素を、その画素値が高い順に並べた場合の、外光強度として採用される画素値を有する画素の順位は、選択された画素の総数の１０％未満の数に相当することが好ましい。換言すれば、外光強度算出部３は、選択した赤外光センサ１２の出力値を、その出力値が高い順に並べた場合の所定の順位にある出力値を外光強度とし、その所定の順位は、選択された出力値の総数の１０％未満の数に相当することが好ましい。
【００９０】
図７は、外光強度算出部３における処理の変更例を説明するための図である。外光強度算出部３が外光強度を求める方式はヒストグラムに限定されるものではなく、例えば、図７に示すように、撮像画像内のサンプル点をとる領域（符号７１〜７５を付している）を限定し、限定された各領域７１〜７５内の画素（サンプル点）の画素値の平均値を求めて、平均値が一番高い値を外光強度として採用するようにしてもよい。なお、符号７６で示す白抜きの画素は、非サンプル点である。
【００９１】
また、反射光認識モードの場合も、求めたヒストグラムから外光強度を算出する処理で、ヒストグラムの画素値が大きいほうから順にカウントしていき、そのカウント数が、ヒストグラムの作成に用いた画素値の個数の数％に達した時の画素値を外光強度の値として採用する。
【００９２】
ただし、反射モードでは、画素値が小さい背景画像の中に反射光が部分的に存在するような画像（例えば図８（ｃ））となるので、影認識モードに比べて、ヒストグラムの作成に用いた画素値の個数のより多くの割合に達した時の画素値を外光強度の値として採用する。
【００９３】
なお、上記の説明では画素値が大きい順にヒストグラムを作成して、画素値の大きい方からのカウント数に注目する場合について説明したが、小さい順に管理してもよい。
【００９４】
そして、外光強度演算部３３は、赤外光強度算出部３１が算出した赤外光強度と、可視光強度算出部３２が算出した可視光強度とを取得すると、赤外光の強度と可視光の強度とバランス（赤外光強度と可視光強度との比）を表すバランスＲ値（判定値）を演算する。バランスＲ値はＲ＝（赤外光強度／可視光強度）によって求められる。
【００９５】
（撮像画像の例）
（赤外光で外光強度を算出する利点及び課題）
ここで、外光強度算出部３が、赤外光センサ１２からの出力値を用いて外光強度を算出することの利点と課題について、図８を用いて説明する。
【００９６】
図８は、影認識モードにおける撮像画像の例を概念的に示す図である。同図において、（ａ）（暗い室内）、（ｅ）（明るい室内）、（ｉ）（明るい屋外）は、指を撮像するときの周囲の照明の状態を示し、（ｂ）、（ｆ）、（ｊ）は可視光画像の一例を示し、（ｃ）、（ｇ）、（ｋ）は赤外光画像の一例を示し、（ｄ）、（ｈ）、（ｌ）は赤外光画像から得られる赤外光ヒストグラムの一例を示している。
【００９７】
指で光センサ内蔵ＬＣＤ１１をタッチした部分（指腹）にバックライト１７からの赤外光が反射し、その反射光が赤外光センサ１２に入射する。図８の（ｃ）および（ｇ）に示すように、外光に赤外光がほとんど含まれない場合、指腹の像は背景より明るく白い丸となり、図８の（ｋ）に示すように、外光に含まれる赤外光の量が多くなると、指腹の像は認識され難くなる。
【００９８】
（ｄ）、（ｈ）、（ｉ）に示すヒストグラムから、上述したように、例えば上位１０％の画素値を抽出し、抽出した画素を用いて外光強度を算出する。
【００９９】
一般的に室内に用いられている蛍光灯には赤外線はほとんど含まれていないため、室内において反射光認識モードで位置検出を行う場合には、外光の影響をほとんど受けないという利点がある。
【０１００】
また、赤外線は、可視光よりも指を透過しやすいため、影認識モードで位置検出を行う場合には、指の位置によって外光強度の算出値が変化する可能性が少ないという利点がある。
【０１０１】
しかし、室内に用いられている光源は、蛍光灯のみならず、白熱灯やハロゲンなども用いられている。このため、赤外光センサ１２からの出力値のみを用いて外光強度を算出するには、以下の課題が生じる。
【０１０２】
これについて、図９〜図１１を用いて説明する。
【０１０３】
図９は、蛍光灯の照射下での、影認識モードにおける撮像画像の例を概念的に示す図である。同図において、（ａ）は室内での蛍光灯照射下の様子を表し、（ｂ）はタッチ状態での指の撮像画像（タッチ画像）の一例を表し、（ｃ）は赤外光画像の画素値のヒストグラムを表し、（ｄ）は可視光画像の画素値のヒストグラムを表し、（ｅ）は非タッチ状態での撮像画像（非タッチ画像）を表す。
【０１０４】
図１０は、白熱灯の照射下での、影認識モードにおける撮像画像の例を概念的に示す図である。同図において、（ａ）は室内での白熱灯照射下の様子を表し、（ｂ）はタッチ状態での指の撮像画像（タッチ画像）の一例を表し、（ｃ）は赤外光画像の画素値のヒストグラムを表し、（ｄ）は可視光画像の画素値のヒストグラムを表し、（ｅ）は非タッチ状態での撮像画像（非タッチ画像）を表す。
【０１０５】
図１１は、太陽光の照射下での、影認識モードにおける撮像画像の例を概念的に示す図である。同図において、（ａ）は屋外での太陽光照射下の様子を表し、（ｂ）はタッチ状態での指の撮像画像（タッチ画像）の一例を表し、（ｃ）は赤外光画像の画素値のヒストグラムを表し、（ｄ）は可視光画像の画素値のヒストグラムを表し、（ｅ）は非タッチ状態での撮像画像（非タッチ画像）を表す。
【０１０６】
影認識モードでは、外光が指によって遮られることによって生じる影を撮像する。このため、外光がない場合、指の影は撮像されない。一方、外光が比較的強い場合、指腹の像は黒いスポットとして撮像される。
【０１０７】
ここで、図９の（ｃ）および（ｄ）、と図１０の（ｃ）および（ｄ）に示すように、太陽光と白熱灯（ハロゲン光）とでは、赤外光と可視光とのバランス（赤外光強度と可視光強度との比）が異なる。
【０１０８】
また、蛍光灯と白熱灯とでは、赤外光強度が同じであっても可視光強度が異なる。
【０１０９】
また、図１０の（ｃ）と、図１１の（ｃ）に示すように、白熱灯（又はハロゲン光）と、太陽光とでは、赤外光強度のヒストグラムの形状が類似している。このため、白熱灯（又はハロゲン光）と、太陽光とでは、赤外光強度のみから、環境光の種類を判定することはできない。
【０１１０】
また、光源が太陽光の場合、晴天、曇り、夕方の場合があり、それぞれで可視光強度と赤外光強度とのバランスが異なる。
【０１１１】
このように環境光の種類が異なる場合に、認識モードおよび指示物体の像の位置を認識するための各種のパラメータを変更することが好ましい。そして、環境光の種類を正確に判定するためには、赤外光強度と可視光強度との両方を算出することが好ましい。
【０１１２】
（外光強度算出部３および認識処理選択部５における処理の詳細）
次に、外光強度算出部３および認識処理選択部５における処理について詳細に説明する。図１２は、認識処理選択部５における処理の流れの一例を示すフローチャートである。
【０１１３】
認識処理選択部５は、外光強度演算部３３が演算した演算値であるバランスＲ値に基づいて、各処理を切替える。本実施の形態では、蛍光灯／ＬＥＤ照明光処理は反射光認識モードにおける処理である。また、太陽光（曇り）処理、太陽光（晴れ）処理、夕日処理、及び白熱灯（ハロゲン光）処理は影認識モードにおける処理である。
【０１１４】
また、バランスＲ値は、外光における赤外光の強度と、可視光の強度とのバランスを表し、Ｒ＝（赤外光強度）／（可視光強度）で表される。
【０１１５】
赤外光強度算出部３１は赤外光センサ１２が取得した赤外光画像を取得し、可視光強度算出部３２は可視光センサ１３が取得した可視光画像を取得すると（ステップＳ１０）、それぞれ赤外光強度と、可視光強度とを算出し、外光強度演算部３３に出力する。
【０１１６】
外光強度演算部３３は、赤外光強度を赤外光強度算出部３１から取得し、可視光強度を可視光強度算出部３２から取得すると、バランスＲ値を演算する（Ｓ１１）。そして、外光強度演算部３３は、演算したバランスＲ値を認識処理選択部５に出力する。
【０１１７】
認識処理選択部５は、外光強度演算部３３から取得したバランスＲ値が０．１以下か否かを判定する（Ｓ１２）。そして、認識処理選択部５は、外光強度演算部３３から取得したバランスＲ値が０．１以下であると判定する（Ｓ１２のＹＥＳ）と、蛍光灯／ＬＥＤ照明光処理（反射光認識モードへの切替え）を行う（Ｓ１３）。蛍光灯／ＬＥＤ照明光処理については後述する。
【０１１８】
また、認識処理選択部５は、外光強度演算部３３から取得したバランスＲ値が０．１以下でないと判定する（Ｓ１２のＮＯ）と、次に、バランスＲ値が０．４以下か否かを判定する（Ｓ１４）。認識処理選択部５は、外光強度演算部３３から取得したバランスＲ値が０．４以下であると判定する（Ｓ１４のＹＥＳ）と、太陽光（曇り）処理を行う（Ｓ１５）。太陽光（曇り）処理については後述する。
【０１１９】
そして、認識処理選択部５は、外光強度演算部３３から取得したバランスＲ値が０．４以下でないと判定する（Ｓ１４のＮＯ）と、次に、認識処理選択部５は、バランスＲ値が０．５以下か否かを判定する（Ｓ１６）。認識処理選択部５は、外光強度演算部３３から取得したバランスＲ値が０．５以下であると判定する（Ｓ１６のＹＥＳ）と、太陽光（晴れ）処理を行う（Ｓ１７）。太陽光（晴れ）処理については後述する。
【０１２０】
そして、認識処理選択部５は、外光強度演算部３３から取得したバランスＲ値が０．５以下でないと判定する（Ｓ１６のＮＯ）と、次に、認識処理選択部５は、バランスＲ値が０．６以下か否かを判定する（Ｓ１８）。認識処理選択部５は、外光強度演算部３３から取得したバランスＲ値が０．６以下であると判定する（Ｓ１８のＹＥＳ）と、夕日処理を行う（Ｓ１９）。夕日処理については後述する。
【０１２１】
そして、認識処理選択部５は、外光強度演算部３３から取得したバランスＲ値が０．６以下でないと判定する（Ｓ１８のＮＯ）と、次に、認識処理選択部５は、白熱灯／ハロゲン光処理（Ｓ２０）を行う。白熱灯／ハロゲン光処理については後述する。
【０１２２】
このように、認識処理選択部５は、赤外光強度と可視光強度との比率であるバランスＲ値に基づいて、環境光の光源の種類を判定する。そして、認識処理選択部５は、赤外光の比率が０．１以下の場合は、蛍光灯が光源であり、赤外光の比率が０．１より大きく０．４以下の場合は曇りの太陽光が光源であり、赤外光の比率が０．４より大きく０．５以下の場合は晴れの太陽光が光源であり、赤外光の比率が０．５より大きく０．６以下の場合は夕日の太陽光が光源であり、赤外光の比率が０．６より大きい場合は白熱灯（またはハロゲン光）が光源であると判定する。そして、認識処理選択部５は、それぞれの光源に応じて、上述の処理を行う。このように、光源に応じて指示物体の認識方法を選択することがで、指示物体のタッチ位置及びタッチ、非タッチを特定できる環境を広げることができる。
【０１２３】
なお、上述したバランスＲ値は、一例であり当業者によって適宜設定されればよい。
【０１２４】
（バックライト１７の切り替え様式）
次に、反射光認識モードおよび影認識モードにおけるバックライト１７の状態について説明する。図１３は、反射光認識モードおよび影認識モードにおけるバックライト１７の状態を示す図である。
【０１２５】
同図（ａ）に示すように、反射光認識モードでは、赤外光および可視光のバックライトがオンになっており、指腹に反射した赤外光が光センサ内蔵ＬＣＤ１１に入射する。このとき、外光に由来する可視光および赤外光も光センサ内蔵ＬＣＤ１１に入射する。
【０１２６】
一方、同図（ｂ）に示すように、影認識モードでは、赤外光および可視光のバックライトがオフになっており、主に外光に由来する可視光および赤外光が光センサ内蔵ＬＣＤ１１に入射する。
【０１２７】
（タッチ・非タッチ間画素値算出部６における処理の詳細）
（タッチ・非タッチの撮像画像の例）
まず、反射光認識モードにおいて、タッチ、非タッチの撮像画像がどのような画像になるのかを図１４に示す。指などが何も置かれていない状態でバックライト１７から赤外光が出射された場合、図１４の条件（１）のように指腹の像が含まれない画像（背景のみの画像）が得られる。図１４の条件（２）のように光センサ内蔵ＬＣＤ１１の上に指６０を近づけているが、タッチしていない場合は、指腹の像８３が薄く映り込んだような画像が得られる。図１４の条件（３）のように指を完全に光センサ内蔵ＬＣＤ１１に押し付けた状態では、くっきりとした指腹の像８４を含む画像が得られる。
【０１２８】
次に、影認識モードにおいて、タッチ、非タッチの撮像画像がどのような画像になるのかを図１５に示す。指などが何も置かれていない状態で外光８１が直接赤外光センサ１２または可視光センサ１３に入った場合、図１５の条件（１）のように指腹の像が含まれない画像（背景のみの画像）が得られる。図１５の条件（２）のように光センサ内蔵ＬＣＤ１１の上に指を近づけているが、タッチしていない場合は、外光８２が遮られることによって指腹の影８５が薄く映り込んだような画像になる。図１５の条件（３）のように指を完全に光センサ内蔵ＬＣＤ１１に押し付けた状態では、条件（２）よりも指腹の影８６が濃くなった画像が得られる。
【０１２９】
（タッチ・非タッチの画素値の関係）
次に、タッチ・非タッチの画素値の関係について説明する。以下では、特に、影認識モードの場合について説明する。
【０１３０】
影認識モードの場合に、外光強度算出部３で求めた外光強度と、図１５の条件（２）の画像における非タッチ時の指腹下画素値と、図１５の条件（３）の画像におけるタッチ時の指腹下画素値との関係を図１６に示す。図１６（ａ）に示すように、背景の画素値（符号９４で示す）、非タッチ時の指腹下画素値（符号９５で示す）およびタッチ時の指腹下画素値（符号９６で示す）は、外光強度が強くなる（明るくなる）につれて大きくなっていく。その時の撮像画像をそれぞれ図１６（ｂ）に示す。
【０１３１】
図１６（ａ）に示すように、非タッチ時の指腹下画素値は、タッチ時の指腹下画素値よりも常に大きくなるという関係が成り立つので、非タッチ時の指腹下画素値とタッチ時の指腹下画素値との間には常に画素値のギャップがあることになる。
【０１３２】
この関係が成り立つのであれば、非タッチ時の指腹下画素値（符号９５で示す）とタッチ時の指腹下部分の画素値（符号９６で示す）との間に閾値（符号９７で示す）を設定することができる。このような閾値をタッチ・非タッチ間画素値と称する。
【０１３３】
外光強度からタッチ・非タッチ間画素値を求め、タッチ・非タッチ間画素値が画素値の上限値なるように撮像画像を処理することで、このタッチ・非タッチ間画素値以上の画素値を認識に不必要な情報として削除することができ、認識精度を向上させることができる。
【０１３４】
バランスＲ値と対応付けてタッチ・非タッチ間画素値の算出方法を設けておくことで、光源の種類に応じてタッチ位置の特定に必要な指先の像を抽出することができる。なお、反射光認識モードの場合は、バックライトの反射光の有無でタッチ位置を特定するため、上述の画像処理は不要である。
【０１３５】
図１７は、環境光の種類と指腹の像の画素値との関係を表すグラフである。タッチ・非タッチの判定を正確に行うためには、環境光（光源）の種類によってタッチ・非タッチ間画素値を異ならせることが好ましい。
【０１３６】
図１７において、基準値１は、太陽光（曇り）下でのタッチ・非タッチ間画素値を示している。基準値２は、太陽光（晴れ）下でのタッチ・非タッチ間画素値を示している。基準値３は、夕日下でのタッチ・非タッチ間画素値を示している。基準値４は、白熱灯（ハロゲン光）下でのタッチ・非タッチ間画素値を示している。
チ・非タッチ間画素値は、上記画素値の範囲の上限値であるといえる。
【０１３７】
上述の技術思想に基づいて、タッチ・非タッチ間画素値算出部６では、環境光の強度の変化に応じてタッチ・非タッチ間画素値を動的に算出する。このとき、タッチ・非タッチ間画素値算出部６は、認識処理選択部５の判定結果に基づいてタッチ・非タッチ間画素値の算出方法を切り替える。
【０１３８】
しかし、オンライン処理時（実際にユーザが光センサ内蔵ＬＣＤ１１をタッチする時）には、タッチ時の指腹下画素値および非タッチ時の指腹下画素値を得ることは不可能であるので、現場で得ることができる外光強度（赤外光強度又は可視光強度）とタッチ・非タッチ間画素値との関係を示す式を予め設定しておき、この式に外光強度を代入することによりタッチ・非タッチ間画素値を算出する。
【０１３９】
この式は、例えば下記（１）式に示すものであり、この式に外光強度算出部３で算出した外光強度（赤外光強度又は可視光強度）（Ａ）を代入することによりタッチ・非タッチ間画素値（Ｔ）を算出することができる。
【０１４０】
Ｔ＝ＡＸ  ・・・（１）
上記（１）式においてＸは、予め求められている定数である。このＸを求めるために、まず下記（２）式を満たすＮの値を設定する。
【０１４１】
Ｔ＝（Ｂ＋Ｃ）/Ｎ  ・・・（２）
上記（２）式において、Ｂは非タッチ時の指腹下画素値であり、Ｃはタッチ時の指腹下画素値である。Ｎは、ＴがＢとＣとの間になるような任意の数値である。
【０１４２】
そして、上記（２）式をもとに、下記（３）を満たすＸを算出する。
【０１４３】
Ｔ＝ＡＸ＝（Ｂ＋Ｃ）/Ｎ  ・・・（３）
オンライン処理時には、タッチ・非タッチ間画素値算出部６は、フレーム毎に外光強度算出部３が求めたＡを上記（１）式に代入することにより、Ｔを算出する。
【０１４４】
タッチ・非タッチ間画素値算出部６は、認識処理選択部５の判定結果に基づいて、タッチ・非タッチ間画素値を算出するための数式（上記（１）式）を切り替える。そのために、太陽光（曇り）処理、太陽光（晴れ）処理、夕日処理、及び白熱灯（ハロゲン光）処理にそれぞれ対応する数式が予め設定されている。
【０１４５】
なお、上記（１）式は、タッチ・非タッチ間画素値算出部６が利用可能な記憶部（例えば、記憶部４０に格納されていればよい。
【０１４６】
（認識不要情報削除部７における処理の詳細）
このようにして求められたタッチ・非タッチ間画素値は、認識不要情報削除部７に出力される。認識不要情報削除部７は、影認識モードの場合には、可視光画像を処理対象として、タッチ・非タッチ間画素値算出部６で求めたタッチ・非タッチ間画素値以上の画素値を有する撮像画像の画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の認識に不要な情報を削除する。
【０１４７】
図１８は、影認識モードの場合の認識不要情報削除部７における処理を説明するための図である。同図の最下段には、背景画素値と指腹下画素値との関係が示されている。
【０１４８】
すなわち、影認識モードの場合、タッチ・非タッチ間画素値よりも大きい画素値を有する画素は、光センサ内蔵ＬＣＤ１１にタッチした指示物体の像の形成に関与していないと考えられるため、図１８に示すように、タッチ・非タッチ間画素値以上の画素値を有する画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の背景に存在している不要な像を削除することができる。
【０１４９】
なお、認識不要情報削除部７は、タッチ・非タッチ間画素値よりも大きい画素値を有する画素の画素値を最大にしてもよい。すなわち、認識不要情報削除部７は、タッチ・非タッチ間画素値よりも大きい画素値を有する画素を白にしてもよい。この処理では、撮像画像の背景は、真っ白になる。
【０１５０】
（タッチ位置検出装置における処理の流れ）
次に、図１９、図２０を参照しつつ、タッチ位置検出装置１におけるタッチ位置検出処理の流れの一例について説明する。図１９は、タッチ位置検出装置１における各処理モードの動作を表す図である。図２０は、タッチ位置検出装置１におけるタッチ位置検出処理の流れの一例を示すフローチャートである。なお、図１９において、「さちらせ」とは、認識不要情報削除部７における画素処理を行うことを意味している。
【０１５１】
まず、光センサ内蔵ＬＣＤ１１の赤外光センサ１２および可視光センサ１３によって指示物体の撮像画像が撮像される。赤外光センサ１２が取得した撮像画像である赤外光画像および可視光センサ１３が取得した撮像画像である可視光画像は、ＡＤコンバータ１４を介して、画像調整部２へ出力される（Ｓ５１）。
【０１５２】
画像調整部２は、赤外光画像および可視光画像を受け取ると、当該画像のゲインおよびオフセットを調整するキャリブレーション処理などを行い、調整した赤外光画像および可視光画像を記憶部４０に格納するとともに、調整した赤外光画像を赤外光強度算出部３１へ出力し、調整した可視光画像を可視光強度算出部３２へ出力する（Ｓ５２）。
【０１５３】
そして、赤外光強度算出部３１は、赤外光画像を受け取ると、当該赤外光画像から、上述したように赤外光強度を算出し（第１光強度算出工程）、算出した赤外光強度を外光強度演算部３３へ出力する（Ｓ５３）。また、可視光強度算出部３２は、可視光画像を受け取ると、当該可視光画像から、上述したように可視光強度を算出し（第２光強度算出工程）、算出した可視光強度を外光強度演算部３３へ出力する（Ｓ５３）。
【０１５４】
そして、外光強度演算部３３は、赤外光強度算出部３１から赤外光強度を受け取り、可視光強度算出部３２から可視光強度を受け取ると、上述したように、バランスＲ値を演算する（Ｓ５３）。そして、外光強度演算部３３は、演算したバランスＲ値を、最適感度算出部４、認識処理選択部５およびタッチ・非タッチ間画素値算出部６へ出力する。
【０１５５】
認識処理選択部５は、外光強度演算部３３から判定値としてバランスＲ値を受け取ると、当該バランスＲ値を用いて、光源の種類に応じた認識モードを判定する（Ｓ５４）。
【０１５６】
反射光認識モード（蛍光灯（ＬＥＲ照明光）処理）に設定する場合には、認識処理選択部５は、バックライト制御部１５を介してバックライト１７における赤外光光源をオンにするとともに、タッチ・非タッチ間画素値算出部６へ反射光認識モードに対応したタッチ・非タッチ間画素値を算出するよう命じる（Ｓ５５）。このような認識モードの切り替えは、次のフレームの撮像画像に反映される。
【０１５７】
影認識モード（太陽光（曇り）処理、太陽光（晴れ）処理、夕日処理、及び白熱灯（ハロゲン光）処理）に設定する場合には、認識処理選択部５は、バックライト制御部１５を介してバックライト１７における赤外光光源をオフにするとともに、タッチ・非タッチ間画素値算出部６へ影認識モードに対応したタッチ・非タッチ間画素値を算出するよう命じる（Ｓ５５）。このような認識モードの切り替えは、次のフレームの撮像画像に反映される。
【０１５８】
より具体的には、Ｓ５５で、白熱灯（ハロゲン光）処理の場合、認識処理選択部５は、影認識モードに設定するために赤外光光源をオフするとともに、タッチ・非タッチ間画素値として基準値４を算出するよう命じる。
【０１５９】
Ｓ５５で、夕日処理の場合、認識処理選択部５は、影認識モードに設定するために赤外光光源をオフするとともに、タッチ・非タッチ間画素値として基準値３を算出するよう命じる。
【０１６０】
Ｓ５５で、太陽光（晴れ）処理の場合、認識処理選択部５は、影認識モードに設定するために赤外光光源をオフするとともに、タッチ・非タッチ間画素値として基準値２を算出するよう命じる。
【０１６１】
Ｓ５５で、太陽光（曇り）処理の場合、認識処理選択部５は、影認識モードに設定するために赤外光光源をオフするとともに、タッチ・非タッチ間画素値として基準値１を算出するよう命じる。
【０１６２】
Ｓ５５で、蛍光灯（ＬＥＲ照明光）処理の場合、認識処理選択部５は、反射光認識モードに設定するために赤外光光源をオンする。なお、反射光認識モードに設定した場合は、バックライトからの反射光の有無によって、タッチ、非タッチを判定するので、基準値１〜４の算出は不要である。
【０１６３】
一方、最適感度算出部４は、外光強度演算部３３が算出した外光強度に応じて、指示物体を認識するための最適な感度を算出し、感度調整部１６へ出力する（Ｓ５６）。感度調整部１６は、最適感度算出部４から出力された最適感度に対応するように各赤外光センサ１２、及び可視光センサ１３の感度を調整する。この感度調整は、次のフレームの撮像画像に反映される。
【０１６４】
次に、タッチ・非タッチ間画素値算出部６は、認識処理選択部５から出力された命令が示す認識モードに対応した数式を用いて、タッチ・非タッチ間画素値を算出し、算出したタッチ・非タッチ間画素値を認識不要情報削除部７へ出力する（Ｓ５７）。
【０１６５】
認識不要情報削除部７は、タッチ・非タッチ間画素値（基準１〜４）を受け取ると、認識処理選択部５が設定した認識モードに対応した撮像画像を記憶部４０から取得する。
【０１６６】
すなわち、認識不要情報削除部７は、影認識モードの場合には可視光画像を取得し、反射光認識の場合には赤外光画像を取得する。そして、認識不要情報削除部７は、例えば、影認識モードの場合には、取得した可視光画像に含まれる画素のうち、タッチ・非タッチ間画素値以上の画素値を有する画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の認識に不要な撮像画像中の情報（すなわち、指示物体の背景の像）を削除する（Ｓ５８）。認識不要情報削除部７は、処理した撮像画像を特徴量抽出部８へ出力する。
【０１６７】
特徴量抽出部８は、認識不要情報削除部７から撮像画像を受け取ると、エッジ検出処理により指示物体の特徴を示す特徴量（エッジ特徴量）を撮像画像の画素ごとに抽出し、抽出した特徴量および当該特徴量を示す画素（特徴領域）の位置情報（画素の座標）をタッチ位置検出部９へ出力する（Ｓ５９）。
【０１６８】
タッチ位置検出部９は、特徴量および特徴領域の位置情報を受け取ると、当該特徴領域に対してパターンマッチすることによりタッチ位置を算出する（Ｓ６０）。タッチ位置検出部９は、算出したタッチ位置を示す座標をアプリケーション実行部２１へ出力する。
【０１６９】
なお、画像調整部２が、調整した撮像画像を記憶部４０に格納する場合には、外光強度算出部３は、記憶部４０から撮像画像を取得すればよい。
【０１７０】
（変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１７１】
例えば、特徴量抽出部８は、認識処理選択部５が判定した環境光の種類に応じて、エッジ検出処理のパラメータ（例えば、エッジ抽出の閾値）を変更してもよい。
【０１７２】
より具体的には、例えば、特徴量抽出部８は、画像調整部２によって調整された撮像画像（赤外光画像または可視光画像）に含まれる、指示物体の像の特徴を示す特徴量（または特徴領域）を抽出し、認識不要情報削除部７へ出力する。この特徴量抽出部８は、反射光認識モードの場合には、赤外光画像を処理対象とし、影認識モードの場合には、可視光画像を処理対象とする。認識不要情報削除部８は、タッチ・非タッチ間画素値算出部６が算出したタッチ・非タッチ間画素値に基づいて、特徴量抽出部８が抽出した特徴量（または特徴領域）の少なくとも一部を削除する。より詳細には、認識不要情報削除部８は、影認識モードの場合に、タッチ・非タッチ間画素値算出部６が算出したタッチ・非タッチ間画素値以上の画素値を有する画素に由来する特徴量（特徴領域）を削除する。
【０１７３】
この構成により、環境光の種類に応じて指示物体の像のエッジを適切に検出することができる。
【０１７４】
また、認識処理選択部５は、赤外光強度と所定の閾値とを比較した結果、および／または、可視光強度と所定の閾値とを比較した結果に基づいて環境光の種類を判定してもよい。例えば、赤外光強度が所定値以下の場合には、環境光は蛍光灯／ＬＥＤ照明光であると判定してもよい。また、赤外光強度が所定値以上の場合には、環境光は白熱灯／ハロゲン光であると判定してもよい。さらに、バランスＲ値を用いた判定と、上記所定値を用いた判定とを組み合わせてもよい。
【０１７５】
また、上述の説明では、赤外光センサ１２および可視光センサ１３は、撮像画像を取得する光センサであるが、赤外光強度を検出するための赤外光センサおよび可視光強度を検出するための可視光センサを、撮像画像を取得するための光センサとは別に設けてもよい。すなわち、赤外光センサ１２および可視光センサ１３の出力値から赤外光強度および可視光強度を算出してもよい。
【０１７６】
また、反射光認識モードにおいて、バックライト１７から出射された可視光が指腹に反射した光の像を検出してもよい。
【０１７７】
なお、上述したタッチ位置検出装置１の各ブロック、特に画像解析部２０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１７８】
すなわち、タッチ位置検出装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタッチ位置検出装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記タッチ位置検出装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１７９】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１８０】
また、タッチ位置検出装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１８１】
広い範囲の環境照度下において撮像対象の像の位置を適切に検出できるため、タッチパネルを有する位置検出装置、入力装置等に適用できる。
【符号の説明】
【０１８２】
１  タッチ位置検出装置（位置検出装置）
５  認識処理選択部（切替手段）
６  タッチ・非タッチ間画素値算出部（基準値算出手段）
１２  赤外光センサ（第２光センサ）
１３  可視光センサ（第１光センサ）
３１  赤外光強度算出部（第２光強度算出手段）
３２  可視光強度算出部（第１光強度算出手段）
３３  外光強度演算部（環境光判定手段）
【図１】
2010211328.tif 000003
【図２】
2010211328.tif 000004
【図３】
2010211328.tif 000005
【図４】
2010211328.tif 000006
【図６】
2010211328.tif 000007
【図７】
2010211328.tif 000008
【図８】
2010211328.tif 000009
【図９】
2010211328.tif 000010
【図１０】
2010211328.tif 000011
【図１１】
2010211328.tif 000012
【図１２】
2010211328.tif 000013
【図１３】
2010211328.tif 000014
【図１４】
2010211328.tif 000015
【図１５】
2010211328.tif 000016
【図１６】
2010211328.tif 000017
【図１７】
2010211328.tif 000018
【図１９】
2010211328.tif 000019
【図２０】
2010211328.tif 000020
【図２１】
2010211328.tif 000021
【図２２】
2010211328.tif 000022
【図２３】
2010211328.tif 000023
【図２４】
2010211328.tif 000024
【図５】
2010211328.tif 000025
【図１８】
2010211328.tif 000026