(57)【要約】【課題】指示体と検出面との距離を簡易的かつ迅速に検出することを可能とした指示体検出装置と、当該指示体検出装置を備えたタッチパネルと、を提供する。【解決手段】指示体検出装置１は、表示領域２２面と略平行に表示領域２２面上を撮像する左側撮像部１１Ｌ及び右側撮像部１１Ｒと、左側撮像部１１Ｌ及び右側撮像部１１Ｒの少なくとも一方で撮像された画像中の指示体の位置に基づいて指示体と表示領域２２面との距離を算出する指示体距離算出部１５と、を備える。【選択図】図２
2011175543.tif 000002
【特許請求の範囲】
【請求項１】
検出面上の指示体を検出する指示体検出装置であって、
前記検出面上を当該検出面と略平行に撮像して画像を生成する少なくとも１つの撮像部と、
前記撮像部の撮像により生成される画像中の前記指示体の位置に基づいて、前記指示体と前記検出面との距離を検出する距離検出部と、
を備えることを特徴とする指示体検出装置。
【請求項２】
異なる場所から前記検出面を撮像する２つ以上の前記撮像部により生成される画像中の前記指示体の位置に基づいて、前記検出面上の前記指示体の位置を検出する位置検出部を、
さらに備えることを特徴とする請求項１に記載の指示体検出装置。
【請求項３】
前記距離検出部が、いずれか１つの前記撮像部により生成される画像中の前記指示体の位置に基づいて、前記指示体と前記検出面との距離を検出することを特徴とする請求項１または請求項２に記載の指示体検出装置。
【請求項４】
前記撮像部が、可視光を撮像することで一つの画素に複数の信号値を備えた画像を生成することを特徴とする請求項１〜請求項３のいずれかに記載の指示体検出装置。
【請求項５】
前記撮像部の光軸が、前記検出面と略同一の平面内に存在することを特徴とする請求項１〜請求項４のいずれかに記載の指示体検出装置。
【請求項６】
表示領域に画像を表示する表示装置と、
前記表示領域を検出面とする請求項１〜請求項５のいずれかに記載の指示体検出装置と、
を備えることを特徴とするタッチパネル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出面上の指示体を検出する指示体検出装置や、当該指示体検出装置を備えたタッチパネルに関する。
【背景技術】
【０００２】
画像を表示する表示装置と、例えばユーザの指やスタイラスなどの指示体を検出する指示体検出装置とを備え、表示装置上の指示体を検出する、いわゆるタッチパネルが広く普及している。タッチパネルは、表示装置に表示される画像を視認したユーザが、当該画像を手がかりにして表示装置上（当該画像上）の所定の位置に触れるという、直感的かつ簡易的な動作によって操作される。
【０００３】
タッチパネルに備えられる指示体検出装置の方式として、例えば、静電容量方式がある。静電容量方式とは、表示装置上に導電膜を設けて電流を通じ、指が導電膜に接触または近接することで生じる静電容量の変化を電流の変化として検出することで、指が接触または近接した位置を検出するものである。
【０００４】
しかしながら、静電容量方式では、表示装置上に導電膜などを設ける必要があるため、表示装置上の光透過性が低下し、屋外などで画像の視認性が劣化することが問題となる。
【０００５】
そこで、この問題を解決する方式として、例えば、赤外線マトリクス方式（検出面の端部に複数の発光部及び受光部を敷き詰め、それぞれの受光部で生成される信号から指示体を検出する方式）や、特許文献１に記載の方式（検出面の２つの隅に赤外線の発光部及びイメージセンサをそれぞれ備えるとともに検出面の端部に赤外線の反射材を備え、イメージセンサで生成される画像からユーザが触れた位置を検出する方式）などが提案されている。
【０００６】
さらに、特許文献２及び３では、撮像により得られた画像中の指示体と、予め記録しておいた指示体のモデルと、を比較することで、指示体と検出面との距離を検出する指示体検出装置が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４２２９９６４号
【特許文献２】特開平８−３２８７３５号公報
【特許文献３】特開２００９−２５９１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１で提案されるような赤外線を用いた方式の指示体検出装置であれば、表示装置上に導電膜などの追加部材を備える必要がないため、表示装置上の光透過性の低下（屋外での視認性の劣化）を防止することが可能となる。しかしながら、屋外では発光部以外（例えば、太陽など）から放射される赤外線の影響を受けることで検出精度が劣化するため、問題となる。さらに、赤外線に限らず、屋外では外乱（検出環境の変動）の影響が大きい。そのため、屋内での使用には支障をきたさない検出精度を実現する指示体検出装置であっても、屋外では使用に堪えないものとなる場合がある。
【０００９】
また、特許文献２及び３で提案されている指示体検出装置であれば、指示体と検出面との距離を検出することが可能である。しかしながら、上記のように外乱の影響を受けるなどして、検出精度が劣化する問題が生じ得る。また、予め指示体のモデルを記録しておく必要があることで、指示体の種類や使用方法に制約が生じることや、モデルを記録しておく装置が必要になることで、装置の複雑化や大型化を招来するため、問題となる。さらに、画像中の指示体とモデルとを比較して距離を検出する場合、複雑な演算が必要となるために演算量が膨大となり、迅速に動作することが困難になることも問題となる。
【００１０】
そこで本発明は、指示体と検出面との距離を簡易的かつ迅速に検出することを可能とした指示体検出装置と、当該指示体検出装置を備えたタッチパネルと、を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明における指示体検出装置は、検出面上の指示体を検出する指示体検出装置であって、前記検出面上を当該検出面と略平行に撮像して画像を生成する少なくとも１つの撮像部と、前記撮像部の撮像により生成される画像中の前記指示体の位置に基づいて、前記指示体と前記検出面との距離を検出する距離検出部と、を備えることを特徴とする。
【００１２】
また、上記構成の指示体検出装置において、異なる場所から前記検出面を撮像する２つ以上の前記撮像部により生成される画像中の前記指示体の位置に基づいて、前記検出面上の前記指示体の位置を検出する位置検出部を、さらに備えることとしても構わない。
【００１３】
このように構成すると、位置検出部及び距離検出部が、ともに画像から認識される指示体の画像中の位置に基づいて、検出面上の指示体の位置及び指示体と検出面との距離を検出することとなる。そのため、検出処理を共通化することが可能となる。したがって、指示体検出装置の処理を簡易化及び迅速化することが可能となる。
【００１４】
また、上記構成の指示体検出装置において、前記距離検出部が、いずれか１つの前記撮像部により生成される画像中の前記指示体の位置に基づいて、前記指示体と前記検出面との距離を検出することとしても構わない。
【００１５】
このように構成すると、指示体と検出面との距離の検出に要する演算量を少なくすることが可能となる。
【００１６】
また、上記構成の指示体検出装置において、前記撮像部が、可視光を撮像することで一つの画素に複数の信号値を備えた画像を生成することとしても構わない。
【００１７】
このように構成すると、例えば指示体検出装置を屋外で使用する場合に、検出面上に指示体が進入することで発生する種々の外乱と、指示体とを精度良く区別することが可能となる。特に、一つの画素が単一の信号値のみを備える画像中の指示体を認識するよりも、外乱の影響を受けにくくすることが可能となるため、画像中から精度良く指示体を認識することが可能となる。
【００１８】
また、上記構成の指示体検出装置において、前記撮像部の光軸が、前記検出面と略同一の平面内に存在することとしても構わない。
【００１９】
このように構成すると、撮像部により生成される画像中において、検出面の所定方向（光軸と略平行な方向）の長さを短くすることが可能となる。そのため、画像中における指示体の直下となる検出面の位置が、指示体の移動（光軸と略平行な方向への移動）によって変動することを抑制することが可能となる。したがって、画像中における指示体と検出面との長さを、容易に算出することが可能となる。
【００２０】
また、上記構成の指示体検出装置において、前記距離検出部が、前記撮像部の撮像により生成された画像である背景画像を記憶する背景画像記憶部と、前記撮像部の撮像により生成された画像である対象画像と、前記背景画像記憶部に記憶されている背景画像との差分を求め、当該差分が所定の大きさ以上となる領域の位置から、対象画像中の前記指示体の位置を求める画像処理部と、前記画像処理部で求められた前記指示体の位置から、前記指示体と前記検出面との距離を算出する指示体距離算出部と、を備えることとしても構わない。
【００２１】
このように構成すると、簡易な処理によって指示体と検出面との距離を検出することが可能となる。特に、対象画像中の指示体の大きさや形状の解析を要することなく、指示体と検出面との距離を検出することが可能となる。
【００２２】
また、本発明のタッチパネルは、表示領域に画像を表示する表示装置と、前記表示領域を検出面とする上記の指示体検出装置と、を備えることを特徴とする。
【発明の効果】
【００２３】
本発明の構成とすると、撮像部で撮像された画像の少なくとも一つから指示体を認識することで、指示体と検出面との距離を検出することが可能となる。特に、認識した指示体をモデルなどと比較することを要せずに、簡易的かつ迅速に指示体と検出面との距離を検出することが可能となる。
【００２４】
本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２５】
【図１】は、本発明の実施の一形態であるタッチパネルの構成の一例を示す平面図及び側面図である。
【図２】は、指示体検出装置の構成の一例を示すブロック図である。
【図３】は、指示体の検出面上の位置の検出方法の一例について説明する図である。
【図４】は、指示体の検出面上の位置の検出方法の一例について説明する図である。
【図５】は、指示体と検出面との距離の検出方法の一例について説明する図である。
【図６】は、指示体検出装置の動作の一例について説明する図である。
【図７】は、処理範囲の設定方法の一例について説明する左側画像の模式図である。
【図８】は、撮像環境の変動の有無を判定する動作の一例を示すフローチャートである。
【図９】は、本発明の実施の一形態であるタッチパネルの構成の別例を示す平面図及び側面図である。
【図１０】は、図８に示す左側撮像部及び右側撮像部により生成される左側画像及び右側画像の一例を示す模式図である。
【発明を実施するための形態】
【００２６】
＜全体構成＞
本発明の実施の一形態であるタッチパネルについて、以下図面を参照して説明する。図１は、本発明の実施の一形態であるタッチパネルの構成の一例を示す平面図及び側面図である。なお、図１（ａ）は、タッチパネルの画像が表示される面を示す平面図である。一方、図１（ｂ）は、図１（ａ）に示す面を右に向けた場合のタッチパネルの左側面を示す側面図である。また、図２は、指示体検出装置の構成の一例を示すブロック図である。
【００２７】
図１に示すように、本例のタッチパネル１は、非表示領域２１に囲まれる表示領域２２に画像を表示する表示装置２０を備える。また、タッチパネル１は、タッチパネル１の左側から表示領域２２面上を撮像する左側撮像部１１Ｌと、タッチパネル１の右側から表示領域２２面上を撮像する右側撮像部１１Ｒと、を備えた指示体検出装置１０（図２参照）を備える。また、非表示領域２１面と表示領域２２面とは、略同一の平面内に存在する。なお、左側撮像部１１Ｌ及び右側撮像部１１Ｒの一部（例えば、撮像素子やレンズなどの一部）が、非表示領域２１内に埋め込まれるように配置されても構わない。
【００２８】
図１（ａ）及び図１（ｂ）において、左側撮像部１１Ｌ及び右側撮像部１１Ｒが撮像する方向を矢印で示している。図１（ｂ）に示すように、左側撮像部１１Ｌ及び右側撮像部１１Ｒは、検出面である表示領域２２面と略平行となるように撮像を行う。このとき、例えば左側撮像部１１Ｌ及び右側撮像部１１Ｒのそれぞれの光軸が、表示領域２２面と略平行になる。なお、左側撮像部１１Ｌ及び右側撮像部１１Ｒの中で、指示体と表示領域２２面との距離の検出（詳細については後述）に関与する少なくとも一方の撮像部１１Ｌ，１１Ｒが、表示領域２２面と略平行となるように撮像を行うものであればよい。
【００２９】
また、図２に示すように、指示体検出装置１０は、上記の左側撮像部１１Ｌ及び右側撮像部１１Ｒと、左側撮像部１１Ｌの撮像により生成された左側画像を処理する左側画像処理部１２Ｌと、左側画像処理部１２Ｌでの処理に用いられる左側背景画像を一時的に記憶する左側背景画像記憶部１３Ｌと、右側撮像部１１Ｒの撮像により生成された右側画像を処理する右側画像処理部１２Ｒと、右側画像処理部１２Ｒでの処理に用いられる右側背景画像を一時的に記憶する右側背景画像記憶部１３Ｒと、左側画像処理部１２Ｌによる左側画像の処理結果と右側画像処理部１２Ｒによる右側画像の処理結果とに基づいて表示領域２２面上（検出面上）の指示体の位置を算出し指示体位置情報として出力する指示体位置算出部１４と、左側画像処理部１２Ｌによる左側画像の処理結果と右側画像処理部１２Ｒによる右側画像の処理結果との少なくとも一方に基づいて指示体と表示領域２２面（検出面）との距離を算出し指示体距離情報として出力する指示体距離算出部１５と、を備える。なお、指示体とは、ユーザの指やスタイラスなどの、ユーザが検出面上の任意の位置を指示するために用いるものである。以下では説明の具体化のため、指示体として指を例示して説明する。また、指示体距離算出部１５に、左側画像処理部１２Ｌの処理結果と右側画像処理部１２Ｒの処理結果とが入力されるように図示しているが、少なくとも一方の処理結果が入力される構成であればよい。
【００３０】
左側撮像部１１Ｌは、矩形の表示領域２２の左上に配置される。右側撮像部１１Ｒは、表示領域２２の右上に配置される。即ち、左側撮像部１１Ｌ及び右側撮像部１１Ｒは、表示領域２２の上辺の両端に配置される。また、左側撮像部１１Ｌの撮像により生成される左側画像及び右側撮像部１１Ｒの撮像により生成される右側画像は、それぞれ画角が９０°以上であり表示領域２２面上の全体が画角内に収まるものであると、好ましい。さらに、左側撮像部１１Ｌ及び右側撮像部１１Ｒは、例えば単板式ベイヤ配列のイメージセンサや、三板式のイメージセンサなどの、可視光を検出する受光素子を備えカラー画像を生成可能な撮像素子を備えるものであると、好ましい。
【００３１】
＜指示体の検出面上の位置の検出方法例＞
次に、指示体検出装置１０による、指示体の表示領域２２面上（検出面上）の位置の検出方法の一例について、図３及び図４を参照して説明する。図３及び図４は、指示体の検出面上の位置の検出方法の一例について説明する図である。また、図３は左側撮像部１１Ｌを示す図であり、図４は右側撮像部１１Ｒを示す図である。
【００３２】
図３（ａ）は、左側撮像部１１Ｌの撮像により生成される左側画像の画角を示す平面図であり、タッチパネルの平面について示した図１（ａ）に相当するものである。また、図３（ｂ）は、左側画像の一例を示す模式図であり、図３（ａ）に示す左側撮像部１１Ｌの撮像素子に映る画像を示している。同様に、図４（ａ）は、右側撮像部１１Ｒの撮像により生成される右側画像の画角を示す平面図であり、タッチパネルの平面について示した図１（ａ）に相当するものである。また、図４（ｂ）は、右側画像の一例を示す模式図であり、図４（ａ）に示す右側撮像部１１Ｒの撮像素子に映る画像を示している。なお、図３（ｂ）及び図４（ｂ）では、左側撮像部１１Ｌ及び右側撮像部１１Ｒのそれぞれの光軸が、表示領域２２面と略同一の平面内に存在する場合に撮像される左側画像及び右側画像を例示している。
【００３３】
図３（ａ）及び図３（ｂ）に示すように、左側撮像部１１Ｌは、自身を中心として表示領域２２の上辺から左辺までを含む左側画像を生成する。ここで、左側撮像部１１Ｌが配置される表示領域２２の左上を中心とした角度を考え、上辺を０°、左辺を９０°と定義すると、画角内の指示体Ｄが存在する方向は、時計回り（右回り）の角度αで表現される。なお、本例の左側画像には、非表示領域２１及び表示領域２２の右下角ＲＢが映り込んでいる。また、上述のように左側撮像部１１Ｌの一部が非表示領域２１内に埋め込まれる場合、左側画像中に非表示領域２１の断面や側面（図３（ｂ）中、表示領域２２の下側部分）などが映り込み得る。
【００３４】
右側撮像部１１Ｒについても同様である。図４（ａ）及び図４（ｂ）に示すように、右側撮像部１１Ｒは、自身を中心として表示領域２２の上辺から右辺までを含む右側画像を生成する。ここで、右側撮像部１１Ｒが配置される表示領域２２の右上を中心とした角度を考え、上辺を０°、右辺を９０°と定義すると、画角内の指示体Ｄが存在する方向は、反時計回り（左回り）の角度βで表現される。なお、本例の右側画像には、非表示領域２１及び表示領域２２の左下角ＬＢが映り込んでいる。また、上述のように右側撮像部１１Ｒの一部が非表示領域２１内に埋め込まれる場合、右側画像中に非表示領域２１の断面や側面（図４（ｂ）中、表示領域２２の下側部分）などが映り込み得る。
【００３５】
上記の角度α及び角度βは、図３（ｂ）及び図４（ｂ）に示すように、左側画像中及び右側画像中における指示体Ｄの左右方向の位置から算出することができる。ただし、実際に角度α及び角度βを算出するためには、左側画像及び右側画像のそれぞれの中から指示体Ｄを認識する必要がある。本例では、左側画像処理部１２Ｌが、左側画像中の指示体Ｄを認識することで角度αを算出し、右側画像処理部１２Ｒが、右側画像中の指示体Ｄを認識することで角度βを算出する。なお、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒによる左側画像中及び右側画像中の指示体Ｄの認識方法の詳細については、後述する。
【００３６】
指示体位置算出部１４は、例えば、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒが算出した角度α及び角度βと、既知である表示領域２２上辺の長さｋと、を用いた三角測量により、指示体Ｄの表示領域２２面上の位置を算出する。具体的には、表示領域２２上の任意の位置を座標（ｘ，ｙ）で表現し、左上を（０，０）、右方ほどｘ座標の値が大きく下方ほどｙ座標の値が大きくなるように定義する場合、以下の連立方程式を解くことで指示体Ｄの表示領域２２面上の座標（ｘ1，ｙ1）を求めることができる。
【００３７】
ｘ1×ｔａｎα＝ｙ1
（ｋ−ｘ1）×ｔａｎβ＝ｙ1
【００３８】
表示装置２０は、指示体位置算出部１４から出力される指示体位置情報（即ち、ユーザによるタッチパネル１の操作内容）に基づいて、例えば表示領域２２に表示する画像を切り替えるなどの各種制御動作を行う。
【００３９】
＜指示体と検出面との距離の検出方法例＞
次に、指示体検出装置１０による、指示体と表示領域２２面（検出面）との距離の検出方法の一例について、図５を参照して説明する。図５は、指示体と検出面との距離の検出方法の一例について説明する図である。図５（ａ）は、タッチパネルの左側面を示す側面図であり、図１（ｂ）に相当するものである。また、図５（ｂ）は、左側画像の一例を示す模式図であり、図５（ａ）に示す左側撮像部１１Ｌの撮像により生成されるものであり、図３（ｂ）に相当するものである。なお、説明の簡略化のため、ここでは左側画像のみに基づいて距離を検出する場合について、具体的に説明する。
【００４０】
図５（ａ）及び図５（ｂ）に示す例では、指示体Ｄの先端と表示領域２２面との距離（図中の両矢印）を検出する。このとき、上述した指示体Ｄの検出面上の位置の検出方法例と同様に、左側画像処理部１２Ｌが、左側画像中の指示体Ｄを認識する（認識方法の詳細については後述）。そして、指示体距離算出部１５が、左側画像処理部１２Ｌで認識された左側画像中における指示体Ｄの上下方向の位置に基づいて、指示体Ｄの先端から左側画像中の所定の位置に存在する表示領域２２面までの画像中における長さを求めることで、指示体Ｄと表示領域２２面との距離を算出する。
【００４１】
表示装置２０は、指示体距離算出部１５から出力される指示体距離情報を取得することで、例えば、ユーザが表示領域２２面に接触するタイミングを察知（推測）して、ユーザの操作に対する反応を迅速化する。また例えば、指示体と表示領域２２面との距離に応じて、表示領域２２に表示する画像を変形する（具体的には、指示体が表示領域２２面との距離が小さくなるほど、表示しているボタンの画像を大きくしたり、間隔を広くしたりする）ことで、操作性や利便性を向上する。
【００４２】
なお、左側画像に基づいて指示体Ｄと表示領域２２面との距離を検出する方法を例示したが、右側画像に基づいても構わないし、両方に基づいても構わない。なお、左側画像及び右側画像の両方に基づいて距離を検出する場合、それぞれから得られる距離を総合的に判断しても（例えば、平均値を求めても）構わない。また、いずれか一方の画像（例えば、指示体Ｄが精度良く認識できた画像）から、指示体Ｄと表示領域２２面との距離を検出しても構わない。
【００４３】
また、指示体距離算出部１５が指示体Ｄと表示領域２２面との距離を算出する際に、指示体位置情報を使用しても構わない。例えば、左側画像または右側画像から求められる指示体Ｄと表示領域２２面との画像中における長さを、距離として算出する際に、指示体位置情報を用いても構わない。また例えば、左側画像中または右側画像中で、指示体Ｄの直下となる表示領域２２面の位置を精度良く求めるために、指示体位置情報を用いても構わない。
【００４４】
＜動作例＞
次に、指示体検出装置１０の動作の一例について、図面を参照して説明する。図６は、指示体検出装置の動作の一例について説明する図である。なお、本例では、左側撮像部１１Ｌ及び右側撮像部１１Ｒ、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒ、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが、それぞれ同様の動作を行う。そのため、以下では説明の簡略化のために、左側撮像部１１Ｌ、左側画像処理部１２Ｌ及び左側背景画像記憶部１３Ｌのそれぞれの動作を代表させて説明し、右側撮像部１１Ｒ、右側画像処理部１２Ｒ及び右側背景画像記憶部１３Ｒのそれぞれの動作については同様のものとして、その説明を省略する。
【００４５】
図６に示すように、指示体検出装置１０が動作を開始すると、最初に、左側撮像部１１Ｌの撮像により生成された左側画像を左側画像処理部１２Ｌが取得する（ＳＴＥＰ１）。なお、左側画像処理部１２Ｌは、左側撮像部１１Ｌから取得する左側画像の信号値の種類を必要に応じて変換しても構わない。そして、左側画像処理部１２Ｌが処理する左側画像は、例えば、一つの画素がＲ（赤）Ｇ（緑）Ｂ（青）の各色の信号値を備えたものであっても構わないし、Ｙ（輝度）Ｕ，Ｖ（色差）の各種類の信号値を備えたものであっても構わないし、Ｈ（色相）Ｓ（彩度）Ｂ（輝度）の各種類の信号値を備えたものであっても構わない。
【００４６】
左側画像処理部１２Ｌは、取得した左側画像が１フレーム目（即ち、動作の開始後最初に取得した左側画像）であるか否か、または、取得した左側画像中の表示領域２２が以前に取得した（例えば、前フレームの）左側画像中の表示領域２２からずれたか否かを判定する（ＳＴＥＰ２）。
【００４７】
左側画像処理部１２Ｌは、取得した左側画像が１フレーム目であると判定する場合、または、取得した左側画像中の表示領域２２がずれたと判定する場合（ＳＴＥＰ２、ＹＥＳ）、左側画像中から表示領域２２を検出する（ＳＴＥＰ３）。このとき、例えば所定の目印などを検出することで表示領域２２の位置を確認しても構わないし、表示領域２２で表示される画像（光）などに基づいて表示領域２２の位置を確認しても構わない。
【００４８】
左側画像処理部１２Ｌは、検出された表示領域２２に基づいて、左側画像中で処理を行う範囲（以下、処理範囲とする）を設定する（ＳＴＥＰ４）。処理範囲について図７を参照して説明する。図７は、処理範囲の設定方法の一例について説明する左側画像の模式図であり、図３（ｂ）に相当するものである。図７は、左側画像中で表示領域２２面上となる範囲が、処理範囲Ａとして設定される例を示したものである。
【００４９】
左側画像処理部１２Ｌは、処理範囲Ａを設定する（ＳＴＥＰ４）、または、取得した左側画像が１フレーム目ではなく表示領域２２がずれていないと判定する（ＳＴＥＰ２、ＮＯ）と、次に撮像環境（例えば、画角内全体の光の強度）が変動したか否かを判定する（ＳＴＥＰ５）。このＳＴＥＰ５の動作の詳細について、図８を参照して説明する。図８は、撮像環境の変動の有無を判定する動作の一例を示すフローチャートである。
【００５０】
図８に示すように、左側画像処理部１２Ｌは、最初に左側差分画像を算出する（ＳＴＥＰ５１）。例えば左側画像処理部１２Ｌは、左側背景画像記憶部１３Ｌに記憶している左側背景画像と、直近のＳＴＥＰ１で取得した左側画像と、の対応する位置の画素ごとに信号値の差分値を求め、当該差分値を各画素の信号値とする左側差分画像を算出する。なお、左側背景画像及び左側画像の各画素が複数種類の信号値を備える場合、信号値の種類ごとに差分値を算出すると好ましい。また、左側背景画像及び左側画像に含まれる全ての画素について差分値を算出しても構わないが、算出する画素を処理範囲Ａ内に限ると、演算量を低減することができるため好ましい。
【００５１】
ところで、左側背景画像は、例えば図６に示す動作の開始前に、予め左側背景画像記憶部１３Ｌに記憶されることとしても構わない。例えば、左側画像処理部１２Ｌが、連続して取得される複数フレームの画像を所定時間監視して、信号値の変動（差分値）が小さくなったフレームを左側背景画像として左側背景画像記憶部１３Ｌに記憶しても構わない。また例えば、１フレーム目の左側画像を左側背景画像として記憶しても構わない。なお、左側背景画像記憶部１３Ｌに記憶される左側背景画像を、処理範囲Ａ内の画像に限ると、記憶量を低減することができるため、好ましい。
【００５２】
次に、ＳＴＥＰ５１で算出された左側差分画像について、処理範囲Ａ内の画素の中で差分値が閾値以上となる画素が、所定数以上（所定の大きさ以上）存在するか否かを判定する（ＳＴＥＰ５２）。即ち、撮像環境の空間方向における変動の有無を判定する。
【００５３】
このとき、左側差分画像の各画素が複数種類の信号値の差分値を備える場合、信号値の種類ごとにそれぞれの閾値と比較しても構わないし、複数種類の信号値の差分値を合算した総合的な差分値と閾値とを比較しても構わない。また、この「閾値」は、撮像環境が変動したとみなせる程度に大きい値とする。また、この「所定数」は、処理範囲Ａ全体が変動した（即ち、指示体Ｄが画角内に進入することによる画像の局所的な変動ではなく、撮像環境が変動した）とみなせる程度の数とする。
【００５４】
差分値が閾値以上となる画素が所定数より少ない場合（ＳＴＥＰ５２、ＮＯ）、撮像環境は変動していないものと判定する（ＳＴＥＰ５、ＮＯ）。一方、差分値が閾値以上となる画素が所定数以上となる場合（ＳＴＥＰ５２、ＹＥＳ）、次に、ＳＴＥＰ５２の条件を満たす（ＳＴＥＰ５２がＹＥＳとなる）フレームが、継続して所定数以上となったか否かを判定する（ＳＴＥＰ５３）。即ち、撮像環境の時間方向における変動の有無を判定する。なお、この「所定数」は、撮像環境の変動が継続的なものであり、一過性のものではないとみなせる程度の数とする。
【００５５】
ＳＴＥＰ５２の条件を満たすフレームが所定数より少ない場合、撮像環境は変動していないものと判定する（ＳＴＥＰ５、ＮＯ）。一方、ＳＴＥＰ５２の条件を満たすフレームが所定数以上となる場合、撮像環境が変動したと判定する（ＳＴＥＰ５、ＹＥＳ）。左側画像処理部１２Ｌは、撮像環境が変動したと判定すると、左側背景画像記憶部１３Ｌに記憶している左側背景画像を更新する（ＳＴＥＰ６）。例えば、直近のＳＴＥＰ１で取得した左側画像を、背景画像として記憶し直す。
【００５６】
左側背景画像記憶部１３Ｌが左側背景画像を更新する（ＳＴＥＰ６）、または、左側画像処理部１２Ｌが撮像環境が変動していないと判定すると（ＳＴＥＰ５、ＮＯ）、左側画像処理部１２Ｌは、左側背景画像記憶部１３Ｌに記憶されている左側背景画像と、直近のＳＴＥＰ１で取得した左側画像と、から左側差分画像を算出する（ＳＴＥＰ７）。なお、左側差分画像の算出方法は、ＳＴＥＰ５１において述べた方法と同様であっても構わない。また、ＳＴＥＰ５で撮像環境が変動していないと判定される場合、ＳＴＥＰ５１で算出した左側差分画像を以降の動作に適用することとして、ＳＴＥＰ７を省略しても構わない。
【００５７】
そして、左側画像処理部１２Ｌは、生成された左側差分画像の各画素から、指示体Ｄを表示する画素（以下、指示体表示画素とする）と、背景を表示する画素（以下、背景表示画素とする）とを特定する（ＳＴＥＰ８）。例えば、ＳＴＥＰ５２と同様の方法により、差分値がある閾値以上となる画素を指示体表示画素とし、差分値が閾値よりも小さくなる画素を背景表示画素とする。なお、この「閾値」は、指示体Ｄであると精度良く判定できる程度に大きい値とする。また、左側画像処理部１２Ｌは、左側背景画像の指示体表示画素と背景表示画素とを異なる信号値で表現した画像（いわゆる、二値化画像）を生成しても構わない。
【００５８】
さらに、左側画像処理部１２Ｌは、左側差分画像（二値化画像を含む）中の指示体表示画素が、検出範囲内で所定数以上存在するか否かを判定する（ＳＴＥＰ９）。なお、検出範囲は、少なくとも処理範囲Ａ内の範囲であり、指示体Ｄが進入し得る表示領域２２面上の範囲とすると好ましい。また、この「所定数」は、指示体Ｄであると精度良く判定できる程度の数であり、例えばノイズなどに起因する画素単位の変動を排除可能な数とする。
【００５９】
左側画像処理部１２Ｌは、左側差分画像（または二値化画像）中の指示体表示画素が、検出範囲内で所定数以上存在すると判定する場合（ＳＴＥＰ９、ＹＥＳ）に、左側撮像部１１Ｌに対して指示体Ｄが存在する方向を特定する（ＳＴＥＰ１０）。例えば、上述の方法によって角度αを算出する（図３参照）。
【００６０】
指示体位置算出部１４は、例えば上述の方法により、ＳＴＥＰ１０で得られた角度α及び角度βに基づいて、表示領域２２面上の指示体Ｄの位置を算出する（ＳＴＥＰ１１）。そして、指示体位置算出部１４は、算出した指示体Ｄの位置を指示体位置情報として、表示装置２０に出力する。
【００６１】
また、指示体距離算出部１５も同様であり、上述の方法により指示体Ｄと表示領域２２面との距離を算出する（ＳＴＥＰ１２）。そして、指示体距離算出部１５は、算出した指示体Ｄと表示領域２２面との距離を指示体距離情報として、表示装置２０に出力する。なお、このＳＴＥＰ１２を、ＳＴＥＰ１０及びＳＴＥＰ１１よりも前に行っても構わないし、並行して行っても構わない。
【００６２】
指示体距離算出部１５が指示体Ｄと表示領域２２面との距離を算出する（ＳＴＥＰ１２）、または、左側画像処理部１２Ｌが指示体表示画素が所定数より少ないと判定した後（ＳＴＥＰ９、ＮＯ）、指示体検出装置１０の動作を終了する場合は（ＳＴＥＰ１３、ＹＥＳ）、動作を終了する。一方、終了せずに動作を継続する場合は（ＳＴＥＰ１３、ＮＯ）、ＳＴＥＰ１に戻る。
【００６３】
ところで、上述のＳＴＥＰ１〜ＳＴＥＰ１０の各説明中における「左」、「Ｌ」及び「α」を、「右」、「Ｒ」及び「β」に適宜読み替えることで、右側撮像部１１Ｒ、右側画像処理部１２Ｒ及び右側背景画像記憶部１３Ｒのそれぞれの具体的な動作を把握することができる。
【００６４】
以上のように構成すると、左側画像及び右側画像の少なくとも一方から指示体Ｄを認識することで、指示体Ｄと表示領域２２面との距離を検出することが可能となる。特に、認識した指示体Ｄをモデルなどと比較することを要せずに、簡易的かつ迅速に指示体Ｄと表示領域２２面との距離を検出することが可能となる。
【００６５】
さらに、左側画像及び右側画像のいずれか１つの画像から、指示体Ｄと表示領域２２面との距離を検出することが可能となる。即ち、距離の検出に要する演算量を少なくすることが可能となる。
【００６６】
また、指示体位置検出部１４及び指示体距離検出部１５が、ともに左側画像及び右側画像から認識される指示体Ｄの画像中の位置に基づいて、表示領域２２面上の指示体Ｄの位置及び指示体Ｄと表示領域２２面との距離を検出する。そのため、検出処理を共通化することが可能となる。したがって、指示体検出装置１０の処理を簡易化及び迅速化することが可能となる。
【００６７】
また、左側画像及び右側画像が可視光を撮像することで生成されるため、精度良く指示体Ｄと表示領域２２面との距離を検出することが可能となる。特に、屋外に配置されるタッチパネル１では、検出面である表示領域２２面上に指示体Ｄが進入することで種々の外乱が発生するため、検出精度が劣化する。しかしながら、上述のように可視光を撮像することで生成される左側画像及び右側画像の少なくとも一方を利用することで、精度良く外乱と指示体Ｄとを区別することが可能となる。
【００６８】
また、左側画像及び右側画像を、一つの画素に複数種類の信号値を備えるものとすることで、複数の指標に基づいて左側画像中及び右側画像中から指示体Ｄを認識することとなる。そのため、上述の従来技術のような、一つの画素が単一の信号値（赤外線の強度を示す信号値）のみを備える画像中の指示体Ｄを認識するよりも、外乱の影響を受けにくくすることが可能となる。したがって、左側画像中及び右側画像中から精度良く指示体Ｄを認識することが可能となる。
【００６９】
また、左側画像中及び右側画像中の少なくとも一方から認識された指示体Ｄの画像中の位置に基づいて、指示体Ｄと表示領域２２面との距離を検出することにより、簡易な処理によって指示体Ｄと表示領域２２面との距離を検出することが可能となる。特に、左側画像中及び右側画像中の指示体Ｄの大きさや形状の解析を要することなく、指示体Ｄと表示領域２２面との距離を検出することが可能となる。
【００７０】
また、左側撮像部１１Ｌ及び右側撮像部１１Ｒの少なくとも一方の光軸が、表示領域２２面と略同一の平面内に存在するように構成すると、生成される左側画像中または右側画像中において、表示領域２２面の所定方向（光軸と略平行な方向）の長さを短くすることが可能となるため、好ましい。このように構成すると、左側画像中または右側画像中における指示体Ｄの直下となる表示領域２２面の位置が、指示体Ｄの移動（光軸と略平行な方向の移動）によって変動することを抑制することが可能となる。そのため、左側画像中または右側画像中における指示体Ｄと表示領域２２面との長さを、容易に算出することが可能となる。
【００７１】
また、検出面である矩形の表示領域２２の一つの端辺の両端に、左側撮像部１１Ｌ及び右側撮像部１１Ｒを備えることで、表示領域２２に近い位置からの撮像により、表示領域２２面上の全体を効果的に画角内に収めた左側画像及び右側画像を生成することが可能となる。そのため、外乱の影響を受けにくくかつ死角の少ない左側画像及び右側画像を生成することが可能となる。
【００７２】
また、ＳＴＥＰ５で左側画像処理部１２Ｌ（または右側画像処理部１２Ｒ）が、撮像環境に変動が生じたと判定する場合、左側背景画像記憶部１３Ｌ（または右側背景画像記憶部１３Ｒ）が記録している左側背景画像（または右側背景画像）を更新する。そのため、撮像環境の変動に対応して、背景画像を更新することが可能となる。したがって、外乱の影響を抑制して、精度良く左側画像中及び右側画像中の指示体Ｄを認識することが可能となる。
【００７３】
なお、図３及び図４に示す角度α及び角度βの定義や、左側撮像部１１Ｌ及び右側撮像部１１Ｒによる画像の撮像方法（例えば、使用するレンズなど）は一例に過ぎず、表示領域２２面上の指示体Ｄの位置が検出可能である限り、他のどのような定義及び撮像方法を適用しても構わない。例えば、非表示領域２１の上辺を基準として角度α及び角度βを定義しても構わないし、表示領域２２の端辺が湾曲する画像が撮像される撮像方法を適用しても構わない。
【００７４】
また、左側撮像部１１Ｌ及び右側撮像部１１Ｒの２つの撮像部を備える構成について例示したが、３つ以上の撮像部を備える構成としても構わない。画像処理部や背景画像記憶部についても同様である。
【００７５】
また、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒ、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒを、図２に示すブロック図上で別体として表示したが、ハードウェア上では一体としても構わない。
【００７６】
また、左側画像処理部１２Ｌが左側画像と左側背景画像とから左側差分画像を算出し、右側画像処理部１２Ｒが右側画像と右側背景画像とから右側差分画像を算出することで、左側画像及び右側画像のそれぞれから指示体Ｄを認識する方法について例示したが、指示体Ｄの認識方法はこの限りではない。例えば、連続的な撮像により生成される少なくとも２つの左側画像を比較（例えば、上述のような差分画像を算出）し、同様に少なくとも２つの右側画像を比較することで、指示体Ｄを認識しても構わない。
【００７７】
また、図６において、左側画像及び右側画像の少なくとも一方に対してＳＴＥＰ４の処理範囲Ａの設定を行った場合や、左側背景画像及び右側背景画像の少なくとも一方に対してＳＴＥＰ６の更新を行った場合、ＳＴＥＰ１に戻り左側撮像部１１Ｌが新たに撮像した左側画像を左側画像処理部１２Ｌが取得し直し、右側撮像部１１Ｒが新たに撮像した右側画像を右側画像処理部１２Ｒが取得し直しても構わない。また、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒの一方が、ＳＴＥＰ４の処理範囲Ａの設定や、ＳＴＥＰ６の左側背景画像または右側背景画像の更新を行う場合、他方も同様の動作を行うこととしても構わない。
【００７８】
また、図６のＳＴＥＰ９で、指示体位置算出部１４と指示体距離算出部１５の検出範囲を共通のものとしたが、異なるものとしても構わない。例えば、指示体位置算出部１４が、表示領域２２面上のごく近い領域を検出範囲としても構わない。また例えば、指示体距離算出部１５が、表示領域２２面上のごく近い領域からある程度離れた領域までを検出範囲としても構わない。
【００７９】
また、タッチパネルを、図９及び図１０に示すような構成としても構わない。図９は、本発明の実施の一形態であるタッチパネルの構成の別例を示す平面図及び側面図である。なお、図９（ａ）は、タッチパネルの画像が表示される面を示す平面図であり、図１（ａ）に相当するものである。一方、図９（ｂ）は、図９（ａ）に示す面を右側としたタッチパネルの左側面を示す側面図であり、図１（ｂ）に相当するものである。また、図１０は、左側撮像部または右側撮像部により生成される画像の一例を示す模式図であり、図３（ｂ）または図４（ｂ）に相当するものである。
【００８０】
図９（ａ）に示すように、本実施例のタッチパネル１ａは、非表示領域２１上に配置される枠体Ｆを備える。枠体Ｆは、指示体検出装置１０の検出面である表示領域２２の周囲に配置される。図９（ａ）では、枠体Ｆが表示領域２２の左辺、右辺及び下辺に配置される例を示しているが、表示領域２２の周囲の少なくとも一部に配置される構成であれば、どのように配置しても構わない。例えば、表示領域２２の全周を囲うように枠体Ｆを配置しても構わない。
【００８１】
枠体Ｆは、どのような色としても構わない。ただし、光の反射が少ない色（例えば、黒色または灰色）や、指示体Ｄと反対の色（即ち補色であり、例えば、左側画像及び右側画像において枠体Ｆ及び指示体Ｄのそれぞれを表示する画素のＲＧＢ、ＹＵＶ、ＨＳＢなどの信号値の差分値が大きくなる色）とすると、好ましい。
【００８２】
このように構成すると、枠体Ｆによって表示領域２２面上の撮像環境の変動が抑制される。そのため、左側画像中及び右側画像中の指示体Ｄを、精度よく認識することが可能となる。
【００８３】
また、枠体Ｆの色を光の反射が少ない色（例えば、黒色または灰色）にすることで、撮像環境の変動をさらに抑制することが可能となる。
【００８４】
一方、枠体Ｆの色を指示体Ｄの補色にすることで、可視光の撮像により生成される左側画像中及び右側画像中の枠体Ｆ（即ち、背景）と指示体Ｄとをより明確に区別する（例えば、差分画像中の指示体表示画素の信号値（差分値）をより大きくする）ことが可能となる。そのため、左側画像中及び右側画像中の指示体Ｄを、さらに精度よく認識することが可能となる。
【００８５】
ところで、図９及び図１０に示す構成とする場合、図６のＳＴＥＰ２及びＳＴＥＰ３の「表示領域」を「枠体」と読み替えても構わない。さらにＳＴＥＰ４で、左側画像中及び右側画像中で枠体Ｆを表示する範囲を、処理範囲として設定しても構わない。また、ＳＴＥＰ５（撮像環境の変動の有無の判定）及びＳＴＥＰ６（左側背景画像及び右側背景画像の更新）を行わないこととしても構わない。
【００８６】
＜変形例＞
本発明の実施の形態における指示体検出装置１０について、一部または全部の動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【００８７】
また、上述した場合に限らず、図１や図９に示すタッチパネル１，１ａや、図２に示す指示体検出装置１０は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いてタッチパネル１，１ａや指示体検出装置１０の一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。
【００８８】
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【００８９】
本発明は、検出面上の指示体を検出する指示体検出装置や、当該指示体検出装置を備えたタッチパネルに利用可能である。
【符号の説明】
【００９０】
１，１ａ  タッチパネル
１０    指示体検出装置
１１Ｌ  左側撮像部
１１Ｒ  右側撮像部
１２Ｌ  左側画像処理部
１２Ｒ  右側画像処理部
１３Ｌ  左側背景画像記憶部
１３Ｒ  右側背景画像記憶部
１４    指示体位置算出部
１５    指示体距離算出部
２０    表示装置
２１    非表示領域
２２    表示領域
Ｄ    指示体
Ｆ    枠体
【図１】
2011175543.tif 000003
【図２】
2011175543.tif 000004
【図３】
2011175543.tif 000005
【図４】
2011175543.tif 000006
【図５】
2011175543.tif 000007
【図６】
2011175543.tif 000008
【図７】
2011175543.tif 000009
【図８】
2011175543.tif 000010
【図９】
2011175543.tif 000011
【図１０】
2011175543.tif 000012