(57)【要約】【課題】照明などの撮像環境が変動し得る状況下でも、精度良く指示体の位置を検出することができる位置検出装置と、当該位置検出装置を備えたタッチパネルと、を提供する。【解決手段】位置検出装置は、異なる場所から検出面上を撮像して画像を生成する２つ以上の撮像部と、撮像部の撮像により生成される画像から、指示体を示し得る領域である指示体候補領域を検出することで、検出面上の指示体の位置を検出する位置検出部と、を備える。位置検出部は、２つ以上の撮像部が生成するそれぞれの画像から、所定の大きさ以上の指示体候補領域をそれぞれ検出する場合、当該指示体候補領域を、指示体を示す領域ではないものとして扱う。【選択図】図９
2012043142.tif 000002
【特許請求の範囲】
【請求項１】
検出面上の指示体の位置を検出する位置検出装置であって、
異なる場所から前記検出面上を撮像して画像を生成する２つ以上の撮像部と、
前記撮像部の撮像により生成される画像から、指示体を示し得る領域である指示体候補領域を検出することで、前記検出面上の指示体の位置を検出する位置検出部と、を備え、
前記位置検出部は、２つ以上の前記撮像部が生成するそれぞれの画像から、所定の大きさ以上の指示体候補領域をそれぞれ検出する場合、当該指示体候補領域を、指示体を示す領域ではないものとして扱うことを特徴とする位置検出装置。
【請求項２】
前記位置検出部が、
前記撮像部の撮像により生成された画像である背景画像を記憶する背景画像記憶部と、
前記撮像部の撮像により生成される画像である対象画像と、前記背景画像記憶部に記憶されている背景画像と、の差分を求める画像処理部と、を備え、
前記画像処理部が、差分が所定の大きさ以上となる領域を、指示体候補領域として検出することを特徴とする請求項１に記載の位置検出装置。
【請求項３】
前記背景画像記憶部が、記憶している背景画像よりも後に前記撮像部で撮像されて生成された画像を、新たな背景画像として記憶し直す更新を実行し得るものであり、
前記背景画像記憶部の更新の実行の有無を決定する背景画像更新制御部をさらに備え、
前記画像処理部が、２つ以上の前記撮像部が生成するそれぞれの対象画像から、所定の大きさ以上の指示体候補領域をそれぞれ検出する場合、
前記背景画像更新制御部が、前記背景画像記憶部が更新を実行することを、決定することを特徴とする請求項２に記載の位置検出装置。
【請求項４】
前記背景画像更新制御部が、所定のタイミングで前記背景画像記憶部が更新を実行することを決定し得るものであり、
当該タイミングに、前記画像処理部が２つ以上の前記撮像部が生成するそれぞれの対象画像から指示体候補領域をそれぞれ検出し、当該指示体候補領域の少なくとも一つが所定の大きさよりも小さい場合は、
前記背景画像更新制御部が、当該タイミングに前記背景画像記憶部が更新を実行しないことを、決定することを特徴とする請求項３に記載の位置検出装置。
【請求項５】
表示領域に画像を表示する表示装置と、
前記表示領域を検出面とする請求項１〜請求項４のいずれかに記載の位置検出装置と、
を備えることを特徴とするタッチパネル。
【請求項６】
前記表示装置が、前記位置検出部が検出した指示体の位置を、前記表示領域に表示し得るものであり、
前記位置検出部が、２つ以上の前記撮像部が生成するそれぞれの画像から、所定の大きさ以上の指示体候補領域をそれぞれ検出する場合は、
前記表示装置が、前記位置検出部が検出した指示体の位置を、前記表示領域に表示しないことを特徴とする請求項５に記載のタッチパネル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出面上の指示体の位置を検出する位置検出装置や、当該位置検出装置を備えたタッチパネルに関する。
【背景技術】
【０００２】
画像を表示する表示装置と、ユーザが指示する位置を検出する位置検出装置とを備え、ユーザが指示する表示装置上の位置を検出する、いわゆるタッチパネルが広く普及している。タッチパネルは、表示装置に表示される画像を視認したユーザが、当該画像を手がかりにして、例えば指やスタイラスなどの指示体で表示装置上（当該画像上）の所定の位置に触れるという直感的かつ簡易的な動作によって操作される。
【０００３】
タッチパネルに備えられる位置検出装置の方式として、例えば、静電容量方式がある。静電容量方式とは、表示装置上に導電膜を設けて電流を通じ、指が導電膜に接触または近接することで生じる静電容量の変化を電流の変化として検出することで、指が接触または近接した位置を検出するものである。
【０００４】
しかしながら、静電容量方式では、表示装置上に導電膜などの検出用部材を設ける必要があるため、表示装置上の光透過性が低下し、屋外などで画像の視認性が劣化することが問題となる。また、静電容量方式では、表示装置に応じた大きさの検出用部材が必要となるため、表示装置が大型化するほど、製造工程が煩雑化したり製造コストが高くなったりするなどの問題が生じる。
【０００５】
上記の問題を解決する方式として、複数のカメラで撮像して得られるそれぞれの画像中から指示体を検出することで、表示装置上の指示体の位置や接触の有無を検出する方式がある。例えば、特許文献１には、カメラの連続的な撮像により得られる画像を順次比較することで動きベクトルを算出し、当該動きベクトルに基づいて、指示体と表示装置との接触の有無や、指示体が表示装置に接触した位置を検出する位置検出装置が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１２５７４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の位置検出装置では、撮像環境の変動に起因する動きベクトルを、誤って指示体に起因する動きベクトルとして認識することで、指示体の検出精度が低下する。したがって、例えば屋外などの照明の光（例えば、太陽光）が一定にならない場所では、上記のような位置検出装置の使用が困難になるため、問題となる。
【０００８】
そこで本発明は、照明などの撮像環境が変動し得る状況下でも、精度良く指示体の位置を検出することができる位置検出装置と、当該位置検出装置を備えたタッチパネルと、を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明における位置検出装置は、検出面上の指示体の位置を検出する位置検出装置であって、異なる場所から前記検出面上を撮像して画像を生成する２つ以上の撮像部と、前記撮像部の撮像により生成される画像から、指示体を示し得る領域である指示体候補領域を検出することで、前記検出面上の指示体の位置を検出する位置検出部と、を備え、前記位置検出部は、２つ以上の前記撮像部が生成するそれぞれの画像から、所定の大きさ以上の指示体候補領域をそれぞれ検出する場合、当該指示体候補領域を、指示体を示す領域ではないものとして扱うことを特徴とする。
【００１０】
以下の実施の形態では、位置検出部の一例として、左側画像処理部、右側画像処理部、左側背景画像記憶部、右側背景画像記憶部、指示体位置算出部及び背景画像更新制御部を挙げて説明している。
【００１１】
また、上記構成の位置検出装置において、前記位置検出部が、前記撮像部の撮像により生成された画像である背景画像を記憶する背景画像記憶部と、前記撮像部の撮像により生成される画像である対象画像と、前記背景画像記憶部に記憶されている背景画像と、の差分を求める画像処理部と、を備え、前記画像処理部が、差分が所定の大きさ以上となる領域を、指示体候補領域として検出することとしても構わない。
【００１２】
このように構成すると、背景画像と対象画像との差分が大きい領域である指示体候補領域が、真に指示体を示すものであるのか、照明などの撮像状況の変動を示すものであるのか、を容易に区別することが可能となる。
【００１３】
また、上記構成の位置検出装置において、前記背景画像記憶部が、記憶している背景画像よりも後に前記撮像部で撮像されて生成された画像を、新たな背景画像として記憶し直す更新を実行し得るものであり、前記背景画像記憶部の更新の実行の有無を決定する背景画像更新制御部をさらに備え、前記画像処理部が、２つ以上の前記撮像部が生成するそれぞれの対象画像から、所定の大きさ以上の指示体候補領域をそれぞれ検出する場合、前記背景画像更新制御部が、前記背景画像記憶部が更新を実行することを、決定することとしても構わない。
【００１４】
このように構成すると、背景画像更新制御部が、背景画像の更新が必要な状況を精度良く検出して、背景画像記憶部に更新を実行させることが可能となる。そのため、撮像環境の変動によって指示体の検出精度が低下することを、効果的に抑制することが可能となる。
【００１５】
また、上記構成の位置検出装置において、前記背景画像更新制御部が、所定のタイミングで前記背景画像記憶部が更新を実行することを決定し得るものであり、当該タイミングに、前記画像処理部が２つ以上の前記撮像部が生成するそれぞれの対象画像から指示体候補領域をそれぞれ検出し、当該指示体候補領域の少なくとも一つが所定の大きさよりも小さい場合は、前記背景画像更新制御部が、当該タイミングに前記背景画像記憶部が更新を実行しないことを、決定することとしても構わない。
【００１６】
このように構成すると、背景画像更新制御部が、背景画像の更新を実行するべきではない状況を精度良く検出して、背景画像記憶部に更新を実行させないことが可能となる。そのため、背景画像記憶部が無用に更新を実行することで、指示体の検出精度が低下することを、効果的に抑制することが可能となる。
【００１７】
また、本発明のタッチパネルは、表示領域に画像を表示する表示装置と、前記表示領域を検出面とする上記の位置検出装置と、を備えることを特徴とする。
【００１８】
また、上記構成のタッチパネルにおいて、前記表示装置が、前記位置検出部が検出した指示体の位置を、前記表示領域に表示し得るものであり、前記位置検出部が、２つ以上の前記撮像部が生成するそれぞれの画像から、所定の大きさ以上の指示体候補領域をそれぞれ検出する場合は、前記表示装置が、前記位置検出部が検出した指示体の位置を、前記表示領域に表示しないこととしても構わない。
【００１９】
このように構成すると、指示体の検出精度が低い状況下では、指示体の検出結果がユーザに対して報知されないこととなる。そのため、誤った検出結果がユーザに報知されて、ユーザが困惑することを抑制することが可能となる。
【発明の効果】
【００２０】
本発明の構成とすると、画像処理部が検出する指示体を示し得る領域が、真に指示体を示すものであるのか、照明などの撮像状況の変動を示すものであるのか、を区別することが可能となる。そのため、精度良く指示体を検出することが可能となる。
【００２１】
本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２２】
【図１】は、本発明の実施の一形態であるタッチパネルの構成の一例を示す平面図及び側面図である。
【図２】は、位置検出装置の構成の一例を示すブロック図である。
【図３】は、左側撮像部について説明する図である。
【図４】は、右側撮像部について説明する図である。
【図５】は、位置検出装置の全体的な動作の一例を示すフローチャートである。
【図６】は、処理範囲の設定方法の一例を示す図である。
【図７】は、位置検出装置が表示領域の表面上の指示体の位置を検出した場合における、表示装置の表示の一例を示す図である。
【図８】は、図５のＳＴＥＰ５の詳細を示すフローチャートである。
【図９】は、左側差分画像及び右側差分画像の一例を示す図である。
【図１０】は、左側差分画像及び右側差分画像の一例を示す図である。
【図１１】は、左側差分画像及び右側差分画像の一例を示す図である。
【発明を実施するための形態】
【００２３】
＜タッチパネルの構成＞
本発明の実施の一形態であるタッチパネルについて、以下図面を参照して説明する。最初に、タッチパネル及び位置検出装置の構成の一例について、図面を参照して説明する。
【００２４】
図１は、本発明の実施の一形態であるタッチパネルの構成の一例を示す平面図及び側面図である。なお、図１（ａ）は、タッチパネルの画像が表示される面を示す平面図である。一方、図１（ｂ）は、図１（ａ）に示す面を右に向けた場合のタッチパネルの左側面を示す側面図である。また、図２は、位置検出装置の構成の一例を示すブロック図である。
【００２５】
図１に示すように、本実施例のタッチパネル１は、画像を表示する表示領域２１の周囲に、表示領域２１の表面から突出する枠体２２が配置された表示装置２０を備える。また、タッチパネル１は、タッチパネル１の表示領域２１を撮像する左側撮像部１１Ｌ及び右側撮像部１１Ｒを備えた位置検出装置１０（図２参照）を備える。また、位置検出装置１０は、表示領域２１の表面を検出面とし、表示領域２１の表面上における指示体の位置を検出する。
【００２６】
図１では、図１（ａ）に示す平面上で矩形となる表示装置２０の一辺の両端に、左側撮像部１１Ｌ及び右側撮像部１１Ｒが配置される例を示している。以下、図１（ａ）に示す平面において、左側撮像部１１Ｌ及び右側撮像部１１Ｒが配置される辺を上辺、表示装置２０の上辺と対向する辺を下辺、上辺を上側かつ下辺を下側に配置したときに、左側となる辺を左辺、右側となる辺を右辺としている。また、枠体２２は、表示装置２０の上記の各辺から表示領域２１に向けて所定の長さの幅を有する。
【００２７】
左側撮像部１１Ｌは、表示装置２０の上辺の左辺側の端部に配置され、下辺側及び右辺側を撮像する。また、右側撮像部１１Ｒは、表示装置２０の上辺の右辺側の端部に配置され、下辺側及び左辺側を撮像する。図１では、左側撮像部１１Ｌ及び右側撮像部１１Ｒが撮像する方向を、白抜きの矢印で示している。図１に示す左側撮像部１１Ｌ及び右側撮像部１１Ｒの配置態様は一例に過ぎず、表示領域２１の表面を撮像することができる限り、どのような配置態様としても構わない。例えば、左側撮像部１１Ｌ及び右側撮像部１１Ｒの一部（例えば、撮像素子やレンズなどの一部）を表示領域２１の周囲に埋め込むようにして配置しても構わない。
【００２８】
また、図２に示すように、位置検出装置１０は、上記の左側撮像部１１Ｌ及び右側撮像部１１Ｒと、左側撮像部１１Ｌの撮像により生成された左側画像を処理する左側画像処理部１２Ｌと、左側画像処理部１２Ｌでの処理に用いられる左側背景画像を一時的に記憶する左側背景画像記憶部１３Ｌと、右側撮像部１１Ｒの撮像により生成された右側画像を処理する右側画像処理部１２Ｒと、右側画像処理部１２Ｒでの処理に用いられる右側背景画像を一時的に記憶する右側背景画像記憶部１３Ｒと、左側画像処理部１２Ｌによる左側画像の処理結果と右側画像処理部１２Ｒによる右側画像の処理結果とに基づいて表示領域２１の表面上における指示体の位置を算出し指示体位置情報として出力する指示体位置算出部１４と、左側画像処理部１２Ｌによる左側画像の処理結果と右側画像処理部１２Ｒによる右側画像の処理結果とに基づいて左側背景画像記憶部１３Ｌの更新の実行の有無と右側背景画像記憶部１３Ｒの更新の実行の有無とを決定する背景画像更新制御部１５と、を備える。
【００２９】
指示体とは、ユーザの指やスタイラスなどの、ユーザが表示領域２１の任意の位置を指示するために用いるものである。以下では説明の具体化のため、指示体として指を例示して説明する。また、更新とは、左側背景画像記憶部１３Ｌが、記憶している左側背景画像よりも後に左側撮像部１１Ｌで撮像されて生成された左側画像を、新たな左側背景画像として記憶し直すことである。同様に、右側背景画像記憶部１３Ｒが、記憶している右側背景画像よりも後に右側撮像部１１Ｒで撮像されて生成された右側画像を、新たな右側背景画像として記憶し直すことである。
【００３０】
左側撮像部１１Ｌの撮像により生成される左側画像及び右側撮像部１１Ｒの撮像により生成される右側画像は、それぞれ画角が９０°程度であり、表示領域２１の表面全体が画角内に収まるものであると、好ましい。また、左側撮像部１１Ｌ及び右側撮像部１１Ｒは、可視光を検出する受光素子を備えるものであると、好ましい。また、左側撮像部１１Ｌ及び右側撮像部１１Ｒは、例えば単板式ベイヤ配列のイメージセンサや、三板式のイメージセンサなど、カラー画像を生成可能な撮像素子を備えるものであると好ましいが、輝度を検出するイメージセンサなど、モノクロ画像を生成可能な撮像素子を備えるものであっても構わない。
【００３１】
＜指示体の位置の算出方法＞
また、左側画像及び右側画像に基づいた指示体の位置の算出方法について、図３及び図４を参照して説明する。図３は、左側撮像部について説明する図であり、図４は、右側撮像部について説明する図である。図３（ａ）は、左側撮像部１１Ｌが撮像する画角を示す平面図であり、図１（ａ）と同じ平面を示すものである。また、図３（ｂ）は、図３（ａ）に示す左側撮像部１１Ｌの撮像により得られる左側画像を示す図である。同様に、図４（ａ）は、右側撮像部１１Ｒが撮像する画角を示す平面図であり、図１（ａ）と同じ平面を示すものである。また、図４（ｂ）は、図４（ａ）に示す右側撮像部１１Ｒの撮像により得られる右側画像を示す図である。
【００３２】
図３（ａ）及び図３（ｂ）に示すように、左側撮像部１１Ｌは、自身を中心として表示装置２０の上辺から左辺までを含む左側画像を生成する。ここで、左側撮像部１１Ｌが配置される表示装置２０の左上を中心とした角度を考え、上辺を０°、左辺を９０°と定義すると、画角内の指示体Ｄが存在する方向は、時計回り（右回り）の角度αで表現される。また、本例の左側画像は、表示領域２１の他に枠体２２（図中の灰色で表示した部分。他の図でも同様。）や表示装置の側面（図中の格子状のハッチングで表示した部分。他の図でも同様。）が映り込んでおり、左端がα＝９０°、右端がα＝０°に相当する。なお、角度αは、表示装置２０の上辺（左側撮像部１１Ｌ及び右側撮像部１１Ｒを結んだ線）と、左側撮像部１１Ｌ及び指示体Ｄを結んだ線と、が成す角度として解釈することもできる。
【００３３】
右側撮像部１１Ｒについても同様である。図４（ａ）及び図４（ｂ）に示すように、右側撮像部１１Ｒは、自身を中心として表示装置２０の上辺から右辺までを含む右側画像を生成する。ここで、右側撮像部１１Ｒが配置される表示装置２０の右上を中心とした角度を考え、上辺を０°、右辺を９０°と定義すると、画角内の指示体Ｄが存在する方向は、反時計回り（左回り）の角度βで表現される。また、本例の右側画像は、表示領域２１の他に枠体２２や表示装置の側面が映り込んでおり、左端がβ＝０°、右端がβ＝９０°に相当する。なお、角度βは、表示装置２０の上辺（左側撮像部１１Ｌ及び右側撮像部１１Ｒを結んだ線）と、右側撮像部１１Ｒ及び指示体Ｄを結んだ線と、が成す角度として解釈することもできる。
【００３４】
上記の角度α及び角度βは、図３（ｂ）及び図４（ｂ）に示すように、左側画像中及び右側画像中における指示体Ｄの左右方向の位置に対応している。そのため、左側画像処理部１２Ｌは、左側画像から指示体Ｄを検出し、その位置を求めることで、角度αを算出する。同様に、右側画像処理部１２Ｒは、右側画像から指示体Ｄを検出し、その位置を求めることで、角度βを算出する。なお、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒは、左側画像及び右側画像から指示体Ｄを検出しても構わないし、左側画像及び右側画像を処理して得られる画像（例えば、後述する左側差分画像及び右側差分画像）から指示体Ｄを検出しても構わない。いずれにしても、左側画像及び右側画像のそれぞれから、指示体Ｄが検出されることには変わり無い。また、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒが、指示体Ｄを検出する方法の詳細については、後述する。
【００３５】
指示体位置算出部１４は、例えば、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒが算出した角度α及び角度βと、既知である表示装置２０の上辺の長さｋと、を用いた三角測量により、表示領域２１の表面上における指示体Ｄの位置を算出する。具体的に、算出する位置は、表示領域２１を含む面内の任意の位置を示す座標（ｘ，ｙ）で表現する。ここで、表示装置２０の左上の座標を（０，０）、右方ほどｘ座標の値が大きく下方ほどｙ座標の値が大きくなるように定義する場合、以下の連立方程式を解くことで、表示領域２１の表面上における指示体Ｄの座標（ｘ１，ｙ１）を算出することができる。
【００３６】
ｘ１×ｔａｎα＝ｙ１
（ｋ−ｘ１）×ｔａｎβ＝ｙ１
【００３７】
指示体位置算出部１４は、上述のようにして算出した表示領域２１の表面上における指示体Ｄの位置を示す指示体位置情報を生成し、出力する。そして、表示装置２０が、指示体位置情報に基づいて（即ち、ユーザによるタッチパネル１の操作内容に基づいて）、例えば表示領域２１に表示する画像を切り替えるなどの各種動作を行う。
【００３８】
なお、上述の算出方法は一例に過ぎず、他の算出方法を適用しても構わない。例えば、左側撮像部１１Ｌを表示領域２１の左上に配置するとともに、右側撮像部１１Ｒを表示領域２１の右上に配置し、表示領域２１の上側の辺から指示体Ｄまでの時計回りの角度をα、表示領域２１の上側の辺から指示体Ｄまでの反時計回りの角度をβ、表示領域２１の左上を（０，０）、右方ほどｘ座標の値が大きく下方ほどｙ座標の値が大きくなるように定義しても構わない。この場合も、上記の連立方程式に従って、表示領域２１の表面上における指示体Ｄの座標を算出することができる。
【００３９】
また、図３及び図４に示した角度α及び角度βの定義や、左側撮像部１１Ｌ及び右側撮像部１１Ｒによる画像の撮像方法（例えば、使用するレンズなど）は一例に過ぎず、表示領域２１の表面上の指示体Ｄの位置が検出可能である限り、他のどのような定義及び撮像方法を適用しても構わない。例えば、表示領域２１の端辺が湾曲する画像が撮像される撮像方法を適用しても構わない。
【００４０】
＜位置検出装置の全体動作例＞
次に、位置検出装置１０の全体的な動作の一例について、図面を参照して説明する。図５は、位置検出装置の動作の一例について説明する図である。なお、本実施例では、左側撮像部１１Ｌ及び右側撮像部１１Ｒ、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒ、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが、それぞれ同様の動作を行う。そのため、以下では説明の簡略化のために、左側撮像部１１Ｌ、左側画像処理部１２Ｌ及び左側背景画像記憶部１３Ｌのそれぞれの動作を代表させて説明し、右側撮像部１１Ｒ、右側画像処理部１２Ｒ及び右側背景画像記憶部１３Ｒのそれぞれの動作については同様のものとして、その説明を省略する。
【００４１】
図５に示すように、位置検出装置１０が動作を開始すると、最初に、左側撮像部１１Ｌの撮像により生成された左側画像を左側画像処理部１２Ｌが取得する（ＳＴＥＰ１）。なお、左側画像処理部１２Ｌは、左側撮像部１１Ｌから取得する左側画像の信号値の種類を必要に応じて変換しても構わない。なお、左側画像処理部１２Ｌが処理する左側画像は、例えば、一つの画素がＲ（赤）Ｇ（緑）Ｂ（青）の各色の信号値を備えたものであっても構わないし、Ｙ（輝度）Ｕ，Ｖ（色差）の各種類の信号値を備えたものであっても構わないし、Ｈ（色相）Ｓ（彩度）Ｂ（輝度）の各種類の信号値を備えたものであっても構わない。
【００４２】
左側画像処理部１２Ｌは、取得した左側画像が１フレーム目（即ち、動作の開始後最初に取得した左側画像）であるか否か、または、取得した左側画像中の表示領域２１が以前に取得した（例えば、前フレームの）左側画像中の表示領域２１からずれたか否かを判定する（ＳＴＥＰ２）。
【００４３】
左側画像処理部１２Ｌは、取得した左側画像が１フレーム目であると判定する場合、または、取得した左側画像中の表示領域２１がずれたと判定する場合（ＳＴＥＰ２、ＹＥＳ）、左側画像中から表示領域２１を検出する（ＳＴＥＰ３）。このとき、例えば所定の目印などを検出することで表示領域２１の位置を確認しても構わないし、表示領域２１で表示される画像（光）などに基づいて表示領域２１の位置を確認しても構わない。
【００４４】
左側画像処理部１２Ｌは、検出された表示領域２１に基づいて、左側画像中で処理を行う範囲（以下、処理範囲とする）を設定する（ＳＴＥＰ４）。処理範囲について図６を参照して説明する。図６は、処理範囲の設定方法の一例について説明する左側画像の模式図であり、図３（ｂ）に相当するものである。図６は、左側画像中で表示領域２１面上となる範囲が、処理範囲Ａとして設定される例を示したものである。
【００４５】
左側画像処理部１２Ｌが、処理範囲Ａを設定する（ＳＴＥＰ４）、または、取得した左側画像が１フレーム目ではなく表示領域２１がずれていないと判定すると（ＳＴＥＰ２、ＮＯ）、次に、背景画像更新制御部１５が、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒの更新の実行の有無を決定する（ＳＴＥＰ５）。なお、このＳＴＥＰ５における、背景画像更新制御部１５による左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒの更新の実行の有無の具体的な決定方法の詳細については、後述する。
【００４６】
背景画像更新制御部１５が、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが更新を実行することを決定すると（ＳＴＥＰ５、ＹＥＳ）、左側背景画像記憶部１３Ｌは、更新を実行する（ＳＴＥＰ６）。具体的に、左側背景画像記憶部１３Ｌは、現在記憶している左側背景画像よりも後に左側撮像部１１Ｌで撮像されて得られた左側画像を、新たな左側背景画像として記憶し直す。例えば、直近のＳＴＥＰ１で取得した左側画像を、新たな左側背景画像として記憶し直す。
【００４７】
一方、背景画像更新制御部１５が、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが更新を実行しないことを決定すると（ＳＴＥＰ５、ＮＯ）、左側背景画像記憶部１３Ｌは、新たな左側背景画像を記憶し直すことなく、次の動作へと進む。
【００４８】
左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが更新を実行する（ＳＴＥＰ６）、または、背景画像更新制御部１５が、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが更新を実行しないことを決定すると（ＳＴＥＰ５、ＮＯ）、左側画像処理部１２Ｌは、左側背景画像記憶部１３Ｌに記憶されている左側背景画像と、直近のＳＴＥＰ１で取得した左側画像と、から左側差分画像を算出する（ＳＴＥＰ７）。なお、ＳＴＥＰ６で左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが更新を実行する場合、ＳＴＥＰ７に進むことなくＳＴＥＰ１に戻り、新たに左側画像を取得し直しても構わない。
【００４９】
ＳＴＥＰ７において、例えば左側画像処理部１２Ｌは、左側背景画像記憶部１３Ｌに記憶されている左側背景画像と、直近のＳＴＥＰ１で取得した左側画像と、の対応する位置の画素ごとに信号値の差分値を求め、当該差分値を各画素の信号値とする左側差分画像を算出する。なお、左側背景画像及び左側画像の各画素が複数種類の信号値を備える場合、信号値の種類ごとに差分値を算出すると好ましい。また、左側背景画像及び左側画像に含まれる全ての画素について差分値を算出しても構わないが、算出する画素を処理範囲Ａ内に限ると、演算量を低減することができるため好ましい。
【００５０】
そして、左側画像処理部１２Ｌは、生成された左側差分画像の各画素から、指示体Ｄを表示する画素（以下、指示体表示画素とする）と、背景を表示する画素（以下、背景表示画素とする）とを特定する（ＳＴＥＰ８）。例えば、差分値がある閾値以上となる画素を指示体表示画素とし、差分値が当該ある閾値よりも小さくなる画素を背景表示画素とする。なお、この「閾値」は、指示体Ｄであると精度良く判定できる程度に大きい値とする。また、左側画像処理部１２Ｌは、左側背景画像の指示体表示画素と背景表示画素とを異なる信号値で表現した画像（いわゆる、二値化画像）を生成しても構わない。
【００５１】
さらに、左側画像処理部１２Ｌは、左側差分画像（二値化画像を含む）中の指示体表示画素が、検出範囲内で所定数以上存在するか否かを判定する（ＳＴＥＰ９）。なお、検出範囲は、少なくとも処理範囲内の範囲であると好ましく、例えば、指示体Ｄが表示領域２１に触れたと判断され得る範囲としても構わない。また、この「所定数」は、指示体Ｄであると精度良く判定できる程度の数であり、例えばノイズなどに起因する画素単位の変動を排除可能な数とする。
【００５２】
左側画像処理部１２Ｌは、左側差分画像（または二値化画像）中の指示体表示画素が、検出範囲内で所定数以上存在すると判定する場合（ＳＴＥＰ９、ＹＥＳ）に、左側撮像部１１Ｌに対して指示体Ｄが存在する方向を特定する（ＳＴＥＰ１０）。例えば、上述の方法によって角度αを算出する（図３参照）。
【００５３】
指示体位置算出部１４は、例えば上述の方法により、ＳＴＥＰ１０で得られた角度α及び角度βに基づいて、表示領域２１面上の指示体Ｄの位置を算出する（ＳＴＥＰ１１）。そして、指示体位置算出部１４は、算出した指示体Ｄの位置を指示体位置情報として、表示装置２０に出力する。
【００５４】
指示体位置算出部１４が表示領域２１面上の指示体Ｄの位置を算出する（ＳＴＥＰ１１）、または、左側画像処理部１２Ｌが指示体表示画素が所定数より少ないと判定した後（ＳＴＥＰ９、ＮＯ）、位置検出装置１０の動作を終了する場合は（ＳＴＥＰ１２、ＹＥＳ）、動作を終了する。一方、終了せずに動作を継続する場合は（ＳＴＥＰ１２、ＮＯ）、ＳＴＥＰ１に戻る。
【００５５】
なお、左側背景画像が、例えば図５に示す動作の開始前に、予め左側背景画像記憶部１３Ｌに記憶されることとしても構わない。例えば、左側画像処理部１２Ｌが、連続して取得される複数フレームの画像を所定時間監視して、信号値の変動（差分値）が小さくなったフレームを左側背景画像として左側背景画像記憶部１３Ｌに記憶しても構わない。また例えば、１フレーム目の左側画像を左側背景画像として記憶しても構わない。また、左側背景画像記憶部１３Ｌに記憶される左側背景画像を、処理範囲Ａ内の画像に限ると、記憶量を低減することができるため、好ましい。
【００５６】
また、上述のＳＴＥＰ１〜ＳＴＥＰ１０の各説明中における「左」、「Ｌ」及び「α」を、「右」、「Ｒ」及び「β」に適宜読み替えることで、右側撮像部１１Ｒ、右側画像処理部１２Ｒ及び右側背景画像記憶部１３Ｒのそれぞれの具体的な動作を把握することができる。
【００５７】
また、左側画像及び右側画像の少なくとも一方に対してＳＴＥＰ４の処理範囲Ａの設定を行った場合、ＳＴＥＰ１に戻り左側撮像部１１Ｌが新たに撮像した左側画像を左側画像処理部１２Ｌが取得し直すとともに、右側撮像部１１Ｒが新たに撮像した右側画像を右側画像処理部１２Ｒが取得し直しても構わない。
【００５８】
また、表示装置２０は、ＳＴＥＰ１１において指示体位置算出部１４から出力される指示体位置情報に基づいて、検出された指示体の位置を表示領域２１に表示しても構わない。この場合の表示装置２０の表示例を、図７を参照して説明する。図７は、位置検出装置が表示領域の表面上の指示体の位置を検出した場合における、表示装置の表示の一例を示す図である。
【００５９】
図７に示す表示例は、表示装置２０が、表示領域２１中の指示体位置情報が示す位置（即ち、表面上に指示体Ｄが存在する位置）に、所定のマーク（図７では黒塗りの丸）を表示するものである。このように、位置検出装置１０が検出した指示体Ｄの位置を、表示装置２０が表示すると、ユーザが自身の操作内容を容易に把握することができるため、好ましい。
【００６０】
＜更新の実行の有無の決定方法＞
次に、図５に示すＳＴＥＰ５の詳細について、図面を参照して説明する。図８は、図５のＳＴＥＰ５の詳細を示すフローチャートである。
【００６１】
図８に示すように、最初に、左側画像処理部１２Ｌが左側差分画像を生成するとともに、右側画像処理部１２Ｒが右側差分画像を生成する（ＳＴＥＰ５１）。例えば、左側画像処理部１２Ｌは、左側背景画像記憶部１３Ｌに記憶されている左側背景画像と、直近のＳＴＥＰ１で取得した左側画像と、の対応する位置の画素ごとに信号値（例えば、輝度を示す信号値）の差分値を求め、当該差分値を各画素の信号値とする左側差分画像を算出する。右側画像処理部１２Ｒも同様に、右側背景画像と右側画像とから右側差分画像を算出する。なお、ＳＴＥＰ５１で算出される左側差分画像及び右側差分画像と、上述した図５のＳＴＥＰ７で算出される左側差分画像及び右側差分画像とが同様のものとなる場合、ＳＴＥＰ７を省略し、ＳＴＥＰ５１で算出した左側差分画像及び右側差分画像を、ＳＴＥＰ７以降の処理に適用しても構わない。
【００６２】
また、左側画像処理部１２Ｌは、左側差分画像中の差分値が所定の閾値よりも大きい画素から成る領域（以下、差分大領域とする）を検出する。同様に、右側画像処理部１２Ｒも、右側差分画像中の差分値が所定の閾値よりも大きい画素から成る差分大領域を検出する。なお、この閾値は、上述のＳＴＥＰ８における閾値と同じ値であっても構わないし、異なる値であっても構わない。また、この差分大領域は、差分値が大きい画素から成る領域であるため、ＳＴＥＰ８で特定される指示体表示画素から成る領域と同種のものであると解釈され得る（いずれの領域も、指示体を示し得る領域（指示体候補領域）である）。
【００６３】
次に、背景画像更新制御部１５が、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒのそれぞれで検出される差分大領域を確認する。背景画像更新制御部１５は、左側差分画像及び右側差分画像の少なくとも一方に差分大領域が存在しない（例えば、ノイズに起因するような極小さい領域を除いて、差分大領域が存在しない）ことを確認すると（ＳＴＥＰ５２、ＮＯ）、次に更新タイミングであるか否かを確認する（ＳＴＥＰ５３）。
【００６４】
更新タイミングは、予め設定された所定のタイミング（例えば、１分間隔などの定期的なタイミング）である。背景画像更新制御部１５が、更新タイミングであることを確認すると（ＳＴＥＰ５３、ＹＥＳ）、背景画像更新制御部１５は、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが更新を実行することを、決定する（ＳＴＥＰ５、ＹＥＳ）。一方、背景画像更新制御部１５が、更新タイミングではないことを確認すると（ＳＴＥＰ５３、ＮＯ）、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが更新を実行しないことを、決定する（ＳＴＥＰ５、ＮＯ）。
【００６５】
一方、背景画像更新制御部１５が、左側差分画像及び右側差分画像の両方に差分大領域が存在することを確認すると（ＳＴＥＰ５２、ＹＥＳ）、背景画像更新制御部１５は、それぞれの差分大領域の大きさを確認する（ＳＴＥＰ５４）。そして、背景画像更新制御部１５は、その確認した結果に応じて、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒの更新の実行の有無を決定する。なお、背景画像更新制御部１５が、左側差分画像及び右側差分画像中の差分値が閾値以上となる画素の数をそれぞれ計数することで、差分大領域の大きさを確認しても構わない。
【００６６】
左側差分画像及び右側差分画像から検出されるそれぞれの差分大領域の大きさに基づいた、背景画像更新制御部１５による左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒの更新の実行の有無の決定方法について、図面を参照して説明する。図９〜図１１は、左側差分画像及び右側差分画像の各例を示す図である。図９（ａ）、図１０（ａ）及び図１１（ａ）が、それぞれの例における左側差分画像を示したものであり、図９（ｂ）、図１０（ｂ）及び図１１（ｂ）が、それぞれの例における右側差分画像を示したものである。また、それぞれの図中で、差分大領域を黒塗りの領域で表示する。
【００６７】
図９は、左側差分画像及び右側差分画像の両方から検出される差分大領域ＬＡ１，ＲＡ１が、所定の大きさ（例えば、照明などの撮像環境の変動に起因して広範囲となる差分大領域と、左側撮像部１１Ｌ及び右側撮像部１１Ｒから十分離れた位置の指示体に起因して狭範囲となる差分大領域と、を好適に区別し得る大きさ。以下同じ。）よりも大きくなる場合を示すものである（ＳＴＥＰ５４、ＹＥＳ）。
【００６８】
指示体Ｄが、左側撮像部１１Ｌ及び右側撮像部１１Ｒのいずれかに近接する場合、左側差分画像及び右側差分画像のいずれかから検出される差分大領域が、所定の大きさ以上になることはあり得る（図１０参照）。しかしながら、指示体Ｄが１つであれば、指示体Ｄに起因して、左側撮像部１１Ｌ及び右側撮像部１１Ｒの両方から検出される差分大領域ＬＡ１，ＲＡ１が、ともに所定の大きさ以上となることはあり得ない。そのため、ともに所定の大きさ以上となる、図９に示す差分大領域ＬＡ１，ＲＡ１は、撮像環境の変動に起因するものと推定することができる。
【００６９】
そこで、背景画像更新制御部１５は、左側差分画像及び右側差分画像の両方から検出される差分大領域が、ともに所定の大きさ以上となることを確認すると（ＳＴＥＰ５４、ＹＥＳ）、更新を即座に実行するべく、更新タイミングを変更する（ＳＴＥＰ５５）。そして、背景画像更新制御部１５は、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが更新を実行することを、決定する（ＳＴＥＰ５３、ＹＥＳ及びＳＴＥＰ５、ＹＥＳ）。
【００７０】
これに対して、図１０のように、左側差分画像及び右側差分画像の一方（本例では左側差分画像）から検出される差分大領域ＬＡ２が所定の大きさ以上であり、他方（本例では右側差分画像）から検出される差分大領域ＲＡ２が所定の大きさよりも小さい場合は、上述のように、差分大領域ＬＡ２，ＲＡ２が指示体Ｄに起因したものであると推定することができる。なお、図１０の場合、指示体Ｄは、左側撮像部１１Ｌに近接する位置に存在するものと推定することができる。
【００７１】
また、図１１のように、左側差分画像及び右側差分画像の両方から検出される差分大領域ＬＡ３，ＲＡ３が、ともに所定の大きさよりも小さい場合も、差分大領域ＬＡ３，ＲＡ３が指示体Ｄに起因したものであると推定することができる。なお、図１１の場合、指示体Ｄは、左側撮像部１１Ｌ及び右側撮像部１１Ｒから離れた位置に存在するものと推定することができる。
【００７２】
そこで、背景画像更新制御部１５は、左側差分画像及び右側差分画像の少なくとも一方から検出される差分大領域が、所定の大きさよりも小さくなることを確認すると（ＳＴＥＰ５４、ＮＯ）、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが更新を実行しないことを、決定する（ＳＴＥＰ５３、ＹＥＳ）。
【００７３】
図１０や図１１の場合、左側画像及び右側画像には、指示体Ｄが含まれ得る。そのため、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが更新を実行して、指示体Ｄを含み得る左側画像及び右側画像を、新たな左側背景画像及び新たな右側背景画像としてそれぞれ記憶し直してしまうと、ＳＴＥＰ９において指示体Ｄの検出精度が低下する可能性が高くなる。そのため、上記の場合は、仮に背景画像更新制御部１５が更新タイミングであることを確認したとしても、背景画像更新制御部１５は、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが更新を実行しないことを、決定する。
【００７４】
以上のように構成すると、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒが検出する指示体を示し得る領域が、真に指示体Ｄを示すものであるのか、照明などの撮像状況の変動を示すものであるのか、を区別することが可能となる。そのため、精度良く指示体Ｄを検出することが可能となる。
【００７５】
具体的に例えば、左側差分画像及び右側差分画像から検出する差分大領域が、真に指示体Ｄを示すものであるのか、照明などの撮像状況の変動を示すものであるのか、を区別することが可能となる。
【００７６】
また、背景画像更新制御部１５が、左側背景画像及び右側背景画像の更新が必要な状況を精度良く検出して、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒに更新を実行させることが可能となる。そのため、撮像環境の変動によって指示体の検出精度が低下することを、効果的に抑制することが可能となる。
【００７７】
また、背景画像更新制御部１５が、左側背景画像及び右側背景画像の更新を実行するべきではない状況を精度良く検出して、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒに更新を実行させないことが可能となる。そのため、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが無用に更新を実行することで、指示体Ｄの検出精度が低下することを、効果的に抑制することが可能となる。
【００７８】
なお、図７に、検出した指示体の位置を表示領域２１中に表示する例を示した。しかしながら、背景画像更新制御部１５が、左側差分画像及び右側差分画像の両方から検出される差分大領域がともに所定の大きさ以上となることを確認する場合は、指示体位置算出部１４を制御して、表示装置２０が当該表示を行わないように制御すると、好ましい。または、背景画像更新制御部１５が、指示体位置算出部１４を制御して、指示体位置情報を算出しないように制御すると、好ましい。
【００７９】
このように構成すると、指示体の検出精度が低い状況下では、指示体の検出結果がユーザに対して報知されないこととなる。そのため、誤った検出結果がユーザに報知されて、ユーザが困惑することを抑制することが可能となる。
【００８０】
また、左側撮像部１１Ｌ及び右側撮像部１１Ｒの間隔が大きい（例えば、図３及び図４のｋが大きい）ほど、図９の状態と図１０及び図１１の状態とを区別し易くなり、区別する精度を向上させることができるため、好ましい。また、表示装置２０の上辺の略中央に指示体Ｄが位置するとき（左側差分画像及び右側差分画像の双方において、指示体Ｄに起因する差分大領域が大きくなるとき）の差分大領域の大きさを求め、当該大きさを図８のＳＴＥＰ５４における所定の大きさとして規定すると、好ましい。このように構成すると、差分大領域が指示体Ｄに起因するものであるのか、撮像環境の変動に起因するものであるのか、を精度良く推定することが可能となる。また、このようにＳＴＥＰ５４における所定の大きさを求める動作は、出荷前に製造者が行うものであっても構わないし、ユーザが個別に行うものであっても構わない。
【００８１】
また、図５のＳＴＥＰ５及びＳＴＥＰ６（背景画像の更新時）において、差分大領域を区別する例について説明したが、この領域を区別する方法を、図５のＳＴＥＰ８及びＳＴＥＰ９（指示体Ｄの検出時）に適用しても構わない。この場合、指示体表示画素が成す領域が、真に指示体Ｄを示すものであるのか、照明などの撮像状況の変動を示すものであるのか、を区別することが可能となる。
【００８２】
また、背景画像更新制御部１５が、ＳＴＥＰ５２及びＳＴＥＰ５４の条件を満たす（それぞれがＹＥＳとなる）フレームが、継続して所定数（例えば、撮像環境の変動がある程度継続的なものであり、瞬間的なものではないとみなせる程度の数）以上となったか否かを確認する場合に、更新を即座に実行するべく更新タイミングを変更（ＳＴＥＰ５５）しても構わない。即ち、背景画像更新制御部１５が、撮像環境の時間方向における変動の有無を確認しても構わない。
【００８３】
＜変形例＞
なお、枠体２２を備えないこととしても構わないが、表示領域２１の表面上における撮像環境の変動の抑制や、左側画像及び右側画像の中から精度良く指示体を検出する観点から、枠体２２を備える構成とすると好ましい。また、枠体２２は、表示領域２１の周囲であればどの位置に設けても構わないし、どのような色としても構わない。ただし、光の反射が少ない色（例えば、黒色または灰色）や、指示体Ｄと反対の色（即ち補色であり、例えば、左側画像及び右側画像において枠体２２及び指示体Ｄのそれぞれを表示する画素のＲＧＢ、ＹＵＶ、ＨＳＢなどの信号値の差分値が大きくなる色）とすると、より指示体が検出され易くなるため、好ましい。また、枠体２２の色を光の反射が少ない色（例えば、黒色または灰色）にすると、撮像環境の変動をさらに抑制することが可能となるため、好ましい。
【００８４】
また、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒが、左側画像及び右側画像の一部の範囲（処理範囲、検出範囲）に対して処理を行うこととして説明したが、左側撮像部１１Ｌ及び右側撮像部１１Ｒが、当該範囲の画像のみが生成される撮像を行うものとしても構わない。
【００８５】
また、左側撮像部１１Ｌ及び右側撮像部１１Ｒの２つの撮像部を備える構成について例示したが、３つ以上の撮像部を備える構成としても構わない。画像処理部や背景画像記憶部についても同様である。
【００８６】
また、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒ、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒを、図２に示すブロック図上で別体として表示したが、ハードウェア上では一体であっても構わない。
【００８７】
また、本発明の実施の形態における位置検出装置１０について、一部または全部の動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【００８８】
また、上述した場合に限らず、図１に示すタッチパネル１や、図２に示す位置検出装置１０は、ハードウェア、または、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いてタッチパネル１や位置検出装置１０の一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。
【００８９】
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【００９０】
本発明は、検出面上の指示体の位置を検出する位置検出装置や、当該位置検出装置を備えたタッチパネルに利用可能である。
【符号の説明】
【００９１】
１      タッチパネル
１０    位置検出装置
１１Ｌ  左側撮像部
１１Ｒ  右側撮像部
１２Ｌ  左側画像処理部
１２Ｒ  右側画像処理部
１３Ｌ  左側背景画像記憶部
１３Ｒ  右側背景画像記憶部
１４    指示体位置算出部
１５    背景画像更新制御部
２０    表示装置
２１    表示領域
２２    枠体
Ｄ    指示体
【図１】
2012043142.tif 000003
【図２】
2012043142.tif 000004
【図３】
2012043142.tif 000005
【図４】
2012043142.tif 000006
【図５】
2012043142.tif 000007
【図６】
2012043142.tif 000008
【図７】
2012043142.tif 000009
【図８】
2012043142.tif 000010
【図９】
2012043142.tif 000011
【図１０】
2012043142.tif 000012
【図１１】
2012043142.tif 000013