(57)【要約】【課題】差分ノイズによる影響を軽減して、差分式タッチパネルへのタッチ・非タッチをより精度よく認識することができる差分ノイズ置換装置を提供することにある。【解決手段】差分ノイズ置換装置１００は、差分ノイズ画素に関する差分値である差分ノイズが、所定の範囲に含まれているかどうかを判定する差分ノイズ比較部１２０と、差分ノイズ比較部１２０が、差分ノイズは上記所定の範囲に含まれていないと判定した場合に、その差分ノイズを、上記所定の範囲に含まれる特定画素値に置換する差分ノイズ置換部１３０と、を備える。それゆえ、差分ノイズ置換装置１００は、差分ノイズによる影響を軽減して、差分式タッチパネルへのタッチ・非タッチをより精度よく認識することができる。【選択図】図１
2011118466.tif 000002
【特許請求の範囲】
【請求項１】
表示面の背面に設置されたバックライトを点灯または消灯した状態で同一の撮像対象を撮像することで得られる点灯時撮像画像および消灯時撮像画像について、これら２つの撮像画像内で同一位置または近傍位置に存在する画素に関する差分値を、上記点灯時撮像画像と上記消灯時撮像画像との間で算出し、当該差分値に基づいて、上記表示面への入力の有無を判定する差分式タッチパネルに用いられる差分ノイズ置換装置であって、
上記点灯時撮像画像および上記消灯時撮像画像のそれぞれについて、上記撮像対象が上記点灯時撮像画像または上記消灯時撮像画像の何れか一方のみに撮像されている画素を差分ノイズ画素とした場合、
上記差分ノイズ画素に関する上記差分値である差分ノイズが、所定の範囲に含まれているかどうかを判定する判定手段と、
上記判定手段が、上記差分ノイズは上記所定の範囲に含まれていないと判定した場合に、その差分ノイズを、上記所定の範囲に含まれる特定画素値に置換する置換手段と、
を備えることを特徴とする差分ノイズ置換装置。
【請求項２】
上記所定の範囲は、上記差分式タッチパネルが上記表示面への入力の有無を判定する基準とする基準画素値に対応付けられていることを特徴とする請求項１に記載の差分ノイズ置換装置。
【請求項３】
上記点灯時撮像画像および上記消灯時撮像画像のそれぞれについて、上記撮像対象が上記点灯時撮像画像および上記消灯時撮像画像のいずれにも撮像されている画素を重畳画素とした場合、
上記重畳画素に関する上記差分値である重畳差分値が上記所定の範囲に含まれている場合に、上記置換手段は、上記重畳差分値を上記特定画素値として上記差分ノイズと置換することを特徴とする請求項１または２に記載の差分ノイズ置換装置。
【請求項４】
画素値０が上記所定の範囲に含まれており、上記差分ノイズが０よりも小さい場合に、上記置換手段は、画素値０を上記特定画素値として上記差分ノイズと置換することを特徴とする請求項１または２に記載の差分ノイズ置換装置。
【請求項５】
上記点灯時撮像画像および上記消灯時撮像画像のそれぞれについて、上記差分ノイズ画素および上記重畳画素以外の画素を背景画素とした場合、
上記背景画素に関する上記差分値である背景差分値が上記所定の範囲に含まれている場合に、上記置換手段は、上記背景差分値を上記特定画素値として上記差分ノイズと置換することを特徴とする請求項１または２に記載の差分ノイズ置換装置。
【請求項６】
上記差分ノイズ画素の周囲に存在する２つの画素を抽出して、各々の画素について上記差分値を算出し、その２つの差分値を用いて線形補間を行う線形補間手段を備え、
上記置換手段は、上記線形補間手段が線形補間した補間画素値を上記特定画素値として上記差分ノイズと置換することを特徴とする請求項１または２に記載の差分ノイズ置換装置。
【請求項７】
上記線形補間手段は、抽出する画素に関する上記差分値が上記所定の範囲に含まれる画素のみを抽出して線形補間を行うことを特徴とする請求項６に記載の差分ノイズ置換装置。
【請求項８】
表示面の背面に設置されたバックライトを点灯または消灯した状態で同一の撮像対象を撮像することで得られる点灯時撮像画像および消灯時撮像画像について、これら２つの撮像画像内で同一位置または近傍位置に存在する画素に関する差分値を、上記点灯時撮像画像と上記消灯時撮像画像との間で算出し、当該差分値に基づいて、上記表示面への入力の有無を判定する差分式タッチパネルに用いられる差分ノイズ置換方法であって、
上記点灯時撮像画像および上記消灯時撮像画像のそれぞれについて、上記撮像対象が上記点灯時撮像画像または上記消灯時撮像画像の何れか一方のみに撮像されている画素を差分ノイズ画素とした場合、
上記差分ノイズ画素に関する上記差分値である差分ノイズが、所定の範囲に含まれているかどうかを判定する判定ステップと、
上記判定ステップにて、上記差分ノイズは上記所定の範囲に含まれていないと判定された場合に、その差分ノイズを、上記所定の範囲に含まれる特定画素値に置換する置換ステップと、
を含むことを特徴とする差分ノイズ置換方法。
【請求項９】
表示面の背面に設置されたバックライトを点灯または消灯した状態で同一の撮像対象を撮像することで得られる点灯時撮像画像および消灯時撮像画像について、これら２つの撮像画像内で同一位置または近傍位置に存在する画素に関する差分値を、上記点灯時撮像画像と上記消灯時撮像画像との間で算出し、当該差分値に基づいて、上記表示面への入力の有無を判定する差分式タッチパネルに用いられる差分ノイズ置換プログラムであって、
上記点灯時撮像画像および上記消灯時撮像画像のそれぞれについて、上記撮像対象が上記点灯時撮像画像または上記消灯時撮像画像の何れか一方のみに撮像されている画素を差分ノイズ画素とした場合、
上記差分ノイズ画素に関する上記差分値である差分ノイズが、所定の範囲に含まれているかどうかを判定する判定ステップと、
上記判定ステップにて、上記差分ノイズは上記所定の範囲に含まれていないと判定された場合に、その差分ノイズを、上記所定の範囲に含まれる特定画素値に置換する置換ステップと、をコンピュータに実行させるための差分ノイズ置換プログラム。
【請求項１０】
請求項９に記載の差分ノイズ置換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
請求項１から７の何れか１項に記載のノイズ置換装置を備えた電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、差分ノイズによる影響を軽減して、差分式タッチパネルへのタッチ・非タッチをより精度よく認識することが可能な差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、上記差分ノイズ置換装置を備えた電子機器に関する。
【背景技術】
【０００２】
携帯電話やＰＤＡ（Personal Digital Assistants）などの各種機器に、画像表示部として液晶ディスプレイを備えた画像表示装置（以下、「液晶表示装置」と呼ぶ。）が幅広く利用されていることは周知の通りである。特に、ＰＤＡでは、古くからタッチセンサー
を備えることにより、直接指などを液晶ディスプレイに接触させることによって情報を入
力するタッチ入力が可能となっている。また、携帯電話やその他の機器においても、タッ
チセンサーを備える液晶表示装置の普及が期待されている。
【０００３】
このようなタッチセンサーを備える液晶表示装置の一例として特許文献１に開示された技術がある。
【０００４】
特許文献１に記載の表示装置は、表示装置の表示面での画像の表示と受光とを同時又は交互に行う場合において、表示面を発光させて画像を表示させる処理を行うと共に、表示面に入射した光の受光を行い、その受光として、表示用発光が行われている状態（バックライトＯＮ）と、発光していない状態（バックライトＯＦＦ）との２回の受光を行う。そして、その２回の受光量の差分を検出することにより、表示面への接触または近接した状態を検出している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２７６２２３号公報（２００６年１０月１２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の表示装置では、バックライトＯＮの状態とバックライトＯＦＦの状態との間に時間差が生じ、その間に撮像対象（指、ペン等）が動くと、２つの画像に位置ずれが生じる。そして、その位置ずれによって差分ノイズが発生し、その差分ノイズが原因となって、対象物が表示面に接触していない状態（非タッチの状態）を対象物が表示面に接触している状態（タッチの状態）と誤って認識してしまうという問題を引き起こす。以下、この問題を具体的に説明する。
【０００７】
まず、特許文献１に記載の表示装置における撮像対象の検出方法を図３６〜図３８を用いて説明する。なお、光学式タッチパネルは公知技術であるため、ここでの詳細説明は省略する。
【０００８】
図３６は、バックライトが点灯（ＯＮ）した状態における、表示装置（以下、単にタッチパネルと呼ぶ場合もある。）と撮像対象（指の腹（以下、「指腹」と呼ぶ場合もある。）との関係や撮像画像などを説明するための概略図である。なお、図３６（ａ）〜（ｃ）総てにおいて、タッチパネルに指が接触したとき（以下、「タッチ時」と呼ぶ場合もある。）の様子を図左側に、タッチパネルから指が離れたとき（以下、「非タッチ時」と呼ぶ場合もある。）の様子を図右側に示している。
【０００９】
ここで、同図（ａ）は、バックライトから出射された光が指腹に反射され、その光（以下、「反射光」と呼ぶ場合もある。）が、タッチパネルの液晶ディスプレイの各画素に内蔵された光センサによって受光される様子を示す図である。同図に示すように、タッチパネルには指の先端部のみがタッチしており、指の付け根側においては、タッチパネルと指とは非タッチの状態となっている。従って、タッチ時において、光センサで受光される反射光は、指先が最も強く、指の付け根側に向かうほど弱くなる。非タッチ時においては、反射光は、タッチ時と比べて全般的に弱くなる。なお、同図では、反射光の強弱が線の太さで表されており、太いほど反射光は強く、細いほど反射光は弱い。
【００１０】
同図（ｂ）は、周囲が暗い場合において、バックライトをＯＮした状態で、光センサによって撮像される指腹の撮像画像の様子を示す概要図である。
【００１１】
同図に示すように、タッチ時においては、指がタッチパネルに触れているほど白く表され、指の付け根側に向かうほど、画像は白から黒へグラデーションがかかってくる。非タッチ時においては、指の先端部と指の付け根側とは、色の濃淡に若干の差が認められるものの、タッチ時と比べてさほどの差は認められない。これは、同図（ａ）を参照して説明したように、タッチ時と非タッチ時とで反射光の強さに差があるため、光センサの受光量に差が生じるためである。
【００１２】
同図（ｃ）は、同図（ｂ）の画像上に設けられた仮想軸Ｌ上の位置を横軸に、当該画像と、その背景となる画像に係る画素（以下、「背景画素」と呼ぶ場合もある。）との画素差を縦軸に表したグラフを示す。なお、軸Ｌは、指腹の画像の概中心点Ｐを通り、指先から指の付け根の方向（図面左右方向）へ延びる直線で表されている。
【００１３】
同図に示すように、タッチ時においては、パネルと接触している指先部分は背景画素との画素値の差が大きく、それゆえ、指先部分のグラフの傾きは急峻になる。しかしながら、パネル面から徐々に離れる指の付け根側の画素は、背景画素との画素値の差が徐々に小さくなる。従って、同図に示すように、指の付け根側のグラフの傾きは、指先側のグラフの傾きと比べて緩やかになる。なお、同図では、タッチ時における指腹部分の画素と背景画素との最大画素値差をＩ１としている。
【００１４】
一方、非タッチ時においては、反射光が全般的に弱いため、指腹部分の画素と背景画素との画素値の差はタッチ時に比べて小さくなる。従って、非タッチ時は、タッチ時と比べて、グラフの勾配は穏やかになる。なお、同図では、非タッチ時における最大画素値差をＩ２としている。そして、上述した反射光の強弱によりＩ２＜Ｉ１の関係が成立している。
【００１５】
次に、図３７、図３８は、特許文献１に記載の表示装置における撮像対象の検出方法を説明するための概略図であり、図３７は周囲が暗い条件下（以下、「暗条件環境」と呼ぶ場合もある。）の場合を、図３８は周囲が明るい条件下（以下、「明条件環境」と呼ぶ場合もある。）の場合を、それぞれ説明するための図である。ここで、図左側は指がパネルに触れた状態（タッチ状態）を、図右側は指がパネルから離れた状態（非タッチ状態）を示す。なお、図３６を参照して説明した内容については説明を省略する。
【００１６】
当該表示装置では、光センサは、バックライトＯＮおよびＯＦＦにおいて２回の受光を行う。そして、その２回の受光量の差分が検出されることにより、表示面への撮像対象の接触または近接状態が検出される。つまり、当該表示装置は、バックライトＯＮにおける画像の画素値から、バックライトＯＦＦにおける画像の画素値を差分して、その差分値が閾値（Ｉｔ）を上回る場合には（図３７（ｅ）左側図、および、図３８（ｅ）左側図）、撮像対象が表示面に接触したと判定する。一方、当該表示装置は、差分値が閾値（Ｉｔ）を下回る場合には（図３７（ｅ）右側図、および、図３８（ｅ）右側図）、撮像対象が表示面に近接した状態であって、撮像対象は表示面に接触していない状態であるものと判定する。
【００１７】
このように、特許文献１に記載の表示装置は、暗条件環境および明条件環境の何れの場合においても、バックライトＯＮおよびＯＦＦの状態における２つの撮像画像の差分画像の画素値に基づいて、撮像対象が表示面に接触または近接した状態を検出している。
【００１８】
しかしながら、そのような検出方法を採用するがゆえに、当該表示装置には、図３９、図４０を参照して説明する以下の問題が生じうる。
【００１９】
図３９は、指がパネルから離れた状態（非タッチの状態）において、バックライトＯＮおよびＯＦＦの間に手の位置が移動して差分ノイズが発生する様子を示す図である。
【００２０】
このうち、同図（ａ）は手が動く様子を示す図であって、バックライトＯＮのときに位置Ｐ１にあった手が、バックライトＯＦＦのときに位置Ｐ２へ移動する様子を示す。
【００２１】
同図（ｂ）は、バックライトＯＮ（手の位置Ｐ１）のときの指の撮像画像を、同図（ｃ）は、バックライトＯＦＦ（手の位置Ｐ２）のときの指の撮像画像を示す。
【００２２】
同図（ｄ）は、同図（ｂ）および同図（ｃ）の撮像画像を差分した差分画像を示す。なお、同図（ｄ）では、差分画像上に仮想軸Ｌを設けると共に、手の位置Ｐ１とＰ２との位置ずれをＤ１で表している。さらに、その位置ずれＤ１に起因する、差分画像上に表される差分画素を領域Ｘで表している。以降の説明では、この領域Ｘにおける差分画素値を差分ノイズと呼ぶ。
【００２３】
同図（ｅ）は、差分画像上に設けられた仮想軸Ｌ上の位置を横軸に、当該差分画像の画素値を縦軸に表したグラフを示す。なお、同図では、領域Ｙで示される部分が差分ノイズを、領域Ｚで示される部分が指腹の差分画像の画素値を表す。また、同図（ｅ）で示されるグラフの縦軸は、同図（ｂ）・（ｃ）において撮像対象が撮像されていない画素（背景画素）における差分画素値を０としている。
【００２４】
同図（ｅ）に示すように、バックライトＯＮおよびＯＦＦの間に手の位置が位置Ｐ１からＰ２へ移動して差分ノイズＸが発生すると、差分画素値を示す領域として、領域Ｚに加え領域Ｙが生じる。ここで、領域Ｚで示される差分画素値は、図３８（ｅ）の右側図に示される差分画素値を示す領域と同じ領域であるものと考えると、領域Ｚで示される差分画素値の最大値は閾値Ｉｔを下回ることになる。従って、領域Ｚで示される差分画素値のみに基づけば、撮像対象は表示面に接触していないものと認識され、正しい認識動作が行われていることになる。
【００２５】
しかしながら、領域Ｙで示される差分ノイズＸの最大値が閾値Ｉｔを上回る場合には、撮像対象は、表示面に接触しているものと誤って認識されてしまう。つまり、バックライトＯＮおよびＯＦＦの間に手の位置が位置Ｐ１からＰ２へ移動することにより、差分ノイズＸが発生し、その差分ノイズＸの存在によって、撮像対象が表示面に接触しているものと誤って認識されてしまう。
【００２６】
図４０は、指がパネルから離れた状態（非タッチの状態）において、バックライトＯＮおよびＯＦＦの間に手の位置が移動して差分ノイズが発生する様子を示す図である。なお、同図では、図３９の場合とは逆に、手の位置は位置Ｐ２から位置Ｐ１へ移動している。
【００２７】
図３９を参照して説明した内容は省略するが、図４０では、手の位置がＰ２からＰ１へ移動したことにより、領域Ｙで示される差分ノイズＸがマイナスの値となっている。従って、撮像対象が表示面に接触しているかどうかの判定に用いられる閾値がマイナスの差分画素値として設定されている場合には、図４０（ｅ）の領域Ｙで示される差分ノイズにより、撮像対象が表示面に接触しているものと誤って認識される場合が起こりうる。
【００２８】
次に、図４１、図４２は、指がパネルから離れた状態（非タッチの状態）において、バックライトＯＮおよびＯＦＦの間に手の位置が移動して差分ノイズが発生する様子を示す図である。なお、図４１、図４２では、照明光が、パネルに対して垂直方向ではなく一定の角度をもって斜め方向から照射されている。この点が、パネルに対して照明光が垂直方向から照射されている図３９、図４０の場合と異なる。なお、以下では、図３９、図４０を参照して説明した内容については説明を省略する。
【００２９】
図４１、図４２では、照射光がパネルに対して一定の角度をもって斜め方向から照射されており、このような場合、光センサで受光される指腹によるバックライト反射光が観測される画像領域に対して、指腹の影が観測される画像領域が垂直方向からの照明光の場合に比べて異なる場所になる。（図４１（ｂ）および図４２（ｂ）のグレー領域）。すなわち、図４１（ｂ）および図４２（ｂ）に示すように、当該グレー領域は、指腹によるバックライト反射光に対して指影が指の付け根方向にずれた領域に形成されている。この結果、図４１（ｅ）、図４２（ｅ）に示すように、領域Ｙおよび領域Ｚは互いに結合して表される。ただし、この場合でも、領域Ｙで示される差分ノイズＸの最大値が閾値Ｉｔを上回ることにより、撮像対象は表示面に接触しているものと誤って認識される。
【００３０】
このように、特許文献１に記載の表示装置では、バックライトＯＮの状態とバックライトＯＦＦの状態との間に時間差が生じ、その間に撮像対象（指、ペン等）が動くと、２つの画像に位置ずれ（Ｄ１）が生じる。そして、その位置ずれによって差分ノイズＸが生じ、その差分ノイズＸの存在により、撮像対象が表示面に接触していない状態を撮像対象が表示面に接触している状態と誤って認識されるという問題が起こる。
【００３１】
本発明は、上記の問題を解決するためになされたものであり、その目的は、差分ノイズによる影響を軽減して、差分式タッチパネルへのタッチ・非タッチをより精度よく認識することができる差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、上記差分ノイズ置換装置を備えた電子機器を提供することにある。
【課題を解決するための手段】
【００３２】
本発明に係る差分ノイズ置換装置は、上記の課題を解決するために、
表示面の背面に設置されたバックライトを点灯または消灯した状態で同一の撮像対象を撮像することで得られる点灯時撮像画像および消灯時撮像画像について、これら２つの撮像画像内で同一位置または近傍位置に存在する画素に関する差分値を、上記点灯時撮像画像と上記消灯時撮像画像との間で算出し、当該差分値に基づいて、上記表示面への入力の有無を判定する差分式タッチパネルに用いられる差分ノイズ置換装置であって、
上記点灯時撮像画像および上記消灯時撮像画像のそれぞれについて、上記撮像対象が上記点灯時撮像画像または上記消灯時撮像画像の何れか一方のみに撮像されている画素を差分ノイズ画素とした場合、
上記差分ノイズ画素に関する上記差分値である差分ノイズが、所定の範囲に含まれているかどうかを判定する判定手段と、
上記判定手段が、上記差分ノイズは上記所定の範囲に含まれていないと判定した場合に、その差分ノイズを、上記所定の範囲に含まれる特定画素値に置換する置換手段と、を備えることを特徴としている。
【００３３】
本発明に係る差分ノイズ置換方法は、上記の課題を解決するために、
表示面の背面に設置されたバックライトを点灯または消灯した状態で同一の撮像対象を撮像することで得られる点灯時撮像画像および消灯時撮像画像について、これら２つの撮像画像内で同一位置または近傍位置に存在する画素に関する差分値を、上記点灯時撮像画像と上記消灯時撮像画像との間で算出し、当該差分値に基づいて、上記表示面への入力の有無を判定する差分式タッチパネルに用いられる差分ノイズ置換方法であって、
上記点灯時撮像画像および上記消灯時撮像画像のそれぞれについて、上記撮像対象が上記点灯時撮像画像または上記消灯時撮像画像の何れか一方のみに撮像されている画素を差分ノイズ画素とした場合、
上記差分ノイズ画素に関する上記差分値である差分ノイズが、所定の範囲に含まれているかどうかを判定する判定ステップと、
上記判定ステップにて、上記差分ノイズは上記所定の範囲に含まれていないと判定された場合に、その差分ノイズを、上記所定の範囲に含まれる特定画素値に置換する置換ステップと、を含むことを特徴としている。
【００３４】
上記構成によれば、判定手段（判定ステップ）は、差分ノイズ画素に関する差分値である差分ノイズが、所定の範囲に含まれているかどうかを判定する。そして、置換手段（置換ステップ）は、上記判定手段が上記差分ノイズは上記所定の範囲に含まれていないと判定した場合に、その差分ノイズを、上記所定の範囲に含まれる特定画素値に置換する。
【００３５】
つまり、差分ノイズが所定の範囲に含まれてない場合には、その差分ノイズは特定画素値に置換される。そして、その特定画素値は上記所定の範囲に含まれる。従って、差分ノイズは、当該所定の範囲に含まれる特定画素値に置換されることになる。
【００３６】
それゆえ、当該所定の範囲を差分ノイズよりも画素値の小さい範囲に設定することで、本発明に係る差分ノイズ置換装置（差分ノイズ置換方法）を用いる差分式タッチパネルは、表示面への入力の有無（タッチ・非タッチ）を認識する際に差分ノイズによる影響を確実に排除あるいは軽減でき、より精度よく表示面への入力の有無を認識することができるという効果を奏する。
【００３７】
なお、所定の範囲は、適宜変更可能に実現されてよい。これにより、差分式タッチパネルごとの装置特性に柔軟に対応した差分ノイズ置換装置（差分ノイズ置換方法）をユーザに提供することができ、ユーザにとっての利便性を高めることができる。さらに、上記所定の範囲が適宜変更可能であれば、差分ノイズによる影響をユーザの経験等に基づいて適宜調整することができる。
【００３８】
上記所定の範囲は、上記差分式タッチパネルが上記表示面への入力の有無を判定する基準とする基準画素値に対応付けられていることが好ましい。
【００３９】
基準画素値は、差分式タッチパネルが上記表示面への入力の有無を判定する基準とする画素値である。従って、所定の範囲が基準画素値に対応付けられていることにより、例えば、所定の範囲が基準画素値よりも小さい範囲で設定されていることにより、置換手段は、差分ノイズを基準画素値よりも小さな特定画素値に置換することができる。
【００４０】
これにより、本発明に係る差分ノイズ置換装置を用いる差分式タッチパネルは、表示面への入力の有無を判定する際に差分ノイズによる影響を確実に排除することができ、撮像対象が表示面に接触していない状態を撮像対象が表示面に接触している状態と誤って認識するという問題を解決することができる。
【００４１】
上記点灯時撮像画像および上記消灯時撮像画像のそれぞれについて、上記撮像対象が上記点灯時撮像画像および上記消灯時撮像画像のいずれにも撮像されている画素を重畳画素とした場合、
上記重畳画素に関する上記差分値である重畳差分値が上記所定の範囲に含まれている場合に、上記置換手段は、上記重畳差分値を上記特定画素値として上記差分ノイズと置換することが好ましい。
【００４２】
差分式タッチパネルが表示面への入力の有無を判定するうえで、重畳差分値が上記基準画素値よりも大きい場合には入力有りと、重畳差分値が上記基準画素値よりも小さい場合には入力無しと判定される。
【００４３】
この点、上記構成によれば、置換手段は、上記重畳差分値を上記特定画素値として上記差分ノイズと置換する。従って、差分ノイズが重畳差分値に置換されることにより、差分ノイズと重畳差分値とが同じ画素値になるため、重畳差分値と基準画素値との大小関係に拠らず、差分式タッチパネルへの入力の有無が誤って認識される事態を回避することができる。さらに、置換手段は、上記重畳差分値を上記特定画素値として上記差分ノイズと置換することにより、上記所定の範囲を予め設定する必要がなく、ユーザの負担を軽減することができるという効果を奏する。
【００４４】
画素値０が上記所定の範囲に含まれており、上記差分ノイズが０よりも小さい場合に、上記置換手段は、画素値０を上記特定画素値として上記差分ノイズと置換することが好ましい。
【００４５】
差分ノイズが０よりも小さい場合において、その差分ノイズに基づいて、差分式タッチパネルへの入力の有無が誤って認識される場合がある。
【００４６】
この点、上記構成によれば、置換手段は、画素値０が上記所定の範囲に含まれており、上記差分ノイズが０よりも小さい場合に、画素値０を上記特定画素値として上記差分ノイズと置換する（以降、このような置換を０クリッピングと呼ぶ場合もある。）。
【００４７】
これにより、本発明に係る差分ノイズ置換装置を用いる差分式タッチパネルは、表示面への入力の有無を判定する際に差分ノイズによる影響を確実に排除することができ、撮像対象が表示面に接触していない状態を撮像対象が表示面に接触している状態と誤って認識するという問題を解決することができる。また、置換手段は、０クリッピングをすることにより、上記所定の範囲を予め設定する必要がなく、ユーザの負担を軽減することができるという効果を奏する。
【００４８】
上記点灯時撮像画像および上記消灯時撮像画像のそれぞれについて、上記差分ノイズ画素および上記重畳画素以外の画素を背景画素とした場合、
上記背景画素に関する上記差分値である背景差分値が上記所定の範囲に含まれている場合に、上記置換手段は、上記背景差分値を上記特定画素値として上記差分ノイズと置換することが好ましい。
【００４９】
上記構成によれば、上記背景差分値が所定の範囲に含まれている場合、置換手段は、背景差分値を特定画素値として差分ノイズと置換する。そして、通常、背景差分値は、差分式タッチパネルへの入力の有無の判定において、入力として検出されない画素値である。
【００５０】
従って、背景差分値が特定画素値として差分ノイズと置換されることにより、差分ノイズの影響を排除して、差分式タッチパネルへの入力の有無が誤って認識される事態を回避することができる。また、置換手段は、背景差分値を特定画素値として差分ノイズと置換するものであるため、上記所定の範囲を予め設定する必要がなく、ユーザの負担を軽減することができるという効果を奏する。
【００５１】
上記差分ノイズ画素の周囲に存在する２つの画素を抽出して、各々の画素について上記差分値を算出し、その２つの差分値を用いて線形補間を行う線形補間手段を備え、
上記置換手段は、上記線形補間手段が線形補間した補間画素値を上記特定画素値として上記差分ノイズと置換することが好ましい。
【００５２】
差分ノイズ画素の周囲に存在する画素は、背景画素もしくは重畳画素である。そして、一般的に、背景画素における背景差分値もしくは重畳画素における重畳差分値は、差分ノイズ画素における差分ノイズよりも小さい画素値を示す。
【００５３】
従って、置換手段が、上記線形補間手段が線形補間した補間画素値を上記特定画素値として上記差分ノイズと置換することにより、差分ノイズによる影響を軽減することができ、差分式タッチパネルは、表示面への入力の有無（タッチ・非タッチ）をより精度よく認識することができるという効果を奏する。
【００５４】
上記線形補間手段は、抽出する画素に関する上記差分値が上記所定の範囲に含まれる画素のみを抽出して線形補間を行うことが好ましい。
【００５５】
上記構成を備えることにより、差分ノイズは、上記所定の範囲に含まれる画素値に置換されることになる。そして、例えば当該所定の範囲が差分ノイズよりも画素値の小さい範囲に設定されていれば、差分ノイズによる影響を確実に軽減することができ、撮像対象が表示面に接触していない状態を撮像対象が表示面に接触している状態と誤って認識するという問題を解決することができる。
【００５６】
なお、上記差分ノイズ置換装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記判定手段および上記置換手段として動作させることにより上記差分ノイズ置換装置をコンピュータにて実現させる差分ノイズ置換プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【００５７】
さらに、上記差分ノイズ置換装置を備えた各種電子機器も本発明の範疇に入る。
【発明の効果】
【００５８】
本発明に係る差分ノイズ置換装置は、以上のように、差分ノイズ画素に関する差分値である差分ノイズが、所定の範囲に含まれているかどうかを判定する判定手段と、上記判定手段が、上記差分ノイズは上記所定の範囲に含まれていないと判定した場合に、その差分ノイズを、上記所定の範囲に含まれる特定画素値に置換する置換手段と、を備える構成である。
【００５９】
また、本発明に係る差分ノイズ置換方法は、以上のように、差分ノイズ画素に関する差分値である差分ノイズが、所定の範囲に含まれているかどうかを判定する判定ステップと、上記判定ステップにて、上記差分ノイズは上記所定の範囲に含まれていないと判定された場合に、その差分ノイズを、上記所定の範囲に含まれる特定画素値に置換する置換ステップと、を含む構成である。
【００６０】
それゆえ、本発明に係る差分ノイズ置換装置および差分ノイズ置換方法は、差分ノイズによる影響を軽減して、パネルへのタッチ・非タッチをより精度よく認識することができるという効果を奏する。
【図面の簡単な説明】
【００６１】
【図１】本発明の差分ノイズ置換装置を備えた差分式タッチパネルの構成を示すブロック図である。
【図２】（ａ）は、周囲が暗い場合における指腹の撮像画像の様子を示す概要図、（ｂ）は、周囲が暗い場合における指腹の撮像画像の特徴を示す概要図、（ｃ）は、周囲が明るい場合における指腹の撮像画像の様子を示す概要図、（ｄ）は、周囲が明るい場合における指腹の撮像画像の特徴を示す概要図、（ｅ）は、周囲が暗い場合におけるペン先の撮像画像の様子を示す概要図、（ｆ）は、周囲が暗い場合におけるペン先の撮像画像の特徴を示す概要図、（ｇ）は、周囲が明るい場合におけるペン先の撮像画像の様子を示す概要図、（ｈ）は、周囲が明るい場合におけるペン先の撮像画像の特徴を示す概要図である。
【図３】差分ノイズを説明するための図である。
【図４】線形補間値算出部が行う線形補間を説明するための図である。
【図５】ポインティング位置特定部の構成を示すブロック図である。
【図６】ポインティング位置特定部の全体的な動作の概要を示すフローチャートである。
【図７】ポインティング位置特定部の動作のうち、勾配方向・無方向特定過程の動作を示すフローチャートである。
【図８】（ａ）は、勾配方向・無方向特定過程において参照されるテーブルの一例であり、（ｂ）は、勾配方向・無方向特定過程において参照されるテーブルの他の例である。
【図９】（ａ）は、周囲が暗い場合における画像データの勾配方向の特徴を示す概要図であり、（ｂ）は、同図について照合効率化を行った後の様子を示す概要図である。
【図１０】（ａ）は、周囲が暗い場合における照合効率化前のモデルパターンの一例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化前のモデルパターンの一例を示す概要図である。
【図１１】（ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの一例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの一例を示す概要図である。
【図１２】（ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの他の例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの他の例を示す概要図である。
【図１３】ポインティング位置特定部の動作のうち、パターンマッチング過程の動作を示すフローチャートである。
【図１４】（ａ）は、照合効率化前の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。
【図１５】（ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングの一例を説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。
【図１６】（ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングの他の例を説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。
【図１７】ポインティング位置特定部におけるパターンマッチングにおいて一致画素数とパターン合致度とを併用する場合について説明するためのフローチャートである。
【図１８】（ａ）は、パターン合致度算出過程の一例を示すフローチャートであり、（ｂ）は、パターン合致度算出過程の他の例を示すフローチャートである。
【図１９】（ａ）は、パターン合致度算出過程の一例を示す概要図であり、（ｂ）は、パターン合致度算出過程の他の例を示す概要図であり、（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。
【図２０】（ａ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、（ｂ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。
【図２１】ポインティング位置特定部の動作のうち、接触・非接触特定過程の動作を示すフローチャートである。
【図２２】周囲が明るい場合における指腹の撮像画像の様子を示す概要図である（接触時）。
【図２３】周囲が明るい場合における指腹の撮像画像についての第１エッジ画素の勾配方向を示す概要図である（接触時）。
【図２４】周囲が明るい場合における指腹の撮像画像についての第２エッジ画素の様子を示す概要図である（接触時）。
【図２５】周囲が明るい場合における指腹の撮像画像の様子を示す概要図である（非接触時）。
【図２６】周囲が明るい場合における指腹の撮像画像についての第１エッジ画素の勾配方向を示す概要図である（非接触時）。
【図２７】周囲が明るい場合における指腹の撮像画像についての第２エッジ画素の様子を示す概要図である（非接触時）。
【図２８】ポインティング位置特定部の動作のうち、ポインティング位置座標算出過程の動作を示すフローチャートである。
【図２９】（ａ）は、ポインティング位置特定部における座標算出判定部のピーク画素が無いと判定する場合を説明するための概要図であり、（ｂ）は、ポインティング位置特定部における座標算出判定部のピーク画素が有ると判定する場合を説明するための概要図である。
【図３０】（ａ）は、ポインティング位置特定部における撮像対象による撮像画像上の指示位置を算出するために使用されるピーク画素領域について説明するための概要図であり、（ｂ）は、ポインティング位置特定部における前記指示位置の座標算出方法を説明するための概要図である。
【図３１】本発明の実施の形態における差分式タッチパネル、及び、差分ノイズ置換装置の全体的な動作の概要を示すフローチャートであり、（ａ）は、差分ノイズが特定画素値に置換される動作を、（ｂ）は、差分ノイズが補間差分値によって置換される動作を説明するための図である。
【図３２】差分ノイズ置換部が、背景差分値を特定画素値として差分ノイズと置換した場合の差分画像、および、差分画像上に設けられた仮想軸Ｌ上の位置を横軸に、差分画像上に設けられた仮想軸Ｌ上の位置を横軸に、当該差分画像の画素値を縦軸に表したグラフを示すものであり、（ａ）は置換処理前を、（ｂ）は置換処理後に対応する図である。
【図３３】差分ノイズ置換部が、差分ノイズが０よりも小さい場合に、画素値０を特定画素値として差分ノイズと置換した場合の差分画像、および、差分画像上に設けられた仮想軸Ｌ上の位置を横軸に、当該差分画像の画素値を縦軸に表したグラフを示すものであり、（ａ）は置換処理前を、（ｂ）は置換処理後に対応する図である。
【図３４】差分ノイズ置換部が、差分ノイズが０よりも小さい場合に、画素値０を特定画素値として差分ノイズと置換した場合の差分画像、および、差分画像上に設けられた仮想軸Ｌ上の位置を横軸に、当該差分画像の画素値を縦軸に表したグラフを示すものであり、（ａ）は置換処理前を、（ｂ）は置換処理後に対応する図である。
【図３５】差分ノイズ置換部が、重畳差分値を特定画素値として差分ノイズと置換した場合の差分画像、および、差分画像上に設けられた仮想軸Ｌ上の位置を横軸に、当該差分画像の画素値を縦軸に表したグラフを示すものであり、（ａ）は置換処理前を、（ｂ）は置換処理後に対応する図である。
【図３６】バックライトが点灯（ＯＮ）した状態における、表示装置と撮像対象との関係や撮像画像などを説明するための概略図である。
【図３７】従来の表示装置における撮像対象の検出方法を説明するための概略図であり、周囲が暗い条件下の場合を説明するための図である。
【図３８】従来の表示装置における撮像対象の検出方法を説明するための概略図であり、周囲が明るい条件下の場合を説明するための図である。
【図３９】指がパネルから離れた状態において、バックライトＯＮおよびＯＦＦの間に手の位置が移動して差分ノイズが発生する様子を示す図である。
【図４０】指がパネルから離れた状態において、バックライトＯＮおよびＯＦＦの間に手の位置が移動して差分ノイズが発生する様子を示す図であり、図３９とは手の移動方向が逆の場合を示す図である。
【図４１】指がパネルから離れた状態において、バックライトＯＮおよびＯＦＦの間に手の位置が移動して差分ノイズが発生する様子を示す図である。
【図４２】指がパネルから離れた状態において、バックライトＯＮおよびＯＦＦの間に手の位置が移動して差分ノイズが発生する様子を示す図である。
【発明を実施するための形態】
【００６２】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、同一部分には同一符号を付し、図面で同一の符号が付いたものは、説明を省略する場合もある。また、本実施の形態では、画像表示部の例として液晶ディスプレイを採用した場合について説明するが、液晶ディスプレイ以外の画像表示部を採用する場合も本発明の適用範囲に含まれる。
【００６３】
〔１．差分式タッチパネル１の構成〕
図１は、本発明の差分ノイズ置換装置１００を備えた差分式タッチパネル１の構成を示すブロック図である。
【００６４】
まず、差分式タッチパネル１の構成及びその撮像画像の例について説明する。なお、以下では、差分式タッチパネル１は差分ノイズ置換装置１００を備えたものとして説明しているが、差分ノイズ置換装置１００は、差分式タッチパネル１の外部に設けられる構成で実現されてもよい。
【００６５】
最初に、差分式タッチパネル１の構成の概要、及び差分式タッチパネル１の撮像原理について説明する。差分式タッチパネル１は、表示機能を有しており、複数の画素から構成される液晶ディスプレイ及びパネルに光を照射するバックライトを備えている点は、通常の液晶ディスプレイと同様である。
【００６６】
そして、差分式タッチパネル１における液晶ディスプレイは、各画素内に光センサが内蔵され、該光センサによって液晶ディスプレイの表示画面に近接してきた外部の物体等（撮像対象）を撮像し、画像データ（撮像センサーによって撮像された画像データ）として取り込むことが可能となっている点が、通常の液晶ディスプレイと異なっている。
【００６７】
なお、液晶ディスプレイは、複数の画素のうち、所定数の画素ごとに光センサが内蔵されているものであってもよいが、光センサによる撮像画像の解像度の観点から、光センサは全画素に内蔵されていることが好ましい。
【００６８】
また、差分式タッチパネル１の液晶ディスプレイは、通常の液晶ディスプレイと同様に、複数の走査線と複数の信号線とが交差するように配線され、この各交差部に画素が配置され、薄膜トランジスタ、及び各種容量を有する画素を備えた表示部と、走査線を駆動する駆動回路と、信号線を駆動する駆動回路とを備えているものである。
【００６９】
さらに、差分式タッチパネル１の液晶ディスプレイは、例えば各画素内に光センサとしてフォトダイオードを内蔵する構成となっている。このフォトダイオードには、キャパシタが接続され、表示画面から入射された光のフォトダイオードでの受光量の変化に応じてキャパシタの電荷量を変化させる構成となっている。そして、このキャパシタの両端の電圧を検出することにより画像データを生成し、画像の撮像（取り込み）を行うようになっている。これが差分式タッチパネル１の液晶ディスプレイによる撮像原理である。
【００７０】
なお、光センサとしては、フォトダイオードに限られず、光電効果を動作原理とし、液晶ディスプレイ等の各画素に内蔵できるものであれば良い。
【００７１】
また、バックライトは、表示用の可視光バックライトに限られず、赤外バックライトであってもよい。
【００７２】
以上の構成により、差分式タッチパネル１は、液晶ディスプレイ本来の画像を表示する表示機能に加え、表示画面に近接してきた外部の物体の画像（撮像対象）を撮像する撮像機能を備える構成となっている。それゆえ、ディスプレイの表示画面でのタッチ入力が可能な構成とすることができる。
【００７３】
〔１−１．差分式タッチパネル１による撮像について〕
ここで、図２（ａ）〜図２（ｈ）に基づき、差分式タッチパネル１の液晶ディスプレイの各画素に内蔵されたフォトダイオードによって撮像される撮像対象について説明する。ここでは、「指の腹（以下、「指腹」と呼ぶ場合もある。）」及び「ペン先」の例を挙げ、それぞれの撮像画像（又は画像データ）の特徴の概要について説明する。
【００７４】
図２（ａ）は、周囲が暗い場合における指腹の撮像画像の様子を示す概要図であり、図２（ｂ）は、周囲が暗い場合における指腹の撮像画像の特徴を示す概要図である。図２（ａ）に示すように、ユーザが、暗い部屋で液晶ディスプレイの表示画面６５に、人差し指の腹を接触させた場合について考える。
【００７５】
この場合、図２（ｂ）の撮像画像６１は、バックライトが撮像対象（指腹）に反射して得られる画像であり、白い円形状がぼやけたような画像となる。なお、各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している（ここでは、勾配方向は暗い部分から明るい部分に向かう向きを正としている。）。
【００７６】
次に、図２（ｃ）は、周囲が明るい場合における指腹の撮像画像の様子を示す概要図であり、図２（ｄ）は、周囲が明るい場合における指腹の撮像画像の特徴を示す概要図である。図２（ｃ）に示すように、ユーザが、明るい部屋で液晶ディスプレイの表示画面６５に、人差し指の腹を接触させた場合について考える。
【００７７】
この場合、図２（ｄ）の撮像画像６２は、外光６６が液晶ディスプレイの表示画面６５に入射することによって得られる画像（接触した場合は、バックライトによる反射光も混じる。）であり、人差し指で外光が遮られることによって生じた指の影と、液晶ディスプレイの表示画面に接触した指の腹にバックライトの光が反射してできた白い円形状がぼやけた部分とからなる。これらのうち白い円形状の部分における勾配方向は、上述した暗い部屋で指の腹を接触させた場合と同様の傾向を示すが、その周囲を囲む影は暗く、周囲が外光６６で明るいので、各画素における勾配方向は、白い円形状の部分における勾配方向と逆向きの傾向を示している。
【００７８】
図２（ｅ）は、周囲が暗い場合におけるペン先の撮像画像の様子を示す概要図であり、図２（ｆ）は、周囲が暗い場合におけるペン先の撮像画像の特徴を示す概要図である。図２（ｅ）に示すように、ユーザが、暗い部屋で液晶ディスプレイの表示画面６５に、ペン先を接触させた場合について考える。
【００７９】
この場合、図２（ｆ）の撮像画像６３は、バックライトが撮像対象（ペン先）に反射して得られる画像であり、小さな白い円形状がぼやけたような画像となる。なお、各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。
【００８０】
次に、図２（ｇ）は、周囲が明るい場合におけるペン先の撮像画像の様子を示す概要図であり、図２（ｈ）は、周囲が明るい場合におけるペン先の撮像画像の特徴を示す概要図である。図２（ｇ）に示すように、ユーザが、明るい部屋で液晶ディスプレイの表示画面６５に、ペン先を接触させた場合について考える。
【００８１】
この場合、図２（ｈ）の撮像画像６４は、外光６６が液晶ディスプレイの表示画面６５に入射することによって得られる画像（接触した場合は、バックライトによる反射光も混じる。）であり、ペンで外光が遮られることによって生じたペンの影と、液晶ディスプレイの表示画面６５に接触したペン先にバックライトの光が反射してできた小さな白い円形状がぼやけた部分とからなる。これらのうち小さな白い円形状の部分における勾配方向は、上述した暗い部屋でペン先を接触させた場合と同様の傾向を示すが、その周囲を囲む影は暗く、周囲が外光で明るいので、各画素における勾配方向は、小さな白い円形状の部分における勾配方向と逆向きの傾向を示している。
【００８２】
以上のような、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、または先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。
【００８３】
また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。
【００８４】
〔１−２．差分式タッチパネル１が撮像した撮像画像の差分について〕
以上、図２を参照して、差分式タッチパネル１による撮像について概略を説明した。ここで、差分式タッチパネル１は、液晶ディスプレイの表示画面６５での画像の表示と受光とを同時又は交互に行う場合において、表示画面６５を、表示画面６５の背面に設置されたバックライトで発光させて画像を表示させる処理を行うと共に、表示画面６５に入射した光の受光を行い、その受光として、表示用発光が行われている状態（バックライトを点灯した状態）と、発光していない状態（バックライトを消灯した状態）との２回の受光を行うものである。そして、その２回の受光量の差分を検出することにより、表示画面６５への撮像対象の接触または近接した状態を検出するというものである。
【００８５】
従って、差分式タッチパネル１は、バックライトＯＮおよびバックライトＯＦＦの状態で撮像対象を２度撮像する。そして、差分式タッチパネル１は、その２回の受光量の差分を検出して、表示画面６５への撮像対象の接触または近接した状態を検出する。なお、その差分方法の詳細は、図３７等の従来技術を参照して説明したため、ここでの説明は省略する。
【００８６】
〔１−３．差分式タッチパネル１、差分ノイズ置換装置１００の詳細構成について〕
次に、図１を用いて、差分式タッチパネル１、及び差分ノイズ置換装置１００の構成の詳細について説明する。
【００８７】
なお、差分ノイズ置換装置１００は、撮像が行われるバックライトＯＮおよびバックライトＯＦＦの間の撮像対象（指、ペン等）の移動に起因する差分ノイズを他の画素値（特定画素値）に置換する機能を備えるものである。以下、本実施の形態では、その差分ノイズ置換装置１００は、差分式タッチパネル１に含まれているものとして説明する。
【００８８】
差分式タッチパネル１は、図１に示すように、少なくとも、差分ノイズ置換装置１００と、画像撮像部２００と、記憶部３００と、ポインティング位置特定部４００とを備えている。以下、差分式タッチパネル１の各部詳細について説明する。
【００８９】
画像撮像部２００は、表示画面６５に接触あるいは近接してきた外部の物体の画像（撮像対象）を撮像するためのものである。画像撮像部２００は、図３６を参照して説明した種々の構成を備えるものであり、タッチパネル、光センサ、バックライト等を含む。なお、光センサは、タッチパネルの液晶ディスプレイの各画素に内蔵されている。そして、光センサにはキャパシタが接続されており、表示画面６５から入射した光の受光量の変化に応じてキャパシタの電荷量を変化させる構成となっている。そして、このキャパシタの両端の電圧を検出することにより画像データが生成され、画像の撮像（取り込み）が行われるようになっている。
【００９０】
その画像撮像部２００は、撮像した画像を記憶部３００の画像記憶部３２０に記憶させる。なお、差分式タッチパネル１は、バックライトＯＮおよびバックライトＯＦＦの状態で撮像対象を２度撮像するものであるため、画像記憶部３２０は、少なくとも２つの画像を記憶する（以下、バックライトＯＮの状態で撮像した画像を「バックライトオン画像」（点灯時撮像画像）、バックライトＯＦＦの状態で撮像した画像を「バックライトオフ画像」（消灯時撮像画像）と呼ぶ場合もある。）。
【００９１】
なお、光センサ内蔵液晶ディスプレーにおける画像表示のフレーム期間ごとに、そのフレーム期間の前半期間においてタッチパネル用バックライトが点灯し、そのフレーム期間の後半期間においてタッチパネル用バックライトが消灯する場合、前半期間に撮像された画像がバックライトオン画像として生成される。また、後半期間に撮像された画像がバックライトオフ画像として生成される。これら同じフレーム期間において撮像されたバックライトオン画像とバックライトオフ画像とは、差分画像を生成するための１対の撮像画像として対応付けられている。すなわち、交互に撮像されたバックライトオン画像およびバックライトオフ画像のうち、注目する撮像画像と、当該撮像画像の直後に撮像された撮像画像とから差分画像が生成されることになる。
【００９２】
記憶部３００は、本発明の差分ノイズ置換処理に利用される各種データを記憶する各記憶部を含む。すなわち、記憶部３００は、画像記憶部３２０と、閾値記憶部３４０と、特定画素値記憶部３６０とを含む。記憶部３００に含まれる各記憶部は、RAM（Random Access Memory）、ROM（Read Only Memory）、SRAM（Static RAM）、フラッシュメモリなど、およびこれらの混成で構成されてもよい。ただし、データ量が大きい情報が記憶される場合には、HDD（Hard Disk Drive）で構成されることが好ましいが、これに限定されるものではない。
【００９３】
画像記憶部３２０は、画像撮像部２００が撮像したバックライトオン画像およびバックライトオフ画像を記憶する。その撮像画像は、例えば、図２、図３７等で示される画像データである。
【００９４】
閾値記憶部３４０、及び特定画素値記憶部３６０については、差分ノイズ置換装置１００を説明する際に併せて説明する。
【００９５】
ポインティング位置特定部４００は、差分ノイズと特定画素値あるいは線形補間値とを置換した後の差分画像を差分ノイズ置換装置１００から取得して、撮像対象による撮像画像上の指示位置を特定するものである。そのポインティング位置特定部４００の詳細は後述する。
【００９６】
差分ノイズ置換装置１００は、バックライトオン画像およびバックライトオフ画像が撮像された間の撮像対象の移動に起因する差分ノイズと特定画素値あるいは線形補間値とを置換する機能を備えるものであり、差分画像生成部１１０と、差分ノイズ判別部１１５と、差分ノイズ比較部（判定手段）１２０と、差分ノイズ置換部（置換手段）１３０と、線形補間値算出部（線形補間手段）１５０と、を備えている。
【００９７】
差分画像生成部１１０は、バックライトオン画像およびバックライトオフ画像を画像記憶部３２０から取得し、両画像の差分画像を生成する。より具体的には、差分画像生成部１１０は、バックライトオン画像およびバックライトオフ画像について、これら２つの撮像画像内で同一位置に存在する画素に関する差分値を、バックライトオン画像およびバックライトオフ画像との間で算出し、各々の画素の差分値によって示される画像を差分画像として生成するものである。その具体例として、例えば図３７（ｄ）、図３８（ｄ）に示される画像が挙げられる。その後、差分画像生成部１１０は、差分ノイズ判別部１１５に対して、生成した差分画像を出力する。
【００９８】
なお、差分画像生成部１１０は、バックライトオン画像およびバックライトオフ画像について、これら２つの撮像画像内で近傍位置に存在する画素に関する差分値を、バックライトオン画像およびバックライトオフ画像との間で算出し、各々の画素の差分値によって示される画像を差分画像として生成するものであってもよい。すなわち、バックライトオン画像およびバックライトオフ画像に係る画素はそれぞれ、回路の都合により別画素とみなされる場合がある。そのような場合に、撮像対象の同一部分が、回路の都合により、バックライトオン画像およびバックライトオフ画像の異なる画素において撮像されることがある。そこで、差分画像生成部１１０が、バックライトオン画像およびバックライトオフ画像について、これら２つの撮像画像内で近傍位置に存在する画素に関する差分値を、バックライトオン画像およびバックライトオフ画像との間で算出することにより、撮像対象の上記同一部分に係る差分値を算出することが可能となる。なお、近傍位置に存在する画素とは、例えば、互いに隣り合う２つの画素を意味する。
【００９９】
差分ノイズ判別部１１５は、差分画像生成部１１０から、差分画像生成部１１０が生成した差分画像を取得する。そして、差分ノイズ判別部１１５は、当該差分画像において差分ノイズが存在するかどうかを判別する。
【０１００】
ここで、明条件環境下、バックライトオン画像およびバックライトオフ画像のそれぞれについて、撮像対象画像がバックライトオン画像およびバックライトオフ画像のいずれにも撮像されている画素を重畳画素、撮像対象がバックライトオン画像またはバックライトオフ画像の何れか一方のみに撮像されている画素を差分ノイズ画素、その他の画素を背景画素とする。その場合、差分ノイズは、バックライトオン画像およびバックライトオフ画像を撮像する間に撮像対象が移動することにより、２つの撮像画像に撮像対象の位置ずれが生じ、その位置ずれにより、撮像対象が一方のみに撮像されている画素が出現することにより発生する。
【０１０１】
ここで、図３を用いて差分ノイズを説明する。なお、図３（ａ）〜（ｄ）は、図３９（ａ）〜（ｄ）と同一であるため、その詳細説明は省略する。
【０１０２】
図３（ａ）〜（ｃ）に示すように、手の位置は、差分式タッチパネル１がバックライトオン画像およびバックライトオフ画像を撮像する間に、位置Ｐ１から位置Ｐ２に移動している。そのため、図３（ｄ）で示す差分画像には、差分ノイズを示す領域７０が現れている。つまり、差分ノイズを示す領域７０は、バックライトオン画像およびバックライトオフ画像を撮像する間に撮像対象が移動することにより、２つの撮像画像に撮像対象の位置ずれが生じ、その位置ずれにより、撮像対象が一方のみに撮像されている画素に表示されるものである。なお、同図では、説明の便宜上、指先部分のみに差分ノイズを示す領域７０が生じるものとして図示している。しかしながら、手の位置の移動量、移動方向、光源の位置によっては、指先以外にも差分ノイズが発生することも当然にある。そして、そのような場合であっても、差分ノイズ置換装置１００を適用することができる。
【０１０３】
差分ノイズ判別部１１５は、差分画像生成部１１０が生成した差分画像を取得し、その差分画像に差分ノイズを示す領域７０が含まれるかどうかを判別し、その判別結果を差分ノイズ比較部１２０に出力する。なお、差分ノイズ判別部１１５が差分画像に差分ノイズを示す領域７０が含まれるかどうかを判別する方法は特に限定されず、周知のいかなる方法を採用してもよい。
【０１０４】
差分ノイズ比較部１２０は、差分ノイズ判別部１１５から、差分画像生成部１１０が生成した差分画像に差分ノイズを示す領域７０が含まれているか否かの判別結果と、差分ノイズを示す領域７０が含まれている場合には、その差分ノイズに係る画素値（以下、単に「差分ノイズ」と称する場合もある。）を取得する。そして、差分ノイズ比較部１２０は、差分画像に差分ノイズを示す領域７０が含まれているとの判別結果を取得した場合には、それをトリガとして、さらに閾値記憶部３４０から閾値Ｉｔを取得する。なお、そのＩｔとは、差分式タッチパネル１が表示画面６５への入力の有無を判定する基準とする画素値（以下、「基準画素値」と呼ぶ場合もある。）である。
【０１０５】
そのうえで、差分ノイズ比較部１２０は、差分ノイズと閾値Ｉｔとを比較して、差分ノイズが閾値Ｉｔよりも大きいかどうかを比較し、その比較結果を差分ノイズ置換部１３０に出力する。
【０１０６】
差分ノイズ置換部１３０は、差分ノイズ比較部１２０から、差分ノイズが閾値Ｉｔよりも大きいかどうかの比較結果を取得する。さらに、差分ノイズ置換部１３０は、図１には不図示であるが、差分画像生成部１１０から差分画像を取得する。なお、当該差分画像は、差分画像生成部１１０から差分ノイズ判別部１１５および差分ノイズ比較部１２０を経由して差分ノイズ置換部１３０に入力される構成で実現されてもよい。
【０１０７】
そして、差分ノイズ置換部１３０は、差分ノイズが閾値Ｉｔよりも大きいとの比較結果を取得した場合には、それをトリガとして、さらに特定画素値記憶部３６０から特定画素値を取得する。そして、差分ノイズ置換部１３０は、その特定画素値と差分ノイズとを置換して、当該置換処理後の新たな差分画像を生成する。ここで、特定画素値は、差分式タッチパネル１ごとの装置特性に柔軟に対応できるよう適宜変更することができるが、上述した基準画素値よりも小さい画素値であることが好ましい。
【０１０８】
その後、差分ノイズ置換部１３０は、上記置換処理を行った後の差分画像をポインティング位置特定部４００に出力する。
【０１０９】
ここで、上記では、差分ノイズ比較部１２０は、閾値記憶部３４０から閾値Ｉｔを取得するものとして説明した。しかしながら、閾値記憶部３４０に記憶されるデータは、閾値Ｉｔ以外の数値であってもよい。すなわち、閾値記憶部３４０に記憶されるデータは、基準画素値に対応する閾値Ｉｔよりも大きい値（あるいは、小さい値）とすることも可能である。これにより、差分ノイズ比較部１２０が差分ノイズと基準画素値とを厳密に比較する必要がないケースに柔軟に対応することができる。
【０１１０】
あるいは、閾値記憶部３４０に記憶されるデータは、閾値Ｉｔ等の特定の数値ではなく、ある数値範囲で示されるものであってもよい。すなわち、差分ノイズがマイナスの値で示され、かつ、基準画素値にマイナスの値が存在する場合には（仮に、マイナスの閾値を閾値Ｉｔ’とする。）、数値範囲として、Ｉｔ’よりも大きく、Ｉｔよりも小さい範囲（Ｉｔ’＜、かつ、Ｉｔ＞）を閾値記憶部３４０に記憶させておいてもよい。
【０１１１】
このように、差分ノイズ比較部１２０は、閾値記憶部３４０から、種々の数値または数値範囲を取得し、当該数値または数値範囲と差分ノイズとを比較することができる。
【０１１２】
さらに、上記では、特定画素値は、基準画素値よりも小さい画素値であることが好ましいと説明した。しかしながら、特定画素値は、バックライトオン画像およびバックライトオフ画像の対応する背景画素ごとの画素値の差分である背景差分値や、バックライトオン画像およびバックライトオフ画像の対応する重畳画素ごとの画素値の差分である重畳差分値とすることも可能である。
【０１１３】
通常、背景差分値は、差分式タッチパネル１への入力の有無の判定において、入力として検出されない画素値である。従って、差分ノイズ置換部１３０が背景差分値を特定画素値として差分ノイズと置換することにより、表示面への入力の有無を判定する際に差分ノイズによる影響を確実に排除することができ、撮像対象が表示面に接触していない状態を撮像対象が表示面に接触している状態と誤って認識するという問題を解決することができる。
【０１１４】
また、差分式タッチパネル１が表示画面６５への入力の有無を判定する際に、重畳差分値が基準画素値よりも大きい場合には入力有りと、重畳差分値が上記基準画素値よりも小さい場合には入力無しと判定する。
【０１１５】
この点、差分ノイズ置換部１３０が、差分ノイズを重畳差分値もしくは重畳差分値に近い値と置換することにより、重畳差分値と基準画素値との大小関係に拠らず、差分式タッチパネル１への入力の有無が誤って認識される事態を回避することができる。
【０１１６】
さらに、差分ノイズ置換部１３０は、差分ノイズが０よりも小さい画素値で表される場合に、画素値０を特定画素値として差分ノイズと置換する（以下、「０クリッピング」と呼ぶ場合もある）構成で実現されてもよい。具体的には、差分ノイズが０よりも小さい場合において、その差分ノイズに基づいて、差分式タッチパネル１への入力の有無が誤って認識される場合がある。そこで、差分ノイズ置換部１３０が０クリッピングすることにより、差分ノイズの影響を排除して、差分式タッチパネル１への入力の有無が誤って認識される事態を回避することができる。
【０１１７】
さらに、上記では、差分ノイズと置換する値は、重畳差分値もしくは重畳差分値に近い値であるものとして説明した。しかしながら、差分ノイズと置換する値は、あらかじめ取得したユーザの指腹の撮像画像に係る重畳差分値であってもよいし、あるいは、一般的（平均的）な指腹の撮像画像に係る重畳差分値であってもよい。もしくは、指腹の撮像画像に係る重畳差分値には個人差が存在することを考慮して、差分ノイズと置換する値は、一般的な指腹の撮像画像に係る重畳差分値に所定のマージンを加えた値であってもよい。
【０１１８】
また、上記では、差分ノイズ置換部１３０は、特定画素値記憶部３６０から取得した特定画素値と差分ノイズとを置換して、当該置換処理後の新たな差分画像を生成するものとして説明した。しかしながら、差分ノイズ置換部１３０は、線形補間値算出部１５０が算出した線形補間値と差分ノイズとを置換して、当該置換処理後の新たな差分画像を生成する構成で実現されてもよい。以下、その内容を具体的に説明する。
【０１１９】
線形補間値算出部１５０は、差分ノイズが、閾値記憶部３４０から取得した数値（たとえば、閾値Ｉｔ）よりも大きい、あるいは、閾値記憶部３４０から取得した数値に含まれないとの判定結果を差分ノイズ比較部１２０から取得したことをトリガとして、差分画像生成部１１０から、差分画像生成部１１０が生成した差分画像を取得する。そのうえで、線形補間値算出部１５０は、取得した差分画像における差分ノイズ画素の周囲に存在する２つの画素を抽出して、バックライトオン画像およびバックライトオフ画像の対応する当該２つの画素ごとの画素値の差分を用いて線形補間処理を行う。
【０１２０】
具体的に、図４を参照して線形補間値算出部１５０が行う線形補間について説明する。図４は、線形補間値算出部１５０が行う線形補間を説明するための図である。なお、画素７０ａ〜７０ｄは差分ノイズ画素を、画素７１ａ・７１ｂは差分ノイズ画素の周囲に存在する画素（背景画素あるいは重畳画素）をそれぞれ表す。また、説明の便宜上、差分ノイズ画素７０ａ〜７０ｄの画素値が２００であり、画素７１ａ・７１ｂの画素値がそれぞれ６０、１０であるものとする。この条件において、線形補間値算出部１５０は、線形補間処理により７０ａ〜７０ｄの画素をそれぞれ５０、４０、３０、２０と線形補間する。なお、線形補間値算出部１５０が行う線形補間処理は、一般的に知られている線形補間の手法によって行うことができるため、ここでの詳細説明は省略する。
【０１２１】
そして、線形補間値算出部１５０は、その線形補間した結果を差分ノイズ置換部１３０に出力する。このとき、線形補間値算出部１５０は、差分画像生成部１１０によって生成された差分画像も併せて差分ノイズ置換部１３０に出力する。なお、差分ノイズ置換部１３０は、差分画像生成部１１０から直接に、あるいは、差分ノイズ判別部１１５および差分ノイズ比較部１２０を介して、差分画像を取得する構成で実現されてもよい。
【０１２２】
差分ノイズ置換部１３０は、線形補間値算出部１５０から、線形補間値算出部１５０が線形補間した演算結果と差分画像とを取得する。そして、差分ノイズ置換部１３０は、その線形補間の演算結果と差分ノイズとを置換したうえで、当該置換処理後の新たな差分画像を生成する。
【０１２３】
その後、差分ノイズ置換部１３０は、上記置換処理を行った後の差分画像をポインティング位置特定部４００に出力する。
【０１２４】
以上の置換処理により、閾値Ｉｔが例えば１００である場合には、上記線形補間によって７０ａ〜７０ｄの画素値がすべて閾値Ｉｔ以下に補間され、差分式タッチパネル１への入力の有無が誤って認識される事態を回避することができる。
【０１２５】
なお、上記では、７０ａ〜７０ｄの画素値が線形補間されるケースのみを説明した。しかしながら、実際には、線形補間値算出部１５０は、差分ノイズに係る画素すべてを線形補間する。これにより、差分ノイズに係る画素の画素値がすべて閾値Ｉｔ以下に補間され、差分式タッチパネル１への入力の有無が誤って認識される事態が回避される。
【０１２６】
また、上記では、差分ノイズ画素７０ａ〜７０ｄに隣接する２つの画素７１ａ・７１ｂを用いて線形補間処理を行うものとして説明した。しかしながら、線形補間に用いる２つの画素は、上記画素に限らず、他の画素を任意に抽出する構成で実現してもよい。ただし、差分ノイズに係る画素の画素値を閾値Ｉｔ以下に線形補間するためには、線形補間値算出部１５０は、バックライトオン画像およびバックライトオフ画像の対応する画素の差分が閾値Ｉｔ以下の画素のみを抽出して線形補間することが好ましい。これにより、差分ノイズに係る画素を確実に閾値Ｉｔ以下に線形補間することができるという効果を奏する。
【０１２７】
そこで、図１には不図示であるが、線形補間値算出部１５０は、閾値記憶部３４０に記憶されている閾値Ｉｔ等のデータを取得することが可能な構成とすることが好ましい。これにより、線形補間値算出部１５０は、差分ノイズ画素の差分後の画素値を確実に当該データが示す数値以下（あるいは、数値範囲内）に抑えることができる。
【０１２８】
また、補間値算出部１５０が差分画像における差分ノイズ画素の周囲から抽出する２つの画素は、線形補間処理という性質上、当然に、当該２つの画素の間に差分ノイズ画素が挟まれている必要があることも述べておく。
【０１２９】
あるいは、補間値算出部１５０は、次のような方法で線形補間処理を行ってもよい。なお、既述の内容についての説明は省略する。
【０１３０】
補間値算出部１５０は、差分画像に差分ノイズを示す領域７０が含まれるかどうか判別した結果を差分ノイズ判別部１１５から取得する（図１には不図示）。そして、差分ノイズを示す領域７０が差分画像に含まれている場合に、補間値算出部１５０は、差分ノイズと判断された画素に着目して（以降では、着目した画素を「着目画素」と称する）、その着目画素を中心とする５×５の画素領域を参照する（以降では、参照した画素領域を「参照画素」と称する）。そして、補間値算出部１５０は、参照画素の中から差分ノイズではない画素の画素値を用いて線形補間値を演算し、その演算結果を差分ノイズ置換部１３０に出力する。なお、補間値算出部１５０は、線形補間値を演算する際に、着目画素と参照画素との距離に応じた線形重み付けを行ったうえで補間値を演算する。
【０１３１】
次に、差分ノイズ置換部１３０は、線形補間値算出部１５０から、線形補間値算出部１５０が線形補間した演算結果と差分画像とを取得する。そして、差分ノイズ置換部１３０は、その線形補間の演算結果と差分ノイズとを置換したうえで、当該置換処理後の新たな差分画像を生成する。
【０１３２】
なお、上記では、補間値算出部１５０は、着目画素を中心とする５×５の画素領域を参照するものとして説明した。しかしながら、補間値算出部１５０は、着目画素を中心とする３×３、７×７、９×９等の様々な範囲の画素領域を参照する構成で実現されてもよい。
【０１３３】
このように、補間値算出部１５０は、種々の方法で線形補間処理を行う構成で実現することも可能である。
【０１３４】
〔１−４．ポインティング位置特定部４００について〕
次に、図５を用いて、ポインティング位置特定部４００の構成の詳細を説明する。図５は、ポインティング位置特定部４００の構成を示すブロック図である。
【０１３５】
ポインティング位置特定部４００は、図１に示すように、差分ノイズと特定画素値あるいは線形補間値とを置換した後の差分画像を差分ノイズ置換装置１００（より詳しくは、差分ノイズ置換部１３０）から取得して、その差分画像に基づいて、撮像対象による撮像画像上の指示位置を特定するものである。
【０１３６】
ポインティング位置特定部４００は、図５に示すように、低解像度化部２と、縦勾配量算出部３ａと、横勾配量算出部３ｂと、第１エッジ抽出部４と、方向特定部５と、効率化部６と、一致画素数算出部７と、モデルパターン・比較用一致パターン格納部８と、パターン合致度算出部９と、スコア算出部１０と、位置特定部１１と、第２エッジ抽出部１５と、を備えている。
【０１３７】
低解像度化部２は、差分ノイズ置換部１３０から取得した差分画像の画像データを低解像度化する。
【０１３８】
縦勾配量算出部３ａ及び横勾配量算出部３ｂは、画像データ上の画素ごとに、注目画素の画素値と複数の隣接画素の画素値とから注目画素の画素値の縦方向勾配量及び横方向勾配量を算出する。具体的には、Ｓｏｂｅｌ（ソベル）オペレータ、Ｐｒｅｗｉｔｔ（プリウイット）オペレータ等の公知のエッジ抽出オペレータを用いれば良い。
【０１３９】
例えば、Ｓｏｂｅｌオペレータについて説明すると、各画素の画素位置ｘ（ｉ，ｊ）における局所的な縦方向勾配Ｓｙ及び横方向勾配Ｓｘは、次式（１）のように求められる。
【０１４０】
Ｓｘ＝ｘｉ＋１ｊ−１−ｘｉ―１ｊ−１＋２ｘｉ＋１ｊ−２ｘｉ―１ｊ＋ｘｉ＋１ｊ＋１−ｘｉ―１ｊ＋１
Ｓｙ＝ｘｉ−１ｊ＋１−ｘｉ−１ｊ−１＋２ｘｉｊ＋１−２ｘｉｊ−１＋ｘｉ＋１ｊ＋１−ｘｉ＋１ｊ−１
・・・（１）
ここで、ｘｉｊは画素位置ｘ（ｉ，ｊ）における画素値を表し、ｉは水平方向に沿った画素の位置を、ｊは垂直方向に沿った画素の位置をそれぞれ表す。ここに、ｉ及びｊは正の整数である。
【０１４１】
ここで、式（１）は、次式（２）及び（３）の３×３のＳｏｂｅｌオペレータ（行列演算子Ｓｘ及びＳｙ）を、画素位置ｘ（ｉ，ｊ）を注目画素とする３×３画素に適用することと等価である。
【０１４２】
【数１】
2011118466.tif 000003
【０１４３】
ここで、画素位置ｘ（ｉ，ｊ）における勾配の大きさＡＢＳ（Ｓ）及び勾配方向ＡＮＧ（Ｓ）は、縦方向勾配Ｓｙ及び横方向勾配Ｓｘに基づいて、次のように与えられる。なお、以下では、演算子としての縦方向勾配Ｓｙ及び横方向勾配Ｓｘを各画素に適用することによって得られた縦方向勾配量及び横方向勾配量のそれぞれを、便宜上、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘと記載する場合がある。
【０１４４】
ＡＢＳ（Ｓ）＝（Ｓｘ2＋Ｓｙ2）1/2        ・・・（４）
ＡＮＧ（Ｓ）＝ｔａｎ-1（Ｓｙ／Ｓｘ）    ・・・（５）
第１エッジ抽出部４は、縦勾配量算出部３ａ及び横勾配量算出部３ｂが算出した各画素の縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘの算出結果から、撮像画像のエッジ部分の画素である第１エッジ画素を抽出（特定）する。
【０１４５】
ここで、第１エッジ画素とは、画像データを構成する各画素のうち、明るさが急激に変化する部分（エッジ）における画素である。具体的には、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）が所定の第１閾値以上である画素のことである。
【０１４６】
なお、この第１エッジ画素を抽出する目的は、方向特定部５が、抽出された複数の第１エッジ画素については勾配方向を特定し、第１エッジ画素以外の画素については一律無方向と看做して特定するようにする点にある。
【０１４７】
パターンマッチングにおいて重要な情報は、エッジ部分の第１エッジ画素における勾配方向である。
【０１４８】
したがって、あまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、以下で説明する撮像対象による撮像画像上の指示位置を検出する際のメモリ容量を少量化し、処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減することができる。
【０１４９】
方向特定部５は、上述したように、縦勾配量算出部３ａ及び横勾配量算出部３ｂが算出した縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘから、画素ごとの勾配方向ＡＮＧ（Ｓ）と、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）が第１閾値未満である無方向とのいずれかを特定するものである。
【０１５０】
ここでは、無方向を第１閾値未満であると定義しているが、第１閾値以下と定義しても良い。
【０１５１】
あらかじめ無方向を設定しておくことで、ノイズ等により不要な多数の勾配方向が発生することを抑制することができる。また、エッジ近傍の勾配方向に照合対象を絞りこむことが可能となり、照合の効率化を図ることができる。
【０１５２】
なお、方向特定部５は、第１エッジ抽出部４によって特定された複数の第１エッジ画素の勾配方向を特定し、第１エッジ画素以外の画素を無方向と看做して特定することが好ましい。パターンマッチングにおいて重要な情報は、エッジ部分の第１エッジ画素における勾配方向であると言える。
【０１５３】
したがって、パターンマッチングにおいてあまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。
【０１５４】
ここで、勾配方向ＡＮＧ（Ｓ）は、０ｒａｄ〜２πｒａｄの範囲で変化する連続量であるから、本実施の形態においては、これを例えば８方向に量子化したものを勾配方向としてパターンマッチングに使用する特徴的な量（以下、「特徴量」と呼ぶことがある。）とする。
【０１５５】
なお、より精度の高いパターンマッチングを行うために、１６方位等に量子化しても良い。具体的な方向の量子化の詳細な手順については後述する。また、方向の量子化とは、勾配方向ＡＮＧ（Ｓ）が所定の範囲内にある方向を一律にある特定の方向の勾配方向であると看做して取り扱うことを言う。
【０１５６】
効率化部６は、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合（以下、「パターンマッチング」と呼ぶこともある。）を行う場合に、照合領域とモデルパターンとの照合の効率化を行う。
【０１５７】
一致画素数算出部７は、例えば、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（以下、「一致画素数」と呼ぶ。）を算出する。
【０１５８】
モデルパターン・比較用一致パターン格納部８は、モデルパターンと、比較用一致パターンとを格納する。比較用一致パターンは、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンを分析することによってあらかじめ定めたパターンである。モデルパターン・比較用一致パターン格納部８は、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。
【０１５９】
パターン合致度算出部９は、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度を算出する。
【０１６０】
画素値の勾配はベクトル量であり、大きさ（勾配の大きさＡＢＳ（Ｓ））と向き（勾配方向ＡＮＧ（Ｓ））とを持つものである。ここで、特に、勾配方向（向き）は、例えば８方向に量子化したりすることによって、１つの画素がとり得る状態を８（無方向を含めると９）という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせる事ができる。
【０１６１】
また、勾配方向は、上述したような傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。
【０１６２】
スコア算出部１０は、一致画素数算出部７が算出した一致画素数、及びパターン合致度算出部９が算出したパターン合致度から、照合領域とモデルパターンとのマッチングの度合いを示す合致度を算出する。なお、スコア算出部１０は、一致画素数算出部７が算出した一致画素数、及びパターン合致度算出部９が算出したパターン合致度のいずれか１つを使用するよう構成しても良い。
【０１６３】
また、スコア算出部１０は、照合領域内において合致する勾配方向の種類数が、あらかじめ定められた規定種類数以上の場合に、合致度を算出するようにしても良い。
【０１６４】
上述のように、勾配方向は、おおよその傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。よって、例えば、勾配方向の種類数が８方向の場合、パターンマッチングで一致する勾配方向の種類数は８に近いものとなるはずである。したがって、上記の照合領域内において合致する勾配方向の種類数が、あらかじめ定められた規定種類数以上の場合に、合致度を算出するようにすれば、指示位置の検出処理のメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。
【０１６５】
さらに、スコア算出部１０は、自身が算出した合致度が所定の値以上である場合には、後述する第２エッジ抽出部１５から、その合致度に対応する照合領域についての、第１エッジ抽出部４により抽出された第１エッジ画素数及び第２エッジ抽出部１５により抽出された第２エッジ画素数を取得する。そして、スコア算出部１０は、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えているか否かを判断し、超えているとの判断結果に基づいて自身が算出した合致度を位置特定部１１に出力する。一方、スコア算出部１０は、超えていないとの判断に基づいて自身が算出した合致度は、位置特定部１１に利用されることが回避されることになる。
【０１６６】
要は、スコア算出部１０が、自身が算出する合致度のうち、それぞれに対応する、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えているものに限り、位置特定部１１に出力するように構成されていればよい。
【０１６７】
位置特定部１１は、スコア算出部１０が算出した合致度が最大となる画素（以下、「ピーク画素」と呼ぶ。）の位置から、撮像対象による撮像画像上の指示位置を特定する。位置特定部１１は、ピーク探索部（ピーク画素特定手段、位置特定手段）１２と、座標算出判定部（座標算出判定手段、位置特定手段）１３と、座標算出部（座標算出手段、位置特定手段）１４と、を有している。
【０１６８】
ピーク探索部１２は、注目画素の周囲で所定の画素数を含む探索領域（以下、「第１領域」と呼ぶ場合がある。）内で、スコア算出部１０が算出した合致度が最大値をとる画素であるピーク画素を探索する。
【０１６９】
座標算出判定部１３は、探索領域の画素数よりも少ない所定の画素数を有すると共に、探索領域内に完全に包含される小領域（以下、「第２領域」と呼ぶ場合がある。）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合に、座標算出部１４に撮像対象による撮像画像上の指示位置を算出させる。
【０１７０】
座標算出部１４は、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとの合致度を用いて、撮像対象による撮像画像上の指示位置を算出するものである。
【０１７１】
第２エッジ抽出部１５は、縦勾配量算出部３ａ及び横勾配量算出部３ｂが算出した各画素の縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘの算出結果から、撮像画像のエッジ部分の画素である第２エッジ画素を抽出（特定）する。
【０１７２】
ここで、第２エッジ画素は、第１エッジ抽出部４により抽出される第１エッジ画素と同様、画像データを構成する各画素のうち、明るさが急激に変化する部分（エッジ）における画素である。そして、この第２エッジ画素は、第１エッジ抽出部４により先に抽出された第１エッジ画素のうち、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）が第１閾値よりも大きい第２閾値以上である画素のことである。
【０１７３】
ポインティング位置特定部４００の表示画面に近接して来る外部の物体である指腹、ペン等が表示画面に実際に接触した場合、表示画面に直接接触したエッジにおける明るさの変化幅、つまり、そのエッジ強さは、表示画面に近接するものの直接は接触しないエッジと比較して、大きくなる傾向にある。例えば、表示画面に接触したタッチ指と浮いている非タッチ指との間では、指先のエッジの強さ、つまり、指先と背景との画素値差は異なるものとなる。タッチ指の撮像画像はくっきりするため、そのエッジは強いが、非タッチ指は撮像画像がぼけるため、そのエッジは弱くなる。
【０１７４】
そこで、第２エッジ抽出部１５は、第１エッジ抽出部４により抽出された第１エッジ画素のうち、第１閾値よりも大きい第２閾値以上である、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）を持つ第２エッジ画素を抽出する。
【０１７５】
そして、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えていれば表示画面に近接する外部の物体が実際に表示画面に接触しているものとする。
【０１７６】
このことが第２エッジ画素を抽出する目的である。
【０１７７】
（２．ポインティング位置特定部の動作の概要）
次に、ポインティング位置特定部４００の動作の概要について説明する。
【０１７８】
図６はポインティング位置特定部４００の全体的な動作の概要を示すフローチャートである。ステップＳ１０１では、図５の低解像度化部２が画像データを低解像度化し、Ｓ１０２に進む。例えば、３２０×２４０画素の画像データであれば、１６０×１２０画素（低解像度化率１／２）、又は８０×６０画素（低解像度化率１／４）等のようにバイリニア縮小させる。ここで、バイリニア縮小とは、例えば２×２の各画素が持つ画素値の平均値をとり、２×２画素のデータを、該平均値を持った１×１画素のデータに置き換えることにより、全体として１／４の情報圧縮を行うことを言う。
【０１７９】
なお、高速処理の観点からは、できるだけ低解像度化することが好ましいが、必要なエッジ情報等を得るためには、例えば３２０×２４０画素（１５０ｄｐｉ）の画像データの場合であれば、８０×６０画素（低解像度化率１／４）を低解像度化の限度とすることが好ましい。また、高精度処理の観点からは、低解像度化を全く行なわないか、低解像度化するとしても、１６０×１２０画素（低解像度化率１／２）に留めることが好ましい。
【０１８０】
以上の画像データの低解像度化により、パターンマッチングの処理コストやメモリ容量の少量化、及び処理時間の短縮化を図ることがきる。
【０１８１】
Ｓ１０２では、縦勾配量算出部３ａ及び横勾配量算出部３ｂが、画像データ上の画素ごとに、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出してから、方向特定部５が、画素ごとの勾配方向と無方向とのいずれかを特定するまでの過程（勾配方向・無方向特定過程）を経た上で、Ｓ１０３に進む。
【０１８２】
Ｓ１０３では、効率化部６で、照合領域と、モデルパターンとの照合を行う場合に、照合領域とモデルパターンとの照合の効率化を図るか否か、つまり、照合効率化の要否を選択する。照合効率化を行う場合（Ｙｅｓ）には、Ｓ１０４に進み、効率化部６で照合効率化を行った上でＳ１０５に進み、照合効率化を行なわない場合（Ｎｏ）にはＳ１０８に進み、効率化部６は何もせず、そのままの情報（画像データ、但し、低解像度化部２で、低解像度化している場合には、低解像度化後の画像データ）でＳ１０５に進む。
【０１８３】
Ｓ１０５では、一致画素数算出部７が、照合領域とモデルパターンとの照合を行って、一致画素数を算出し、パターン合致度算出部９が、パターン合致度を算出してから、スコア算出部１０が、一致画素数算出部７が算出した一致画素数、及び、パターン合致度算出部９が算出したパターン合致度から、合致度を算出するまでの過程（パターンマッチング過程）を経た上で、Ｓ１０６に進む。
【０１８４】
Ｓ１０６では、第２エッジ抽出部１５が、第２エッジ画素を抽出してから、スコア算出部１０が、自身が算出した合致度を位置特定部１１に出力するまでの過程（接触・非接触判定過程）を経た上で、Ｓ１０７に進む。
【０１８５】
Ｓ１０７では、位置特定部１１が、スコア算出部１０が算出した合致度が最大となる画素（以下、「ピーク画素」と呼ぶ。）の位置から、撮像対象による撮像画像上の指示位置を特定して「エンド」となる（ポインティング位置特定過程）。
【０１８６】
以上が、ポインティング位置特定部４００の全体の動作概要である。以下では、勾配方向・無方向特定過程、照合効率化、パターンマッチング過程、接触・非接触特定過程及びポインティング位置特定過程におけるポインティング位置特定部４００の各動作について説明する。
【０１８７】
（３．勾配方向・無方向特定過程）
まず、図５、図７、図８（ａ）及び図８（ｂ）に基づいて、勾配方向・無方向特定過程におけるポインティング位置特定部４００の動作について説明する。
【０１８８】
図７は、ポインティング位置特定部４００の動作のうち、勾配方向・無方向特定過程の動作を示すフローチャートである。図８（ａ）は、勾配方向・無方向特定過程において参照されるテーブルの一例であり、図８（ｂ）は、勾配方向・無方向特定過程において参照されるテーブルの他の例である。
【０１８９】
図７のフローチャートでは、まず、縦勾配量算出部３ａ及び横勾配量算出部３ｂがそれぞれ、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出してからスタートする。
【０１９０】
Ｓ２０１では、第１エッジ抽出部４が、各画素における勾配の大きさＡＢＳ（Ｓ）が第１閾値以上か否かを判定し、ＡＢＳ（Ｓ）≧第１閾値ならば（Ｙｅｓ）、Ｓ２０２に進み、ＡＢＳ（Ｓ）＜第１閾値ならば（Ｎｏ）、Ｓ２１０に進む。なお、本実施の形態では、ＡＢＳ（Ｓ）＝Ｓｘ×Ｓｘ＋Ｓｙ×Ｓｙとして計算しているが、この量は、上式（４）における厳密な意味で勾配の大きさと異なる。しかし、実装上はこのように勾配の大きさを定義しても問題は無い。
【０１９１】
Ｓ２１０に進んだ場合には、方向特定部５は、対象となっている画素、つまり、第１エッジ画素以外の画素を無方向と設定（特定）し、次の画素へ進んで、Ｓ２０１に戻る。なお、Ｓ２０２に進んだ場合には、対象となっている画素は、無論、第１エッジ画素である。
【０１９２】
Ｓ２０２では、方向特定部５が、横方向勾配量Ｓｘが０であるか否かを判定し、Ｓｘ≠０ならば、Ｓ２０３（Ｙｅｓ）に進み、Ｓｘ＝０ならば、Ｓ２０６（Ｎｏ）に進む。
【０１９３】
Ｓ２０３では、方向特定部５は、横方向勾配量Ｓｘが正の値をとるか否かを判定し、Ｓｘ＞０ならば、Ｓ２０４（Ｙｅｓ）に進み、方向特定部５は、図８（ａ）のテーブルにしたがって、該当画素について、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。
【０１９４】
一方、Ｓｘ＜０ならば、Ｓ２０５に進み、方向特定部５は、図８（ｂ）のテーブルにしたがって、該当画素について、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。
【０１９５】
次に、Ｓ２０６では、方向特定部５は、縦方向勾配量Ｓｙが０か否かを判定し、Ｓｙ≠０ならば、Ｓ２０７（Ｙｅｓ）に進み、Ｓｙ＝０ならば、Ｓ２１０（Ｎｏ）に進み、該当画素を無方向と設定し、次の画素へ進んでＳ２０１に戻る。
【０１９６】
Ｓ２０７では、方向特定部５は、縦方向勾配量Ｓｙが正の値をとるか否かを判定し、Ｓｙ＞０ならば、Ｓ２０８（Ｙｅｓ）に進み、該当画素の勾配方向を上向きに設定して、Ｓ２０１に戻る。
【０１９７】
一方、Ｓｙ＜０ならば、Ｓ２０９（Ｎｏ）に進み、該当画素の勾配方向を下向きに設定して、次の画素へ進んでＳ２０１に戻る。
【０１９８】
以上の工程は、すべての画素の勾配方向・無方向の設定が終わるまで繰り返される。
【０１９９】
パターンマッチングにおいて重要な情報は、エッジ部分の画素である第１エッジ画素における勾配方向である。
【０２００】
したがって、上記の動作により、あまり重要でない第１エッジ画素以外の画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、撮像対象による撮像画像上の指示位置の検出を可能としてメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。
【０２０１】
（４．照合効率化）
次に、ポインティング位置特定部４００における照合効率化について説明する。
【０２０２】
図５に示す効率化部６は、照合領域を、複数の同一画素数の分割領域に分割すると共に、分割領域ごとに、分割領域に含まれる画素ごとの勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び前記無方向の情報に置き換えることで、照合領域とモデルパターンとの照合の効率化を図る。
【０２０３】
また、スコア算出部１０は、効率化部６によって照合の効率化が行なわれた照合領域とモデルパターンとの照合を行なって、照合領域内のそれぞれの分割領域に含まれる勾配方向と、モデルパターンにおける勾配方向との一致数を、前記合致度として算出する。
【０２０４】
上述のように、勾配方向は、おおよその傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、分割領域の画素数をあまり大きくしなければ、該分割領域内における勾配方向の画素の位置は、勾配方向を用いたパターンマッチングにおいてあまり重要な情報ではない。
【０２０５】
そこで、分割領域ごとに、分割領域に含まれる画素ごとの勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び無方向の情報に置き換えることにより、パターンマッチングの照合精度を維持しつつ、照合効率化が可能となる。また、この効率化に伴い、撮像対象による前記撮像画像上の指示位置の検出処理に要するコストを削減することもできる。
【０２０６】
以上より、パターンマッチングの照合精度を維持しつつ、照合効率化を可能とし、撮像対象による撮像画像上の指示位置の検出処理に要するコストを削減することができるポインティング位置特定部４００を提供することができる。
【０２０７】
ここで、図９（ａ）及び図９（ｂ）に基づき、ポインティング位置特定部４００における照合効率化の具体例について説明する。
【０２０８】
まず、図９（ａ）に示すように、周囲が暗い場合における画像データの各画素における勾配方向の分布の特徴は、中央にほぼ円形状である、無方向の画素の領域があり、その回りをとり囲むようにして該無方向の領域に向かう向きの勾配方向を持つ画素が多数分布している。
【０２０９】
次に、図９（ｂ）は、図９（ａ）の画像データについて照合効率化を行った後の様子を示す概要図である。
【０２１０】
図９（ａ）に示すように、１４×１４画素の領域（照合領域）を、複数の２×２画素の領域（分割領域）に分割すると共に、２×２画素の領域ごとに、２×２画素の領域に含まれる画素ごとの勾配方向及び無方向の情報を、２×２画素の領域に含まれる勾配方向及び無方向の情報に置き換えることで、１４×１４画素の領域とモデルパターン（モデルパターンの例については後に詳しく説明する。）との照合の効率化が行われる。
【０２１１】
たとえば、図９（ａ）に示す１４×１４画素の領域を分割した複数の２×２画素領域のうち、上から２つめ、左から１つめの２×２画素の領域には、左上の画素が「無方向」、右上の画素が「右下向き（勾配方向）」、左下の画素が「右向き（勾配方向）」、及び右下の画素が「右下向き（勾配方向）」となっている。この２×２画素の領域について各勾配方向の存在位置に関する情報を省略したものが、図９（ｂ）の上から２つめ、左から１つめのブロック（以下、便宜上「画素」と呼ぶ場合がある。）である。他のブロックも同様にして生成することができる。結果として、図９（ａ）に示す１４×１４画素領域は、合計７×７＝４９個の２×２画素領域に分割される。
【０２１２】
次に、図１０（ａ）〜図１２（ｂ）に基づき、照合領域と照合されるモデルパターンの具体例について説明する。
【０２１３】
図１０（ａ）は、周囲が暗い場合における照合効率化前の画像データと照合されるモデルパターンの一例を示す概要図である。また、図１０（ａ）のモデルパターンは、図９（ａ）に示す１４×１４画素の領域とパターンマッチングを行う場合を想定したものである。また、撮像対象としては、指腹を想定している。
【０２１４】
ところで、図１０（ａ）のモデルパターンは、１３×１３画素のモデルパターンとなっている。この場合、図９（ａ）に示す１４×１４画素の領域と全画素数が異なっているが、この例のように照合領域とモデルパターンとの画素数は必ずしも一致しなくても良い。
【０２１５】
また、奇数×奇数（１３×１３）としているのは、中心の画素が１つとなるようにするためである。この中心の画素を画像データ上の着目画素にあわせて１画素づつ、ずらせてパターンマッチングを行う。
【０２１６】
この場合の一致画素数は、１画素ごとに照合されて算出されるので、１３×１３＝１６９画素の照合が必要となる。
【０２１７】
一方、図１０（ｂ）は、周囲が明るい場合における照合効率化前の画像データと照合されるモデルパターンの一例を示す概要図である。図１０（ａ）のモデルパターンと比較すると各画素の勾配方向が逆向きになっている。図１０（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図１０（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。
【０２１８】
次に、図１１（ａ）は、周囲が暗い場合における照合効率化後の画像データと照合されるモデルパターンの一例を示す概要図である。図１１（ａ）のモデルパターンは、図９（ｂ）の照合効率化後の照合領域とのパターンマッチングを想定したものである。この例のように、照合領域とモデルパターンとデータ形式は必ずしも同一でなくても良い。この例では、２×２画素の領域を１画素（与えられる勾配方向は１つ）と看做してモデルパターンを簡略化することにより、さらなる照合の効率化を図っている。
【０２１９】
図１１（ｂ）は、周囲が明るい場合における照合効率化後の画像データと照合されるモデルパターンの一例を示す概要図である。図１１（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図１１（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。
【０２２０】
図１２（ａ）は、周囲が暗い場合における照合効率化後の画像データと照合されるモデルパターンの他の例を示す概要図である。図１１（ａ）のモデルパターンとの違いは、２×２画素分が１つの領域に纏められているが、該１つの領域ごとに、２つの勾配方向（又は無方向）の自由度が与えられている点である。このようなモデルパターンを工夫することにより、照合の効率化を図りつつ、照合精度を高めることができる。
【０２２１】
図１２（ｂ）は、周囲が明るい場合における照合効率化後の画像データと照合されるモデルパターンの他の例を示す概要図である。図１２（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図１２（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。
【０２２２】
（５．パターンマッチング過程）
次に、ポインティング位置特定部４００におけるパターンマッチングの過程について説明する。
【０２２３】
図１３は、図１に示すポインティング位置特定部４００の動作のうち、パターンマッチング過程の動作を示すフローチャートである。
【０２２４】
Ｓ３０１では、一致画素数算出部７が、照合領域とモデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（一致画素数）を算出してＳ３０２に進む。
【０２２５】
Ｓ３０２では、効率化部６を備えていない場合には、方向特定部５が、効率化部６を備えている場合には、効率化部６が、勾配方向のパターン合致度も算出するかどうかを決定し、パターン合致度の算出を決定した場合には、パターン合致度算出部９に通知してＳ３０３（Ｙｅｓ）に進む。一方、パターン合致度の算出を行なわないことを決定した場合には、スコア算出部１０に通知してＳ３０４に進む。
【０２２６】
なお、ここでは、一致画素数が必ず算出される場合について説明しているが、このような場合に限られず、パターン合致度のみを算出する構成を採用しても良い。
【０２２７】
また、パターン合致度とは、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンと、あらかじめ定められ、モデルパターン・比較用一致パターン格納部８に記録されている比較用一致パターンとが類似する度合いを示す量である。
【０２２８】
Ｓ３０３では、パターン合致度算出部９が、方向特定部５又は効率化部６からパターン合致度の算出を決定した旨の通知を受けて、パターン合致度を算出し、Ｓ３０４に進む。
【０２２９】
Ｓ３０４では、パターン合致度算出部９が、パターン合致度の算出を行っていない場合には、一致画素数算出部７が算出した一致画素数を、照合領域と前記モデルパターンとのマッチングの度合いを示す合致度として算出する。一方、パターン合致度算出部９が、パターン合致度の算出を行っている場合には、一致画素数算出部７が算出した一致画素数及びパターン合致度算出部９が算出したパターン合致度を、合算した量を照合領域とモデルパターンとのマッチングの度合いを示す合致度として算出する。
【０２３０】
次に、パターンマッチング過程におけるスコア算出部１０の具体的なスコア（合致度）算出方法について説明する。
【０２３１】
図１４（ａ）は、照合効率化前の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１４（ｂ）は、その合致度算出方法の一例を示す図である。
【０２３２】
図１４（ａ）は、図９（ａ）の照合領域と、図１０（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の７行７列（以下では、横方向に並ぶ画素を「列」、縦方向に並ぶ画素を「行」と呼ぶ。また、上から行、左から列を数える。）にある１×１画素はスコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している画素を示している。
【０２３３】
図１４（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。
【０２３４】
次に、図１４（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の１３行１３列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、勾配方向が与えられている画素で、モデルパターンの勾配方向と一致した画素を「１」とし、無方向及びモデルパターンの勾配方向と一致していない画素は「０」として計算している。なお、無方向と判定された画素は、最初から計算に含めない構成としても良い。ここでは、網掛けで示された一致画素数は「８５」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数（合致度）を用いても良い。
【０２３５】
次に、図１４（ｂ）に示す、正規化一致画素数について説明する。この正規化一致画素数は、例えば、照合精度を高めるためモデルパターンを複数種類用意してパターンマッチングを行う場合（例えば、２１×２１、１３×１３、及び７×７画素の３種類のモデルパターン）に、モデルパターンのサイズに依存しない量として一致画素数を正規化するものである。
【０２３６】
ここでは、正規化一致画素数を、次式（６）で定義する。
【０２３７】
正規化一致画素数＝適当な定数×（一致画素数／モデル中の方向成分が存在する要素数）                      ・・・・（６）
なお、「適当な定数」は、計算の便宜等を考慮して適宜定めれば良い。ここでは、正規化一致画素数が０〜１０の範囲となるように、適当な定数＝１０と設定している。なお、以下で説明するパターンマッチングの例においても正規化一致画素数を使用しているが、説明は省略する。
【０２３８】
（６）式から、図１４（ａ）の場合の正規化一致画素数を求めると以下のようになる。
【０２３９】
正規化一致画素数＝１０×（８５／１３６）＝６．２５≒６
次に、図１５（ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１４（ｂ）は、その合致度算出方法の一例を示す図である。
【０２４０】
図１５（ａ）は、図９（ｂ）の照合効率化後の照合領域と、図１１（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の４行４列にある１×１画素（２×２画素に相当するものであるが、便宜上「画素」と言う。）は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している場合がある画素を示している。
【０２４１】
図１５（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。
【０２４２】
次に、図１５（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の７行７列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、例えば、１行２列では、照合領域では、勾配方向が「右下」の画素が「３つ」存在しており、一方、モデルパターンの勾配方向は、１つであるが、「右下」である。従って、この場合の一致画素数は、「３」と計算する。
【０２４３】
他の例では、２行１列では、照合領域では、勾配方向が「右下」の画素が「２つ」と、「右」が「１つ」存在しており、一方、モデルパターンの勾配方向は、１つであるが、「右下」である。勾配方向は、「右下」が「２つ」一致しているが、「右」は一致していない。従って、この場合の一致画素数は、「２」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。
【０２４４】
以上の計算をすべての画素について行なえば、網掛けで示された部分の一致画素数は「９１」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。
【０２４５】
ここでは、正規化一致画素数を、次式（７）で定義する。
【０２４６】
正規化一致画素数＝適当な定数×（一致画素数／モデル中の方向成分が存在する要素数を４倍した値）                      ・・・・（７）
適当な定数＝１０と設定している。
【０２４７】
（７）式から、図１４（ａ）の場合の正規化一致画素数を求めると以下のようになる。
【０２４８】
正規化一致画素数＝１０×（９１／１７６）＝５．１７≒５
次に、図１６（ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１６（ｂ）は、その合致度算出方法の一例を示す図である。
【０２４９】
図１６（ａ）は、図９（ｂ）の照合効率化後の照合領域と、図１２（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の４行４列にある１×１画素（２×２画素に相当するものであるが、便宜上「画素」と言う。）は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している場合がある画素を示している。
【０２５０】
図１６（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。
【０２５１】
次に、図１６（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の７行７列の画素までの一致画素数を算出方法の一例を示すものである。ここでは、例えば、１行２列では、照合領域では、勾配方向が「右下」の画素が「３つ」存在しており、一方、モデルパターンの勾配方向は、２つであり、「右下」が「１つ」に「下」が「１つ」である。従って、「右下」が一致しているので、この場合の一致画素数は、「３」と計算する。
【０２５２】
他の例では、２行１列では、照合領域では、勾配方向が「右下」の画素が「２つ」と、「右」が「１つ」存在しており、一方、モデルパターンの勾配方向は、２つであるが、「右」が「１つ」と「右下」が「１つ」である。勾配方向は、「右」が「１つ」と「右下」が「２つ」一致している。従って、この場合の一致画素数は、「３」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。
【０２５３】
ここで、下線を引いた数字と、引いてない数字とが記載されているが、下線を引いた数字は、図１５（ａ）の場合と比較して、一致画素数が増加しているものを示している。
【０２５４】
この結果は、図１１（ａ）のモデルパターンよりも図１２（ａ）のモデルパターンを使用した場合の方が、より変形に強い（円形からの歪に対するロバスト性の高い）パターンマッチングが行なえることを示している。
【０２５５】
以上の計算をすべての画素について行なえば、網掛けで示された部分の一致画素数は「１１９」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。
【０２５６】
（７）式から、図１６（ａ）の場合の正規化一致画素数を求めると以下のようになる。
【０２５７】
正規化一致画素数＝１０×（１１９／１７６）＝６．７６≒７
次に、図１７〜図２０（ｂ）に基づき、図５のスコア算出部１０が、一致画素数と合致パターンとを併用して、スコア（合致度）を算出する場合について説明する。
【０２５８】
図１７は、ポインティング位置特定部４００におけるパターンマッチングにおいて一致画素数とパターン合致度とを併用する場合について説明するためのフローチャートである。
【０２５９】
図１７のＳ４０１では、一致画素数算出部７が、一致画素数を初期化して、Ｓ４０２に進む。Ｓ４０２では、パターン合致度算出部９が一致パターンの初期化を行ってＳ４０３に進む。ここでは、勾配方向の種類数を初期化している様子を示している。すべての勾配方向が「無」と表示されているのは、このことを示している。
【０２６０】
Ｓ４０３では、一致画素数算出部７とパターン合致度算出部９とが１画素ごとに（照合効率化後の画素も含む）勾配方向の照合等を行って、Ｓ４０４に進む。
【０２６１】
Ｓ４０４では、方向が一致すれば（Ｙｅｓ）Ｓ４０５に進み、一致画素数算出部７が一致画素数に一致した方向の要素数（効率化処理なしの場合は「１」）を加えてＳ４０６に進み、一方、方向が一致する画素が全くなければ、（Ｎｏ）Ｓ４０１に戻る。
【０２６２】
Ｓ４０６では、パターン合致度算出部９が一致した勾配方向を「有」と更新して、Ｓ４０７に進む。
【０２６３】
Ｓ４０７では、一致画素数算出部７及びパターン合致度算出部９がモデルパターンの全要素（画素）について照合が終了した場合には、（Ｙｅｓ）Ｓ４０８に進み、照合が終了していない場合には、（Ｎｏ）Ｓ４０３に戻る。
【０２６４】
Ｓ４０８では、パターン合致度算出部９が一致パターンのチェックを行ない、Ｓ４０９に進む。この一致パターンのチェックの詳細については、後に説明する。
【０２６５】
Ｓ４０９では、パターン合致度算出部９が、モデルパターン・比較用一致パターン格納部８を参照して、「許可パターン」に該当するか否かを判定し、許可パターンに該当する場合は、（Ｙｅｓ）Ｓ４１０に進む。一方、許可パターンに該当しない場合は、（Ｎｏ）Ｓ４０４に戻る。
【０２６６】
なお、パターン合致度算出部９は、「許可パターン」に該当する場合にはパターン合致度を「１」とし、「許可パターン」に該当しない場合にはパターン合致度を「０」とし、スコア算出部１０は、一致画素数算出部７が算出した一致画素数にこれらの数値を掛ける構成が考えられる。
【０２６７】
Ｓ４１０では、スコア算出部１０が、一致画素数算出部７が算出した一致画素数から正規化一致画素数を算出してパターンマッチングのスコア（合致度）とする。
【０２６８】
次に、図１８（ａ）及び図１８（ｂ）に基づき、上記パターンマッチングにおける一致パターンのチェックの一例について説明する。
【０２６９】
図１８（ａ）は、パターン合致度算出過程の一例を示すフローチャートであり、図１８（ｂ）は、パターン合致度算出過程の他の例を示すフローチャートである。
【０２７０】
なお、ここでは、勾配方向の種類は８方向あり、勾配方向種類数の閾値（ＤＮ）を５に設定した場合について説明する。
【０２７１】
図１８（ａ）に示すように、Ｓ５０１では、パターン合致度算出部９が、一致パターンの「有」の数が５以上の場合には、Ｓ５０２に進み、一致パターンの許可を行う。
【０２７２】
一方、パターン合致度算出部９は、一致パターンの「有」の数（勾配方向種類数）が５未満の場合には、Ｓ５０３に進み、一致パターンの不許可を行う。
【０２７３】
同様に、図１８（ｂ）には、パターン合致度算出部９が、一致パターン中の最大連接数（連続一致数）を算出し、一致パターン中の最大連接数（連続一致数）の閾値（ＤＮ）を上記と共通の５に設定した場合が異なること以外は、Ｓ６０１〜Ｓ６０３のフローは、図１８（ａ）のＳ５０１〜Ｓ５０３のフローと同様であるので、ここでは、説明を省略する。
【０２７４】
次に、図１９（ａ）〜図１９（ｃ）に基づき、一致パターンのチェックにおける第１の例を説明する。
【０２７５】
図１９（ａ）は、パターン合致度算出過程の一例を示す概要図であり、図１９（ｂ）は、パターン合致度算出過程の他の例を示す概要図であり、図１９（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。
【０２７６】
図１９（ａ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「８」方向がすべて存在しているので、閾値の５を超えており、図１８（ａ）のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「８」となり、閾値の５を超えており、図１８（ｂ）のフローでも、「許可パターン」と判定される。したがって、図１９（ａ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。
【０２７７】
図１９（ｂ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図１８（ａ）のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「６」となり、閾値の５を超えており、図１８（ｂ）のフローでも、「許可パターン」と判定される。したがって、図１９（ｂ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。
【０２７８】
図１９（ｃ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図１８（ａ）のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「６」となり、閾値の５を超えており、図１８（ｂ）のフローでも、「許可パターン」と判定される。なお、この例のように、一致パターンのテーブルの左端と右端とは、繋がっている（周期的境界条件）ものとして、一致パターン中の最大連接数を算出する。
【０２７９】
以上の結果、図１９（ｃ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。
【０２８０】
次に、図２０（ａ）〜図２０（ｃ）に基づき、一致パターンのチェックにおける第２の例を説明する。
【０２８１】
図２０（ａ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、図２０（ｂ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、図２０（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。
【０２８２】
図２０（ａ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図１８（ａ）のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「４」となり、閾値の５未満であり、図１８（ｂ）のフローでは、「不許可パターン」と判定される。
【０２８３】
したがって、図２０（ａ）の場合には、図１８（ａ）のフローを用いた場合、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。
【０２８４】
一方、図１８（ｂ）のフローを用いた場合、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「０」とを掛け算して「０」をスコアとする。
【０２８５】
図２０（ｂ）では、一致画素数は「２２」と算出している。また、勾配方向の一致パターンは、「４」方向が存在しているので、閾値の５未満であり、図１８（ａ）のフローでは、「不許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「２」となり、閾値の５未満であり、図１８（ｂ）のフローでも、「不許可パターン」と判定される。
【０２８６】
したがって、図２０（ｂ）の場合には、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２２」と「０」とを掛け算して「０」をスコアとする。
【０２８７】
図２０（ｃ）では、一致画素数は「２２」と算出している。また、勾配方向の一致パターンは、「４」方向が存在しているので、閾値の５未満であり、図１８（ａ）のフローでは、「不許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「４」となり、閾値の５未満であり、図１８（ｂ）のフローでも、「不許可パターン」と判定される。
【０２８８】
以上の結果、図２０（ｃ）の場合には、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２２」と「０」とを掛け算して「０」をスコアとする。
【０２８９】
以上のように、スコア算出部１０は、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（一致画素数）、及び、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度から、スコア（合致度）を算出する。
【０２９０】
（６．接触・非接触特定過程）
次に、ポインティング位置特定部４００における接触・非接触特定過程について説明する。
【０２９１】
図２１は、ポインティング位置特定部４００の動作のうち、接触・非接触特定過程の動作を示すフローチャートである。
【０２９２】
図２１においては、Ｓ７０１では、スコア算出部１０が、自身が算出した合致度が所定の値以上である場合には（Ｙｅｓ）、Ｓ７０２に進む。一方、自身が算出した合致度が所定の値以上でない場合には（Ｎｏ）、本接触・非接触特定過程の動作が終了する。
【０２９３】
Ｓ７０２では、第２エッジ抽出部１５は、合致度が所定の値以上であるとのスコア算出部１０の判断に基づいて、第２エッジ画素を抽出して、Ｓ７０３に進む。
【０２９４】
Ｓ７０３では、スコア算出部１０が、第２エッジ抽出部１５から第１エッジ画素数及び第２エッジ画素数を取得し、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えているか否かを判断する。そして、所定の値を超えていれば（Ｙｅｓ）、Ｓ７０４に進む。一方、所定の値を超えていなければ（Ｎｏ）、本接触・非接触特定過程の動作が終了する。
【０２９５】
Ｓ７０４では、スコア算出部１０が、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えているとの自身の判断に基づいて、今回自身が算出した合致度を位置特定部１１に出力する。
【０２９６】
このようにして、図２１に示す接触・非接触特定過程の動作が実行されることになる。
【０２９７】
ここで、この動作の効果について具定例を用いて説明する。図２（ｃ）及び図２（ｄ）に示したように、周囲の明るさが一定以上になると表示画面に近接する指以外の部分の画素値は、指の画素値よりも明るくなる。指が表示画面に接触している時には、例えば図２２に示すような撮像画像が得られる。
【０２９８】
この場合、第１エッジ抽出部４により抽出された第１エッジ画素の勾配方向は図２３に示すような配置となる。そして、図中のＡ部においてパターンマッチングが行なわれることになる。
【０２９９】
また、第２エッジ抽出部１５により抽出された第２エッジ画素は図２４に示すような配置となる。
【０３００】
一方、図２５は指が表示画面に接近しているが接触していないときの撮像画像である。そして、第１エッジ抽出部４により抽出された第１エッジ画素の勾配方向は図２６に示すような配置となる場合がある。この場合、図中のＢ部においてパターンマッチングが行なわれてしまう可能性がある。
【０３０１】
しかしながら、図２５に示す撮像画像においては、図２７に示すように、第２エッジ抽出部１５により第２エッジ画素が抽出されることがない。なぜなら、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）が第２閾値以上である第２エッジ画素が第１エッジ画素のうちに存在しないからである。
【０３０２】
したがって、仮に、非接触の指の画像データに対してパターンマッチングが行なわれたとしても、第２エッジ画素を抽出することにより、接触・非接触の特定をより精度良く行うことができる。
【０３０３】
（７．ポインティング位置特定過程）
次に、ポインティング位置特定部４００におけるポインティング位置特定過程について説明する。
【０３０４】
図２８は、ポインティング位置特定部４００の動作のうち、ポインティング位置座標算出過程の動作を示すフローチャートである。
【０３０５】
Ｓ８０１では、ピーク探索部１２が、注目画素の周囲で所定の画素数を含む第１領域（探索領域）内で、スコア算出部１０が算出した合致度が最大値をとる画素であるピーク画素を探索して、ピーク画素を発見したらＳ８０２に進む。なお、図示していないが、ピーク探索部１２が、ピーク画素を発見できない場合には、注目画素を所定数（例えば、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ））ずらしてＳ８０１に戻る。
【０３０６】
Ｓ８０２では、座標算出判定部１３が、第１領域と共通の注目画素をもち、第１領域の画素数よりも少ない所定の画素数を有すると共に、第１領域に完全に包含される第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合には、Ｓ８０３に進み、座標算出判定部１３は、「ピーク画素あり」と判定し、Ｓ８０４に進む。一方、座標算出判定部１３が、第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在しなかった場合には、Ｓ８０５に進み、座標算出判定部１３は、「ピーク画素なし」と判定し、注目画素を所定数（例えば、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ））ずらしてＳ８０１に戻る。
【０３０７】
以上の手順は、座標算出部１４がポインティング（補間）位置を算出するまで繰り返される。
【０３０８】
Ｓ８０４では、座標算出部１４が、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとのスコアを用いて、撮像対象による撮像画像上の指示位置を算出して「ＥＮＤ」となる。
【０３０９】
なお、上述の説明では、座標算出部１４がポインティング（補間）位置を算出するまで処理を繰り返す場合について説明したが、複数のポインティング（補間）位置を算出可能な構成としてもよく、この場合、画像全体に対して処理を終了するまで、第１・第２領域を移動して、図２８に示すフローチャートの処理を実行すればよい。
【０３１０】
次に、図２９（ａ）及び図２９（ｂ）を用いて、ピーク画素の有無の判定について説明する。
【０３１１】
図２９（ａ）は、ポインティング位置特定部４００における座標算出判定部１３が、ピーク画素が無いと判定する場合を説明するための概要図であり、（ｂ）は、座標算出判定部１３が、ピーク画素が有ると判定する場合を説明するための概要図である。
【０３１２】
図２９（ａ）に示す実線が第１領域であり、破線が第２領域である。第１領域の画素数は、９×９画素であり、第２領域の画素数は、５×５画素である。それぞれ、奇数×奇数としているのは、中央の注目画素が１画素となるようにするためである。
【０３１３】
図２９（ａ）の例では、第１領域内にピーク画素である「９」が存在しているが、該ピーク画素は、第２領域内には存在していない。したがって、この場合は、座標算出判定部１３は、「ピーク画素なし」と判定する。
【０３１４】
一方、図２９（ｂ）の例では、第１領域内にピーク画素である「９」が存在しており、かつ、第２領域内にも存在している。したがって、この場合は、座標算出判定部１３は、「ピーク画素あり」と判定する。
【０３１５】
なお、上述の例では、第１領域にピーク画素が存在している場合において、第２領域内にピーク画素が無い場合には、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ）である「５画素」だけ、第１領域及び第２領域を動かせば、必ず、ピーク画素が第２領域内に入ってくるように、第１領域と第２領域との画素数との差が設定されている。
【０３１６】
次に、図３０（ａ）及び図３０（ｂ）に基づき、座標算出部１４のポインティング（補間）座標（撮像対象による撮像画像上の指示位置）算出方法について説明する。
【０３１７】
図３０（ａ）は、ポインティング位置特定部４００における撮像対象による撮像画像上における指示位置の算出のために使用されるピーク画素領域について説明するための概要図であり、図３０（ｂ）は、ポインティング位置特定部４００におけるポインティング（補間）座標の座標算出方法を説明するための概要図である。
【０３１８】
図３０（ａ）は、座標算出判定部１３が「ピーク座標あり」と判定した場合であり、図２９（ｂ）の場合と同じである。
【０３１９】
なお、図３０（ａ）は第１領域及び第２領域とも破線の領域で示されている。一方、実線で示した５×５画素の領域が、ピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域である。
【０３２０】
図３０（ａ）に示す例では、このピーク画素領域も第２領域と同様に、第１領域に完全に包含されている。この場合は、ピーク画素領域内のスコアをあらためて調べる必要が無い。このように、第２領域の端にピーク画素が存在する場合でも、ピーク画素領域が第１領域内に包含されるように構成することが好ましい。
【０３２１】
次に、図３０（ｂ）に基づき、座標算出部１４のポインティング座標算出方法について説明する。
【０３２２】
本例では、画像データの画素数が、３２０×２４０画素である場合に、図５の低解像度化部２が、バイリニア縮小を２回行ない、さらに、効率化部６が、２×２画素について照合効率化を行ない、スコア画像（スコアのデータを画素ごとに付与したもの）のサイズが４０×３０画素になっている場合を想定している。
【０３２３】
したがって、スコア画像の全領域を８倍に拡大したものが、画像データの全領域に相当する。したがって、補間量（スケール拡大量）＝８となっている。
【０３２４】
具体的な計算方法は、以下のとおりである。まず、ピーク画素領域における行ごとのスコアの和を計算する（図３０（ｂ）の１９、２８、３３、２４、及び１１）。
【０３２５】
次に、ピーク画素領域における列ごとのスコアの和を計算する（図３０（ｂ）の１６、２４、２８、２６、及び２１）。また、ピーク画素領域内（５×５画素）のスコアの総和を求める（図３０（ｂ）の１１５）。
【０３２６】
次に、ピーク画素領域内のスコアの値が質量分布に相当するものとして、スコア画像の全領域における重心座標を求め、スケールを８倍に拡大すると、次式（１４）及び（１５）の座標を得る。
【０３２７】
【数２】
2011118466.tif 000004
【０３２８】
【数３】
2011118466.tif 000005
【０３２９】
次に、画素のサイズを考慮して目盛り位置の調整を行うと、ポインティング座標（Ｘ，Ｙ）は、次式（１６）となる。
【０３３０】
【数４】
2011118466.tif 000006
【０３３１】
以上によれば、ピーク探索部１２は、第１領域（探索領域）内で探索するので、全画素数を含む画像データ領域において、ピーク画素を探索するよりも処理コストを低減、及びメモリ容量を少量化させることができる。
【０３３２】
例えば、第１領域の画素数が小さいということは、データ画像（スコア画像）全体（＝全画素）のスコアをバッファに保存しておく必要がなく、ピーク探索を実行する第１領域に必要なメモリ容量（例えば９×９画素の第１領域の場合、９ライン分のラインバッファ）があればよい、ということになる。
【０３３３】
このように、ラインバッファで実装することにより、メモリ容量を少量化できる効果は、ピーク探索に限らず、縦横の各勾配量の一時保存や、勾配方向の一時保存等、後段処理に受け渡す際にバッファメモリが介在するような実装を行う場合には、全て共通して言えることである。
【０３３４】
さらに、座標算出部１４は、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとのスコアを用いて、ポインティング位置を算出する。例えば、エッジ画像を用いてその重心位置からポインティング位置を求める場合、撮像画像が歪な形に変形するほど算出が困難になると考えられる。
【０３３５】
しかし、ポインティング位置特定部４００では、ピーク画素領域内の、画素ごとのパターンマッチングによるスコアを用いて、ポインティング位置を算出する。このパターンマッチングにおけるスコアの最大値近傍は、撮像画像が歪な形に変形したとしても、該最大値近傍を中心として、放射状に合致度が減少していくという、ほぼ変形前と同様の分布傾向を示すものと考えられる。
【０３３６】
したがって、撮像画像が歪な形に変形するか否かに関係なく、所定の手順（例えば、ピーク画素領域内でスコアの重心を算出する等）で、ポインティング位置を算出することができる。それゆえ、座標位置の検出精度の維持との両立を図りつつ、ポインティング位置を算出するための画像処理量の軽減、処理コストの低減、及びメモリ容量の少量化が可能となる。
【０３３７】
以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターンマッチングを行うことで、ポインティング位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、ポインティング位置の算出において、画像処理量の軽減とポインティング位置の検出精度の維持との両立、及びメモリ容量の少量化を実現することができるポインティング位置特定部４００を提供することができる。
【０３３８】
また、座標算出判定部１３は、第１領域と共通の注目画素をもち、第１領域の画素数よりも少ない所定の画素数を有すると共に、第１領域内に完全に包含される第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合に、座標算出部１４にポインティング位置を算出させることが好ましい。
【０３３９】
ピーク画素領域は、第２領域内に存在するピーク画素を注目画素としてその周囲に広がる領域であるので、第１領域と共通する画素が多数存在することになる。また、ピーク画素領域と第１領域との共通の画素のスコアは既に算出されているので、非共通の画素のスコアを調べれば、座標算出部１４にポインティング位置を算出させることができる。
【０３４０】
また、ピーク画素領域と第１領域とのそれぞれの画素数を調整すれば、ピーク画素領域を第１領域に包含させることも可能である。この場合、ピーク画素領域の各画素のスコアは既に判明しているので、ポインティング位置算出のためにあらためて判明していない各画素のスコアを調べる必要が無い。
【０３４１】
以上より、ポインティング位置の算出において、さらに画像処理量の軽減及びメモリ容量の少量化を実現することができる。また、ピーク座標判定時に第１領域の外側に向けてスコアの上昇が連接している場合への対応と、ハードウェア実装等において各処理モジュールをパイプライン処理する際等に、参照すべきスコアの保持バッファ容量を少量化（例えば画像全体ではなく９ラインのみ）できる。
【０３４２】
なお、ポインティング位置を決定する方法は、上記方法に限られず、他の周知の方法を採用してもよい。
【０３４３】
〔２．差分式タッチパネル１、及び、差分ノイズ置換装置１００の動作〕
次に、差分式タッチパネル１、及び、差分ノイズ置換装置１００の動作の概要について説明する。
【０３４４】
図３１は、差分式タッチパネル１、及び、差分ノイズ置換装置１００の全体的な動作の概要を示すフローチャートであり、同図（ａ）は、差分ノイズが特定画素値に置換される動作を、同図（ｂ）は、差分ノイズが補間差分値によって置換される動作を説明するための図である。以下、同図（ａ）により差分ノイズが特定画素値に置換される動作の例から説明する。
【０３４５】
まず、Ｓ９０１では、画像撮像部２００が、バックライトオン画像を撮像し、そのバックライトオン画像を記憶部３００の画像記憶部３２０に記憶させる。なお、同図では、バックライトオン画像を（Ａ）で表している。
【０３４６】
続いて、Ｓ９０２では、画像撮像部２００が、バックライトオフ画像を撮像し、そのバックライトオフ画像を記憶部３００の画像記憶部３２０に記憶させる。なお、同図では、バックライトオフ画像を（Ｂ）で表している。
【０３４７】
その後、Ｓ９０３では、差分画像生成部１１０が、バックライトオン画像およびバックライトオフ画像を画像記憶部３２０から取得し、両画像の差分画像を生成する（同図の（Ａ）−（Ｂ））。より具体的には、差分画像生成部１１０は、バックライトオン画像およびバックライトオフ画像の対応する画素ごとの画素値を差分して、各々の画素の差分値によって示される画像を差分画像として生成する。
【０３４８】
そして、Ｓ９０４では、差分ノイズ判別部１１５が、差分画像生成部１１０によって生成された差分画像を取得し、その差分画像に差分ノイズが含まれるかどうかを判別する。そして、差分ノイズ判別部１１５は、その判別結果を差分ノイズ比較部１２０に出力する。
【０３４９】
次に、Ｓ９０５では、差分ノイズ比較部１２０は、差分ノイズ判別部１１５から、差分画像生成部１１０が生成した差分画像に差分ノイズを示す領域７０が含まれているか否かの判別結果と、差分ノイズを示す領域７０が含まれている場合には、その差分ノイズとを取得する。そして、差分ノイズ比較部１２０は、差分画像に差分ノイズが含まれているとの判別結果を取得した場合には、それをトリガとして、さらに閾値記憶部３４０から閾値Ｉｔあるいは、所定の画素値範囲を取得する。同図では、差分ノイズ比較部１２０は、所定の画素値範囲（ＴＮ≦差分ノイズ≦ＴＰ）を取得した場合を記載している。
【０３５０】
ここで、上記所定の画素値範囲は、適宜変更可能に実現されてよい。差分式タッチパネルごとの特性に柔軟に対応する必要がある場合に有効なためである。あるいは、上記所定の範囲は、差分式タッチパネル１が表示画面への入力の有無を判定する基準とする基準画素値に対応付けられていてもよい。
【０３５１】
Ｓ９０５でＮｏの場合、Ｓ９０６に進む。このとき、差分ノイズ置換部１３０は、差分ノイズが閾値Ｉｔよりも大きいとの判定結果を取得した場合には、それをトリガとして、さらに特定画素値記憶部３６０から特定画素値を取得する。そして、差分ノイズ置換部１３０は、その特定画素値と差分ノイズとを置換して、当該置換処理後の新たな差分画像を生成する。
【０３５２】
一方、Ｓ９０５でＹｅｓの場合、Ｓ９０９に進む。Ｓ９０９では、差分ノイズに係る画素すべてが判定されたかどうかを確認する。なお、Ｓ９０６でのステップが終了した場合も、Ｓ９０９に進む。そして、Ｓ９０９でＮｏの場合、再びＳ９０５に戻る。
【０３５３】
これに対して、Ｓ９０９でＹｅｓの場合、Ｓ９１０に進む。Ｓ９１０では、ポインティング位置特定部４００が、差分ノイズと特定画素値とを置換した後の差分画像を差分ノイズ置換装置１００（より詳しくは、差分ノイズ置換部１３０）から取得して、撮像対象による撮像画像上の指示位置を特定する。
【０３５４】
なお、上記では、Ｓ９０４にて、差分ノイズ判別部１１５が差分画像に差分ノイズが含まれるかどうかを判別し、Ｓ９０５にて、差分ノイズ比較部１２０が、差分画像に差分ノイズが含まれているとの判別結果を取得した場合に、それをトリガとして、さらに閾値記憶部３４０から閾値Ｉｔあるいは、所定の画素値範囲を取得するものとして説明した。しかしながら、Ｓ９０４およびＳ９０５における工程は、互いに統合された構成（あるいはＳ９０４の工程を省略した構成）で実現されてもよい。つまり、差分ノイズ比較部１２０が、差分画像に差分ノイズが含まれるかどうかを判別する機能を備えるものであってもよい。これにより、Ｓ９０４およびＳ９０５における工程が互いに統合された構成で、あるいはＳ９０４の工程を省略した構成で、差分式タッチパネル１、及び、差分ノイズ置換装置１００を動作させることも可能となる。
【０３５５】
このようにして、差分式タッチパネル１、及び、差分ノイズ置換装置１００は、差分ノイズが特定画素値に置換される動作を実行する。
【０３５６】
次に、図３１（ｂ）を参照して、差分ノイズと補間差分値とが置換される動作を説明する。なお、図３１（ａ）を参照して説明した内容については説明を省略する。
【０３５７】
図３１（ｂ）では、Ｓ９０５でＮｏの場合、Ｓ９０７に進む。
【０３５８】
Ｓ９０７では、線形補間値算出部１５０は、差分ノイズがＴＮ≦差分ノイズ≦ＴＰの範囲ではないとの判定結果を差分ノイズ比較部１２０から取得したことをトリガとして、差分画像生成部１１０から、差分画像生成部１１０が生成した差分画像を取得する。そのうえで、線形補間値算出部１５０は、取得した差分画像における差分ノイズ画素の周囲に存在する２つの画素を抽出して、バックライトオン画像およびバックライトオフ画像の対応する当該２つの画素ごとの画素値の差分を用いて線形補間値を算出する。このとき、その２つの画素は、ＴＮ≦画素値≦ＴＰの条件を満たす画素であることが好ましい。これにより、線形補間値算出部１５０は、差分ノイズ画素の差分後の画素値を確実に当該データが示す数値以下（あるいは、数値範囲内）に抑えることができるためである。
【０３５９】
そして、Ｓ９０８では、差分ノイズ置換部１３０は、線形補間値算出部１５０から、線形補間値算出部１５０が線形補間した演算結果と差分画像とを取得する。そして、差分ノイズ置換部１３０は、その演算結果と線形補間される差分ノイズとを置換して、当該置換処理後の新たな差分画像を生成する。その後、フローチャートはＳ９０９に進み、図３１（ａ）を参照して説明した処理が繰り返される。
【０３６０】
このようにして、差分式タッチパネル１、及び、差分ノイズ置換装置１００は、差分ノイズが線形補間値に置換される動作を実行する。
【０３６１】
〔３．差分ノイズ置換装置１００によって得られる効果〕
上記構成によれば、差分ノイズ比較部１２０は、差分ノイズ画素に関する差分値である差分ノイズが、所定の範囲に含まれているかどうかを判定する。そして、差分ノイズ置換部１３０は、差分ノイズ比較部１２０が差分ノイズは上記所定の範囲に含まれていないと判定した場合に、その差分ノイズを、上記所定の範囲に含まれる特定画素値に置換する。
【０３６２】
つまり、差分ノイズが所定の範囲に含まれてない場合には、その差分ノイズは特定画素値に置換される。そして、その特定画素値は上記所定の範囲に含まれる。従って、差分ノイズは、当該所定の範囲に含まれる特定画素値に置換されることになる。それゆえ、当該所定の範囲を差分ノイズよりも画素値の小さい範囲に設定することにより、差分ノイズ置換装置１００を用いる差分式タッチパネル１は、表示画面６５への入力の有無（タッチ・非タッチ）を認識する際に差分ノイズによる影響を確実に軽減でき、より精度よく表示画面６５への入力の有無を認識することができるという効果を奏する。
【０３６３】
なお、所定の範囲は、適宜変更可能に実現されてよい。これにより、差分式タッチパネル１ごとの特性に柔軟に対応した差分ノイズ置換装置１００をユーザに提供することができ、ユーザにとっての利便性を高めることができる。さらに、上記所定の範囲が適宜変更可能であれば、差分ノイズによる影響をユーザの経験等に基づいて適宜調整することができる。
【０３６４】
上記所定の範囲は、差分式タッチパネル１が表示画面６５への入力の有無を判定する基準とする基準画素値に対応付けられていることが好ましい。
【０３６５】
基準画素値は、差分式タッチパネル１が表示画面６５への入力の有無を判定する基準とする画素値である。従って、所定の範囲が基準画素値に対応付けられていることにより、例えば、所定の範囲が基準画素値よりも小さな範囲で設定されていることにより、差分ノイズ置換部１３０は、差分ノイズを基準画素値よりも小さな特定画素値に置換することができる。
【０３６６】
これにより、差分ノイズ置換装置１００を用いる差分式タッチパネル１は、表示画面６５への入力の有無を判定する際に差分ノイズによる影響を確実に排除することができ、撮像対象がタッチパネルに接触していない状態を撮像対象が表示画面６５に接触している状態と誤って認識するという問題を解決することができる。
【０３６７】
背景画素に関する差分値である背景差分値が上記所定の範囲に含まれている場合に、差分ノイズ置換部１３０は、背景差分値を特定画素値として上記差分ノイズと置換することが好ましい。
【０３６８】
上記構成によれば、背景差分値が所定の範囲に含まれている場合、差分ノイズ置換部１３０は、背景差分値を特定画素値として差分ノイズと置換する。そして、通常、背景差分値は、差分式タッチパネル１への入力の有無の判定において、入力として検出されない画素値である。
【０３６９】
従って、背景差分値が特定画素値として差分ノイズと置換されることにより、差分ノイズの影響を排除して、差分式タッチパネル１への入力の有無が誤って認識される事態を回避することができる。また、差分ノイズ置換部１３０は、背景差分値を特定画素値として差分ノイズと置換するものであるため、上記所定の範囲を予め設定する必要がなく、ユーザの負担を軽減することができるという効果を奏する。
【０３７０】
ここで、図３２は、差分ノイズ置換部１３０が、背景差分値を特定画素値として差分ノイズと置換した場合の差分画像、および、差分画像上に設けられた仮想軸Ｌ上の位置を横軸に、当該差分画像の画素値を縦軸に表したグラフを示すものであり、（ａ）は置換処理前を、（ｂ）は置換処理後に対応する図である。なお、同図では、領域Ｙで示される部分が差分ノイズ画素Ｘに係る画素値を、領域Ｚで示される部分が指腹の差分画像に係る画素値を表す。また、当該グラフの縦軸は、同図（ｂ）・（ｃ）において撮像画像が撮像されていない画素（背景画素）における差分画素値を０としている。
【０３７１】
同図（ａ）に示すように、置換処理前は、差分ノイズ画素Ｘに対応する領域Ｙが存在している。そして、その領域Ｙで示される差分画素値の最大値が閾値Ｉｔを上回るため、非タッチの状態であるものの、撮像対象である指が表示画面に接触しているものと誤って認識される。
【０３７２】
しかしながら、同図（ｂ）に示すように、差分ノイズ置換部１３０が差分ノイズを背景差分値と置換することにより、領域Ｙが消滅している。その結果、置換処理後は、指腹の差分画像に係る画素値を示す領域Ｚで示される部分のみが存在することになる。そして、その領域Ｚの最大画素値差は閾値Ｉｔを下回るため、差分式タッチパネル１は、撮像対象である指が表示面に接触していないものと正しく認識することができる。
【０３７３】
このように、本発明に係る差分ノイズ置換装置１００を用いることにより、差分式タッチパネル１は、タッチパネルへの入力の有無を判定する際に差分ノイズによる影響を確実に排除することができ、指がタッチパネルに接触していない状態を撮像対象がタッチパネルに接触している状態と誤って認識するという問題を解決することができるという効果を奏する。
【０３７４】
画素値０が上記所定の範囲に含まれており、差分ノイズが０よりも小さい場合に、差分ノイズ置換部１３０は、画素値０を特定画素値として差分ノイズと置換することが好ましい。
【０３７５】
差分ノイズが０よりも小さい場合において、その差分ノイズに基づいて、差分式タッチパネル１への入力の有無が誤って認識される場合がある。
【０３７６】
この点、上記構成によれば、差分ノイズ置換部１３０は、画素値０が上記所定の範囲に含まれており、差分ノイズが０よりも小さい場合に、画素値０を特定画素値として差分ノイズと置換する。
【０３７７】
それゆえ、差分ノイズ置換装置１００を用いる差分式タッチパネル１は、表示画面６５への入力の有無を判定する際に差分ノイズによる影響を確実に排除することができ、撮像対象がタッチパネルに接触していない状態を撮像対象が表示画面６５に接触している状態と誤って認識するという問題を解決することができる。また、差分ノイズ置換部１３０は、０クリッピングをすることにより、上記所定の範囲を予め設定する必要がなく、ユーザの負担を軽減することができるという効果を奏する。
【０３７８】
ここで、図３３、図３４は、差分ノイズ置換部１３０が、差分ノイズが０よりも小さい場合に、画素値０を特定画素値として差分ノイズと置換した場合の差分画像、および、差分画像上に設けられた仮想軸Ｌ上の位置を横軸に、当該差分画像の画素値を縦軸に表したグラフを示すものであり、（ａ）は置換処理前を、（ｂ）は置換処理後に対応する図である。
【０３７９】
詳細は図３２を参照して説明したため省略するが、この場合においても、差分ノイズ置換部１３０が０クリッピングを行うことによって、差分式タッチパネル１は、タッチパネルへの入力の有無を判定する際に差分ノイズによる影響を確実に排除することができ、指がタッチパネルに接触していない状態を撮像対象がタッチパネルに接触している状態と誤って認識するという問題を解決することができるという効果を奏する。
【０３８０】
なお、指腹部分の画素と背景画素との画素値の差をグラフにした場合における、当該グラフの勾配の大きさ・方向等に関する勾配情報に基づいてタッチ・非タッチの検出が行われる場合がある。そのような場合には、たとえ差分ノイズ置換部１３０が上記の０クリッピングを行ったとしても、例えば図３４（ａ）の右側図に示す領域Ｚの左側領域にはグラフの勾配の急峻な領域が残るため、指がパネルに接触していない状態（非タッチの状態）を指がパネルに接触している状態（タッチの状態）と誤って認識してしまうという問題を引き起こす場合が考えられる。
【０３８１】
このような問題に対しては、以下の方法で対処することができる。具体的には、差分ノイズ置換部１３０は、上記の０クリッピングが行われる場合には、当該０クリッピングを行うとともに、さらに、０クリッピングされた後の画素値（すなわち画素値０）と背景画素もしくは重畳画素における差分値とを置換することが好ましい。もしくは、差分ノイズ置換部１３０は、０クリッピングされた後の画素値（画素値０）と上述した線形補間値とを置換することが好ましい。また、さらに、差分ノイズ置換部１３０が画素値を置換した後に、平滑化フィルタ（例えば３×３画素を参照する均等加重のフィルタ＝３×３画素の平均値、図示せず）を施してもよい。
【０３８２】
このような構成とすることにより、差分ノイズ置換装置１００を用いる差分式タッチパネル１は、勾配情報に基づいてタッチ・非タッチの検出が行われる場合であって、差分ノイズが０よりも小さい場合においても、非タッチの状態をタッチの状態と誤って認識してしまうという問題を回避することができる。
【０３８３】
重畳画素に関する差分値である重畳差分値が上記所定の範囲に含まれている場合に、差分ノイズ置換部１３０は、上記重畳差分値を上記特定画素値として上記差分ノイズと置換することが好ましい。
【０３８４】
差分式タッチパネル１が表示画面６５への入力の有無を判定するうえで、重畳差分値が基準画素値よりも大きい場合には入力有りと、重畳差分値が基準画素値よりも小さい場合には入力無しと判定される。
【０３８５】
この点、上記構成によれば、差分ノイズ置換部１３０は、重畳差分値を特定画素値として差分ノイズと置換する。従って、差分ノイズが重畳差分値に置換されることにより、差分ノイズと重畳差分値とが同じ画素値になるため、重畳差分値と基準画素値との大小関係に拠らず、差分式タッチパネル１への入力の有無が誤って認識される事態を回避することができる。さらに、差分ノイズ置換部１３０は、重畳差分値を特定画素値として差分ノイズと置換することにより、上記所定の範囲を予め設定する必要がなく、ユーザの負担を軽減することができるという効果を奏する。
【０３８６】
ここで、図３５は、差分ノイズ置換部１３０が、重畳差分値を特定画素値として差分ノイズと置換した場合の差分画像、および、差分画像上に設けられた仮想軸Ｌ上の位置を横軸に、当該差分画像の画素値を縦軸に表したグラフを示すものであり、（ａ）は置換処理前を、（ｂ）は置換処理後に対応する図である。
【０３８７】
詳細は図３２を参照して説明したため省略するが、この場合においても、差分ノイズ置換部１３０が重畳差分値を特定画素値として差分ノイズと置換することによって、差分式タッチパネル１は、タッチパネルへの入力の有無を判定する際に差分ノイズによる影響を確実に排除することができ、指がタッチパネルに接触していない状態を撮像対象がタッチパネルに接触している状態と誤って認識するという問題を解決することができるという効果を奏する。
【０３８８】
差分ノイズ画素の周囲に存在する２つの画素を抽出して、各々の画素について上記差分値を算出し、その２つの差分値を用いて線形補間を行う線形補間値算出部１５０を備え、
差分ノイズ置換部１３０は、線形補間値算出部１５０が線形補間した補間画素値を特定画素値として差分ノイズと置換することが好ましい。
【０３８９】
差分ノイズ画素の周囲に存在する画素は、背景画素もしくは重畳画素である。そして、一般的に、背景画素における背景差分値もしくは重畳画素における重畳差分値は、差分ノイズ画素における差分ノイズよりも小さい画素値を示す。
【０３９０】
従って、差分ノイズ置換部１３０が、線形補間値算出部１５０が線形補間した補間画素値を特定画素値として差分ノイズと置換することにより、差分ノイズによる影響を確実に軽減することができ、差分式タッチパネル１は、表示画面６５への入力の有無（タッチ・非タッチ）をより精度よく認識することができるという効果を奏する。
【０３９１】
線形補間値算出部１５０は、抽出する画素に関する差分値が上記所定の範囲に含まれる画素のみを抽出して線形補間を行うことが好ましい。
【０３９２】
上記構成によれば、線形補間値算出部１５０は、バックライトオン画像およびバックライトオフ画像の対応する画素ごとの画素値の差分が上記所定の範囲に含まれる画素のみを抽出して線形補間を行う。
【０３９３】
従って、差分ノイズは、当該所定の範囲に含まれる画素値に置換されることになる。そして、例えば当該所定の範囲が差分ノイズよりも画素値の小さい範囲に設定されていれば、差分ノイズによる影響を確実に軽減することができ、差分式タッチパネル１は、表示画面６５への入力の有無（タッチ・非タッチ）をより精度よく認識することができるという効果を奏する。
【０３９４】
なお、差分ノイズ置換装置１００は、コンピュータによって実現してもよく、この場合には、コンピュータを差分ノイズ比較部１２０および差分ノイズ置換部１３０として動作させることにより差分ノイズ置換装置１００をコンピュータにて実現させる差分ノイズ置換プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【０３９５】
さらに、差分ノイズ置換装置１００を備えた各種電子機器も本発明の範疇に入る。具体的には、タッチパッド機能付き液晶などの入力機能付表示装置や、この表示装置を搭載した携帯電話機、パーソナルコンピュータ、ＰＤＡなどの情報機器に差分ノイズ置換装置１００を適用することができる。
【０３９６】
〔その他〕
なお、本発明に係る差分ノイズ置換装置１００は、以下の構成によって実現されてもよい。
【０３９７】
すなわち、本発明に係る差分ノイズ置換装置１００は、表示面を発光した状態で撮像した画像から、表示面を発光しない状態で撮像した画像を差分して差分画像を生成する差分画像生成手段と、前記差分画像の画素値を参照して、所定の画素値範囲内か否かを判定する差分画素値判定手段と、前記差分画素値判定手段の判定結果に基づいて、前記差分画像の画素値を置換する差分画素値置換手段とを備えている構成であってもよい。
【０３９８】
さらに、本発明に係る差分ノイズ置換装置１００では、前記差分画素値置換手段は、前記差分画素値判定手段が差分画素値を所定の画素値範囲外であると判定した場合に、前記差分画素値を所定の画素値に置換する構成であってもよい。
【０３９９】
さらに、本発明に係る差分ノイズ置換装置１００では、前記差分画素値置換手段は、置換する際に用いる所定の画素値として、前記差分画像における背景画素値に相当する画素値を用いる構成であってもよい。
【０４００】
さらに、本発明に係る差分ノイズ置換装置１００では、前記差分画素値置換手段は、置換する際に用いる所定の画素値として、前記表示面を発光した状態で得られる撮像対象からの前記発光の反射光が、前記差分画像において示す画素値に相当する画素値を用いる構成であってもよい。
【０４０１】
さらに、本発明に係る差分ノイズ置換装置１００では、前記差分画素値置換手段は、前記差分画素値判定手段が差分画素値を所定の画素値範囲外であると判定した場合に、前記差分画素の周囲の画素値を参照して線形補間値を算出し、前記差分画素値を前記線形補間値に置換する構成であってもよい。
【０４０２】
さらに、本発明に係る差分ノイズ置換装置１００では、前記差分画素値置換手段は、前記線形補間値を算出する際に参照する周囲画素値として、前記所定の画素値範囲内である画素値のみを用いる構成であってもよい。
【０４０３】
〔補足〕
最後に、差分ノイズ置換装置１００の各ブロック、差分ノイズ置換装置１００の差分画像生成部１１０、差分ノイズ判別部１１５、差分ノイズ比較部１２０、差分ノイズ置換部１３０、線形補間値算出部１５０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０４０４】
すなわち、差分ノイズ置換装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、前記プログラムを格納したＲＯＭ（read only memory）、前記プログラムを展開するＲＡＭ（random access memory）、前記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである差分ノイズ置換装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、前記差分ノイズ置換装置１００に供給し、そのコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０４０５】
前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０４０６】
また、差分ノイズ置換装置１００を通信ネットワークと接続可能に構成し、前記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０４０７】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０４０８】
差分ノイズによる影響を軽減して、差分式タッチパネルへのタッチ・非タッチをより精度よく認識することが可能な差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、上記差分ノイズ置換装置を備えた電子機器に適用することができる。特に、タッチパッド機能付き液晶などの入力機能付表示装置や、この表示装置を搭載した携帯電話機、パーソナルコンピュータ、ＰＤＡなどの情報機器に好適に適用することができる。
【符号の説明】
【０４０９】
１      差分式タッチパネル
２      低解像度化部
３ａ    縦勾配量算出部
３ｂ    横勾配量算出部
４      第１エッジ抽出部
５      方向特定部
６      効率化部
７      一致画素数算出部
８      モデルパターン・比較用一致パターン格納部
９      パターン合致度算出部
１０    スコア算出部
１１    位置特定部
１２    ピーク探索部
１３    座標算出判定部
１４    座標算出部
１５    第２エッジ抽出部
１６    閾値調節部
１７    閾値格納部
６１    撮像画像
６２    撮像画像
６３    撮像画像
６４    撮像画像
６５    表示画面
６６    外光
７０    差分ノイズを示す領域
１００  差分ノイズ置換装置
１１０  差分画像生成部
１１５  差分ノイズ判別部
１２０  差分ノイズ比較部（判定手段）
１３０  差分ノイズ置換部（置換手段）
１５０  線形補間値算出部（線形補間手段）
２００  画像撮像部
３００  記憶部
３２０  画像記憶部
３４０  閾値記憶部
３６０  特定画素値記憶部
４００  ポインティング位置特定部
【図１】
2011118466.tif 000007
【図２】
2011118466.tif 000008
【図３】
2011118466.tif 000009
【図４】
2011118466.tif 000010
【図５】
2011118466.tif 000011
【図６】
2011118466.tif 000012
【図７】
2011118466.tif 000013
【図８】
2011118466.tif 000014
【図９】
2011118466.tif 000015
【図１０】
2011118466.tif 000016
【図１１】
2011118466.tif 000017
【図１２】
2011118466.tif 000018
【図１３】
2011118466.tif 000019
【図１４】
2011118466.tif 000020
【図１５】
2011118466.tif 000021
【図１６】
2011118466.tif 000022
【図１７】
2011118466.tif 000023
【図１８】
2011118466.tif 000024
【図１９】
2011118466.tif 000025
【図２０】
2011118466.tif 000026
【図２１】
2011118466.tif 000027
【図２２】
2011118466.tif 000028
【図２３】
2011118466.tif 000029
【図２４】
2011118466.tif 000030
【図２５】
2011118466.tif 000031
【図２６】
2011118466.tif 000032
【図２７】
2011118466.tif 000033
【図２８】
2011118466.tif 000034
【図２９】
2011118466.tif 000035
【図３０】
2011118466.tif 000036
【図３１】
2011118466.tif 000037
【図３２】
2011118466.tif 000038
【図３３】
2011118466.tif 000039
【図３４】
2011118466.tif 000040
【図３５】
2011118466.tif 000041
【図３６】
2011118466.tif 000042
【図３７】
2011118466.tif 000043
【図３８】
2011118466.tif 000044
【図３９】
2011118466.tif 000045
【図４０】
2011118466.tif 000046
【図４１】
2011118466.tif 000047
【図４２】
2011118466.tif 000048