(57)【要約】【課題】光学差分方式タッチパネルにおいて、撮像対象が移動した場合でも、撮像面に接触した撮像対象の位置を精度高く検出する。【解決手段】タッチ位置検出装置１は、点灯画像と消灯画像とを取得する画像調整部２と、画像調整部２が取得した消灯画像を、点灯画像よりも平滑化した平滑化画像を生成する第１・第２平滑化画像生成部４ａ・４ｂと、点灯画像と平滑化画像との差分を示す差分画像を生成する第１・第２差分画像生成部５ａ・５ｂと、差分画像に含まれる、撮像パネルに接触した撮像対象の像の位置を検出する第１・２タッチ位置検出部６ａ・６ｂとを備えている。【選択図】図１
2011118465.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像における撮像対象の像の位置を検出する位置検出装置であって、
撮像パネルが位置する側から撮像対象に対して光照射を行った状態で上記撮像対象を上記撮像パネルにより撮像した画像である点灯画像と、上記光照射を行わない状態で上記撮像対象を上記撮像パネルにより撮像した画像であって、上記点灯画像とは所定の時間差を設けて撮像した消灯画像とを取得する取得部と、
上記取得部が取得した消灯画像を、上記点灯画像よりも平滑化した平滑化画像を生成する平滑化画像生成部と、
上記点灯画像と上記平滑化画像生成部が生成した平滑化画像との差分を示す差分画像を生成する差分画像生成部と、
上記差分画像生成部が生成した差分画像に含まれる、上記撮像パネルに接触した撮像対象の像の位置を検出する位置検出部とを備えることを特徴とする位置検出装置。
【請求項２】
上記差分画像生成部は、生成した差分画像において、０より小さい画素値を有する画素の画素値を０に置換することを特徴とする請求項１に記載の位置検出装置。
【請求項３】
上記平滑化画像生成部は、平滑化フィルタとしての空間フィルタを用いて上記消灯画像を平滑化することを特徴とする請求項１または２に記載の位置検出装置。
【請求項４】
上記平滑化画像生成部は、予め想定されている、上記撮像対象の上記撮像パネルとの接触部分の像の大きさよりも小さい平滑化フィルタを用いて上記消灯画像を平滑化することを特徴とする請求項１〜３のいずれか１項に記載の位置検出装置。
【請求項５】
上記平滑化画像生成部は、予め想定されている複数種類の撮像対象に対応する複数段階の大きさの平滑化フィルタを用いて上記平滑化画像を生成することを特徴とする請求項１〜４のいずれか１項に記載の位置検出装置。
【請求項６】
上記平滑化画像生成部は、予め想定されている複数種類の撮像対象に対応する複数段階の大きさの平滑化フィルタをそれぞれ用いて１つの消灯画像から複数の平滑化画像を生成し、
上記差分画像生成部は、上記点灯画像と上記平滑化画像生成部が生成した複数の平滑化画像との差分をそれぞれ示す複数の差分画像を生成し、
上記位置検出部は、上記差分画像生成部が生成した複数の差分画像ごとに、当該差分画像のもとになった平滑化画像の生成に用いられた平滑化フィルタのサイズに対応する、上記撮像対象の像を検出するためのパターンをそれぞれ用いて、各差分画像に含まれる撮像対象の像の位置を検出することを特徴とする請求項５に記載の位置検出装置。
【請求項７】
上記平滑化画像生成部は、上記点灯画像または上記消灯画像が撮像された時点における上記撮像対象の周囲の光の強度である外光強度を示す外光強度情報を取得し、当該外光強度情報が示す外光強度が所定の基準値を超えた場合にのみ上記消灯画像を平滑化することを特徴とする請求項１〜５のいずれか１項に記載の位置検出装置。
【請求項８】
上記平滑化画像生成部は、上記点灯画像または上記消灯画像が撮像された時点における上記撮像対象の周囲の光の強度である外光強度を示す外光強度情報を取得し、当該外光強度情報が示す外光強度に応じたサイズの平滑化フィルタを用いて上記消灯画像を平滑化することを特徴とする請求項１〜７のいずれか１項に記載の位置検出装置。
【請求項９】
上記取得部が取得した点灯画像と消灯画像との差分を示す第２差分画像を生成し、生成した第２差分画像において、予め想定されている撮像対象の像の画素値よりも大きい画素値を有する画素の数が、所定の数以上であるかどうかを判定する差分画像判定部をさらに備え、
上記平滑化画像生成部は、上記差分画像判定部が、上記画素の数が所定の数以上であると判定した場合にのみ上記消灯画像を平滑化することを特徴とする請求項１〜８のいずれか１項に記載の位置検出装置。
【請求項１０】
上記位置検出部は、上記差分画像生成部が生成した差分画像から所定の値以上の画素値を有する画素を抽出し、抽出した画素によって形成される像の位置を、上記撮像パネルに接触した撮像対象の像の位置として検出することを特徴とする請求項１〜９のいずれか１項に記載の位置検出装置。
【請求項１１】
上記位置検出部は、上記差分画像生成部が生成した差分画像を所定の値を境として二値化し、二値化した差分画像に含まれる像の位置を、上記撮像パネルに接触した撮像対象の像の位置として検出することを特徴とする請求項１〜９のいずれか１項に記載の位置検出装置。
【請求項１２】
上記位置検出部は、上記差分画像生成部が生成した差分画像から所定の値以上のエッジ強度を有する画素を抽出し、抽出した画素の集合に対して、上記撮像対象の像を検出するためのパターンとのパターンマッチを行うことにより、上記撮像パネルに接触した撮像対象の像を検出することを特徴とする請求項１〜９のいずれか１項に記載の位置検出装置。
【請求項１３】
請求項１〜１２のいずれか１項に記載の位置検出装置と、
撮像パネルとを備える撮像装置であって、
上記撮像パネルは、
上記撮像対象への光照射を所定の時間間隔で行う照明部と、
上記照明部の光照射のタイミングに同期して、上記点灯画像および上記消灯画像を撮像する撮像センサとを備え、
上記取得部は、上記撮像センサが撮像した上記点灯画像および上記消灯画像を取得することを特徴とする撮像装置。
【請求項１４】
上記撮像パネルは、表示用のバックライトを備えており、
上記照明部は、上記表示用のバックライトとは別に設けられていることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
上記照明部は、近赤外または近紫外領域の波長の光を出射することを特徴とする請求項１３または１４に記載の撮像装置。
【請求項１６】
上記撮像センサは、近赤外または近紫外領域の波長の光を受光することを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
上記撮像センサは、太陽光照射下において飽和しない感度に設定されていることを特徴とする請求項１３〜１６のいずれか１項に記載の撮像装置。
【請求項１８】
請求項１〜１２のいずれか１項に記載の位置検出装置を動作させる位置検出プログラムであって、コンピュータを上記各部として機能させるための位置検出プログラム。
【請求項１９】
請求項１８に記載の位置検出プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２０】
撮像画像における撮像対象の像の位置を検出する位置検出装置における位置検出方法であって、
撮像パネルが位置する側から撮像対象に対して光照射を行った状態で上記撮像対象を上記撮像パネルにより撮像した画像である点灯画像と、上記光照射を行わない状態で上記撮像対象を上記撮像パネルにより撮像した画像であって、上記点灯画像とは所定の時間差を設けて撮像した消灯画像とを取得する取得工程と、
上記取得工程において取得した消灯画像を、上記点灯画像よりも平滑化した平滑化画像を生成する平滑化画像生成工程と、
上記点灯画像と上記平滑化画像生成工程において生成した平滑化画像との差分を示す差分画像を生成する差分画像生成工程と、
上記差分画像生成工程において生成した差分画像に含まれる、上記撮像パネルに接触した撮像対象の像の位置を検出する位置検出工程とを含むことを特徴とする位置検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像パネルを指示する指示物体の位置を検出する位置検出装置、当該位置検出装置を備える撮像装置および位置検出方法に関するものである。
【背景技術】
【０００２】
表示に加えて受光（撮像）もできる表示装置の表示画面（撮像面）を指などで触れることで入力操作が可能なタッチパネルが、例えば、特許文献１に開示されている。
【０００３】
また、特許文献２に記載の表示装置では、外光の影響を除去するために、図２３および図２４に示すように、バックライトを点灯した状態での撮像と、バックライトを消灯した状態での撮像とを時間的に交互に繰り返して画像を取得し、点灯状態の画像（点灯画像）と消灯状態の画像（消灯画像）との差分をとることにより差分画像を生成している。図２３は暗所において生成された差分画像を示す図である。図２４は、明所において生成された差分画像を示す図である。
【０００４】
これにより、表示画面に接触または近接した指などの撮像対象にバックライトが反射した部分が明るい像として残り、背景に相当する部分は暗くなる。このような差分画像を用いることにより、表示画面に指などの撮像対象が接触したかどうかの判定を、外光の影響を受けずに行うことができる。
【０００５】
しかし、特許文献２に記載の方法では、図２５（ｂ）に示すように、撮像対象が移動した場合には、点灯状態の撮像と消灯状態の撮像との間に時間的な差があるため、撮像対象の像の位置がずれる。位置がずれた状態で差分をとると、位置がずれた部分に差分ノイズが発生する。図２５（ａ）および（ｂ）は、タッチ状態の指が移動した場合の問題点を説明するための図である。同図（ａ）および（ｂ）では、点灯画像を「ｏｎ画像」と称し、消灯画像を「ｏｆｆ画像」と称している。
【０００６】
このような差分ノイズは、図２６（ｂ）に示すように、指が表示画面に接触していない状態で、指を移動させた場合にも発生する。図２６（ａ）および（ｂ）は、非タッチ状態の指が移動した場合の問題点を説明するための図である。
【０００７】
すなわち、差分画像において、実際よりも明るい部分および暗い部分が生じ、このような部分によって、表示画面に接触していない撮像対象を、接触していると誤判定する可能性が生じる。
【０００８】
そこで、特許文献３の表示撮像装置では、２枚の消灯画像を用いて補間画像を生成し、上記２枚の消灯画像の撮像タイミングの間に撮像された点灯画像と補間画像との差分をとることにより差分ノイズを低減している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−２５０９４９号公報（２００８年１０月１６日公開）
【特許文献２】特開２００６−２７６２２３号公報（２００６年１０月１２日公開）
【特許文献３】特開２００９−２０５４２３号公報（２００９年９月１０日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献３の発明では、撮像タイミングのずれによる問題を解決するため、例えば、第１消灯画像、点灯画像、第２消灯画像の順に時間軸に沿って異なるタイミングの画像を撮像し、２枚の消灯画像から補間した新たな消灯画像を生成し、点灯画像との位置合わせをすることで、差分後に生じるノイズを軽減し、物体の位置を安定して検出できるようにしている。
【００１１】
しかし、この方法では差分画像を生成するのに、消灯画像が余分に１枚必要であり、消灯画像の補間処理も必要となるため、処理コストが増大してしまう。また、物体が等速直線運動をしない場合は、差分画像に差分ノイズが発生してしまう。
【００１２】
本発明の目的は、点灯画像と消灯画像との差分をとる位置検出装置において、撮像対象が等速直線運動以外の移動をした場合でも、差分ノイズを軽減した差分画像を生成することができ、撮像面に接触した撮像対象の位置を精度高く検出できる位置検出装置および当該位置検出装置を備える撮像装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明に係る位置検出装置は、上記の課題を解決するために、撮像画像における撮像対象の像の位置を検出する位置検出装置であって、撮像パネルが位置する側から撮像対象に対して光照射を行った状態で上記撮像対象を上記撮像パネルにより撮像した画像である点灯画像と、上記光照射を行わない状態で上記撮像対象を上記撮像パネルにより撮像した画像であって、上記点灯画像とは所定の時間差を設けて撮像した消灯画像とを取得する取得部と、上記取得部が取得した消灯画像を、上記点灯画像よりも平滑化した平滑化画像を生成する平滑化画像生成部と、上記点灯画像と上記平滑化画像生成部が生成した平滑化画像との差分を示す差分画像を生成する差分画像生成部と、上記差分画像生成部が生成した差分画像に含まれる、上記撮像パネルに接触した撮像対象の像の位置を検出する位置検出部とを備えることを特徴としている。
【００１４】
本発明に係る位置検出方法は、上記の課題を解決するために、撮像画像における撮像対象の像の位置を検出する位置検出装置における位置検出方法であって、撮像パネルが位置する側から撮像対象に対して光照射を行った状態で上記撮像対象を上記撮像パネルにより撮像した画像である点灯画像と、上記光照射を行わない状態で上記撮像対象を上記撮像パネルにより撮像した画像であって、上記点灯画像とは所定の時間差を設けて撮像した消灯画像とを取得する取得工程と、上記取得工程において取得した消灯画像を、上記点灯画像よりも平滑化した平滑化画像を生成する平滑化画像生成工程と、上記点灯画像と上記平滑化画像生成工程において生成した平滑化画像との差分を示す差分画像を生成する差分画像生成工程と、上記差分画像生成工程において生成した差分画像に含まれる、上記撮像パネルに接触した撮像対象の像の位置を検出する位置検出工程とを含むことを特徴としている。
【００１５】
上記の構成によれば、取得部は、点灯画像と消灯画像とを取得する。点灯画像とは、撮像パネルが配置された側から撮像対象に対して光照射を行った状態で撮像対象を撮像パネルにより撮像した画像である。消灯画像とは、光照射を行わない状態で撮像対象を撮像パネルにより撮像した画像である。また、点灯画像と消灯画像とは所定の時間差を設けて撮像されている。
【００１６】
平滑化画像生成部は、取得部が取得した消灯画像を、点灯画像よりも平滑化した平滑化画像を生成する。差分画像生成部は、点灯画像と平滑化画像生成部が生成した平滑化画像との差分を示す差分画像を生成する。位置検出部は、差分画像生成部が生成した差分画像に含まれる、撮像パネルに接触した撮像対象の像の位置を検出する。
【００１７】
点灯画像と消灯画像との差分をとることによって、撮像対象の背景の明るさを差し引いて、光照射された撮像対象の像を抽出できる。しかし、この場合には、点灯画像と消灯画像との撮像タイミングに差が生じ、その間に撮像対象が移動した場合には、点灯画像における撮像対象の像と消灯画像における当該像との間に位置ずれが生じる。
【００１８】
消灯画像を平滑化することにより、消灯画像に含まれる撮像対象の像の輪郭がぼける。そのため、点灯画像と平滑化した消灯画像（平滑化画像）との差分をとった場合には、位置ずれが生じている部分（像の外縁部分）における画素値の差が少なくなる。その結果、位置ずれによって画素値が大きくなる部分および画素値が小さくなる部分における画素値の変化を小さくすることができる。
【００１９】
従って、撮像対象が移動することによって生じる差分ノイズを低減でき、撮像パネルに接触した撮像対象の位置を精度高く検出できる。また、撮像対象が等速直線運動以外の移動をした場合でも、差分ノイズを軽減できる。
【００２０】
また、上記差分画像生成部は、生成した差分画像において、０より小さい画素値を有する画素の画素値を０に置換することが好ましい。
【００２１】
上記の構成によれば、差分画像に含まれる画素のうち、０より小さい画素値を有する画素の画素値が０に置換される。画素値がマイナスの場合でも、画素値の勾配によって撮像対象の像の輪郭（エッジ）を検出する場合には、マイナスの画素値を有する画素によってエッジが検出される。このようなマイナスの画素値に由来するエッジは、撮像対象の像が誤検出される原因となる。
【００２２】
それゆえ、上記の構成により、マイナスの画素値を有する画素がなくなるため、撮像対象の像が誤検出される可能性を低減できる。
【００２３】
また、上記平滑化画像生成部は、平滑化フィルタとしての空間フィルタを用いて上記消灯画像を平滑化することが好ましい。
【００２４】
上記の構成により、消灯画像は、空間フィルタによって平滑化される。この空間フィルタとは、例えば、平均値フィルタまたはメディアンフィルタである。それゆえ、空間フィルタを適切に選択することにより、消灯画像が平滑化される様式および程度を好ましいものに設定できる。
【００２５】
また、上記平滑化画像生成部は、予め想定されている、上記撮像対象の上記撮像パネルとの接触部分の像の大きさよりも小さい平滑化フィルタを用いて上記消灯画像を平滑化することが好ましい。
【００２６】
上記の構成によれば、消灯画像を平滑化するために用いられる平滑化フィルタは、撮像対象が撮像パネルと接触する部分の像の大きさよりも小さいものである。撮像対象が撮像パネルと接触する部分の像の大きさは、予め想定されており、その大きさに基づいて、平滑化フィルタのサイズが予め設定されている。
【００２７】
接触部分の像の大きさよりも大きい平滑化フィルタを用いた場合には、当該像全体が顕著に平滑化され、その画素値が小さくなる。そのため、撮像パネルに接触している撮像対象の像が正常に検出されなくなる可能性が高まる。
【００２８】
そこで、消灯画像を平滑化するために用いられる平滑化フィルタを、撮像対象が撮像パネルと接触する部分の像の大きさよりも小さくすることにより、消灯画像を平滑化することで生じる上述の副作用を低減することができる。
【００２９】
また、上記平滑化画像生成部は、予め想定されている複数種類の撮像対象に対応する複数段階の大きさの平滑化フィルタを用いて上記平滑化画像を生成することが好ましい。
【００３０】
上記の構成によれば、消灯画像を平滑化するときに、予め想定されている複数種類の撮像対象に対応する複数段階の大きさの平滑化フィルタが用いられる。それゆえ、撮像対象ごとに適したレベルの平滑化を行うことができる。
【００３１】
また、上記平滑化画像生成部は、予め想定されている複数種類の撮像対象に対応する複数段階の大きさの平滑化フィルタをそれぞれ用いて１つの消灯画像から複数の平滑化画像を生成し、上記差分画像生成部は、上記点灯画像と上記平滑化画像生成部が生成した複数の平滑化画像との差分をそれぞれ示す複数の差分画像を生成し、上記位置検出部は、上記差分画像生成部が生成した複数の差分画像ごとに、当該差分画像のもとになった平滑化画像の生成に用いられた平滑化フィルタのサイズに対応する、上記撮像対象の像を検出するためのパターンをそれぞれ用いて、各差分画像に含まれる撮像対象の像の位置を検出することが好ましい。
【００３２】
上記の構成によれば、予め複数種類の撮像対象ごとに、対応する複数段階の大きさの平滑化フィルタが設定されている。平滑化画像生成部は、このような平滑化フィルタをそれぞれ１つずつ用いて、１つの消灯画像から、平滑化フィルタの数に対応する複数の平滑化画像を生成する。差分画像生成部は、点灯画像と平滑化画像生成部が生成した複数の平滑化画像のうちの１つとの差分をとるという処理を、複数の平滑化画像のそれぞれについて行う。
【００３３】
平滑化画像生成部が用いた平滑化フィルタと、位置検出部が用いる撮像対象の像を検出するためのパターン（検出用パターン）とは互いに対応付けられている。位置検出部は、生成された複数の差分画像ごとに、差分画像のもとになった平滑化画像の生成に用いられた平滑化フィルタのサイズに対応する検出用パターンをそれぞれ用いて、各差分画像に含まれる撮像対象の像の位置を検出する。検出用パターンと合致しない像は、撮像対象の像として検出されないため、位置検出部は、撮像対象が１種類かつ１つであれば、最終的に１つの撮像対象の像の位置を検出する。
【００３４】
この構成により、予め想定されている複数種類の撮像対象のうち、どの撮像対象が撮像されるかが分からない状況でも、複数種類の撮像対象のそれぞれに対応した位置検出処理を並行して行うことができる。それゆえ、撮像対象ごとの位置検出処理を直列的に行っていくよりも、位置検出にかかる処理量を低減できる。
【００３５】
また、上記平滑化画像生成部は、上記点灯画像または上記消灯画像が撮像された時点における上記撮像対象の周囲の光の強度である外光強度を示す外光強度情報を取得し、当該外光強度情報が示す外光強度が所定の基準値を超えた場合にのみ上記消灯画像を平滑化することが好ましい。
【００３６】
外光強度が小さい場合には、消灯画像は全体的に暗いものであり、撮像対象の像ははっきり写らない。そのため、撮像対象が移動しても、点灯画像と消灯画像との差分をとることによって生じる差分ノイズは、顕著には発生しない。
【００３７】
上記の構成によれば、平滑化画像生成部は、点灯画像または消灯画像が撮像された時点の外光強度が所定の基準値を超えた場合にのみ消灯画像を平滑化する。換言すれば、平滑化画像生成部は、外光強度が所定の基準値以下の場合には消灯画像を平滑化しない。
【００３８】
それゆえ、消灯画像の平滑化が必ずしも必要でない、外光強度が小さい状況において、位置検出にかかる処理量を低減できる。
【００３９】
また、上記平滑化画像生成部は、上記点灯画像または上記消灯画像が撮像された時点における上記撮像対象の周囲の光の強度である外光強度を示す外光強度情報を取得し、当該外光強度情報が示す外光強度に応じたサイズの平滑化フィルタを用いて上記消灯画像を平滑化することが好ましい。
【００４０】
外光強度が大きくなるに従って、点灯画像と消灯画像との差分をとることによって生じる差分ノイズが顕著に発生する。そのため、外光強度が大きくなるに従って、より平滑化の効果が大きい、サイズの大きい平滑化フィルタを用いることが好ましい。
【００４１】
上記の構成によれば、平滑化画像生成部は、外光強度に応じたサイズの平滑化フィルタを用いて消灯画像を平滑化する。例えば、平滑化画像生成部は、外光強度の増加に伴い、使用する平滑化フィルタのサイズを段階的に大きくする。
【００４２】
それゆえ、外光強度に適した（すなわち、差分ノイズのレベルに適した）、消灯画像の平滑化を行うことができる。
【００４３】
また、上記位置検出装置は、上記取得部が取得した点灯画像と消灯画像との差分を示す第２差分画像を生成し、生成した第２差分画像において、予め想定されている撮像対象の像の画素値よりも大きい画素値を有する画素の数が、所定の数以上であるかどうかを判定する差分画像判定部をさらに備え、上記平滑化画像生成部は、上記差分画像判定部が、上記画素の数が所定の数以上であると判定した場合にのみ上記消灯画像を平滑化することが好ましい。
【００４４】
上記の構成によれば、差分画像判定部は、取得部が取得した点灯画像と消灯画像との差分を示す第２差分画像を生成し、この第２差分画像において、予め想定されている撮像対象の像の画素値よりも大きい画素値を有する画素の数が、所定の数以上であるかどうかを判定する。上記画素の数が、所定の数以上である場合には、差分ノイズが所定のレベル以上発生している可能性が高い。平滑化画像生成部は、その場合にのみ消灯画像を平滑化する。
【００４５】
それゆえ、消灯画像の平滑化が必ずしも必要でない、差分ノイズの発生レベルが低い状況において、消灯画像の平滑化処理を省略することができる。
【００４６】
また、上記位置検出部は、上記差分画像生成部が生成した差分画像から所定の値以上の画素値を有する画素を抽出し、抽出した画素によって形成される像の位置を、上記撮像パネルに接触した撮像対象の像の位置として検出することが好ましい。
【００４７】
上記の構成によれば、差分画像から所定の値以上の画素値を有する画素が抽出される。差分画像に含まれる、撮像パネルに接触した撮像対象の像は、背景部分よりも明るいため、所定の値以上の画素値を有する画素を抽出することで、当該撮像対象の像を抽出できる。上記所定の値とは、例えば、差分画像における、撮像パネルに接触した撮像対象の像を形成する画素の画素値の下限値として予め想定された値である。そして、抽出した画素によって形成される像の位置が、撮像対象の像の位置として検出される。
【００４８】
それゆえ、上記の構成により、撮像パネルに接触した撮像対象の像の位置を適切に検出することができる。
【００４９】
また、上記位置検出部は、上記差分画像生成部が生成した差分画像を所定の値を境として二値化し、二値化した差分画像に含まれる像の位置を、上記撮像パネルに接触した撮像対象の像の位置として検出することが好ましい。
【００５０】
上記の構成によれば、差分画像を所定の値を境として二値化することによって、撮像パネルに接触した撮像対象の像が抽出される。上記所定の値とは、例えば、差分画像における、撮像パネルに接触した撮像対象の像を形成する画素の画素値の下限値として予め想定された値である。そして、二値化した差分画像に含まれる像の位置が、撮像対象の像の位置として検出される。
【００５１】
それゆえ、上記の構成により、撮像パネルに接触した撮像対象の像の位置を適切に検出することができる。
【００５２】
また、上記位置検出部は、上記差分画像生成部が生成した差分画像から所定の値以上のエッジ強度を有する画素を抽出し、抽出した画素の集合に対して、上記撮像対象の像を検出するためのパターンとのパターンマッチを行うことにより、上記撮像パネルに接触した撮像対象の像を検出することが好ましい。
【００５３】
上記の構成によれば、差分画像から所定の値以上のエッジ強度を有する画素が抽出される。撮像パネルに接触した撮像対象の像は、撮像パネルに接触していない撮像対象の像よりも際立ったエッジを有している。それゆえ、所定の値以上のエッジ強度を有する画素を抽出することで、撮像パネルに接触した撮像対象の像が抽出される。上記所定の値とは、例えば、撮像パネルに接触した撮像対象の像が有するエッジ強度の下限値として予め想定された値である。
【００５４】
そして、抽出された画素の集合に対して、検出用パターンとのパターンマッチが行われる。この検出用パターンと合致した像が、撮像パネルに接触した撮像対象の像として認識される。
【００５５】
それゆえ、上記の構成により、撮像パネルに接触した撮像対象の像を適切に検出することができる。
【００５６】
本発明に係る撮像装置は、上記位置検出装置と、撮像パネルとを備える撮像装置であって、上記撮像パネルは、上記撮像対象への光照射を所定の時間間隔で行う照明部と、上記照明部の光照射のタイミングに同期して、上記点灯画像および上記消灯画像を撮像する撮像センサとを備え、上記取得部は、上記撮像センサが撮像した上記点灯画像および上記消灯画像を取得することを特徴としている。
【００５７】
上記の構成によれば、撮像パネルに備えられた照明部は、撮像対象への光照射を所定の時間間隔で行う。すなわち、照明部は、時間軸に沿って点灯と消灯とを交互に繰り返す。撮像センサは、この照明部の光照射のタイミングに同期して、点灯画像および消灯画像を撮像する。すなわち、照明部の点灯時の撮像と、照明部の消灯時の撮像とを行う。位置検出装置の取得部は、撮像センサが撮像した点灯画像および消灯画像を取得する。その後、平滑化画像生成部、差分画像生成部および位置検出部における処理が行われ、撮像パネルに接触した撮像対象の像の位置が検出される。
【００５８】
それゆえ、撮像対象が移動した場合でも、撮像パネルに接触していない撮像対象を、接触していると誤判定する可能性を低減でき、撮像パネルに接触した撮像対象の位置を精度高く検出できる。
【００５９】
また、上記撮像パネルは、表示用のバックライトを備えており、上記照明部は、上記表示用のバックライトとは別に設けられていることが好ましい。
【００６０】
上記の構成によれば、撮像パネルは、表示用のバックライトを備えている。この表示用のバックライトを点灯画像および消灯画像の撮像のために点灯／消灯させると、表示画面が暗い場合には、点灯状態でも十分な照明光が照射されず、点灯画像が真っ暗になり、その結果、差分画像が真っ暗になる可能性がある。また、表示用のバックライトを点灯／消灯させると、表示画面にちらつきが生じるという問題が生じる。照明部を表示用のバックライトとは別に設けることにより、この問題を解決できる。
【００６１】
また、上記照明部は、近赤外または近紫外領域の波長の光を出射することが好ましい。
【００６２】
近赤外または近紫外領域の波長の光は、表示に与える影響が少ないとともに、指などの撮像対象に効率良く反射する。それゆえ、照明部を、近赤外または近紫外領域の波長の光を出射するものにすることにより、表示を見やすくできるとともに、撮像対象の検出精度を高めることができる。
【００６３】
上記撮像センサは、近赤外または近紫外領域の波長の光を受光することが好ましい。
【００６４】
上記の構成により、近赤外または近紫外領域の波長の光を受光し、点灯画像および消灯画像を形成することができる。
【００６５】
上記撮像センサは、太陽光照射下において飽和しない感度に設定されていることが好ましい。
【００６６】
外光強度が強い環境下で撮像センサが飽和する場合、シャッター速度（露光時間）を変更するなど複雑な処理が必要となる。
【００６７】
上記の構成により、太陽光照射下（約１０万ルクス）では、撮像センサは、飽和しないため、シャッター速度（露光時間）の変更などの複雑な処理を省略できる。
【００６８】
また、上記位置検出装置を動作させる位置検出プログラムであって、コンピュータを上記各部として機能させるための位置検出プログラムおよび当該位置検出プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。
【発明の効果】
【００６９】
本発明に係る位置検出装置は、以上のように、撮像パネルが位置する側から撮像対象に対して光照射を行った状態で上記撮像対象を上記撮像パネルにより撮像した画像である点灯画像と、上記光照射を行わない状態で上記撮像対象を上記撮像パネルにより撮像した画像であって、上記点灯画像とは所定の時間差を設けて撮像した消灯画像とを取得する取得部と、上記取得部が取得した消灯画像を、上記点灯画像よりも平滑化した平滑化画像を生成する平滑化画像生成部と、上記点灯画像と上記平滑化画像生成部が生成した平滑化画像との差分を示す差分画像を生成する差分画像生成部と、上記差分画像生成部が生成した差分画像に含まれる、上記撮像パネルに接触した撮像対象の像の位置を検出する位置検出部とを備える構成である。
【００７０】
また、本発明に係る位置検出方法は、撮像パネルが位置する側から撮像対象に対して光照射を行った状態で上記撮像対象を上記撮像パネルにより撮像した画像である点灯画像と、上記光照射を行わない状態で上記撮像対象を上記撮像パネルにより撮像した画像であって、上記点灯画像とは所定の時間差を設けて撮像した消灯画像とを取得する取得工程と、上記取得工程において取得した消灯画像を、上記点灯画像よりも平滑化した平滑化画像を生成する平滑化画像生成工程と、上記点灯画像と上記平滑化画像生成工程において生成した平滑化画像との差分を示す差分画像を生成する差分画像生成工程と、
上記差分画像生成工程において生成した差分画像に含まれる、上記撮像パネルに接触した撮像対象の像の位置を検出する位置検出工程とを含む構成である。
【００７１】
それゆえ、撮像対象が移動することによって生じる差分ノイズを低減でき、撮像パネルに接触した撮像対象の位置を精度高く検出できるという効果を奏する。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施形態に係るタッチ位置検出装置の構成を示すブロック図である。
【図２】光センサ内蔵ＬＣＤの構成を示す断面図である。
【図３】外光強度の変化と平滑化フィルタのサイズとの関係を示すグラフである。
【図４】外光強度の変化と平滑化フィルタのサイズとの別の関係を示すグラフである。
【図５】（ａ）は、タッチ状態の指が静止している場合の差分画像の生成過程を示す図であり、（ｂ）は、タッチ状態の指が移動した場合の差分画像の生成過程を示す図である。
【図６】（ａ）は、非タッチ状態の指が静止している場合の差分画像の生成過程を示す図であり、（ｂ）は、非タッチ状態の指が移動した場合の差分画像の生成過程を示す図である。
【図７】静止状態の指を撮像した消灯画像を平滑化せずに差分画像を生成し、所定の閾値以上の画素値を有する画素を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。
【図８】移動状態の指を撮像した消灯画像を平滑化せずに差分画像を生成し、所定の閾値以上の画素値を有する画素を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。
【図９】静止状態の指を撮像した消灯画像を平滑化して差分画像を生成し、所定の閾値以上の画素値を有する画素を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。
【図１０】移動状態の指を撮像した消灯画像を平滑化して差分画像を生成し、所定の閾値以上の画素値を有する画素を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。
【図１１】図７〜図１０に示すグラフを説明するための図である。
【図１２】静止状態の指を撮像した消灯画像を平滑化せずに差分画像を生成し、エッジ特徴を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。
【図１３】移動状態の指を撮像した消灯画像を平滑化せずに差分画像を生成し、エッジ特徴を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。
【図１４】静止状態の指を撮像した消灯画像を平滑化して差分画像を生成し、エッジ特徴を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。
【図１５】移動状態の指を撮像した消灯画像を平滑化して差分画像を生成し、エッジ特徴を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。
【図１６】接触部分像のサイズと同じサイズの平滑化フィルタを用いて消灯画像を平滑化した例を示す図である。
【図１７】指示物体に対応したサイズの平滑化フィルタを用いることの意義を説明するための図である。
【図１８】（ａ）は、平均値フィルタの効果を説明するための図であり、（ｂ）は、中間値フィルタの効果を説明するための図である。
【図１９】差分画像において、０より小さい画素値をクリッピングする理由を説明するための図である。
【図２０】上記タッチ位置検出装置における処理の流れの一例を示すフローチャートである。
【図２１】本発明の別の実施形態に係るタッチ位置検出装置の構成を示す概略図である。
【図２２】上記タッチ位置検出装置における処理の流れの一例を示すフローチャートである。
【図２３】暗所において生成された差分画像を示す図である。
【図２４】明所において生成された差分画像を示す図である。
【図２５】（ａ）および（ｂ）は、タッチ状態の指が移動した場合の問題点を説明するための図である。
【図２６】（ａ）および（ｂ）は、非タッチ状態の指が移動した場合の問題点を説明するための図である。
【発明を実施するための形態】
【００７３】
〔実施の形態１〕
本発明の実施の一形態について図１〜図２０に基づいて説明すれば、以下のとおりである。ここでは、本発明の一例として、タッチパネル上の任意の位置を指示するユーザの指またはタッチペン等の指示部材（指示物体と総称する）の画像を撮像し、その画像を解析することにより、タッチパネルに接触した指示物体の、当該タッチパネルとの接触位置を検出するタッチ位置検出装置（光学差分方式タッチパネル）１について説明する。なお、タッチ位置検出装置１を表示装置、撮像装置、表示撮像装置、入力装置、情報機器または電子機器と表現することもできる。
【００７４】
（タッチ位置検出装置１の構成）
図１は、本実施形態のタッチ位置検出装置１の構成を示すブロック図である。図１に示すように、タッチ位置検出装置（位置検出装置）１は、タッチパネル部（撮像パネル）１０、主制御部２０、記憶部３０および一次記憶部３１を備えている。
【００７５】
（タッチパネル部１０の構成）
タッチパネル部１０は、撮像素子としての光センサ１２を内蔵した光センサ内蔵ＬＣＤ（液晶パネル／ディスプレイ）１１、ＡＤ（analog/digital）コンバータ１５、タイミング制御部１６および感度調整部１７を備えている。
【００７６】
光センサ内蔵ＬＣＤ１１は、光センサ（撮像センサ）１２を内蔵しているため、表示だけではなく画像の撮像が可能である。それゆえ、光センサ内蔵ＬＣＤ１１は、タッチパネルとしての光センサ内蔵ＬＣＤ１１の表示画面に接触または近接した指などの指示物体の像を含む画像（以下、撮像画像と称する）を撮像する撮像画面として機能する。
【００７７】
ＡＤコンバータ１５は、光センサ１２で取得した信号をデジタル化する。
【００７８】
タイミング制御部１６は、タッチパネル用バックライト１４の点灯／消灯のタイミングと、光センサ１２による撮像タイミングとを制御し、両者を同期させる。
【００７９】
光センサ１２は、タッチパネル用バックライト１４から指示物体に対して光照射を行った状態で当該指示物体を撮像した画像である点灯画像と、光照射を行わない状態で指示物体を撮像した画像である消灯画像とを撮像する受光素子である。そのとき、光センサ１２は、タイミング制御部１６から出力される同期信号に従い点灯画像の撮像および消灯画像の撮像を交互に所定の時間間隔で行う。すなわち、消灯画像は、点灯画像とは所定の時間差を設けて撮像されている。
【００８０】
例えば、光センサ内蔵ＬＣＤ１１における画像表示のフレーム期間ごとに、そのフレーム期間の前半期間においてタッチパネル用バックライト１４が点灯し、そのフレーム期間の後半期間においてタッチパネル用バックライト１４が消灯する。この場合、光センサ１２は、前半期間に撮像した画像を点灯画像としてＡＤコンバータ１５を介して画像調整部２へ出力し、後半期間に撮像した画像を消灯画像としてＡＤコンバータ１５を介して画像調整部２へ出力する。これら同じフレーム期間において撮像された点灯画像と消灯画像とは、差分画像を生成するための１対の撮像画像として対応付けられている。すなわち、交互に撮像された点灯画像および消灯画像のうち、注目する点灯画像と、当該撮像画像の直後に撮像された消灯画像とから差分画像が生成される。
【００８１】
感度調整部１７は、各光センサ１２の感度をユーザの指示または外光強度に応じて調整する。外光強度が強い環境下で光センサ１２が飽和する場合、シャッター速度（露光時間）を変更するなど複雑な処理が必要となる。感度調整部１７は、太陽光照射下（約１０万ルクス）でも、光センサ１２が飽和しないように光センサ１２の感度を調整する。なお、感度調整部１７の感度は、予め設定されていてもよい。また、外光強度とは、指示物体（撮像対象）の周囲の光の強度である。
【００８２】
（光センサ内蔵ＬＣＤ１１の詳細）
図２は、光センサ内蔵ＬＣＤ１１の構成を示す断面図である。図１および図２に示すように、光センサ内蔵ＬＣＤ１１は、複数の光センサ１２、表示用バックライト１３およびタッチパネル用バックライト（照明部）１４を備えている。
【００８３】
光センサ１２は、例えば、光センサ内蔵ＬＣＤ１１のアクティブマトリクス基板上において、マトリクス状に配置されており、光センサ内蔵ＬＣＤ１１の各画素に対して１つずつ設けられている。光センサ１２の配置様式および個数は、上述のものに限定されず、適宜変更してもよい。
【００８４】
この光センサ１２は、近赤外（波長：約７５０〜２５００ｎｍ）または近紫外（波長：約２００〜３８０ｎｍ）領域の波長の光を主に受光するものである。その理由は、後述するようにタッチパネル用バックライト１４が、近赤外または近紫外領域の波長の光を出射するからであり、このタッチパネル用バックライト１４が出射する光を主に受光できるようになっている。光センサ１２は、近赤外光または近紫外光のみに反応するわけではなく、他の波長の光にも多少は反応してもよい。
【００８５】
光センサ１２で取得した信号は、ＡＤコンバータ１５によりデジタル化された後、画像調整部２へ出力される。
【００８６】
光センサ内蔵ＬＣＤ１１は、Ｒ（赤）・Ｇ（緑）・Ｂ（青）の絵素を有するカラーフィルタを備える液晶パネル（不図示）を備えている。表示用バックライト１３は、この液晶パネルの背面から当該液晶パネルに光を照射する光源である。なお、Ｒ・Ｇ・Ｂの３つの絵素により１つの画素が形成されている。
【００８７】
タッチパネル用バックライト１４は、指示物体に対して光を照射する照明装置であり、タイミング制御部１６から出力される同期信号に従い所定の時間間隔で点灯／消灯を繰り返す。すなわち、タッチパネル用バックライト１４は、指示物体への光照射を所定の時間間隔で行う。
【００８８】
このタッチパネル用バックライト１４は、近赤外または近紫外領域の波長の光を出射する。近赤外または近紫外領域の波長の光は、可視光（波長：約３８０ｎｍ〜７５０ｎｍ）を利用する液晶パネルの表示に与える影響が少ないとともに、可視光と同様に指などの指示物体に効率良く反射する。それゆえ、近赤外または近紫外領域の波長の光を出射することにより、液晶パネルの表示を見やすくできるとともに、指示物体の検出精度を高めることができる。また、近赤外または近紫外光を用いることにより、蛍光灯（可視光）や太陽光（近紫外光、可視光および近赤外光の全てを含む）などの明るい環境で光センサ１２をなるべく飽和せずに耐えられるようにすることができる。
【００８９】
表示用バックライト１３およびタッチパネル用バックライト１４の構成および配置は、公知のものでよい。例えば、表示用バックライト１３およびタッチパネル用バックライト１４の光源として冷陰極管またはＬＥＤ（Light Emitting Diode）を用いることができる。導光板の側面にこれらの光源を配置し、導光板の上面から光をバックライト光として出射するエッジライト方式を用いてもよい。また、導光板の背面側に光源を配置し、導光板の上面から光をバックライト光として出射する直下型方式を用いてもよい。
【００９０】
表示用バックライト１３およびタッチパネル用バックライト１４を別々に形成し、これらのバックライトを、バックライト光の出射方向において重ねてもよい。
【００９１】
また、表示用バックライト１３およびタッチパネル用バックライト１４の導光板を共有してもよい。例えば、表示用バックライト１３用の光源として白色ＬＥＤを導光板の側面に沿って配列し、タッチパネル用バックライト１４用の光源として近赤外ＬＥＤを導光板の背面側に２次元的に配置してもよい。また、逆に白色ＬＥＤを導光板の背面側に設け、近赤外ＬＥＤを導光板の側面側に設けてもよい。
【００９２】
（主制御部２０の構成）
主制御部２０は、画像調整部２、外光強度算出部３、第１平滑化画像生成部４ａ、第２平滑化画像生成部４ｂ、第１差分画像生成部５ａ、第２差分画像生成部５ｂ、第１タッチ位置検出部６ａ、第２タッチ位置検出部６ｂおよびアプリケーション実行部７を備えている。
【００９３】
画像調整部２は、タッチパネル部１０で撮像された撮像画像（点灯画像および消灯光画像）のゲインおよびオフセットを調整するキャリブレーション処理などを行い、調整した撮像画像を外光強度算出部３へ出力する。これ以降の説明では、８bit、２５６階調の精度でグレースケールの画像が出力されたものとして説明する。なお、画像調整部２はタッチパネル部１０から点灯画像および消灯光画像を取得する取得部としても機能している。
【００９４】
外光強度算出部３は、画像調整部２から出力された点灯画像または消灯光画像を用いて、点灯画像または消灯画像が撮像された時点における指示物体の周囲の光強度である外光強度を算出する。例えば、外光強度算出部３は、光センサ１２から出力された、受光量を示す出力値（画素値）の少なくとも一部の出力値を、その出力値が高い順に並べた場合の所定の順位にある出力値を外光強度として採用する。
【００９５】
つまり、外光強度算出部３は、光センサ１２が取得した撮像画像について、当該撮像画像が有する画素の画素値を大きい順に並べた場合の、画素値と当該画素値を有する画素の個数との関係を示すヒストグラムを作成する。このヒストグラムは、撮像画像の全画素の画素値から作成するのが好ましい。しかし、コストや処理速度の観点から、撮像画像を構成する全ての画素から求めるのではなく、撮像画像の画素値から、ある程度間隔をあけて等間隔に選択された画素を用いてもよい。
【００９６】
また、外光強度算出部３は、撮像画像内のサンプル点をとる領域を限定し、限定された各領域内の画素の画素値の平均値を求めて、平均値が一番高い値を外光強度として採用するようにしてもよい。このように撮像画像から外光強度を算出する方法として、どのような方法を用いてもよい。
【００９７】
なお、光センサ内蔵ＬＣＤ１１の内部または外部に照度センサを装備して外光強度を測定してもよいが、光センサ１２に入射する光の強度を正確に算出するためには、光センサ１２で取得した画像から算出することが好ましい。上記照度センサは、可視光の強さを測定するものであってもよいし、赤外光の強さを測定するものであってもよい。すなわち、外光強度は、可視光の強さであってもよいし、赤外光の強さであってもよい。
【００９８】
ただし、撮像画像に影響を与える外光の強さを測定することが好ましいため、タッチパネル用バックライト１４が出射する光（換言すれば、光センサ１２が受光する光）と同じ波長領域を有する光の強さを外光強度として測定することが好ましい。すなわち、近赤外または近紫外領域の波長の光を外光強度として測定することが好ましい。
【００９９】
第１平滑化画像生成部４ａおよび第２平滑化画像生成部４ｂは、画像調整部２から出力された消灯画像を、平滑化フィルタとしての空間フィルタを用いて、点灯画像よりも平滑化した平滑化画像を生成する。画像調整のために点灯画像および消灯画像を平滑化することがあるが、このような平滑化とは別に消灯画像を平滑化する。そのため、消灯画像は点灯画像よりも顕著に平滑化される。
【０１００】
このとき、第１・第２平滑化画像生成部４ａ・４ｂは、予め想定されている複数種類の指示物体に対応する複数段階の大きさの平滑化フィルタを用いて平滑化画像を生成する。各平滑化フィルタは、予め想定されている、指示物体の光センサ内蔵ＬＣＤ１１との接触部分の像（以下、接触部分像と称する）の大きさよりも小さい。この理由については後述する。
【０１０１】
また、第１・第２平滑化画像生成部４ａ・４ｂは、消灯画像における四隅のうちの一箇所から平滑化処理を開始し、１画素ずつ平滑化フィルタをずらしながら、消灯画像全体を平滑化する。
【０１０２】
第１平滑化画像生成部４ａと第２平滑化画像生成部４ｂとは、平滑化に用いる平滑化フィルタのサイズが互いに異なっている。それ以外は、同じ機能を有している。第１平滑化画像生成部４ａは、指示物体が指であるとの想定のもとで、光センサ内蔵ＬＣＤ１１に接触した指腹の像よりも小さい平滑化フィルタを用いて消灯画像を平滑化する。第２平滑化画像生成部４ｂは、指示物体がペンであるとの想定のもとで、光センサ内蔵ＬＣＤ１１に接触したペン先の像よりも小さい平滑化フィルタを用いて消灯画像を平滑化する。
【０１０３】
すなわち、第１平滑化画像生成部４ａと第２平滑化画像生成部４ｂとを１つの平滑化画像生成部として捉えた場合には、この平滑化画像生成部は、予め想定されている複数種類の指示物体に対応する複数段階の大きさの平滑化フィルタをそれぞれ用いて、１つの消灯画像から、予め想定されている指示物体の数に対応する数の平滑化画像を生成する。
【０１０４】
さらに、第１・第２平滑化画像生成部４ａ・４ｂは、外光強度を示す外光強度情報を外光強度算出部３から取得し、当該外光強度情報が示す外光強度に応じたサイズの平滑化フィルタを用いて消灯画像を平滑化する。図３は、外光強度（赤外強度）の変化と平滑化フィルタのサイズとの関係を示すグラフである。例えば、図３に示すように、指示物体として指が想定されている場合には、平滑化を行わないことも１段階として数えれば、０、３×３、５×５、７×７の４段階の平滑化フィルタを予め設定しておく。そして、第１平滑化画像生成部４ａは、外光強度が増加するのに伴い、使用する平滑化フィルタのサイズを大きくする。この理由については後述する。
【０１０５】
図４は、外光強度（赤外強度）の変化と平滑化フィルタのサイズとの別の関係を示すグラフである。なお、第１・第２平滑化画像生成部４ａ・４ｂは、図４に示すように、外光強度が所定の基準値を超えたかどうかを判定し、超えた場合にのみ所定のサイズの平滑化フィルタを用いて消灯画像を平滑化してもよい。同図では、赤外光の強度が中レベルを超えた場合に、７×７の平滑化フィルタを用いる例を示している。
【０１０６】
同様に、指示物体としてペンが想定されている場合にも４段階の平滑化フィルタを予め設定しておく。ただし、各平滑化フィルタは、予め想定されている指示物体の接触部分像の大きさよりも小さいものであるため、この条件を満たすように平滑化フィルタの大きさを設定する。つまり、複数段階の平滑化フィルタのうち、最も大きい平滑化フィルタは、予め想定されている指示物体の接触部分像の大きさよりも小さい。なお、指の接触部分像の大きさは９×９、ペンの接触部分像の大きさは３×３であると想定されている。
【０１０７】
第１・第２平滑化画像生成部４ａ・４ｂは、平滑化した消灯画像と点灯画像との対応関係を示す情報を、生成した平滑化画像に付して、その平滑化画像を第１・第２差分画像生成部５ａ・５ｂへ出力する。
【０１０８】
第１差分画像生成部５ａおよび第２差分画像生成部５ｂは、点灯画像と第１・第２平滑化画像生成部４ａ・４ｂが生成した平滑化画像との差分を示す差分画像を生成する。具体的には、第１差分画像生成部５ａは、画像調整部２から出力された点灯画像の各画素の画素値から、その点灯画像と対応付けられた平滑化画像（第１平滑化画像生成部４ａによって平滑化された平滑化画像）における、点灯画像の各画素と対応する画素の画素値を差し引くことによって得られた画素値を各画素の画素値として有する差分画像を生成する。同様に、第２差分画像生成部５ｂは、画像調整部２から出力された点灯画像と第２平滑化画像生成部４ｂによって平滑化された平滑化画像とから差分画像を生成する。
【０１０９】
このとき、第１・第２差分画像生成部５ａ・５ｂは、生成した差分画像において、０より小さい画素値を有する画素の画素値を０に置換する。その理由については、後述する。
【０１１０】
第１差分画像生成部５ａと第２差分画像生成部５ｂとを１つの機能ブロックとして捉えた場合には、この差分画像生成部は、点灯画像と、平滑化画像生成部が生成した複数の平滑化画像との差分をそれぞれ示す複数の差分画像を生成するといえる。
【０１１１】
第１タッチ位置検出部６ａは、第１差分画像生成部５ａが生成した差分画像に含まれる接触部分像の位置(タッチ位置)を検出する。第１平滑化画像生成部４ａは、指示物体が指であるとの想定のもとで、光センサ内蔵ＬＣＤ１１に接触した指腹の像よりも小さい平滑化フィルタを用いて消灯画像を平滑化するため、第１タッチ位置検出部６ａは、光センサ内蔵ＬＣＤ１１に接触した指腹の像を検出する処理を行う。
【０１１２】
同様に第２タッチ位置検出部６ｂは、第２差分画像生成部５ｂが生成した差分画像に含まれる接触部分像の位置を検出する。第２平滑化画像生成部４ｂは、指示物体がペンであるとの想定のもとで、光センサ内蔵ＬＣＤ１１に接触したペン先の像よりも小さい平滑化フィルタを用いて消灯画像を平滑化するため、第２タッチ位置検出部６ｂは、光センサ内蔵ＬＣＤ１１に接触したペン先の像を検出する処理を行う。
【０１１３】
このように第１タッチ位置検出部６ａと第２タッチ位置検出部６ｂとは、検出する対象が異なっている点を除けば、同じ機能を有している。光センサ内蔵ＬＣＤ１１に接触した指示物体が１種類の場合、第１タッチ位置検出部６ａまたは第２タッチ位置検出部６ｂのいずれかがその像を検出することになる。それゆえ、第１タッチ位置検出部６ａおよび第２タッチ位置検出部６ｂは、検出した像の位置を示す座標をアプリケーション実行部７へ出力するが、実際にアプリケーション実行部７へ出力される座標は、通常１つである。ただし、複数の指で光センサ内蔵ＬＣＤ１１がタッチされた場合には、複数の指腹の像の位置をそれぞれ示す複数の座標がアプリケーション実行部７へ出力される。
【０１１４】
第１タッチ位置検出部６ａおよび第２タッチ位置検出部６ｂにおけるタッチ位置検出方法として、公知の方法を用いればよい。その具体例については後述する。
【０１１５】
第１タッチ位置検出部６ａと第２タッチ位置検出部６ｂとを１つの機能ブロックとして捉えた場合には、このタッチ位置検出部は、差分画像生成部が生成した複数の差分画像ごとに、当該差分画像のもとになった平滑化画像の生成に用いられた平滑化フィルタに対応する指示物体の接触部分像を検出するためのパターンをそれぞれ用いて、各差分画像に含まれる接触部分像の位置を検出するといえる。
【０１１６】
アプリケーション実行部７は、第１タッチ位置検出部６ａまたは第２タッチ位置検出部６ｂが出力した座標を用いて、当該座標に対応したアプリケーションを実行するか、または、特定のアプリケーションにおいて、当該座標に対応した処理を行う。アプリケーション実行部７において実行されるアプリケーションはどのようなものであってもよい。
【０１１７】
なお、予めどの種類の指示物体によって光センサ内蔵ＬＣＤ１１がタッチされるかを示す情報をユーザから受け付ける構成にする場合、または、指示物体の種類に応じた位置検出を行わない場合には、平滑化画像生成部、差分画像生成部およびタッチ位置検出部を、それぞれ１つずつ設ければよい。
【０１１８】
また、予めどの種類の指示物体によって光センサ内蔵ＬＣＤ１１がタッチされるかを示す情報を取得しない場合でも、平滑化画像生成部、差分画像生成部およびタッチ位置検出部を１つずつ設け、これらの各部が、全種類の指示物体の像を検出するための処理を順次行ってもよい。ただし、この場合には処理時間がかかるため、本実施形態のように、指示物体の種類に応じた複数の処理を並行して行うことが好ましい。
【０１１９】
（記憶部の詳細）
記憶部３０は、主制御部２０が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部３０は、ハードディスク、フラッシュメモリなどの不揮発性の記憶装置によって構成される。
【０１２０】
一次記憶部３１は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成されるものであり、主制御部２０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。
【０１２１】
（タッチ位置検出方法の例）
第１・第２タッチ位置検出部６ａ・６ｂにおけるタッチ位置検出処理の３つの具体例について説明する。
【０１２２】
（第１の例）
第１の例では、特許文献１に記載されているように、第１・第２タッチ位置検出部６ａ・６ｂは、差分画像生成部が生成した差分画像から所定の値以上のエッジ強度を有する画素を抽出し、抽出した画素の集合が有する特徴とモデルパターンが示す特徴とを比較することにより、上記撮像パネルに接触した撮像対象の像の位置を検出する。
【０１２３】
具体的には、第１・第２タッチ位置検出部６ａ・６ｂは、注目画素の縦方向に隣接する画素の画素値と注目画素の画素値との勾配を示す縦方向勾配量および注目画素の横方向に隣接する画素の画素値と注目画素の画素値との勾配を示す横方向勾配量を算出する処理を差分画像の各画素について行う。そして、これら縦方向勾配量および横方向勾配量を用いて、明るさが急激に変化する部分であるエッジ画素を特定し、このエッジ画素における画素値の勾配を示すベクトルの集合を抽出する。このベクトルの集合が、上述の「所定の値以上のエッジ強度を有する画素の集合が有する特徴」に相当する。
【０１２４】
各モデルパターンには、画素値の勾配を示すベクトルの情報（所定の特徴）が含まれており、第１・第２タッチ位置検出部６ａ・６ｂは、差分画像から抽出したベクトルの集合と、モデルパターンに含まれるベクトルの集合とをパターンマッチし、その一致度から検出対象の像が存在しているかどうかの判定を行う。具体的には、画素値の勾配方向が示された複数の画素からなる所定のモデルパターンと、差分画像から抽出した特徴量が示す勾配方向のパターンとをパターンマッチし、モデルパターンに含まれる勾配方向と一致した画素の数が所定数に達した領域を接触部分像として検出する。
【０１２５】
この検出処理により、差分画像に含まれている像が、光センサ内蔵ＬＣＤ１１に接触した指示物体の像（タッチの像）なのか接触していない指示物体の像（非タッチの像）なのかの判定が行われていることになる。
【０１２６】
また、各モデルパターンは、検出対象となる指示物体の大きさおよび形状に対応する形状および大きさを有している。指示物体が指およびペンである場合には、指腹検出用のモデルパターンと、ペン先検出用のモデルパターンとを予め記憶部３０に格納しておく。
【０１２７】
第１タッチ位置検出部６ａは、指腹検出用のモデルパターンを用いてパターンマッチングを行い、指腹の像を検出する。一方、第２タッチ位置検出部６ｂは、ペン先検出用のモデルパターンを用いてパターンマッチングを行い、ペン先の像を検出する。
【０１２８】
そして、第１・第２タッチ位置検出部６ａ・６ｂは、検出した像の重心座標（または中心座標）を算出し、その座標をタッチ位置としてアプリケーション実行部７へ出力する。
【０１２９】
（第２の例）
第２の例では、第１・第２タッチ位置検出部６ａ・６ｂは、差分画像から所定の値以上の画素値を有する画素を抽出し、抽出した画素によって形成される像の位置を、接触部分像の位置として検出する。具体的には、第１・第２タッチ位置検出部６ａ・６ｂは、差分画像に含まれる画素のうち、所定の閾値以上の画素値を有する画素を抽出する。差分画像における接触部分像は、背景よりもその画素値が大きいため、平均的な接触部分像を構成する画素の画素値の最低値を上記所定の閾値として設定することにより、接触部分像を抽出できる。
【０１３０】
この抽出処理により、差分画像に含まれている像が、光センサ内蔵ＬＣＤ１１に接触した指示物体の像（タッチの像）なのか接触していない指示物体の像（非タッチの像）なのかの判定が行われていることになる。
【０１３１】
そして、第１・第２タッチ位置検出部６ａ・６ｂは、抽出した画素によって形成される像の重心座標（または中心座標）を算出し、その座標をタッチ位置としてアプリケーション実行部７へ出力する。
【０１３２】
（第３の例）
第３の例では、第１・第２タッチ位置検出部６ａ・６ｂは、特許文献２に記載されているように、差分画像を所定の値を境として二値化し、二値化した差分画像に含まれる像の位置を、接触部分像の位置として検出する。二値化のための閾値は、第２の例における閾値と同じものでよい。上記二値化とは、例えば、所定の閾値以上の画素値を有する画素を白にし、所定の閾値未満の画素値を有する画素を黒にすることである。
【０１３３】
この二値化処理により、差分画像に含まれている像が、光センサ内蔵ＬＣＤ１１に接触した指示物体の像（タッチの像）なのか接触していない指示物体の像（非タッチの像）なのかの判定が行われていることになる。
【０１３４】
第１・第２タッチ位置検出部６ａ・６ｂは、二値化した差分画像における白の領域を特定し、特定した白の領域の重心座標（または中心座標）を算出し、その座標をタッチ位置としてアプリケーション実行部７へ出力する。
【０１３５】
なお、第２・３の例では、指示物体の種類は判定できない。指示物体の種類を判定するためにモデルパターンを用いた像の検出を行ってもよい。具体的には、第１タッチ位置検出部６ａは、差分画像から抽出した画素によって形成される像に対して、指腹検出用のモデルパターンを用いてパターンマッチングを行い、指腹の像を検出する。一方、第２タッチ位置検出部６ｂは、ペン先検出用のモデルパターンを用いてパターンマッチングを行い、ペン先の像を検出する。このとき使用するモデルパターンは、第１の例とは異なり、ベクトル情報は含まれておらず、像の形状および大きさを示すものである。
【０１３６】
（差分画像を平滑化する理由）
次に、差分画像を平滑化する理由について説明する。図５（ａ）は、タッチ状態の指が静止している場合の差分画像の生成過程を示す図であり、図５（ｂ）は、タッチ状態の指が移動した場合の差分画像の生成過程を示す図である。図６（ａ）は、非タッチ状態の指が静止している場合の差分画像の生成過程を示す図であり、図６（ｂ）は、非タッチ状態の指が移動した場合の差分画像の生成過程を示す図である。
【０１３７】
指が光センサ内蔵ＬＣＤ１１に接触した状態（タッチ状態）で指が移動した場合には、差分画像に差分ノイズが発生するが、図５（ｂ）に示すように、消灯画像（ｏｆｆ画像）を平滑化した上で差分画像を生成すると差分ノイズが低減される。
【０１３８】
指が光センサ内蔵ＬＣＤ１１に接触していない状態（非タッチ状態）で指が移動した場合にも、差分画像に差分ノイズが発生することがあるが、図６（ｂ）に示すように、消灯画像（ｏｆｆ画像）を平滑化した上で差分画像を生成すると差分ノイズが低減される。
【０１３９】
ここで、この差分ノイズの低減効果を定量的に説明する。図７は、静止状態の指を撮像した消灯画像を平滑化せずに差分画像を生成し、所定の閾値以上の画素値を有する画素を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。図８は、移動状態の指を撮像した消灯画像を平滑化せずに差分画像を生成し、所定の閾値以上の画素値を有する画素を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。図９は、静止状態の指を撮像した消灯画像を平滑化して差分画像を生成し、所定の閾値以上の画素値を有する画素を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。図１０は、移動状態の指を撮像した消灯画像を平滑化して差分画像を生成し、所定の閾値以上の画素値を有する画素を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。
【０１４０】
これらの図において、指が光センサ内蔵ＬＣＤ１１に接触している状態の結果（タッチ）と、指が光センサ内蔵ＬＣＤ１１に接触していない状態の結果（非タッチ）とを並べて示している。タッチおよび非タッチの結果において、「０ｌｘ」は、外光がない状態で点灯画像および消灯画像を撮像した場合の結果である。「低照度」は、外光強度が、タッチパネル用バックライト１４の照明が指腹に反射した反射光の強度の１／２の場合の結果である。「中照度」は、外光強度が上記反射光の強度と等しい場合の結果である。「高照度」は、外光強度が上記反射光の強度の２倍の場合の結果である。
【０１４１】
図１１は、図７〜図１０に示すグラフを説明するための図である。図７〜図１０に示す各グラフにおいて、横軸は、図１１に示すように、指腹の像を含む、差分画像の横方向の一列分の画素の列における各画素の位置を示している。縦軸は、各画素の画素値を示している。また、画素値「１００」をタッチと非タッチとを判定するための閾値としている。すなわち、画素値が１００以上の画素は、接触部分像を形成する画素として認識される。このタッチ位置の検出方法は、上述の第２の例に相当する。
【０１４２】
また、消灯画像に含まれる接触部分像のサイズは９×９であり、消灯画像の平滑化に用いられる平滑化フィルタのサイズは３×３である。すなわち、接触部分像のサイズよりも小さいサイズの平滑化フィルタが用いられている。また、使用した平滑化フィルタは、平均値フィルタである。
【０１４３】
図７および図９に示すように、指が静止状態であれば、外光強度にかかわらず、タッチ／非タッチの識別は問題なく行われる。しかし、図８に示すように、指が移動した場合には、高照度の場合に、実際には非タッチであるが、閾値を超える画素値を有する画素（高輝度画素）が発生する。この場合には、光センサ内蔵ＬＣＤ１１に接触していない指の像が、接触している指の像として認識されてしまう。
【０１４４】
これに対して、図１０に示すように、消灯画像を平滑化すれば、指が移動した場合に発生する高輝度画素の数が、平滑化しない場合よりも抑制される。なお、図１０に示す結果では、非タッチの場合の高輝度画素を０にはできていないが、これは本発明の効果を否定するものではない。高輝度画素が検出されても、その数が少ない場合には、高輝度画素からなる像が、重心座標算出処理の対象とはならないため、最終的にタッチ位置は算出されないからである。
【０１４５】
同様の効果が、タッチ位置の検出方法の第１の例を採用した場合にも得られる。図１２は、静止状態の指を撮像した消灯画像を平滑化せずに差分画像を生成し、エッジ特徴を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。図１３は、移動状態の指を撮像した消灯画像を平滑化せずに差分画像を生成し、エッジ特徴を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。図１４は、静止状態の指を撮像した消灯画像を平滑化して差分画像を生成し、エッジ特徴を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。図１５は、移動状態の指を撮像した消灯画像を平滑化して差分画像を生成し、エッジ特徴を抽出することで指腹の像を検出した場合の検出結果を示すグラフである。
【０１４６】
図１２〜図１５に示した結果を得るに至った撮像条件および平滑化条件は、図７〜図１０に示した結果を得るに至った撮像条件および平滑化条件と同じである。
【０１４７】
図１２〜図１５に示す結果では、指腹の像の外縁部分を示す特徴量が抽出される。それゆえ、指腹を横切る画素の列を抽出すると、２つのピークが検出される。図１２〜図１５に示すグラフの縦軸は、エッジ強度（注目画素の画素値と注目画素に隣接する画素の画素値との勾配を示す値）である。
【０１４８】
図１２および図１４に示すように、指が静止状態であれば、外光強度にかかわらず、タッチ／非タッチの識別は問題なく行われる。しかし、図１３に示すように、指が移動した場合には、中照度および高照度の場合に、実際には非タッチであるが、閾値を超えるエッジ強度を有する画素（エッジ画素）が発生する。この場合には、光センサ内蔵ＬＣＤ１１に接触していない指の像が、接触している指の像として認識されてしまう。
【０１４９】
これに対して、図１５に示すように、消灯画像を平滑化すれば、指が移動した場合に発生するエッジ画素の数が、平滑化しない場合よりも抑制される。なお、図１５に示す結果では、非タッチの場合のエッジ画素を０にはできていないが、これは本発明の効果を否定するものではない。エッジ画素が検出されても、その数が少ない場合には、モデルパターンとの一致度が低くなるため、接触部分像とは認識されない。それゆえ、非タッチの場合のエッジ画素の数を低減することで、タッチ／非タッチの判別精度を高めることができる。
【０１５０】
図８および図１３の結果から分かるように、外光強度が小さい場合には、指が移動しても、閾値を超える差分ノイズが発生する可能性は低い。それゆえ、消灯画像を平滑化する処理を行うのは、外光強度が中照度以上になってからでよい。
【０１５１】
また、外光光度が大きくなると、それに伴って差分ノイズの発生も顕著になるため、外光強度の増加に伴って、使用する平滑化フィルタのサイズを大きくすることが好ましい。平滑化フィルタのサイズが大きくなれば、平滑化の効果は高まるからである。ただし、後述するように、平滑化フィルタのサイズは、接触部分像の大きさよりも小さいことが好ましい。
【０１５２】
（平滑化フィルタを接触部分像よりも小さくする理由）
図１６は、接触部分像のサイズと同じサイズの平滑化フィルタを用いて消灯画像を平滑化した例を示す図である。同図には、タッチの指示物体の像（接触部分像）が含まれている消灯画像の平滑化を行わずに生成した差分画像、接触部分像が含まれている消灯画像を平滑化フィルタを用いて平滑化した後に生成した差分画像、非タッチの指示物体の像が含まれている消灯画像の平滑化を行わずに生成した差分画像、非タッチの指示物体の像が含まれている消灯画像を平滑化した後に生成した差分画像が順に示されている。
【０１５３】
指示物体の像（接触部分像）のサイズは９×９であり、使用した平滑化フィルタのサイズも９×９である。また、同図の結果は、高照度の外光環境下で、移動した指を撮像した場合の結果である。各差分画像の下には、当該差分画像に対してタッチ位置検出処理を行った結果が示されている。
【０１５４】
消灯画像を平滑化すれば、差分ノイズが低減されるという効果が得られる反面、接触部分像の画素値が低下するという副作用が生じる。そのため、タッチ／非タッチの判定精度が高まるように、消灯画像を平滑化する程度（すなわち、平滑化フィルタのサイズ）を設定することが好ましい。
【０１５５】
図１６に示すように、接触部分像のサイズと同じサイズの平滑化フィルタを用いてタッチの消灯画像を平滑化した場合には、エッジ画素および高輝度画素ともに、その数がほぼ０になり、接触部分像の検出が困難な状態になる。
【０１５６】
一方、非タッチの指示物体の像が含まれている消灯画像を同じサイズの平滑化フィルタで平滑化すると、エッジ画素および高輝度画素ともに、その数が顕著に減少するが、エッジ画素については、その数が０にはなっていない。それゆえ、この例では、タッチの像は検出されず、非タッチの像がタッチの像として検出されることになる。
【０１５７】
このように、接触部分像のサイズと同じサイズの平滑化フィルタを用いて消灯画像を平滑化した場合には、タッチ／非タッチの判定精度が低下する可能性がある。そのため、接触部分像のサイズよりも小さいサイズの平滑化フィルタを用いて消灯画像を平滑化することが好ましい。
【０１５８】
それゆえ、検出対象となる指示物体が複数想定されている場合には、各指示物体に対応したサイズの平滑化フィルタを予め用意しておくことが好ましい。図１７は、指示物体に対応したサイズの平滑化フィルタを用いることの意義を説明するための図である。同図には、指腹の接触部分像とペン先の接触部分像とが含まれている消灯画像の平滑化を行わずに生成した差分画像、上記接触部分像が含まれている消灯画像の平滑化を行った後に生成した差分画像、非タッチの指腹の像と非タッチのペン先の像とが含まれている消灯画像の平滑化を行わずに生成した差分画像、上記非タッチの像が含まれている消灯画像の平滑化を行った後に生成した差分画像が順に示されている。
【０１５９】
指腹の像のサイズは９×９であり、ペン先の像のサイズは３×３であり、使用した平滑化フィルタのサイズは３×３である。また、同図の結果は、高照度の外光環境下で、移動した指を撮像した場合の結果である。各差分画像の下には、当該差分画像に対してタッチ位置検出処理を行った結果が示されている。
【０１６０】
同図に示すように、ペン先の像を、当該像と同じサイズの平滑化フィルタで平滑化すると、タッチの像が検出されなくなる可能性が生じるとともに、非タッチの像がタッチの像として検出される可能性が高まる。それゆえ、複数の指示物体の像を検出する場合には、各指示物体に適したサイズの平滑化フィルタを使用することが好ましい。
【０１６１】
ただし、上述の説明は、平均値フィルタおよびメディアンフィルタなど、平滑化フィルタ内の重み付けがほぼ一定の平滑化フィルタを用いた場合の説明である。中央部分の重み付けが極端に大きい平滑化フィルタを用いる場合には、平滑化の程度は低いため、接触部分像のサイズよりも大きなサイズであっても上記副作用が生じる可能性は低い。この場合には、差分ノイズが低減される効果も小さくなる。それゆえ、効果と副作用とのバランスを考慮して平滑化フィルタの種類およびサイズを設定すればよい。
【０１６２】
（平滑化フィルタの例）
図１８（ａ）は、平均値フィルタの効果を説明するための図であり、図１８（ｂ）は、中間値フィルタの効果を説明するための図である。第１・第２平滑化画像生成部４ａ・４ｂが使用する平滑化フィルタ（空間フィルタ）は、例えば、平均値フィルタまたは中間値（中央値）フィルタである。図１８（ａ）に示すように、平均値フィルタは、フィルタ内の画素の画素値の平均値を算出し、フィルタ内の各画素の画素値を、算出した平均値に置き換える。図１８（ｂ）に示すように、中間値フィルタは、フィルタ内の画素の画素値の中間値を算出し、フィルタ内の各画素の画素値を、算出した中間値に置き換える。
【０１６３】
第１・第２平滑化画像生成部４ａ・４ｂが使用する平滑化フィルタは、その他の平滑化フィルタでもよく、上述のものに限定されない。
【０１６４】
（差分画像において、０より小さい画素値をクリッピングする理由）
図１９は、差分画像において、０より小さい画素値をクリッピングする理由を説明するための図である。同図では、タッチ位置検出方法の第１の例を用いた場合の結果（「エッジ」）と、タッチ位置検出方法の第２の例を用いた場合の結果（「画素値」）とにおいて、クリッピングを行った場合の結果と行わなかった場合の結果とを示している。各グラフの見方は、図７〜図１５のグラフの見方と同じである。図１９の例では、移動状態の指腹を高照度の外光環境下で撮像しており、消灯画像の平滑化は行っていない。
【０１６５】
差分画像において、０より小さい画素値をクリッピングすることの効果は、タッチ位置検出方法の第１の例を用いた場合に得られる。第１の例では、画素値の勾配を、エッジを示す特徴として用いている。そのため、０より小さい画素値が存在すると、その画素により画素値の勾配が形成される。点灯画像から消灯画像を引くことによって生じるマイナスの画素値を有する画素は、接触部分像を形成するものではないため、マイナスの画素値を有する画素は、第１の例において差分ノイズとなる。
【０１６６】
「０クリッピングなし」の非タッチの「エッジ」の結果では、エッジ強度の高い画素が検出されているが、０クリッピングすることによりエッジ強度の高い画素が減少することが、「０クリッピングあり」の非タッチの「エッジ」の結果から分かる。
【０１６７】
（タッチ位置検出装置１における処理の流れ）
図２０は、タッチ位置検出装置１における処理の流れの一例を示すフローチャートである。まず、光センサ内蔵ＬＣＤ１１の光センサ１２は、タイミング制御部１６の制御下で、時間的に連続している撮像タイミングのうち、タッチパネル用バックライト１４が点灯している第１撮像タイミングにおいて指示物体を撮像し、その撮像画像（すなわち、点灯画像）を画像調整部２へ出力する（Ｓ１）。
【０１６８】
第１撮像タイミングの次の撮像タイミングである第２撮像タイミングでは、タッチパネル用バックライト１４は消灯する。この状態で光センサ１２は、指示物体を撮像し、その撮像画像（すなわち、消灯画像）を画像調整部２へ出力する（Ｓ２）。
【０１６９】
画像調整部２は、受信した点灯画像および消灯画像を調整し、調整したこれらの撮像画像を互いに対応付けて一次記憶部３１に格納する（Ｓ３）。
【０１７０】
次に外光強度算出部３は、一次記憶部３１に格納された点灯画像または消灯画像から、上述したように外光強度を算出し、算出した外光強度を示す外光強度情報を第１平滑化画像生成部４ａおよび第２平滑化画像生成部４ｂへ出力する（Ｓ４）。外光強度を測定するセンサから外光強度情報を取得する場合には、この時点の外光強度情報を取得してもよいし、撮像画像の撮像時の外光強度情報を取得してもよい。
【０１７１】
第１・第２平滑化画像生成部４ａ・４ｂは、受信した外光強度情報を所定の複数段階の閾値と比較し、外光強度に応じた平滑化フィルタを決定する（Ｓ５ａ・５ｂ）。換言すれば、第１・第２平滑化画像生成部４ａ・４ｂは、外光強度に応じて消灯画像を平滑化するアルゴリズムを選択する。
【０１７２】
このとき、第１平滑化画像生成部４ａは、指示物体が指である場合に適したサイズの平滑化フィルタを決定し、第２平滑化画像生成部４ｂ、指示物体がペンである場合に適したサイズの平滑化フィルタを決定する。
【０１７３】
第１・第２平滑化画像生成部４ａ・４ｂは、決定した平滑化フィルタを用いて、一次記憶部３１に格納されている消灯画像を平滑化する。第１平滑化画像生成部４ａは、生成した平滑化画像を第１差分画像生成部５ａへ、第２平滑化画像生成部４ｂは、生成した平滑化画像を第２差分画像生成部５ｂへ出力する（Ｓ６ａ・６ｂ）。
【０１７４】
第１・第２差分画像生成部５ａ・５ｂは、受信した平滑化画像に対応する点灯画像を一次記憶部３１から取得し、その点灯画像と、受信した平滑化画像との差分をとることによって差分画像を生成する（Ｓ７ａ・７ｂ）。このとき、第１・第２差分画像生成部５ａ・５ｂは、生成した差分画像において０より小さい画素値を有する画素の画素値を０に設定する。第１差分画像生成部５ａは、生成した差分画像を第１タッチ位置検出部６ａへ、第２差分画像生成部５ｂは、生成した差分画像を第２タッチ位置検出部６ｂへ出力する。
【０１７５】
第１タッチ位置検出部６ａは、受信した差分画像に含まれる、指の接触部分像を検出し、その位置を算出するための処理を行い（Ｓ８ａ）、算出した位置を示す座標をアプリケーション実行部７へ出力する（Ｓ９ａ）。
【０１７６】
また、第２タッチ位置検出部６ｂは、受信した差分画像に含まれる、ペン先の接触部分像を検出し、その位置を算出するための処理を行い（Ｓ８ｂ）、算出した位置を示す座標をアプリケーション実行部７へ出力する（Ｓ９ｂ）。
【０１７７】
アプリケーション実行部７は、第１タッチ位置検出部６ａまたは第２タッチ位置検出部６ｂから受信した座標に基づいて、当該座標に対応する処理を行う（Ｓ１０）。
【０１７８】
（タッチ位置検出装置１の効果）
以上のようにタッチ位置検出装置１では、消灯画像を平滑化することにより、指示物体が移動することによって生じる差分ノイズを低減でき、光センサ内蔵ＬＣＤ１１に接触した指示物体を精度高く検出できる。換言すれば、タッチ／非タッチの判定を精度高く行うことができる。
【０１７９】
〔実施の形態２〕
本発明の他の実施形態について図２１〜図２２に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。図２１は、本実施形態のタッチ位置検出装置４０の構成を示す概略図である。同図に示すように、タッチ位置検出装置４０の主制御部２１は、タッチ位置検出装置１が外光強度算出部３を備えているのとは異なり、差分ノイズ判定部（差分画像判定部）８を備えている。
【０１８０】
差分ノイズ判定部８は、画像調整部２から出力された点灯画像と消灯画像とから差分画像（判定用差分画像と称する）を生成し、生成した判定用差分画像（第２差分画像）において、予め想定されている指示物体の像の画素値よりも大きい画素値を有する画素（高輝度画素と称する）の数が、所定の数以上であるかどうかを判定する。高輝度画素は、点灯画像と消灯画像との差分をとることによって発生した差分ノイズである可能性が高い。それゆえ、高輝度画素が判定用差分画像に所定の数以上存在している場合に、差分ノイズが発生していると判定する。
【０１８１】
第１平滑化画像生成部４ａおよび第２平滑化画像生成部４ｂは、差分ノイズ判定部８が、上記画素の数が所定の数以上であると判定した場合にのみ消灯画像を平滑化する。この構成により、差分ノイズが発生していない場合に消灯画像を平滑化するという無駄な処理を行う可能性を低減できる。
【０１８２】
なお、第１平滑化画像生成部４ａおよび第２平滑化画像生成部４ｂは、高輝度画素の数に応じて、使用する平滑化フィルタのサイズを変更してもよい。より具体的には、差分画像における高輝度画素の数が増えるに従って、使用する平滑化フィルタのサイズを段階的に大きくしてもよい。
【０１８３】
また、タッチ位置検出装置４０にも外光強度算出部３を設け、差分ノイズ判定部８が、上記画素の数が所定の数以上であると判定した場合に、外光強度算出部３が算出した外光強度に応じて使用する平滑化フィルタのサイズを選択してもよい。
【０１８４】
（タッチ位置検出装置４０における処理の流れ）
次に、タッチ位置検出装置４０における処理の流れの一例について説明する。図２２は、タッチ位置検出装置４０における処理の流れの一例を示すフローチャートである。ステップＳ１１〜Ｓ１２は、上述のステップＳ１〜Ｓ３と同じため、その説明を省略する。
【０１８５】
ステップＳ１３において、画像調整部２は、点灯画像および消灯画像を調整し、調整した点灯画像および消灯画像を差分ノイズ判定部８へ送信するとともに、一次記憶部３１に格納する（Ｓ１３）。
【０１８６】
差分ノイズ判定部８は、点灯画像および消灯画像を受信すると、これらの画像の差分をとることにより判定用差分画像を生成し、一次記憶部３１に格納する(Ｓ１４)。
【０１８７】
そして、差分ノイズ判定部８は、生成した判定用差分画像において、高輝度画素の数が、所定の数以上であるかどうかを判定する（Ｓ１５）。
【０１８８】
高輝度画素の数が、所定の数以上であると判定した場合（Ｓ１５にて、ＹＥＳ）、差分ノイズ判定部８は、平滑化画像を生成するよう命じる平滑化画像生成命令を第１平滑化画像生成部４ａおよび第２平滑化画像生成部４ｂへ出力する。
【０１８９】
平滑化画像生成命令を受信すると、第１平滑化画像生成部４ａおよび第２平滑化画像生成部４ｂは、それぞれ一次記憶部３１から消灯画像を取得し、この消灯画像から上述のように平滑化画像を生成する（Ｓ１６）。
【０１９０】
これ以降のステップＳ１７〜Ｓ２０は、上述のステップＳ７ａ・ｂ〜Ｓ１０と同様である。
【０１９１】
一方、高輝度画素の数が、所定の数より小さいと判定した場合（Ｓ１５にて、ＮＯ）、差分ノイズ判定部８は、タッチ位置を検出することを命じるタッチ位置検出命令を第１タッチ位置検出部６ａおよび第２タッチ位置検出部６ｂへ出力する。
【０１９２】
タッチ位置検出命令を受信すると、第１タッチ位置検出部６ａおよび第２タッチ位置検出部６ｂは、それぞれ一次記憶部３１から判定用差分画像を取得し、この判定用差分画像における接触部分像の位置を検出する（Ｓ２１）。
【０１９３】
そして、第１タッチ位置検出部６ａおよび第２タッチ位置検出部６ｂのうち、接触部分像を検出したタッチ位置検出部は、検出した接触部分像の判定用差分画像における位置を示す座標をアプリケーション実行部７へ出力する（Ｓ２２）。
【０１９４】
（タッチ位置検出装置４０の効果）
以上のように、タッチ位置検出装置４０では、平滑化処理を行う前に、点灯画像と消灯画像とから差分画像を生成し、この差分画像において、予め想定されている指示物体の像の画素値よりも大きい画素値を有する画素の数が、所定の数以上であるかどうかを判定する。それゆえ、消灯画像の平滑化が必ずしも必要でない、差分ノイズの発生レベルが低い状況において、消灯画像の平滑化処理を省略することができる。
【０１９５】
（変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１９６】
例えば、タッチパネル部１０は、光センサ１２が撮像した点灯画像および消灯画像の全てを画像調整部２へ出力してもよいし、点灯画像または消灯画像に変化が生じたかどうかを判定し、所定の閾値より大きい変化が生じた場合に点灯画像および消灯画像を画像調整部２へ出力してもよい。
【０１９７】
また、光センサ１２として可視光（波長：約３８０ｎｍ〜７５０ｎｍ）を受光する光センサ（可視光センサ）を設け、可視光を出射する表示用バックライト１３を点灯／消灯させて、可視光センサにより点灯画像および消灯画像を上述のように撮像してもよい。
【０１９８】
また、上述したタッチ位置検出装置１・４０の各ブロック、特に主制御部２０・２１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１９９】
すなわち、タッチ位置検出装置１・４０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタッチ位置検出装置１・４０の制御プログラム（位置検出プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記タッチ位置検出装置１・４０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２００】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２０１】
また、タッチ位置検出装置１・４０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２０２】
なお、本発明は、以下のようにも表現できる。
【０２０３】
すなわち、本発明の表示装置は、画像の表示と受光を同時または交互に行う表示装置において、表示面の裏面に配置された発光素子の発光、消灯を時間的に交互に繰返し、表示面の裏面に配置された発光素子を発光させないときに受光した画像を取得し、前記発光させないときに受光した画像を発光させたときに受光した画像より平滑化し、前記発光させたときに受光した画像より平滑化し、前記発光させたときに受光した画像から前記平滑化した画像を減算し差分画像を生成し、前記差分画像から表示面に接触または近接した状態および位置を検出する検出部とを備えることを特徴としている。
【産業上の利用可能性】
【０２０４】
差分ノイズによる影響を軽減することにより、外部の光環境に影響されず、安定したポインタ操作、タッチ操作ができるため、タッチパネル、入力装置等に適用することができる。特に、タッチパッド機能付き液晶などの入力機能付表示装置や、この表示装置を搭載した携帯電話機、パーソナルコンピュータ、ＰＤＡなどの情報機器に好適に適用することができる。
【符号の説明】
【０２０５】
１  タッチ位置検出装置
２  画像調整部（取得部）
４ａ  第１平滑化画像生成部
４ｂ  第２平滑化画像生成部
５ａ  第１差分画像生成部
５ｂ  第２差分画像生成部
６ａ  第１タッチ位置検出部
６ｂ  第２タッチ位置検出部
８  差分ノイズ判定部（差分画像判定部）
１０  タッチパネル部（撮像パネル）
１２  光センサ（撮像素子）
１３  表示用バックライト
１４  タッチパネル用バックライト（照明部）
４０  タッチ位置検出装置
【図１】
2011118465.tif 000003
【図２】
2011118465.tif 000004
【図３】
2011118465.tif 000005
【図４】
2011118465.tif 000006
【図７】
2011118465.tif 000007
【図８】
2011118465.tif 000008
【図９】
2011118465.tif 000009
【図１０】
2011118465.tif 000010
【図１１】
2011118465.tif 000011
【図１２】
2011118465.tif 000012
【図１３】
2011118465.tif 000013
【図１４】
2011118465.tif 000014
【図１５】
2011118465.tif 000015
【図１８】
2011118465.tif 000016
【図１９】
2011118465.tif 000017
【図２０】
2011118465.tif 000018
【図２１】
2011118465.tif 000019
【図２２】
2011118465.tif 000020
【図５】
2011118465.tif 000021
【図６】
2011118465.tif 000022
【図１６】
2011118465.tif 000023
【図１７】
2011118465.tif 000024
【図２３】
2011118465.tif 000025
【図２４】
2011118465.tif 000026
【図２５】
2011118465.tif 000027
【図２６】
2011118465.tif 000028