(57)【特許請求の範囲】
【請求項１】
画像表示機能と撮像機能とを有する表示撮像パネルと、
前記表示撮像パネルから照射される照射光による反射光を利用してこの表示撮像パネルによって近接物体を撮像して得られる反射光利用画像と、前記表示撮像パネルによって前記近接物体の影を撮像して得られる影画像との差分画像を生成する生成手段と、
前記差分画像に基づいて、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する画像処理手段と
を備え、
前記生成手段は、
前記反射光利用画像および前記影画像のうちの一方の画像について時間軸に沿って互いに異なるタイミングで得られた複数の画像に基づいて、これら複数の画像のいずれとも異なるタイミングで得られる前記一方の画像に対応する１つの補間画像を生成すると共に、
この補間画像と前記反射光利用画像および前記影画像のうちの他方の画像との差分により、前記差分画像を生成する
表示撮像装置。
【請求項２】
前記一方の画像が前記影画像であると共に前記他方の画像が前記反射光利用画像であり、
前記生成手段は、
時間軸に沿って互いに異なるタイミングで得られた複数の影画像に基づいて、これら複数の影画像のいずれとも異なるタイミングで得られる影画像に対応する１つの補間画像を生成すると共に、
この補間画像と前記反射光利用画像との差分により、前記差分画像を生成する
請求項１に記載の表示撮像装置。
【請求項３】
前記生成手段は、時間軸に沿って互いに異なるタイミングで得られた２つの影画像に基づいて、これら２つの影画像のいずれとも異なるタイミングで得られる影画像に対応する１つの補間画像を生成する
請求項２に記載の表示撮像装置。
【請求項４】
前記生成手段は、時間軸に沿って互いに連続するタイミングで得られた２つの影画像に基づいて、これら２つの影画像のいずれとも異なるタイミングで得られる影画像に対応する１つの補間画像を生成する
請求項３に記載の表示撮像装置。
【請求項５】
前記生成手段は、前記連続するタイミングで得られた２つの影画像に基づいて、これら２つの影画像の間のタイミングで得られる影画像に対応する１つの補間画像を生成する
請求項４に記載の表示撮像装置。
【請求項６】
前記生成手段は、前記連続するタイミングで得られた２つの影画像の各画素について、これら２つの影画像の画素のうちの高輝度側の画素を選択することにより、前記２つの影画像の間のタイミングで得られる影画像に対応する１つの補間画像を生成する
請求項５に記載の表示撮像装置。
【請求項７】
前記生成手段は、前記異なるタイミングで得られた２つの影画像に基づいて、これら２つの影画像の間のタイミングで得られる影画像に対応する１つの補間画像を生成する
請求項３ないし請求項６のいずれか１項に記載の表示撮像装置。
【請求項８】
前記生成手段は、前記異なるタイミングで得られた２つの影画像に基づいて、これら２つの影画像よりも時間軸に沿って前または後のタイミングで得られる影画像に対応する１つの補間画像を生成する
請求項３ないし請求項６のいずれか１項に記載の表示撮像装置。
【請求項９】
前記生成手段は、前記一方の画像について得られた複数の画像において動き補償を用いることにより、前記１つの補間画像を生成する
請求項１に記載の表示撮像装置。
【請求項１０】
前記生成手段は、前記近接物体が前記表示撮像パネル上で動いているときに、前記補間画像と前記他方の画像との差分により、前記差分画像を生成する
請求項１ないし請求項９のいずれか１項に記載の表示撮像装置。
【請求項１１】
前記画像処理手段は、前記表示撮像パネル上に同時に位置する複数の近接物体の位置、形状または大きさの少なくとも１つに関する情報をそれぞれ取得する
請求項１ないし請求項１０のいずれか１項に記載の表示撮像装置。
【請求項１２】
前記表示撮像パネルにより、取得した前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を表示する
請求項１ないし請求項１１のいずれか１項に記載の表示撮像装置。
【請求項１３】
前記表示撮像パネルが、複数の液晶素子および複数の撮像素子を含んで構成されている
請求項１ないし請求項１２のいずれか１項に記載の表示撮像装置。
【請求項１４】
前記表示撮像パネルが、発光動作および受光動作を時分割に行うことが可能な複数の表示撮像素子を含んで構成されている
請求項１ないし請求項１２のいずれか１項に記載の表示撮像装置。
【請求項１５】
前記表示撮像素子が、有機ＥＬ素子である
請求項１４に記載の表示撮像装置。
【請求項１６】
画像表示機能と撮像機能とを有する表示撮像パネルによって近接物体の影を撮像し、
前記表示撮像パネルから照射される照射光による反射光を利用して、この表示撮像パネルによって前記近接物体を撮像し、
前記照射光による反射光を利用した撮像により得られた反射光利用画像と、前記近接物体の影の撮像により得られた影画像との差分画像を生成し、
前記差分画像に基づいて、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得すると共に、
前記差分画像を生成する際に、前記反射光利用画像および前記影画像のうちの一方の画像について時間軸に沿って互いに異なるタイミングで得られた複数の画像に基づいて、これら複数の画像のいずれとも異なるタイミングで得られる前記一方の画像に対応する１つの補間画像を生成すると共に、この補間画像と前記反射光利用画像および前記影画像のうちの他方の画像との差分により、前記差分画像を生成する
物体の検出方法。
【請求項１７】
受光素子を有する表示部と、
前記表示部から照射されて近接物体で反射された反射光を受光して得られる第１画像と、外光を受光して得られる第２画像との差分画像を生成する生成手段と
を備え、
前記生成手段は、異なるタイミングで得られた少なくとも２つの前記第２画像に基づいて補間画像を生成すると共に、この補間画像と前記第１画像との差分により、前記差分画像を生成する
表示撮像装置。
【請求項１８】
前記第１画像は、前記異なるタイミングの間のタイミングで得られる画像である
請求項１７に記載の表示撮像装置。
【請求項１９】
受光素子を有する表示部と、
前記表示部から照射されて近接物体で反射された反射光を受光して得られる第１画像と、外光を受光して得られる第２画像との差分画像を生成する生成手段と
を備え、
前記生成手段は、異なるタイミングで得られた少なくとも２つの前記第１画像に基づいて補間画像を生成すると共に、この補間画像と前記第２画像との差分により、前記差分画像を生成する
表示撮像装置。
【請求項２０】
前記第２画像は、前記異なるタイミングの間のタイミングで得られる画像である
請求項１９に記載の表示撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パネルに接触または近接する物体の位置などの情報を取得する表示撮像装置、およびそのような情報を取得するための物体の検出方法に関する。
【背景技術】
【０００２】
従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。
【０００３】
このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。
【０００４】
また、本出願人は例えば特許文献１および特許文献２において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。
【０００５】
【特許文献１】特開２００４−１２７２７２号公報
【特許文献２】特開２００６−２７６２２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示撮像パネルからの照射光による反射光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。
【０００７】
しかしながら、上記のように物体で反射された反射光を利用する場合、外光や、受光素子の特性ばらつきなどが問題となることがあった。具体的には、受光する光の輝度が外光の明るさに応じて変化することから、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。また、受光素子の特性ばらつきなどが固定ノイズとなり、やはり撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。
【０００８】
そこで、上記特許文献２では、発光状態で得られた画像（照射光による反射光を利用して得られた画像）と、消灯状態で得られた画像との差分を取ることにより、上記した外光や固定ノイズによる影響が除去されるようにしている。これにより、外光や固定ノイズの影響を受けずに、物体の位置などを検出することが可能となると考えられる。
【０００９】
ところが、実際の使用状況下では、上記の発光状態で得られた画像と消灯状態で得られた画像との間には、時間差が存在する。したがって、例えば表示撮像パネル上で物体が高速に移動している場合などには、この時間差のため、発光状態で得られた画像と消灯状態で得られた画像との間で位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの画像の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう場合があった。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。
【００１０】
このように従来の技術では、そのときの使用状況によらずにパネルに接触または近接する物体を安定して検出するのは困難であり、改善の余地があった。
【００１１】
本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、物体を安定して検出することが可能な画像表示装置および物体の検出方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の第１の表示撮像装置は、画像表示機能と撮像機能とを有する表示撮像パネルと、この表示撮像パネルから照射される照射光による反射光を利用して表示撮像パネルによって近接物体を撮像して得られる反射光利用画像と、表示撮像パネルによって近接物体の影を撮像して得られる影画像との差分画像を生成する生成手段と、この差分画像に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する画像処理手段とを備えたものである。また、上記生成手段は、反射光利用画像および影画像のうちの一方の画像について時間軸に沿って互いに異なるタイミングで得られた複数の画像に基づいて、これら複数の画像のいずれとも異なるタイミングで得られる上記一方の画像に対応する１つの補間画像を生成すると共に、この補間画像と反射光利用画像および影画像のうちの他方の画像との差分により、上記差分画像を生成するようになっている。なお、「照射光」とは、表示撮像パネルから照射される表示光だけでなく、表示撮像パネル上の別光源（例えば、赤外光源など）から照射される光をも含む意味である。また、「近接物体」とは、文字通り近接する物体だけではなく、接触状態にある物体をも含む意味である。
本発明の第２の表示撮像装置は、受光素子を有する表示部と、この表示部から照射されて近接物体で反射された反射光を受光して得られる第１画像と、外光を受光して得られる第２画像との差分画像を生成する生成手段とを備えたものである。この生成手段は、異なるタイミングで得られた少なくとも２つの第２画像に基づいて補間画像を生成すると共に、この補間画像と上記第１画像との差分により、上記差分画像を生成する。
本発明の第３の表示撮像装置は、受光素子を有する表示部と、この表示部から照射されて近接物体で反射された反射光を受光して得られる第１画像と、外光を受光して得られる第２画像との差分画像を生成する生成手段とを備えたものである。この生成手段は、異なるタイミングで得られた少なくとも２つの第１画像に基づいて補間画像を生成すると共に、この補間画像と上記第２画像との差分により、上記差分画像を生成する。
【００１３】
本発明の物体の検出方法は、画像表示機能と撮像機能とを有する表示撮像パネルによって近接物体の影を撮像し、この表示撮像パネルから照射される照射光による反射光を利用して、表示撮像パネルによって近接物体を撮像し、この反射光を利用した撮像により得られた反射光利用画像と近接物体の影の撮像により得られた影画像との差分画像を生成し、この差分画像に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得するようにしたものである。また、上記差分画像を生成する際に、反射光利用画像および影画像のうちの一方の画像について時間軸に沿って互いに異なるタイミングで得られた複数の画像に基づいて、これら複数の画像のいずれとも異なるタイミングで得られる上記一方の画像に対応する１つの補間画像を生成すると共に、この補間画像と反射光利用画像および影画像のうちの他方の画像との差分により、上記差分画像を生成するようになっている。
【００１４】
本発明の第１の表示撮像装置および物体の検出方法では、表示撮像パネルによって近接物体の影を撮像することにより、影画像が得られる。また、表示撮像パネルによってその照射光による反射光を利用することにより、反射光利用画像が得られる。そしてこれら反射光利用画像と影画像との差分画像が生成され、この差分画像に基づき、近接物体の位置、形状または大きさの少なくとも１つに関する情報が得られる。ここで、上記差分画像を生成する際には、反射光利用画像および影画像のうちの一方の画像について時間軸に沿って互いに異なるタイミングで得られた複数の画像に基づき、これら複数の画像のいずれとも異なるタイミングで得られる上記一方の画像に対応する１つの補間画像が生成され、この補間画像と反射光利用画像および影画像のうちの他方の画像との差分によって、上記差分画像が生成される。このようにして、補間画像を用いた差分画像に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報が得られるため、例えばこの近接物体が表示撮像パネル上で動いているような場合であっても、差分画像における偽信号の発生が抑えられる。
本発明の第２の表示撮像装置では、表示部から照射されて近接物体で反射された反射光を受光して得られる第１画像と、外光を受光して得られる第２画像との差分画像が生成される。具体的には、異なるタイミングで得られた少なくとも２つの第２画像に基づいて補間画像が生成され、この補間画像と上記第１画像との差分により上記差分画像が生成される。
本発明の第３の表示撮像装置では、表示部から照射されて近接物体で反射された反射光を受光して得られる第１画像と、外光を受光して得られる第２画像との差分画像が生成される。具体的には、異なるタイミングで得られた少なくとも２つの第１画像に基づいて補間画像が生成され、この補間画像と上記第２画像との差分により上記差分画像が生成される。
【００１５】
本発明の第１の表示撮像装置では、上記一方の画像が上記影画像であると共に上記他方の画像が上記反射光利用画像である場合には、上記生成手段によって、時間軸に沿って互いに異なるタイミングで得られた複数の影画像に基づき、これら複数の影画像のいずれとも異なるタイミングで得られる影画像に対応する１つの補間画像が生成され、この補間画像と反射光利用画像との差分により、上記差分画像が生成される。
【発明の効果】
【００１６】
本発明の第１の表示撮像装置または物体の検出方法によれば、反射光利用画像と影画像との差分画像を生成する際に、これら反射光利用画像および影画像のうちの一方の画像について時間軸に沿って互いに異なるタイミングで得られた複数の画像に基づいて、これら複数の画像のいずれとも異なるタイミングで得られる上記一方の画像に対応する１つの補間画像を生成すると共に、この補間画像と反射光利用画像および影画像のうちの他方の画像との差分によって上記差分画像を生成するようにしたので、例えば近接物体が表示撮像パネル上で動いているような場合であっても、差分画像における偽信号の発生を抑えることができる。よって、使用状況によらず、物体を安定して検出することが可能となる。
本発明の第２の表示撮像装置によれば、異なるタイミングで得られた少なくとも２つの第２画像に基づいて補間画像を生成すると共に、この補間画像と上記第１画像との差分により上記差分画像を生成するようにしたので、例えば近接物体が表示撮像パネル上で動いているような場合であっても、差分画像における偽信号の発生を抑えることができる。よって、使用状況によらず、物体を安定して検出することが可能となる。
本発明の第３の表示撮像装置によれば、異なるタイミングで得られた少なくとも２つの第１画像に基づいて補間画像を生成すると共に、この補間画像と上記第２画像との差分により上記差分画像を生成するようにしたので、例えば近接物体が表示撮像パネル上で動いているような場合であっても、差分画像における偽信号の発生を抑えることができる。よって、使用状況によらず、物体を安定して検出することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を実施するための最良の形態（以下、単に実施の形態という。）について、図面を参照して詳細に説明する。
【００１８】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る表示撮像装置の全体構成を表すものである。この表示撮像装置は、Ｉ／Ｏディスプレイパネル２０と、バックライト１５と、表示ドライブ回路１２と、受光ドライブ回路１３と、画像処理部１４と、アプリケーションプログラム実行部１１とを備えている。
【００１９】
Ｉ／Ｏディスプレイパネル２０は、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（ＬＣＤ（Liquid Crystal Display））からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有すると共に、後述するようにこのＩ／Ｏディスプレイ２０に接触または近接する物体を撮像する機能（撮像機能）を有するものである。また、バックライト１５は、例えば複数の発光ダイオードが配置されてなるＩ／Ｏディスプレイパネル２０の表示および検出用の光源であり、後述するようにＩ／Ｏディスプレイ２０の動作タイミングに同期した所定のタイミングで、高速にオン・オフ動作を行うようになっている。
【００２０】
表示ドライブ回路１２は、Ｉ／Ｏディスプレイパネル２０において表示データに基づく画像が表示されるように（表示動作を行うように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）回路である。
【００２１】
受光ドライブ回路１３は、Ｉ／Ｏディスプレイパネル２０において受光データが得られるように（物体を撮像するように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）回路である。なお、各画素での受光データは、例えばフレーム単位でフレームメモリ１３Ａに蓄積され、撮像画像として画像処理部１４へ出力されるようになっている。
【００２２】
画像処理部１４は、受光ドライブ回路１３から出力される撮像画像に基づいて所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得するものである。なお、この検知する処理の詳細については後述する。
【００２３】
アプリケーションプログラム実行部１１は、画像処理部１４による検知結果に基づいて所定のアプリケーションソフトに応じた処理を実行するものであり、例えば検知した物体の位置座標を表示データに含むようにし、Ｉ／Ｏディスプレイパネル２０上に表示させるものなどが挙げられる。なお、このアプリケーションプログラム実行部１１で生成される表示データは表示ドライブ回路１２へ供給されるようになっている。
【００２４】
次に、図２を参照してＩ／Ｏディスプレイパネル２０の詳細構成例について説明する。このＩ／Ｏディスプレイパネル２０は、表示エリア（センサエリア）２１と、表示用Ｈドライバ２２と、表示用Ｖドライバ２３と、センサ読み出し用Ｈドライバ２５と、センサ用Ｖドライバ２４とを有している。
【００２５】
表示エリア（センサエリア）２１は、バックライト１５からの光を変調して照射光（表示光と、例えば赤外光源等（図示せず）による検出用の照射光とを含むもの。以下同様。）を出射すると共にこのエリアに接触または近接する物体を撮像する領域であり、発光素子（表示素子）である液晶素子と後述する受光素子（撮像素子）とがそれぞれマトリクス状に配置されている。
【００２６】
表示用Ｈドライバ２２は、表示ドライブ回路１２から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Ｖドライバ２３と共に表示エリア２１内の各画素の液晶素子を線順次駆動するものである。
【００２７】
センサ読み出し用Ｈドライバ２５は、センサ用Ｖドライバ２４と共にセンサエリア２１内の各画素の受光素子を線順次駆動し、受光信号を取得するものである。
【００２８】
次に、図３を参照して、表示エリア２１における各画素の詳細構成例について説明する。この図３に示した画素３１は、表示素子である液晶素子と受光素子とから構成されている。
【００２９】
具体的には、表示素子側には、水平方向に延在するゲート電極３１ｈと垂直方向に延在するドレイン電極３１ｉとの交点に薄膜トランジスタ（ＴＦＴ；Thin Film Transistor）などからなるスイッチング素子３１ａが配置され、このスイッチング素子３１ａと対向電極との間に液晶を含む画素電極３１ｂが配置されている。そしてゲート電極３１ｈを介して供給される駆動信号に基づいてスイッチング素子３１ａがオン・オフ動作し、オン状態のときにドレイン電極３１ｉを介して供給される表示信号に基づいて画素電極３１ｂに画素電圧が印加され、表示状態が設定されるようになっている。
【００３０】
一方、表示素子に隣接する受光素子側には、例えばフォトダイオードなどからなる受光用のセンサ３１ｃが配置され、電源電圧ＶＤＤが供給されるようになっている。また、この受光センサ３１ｃには、リセットスイッチ３１ｄとコンデンサ３１ｅが接続され、リセットスイッチ３１ｄによってリセットされながら、コンデンサ３１ｅにおいて受光量に対応した電荷が蓄積されるようになっている。そして蓄積された電荷は読み出しスイッチ３１ｇがオンとなるタイミングで、バッファアンプ３１ｆを介して信号出力用電極３１ｊに供給され、外部へ出力される。また、リセットスイッチ３１ｄのオン・オフ動作はリセット電極３１ｋにより供給される信号により制御され、読み出しスイッチ３１ｇのオン・オフ動作は、読出し制御電極３１ｋにより供給される信号により制御される。
【００３１】
次に、図４を参照して、表示エリア２１内の各画素とセンサ読み出し用Ｈドライバ２５との接続関係について説明する。この表示エリア２１では、赤（Ｒ）用の画素３１と、緑（Ｇ）用の画素３２と、青（Ｂ）用の画素３３とが並んで配置されている。
【００３２】
各画素の受光センサ３１ｃ，３２ｃ，３３ｃに接続されたコンデンサに蓄積された電荷は、それぞれのバッファアンプ３１ｆ，３２ｆ，３３ｆで増幅され、読み出しスイッチ３１ｇ，３２ｇ，３３ｇがオンになるタイミングで、信号出力用電極を介してセンサ読み出し用Ｈドライバ２５へ供給される。なお、各信号出力用電極には定電流源４１ａ，４１ｂ，４１ｃがそれぞれ接続され、センサ読み出し用Ｈドライバ２５で感度良く受光量に対応した信号が検出されるようになっている。
【００３３】
次に、本実施の形態の表示撮像装置の動作について詳細に説明する。
【００３４】
まず、この表示撮像装置の基本動作、すなわち画像の表示動作および物体の撮像動作について説明する。
【００３５】
この表示撮像装置では、アプリケーションプログラム実行部１１から供給される表示データに基づいて、表示用ドライブ回路１２において表示用の駆動信号が生成され、この駆動信号により、Ｉ／Ｏディスプレイ２０に対して線順次表示駆動がなされ、画像が表示される。また、このときバックライト１５も表示ドライブ回路１２によって駆動され、Ｉ／Ｏディスプレイ２０と同期した点灯・消灯動作がなされる。
【００３６】
ここで、図５を参照して、バックライト１５のオン・オフ状態とＩ／Ｏディスプレイパネル２０の表示状態との関係について説明する。
【００３７】
まず、例えば１／６０秒のフレーム周期で画像表示がなされている場合、各フレーム期間の前半期間（１／１２０秒間）にバックライト１５が消灯し（オフ状態となり）、表示が行われない。一方、各フレーム期間の後半期間には、バックライト１５が点灯し（オン状態となり）、各画素に表示信号が供給され、そのフレーム期間の画像が表示される。
【００３８】
このように、各フレーム期間の前半期間は、Ｉ／Ｏディスプレイパネル２０から照射光が出射されない無光期間である一方、各フレーム期間の後半期間は、Ｉ／Ｏディスプレイパネル２０から照射光が出射される有光期間となっている。
【００３９】
ここで、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体（例えば、指先など）がある場合、受光ドライブ回路１３による線順次受光駆動により、このＩ／Ｏディスプレイパネル２０における各画素の受光素子においてその物体が撮像され、各受光素子からの受光信号が受光ドライブ回路１３へ供給される。受光ドライブ回路１３では、１フレーム分の画素の受光信号が蓄積され、撮像画像として画像処理部１４へ出力される。
【００４０】
そして画像処理部１４では、この撮像画像に基づいて、以下説明する所定の画像処理（演算処理）が行われることにより、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）が検出される。
【００４１】
次に、図６〜図１２を参照して、画像処理部１４による指先等のＩ／Ｏディスプレイ２０に接触または近接する物体（近接物体）の抽出処理（指先抽出処理）について詳細に説明する。ここで図６は、この画像処理部１４による指先抽出処理（後述する差分画像指先抽出処理）を流れ図で表したものであり、図７は、この指先抽出処理の一部をタイミング図で表したものである。
【００４２】
まず、表示１フレーム期間の前半期間であるバックライト１５がオフの期間（無光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ａ（影画像）が取得される（図６のステップＳ１１、図７のタイミングｔ１〜ｔ２の期間）。
【００４３】
次に、表示１フレーム期間の後半期間であるバックライト１５がオンの期間（有光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ｂ（照射光による反射光を利用した反射光利用画像）が取得される（図６のステップＳ１２、図７のタイミングｔ３〜ｔ４の期間）。
【００４４】
次に、画像処理部１４は、この画像Ｂと、バックライト１５がオフの期間（無光期間）における撮像により得られた画像Ａ（影画像）との差分画像Ｃを生成する（図６のステップＳ１３、図７のタイミングｔ３〜ｔ４の期間）。
【００４５】
次に、画像処理部１４は、生成された差分画像の重心を判定する演算処理を行い（ステップＳ１４）、接触（近接）中心の特定を行う（ステップＳ１５）。そして、近接物体の検出結果が画像処理部１４からアプリケーションプログラム実行部１１へ出力され、画像処理部１４による差分画像指先抽出処理が終了となる。
【００４６】
このようにして、差分画像指先抽出処理では、照射光による反射光を利用した画像Ｂと照射光を利用しないで外光（環境光）を利用した画像Ａとの差分画像Ｃに基づいて指先の抽出処理がなされるため、図８に示した差分画像Ｃの写真画像例のように、外光の明るさの影響が除去され、この外光の明るさに影響されずに近接物体の検出がなされる。また、このような外光除去と同時に、受光素子の特性ばらつき等に起因した固定ノイズの除去も可能となる。
【００４７】
具体的には、例えば図９（Ａ）に断面図で示したように、入射する外光が強い場合には、バックライト１５を点灯させた状態での受光出力電圧Ｖon１は、図９（Ｂ）に示したように、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに低下する。これに対して、バックライト１５を消灯させた状態での受光出力電圧Ｖoff１は、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなる点は同じであるが、指で触れた個所では、外光が遮断された状態であり、非常にレベルの低い電圧値Ｖｃとなる。
【００４８】
また、図１０（Ａ）に断面図で示したように、入射する外光が弱い（ほとんどない）状態では、バックライト１５を点灯させた状態での受光出力電圧Ｖon２は、図１０（Ｂ）に示したように、指で触れた個所以外では、外光がないために非常にレベルの低い電圧値Ｖｃとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに上昇する。これに対して、バックライト１５を消灯させた状態での受光出力電圧Ｖoff２は、指で触れた個所とそれ以外の個所のいずれでも、非常にレベルの低い電圧値Ｖｃのままで変化がない。
【００４９】
このように、図９および図１０を比較すると判るように、パネルの表示エリア２１に接触していない個所では、外光がある場合とない場合とで、受光出力電圧が大きく異なっている。ところが、指が接触している個所では、外光の有無に関係なく、バックライトの点灯時の電圧Ｖｂと、バックライトの消灯時の電圧Ｖｃとが、ほぼ同じような状態となっている。
【００５０】
よって、バックライト１５の点灯時の電圧と消灯時の電圧との差を検出して、電圧Ｖｂと電圧Ｖｃとの差のように、一定以上の差がある個所が、接触した個所又は近接した個所であると判断することができ、パネルに入射する外光が強い場合でも、外光が殆どない場合でも、均一な条件で良好に接触または近接が検出される。
【００５１】
また、図１１（Ａ），（Ｂ）に示したように、受光出力電圧の検出に必要なダイナミックレンジについては、以下のように決定される。ここで、図１１（Ａ）は、パネルの表示エリア２１の接触状態を示したもので、指ｆでパネル表面を触れているとともに、反射率がほぼ１００％の円形の物体ｍを、表示エリア２１に載せた状態としてある。この状態で、指ｆと物体ｍの双方を走査するラインでの受光出力電圧は、図１１（Ｂ）に示す状態となる。また、図１１（Ｂ）において、電圧Ｖon３はバックライトを点灯させた状態での受光出力電圧であり、電圧Ｖoff３はバックライトを消灯させた状態での受光出力電圧である。
【００５２】
図１１（Ｂ）に示すように、反射率がほぼ１００％の物体ｍがある個所で、バックライト点灯時に検出される電圧Ｖｄよりも高い電圧は観測不要なレベルＶｙであり、そのレベル以下の範囲Ｖｘが、検出に必要なダイナミックレンジである。よって、観測不要なレベルＶｙの信号については、オーバーフローさせてしまって、同一の強度とみなすようにすればよいことが判る。
【００５３】
なお、この差分画像指先抽出処理では、図１２（Ａ）〜（Ｄ）に示した画像（それぞれ、画像Ａ〜Ｃ、および画像Ｃの２値化画像）からわかるように、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に同時に配置された複数の接触または近接する物体についても、同様にそれぞれの物体に関する位置、形状または大きさなどの情報が取得できるようになっている。
【００５４】
次に、図１３〜図１９を参照して、本発明の特徴的部分の１つである、近接物体が移動している場合等における差分画像指先抽出処理について、比較例と比較しつつ説明する。
【００５５】
まず、図１３および図１４に示した比較例では、図１３中の矢印で示したように、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上で近接物体が移動している状態であることから、影画像Ａ１０１における受光出力信号Ｖoff（Ａ１０１）と反射光利用画像Ｂ１０１における受光出力信号Ｖon（Ｂ１０１）との間で、近接物体に対応する部分に位置ずれが生じている。そしてこのような位置のため、これら２つの画像Ａ１０１，Ｂ１０１の差分画像Ｃ１０１（＝Ｂ１０１−Ａ１０１）およびその受光検出信号Ｖ（Ｃ１０１）（＝Ｖon（Ｂ１０１）−Ｖoff（Ａ１０１））において、物体の位置に対応する本来の信号の他に、別の位置に偽信号Ｆ１０１が生じてしまっている。よって、このような偽信号Ｆ１０１の存在により、近接物体を安定して検出するのが困難となってしまう。
【００５６】
これに対して本実施の形態では、差分画像Ｃを生成する際に、時間軸に沿って互いに異なるタイミングで得られた複数の影画像Ａに基づいて、これら複数の影画像Ａのいずれとも異なるタイミングで得られる影画像に対応する１つの補間画像Ｍを生成すると共に、この補間画像Ｍと反射光利用画像Ｂとの差分により、差分画像Ｃを生成するようになっている。具体的には、時間軸に沿って互いに異なるタイミング（例えば、互いに連続するタイミング）で得られた２つの影画像Ａに基づいて、これら２つの影画像Ａのいずれとも異なるタイミング（例えば、これら２つの影画像の間のタイミング）で得られる影画像に対応する１つの補間画像Ｍを生成するようになっている。
【００５７】
より具体的には、例えば図１５（Ａ），（Ｂ）および図１６に示したように、強い外光下かつ動きのある近接物体という状況下で、時間軸に沿って互いに連続するタイミングで得られた２つの影画像Ａ１１，Ａ１２および反射光利用画像Ｂ１に基づき、以下のような補間画像Ｍ１および差分画像Ｃ１の生成処理がなされる。すなわち、時間軸に沿って互いに連続するタイミングで得られた２つの影画像Ａ１１，Ａ１２に基づいて、これら２つの影画像Ａ１１，Ａ１２の間のタイミングで得られる影画像に対応する１つの補間画像Ｍ１が生成される。この補間画像Ｍ１と、２つの影画像Ａ１１，Ａ１２の間のタイミング（補間画像Ｍ１に対応するタイミング）で得られた反射光利用画像Ｂ１との差分を取ることにより、差分画像Ｃ１（＝Ｂ１−Ｍ１）が生成される。また、受光検出信号で表すと、例えば図１５（Ａ），（Ｂ）に示したように、影画像Ａ１１における受光出力信号Ｖoff（Ａ１１）と影画像Ａ１２における受光出力信号Ｖoff（Ａ１２）とに基づき、補間画像Ｍ１における受光出力信号Ｖoff（Ｍ１）が生成され、この受光出力信号Ｖoff（Ｍ１）と反射光利用画像Ｂ１における受光出力信号Ｖon（Ｂ１）との差分により、受光検出信号Ｖ（Ｃ１）（＝Ｖon（Ｂ１）−Ｖoff（Ｍ１））が生成される。なお、バックライトのＯＮ／ＯＦＦは極めて短い時間内に動作するため、この場合、近接物体の動きは、ほぼ等速直線運動になると考えることができる。
【００５８】
なお、このような補間画像Ｍの生成は、例えば図１７に示したように、２つのオリジナル画像Ｇ１，Ｇ２（本実施の形態では、２つの影画像）２において、動きベクトルを用いた動き補償によって得られる。具体的には、近接物体の影の動きを追って、画像処理によって同時刻の補間画像Ｍを推定するものである。より具体的には、主に２つのオリジナル画像Ｇ１，Ｇ２における特徴点を探し、その特徴点同士の対応づけを行った後、補間する画像における特徴点の位置を計算することにより、補間画像Ｍ全体を生成するようになっている。
【００５９】
このようにして、補間画像Ｍ１を用いた差分画像Ｃ１に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報が得られるため、例えばこの近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、差分画像Ｃ１における偽信号の発生が抑えられる（または回避される）。
【００６０】
なお、例えば図１８（Ａ），（Ｂ）および図１９に示したように、時間軸に沿って互いに異なるタイミング（この場合、互いに連続するタイミング）で得られた２つの影画像Ａ２１，Ａ２２に基づいて、これら２つの影画像Ａ２１，Ａ２２よりも時間軸に沿って前または後のタイミング（この場合、後のタイミング）で得られる影画像に対応する１つの補間画像Ｍ２を生成すると共に、この補間画像Ｍ２と、補間画像Ｍ２に対応するタイミングで得られた反射光利用画像Ｂ２との差分を取ることにより、差分画像Ｃ２（＝Ｂ２−Ｍ２）を生成するようにしてもよい。この場合、受光検出信号で表すと、例えば図１８（Ａ），（Ｂ）に示したように、影画像Ａ２１における受光出力信号Ｖoff（Ａ２１）と影画像Ａ２２における受光出力信号Ｖoff（Ａ２２）とに基づき、補間画像Ｍ２における受光出力信号Ｖoff（Ｍ２）が生成され、この受光出力信号Ｖoff（Ｍ２）と反射光利用画像Ｂ２における受光出力信号Ｖon（Ｂ２）との差分により、受光検出信号Ｖ（Ｃ２）（＝Ｖon（Ｂ２）−Ｖoff（Ｍ２））が生成されるようになっている。なお、この場合、２つの影画像Ａ２１，Ａ２２よりも時間軸に沿って後のタイミングで得られる影画像に対応する１つの補間画像Ｍ２を推定することになるが、近接物体の移動が等速直線運動とみなせる場合がほとんどであるため、問題とはならない。この方法では、もっとも最近の時間にバックライトをＯＮ状態とすることにより、受光検出信号を取得してから物体の検出、アプリケーション駆動までの時間が最短となるため、システムの反応時間を短縮することができる。
【００６１】
以上のように本実施の形態では、差分画像Ｃを生成する際に、時間軸に沿って互いに異なるタイミングで得られた複数の影画像Ａに基づいて、これら複数の影画像Ａのいずれとも異なるタイミングで得られる影画像に対応する１つの補間画像Ｍを生成すると共に、この補間画像Ｍと反射光利用画像Ｂとの差分により、差分画像Ｃを生成するようにしたので、例えば近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、差分画像Ｃにおける偽信号の発生を抑えることができる。よって、使用状況によらずに物体を安定して検出することが可能となる。
【００６２】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。
【００６３】
上記第１の実施の形態では、複数の影画像Ａにおいて動き補償を用いることによって、１つの補間画像Ｍを生成する場合について説明したが、本実施の形態は、そのような動き補償を用いずに、補間画像（合成画像）を生成するようにしたものである。なお、その他の構成および動作については第１の実施の形態と同様であるので、適宜説明を省略する。
【００６４】
具体的には、本実施の形態の表示撮像装置では、例えば図２０（Ａ），（Ｂ）および図２１に示したように、時間軸に沿って互いに連続するタイミングで得られた２つの影画像Ａ３１，Ａ３２に基づいて、これら２つの影画像Ａ３１，Ａ３２の間のタイミングで得られる影画像に対応する１つの補間画像（合成画像Ｍ３）を生成するようになっている。そしてこの際、２つの影画像Ａ３１，Ａ３２の各画素について、これら２つの影画像Ａ３１，Ａ３２の画素のうちの高輝度側の画素（明るいほうの画素）を選択することにより、２つの影画像Ａ３１，Ａ３２の間のタイミングで得られる影画像に対応する１つの補間画像（合成画像Ｍ３）を生成している。これは、偽信号が出現する原因が、図２１中の符号Ｆ１で示したように、合成画像Ｍ３における影よりも外側に位置する影が、影画像Ａ３１に存在することによるものである。この部分の影は、バックライトがＯＮ状態では外光が当たるにもかかわらず、バックライトがＯＦＦ状態のときに影であったため、差分を取ると外光が残り、近接物体の反射信号と間違えてしまうというものである。
【００６５】
したがって、上記のようにして合成画像Ｍ３を得ると共に、この合成画像Ｍ３を用いた差分画像Ｃ３（＝Ｂ３−Ｍ３）に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報が得られるため、第１の実施の形態と同様に例えばこの近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、差分画像Ｃ３における偽信号の発生が抑えられる（または回避される）。なお、受光検出信号で表すと、例えば図２０（Ａ），（Ｂ）に示したように、影画像Ａ３１における受光出力信号Ｖoff（Ａ３１）と影画像Ａ３２における受光出力信号Ｖoff（Ａ３２）とに基づき、合成画像Ｍ３における受光出力信号Ｖoff（Ｍ３）が生成され、この受光出力信号Ｖoff（Ｍ３）と反射光利用画像Ｂ３における受光出力信号Ｖon（Ｂ３）との差分により、受光検出信号Ｖ（Ｃ３）（＝Ｖon（Ｂ３）−Ｖoff（Ｍ３））が生成されるようになっている。
【００６６】
以上のように本実施の形態では、差分画像を生成する際に、連続するタイミングで得られた２つの影画像Ａ３１，Ａ３２の各画素について、これら２つの影画像Ａ３１，Ａ３２の画素のうちの高輝度側の画素を選択することにより、２つの影画像Ａ３１，Ａ３２の間のタイミングで得られる影画像に対応する１つの補間画像（合成画像Ｍ３）を生成すると共に、この合成画像Ｍ３と反射光利用画像Ｂ３との差分によって差分画像Ｃ３を生成するようにしたので、上記第１の実施の形態と同様の作用により同様の効果を得ることが可能である。すなわち、例えば近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、差分画像Ｃにおける偽信号の発生を抑えることができ、使用状況によらずに物体を安定して検出することが可能となる。
【００６７】
また、本実施の形態では、２つの影画像Ａ３１，Ａ３２における同じ座標の輝度値同士を比較し、より高いほうのみを採用することで実現できるため、上記第１の実施の形態と比べ、計算負荷を極めて小さくすることが可能となる。
【００６８】
（アプリケーションプログラムの実行例）
次に、図２２〜図２５を参照して、これまで説明した指先抽出処理によって検出された物体の位置情報等を利用した、アプリケーションプログラム実行部１１によるアプリケーションプログラム実行例について、いくつか説明する。
【００６９】
まず、図２２（Ａ）に示した例は、Ｉ／Ｏディスプレイパネル２０の表面を指先６１で触れて、その触れた個所の軌跡を描画ライン６１１として画面に表示させるようにした例である。
【００７０】
また、図２２（Ｂ）に示した例は、手の形を用いたジェスチャ認識のものである。具体的には、Ｉ／Ｏディスプレイパネル２０に触れた（または近接した）手６２の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動６２１で、何らかの処理を行うようにしたものである。
【００７１】
また、図２３に示した例は、閉じた状態の手６３Ａから、開いた状態の手６３Ｂに変化させて、それぞれの状態の手の接触または近接をＩ／Ｏディスプレイパネル２０で画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。これらの認識に基づいて処理を行うことで、例えばズームインなどの指示を行うことができる。また、このような指示ができることで、例えばＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することができる。
【００７２】
また、例えば図２４に示したように、Ｉ／Ｏディスプレイパネル２０を複数台用意して、その複数台のＩ／Ｏディスプレイパネルを何らかの伝送手段で接続することで、接触または近接を検出した画像を、相手のＩ／Ｏディスプレイパネルに伝送して表示させて、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしてもよい。すなわち、図２４に示したように、２つのＩ／Ｏディスプレイパネルを用意して、一方のパネルで画像認識した手６５の手形を相手に送信して、他方のパネルに手形６４２を表示させたり、他方のパネルを手６４で触れて表示された軌跡６４１を、相手のパネルに送って表示させる等の処理が可能になる。このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、例えば、Ｉ／Ｏディスプレイパネル２０を携帯電話端末の表示パネルに適用すること等が想定される。
【００７３】
また、例えば図２５に示したように、筆６６を使用してＩ／Ｏディスプレイパネル２０の表面で文字を書くように触れさせて、その筆６６が触れた個所をＩ／Ｏディスプレイパネル２０に画像６６１として表示させることで、毛筆による手書きの入力が可能になる。この場合には、毛筆の細かいタッチまで認識して実現することが可能である。従来の手書き認識の場合には、例えば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行える。
【００７４】
（モジュールおよび適用例）
次に、図２６〜図３０を参照して、上述した各実施の形態で説明した表示撮像装置の適用例について説明する。上記各実施の形態の表示撮像装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなど、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。
【００７５】
（適用例１）
図２６は、上記各実施の形態の表示撮像装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記各実施の形態に係る表示撮像装置により構成されている。
【００７６】
（適用例２）
図２７は、上記各実施の形態の表示撮像装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記各実施の形態に係る表示撮像装置により構成されている。
【００７７】
（適用例３）
図２８は、上記各実施の形態の表示撮像装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記各実施の形態に係る表示撮像装置により構成されている。
【００７８】
（適用例４）
図２９は、上記各実施の形態の表示撮像装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有しており、その表示部５４４は、上記各実施の形態に係る表示撮像装置により構成されている。
【００７９】
（適用例５）
図３０は、上記各実施の形態の表示撮像装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記各実施の形態に係る表示撮像装置により構成されている。
【００８０】
以上、第１および第２の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。
【００８１】
例えば、上記実施の形態では、時間軸に沿って互いに異なるタイミングで得られた２つの影画像Ａに基づいて、これら２つの影画像Ａのいずれとも異なるタイミングで得られる影画像に対応する１つの補間画像Ｍを生成する場合について説明したが、このような補間画像Ｍの生成に用いる影画像Ａは、必ずしも２つである必要はなく、さらに多数（例えば、３つ）の影画像Ａに基づき、１つの補間画像Ｍを生成するようにしてもよい。このように構成した場合、例えば近接物体の移動が等速直線運動と異なる場合などであっても、より精度の高い補間画像Ｍを生成することが可能となる。
【００８２】
また、上記実施の形態では、時間軸に沿って互いに異なるタイミングで得られた複数の影画像Ａに基づいて、これら複数の影画像Ａのいずれとも異なるタイミングで得られる影画像に対応する１つの補間画像Ｍを生成すると共に、この補間画像Ｍと反射光利用画像Ｂとの差分によって差分画像Ｃを生成する場合について説明したが、逆に、例えば複数の反射光利用画像Ｂに基づいて１つの補間画像Ｍを生成するようにしてもよい。具体的には、差分画像Ｃを生成する際に、時間軸に沿って互いに異なるタイミングで得られた複数の反射光利用画像Ｂに基づいて、これら複数の反射光利用画像Ｂのいずれとも異なるタイミングで得られる反射光利用画像に対応する１つの補間画像Ｍを生成すると共に、この補間画像Ｍと影画像Ａとの差分によって差分画像Ｃを生成するようにしてもよい。したがって、より一般的にいうと、反射光利用画像Ｂおよび影画像Ａのうちの一方の画像について時間軸に沿って互いに異なるタイミングで得られた複数の画像に基づいて、これら複数の画像のいずれとも異なるタイミングで得られる上記一方の画像に対応する１つの補間画像Ｍを生成すると共に、この補間画像Ｍと、反射光利用画像および影画像のうちの他方の画像との差分によって、差分画像Ｃを生成するようにすればよい。
【００８３】
また、上記実施の形態では、Ｉ／Ｏディスプレイパネル２０において、表示素子が液晶素子であると共に受光素子を別個に設ける場合で説明したが、例えば図３１〜図３３に示した表示撮像装置のように、例えば、有機ＥＬ（ElectroLuminescence）素子のように、発光動作と受光動作とを時分割に行うことが可能な発光受光素子（表示撮像素子）によって、Ｉ／Ｏディスプレイパネル（Ｉ／Ｏディスプレイパネル８０）を構成するようにしてもよい。具体的には、図３３に示したように、自発光ＯＦＦ状態の読み出しラインで得られた画像Ａ４１，Ａ４２（影画像Ａに対応）に基づいて補間画像Ｍ４（図示せず）を生成すると共に、この補間画像Ｍ４と、自発光ＯＮ状態の読み出しラインで得られた画像Ｂ４（反射光利用画像Ｂに対応）との差分画像Ｃ４（＝Ｂ４−Ｍ４）によって、近接物体を検出するようにすればよい。このように構成した場合でも、上記実施の形態と同様の効果を得ることが可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明の第１の実施の形態に係る表示撮像装置の構成を表すブロック図である。
【図２】図１に示したＩ／Ｏディスプレイパネルの構成例を表すブロック図である。
【図３】各画素の構成例を表す回路図である。
【図４】各画素とセンサ読み出し用Ｈドライバとの接続関係を説明するための回路図である。
【図５】バックライトのオン・オフ状態と表示状態との関係について説明するためのタイミング図である。
【図６】差分画像指先抽出処理を表す流れ図である。
【図７】図６に示した差分画像抽出処理について説明するためのタイミング図である。
【図８】差分画像指先抽出処理について説明するための写真構成図である。
【図９】外光が明るい場合の差分画像指先抽出処理について説明するための図である。
【図１０】外光が暗い場合の差分画像指先抽出処理について説明するための図である。
【図１１】差分画像指先抽出処理による受光信号のダイナミックレンジについて説明するための図である。
【図１２】検出対象の指先が同時に複数存在する場合の差分画像指先抽出処理について説明するための写真構成図である。
【図１３】比較例に係る差分画像抽出処理について説明するための特性図である。
【図１４】比較例に係る差分画像抽出処理について説明するための模式図である。
【図１５】第１の実施の形態に係る差分画像指先抽出処理について説明するための特性図である。
【図１６】第１の実施の形態に係る差分画像指先抽出処理について説明するための模式図である。
【図１７】動き補償を用いた補間画像の生成処理について説明するための図である。
【図１８】第１の実施の形態の変形例に係る差分画像指先抽出処理について説明するための特性図である。
【図１９】第１の実施の形態の変形例に係る差分画像指先抽出処理について説明するための模式図である。
【図２０】本発明の第２の実施の形態に係る差分画像指先抽出処理について説明するための特性図である。
【図２１】第２の実施の形態に係る差分画像指先抽出処理について説明するための模式図である。
【図２２】指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。
【図２３】指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。
【図２４】指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。
【図２５】指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。
【図２６】上記各実施の形態の表示撮像装置の適用例１の外観を表す斜視図である。
【図２７】（Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。
【図２８】適用例３の外観を表す斜視図である。
【図２９】適用例４の外観を表す斜視図である。
【図３０】（Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。
【図３１】本発明の変形例に係る表示撮像装置の構成を表すブロック図である。
【図３２】図３１に示した表示撮像装置における各画素の構成例を表す回路図である。
【図３３】図３１および図３２に示した表示撮像装置における差分画像指先抽出処理について説明するための図である。
【符号の説明】
【００８５】
１１，８１…アプリケーションプログラム実行部、１２，８２…表示ドライブ回路、１３，８３…受光ドライブ回路、１３Ａ，８３Ａ…フレームメモリ、１４，８４…画像処理部、１５…バックライト、２０，８０…Ｉ／Ｏディスプレイパネル、２１…表示エリア（センサエリア）、２２…表示用Ｈドライバ、２３…表示用Ｖドライバ、２４…センサ用Ｖドライバ、２５…センサ読み出し用Ｈドライバ、３０…演算画素領域、３１〜３３…画素、４１ａ〜４１ｃ…定電流。
【図１】
0004915367.tif 000002
【図２】
0004915367.tif 000003
【図３】
0004915367.tif 000004
【図４】
0004915367.tif 000005
【図５】
0004915367.tif 000006
【図６】
0004915367.tif 000007
【図７】
0004915367.tif 000008
【図８】
0004915367.tif 000009
【図９】
0004915367.tif 000010
【図１０】
0004915367.tif 000011
【図１１】
0004915367.tif 000012
【図１２】
0004915367.tif 000013
【図１３】
0004915367.tif 000014
【図１４】
0004915367.tif 000015
【図１５】
0004915367.tif 000016
【図１６】
0004915367.tif 000017
【図１７】
0004915367.tif 000018
【図１８】
0004915367.tif 000019
【図１９】
0004915367.tif 000020
【図２０】
0004915367.tif 000021
【図２１】
0004915367.tif 000022
【図２２】
0004915367.tif 000023
【図２３】
0004915367.tif 000024
【図２４】
0004915367.tif 000025
【図２５】
0004915367.tif 000026
【図２６】
0004915367.tif 000027
【図２７】
0004915367.tif 000028
【図２８】
0004915367.tif 000029
【図２９】
0004915367.tif 000030
【図３０】
0004915367.tif 000031
【図３１】
0004915367.tif 000032
【図３２】
0004915367.tif 000033
【図３３】
0004915367.tif 000034