(57)【要約】【課題】使用状況によらず、物体を安定して検出することが可能な表示撮像装置を提供する。【解決手段】３段階の表示光Ｌoutによる反射光Ｌｒによりそれぞれ得られる３種類の受光信号Ｖ（Ｌ），Ｖ（Ｍ），Ｖ（Ｈ）間の差分に対応する２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）を利用して、物体情報を検出する。これにより、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定が回避される（強外光下での誤動作が防止される）。【選択図】図６
2010092192.tif 000002
【特許請求の範囲】
【請求項１】
発光素子および受光素子を有する入出力パネルと、
前記入出力パネルから照射される照射光による反射光が前記受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部と
を備え、
前記検出部は、互いに異なる輝度からなる３段階以上の照射光による反射光によりそれぞれ得られる３種類以上の受光信号間の差分に対応する複数種類の差分信号を利用して、前記物体情報を検出する
表示撮像装置。
【請求項２】
前記複数種類の差分信号にそれぞれ対応する複数種類の差分画像において、前記反射光のみに基づく検出差分信号以外に、反射光と外光との差分に対応する外光差分信号が含まれるのか否かを画素ごとに判定する判定部を備え、
前記検出部は、
前記判定部によって前記外光差分信号が含まれないと判定された場合には、前記物体情報の検出動作を実行すると共に、
前記判定部によって前記外光差分信号が含まれると判定された場合には、前記物体情報の検出動作を実行しない
請求項１に記載の表示撮像装置。
【請求項３】
前記判定部は、前記複数種類の差分画像に基づいて所定の信号閾値を生成すると共に、各画素の差分信号とこの信号閾値との大小を比較することにより、前記外光差分信号が含まれるのか否かの判定を行う
請求項２に記載の表示撮像装置。
【請求項４】
前記判定部は、
画素の差分信号が前記信号閾値よりも大きい場合には、その画素の差分信号は前記外光差分信号であると判定し、
画素の差分信号が前記信号閾値以下である場合には、その画素の差分信号は前記検出差分信号であると判定する
請求項３に記載の表示撮像装置。
【請求項５】
前記照射光が、低輝度照射光、中輝度照射光および高輝度照射光からなる３段階の照射光により構成されると共に、前記高輝度照射光、前記低輝度照射光および前記中輝度照射光の順に周期的に照射される
請求項２ないし請求項４のいずれか１項に記載の表示撮像装置。
【請求項６】
前記判定部は、前記高輝度照射光による反射光により得られる高輝度受光信号と前記低輝度照射光による反射光により得られる低輝度受光信号との差分信号に対応する第１の差分画像と、前記中輝度照射光による反射光により得られる中輝度受光信号と前記低輝度受光信号との差分信号に対応する第２の差分画像とを利用して、前記外光差分信号が含まれるのか否かの判定を行う
請求項５に記載の表示撮像装置。
【請求項７】
前記判定部は、
前記第１の差分画像において、前記外光差分信号が含まれるのか否かを画素ごとに判定すると共に、
前記第１の差分画像に基づいて所定の信号閾値を生成し、
この信号閾値を利用して、前記第２の差分画像において前記外光差分信号が含まれるのか否かを画素ごとに判定する
請求項６に記載の表示撮像装置。
【請求項８】
前記発光素子が、可視光を発する発光素子と、非可視光である赤外光を発する発光素子とを含み、
前記受光素子が、可視光を受光する受光素子と、非可視光である赤外光を受光する受光素子とを含む
請求項１に記載の表示撮像装置。
【請求項９】
前記発光素子が、光源と、液晶素子とを用いて構成され、
前記３段階以上の照射光は、前記光源の発光輝度を３段階以上に変化させることにより得られるものである
請求項１に記載の表示撮像装置。
【請求項１０】
前記発光素子が、有機ＥＬ素子を用いて構成され、
前記３段階以上の照射光は、前記有機ＥＬ素子の発光輝度を３段階以上に変化させることにより得られるものである
請求項１に記載の表示撮像装置。
【請求項１１】
画像表示機能および撮像機能を有する表示撮像装置を備え、
前記表示撮像装置は、
表示素子および受光素子を有する入出力パネルと、
前記入出力パネルから照射される照射光による反射光が前記受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部と
を有し、
前記検出部は、互いに異なる輝度からなる３段階以上の照射光による反射光によりそれぞれ得られる３種類以上の受光信号間の差分に対応する複数種類の差分信号を利用して、前記物体情報を検出する
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パネルに接触または近接する物体の位置などの情報を取得する表示撮像装置、およびそのような表示撮像装置を備えた電子機器に関する。
【背景技術】
【０００２】
従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。
【０００３】
このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。
【０００４】
また、本出願人は例えば特許文献１および特許文献２において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。
【０００５】
【特許文献１】特開２００４−１２７２７２号公報
【特許文献２】特開２００６−２７６２２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示撮像パネルからの照射光による反射光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。
【０００７】
しかしながら、上記のように物体で反射された反射光を利用する場合、外光や、受光素子の特性ばらつきなどが問題となることがあった。具体的には、受光する光の輝度が外光の明るさに応じて変化することから、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。また、受光素子の特性ばらつきなどが固定ノイズとなり、やはり撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。
【０００８】
そこで、上記特許文献２では、発光状態で得られた画像（照射光による反射光を利用して得られた画像）と、消灯状態で得られた画像との差分を取ることにより、上記した外光や固定ノイズによる影響が除去されるようにしている。これにより、外光や固定ノイズの影響を受けずに、物体の位置などを検出することが可能となると考えられる。
【０００９】
ところが、実際の使用状況下では、上記の発光状態で得られた画像と消灯状態で得られた画像との間には、時間差が存在する。したがって、例えば表示撮像パネル上で物体が高速に移動している場合などには、この時間差のため、発光状態で得られた画像と消灯状態で得られた画像との間で位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの画像の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう場合があった。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。
【００１０】
このように従来の技術では、そのときの使用状況によらずにパネルに接触または近接する物体を安定して検出するのは困難であり、改善の余地があった。
【００１１】
本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、物体を安定して検出することが可能な表示撮像装置および物体の検出方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の表示撮像装置は、発光素子および受光素子を有する入出力パネルと、この入出力パネルから照射される照射光による反射光が受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部とを備えたものである。ここで、この検出部は、互いに異なる輝度からなる３段階以上の照射光による反射光によりそれぞれ得られる３種類以上の受光信号間の差分に対応する複数種類の差分信号を利用して、上記物体情報を検出するようになっている。
【００１３】
本発明の電気機器は、上記表示撮像装置を備えたものである。
【００１４】
本発明の表示撮像装置および電子機器では、入出力パネルから照射される照射光による反射光が受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報が検出される。この際、３段階以上の照射光による反射光によりそれぞれ得られる３種類以上の受光信号間の差分に対応する複数種類の差分信号を利用して、上記物体情報が検出される。これにより、これら複数種類の差分信号に対応する複数種類の差分画像において、反射光のみに基づく差分信号以外に、反射光と外光との差分に対応する差分信号が含まれるのか否かの判定が可能となる。したがって、例えば外部近接物体が入出力パネル上で動いているような場合であっても、偽信号による誤判定が回避される。
【発明の効果】
【００１５】
本発明の表示撮像装置および電子機器によれば、３段階以上の照射光による反射光によりそれぞれ得られる３種類以上の受光信号間の差分に対応する複数種類の差分信号を利用して、上記物体情報を検出するようにしたので、例えば外部近接物体が入出力パネル上で動いているような場合であっても、偽信号による誤判定を回避することができる。よって、使用状況によらず、物体を安定して検出することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１７】
図１は、本発明の一実施の形態に係る表示撮像装置（表示撮像装置１）の概略構成を表すものである。また、図２は、本実施の形態に係る表示撮像装置１の詳細構成を表すものである。本実施の形態に係る表示撮像装置１は、図１に示すように、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３（判定部）および画像処理部１４を有し、電子機器本体２０は、制御部２１を有する。
【００１８】
入出力パネル１１は、図２に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素１１ａおよび受光要素１１ｂを備えている。表示要素１１ａは、光源となるバックライト（後述するバックライト１１０）から出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素１１ｂは、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子（後述する受光センサ１１５）である。受光要素１１ｂは、バックライトの出射光が入出力パネル１１の外部の指等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号（検出信号）を出力するものである。受光要素１１ｂは、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。
【００１９】
入出力パネル１１は、図２に示したように、複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷと、これらの発光セルＣＷに内包された複数の受光セルＣＲとを備えている。発光セルＣＷは、表示要素１１ａとしての液晶セルからなり、受光セルＣＲは、受光要素１１ｂとしての受光素子を含む。なお、この入出力パネル１１の詳細構成については、後述する（図３）。
【００２０】
図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。
【００２１】
表示信号処理部１２は、図２に示すように、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を１画面毎（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリに格納して保持すると共に、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２、および各受光セルＣＲを駆動する受光側スキャナ４３を連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を、受光側スキャナ４３には受光タイミング制御信号を、表示信号ドライバ４２には制御信号およびフィールドメモリに保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。
【００２２】
発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。
【００２３】
表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１に表示される。
【００２４】
受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の表示撮像装置１においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。
【００２５】
図１に示す受光信号処理部１３は、入出力パネル１１の後段に接続され、受光要素１１ｂからの受光信号を取り込んで増幅等の所定の処理を行うものである。この受光信号処理部１３は、図２に示すように、受光信号レシーバ４５および受光信号保持部４６を備えている。
【００２６】
受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。
【００２７】
受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を１画面ごと（１フィールドの表示ごと）の受光信号に再構成し、例えば、ＳＲＡＭなどから構成されるフィールドメモリに格納して保持する機能を有する。この受光信号保持部４６において格納された受光信号のデータは、画像処理部１４（図１）内の位置検出部４７へ出力される。なお、受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。
【００２８】
この際、本実施の形態の受光信号処理部１３では、入出力パネル１１から照射される互いに異なる輝度からなる３段階の照射光（後述する表示光Ｌout）による反射光（後述する反射光Ｌｒ）によりそれぞれ得られる３種類の受光信号（後述する受光信号Ｖ（Ｌ），Ｖ（Ｍ），Ｖ（Ｈ））に基づいて、これら３種類の受光信号間の差分に対応する２種類の差分信号（後述する差分信号Ｖ（ＨＬ），Ｖ（ＭＬ））をそれぞれ生成するようになっている。また、これら２種類の差分信号にそれぞれ対応する２種類の差分画像において、反射光Ｌｒのみに基づく差分信号（検出差分信号）以外に、反射光Ｌｒと外光との差分に対応する差分信号（外光差分信号）が含まれるのか否かを画素１６ごとに判定するようになっている。そして、このような判定結果に対応する撮像画像が、画像処理部１４へ出力される。なお、このような受光信号処理部１３における判定処理の詳細については、後述する。
【００２９】
画像処理部１４（図１）は、受光信号処理部１３の後段に接続され、受光信号処理部１３から撮像画像を取り込んで、２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報、すなわち外部近接物体の重心や中心座標、および外部近接物体の領域（サイズや形状）を示す物体情報を得る回路である。具体的には、画像処理部１４におけるラベリング処理部（図示せず）は、ラベリング処理を行うことにより、撮像画像全体についてのラベル情報（撮像画像内における連結領域ごとの識別番号を示す情報）、連結領域ごとの位置情報および面積情報をそれぞれ取得するようになっている。
【００３０】
また、画像処理部１４における位置検出部４７（検出部；図２）は、ラベリング処理部より得られた上記ラベル情報、位置情報および面積情報に基づいて信号処理を行い、検出された物体が存在する位置等を特定するようになっている。これにより、接触あるいは近接する指等の位置を特定することが可能となる。
【００３１】
ここで、本実施の形態の位置検出部４７では、前述した３段階の輝度の表示光Ｌoutによる反射光Ｌｒによりそれぞれ得られる３種類の受光信号間の差分に対応する２種類の差分信号を利用して、物体情報を検出するようになっている。具体的には、前述した受光信号処理部１３による判定処理により、上記外光差分信号が含まれないと判定された場合には、物体情報の検出動作を実行する一方、そのような外光差分信号が含まれると判定された場合には、物体情報の検出動作を実行しないようになっている。なお、位置検出部４７による物体情報の検出動作の詳細については、後述する。
【００３２】
電子機器本体２０（図１）は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から点情報を入力するようになっている。制御部２１は、点情報を用いて表示画像を変化させるものである。
【００３３】
制御部２１（図１）は、点情報を用いて表示画像を変化させるものであり、例えばＣＰＵ（Central Processing Unit）などにより構成されている。制御部２１は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより生成され、供給された画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。
【００３４】
次に、図３を参照して、入出力パネル１１の詳細構成について説明する。図３は、入出力パネル１１の概略構成例を断面図で表したものである。
【００３５】
この入出力パネル１１は、例えば赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを有するバックライト１１０と、一対の偏光板１１１Ａ，１１１Ｂと、一対の透明基板１１２Ａ（ＴＦＴ基板），１１２Ｂ（対向基板）と、これら透明基板１１２Ａ，１１２Ｂの間に設けられた液晶層１１４とを含んで構成されている。また、透明基板１１２上には、受光センサ１１５が配置されている。
【００３６】
ここで、本実施の形態の入出力パネル１１では、バックライト１１の発光輝度が、低輝度状態、中輝度状態および高輝度状態（各輝度状態の輝度を、それぞれ、ＢＬ（Ｌ），ＢＬ（Ｍ），ＢＬ（Ｈ）とする）の３段階に変化するようになっている。これにより、入出力パネル１１からの表示光Ｌoutにおいても、表示輝度が３段階に変化するようになっている。なお、そのような３段階の輝度の表示光Ｌoutは、各フレーム期間内で、高輝度表示光、低輝度表示光および中輝度表示光の順に、周期的に照射されるようになっている（すなわち、例えば６０Ｈｚ×３倍の速度で、バックライト１１の発光輝度が切り換えられるようになっている）。また、本実施形態では、バックライト１１の発光輝度を変化させる手法として、パルス幅変調（ＰＷＭ；Pulse Width Modulation）方式を用いている。
【００３７】
次に、本実施の形態の表示撮像装置１の作用および効果について説明する。
【００３８】
最初に、図１〜図４を参照して、表示撮像装置１の基本動作（物体検出の基本動作）について説明する。図４は、表示撮像装置１による画像処理全体の流れを表すものである。
【００３９】
電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。
【００４０】
入出力パネル１１は、バックライトからの出射光を用いて画像を表示要素１１ａに表示する一方、受光要素１１ｂを駆動している。そして、例えば図３に示したように、表示要素１１ａに指等の外部近接物体８が接触または近接すると、表示要素１１ａに表示された画像による光（表示光Ｌout）が外部近接物体８で反射されて、この反射光（検出光）Ｌｒが受光要素１１ｂで検出される。この検出によって、受光要素１１ｂからは受光信号が出力される。そして受光信号処理部１３は、この受光信号を入力して増幅等を行い、受光信号を処理する（図４のステップＳ１０）。このようにして、受光信号処理部１３において、そのような処理後の画像である撮像画像が得られる。
【００４１】
次に、画像処理部１４は、受光信号処理部１３から撮像画像を入力し、この撮像画像に対し２値化処理を行う（ステップＳ１１）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、撮像画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより外部近接物体で反射された光を受光した部分が「１」に設定され、他の部分が「０」に設定される。
【００４２】
そして、画像処理部１４は、２値化された撮像画像から、孤立点を除去する（ステップＳ１２）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。
【００４３】
この後、画像処理部１４は、ラベリング処理部（図示せず）において、ラベリング処理を行う（ステップＳ１３）。すなわち、ラベリング処理部は、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、ラベリング処理部は、「１」に設定された領域を外部近接物体の領域として検出し、上記ラベル情報、位置情報および面積情報をそれぞれ取得する。そしてこのようなデータは、点情報として制御部２１に出力される。
【００４４】
次に、制御部２１は、画像処理部１４から入力した点情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。以上により、表示撮像装置１における基本動作（物体検出の基本動作）が終了となる。
【００４５】
次に、図１〜図４に加えて図５〜図９を参照して、本発明の特徴的部分の動作について、比較例と比較しつつ詳細に説明する。ここで、図５は、比較例に係る従来の表示撮像装置における偽信号の発生現象についてタイミング図で表したものであり、（Ａ）は外部近接物体（ここでは、指）８の入出力パネル１１上での位置を、（Ｂ）は受光光量を、（Ｃ）は差分信号出力を、それぞれ表している。また、図６は、本実施の形態の物体の検出動作の際の外光および検出光の判定処理（受光信号処理部１３による判定処理）の一例を流れ図で表したものである。また、図７〜図９は、図６に示した判定処理の際の受光信号例を波形図で表したものであり、（Ａ）は外部近接物体（ここでは、指）８の入出力パネル１１上での位置を、（Ｂ）は各受光信号Ｖ（Ｈ），Ｖ（Ｍ），Ｖ（Ｌ）を、（Ｃ）は差分信号Ｖ（ＨＬ）（＝Ｖ（Ｈ）−Ｖ（Ｌ））を、（Ｄ）は差分信号Ｖ（ＭＬ）（＝Ｖ（Ｍ）−Ｖ（Ｌ））を、（Ｅ）は出力信号（受光信号処理部１３から出力される撮像画像の受光信号）を、それぞれ表している。
【００４６】
まず、図５に示した比較例では、５中の符号Ｐ１００で示したように、発光状態で得られた画像（照射光による反射光を利用して得られた受光信号；図中の「ＯＮ」）と、消灯状態で得られた画像（図中の「ＯＦＦ」）との差分を取ることにより、外光ＬＯや固定ノイズによる影響が除去されるようにしている。これにより、外光ＬＯや固定ノイズの影響を受けずに、物体の位置などを検出することが可能となる。
【００４７】
しかしながら、例えば図中の符号Ｐ１０１，Ｐ１０２で示したように、入出力パネル１１上で外部近接物体（ここでは、指）８が高速に移動している場合などには、時間差のため、「ＯＮ」のときの受光信号と、「ＯＦＦ」のときの受光信号との間で、位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの受光信号の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう（図中の符号Ｐ１０１，Ｐ１０２参照）。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう。また、このような外光ＬＯの誤検出は、誤動作の原因ともなることから、この方式では、モバイル用途では使用できない可能性が高い。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。
【００４８】
これに対し、本実施の形態では、例えば図６に示したような判定処理が受光信号処理部１３において行われることにより、３段階の表示光Ｌoutによる反射光Ｌｒによりそれぞれ得られる３種類の受光信号間の差分に対応する２種類の差分信号を利用して、物体情報が検出される。なお、３種類の受光信号とは、図７〜図９中にそれぞれ示した、低輝度受光信号Ｖ（Ｌ）、中輝度受光信号Ｖ（Ｍ）および高輝度受光信号Ｖ（Ｈ）である。また、２種類の差分信号とは、高輝度受光信号Ｖ（Ｈ）と低輝度受光信号Ｖ（Ｌ）との差分信号である差分信号Ｖ（ＨＬ）（＝Ｖ（Ｈ）−Ｖ（Ｌ））、および中輝度受光信号Ｖ（Ｍ）と低輝度受光信号Ｖ（Ｌ）との差分信号である差分信号Ｖ（ＭＬ）（＝Ｖ（Ｍ）−Ｖ（Ｌ））である。
【００４９】
具体的には、受光信号処理部１３は、まず、３種類の受光信号Ｖ（Ｌ），Ｖ（Ｍ），Ｖ（Ｈ）に基づいて、２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）をそれぞれ生成する。次に、これら２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）にそれぞれ対応する２種類の差分画像（差分信号Ｖ（ＨＬ）に対応する第１の差分画像、および差分信号Ｖ（ＭＬ）に対応する第２の差分画像）において、反射光Ｌｒのみに基づく検出差分信号以外に、反射光Ｌｒと外光との差分に対応する外光差分信号が含まれるのか否かを、画素１６ごとに判定する。そして、画素１６の差分信号が所定の信号閾値（後述する閾値電圧Ｖth1，Ｖth2）よりも大きい場合には、その画素１６の差分信号は上記外光差分信号であると判定する一方、画素１６の差分信号が上記信号閾値以下である場合には、その画素１６の差分信号は上記検出差分信号であると判定する。
【００５０】
より具体的には、受光信号処理部１３は、まず、バックライト１１の発光輝度を３段階に変化させたときの撮像画像をそれぞれ取得する（図６のステップＳ２０）。すなわち、入出力パネル１１からの表示光Ｌoutが、高輝度表示光、低輝度表示光および中輝度表示光の順に周期的に照射されるようにし、各表示光による反射光Ｌｒにより得られる受光信号Ｖ（Ｈ），Ｖ（Ｌ），Ｖ（Ｍ）をそれぞれ取得する。そして、受光信号処理部１３は、これら３種類の受光信号Ｖ（Ｌ），Ｖ（Ｍ），Ｖ（Ｈ）に基づいて、上記した２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）をそれぞれ生成する。
【００５１】
次に、受光信号処理部１３は、差分信号Ｖ（ＨＬ）に対応する差分画像（第１の差分画像）において、反射光Ｌｒのみに基づく検出差分信号以外に、反射光Ｌｒと外光との差分に対応する外光差分信号が含まれるのか否かを、画素１６ごとに判定する。具体的には、画素１６ごとに、差分信号Ｖ（ＨＬ）が所定の閾値電圧Ｖth1（信号閾値）よりも大きいか否かを判定する（ステップＳ２１）。ここで、例えば図７（Ｃ）中の符号Ｐ１で示したように、差分信号Ｖ（ＨＬ）における最大値Ｖ（ＨＬ）maxが閾値電圧Ｖth1よりも大きい場合には（ステップＳ２１：Ｙ）、その画素１６の差分信号Ｖ（ＨＬ）は外光差分信号であると判定する。したがって、受光信号処理部１３は、外光差分信号が含まれると判定されたため、例えば図７（Ｅ）に示したように出力信号を「０」として出力し、位置検出部４７は、物体情報の検出動作を実行しない（ステップＳ２４）。
【００５２】
一方、例えば図８（Ｃ）や図９（Ｃ）に示したように、各画素１６における差分信号Ｖ（ＨＬ）が閾値電圧Ｖth1以下である場合には（ステップＳ２１：Ｎ）、次に、受光信号処理部１３は、この差分信号Ｖ（ＨＬ）に対応する差分画像に基づいて、差分信号Ｖ（ＭＬ）に対応する差分画像（第２の差分画像）おける判定処理の際に用いる閾値電圧Ｖth2（信号閾値）を算出する（ステップＳ２２）。具体的には、以下の（１）式を用いて、閾値電圧Ｖth2を算出する。なお、例えばＢＬ（Ｈ）＝１００％の輝度、ＢＬ（Ｍ）＝５０％の輝度、ＢＬ（Ｌ）＝０％の輝度の場合には、この（１）式は、以下の（２）式のように表される。
Ｖth2＝Ｖ（ＨＬ）max−（１／２）×Ｖ（Ｈ）×｛１−（ＢＬ（Ｍ）／ＢＬ（Ｈ））｝
……（１）
Ｖth2＝Ｖ（ＨＬ）max−（１／４）×Ｖ（Ｈ）                            ……（２）
【００５３】
このステップＳ２２の後、受光信号処理部１３は、次に、差分信号Ｖ（ＭＬ）に対応する差分画像において、反射光Ｌｒのみに基づく検出差分信号以外に、反射光Ｌｒと外光との差分に対応する外光差分信号が含まれるのか否かを、画素１６ごとに判定する。具体的には、差分信号Ｖ（ＭＬ）が、ステップＳ２２で算出した閾値電圧Ｖth2（信号閾値）よりも大きいか否かを画素１６ごとに、判定する（ステップＳ２３）。ここで、例えば図８（Ｄ）中の符号Ｐ２で示したように、差分信号Ｖ（ＭＬ）が閾値電圧Ｖth2よりも大きい場合には（ステップＳ２３：Ｙ）、その画素１６の差分信号Ｖ（ＭＬ）は外光差分信号であると判定する。したがって、受光信号処理部１３は、外光差分信号が含まれると判定されたため、例えば図８（Ｅ）に示したように出力信号を「０」として出力し、位置検出部４７は、物体情報の検出動作を実行しない（ステップＳ２４）。
【００５４】
一方、例えば図９（Ｄ）に示したように、差分信号Ｖ（ＭＬ）が閾値電圧Ｖth2以下である場合には（ステップＳ２３：Ｎ）、その画素１６の差分信号Ｖ（ＭＬ）は反射光Ｌｒによる差分信号（検出さ分信号）であると判定する。したがって、受光信号処理部１３は、例えば図９（Ｅ）に示したように、差分信号Ｖ（ＭＬ）を出力信号として出力し、位置検出部４７は、物体情報の検出動作を実行する（ステップＳ２４）。
【００５５】
このようにして、本実施の形態では、３段階の表示光Ｌoutによる反射光Ｌｒによりそれぞれ得られる３種類の受光信号Ｖ（Ｌ），Ｖ（Ｍ），Ｖ（Ｈ）間の差分に対応する２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）を利用して、物体情報が検出される。これにより、これら２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）に対応する２種類の差分画像において、反射光Ｌｒのみに基づく差分信号以外に、反射光Ｌｒと外光ＬＯとの差分に対応する差分信号が含まれるのか否かの判定が可能となる。したがって、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定が回避される。
【００５６】
以上のように本実施の形態では、３段階の表示光Ｌoutによる反射光Ｌｒによりそれぞれ得られる３種類の受光信号Ｖ（Ｌ），Ｖ（Ｍ），Ｖ（Ｈ）間の差分に対応する２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）を利用して、物体情報を検出するようにしたので、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定を回避することができる（強外光下での誤動作を防ぐことができる。）。よって、使用状況によらず、物体を安定して検出することが可能となる。
【００５７】
具体的には、受光信号処理部１３によって、２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）に対応する２種類の差分画像において、反射光Ｌｒのみに基づく差分信号以外に反射光Ｌｒと外光ＬＯとの差分に対応する差分信号が含まれるのか否かの判定を行うと共に、位置検出部４７において、外光差分信号が含まれないと判定された場合には物体情報の検出動作を実行する一方、外光差分信号が含まれると判定された場合には物体情報の検出動作を実行しないようにしたので、上記のような効果を得ることが可能となる。
【００５８】
また、３段階の輝度の表示光Ｌoutとして、各フレーム期間内で、高輝度表示光、低輝度表示光および中輝度表示光の順に周期的に照射されるようにし、低輝度表示光を中間のタイミングで照射するようにしたので、高輝度表示光と中輝度表示光との間のレベル変動を少なくすることができる。
【００５９】
なお、本実施の形態では、外光ＬＯの強度が強い場合について説明したが、外光ＬＯの強度が弱い場合には、例えば図１０〜図１２に示したようにして判定処理がなされることになる。具体的には、図１０は、外光ＬＯの強度が高輝度受光信号Ｖ（Ｈ）の強度に等しい場合の判定処理を、図１１は、外光ＬＯの強度が中輝度受光信号Ｖ（Ｍ）の強度に等しい場合の判定処理を、図１２は、外光ＬＯの強度が低輝度受光信号Ｖ（Ｌ）の強度に等しい場合の判定処理を、それぞれ表している。ここでは、図１０に示した例では、図中の符号Ｐ３で示したように、差分信号Ｖ（ＭＬ）が閾値電圧Ｖth2よりも大きいため、物体情報の検出動作が実行されないようになっている。一方、図１１および図１２に示した例では、差分信号Ｖ（ＨＬ）が閾値電圧Ｖth1よりも小さく、かつ差分信号Ｖ（ＭＬ）が閾値電圧Ｖth2よりも小さいため、物体情報の検出動作が実行されるようになっている。
【００６０】
また、本実施の形態で説明した判定処理を行うことにより、偽信号による誤判定を回避することが可能となる一方、外光ＬＯでの使用環境が大きく制限されてしまうことになる。したがって、差分信号Ｖ（ＭＬ）に対応する差分画像における判定処理において、差分信号Ｖ（ＭＬ）が閾値電圧Ｖth2よりも大きいと判定された画素１６だけを、選択的に物体情報の検出動作から除去するようにするのが好ましい。具体的には、例えば図１３に示したように、符号Ｐ４１で示した画素１６の部分を除去することにより（図中の符号Ｐ４２参照）、図１３（Ｅ）に示したような出力信号が得られる。なお、符号Ｐ４２で示した画素１６の部分も同様に除去するようにしてもよい。このように構成した場合、強外光下でも指の検出を行うことができ、外光ＬＯでの使用環境の制限を緩和することが可能となる。
【００６１】
（モジュールおよび適用例）
次に、図１４〜図１８を参照して、上記実施の形態で説明した表示撮像装置の適用例について説明する。上記実施の形態の表示撮像装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなど、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。
【００６２】
（適用例１）
図１４は、上記実施の形態の表示撮像装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態に係る表示撮像装置により構成されている。
【００６３】
（適用例２）
図１５は、上記実施の形態の表示撮像装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態に係る表示撮像装置により構成されている。
【００６４】
（適用例３）
図１６は、上記実施の形態の表示撮像装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態に係る表示撮像装置により構成されている。
【００６５】
（適用例４）
図１７は、上記実施の形態の表示撮像装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有しており、その表示部５４４は、上記実施の形態に係る表示撮像装置により構成されている。
【００６６】
（適用例５）
図１８は、上記実施の形態の表示撮像装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態に係る表示撮像装置により構成されている。
【００６７】
以上、実施の形態および変形例、ならびにそれらの適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
【００６８】
例えば、上記実施の形態等では、バックライト１１の発光輝度を変化させる手法として、パルス幅変調（ＰＷＭ）方式を用いる場合について説明したが、そのようなバックライト１１の発光輝度を変化させる手法として、例えばパルス振幅変調（ＰＡＭ；Pulse Amplitude Modulation）方式を用いるようにしてもよい。
【００６９】
また、上記実施の形態等では、バックライト１１の発光輝度を３段階に変化させる場合について説明したが、例えば、発光輝度を４段階以上変化させてもよい。
【００７０】
また、図２に示した例では、１つの発光セルに対応して１つの受光セルを設けるようにしたが、複数の発光セルに対応して１つの受光セルを設けるようにしてもよい。
【００７１】
また、バックライト１１から照射される光として、例えば、可視光の他に赤外光を含むようにしてもよい。具体的には、例えばバックライト１１が、可視光を発するＬＥＤの他に、非可視光である赤外光を発する赤外ＬＥＤを含むようにしてもよい。この場合、受光センサ１１５としても、可視光を受光する受光センサの他に、非可視光である赤外光を受光する受光センサを含むようにすればよい。このような赤外光を受光する受光センサには、例えば、可視光をカットすると共に赤外光のみを透過するＩＲフィルタを配置すればよい。なお、この場合の赤外ＬＥＤは、例えば図１９に示したような発光スペクトル特性となっている。また、ＩＲフィルタは、例えば図２０（Ａ），図２０（Ｂ）に示したような分光透過特性となっている。ここで、このようなＩＲフィルタは、カラーフィルタのＲＢもしくはＲＧＢを積層することにより実現することが可能である。なお、ＲＢ積層よりもＲＧＢ積層のほうが、可視光をカットする性能が高くなる。このような構成の表示撮像装置では、黒表示した際にも赤外線を出射することにより、外部近接物体８からの反射光Ｌｒを得ることができ、検出することが可能となる。
【００７２】
また、上記実施の形態等で説明した表示撮像装置では、入出力パネルとして、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の表示撮像装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。この場合、３段階以上の照射光は、有機ＥＬ素子の発光輝度を３段階以上に変化させることにより得るようにすればよい。
【００７３】
具体的には、例えば図２１（Ａ）（概略断面構成例）、図２１（Ｂ）（概略平面構成例）および図２２（詳細断面構成例）に示した入出力パネル６１のように、トップエミッション構造であるのものが挙げられる。ここでは、ＴＦＴ基板６１０と対向基板６１５との間に、受光センサ６１６、平坦化層６１１、発光層６１２、保護膜６１３、封止樹脂層６１４、カラーフィルタ６１４Ｒ，６１４Ｇ，６１４Ｂ、ＩＲ透過フィルタ６１４ＩＲおよびブラックマトリクス層ＢＭが設けられている。また、この入出力パネル６１は、発光層６１２を含む表示領域３１と、受光センサ６１６を含む受光領域３２とを有している。発光層６１２としては、例えば、赤色光ＬＲを発するＲ（赤色）発光層６１２Ｒと、緑色光ＬＧを発するＧ（緑色）発光層６１２Ｇと、青色光ＬＢを発するＢ（青色）発光層６１２Ｂと、赤外光ＬＩＲを発するＩＲ（赤外）発光層６１２ＩＲとから構成することができる。Ｒ発光層６１２Ｒ上には、赤色光ＬＲを選択的に透過する赤色カラーフィルタ６１４Ｒが配置され、Ｇ発光層６１２Ｇ上には、緑色光ＬＧを選択的に透過する緑色カラーフィルタ６１４Ｇが配置され、Ｂ発光層６１２Ｂ上には、青色光ＬＢを選択的に透過する青色カラーフィルタ６１４Ｂが配置されている。また、ＩＲ発光層６１２ＩＲ上と、ＩＲセンサ６１６ＩＲとして機能する受光センサ６１６上とには、赤外光ＬＩＲを選択的に透過する（可視光をカットする）ＩＲ透過フィルタ（可視光カットフィルタ）６１４ＩＲが配置されている。ここでは、このＩＲ透過フィルタ６１４ＩＲは、赤色カラーフィルタ６１４Ｒと青色カラーフィルタ６１４Ｂとから構成されている。また、ＢＭセンサ６１６ＢＭとして機能する受光センサ６１６上には、ブラックマトリクス層ＢＭが配置されている。なお、発光層６１２Ｒ，６１２Ｇ，６１２Ｂ，６１２ＩＲ、ＩＲセンサ６１６ＩＲおよびＢＭセンサ６１６ＢＭ等の配置位置については、特に限定されない（間引いて配置してもよいし、１つだけ配置するようにしてもよい）。また、ＴＦＴ基板６１０は、透明基板６１０−１と、ゲート電極６１０−２と、ゲート絶縁膜６１０−３と、ｐ−Ｓｉ（ポリシリコン）層６１０−４と、絶縁層６１０−５と、配線層６１０−６とを含んで構成されている。また、各発光層６１２は、アノード電極６１２−１と、有機層６１２−２と、カソード電極６１２−３と、ウィンドウ層６１２−４とを含んで構成されている。また、対向基板６１５は、透明基板６１５−１を含んで構成されている。このような構成の入出力パネル６１では、ＩＲ発光層６１２ＩＲ上にＩＲ透過フィルタ６１４ＩＲが配置されているため、外光ＬＯによる駆動配線などの反射が抑えられ、視認性を向上させることが可能である。
【００７４】
また、本発明の表示撮像装置は、上記実施の形態等で説明した表示撮像装置１だけでなく、例えば図２３に示したような表示撮像装置２にも適用することが可能である。この表示撮像装置２は、上記実施の形態等に係る表示撮像装置１と比較して、画像処理部１４が電子機器本体２０に設けられた点が異なっている。すなわち、この表示撮像装置２は、表示信号処理部１２、入出力パネル１１および受光信号処理部１３がディスプレイ１０に設けられ、制御部２１および画像処理部１４が電子機器本体２０に設けられたものである。このような表示撮像装置２であっても、上記実施の形態に係る表示撮像装置１と同様の効果を奏することができる。
【００７５】
また、これまでは、制御部２１が電子機器本体２０内に設けられている場合について説明したが、制御部２１をディスプレイ１０内に設けるようにしてもよい。
【００７６】
さらに、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。
【図面の簡単な説明】
【００７７】
【図１】本発明の一実施の形態に係る表示撮像装置の構成を表すブロック図である。
【図２】図１の表示撮像装置の構成をより詳細に表すブロック図である。
【図３】図１に示した入出力パネルの概略構成例および物体検出の基本動作について説明するための断面図である。
【図４】表示撮像装置による画像処理全体の流れ図である。
【図５】比較例に係る表示撮像装置における偽信号の発生現象について説明するためのタイミング図である。
【図６】実施の形態に係る物体の検出動作の際の外光および検出光の判定処理の一例を表す流れ図である。
【図７】図６に示した判定処理の際の受光信号の一例を表す波形図である。
【図８】図６に示した判定処理の際の受光信号の他の例を表す波形図である。
【図９】図６に示した判定処理の際の受光信号の他の例を表す波形図である。
【図１０】図６に示した判定処理の際の受光信号の他の例を表す波形図である。
【図１１】図６に示した判定処理の際の受光信号の他の例を表す波形図である。
【図１２】図６に示した判定処理の際の受光信号の他の例を表す波形図である。
【図１３】本発明の変形例に係る判定処理の際の受光信号の一例を表す波形図である。
【図１４】本発明の表示撮像装置の適用例１の外観を表す斜視図である。
【図１５】（Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。
【図１６】適用例３の外観を表す斜視図である。
【図１７】適用例４の外観を表す斜視図である。
【図１８】（Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。
【図１９】本発明の変形例に係る入出力パネルに用いられる赤外線ＬＥＤの発光スペクトル特性の一例を表す特性図である。
【図２０】本発明の変形例に係る入出力パネルに用いられるＩＲフィルタの分光透過率特性の一例を表す特性図である。
【図２１】本発明の変形例に係る入出力パネルの概略構成例を表す断面図および平面図である。
【図２２】図２１に示した入出力パネルの詳細構成例を表す断面図である。
【図２３】本発明の変形例に係る表示撮像装置の構成を表すブロック図である。
【符号の説明】
【００７８】
１，２…表示撮像装置、１０…ディスプレイ、１１，６１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１１０，…バックライト、１１１Ａ，１１１Ｂ…偏光板、１１２Ａ…透明基板（ＴＦＴ基板）、１１２Ｂ…透明基板（対向基板）、１１４…液晶層、１１５…受光センサ、１２…表示信号処理部、１３…受光信号処理部、１４…画像処理部、１６…画素、２０…電子機器本体、２１…制御部、３１…表示領域、３２…受光領域、５１０…映像表示画面部、５１１…フロントパネル、５１２…フィルターガラス、５２１…発光部、５２２…表示部、５２３…メニュースイッチ、５２４…シャッターボタン、５３１…本体、５３２…キーボード、５３３…表示部、５４１…本体部、５４２…レンズ、５４３…スタート／ストップスイッチ、５４４…表示部、７１０…上部筐体、７２０…下部筐体、７３０…連結部、７４０…ディスプレイ、７５０…サブディスプレイ、７６０…ピクチャーライト、７７０…カメラ、６１０…ＴＦＴ基板、６１１…平坦化層、６１２，６１２Ｒ，６１２Ｇ，６１２Ｂ，６１２ＩＲ…発光層、６１３…保護層、６１４…封止樹脂層、６１４Ｒ，６１４Ｇ，６１４Ｂ…カラーフィルタ、６１４ＩＲ…ＩＲ透過フィルタ（可視光カットフィルタ）、６１５…対向基板、６１６…受光センサ、８…外部近接物体（指）、Ｌout…表示光、Ｌｒ…反射光（検出光）、ＬＯ…外光、ＬＲ，ＬＧ，ＬＢ…各色光、ＬＩＲ…赤外光、Ｖ（Ｈ），Ｖ（Ｍ），Ｖ（Ｌ）…受光信号（電圧）、Ｖ（ＨＬ），Ｖ（ＭＬ）…差分信号（電圧）、Ｖ（ＨＬ）max…最大値、Ｖth1，Ｖth2…閾値電圧、ＢＬ（Ｈ），ＢＬ（Ｍ），ＢＬ（Ｌ）…バックライト輝度、ＢＭ…ブラックマトリクス層。
【図１】
2010092192.tif 000003
【図２】
2010092192.tif 000004
【図３】
2010092192.tif 000005
【図４】
2010092192.tif 000006
【図５】
2010092192.tif 000007
【図６】
2010092192.tif 000008
【図７】
2010092192.tif 000009
【図８】
2010092192.tif 000010
【図９】
2010092192.tif 000011
【図１０】
2010092192.tif 000012
【図１１】
2010092192.tif 000013
【図１２】
2010092192.tif 000014
【図１３】
2010092192.tif 000015
【図１４】
2010092192.tif 000016
【図１５】
2010092192.tif 000017
【図１６】
2010092192.tif 000018
【図１７】
2010092192.tif 000019
【図１８】
2010092192.tif 000020
【図１９】
2010092192.tif 000021
【図２０】
2010092192.tif 000022
【図２１】
2010092192.tif 000023
【図２２】
2010092192.tif 000024
【図２３】
2010092192.tif 000025