(57)【要約】【課題】使用状況によらず、物体の位置等の情報を精度良く取得することが可能な画像入力装置を提供する。【解決手段】画像入力装置１では、表示ドライブ回路１２が、ＩＲ光源１５１Ｂのオン期間がオフ期間よりも短くなるように時分割駆動する。受光ドライブ回路１３は、メインセンサ１１１Ａおよびサブセンサ１１１Ｂにおいて、オン期間およびオフ期間のそれぞれで互いに等しい受光期間経過後に読み出しを行うように駆動する。画像処理部１４は、オン期間における画像ＭＡとオフ期間の画像ＭＢとの差分画像ＭＣを生成し、この差分画像ＭＣに基づいて物体の重心Ｇや面積Ｓの演算処理を行い、物体の位置等を判定する。オン期間とオフ期間とを互いに等しい時間間隔で時分割駆動する場合に比べ、オン期間およびオフ期間における各受光時間が減少する。【選択図】図２
2010198575.tif 000002
【特許請求の範囲】
【請求項１】
光源と、
前記光源のオン期間とオフ期間とが交互に切り替わると共に、前記オン期間が前記オフ期間よりも短くなるように、前記光源を駆動する光源駆動部と、
前記光源から発せられる光の波長領域を受光波長領域として含む第１光検出素子と、
前記第１光検出素子に、前記オン期間および前記オフ期間において互いに等しい受光時間経過後に読み出しを行うように、前記第１光検出素子を駆動する光検出素子駆動部と、
前記第１光検出素子からの出力信号に基づいて、物体の位置、形状または大きさに関する物体情報を取得する画像処理部とを備え、
前記画像処理部は、
前記オン期間における前記第１光検出素子からの出力信号に基づいて得られるオン画像と、前記オフ期間における前記第１光検出素子からの出力信号に基づいて得られるオフ画像との差分画像である第１差分画像を生成し、
前記第１差分画像に基づく演算処理により前記物体情報を取得する
画像入力装置。
【請求項２】
前記光源駆動部は、前記オフ期間における前記第１光検出素子からの出力信号の最大値が、前記第１光検出素子のダイナミックレンジの範囲内となるように、前記オン期間の長さを制御する
請求項１に記載の画像入力装置。
【請求項３】
前記光源駆動部は、前記オン期間における前記第１光検出素子からの出力信号のうち物体からの反射光による信号の最大値が、前記第１光検出素子のダイナミックレンジの範囲内となるように、前記オン期間の長さおよび光強度のうちの少なくとも一方を制御する
請求項１または請求項２に記載の画像入力装置。
【請求項４】
前記光源の波長領域では前記第１光検出素子よりも低く、かつ前記光源の波長領域を除いた波長領域では前記第１光検出素子よりも高い受光感度を有する第２光検出素子を備え、
前記光検出素子駆動部は、更に、前記第２光検出素子を、前記オン期間および前記オフ期間において互いに等しい受光時間経過後に読み出しを行うように駆動し、
前記画像処理部は、
前記オン期間における前記第２光検出素子からの出力信号に基づいて得られるオン画像と、前記オフ期間における前記第２光検出素子からの出力信号に基づいて得られるオフ画像との差分画像である第２差分画像を生成し、
前記第１差分画像と前記第２差分画像との合成画像に基づく演算処理により、前記物体情報を取得する
請求項１に記載の画像入力装置。
【請求項５】
前記第１光検出素子と前記第２光検出素子とが、１対１の割合で交互に配置されている
請求項４に記載の画像入力装置。
【請求項６】
前記第１光検出素子が非可視領域に受光感度を有し、前記第２光検出素子が可視領域に受光感度を有する
請求項４に記載の画像入力装置。
【請求項７】
前記光源は、非可視光を発する
請求項１に記載の画像入力装置。
【請求項８】
少なくとも表示用の光を発する表示パネルと、
単位期間において、前記表示パネルから光が発せられるオン期間と前記表示パネルから光が発せられないオフ期間とが切り替わると共に、前記オン期間が前記オフ期間よりも短くなるように、前記表示パネルを駆動する表示パネル駆動部と、
前記表示パネルから発せられる光の波長領域を受光波長領域として含む第１光検出素子と、
前記第１光検出素子に、前記オン期間および前記オフ期間において互いに等しい受光時間経過後に読み出しを行うように、前記第１光検出素子を駆動する光検出素子駆動部と、
前記第１光検出素子からの出力信号に基づいて、物体の位置、形状または大きさに関する物体情報を取得する画像処理部とを備え、
前記画像処理部は、
前記オン期間における前記第１光検出素子からの出力信号に基づいて得られるオン画像と、前記オフ期間における前記第１光検出素子からの出力信号に基づいて得られるオフ画像との差分画像である第１差分画像を生成し、
前記第１差分画像に基づく演算処理により前記物体情報を取得する
画像入出力装置。
【請求項９】
前記表示パネルは、液晶表示素子を有する
請求項８に記載の画像入出力装置。
【請求項１０】
前記表示パネルは、有機ＥＬ素子を有する
請求項８に記載の画像入出力装置。
【請求項１１】
前記表示パネルは、可視光および非可視光を発し、
前記第１光検出素子は、前記受光波長領域として非可視領域を含む
請求項８ないし請求項１０のいずれか１項に記載の画像入出力装置。
【請求項１２】
光源と、
前記光源のオン期間とオフ期間とが交互に切り替わると共に、前記オン期間が前記オフ期間よりも短くなるように、前記光源を駆動する光源駆動部と、
前記光源から発せられる光の波長領域を受光波長領域として含む第１光検出素子と、
前記第１光検出素子に、前記オン期間および前記オフ期間において互いに等しい時間経過後に読み出しを行うように、前記第１光検出素子を駆動する光検出素子駆動部と、
前記第１光検出素子からの出力信号に基づいて、物体の位置、形状または大きさに関する物体情報を取得する画像処理部とを備えた画像入力装置を備え、
前記画像処理部は、
前記オン期間における前記第１光検出素子からの出力信号に基づいて得られるオン画像と、前記オフ期間における前記第１光検出素子からの出力信号に基づいて得られるオフ画像との差分画像である第１差分画像を生成し、
前記第１差分画像に基づく演算処理により前記物体情報を取得する
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指やスタイラス等、近接する物体を撮像することにより、物体の光学的な位置検出が可能な画像入力装置および画像入出力装置並びに電子機器に関する。
【背景技術】
【０００２】
近年、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assistant）、デジタルスチルカメラ、ＰＣ（Personal Computer）モニタおよびテレビ等の電子機器において、フォトセンサを利用して、タッチパネルとしての機能を持たせようという動きがある。タッチパネルでは、表示駆動用のＴＦＴ（Thin Film Transistor；薄膜トランジスタ）と共にフォトセンサが設けられ、このフォトセンサを用いた光検出により、指やスタイラス等の物体の位置を検出することができる。
【０００３】
このような位置検出には、従来、外光により生じる物体の影を利用する手法や、バックライトからの表示光を物体の表面で反射させ、この反射光を検出する手法等が用いられている。ところが、影を利用する手法は、暗闇では使用することができない。また、反射光を利用する手法は、黒表示の場合には使用することができず、加えて、表示パターンが反射光のレベルに影響を及ぼすため、フォトセンサから得られる信号が表示ノイズに埋もれてしまう場合がある。
【０００４】
そこで、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）のバックライト部分に、検出用の光として赤外光を発する光源を配設したタッチパネルが提案されている（特許文献１参照）。このタッチパネルでは、偏光板が赤外領域で偏光特性を失うことや、ディスプレイの構成部材が高い赤外光透過率を有することを利用し、物体の表面で反射した赤外光をフォトセンサで検出するようになっている。これにより、暗闇や黒表示の場合にも位置検出が可能となり、また、信号が表示パターンにより影響を受けることもない。この他にも、光源を時分割駆動し、点灯時と消灯時とのそれぞれで得られた画像同士の差分を取ることにより、外光やノイズの影響を除去し、Ｓ／Ｎ比（Signal To Noise Ratio）を向上させる手法も提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３０１８６４号公報
【特許文献２】特開２００７−２７６２２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１，２の手法では、外光レベル（外光照度）が強い場合、フォトセンサが飽和してしまったり、物体の被検出側に外光が回り込み、このようなフォトセンサの飽和や外光の回り込みによって反射光を精度良く検出できないという問題があった。
【０００７】
また、特許文献２の手法では、時分割制御により点灯時と消灯時との間に時間差があるため、物体が動いている場合には、この時間差によって差分画像に偽信号が生じ、精度良く検出ができないという問題がある。この偽信号による影響は、特に、物体の移動速度が大きい場合や物体の検出面積が小さい場合に顕著となる。更に、外光レベルが変化した場合にも、上記時間差によって偽信号が生じてしまう。
【０００８】
本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、物体の位置等の情報を精度良く取得することが可能な画像入力装置および画像入出力装置並びに電子機器を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の画像入力装置は、光源と、光源のオン期間とオフ期間とが交互に切り替わると共に、オン期間がオフ期間よりも短くなるように、光源を駆動する光源駆動部と、光源から発せられる光の波長領域を受光波長領域として含む第１光検出素子と、第１光検出素子に、オン期間およびオフ期間において互いに等しい受光時間経過後に読み出しを行うように、第１光検出素子を駆動する光検出素子駆動部と、第１光検出素子からの出力信号に基づいて、物体の位置、形状または大きさに関する物体情報を取得する画像処理部とを備えたものである。画像処理部は、オン期間における第１光検出素子からの出力信号に基づいて得られるオン画像と、オフ期間における第１光検出素子からの出力信号に基づいて得られるオフ画像との差分画像である第１差分画像を生成し、第１差分画像に基づく演算処理により物体情報を取得するものである。
【００１０】
本発明の画像入出力装置は、少なくとも表示用の光を発する表示パネルと、単位期間において、表示パネルから光が発せられるオン期間と表示パネルから光が発せられないオフ期間とが切り替わると共に、オン期間がオフ期間よりも短くなるように、表示パネルを駆動する表示パネル駆動部と、表示パネルから発せられる光の波長領域を受光波長領域として含む第１光検出素子と、第１光検出素子に、オン期間およびオフ期間において互いに等しい受光時間経過後に読み出しを行うように、第１光検出素子を駆動する光検出素子駆動部と、第１光検出素子からの出力信号に基づいて、物体の位置、形状または大きさに関する物体情報を取得する画像処理部とを備えたものである。画像処理部は、オン期間における第１光検出素子からの出力信号に基づいて得られるオン画像と、オフ期間における第１光検出素子からの出力信号に基づいて得られるオフ画像との差分画像である第１差分画像を生成し、第１差分画像に基づく演算処理により物体情報を取得するものである。
【００１１】
本発明の電子機器は、上記本発明の画像入力装置を備えたものである。但し、本発明において、外光とは、太陽光や室内照明等の外部環境下において得られる光だけでなく、画像表示光が装置内の部材によって反射されて迷光となったものも含むものとする。
【００１２】
本発明の画像入力装置および画像入出力装置並びに電子機器では、オン期間において、光源あるいは表示パネルから発せられた光は、検出すべき物体の表面で反射し、この際の反射光と外光とが第１光検出素子において検出される。一方、オフ期間には、外光のみが第１光検出素子において検出される。これらの出力に基づいて、画像処理部は、オン期間におけるオン画像とオフ期間におけるオフ画像との差分画像を生成し、この差分画像に基づいて物体の位置等を特定する。ここで、オン期間がオフ期間よりも短く、かつ各期間において互いに等しい受光時間経過後に読み出しを行うことにより、オン期間とオフ期間とを互いに等しい時間間隔で時分割駆動する場合に比べ、オン期間およびオフ期間における各受光時間が減少する。
【発明の効果】
【００１３】
本発明の画像入力装置および画像入出力装置並びに電子機器によれば、光源あるいは表示パネルにおいて、オン期間がオフ期間よりも短くなるように切り替え、かつ各期間において互いに等しい受光時間経過後に第１光検出素子の読み出しを行う。画像処理部により、第１光検出素子の出力に基づいて得られたオン期間におけるオン画像と、オフ期間におけるオフ画像とから差分画像を生成し、この差分画像に基づく演算処理を行う。これにより、外光レベルが強い場合にも第１光検出素子が飽和しにくくなると共に、物体が移動する場合や外光レベルが変化する場合に、偽信号の発生を抑制することができる。よって、使用状況によらず、物体の位置等の情報を精度良く取得することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態に係る画像入出力装置の全体構成を表すブロック図である。
【図２】図１に示したディスプレイパネルの概略構成を表す断面図である。
【図３】図１に示したメインセンサおよびサブセンサの配置構成を表す模式図である。
【図４】図１に示したメインセンサおよびサブセンサの受光波長領域を表す図である。
【図５】図１に示したＩＲ光源の駆動タイミングチャート等を表す図である。
【図６】メインセンサおよびサブセンサの等価回路図である。
【図７】センサスキャンおよび光源点灯のタイミングチャート１を表す図である。
【図８】センサスキャンおよび光源点灯のタイミングチャート２を表す図である。
【図９】センサスキャンおよび光源点灯のタイミングチャート３を表す図である。
【図１０】光検出処理および画像処理を表す流れ図である。
【図１１】メインセンサの出力電圧を表す図である。
【図１２】物体移動時におけるメインセンサのオン期間およびオフ期間での出力電圧とそれらの差分電圧を表す図である。
【図１３】物体移動時におけるメインセンサから得られたオン期間およびオフ期間での画像とそれらの差分画像を表す図である。
【図１４】物体移動時におけるサブセンサのオン期間およびオフ期間での出力電圧とそれらの差分電圧を表す図である。
【図１５】物体移動時におけるサブセンサから得られたオン期間およびオフ期間での画像とそれらの差分画像を表す図である。
【図１６】画像処理部における合成処理を説明するための図である。
【図１７】セットアップ処理におけるオン期間の長さ（オン時間）の設定処理についての流れ図である。
【図１８】セットアップ処理におけるオン期間のオン電流（オン期間中の光強度）の設定処理についての流れ図である。
【図１９】比較例に係るＩＲ光源の時分割駆動のタイミングチャート等を表すものである。
【図２０】外光レベルの違いによる検出精度の違いを説明するための図である。
【図２１】変形例１に係るディスプレイパネルの概略構成を表す断面図である。
【図２２】適用例１の外観を表す斜視図である。
【図２３】（Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。
【図２４】適用例３の外観を表す斜視図である。
【図２５】適用例４の外観を表す斜視図である。
【図２６】（Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
（１）実施の形態：液晶ディスプレイを用いた画像入出力装置の例
（２）変形例１：有機ＥＬディスプレイを用いた画像入出力装置の例
（３）適用例１〜５：上記画像入出力装置を搭載した電子機器の例
【００１６】
＜実施の形態＞
［画像入出力装置１の全体構成］
図１は、本発明の一実施の形態に係る画像入出力装置（画像入出力装置１）の全体構成を表すものである。画像入出力装置１は、ディスプレイパネル１０に所定の図形や文字などの画像を表示する表示機能だけでなく、接触または近接する物体を撮像して、物体の位置等の情報を取得する機能（入力機能）をも有する入力機能付きの画像表示装置である。この画像入出力装置１は、ディスプレイパネル１０、バックライト１５、表示ドライブ回路１２、受光ドライブ回路１３、画像処理部１４およびアプリケーションプログラム実行部１１を備えている。
【００１７】
ディスプレイパネル１０は、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（ＬＣＤ；Liquid Crystal Display）を用いて構成されている。バックライト１５は、画像表示用あるいは物体の検出用の光源として機能するものである。これらのディスプレイパネル１０およびバックライト１５の具体的な構成については後述する。
【００１８】
表示ドライブ回路１２は、ディスプレイパネル１０において表示データに基づく画像が表示されるように、ディスプレイパネル１０の線順次表示駆動およびバックライト１５の点灯駆動を行う回路である。本実施の形態では、この表示ドライブ回路１２が、バックライト１５を構成するＩＲ光源１５１Ｂ（後述）の点灯（オン）および消灯（オフ）を、外光レベルに応じて最適化されたオン期間およびオフ期間となるように、時分割駆動するようになっている。なお、この表示ドライブ回路１２が、本発明の光源駆動部に対応している。
【００１９】
受光ドライブ回路１３は、ディスプレイパネル１０に配置されたフォトセンサ（後述のメインセンサ１１１Ａ，サブセンサ１１１Ｂ）の線順次受光駆動を行う回路である。すなわち、受光ドライブ回路１３は、上述したようなＩＲ光源１５１Ｂの時分割駆動によるオン期間およびオフ期間のそれぞれにおいて、光検出がなされるように、メインセンサ１１１Ａ，サブセンサ１１１Ｂを駆動するものである。メインセンサ１１１Ａ，サブセンサ１１１Ｂからの出力（光検出信号）は、画像としてフレームメモリ１３Ａに記録されるようになっている。なお、この受光ドライブ回路１３が、本発明の光検出素子駆動部に対応している。
【００２０】
画像処理部１４は、受光ドライブ回路１３から供給された画像に基づいて、所定の画像処理および演算処理を行うことにより、演算処理物体の位置等に関する情報を取得するものである。
【００２１】
アプリケーションプログラム実行部１１は、画像処理部１４で得られた物体の情報に基づいて所定のアプリケーションソフトに応じた処理を実行するものである。このような処理としては、例えば、物体の位置座標を表示データに含むようにし、ディスプレイパネル１０上に表示させるものなどが挙げられる。このアプリケーションプログラム実行部１１で生成される表示データは、表示ドライブ回路１２へ供給されるようになっている。
【００２２】
（ディスプレイパネル１０の構成）
続いて、ディスプレイパネル１０の具体的な構成について説明する。図２は、ディスプレイパネル１０およびバックライト１５の断面構造を表すものである。ディスプレイパネル１０は、例えばＲ，Ｇ，Ｂの３原色の表示画素（画像表示素子）がマトリクス状に配設されたものである。このディスプレイパネル１０は、一対の基板１１０，１２０同士の間に液晶層１３０を封止したものであり、基板１１０の下方にバックライト１５が設けられる。基板１１０の光入射側（バックライト１５の側）には偏光板１１６、基板１２０の光出射側（表示側）には偏光板１２３がそれぞれ貼り合わせられている。偏光板１１６，１２３は、クロスニコルの状態で配置され、それぞれ特定の偏光成分を選択的に透過させるものである。
【００２３】
液晶層１３０は、電界の状態に応じてそこを通過する光を変調するものであり、例えばＦＦＳ（フリンジフィールドスイッチング）モードやＩＰＳ（インプレーンスイッチング）モードなどの横電界モードの液晶により構成されている。但し、液晶素子としては、このようなＦＦＳモード等の横電界モードに限らず、様々な駆動モードの液晶を用いることができる。
【００２４】
基板１１０は、駆動側の基板であり、例えばガラス等により構成されている。この基板１１０上には、複数の画素駆動用のＴＦＴ１１０Ａと、２種類のフォトセンサ（メインセンサ１１１Ａ，サブセンサ１１１Ｂ）と、メインセンサ１１１Ａおよびサブセンサ１１１Ｂの受光回路用のＴＦＴ（図示せず）が周期的に配設されている。メインセンサ１１１Ａ、サブセンサ１１１Ｂ、これらのメインセンサ１１１Ａおよびサブセンサ１１１Ｂの受光回路用のＴＦＴ、および画素駆動用のＴＦＴ１１０Ａは、例えば基板１１０上に、同一のシリコン薄膜プロセスにより形成することが可能である。ＴＦＴ１１０Ａは、各表示画素を、例えばアクティブマトリクス方式により駆動するためのものであり、後述の画素電極１１５に電気的に接続されている。
【００２５】
メインセンサ１１１Ａ，サブセンサ１１１Ｂは、半導体のＰＮ接合部に光を照射したときに、電流や電圧を検出することが可能な光検出素子である。メインセンサ１１１Ａおよびサブセンサ１１１Ｂの受光回路は、詳細は後述するが、例えば各センサに対応して３つのトランジスタを含んでいる。このようなメインセンサ１１１Ａおよびサブセンサ１１１Ｂは、例えばシリコン半導体を用いたＰＩＮフォトダイオードやＰＤＮ（Photo sensitive doped layer : Ｐ−doped−Ｎ)などから構成されている。なお、メインセンサ１１１Ａが本発明の第１光検出素子、サブセンサ１１１Ｂが第２光検出素子にそれぞれ対応している。
【００２６】
これらのＴＦＴ１１０Ａ、メインセンサ１１１Ａおよびサブセンサ１１１Ｂの凹凸を平坦化させるために、基板１１０上には平坦化膜１１２が形成されている。平坦化膜１１２上には、共通電極１１３と複数の画素電極１１５とが、絶縁膜１１４を介して対向するように設けられている。このうち、共通電極１１３は、各表示画素に共通の電極として、画素電極１１５は表示画素ごとに分離してそれぞれ配設されている。本実施の形態では、各画素電極１１５は、例えば櫛歯状にパターニングされている。これにより、液晶層１３０と共に、横電界モード、例えばＦＦＳモードや、ＩＰＳモード等の表示駆動がなされるようになっている。
【００２７】
基板１２０は、カラーフィルタ側の基板であり、例えばガラス等により構成されている。基板１２０の一面には、カラーフィルタとしての赤色フィルタ１２１Ｒ、緑色フィルタ１２１Ｇおよび青色フィルタ１２１Ｂが、各表示画素に対応して設けられている。これらの赤色フィルタ１２１Ｒ、緑色フィルタ１２１Ｇおよび青色フィルタ１２１Ｂと同層には、ＩＲ透過ブラック１２２が設けられている。ＩＲ透過ブラック１２２は、可視光を遮断し、赤外光を透過させるフィルタである。
【００２８】
ＩＲ透過ブラック１２２は、例えば感光性を有するレジスト材料に、特定の波長領域の光を選択的に透過、遮断する顔料を分散させた顔料分散レジストにより構成されている。レジスト材料としては、アクリル系、ポリイミド系、ノボラック系等が挙げられる。顔料としては、製造プロセスにおいて耐熱性および耐光性を有し、カラーフィルタなどに使用される顔料で、近赤外光を透過する性質を有するものが挙げられる。具体的には、赤色（Red）、黄色（Yellow）、橙色（Orange）を示すアゾ顔料、青色（Blue）、緑色（Green）を示すフタロシアニン顔料、および紫色（Violet）を示すジオキサジン顔料などのうち、少なくとも一種を含むものである。あるいは、有機系黒色の顔料を用いるようにしてもよい。
【００２９】
このような構成において、ＩＲ透過ブラック１２２の下方に、メインセンサ１１１Ａが配設されている。サブセンサ１１１Ｂは、例えばＧ画素とＢ画素との間の領域に設けられ、本実施の形態では、このサブセンサ１１１Ｂの上方に緑色フィルタ１２１Ｇが延在して形成されている。メインセンサ１１１Ａ，サブセンサ１１１Ｂは、例えば図３（Ａ），（Ｂ）に示したように、表示エリア２１において１対１の割合で交互に配置されている。
【００３０】
（バックライト１５の構成）
バックライト１５は、表示用の光として白色光を発すると共に、検出用の光として近赤外光（波長７８０ｎｍ〜１１００ｎｍ）を発するものである。このようなバックライト１５としては、例えば、平板状の導光板１５０の両側部に、白色光を発する白色光源１５１Ａと近赤外光を発するＩＲ光源１５１Ｂとを設けたものが用いられる。白色光源１５１ＡおよびＩＲ光源１５１Ｂとしては、それぞれ例えば発光ダイオード（ＬＥＤ：Light Emitting Diode）が挙げられる。このような構成により、白色光源１５１Ａから発せられた白色光と、ＩＲ光源１５１Ｂから発せられた近赤外光とは、それぞれ導光板１５０内を伝播したのち、その上面から取り出される。本実施の形態では、上述したように、ＩＲ光源１５１Ｂのオン期間およびオフ期間が、表示ドライブ回路１２により切り替えられるようになっている。
【００３１】
なお、検出用の光としては、上記近赤外光に限らず、人間の目に感度がある波長域（例えば３８０ｎｍ〜７８０ｎｍ）以外の波長域の光、すなわち非可視光を用いるようにすればよい。例えば、可視光よりも短波長側の紫外光、特に、近紫外光（３００ｎｍ〜３８０ｎｍ）を用いるようにしてもよい。但し、近紫外光を用いた場合、偏光板１１６，１２３は、可視および近紫外領域においては偏光特性を有するため、透過率が低下して検出光量が低下したり、表示画像の影響を受ける虞がある。一方、近赤外光を用いた場合には、偏光板１１６，１２３の偏光特性が近赤外領域において失われるため、検出光量の低下を抑制することができる。このため、本実施の形態のように、偏光板を必要とする液晶パネルを用いた場合には、非可視光としては近赤外光を用いることが望ましい。
【００３２】
（メインセンサ１１１Ａ，サブセンサ１１１Ｂの受光波長領域について）
ここで、図４（Ａ）〜（Ｃ）を参照して、メインセンサ１１１Ａおよびサブセンサ１１１Ｂにおける各受光波長領域について説明する。図４（Ａ）は、ＩＲ光源１５１Ｂの発光波長領域、図４（Ｂ）はメインセンサ１１１Ａの受光波長領域、図４（Ｃ）はサブセンサ１１１Ｂの受光波長領域をそれぞれ表すものである。
【００３３】
ＩＲ光源１５１Ｂの発光波長領域（近赤外領域）をΔλ２３（波長λ２〜波長λ３）とした場合（図４（Ａ））、メインセンサ１１１Ａの受光波長領域は、図４（Ｂ）中に符号Ｇ２で示したように、例えば波長λ１よりも長波長側の領域となるように設定されている。すなわち、メインセンサ１１１Ａは、図４（Ａ）中の符号Ｇ１で示した波長領域Δλ２３を受光波長領域として含んでおり、これにより物体からの反射光を検出できるようになっている。
【００３４】
一方、サブセンサ１１１Ｂの受光波長領域は、図４（Ｃ）中に符号Ｇ３で示したように、波長λ２よりも短波長側の領域となるように設定されている。すなわち、サブセンサ１１１Ｂでは、ＩＲ光源１５１Ｂの発光波長領域Δλ２３における受光感度が、メインセンサ１１１Ａよりも低くなっている（例えば、波長領域Δλ２３における受光感度が０（ゼロ）となっている）。これにより、サブセンサ１１１Ｂでは、ＩＲ光源１５１Ｂのオン期間およびオフ期間に拘らず、物体の影を撮像するようになっている。上記のようなメインセンサ１１１Ａおよびサブセンサ１１１Ｂにおける受光波長領域は、フォトダイオードの受光面に各受光波長領域とマッチングする光学フィルタ等を設置することにより実現される。このような光学フィルタとしては、例えば感光性を有するレジスト材料に、特定の波長領域の光を選択的に透過、遮断する顔料を分散させた顔料分散レジストが用いられる。
【００３５】
また、ここでは、波長領域Δλ１２（波長λ１〜波長λ２の波長領域）が、可視領域に相当し、この可視領域については、メインセンサ１１１Ａおよびサブセンサ１１１Ｂの双方が受光波長領域として含んでいる。なお、検出用の光の発光波長領域と、メインセンサ１１１Ａおよびサブセンサ１１１Ｂの受光波長領域との関係は、上記のような関係に限られない。但し、メインセンサ１１１Ａにおいて、検出光の波長領域における受光感度をサブセンサ１１１Ｂよりも高くすると共に、メインセンサ１１１Ａにおいて受光可能な外光の波長領域については、サブセンサ１１１Ｂにおいても受光可能となっていることが望ましい。これは、詳細は後述するが、メインセンサ１１１Ａで受光される外光に起因して生じる偽信号を検出することが、サブセンサ１１１Ｂの役割だからである。
【００３６】
なお、本実施の形態において、外光とは、ＩＲ光源１５１Ｂから発せられ物体表面において反射された反射光以外の光を指す。具体的には、太陽光や室内照明等の環境光や、バックライト１５からの白色光のうち迷光となった光を指す。
【００３７】
続いて、画像入出力装置１の作用、効果について説明する。
【００３８】
［画像入出力装置１の表示動作］
画像入出力装置１では、アプリケーションプログラム実行部１１から供給される表示データに基づいて、表示用ドライブ回路１２において表示用の駆動信号が生成される。この駆動信号により、ディスプレイパネル１０の線順次表示駆動がなされる。また、このとき、表示ドライブ回路１２は、バックライト１５における白色光源１５１Ａの点灯駆動を行う。ディスプレイパネル１０では、上記駆動信号に基づいて、共通電極１１３と画素電極１１５との間に所定の閾値電圧以上の駆動電圧が供給されると、液晶層１３０における液晶状態の変調が行われる。これにより、バックライト１５から偏光板１１６を介して液晶層１３０へ入射した白色光が、表示画素ごとにそれぞれ変調されたのち、対応するカラーフィルタ１２１Ｒ，１２１Ｇ，１２１Ｂを通過して、偏光板１２３の上方へ出射する。このようにして、ディスプレイパネル１０上に画像が表示される。
【００３９】
［画像入出力装置１の入力動作］
一方、ディスプレイパネル１０へ近接あるいは接触する物体（例えば、指先２など）がある場合、受光ドライブ回路１３による線順次受光駆動により、このディスプレイパネル１０におけるメインセンサ１１１Ａおよびサブセンサ１１１Ｂにより物体が撮像される。このとき、表示ドライブ回路１２は、バックライト１５におけるＩＲ光源１５１Ｂの点灯駆動を行う。メインセンサ１１１Ａの上方にＩＲ透過ブラック１２２、サブセンサ１１１Ｂの上方に緑色フィルタ１２１Ｇがそれぞれ設けられていることにより、メインセンサ１１１Ａに近赤外光、サブセンサ１１１Ｂに可視光（ここでは、緑色光）が選択的に入射し易くなる。
【００４０】
これらのメインセンサ１１１Ａおよびサブセンサ１１１Ｂからの光検出信号は、受光ドライブ回路１３へ供給され、撮像画像として画像処理部１４へ出力される。画像処理部１４は、この撮像画像に基づいて、所定の画像処理および演算処理を行うことにより、物体の位置等に関する情報を取得する。
【００４１】
以下、このような入力動作における具体的な動作（光源駆動動作、光検出動作、画像処理動作およびセットアップ処理動作）について説明する。図５（Ａ）は、単位フレーム期間におけるＩＲ光源１５１Ｂの時分割駆動のタイミングチャート（オン期間およびオフ期間の一例）について表すものである。図５（Ｂ）は、ＩＲ光源１５１Ｂからの出力を表すものである。図５（Ｃ）〜（Ｅ）はそれぞれ、ＩＲ光源１５１Ｂの時分割駆動に時間的に対応した外光の変化（図５（Ｃ））、メインセンサ１１１Ａ（サブセンサ１１１Ｂ）における読み出しタイミング（図５（Ｄ））、メインセンサ１１１Ａからの出力（図５（Ｅ））である。
【００４２】
（１．ＩＲ光源１５１Ｂの時分割駆動動作）
本実施の形態では、上記のような物体の撮像時において、表示ドライブ回路１２がバックライト１５におけるＩＲ光源１５１Ｂの時分割駆動を行い、ＩＲ光源１５１Ｂのオン期間およびオフ期間が切り替わるように駆動する。このとき、例えば図５（Ａ）に示したように、単位フレーム期間（ここでは、１／６０秒）において、オン期間Ｔonがオフ期間Ｔoffよりも短くなるようにする。
【００４３】
また、図５（Ｂ）に示したように、ＩＲ光源１５１Ｂからの出力を例えばピーク値Ａの短パルス矩形波とする。ＩＲ光源１５１Ｂから発せられる近赤外光の信号強度は、このピーク値Ａとオン期間Ｔonとによる積分値となる。従って、詳細は後述するが、近赤外光の出力が、外光レベルに応じて最適化されるように、オン期間Ｔonのピーク値Ａを制御する。ピーク値Ａは、ＩＲ光源１５１Ｂの光強度に相当し、駆動電流によって制御可能である。
【００４４】
このようにして、ＩＲ光源１５１Ｂから出力された近赤外光は、ディスプレイパネル１０を通過したのち、ディスプレイパネル１０上に近接する物体の表面で反射され、再びディスプレイパネル１０へ入射する。
【００４５】
（２．メインセンサ１１１Ａ，サブセンサ１１１Ｂによる光検出動作）
ディスプレイパネル１０へ入射した物体からの反射光は、ＩＲ透過ブラック１２２を透過する一方、サブセンサ１１１Ｂの上方に設けられた緑色フィルタ１２１Ｇでは遮断される。このため、上述した受光ドライブ回路１３による線順次受光駆動により、主にメインセンサ１１１Ａでは物体からの反射光（近赤外光）が受光（検出）される。これと同時に、メインセンサ１１１Ａおよびサブセンサ１１１Ｂでは、外光が検出される。
【００４６】
このとき、図５（Ｄ）に示したように、メインセンサ１１１Ａおよびサブセンサ１１１Ｂにおける読み出しのタイミングは、オン期間Ｔonに応じて設定される。具体的には、まず、オン期間開始直前にリセット（Reset）が行われたのち、オン期間開始から検出光が蓄積され、オン期間終了時に蓄積された光検出信号の読み出し（Read（on））が行われる（受光時間Ｔr）。一方、オフ期間Ｔoffでは、オン期間Ｔonと互いに等しい受光時間（受光時間Ｔｒ）経過後に読み出し（Read（off））が行われる。
【００４７】
このようなメインセンサ１１１Ａおよびサブセンサ１１１Ｂにおける読み出し（およびリセット）は、受光ドライブ回路１３の制御により、線順次走査で行われる。具体的には、次のようなスキャンタイミングで光検出がなされるようになっている。ここで、図６には、メインセンサ１１１Ａを含む等価回路図を示し、図７〜図９にはそれぞれ、メインセンサ１１１ＡのスキャンタイミングおよびＩＲ光源１５１Ｂの発光タイミングを示す。なお、ここでは、メインセンサ１１１Ａを例に挙げて説明するが、サブセンサ１１１Ｂについても同様である。
【００４８】
図６に示したように、メインセンサ１１１Ａを含む受光回路は、例えばメインセンサ１１１Ａの他に、３つのトランジスタＴｒ１〜Ｔｒ３を含んで構成されている。これらのトランジスタＴｒ１〜Ｔｒ３はそれぞれ、例えば薄膜トランジスタ（ＴＦＴ；Thin Film Transistor）などにより構成されている。この受光回路では、メインセンサ１１１Ａのカソードが電源ＶＤＤに接続され、アノードがトランジスタＴｒ１のドレインおよびトランジスタＴｒ２のゲートにそれぞれ接続されている。トランジスタＴｒ１のソースは接地（グランド）ＶＳＳに接続され、ゲートはリセット信号線３１０に接続されている。トランジスタＴｒ２のソースは電源ＶＤＤに接続され、ドレインはトランジスタＴｒ３のドレインに接続されている。トランジスタＴｒ３のゲートはリード信号線３２０に接続され、ソースは受光信号出力線３３０に接続されている。この受光信号出力線３３０は、図示しない定電流源に接続されている。
【００４９】
上記構成により、リセット信号線３１０が「Ｈ（ハイ）」状態となると、トランジスタＴｒ１がオン状態となることにより、メインセンサ１１１Ａにおける光検出の光量に応じたアノード側の受光電位が接地ＶＳＳにリセットされる。一方、リード信号線３２０が「Ｈ」状態となると、メインセンサ１１１Ａのアノード側の受光電位に応じて、ソースフォロワとして機能するトランジスタＴｒ２，Ｔｒ３がオン状態となり、その受光電位が受光信号出力線３３０へ出力される（読み出しが行われる）。このような読み出しおよびリセットが、オン期間Ｔonに応じた所定のタイミング（例えば、以下のタイミングチャート１〜３）で行われるように、マトリクス状の配置されたメインセンサ１１１Ａに対して線順次（１〜ｎ本目）に光検出動作がなされる。
【００５０】
（タイミングチャート１）
具体的には、図７（Ａ），（Ｂ）に示したようなタイミングチャートに基づいてメインセンサ１１１Ａと、ＩＲ光源１５１Ｂとをそれぞれ駆動することができる。図７（Ａ）に示したように、メインセンサ１１１Ａでは、１〜ｎ本目の各露光時間（受光時間）Ｌ１〜Ｌｎ（図７（Ａ）中の斜線部分）において光検出信号が得られるようになっている。１本目における露光時間Ｌ１は、１本目のリセット（Reset(１)）からリード（Read(１)）までの時間となり、同様に、ｎ本目の露光時間Ｌｎは、ｎ本目のリセット（Reset(ｎ)）からリード（Read(ｎ)）までの時間となっている。また、このような線順次走査では、１〜ｎ本目までのリセットを順次行うためのリセット期間ΔResetと、１〜ｎ本目までの読み出しを順次行うための読み出し期間ΔReadが必要となる。なお、以下では、これらのリセット期間ΔResetおよび読み出し期間ΔReadを単に「スキャン期間」という。
【００５１】
他方、図７（Ｂ）に示したように、ＩＲ光源１５１Ｂのオン期間Ｔonは、上記のようなスキャンタイミングにおけるReset(１)からRead(ｎ)までの期間と等しくなっている。即ち、ＩＲ光源１５１Ｂのオン期間Ｔonが、メインセンサ１１１Ａのスキャン期間をカバーするように設定されている。
【００５２】
このようなオン期間Ｔonにおける光検出動作が終了すると、メインセンサ１１１Ａでは、オフ期間Ｔoffにおけるスキャンを開始する。具体的には、メインセンサ１１１Ａにおいて、オン期間Ｔonのｎ本目の読み出しRead(ｎ)と同時に、１本目のリセットReset(１)が行われると共にＩＲ光源１５１Ｂが消灯（オフ）となるように駆動される。
【００５３】
（タイミングチャート２）
あるいは、図８（Ａ），（Ｂ）に示したようなタイミングチャートに基づいてメインセンサ１１１Ａと、ＩＲ光源１５１Ｂとをそれぞれ駆動するようにしてもよい。この場合にも、図８（Ａ）に示したように、メインセンサ１１１Ａでは露光時間Ｌ１〜Ｌｎ（図８（Ａ）中の斜線部分）において光検出信号が得られると共に、リセット期間ΔResetと読み出し期間ΔReadとが必要となる。
【００５４】
但し、ここでは、図８（Ｂ）に示したように、ＩＲ光源１５１Ｂのオン期間Ｔonは、上記のようなスキャンタイミングにおけるReset(ｎ)からRead(１)までの期間と等しくなっている。即ち、ＩＲ光源１５１Ｂのオン期間Ｔonが、メインセンサ１１１Ａのスキャン期間を避けるように設定されている。このように設定することにより、露光時間（受光時間）内に発光した分を全て収めることができるため、発光出力の無駄がなくなり消費電力の削減につながる。なお、オフ期間Ｔoffにおけるスキャンは、上記タイミングチャート１と同様、オン期間ＴonにおけるRead(ｎ)の終了時に開始するようになっている。
【００５５】
（タイミングチャート３）
上記のように、ＩＲ光源１５１Ｂのオン期間Ｔonがメインセンサ１１１Ａのスキャン期間を避けるように設定されている場合には、図９（Ａ），（Ｂ）に示したようなタイミングで駆動することも可能である。即ち、図９（Ａ）に示したように、オン期間ＴonにおけるRead(1)と、オフ期間ＴoffにおけるReset(ｎ)とを連続して行うようにすることができる。これにより、オン期間Ｔonにおける読み出しとオフ期間Ｔoffにおける読み出しとの間の時間差を縮めることができるため、偽信号の発生を効果的に抑制し得ると共に、出力の遅れを改善することができる。
【００５６】
すなわち、本実施の形態では、単位フレーム期間において、オン期間Ｔonがオフ期間Ｔoffよりも短くなるが、オフ期間Ｔoffでの読み出しのタイミングは、オン期間Ｔonの長さによって決定される。これにより、メインセンサ１１１Ａでは、例えば図５（Ｅ）に示したような出力が得られる。
【００５７】
ここで、図１０に、上記光検出動作（ステップＳ１１，Ｓ１２）および画像処理部１４における画像処理動作（ステップＳ１３〜Ｓ１６）のフローチャートを示す。例えば、まず、オン期間Ｔonにおいて、メインセンサ１１１Ａから光検出信号Ｖon１、サブセンサ１１１Ｂから光検出信号Ｖon２をそれぞれ読み出し、光検出信号Ｖon１に基づく画像ＭＡおよび光検出信号Ｖon２に基づく画像ＳＡを取得する（ステップＳ１１）。続いて、オフ期間Ｔoffにおいて、メインセンサ１１１Ａから光検出信号Ｖoff１、サブセンサ１１１Ｂから光検出信号Ｖoff２をそれぞれ読み出し、光検出信号Ｖoff１に基づく画像ＭＢおよび光検出信号Ｖoff２に基づく画像ＳＢを取得する（ステップＳ１２）。これにより、メインセンサ１１１Ａでは、オン期間の画像ＭＡおよびオフ期間の画像ＭＢが順次得られ、サブセンサ１１１Ｂでは、オン期間の画像ＳＡおよびオフ期間の画像ＳＢが順次得られる。得られた画像ＭＡ，ＳＡおよび画像ＭＢ，ＳＢは、画像処理部１４へ順次出力される。
【００５８】
なお、オン期間Ｔonの長さや光強度については、検出対象となる物体や外光レベル等の状況に応じて、最適化する処理（セットアップ処理）を行うが、このセットアップ処理動作については、後述する。
【００５９】
（３．画像処理部１４による画像処理動作）
（３−１．差分画像生成処理）
画像処理部１４は、まず、メインセンサ１１１Ａからの画像ＭＡと画像ＭＢとの差分画像ＭＣを生成すると共に、サブセンサ１１１Ｂからの画像ＳＢと画像ＳＢとの差分画像ＳＣを生成する（ステップＳ１３）。ここで、画像ＭＡは、反射光による信号（以下、反射光信号という）および外光による信号（以下、外光信号という）を含む一方、画像ＭＢは外光信号のみを含んでいる。よって、これらを引き算（ＭＡ−ＭＢ）することにより、ノイズとなる外光信号が除去され、反射光信号による差分画像ＭＣが得られる。
【００６０】
例えば図１１（Ａ）に示したように、物体（指先２）が触れている場合、メインセンサ１１１Ａにおけるオン期間Ｔonの光検出信号Ｖon１は、図１１（Ｂ）に示したように、指先２が触れた画素位置において、指先２の表面での反射率に対応した電圧値Ｖｂを示す。一方、指で触れた個所以外では、外光レベルに対応した電圧値Ｖａを示す。これに対して、メインセンサ１１１Ａにおけるオフ期間Ｔoffの光検出信号Ｖoff１は、指で触れた個所以外では、外光レベルに対応した電圧値Ｖａとなる点は同じであるが、指で触れた個所では、外光が遮断されているため、非常にレベルの低い電圧値Ｖｃを示す。よって、オン期間とオフ期間との受光電圧の差分を検出する（差分画像ＭＣを生成する）ことにより、電圧値Ｖｂと電圧値Ｖｃとの差のように、一定以上の差がある個所を、指先２の接触あるいは近接した個所であると判断することが可能となる。
【００６１】
（３−２．合成画像生成処理）
続いて、生成した差分画像ＭＣ，ＳＣに基づいて、合成画像ＭＳを生成する（ステップＳ１４）。図１２〜図１５に、この合成画像ＭＳの生成処理の一例を示す。
【００６２】
ここで、図１２に示したように、オン期間とオフ期間との間には、一定の時間差があるため、物体が移動する場合には、オン期間における光検出信号Ｖon１（ＭＡ）とオフ期間における光検出信号Ｖoff１（ＭＢ）との間で、物体に対応する部分に位置ずれが生じる。このため、これら２つの画像ＭＡ，ＭＢの差分画像ＭＣおよびその光検出信号Ｖ１（＝Ｖon１−Ｖoff１））において、物体の位置に対応する本来の信号の他に、別の位置に偽信号Ｆ１０１が生じてしまう（図１２，図１３）。このような偽信号Ｆ１０１は、物体の位置検出精度を低下させる要因となるため、できるだけ除去することが望ましい。
【００６３】
そこで、画像処理部１４は、メインセンサ１１１Ａにより得られる差分画像ＭＣと、サブセンサ１１１Ｂにより得られる差分画像ＳＣとに基づく合成画像を生成する。ここで、図１４，図１５に示したように、差分画像ＳＣについても、物体が移動する場合には、差分画像ＭＣと同様の偽信号Ｆ１０１が生じる。
【００６４】
受光ドライブ回路１３は、まず、図１６に示したように、サブセンサ１１１Ｂにより得られる差分画像ＳＣに基づいて所定のマスク画像Ｅを生成し、このマスク画像Ｅと差分画像ＭＣとの論理積を取ることにより、これらの合成画像ＭＳを生成する。この際、受光ドライブ回路１３は、差分画像ＳＣに対し、例えば２値化処理および画像反転処理を施すことにより、マスク画像Ｅを生成することができる。２値化処理としては、差分画像ＳＣの中で、ある値（閾値）以上の受光信号を偽信号とみなし、偽信号の部分をマスクする画像に変換すればよい。なお、このようなマスク画像Ｅを用いて合成画像ＭＳを生成する方法の他に、例えば、差分画像ＭＣと差分画像ＳＣとの差分画像（＝ＭＣ−ＳＣ）を、合成画像ＭＳとして用いるようにしてもよい。
【００６５】
（３−３．位置判定処理）
画像処理部１４は、このようにして生成された合成画像ＭＳを用いて、物体の重心Ｇや面積Ｓを算出する演算処理を行い（ステップＳ１５）、物体の位置等を判定する（ステップＳ１６）。この際、例えば合成画像ＭＳにおいて、所定の閾値（後述）以上の値を持つ領域を２値化し、この２値化後の画像からノイズ除去を行った後、中心座標のｘ、ｙ値のそれぞれの平均値を算出することにより、物体の重心座標Ｇや面積Ｓを算出する。このようにして、メインセンサ１１１Ａによる差分画像ＭＣと、サブセンサ１１１Ｂによる差分画像ＳＣとに基づく合成画像ＭＳを用いて、物体情報が取得される。これにより、例えば物体がディスプレイパネル１０上で動いているような場合であっても、合成画像ＭＳにおける偽信号の発生が抑えられる。
【００６６】
（４．セットアップ処理）
次に、上記のような物体の位置等の入力を行う前に、オン期間Ｔonの長さや光強度について、検出対象となる物体や外光レベル等の状況に応じて最適化するためのセットアップ処理を行う。本実施の形態では、オン期間Ｔonは、フレーム周波数６０Ｈｚ、周期１／６０秒に対し、数１００μｓ〜１／１２０秒（＝１／６０秒×１／２）の間で可変となっている。また、光検出信号は、ＡＤ変換されたのち画像処理されるが、このＡＤ変換の入力可能範囲をダイナミックレンジという。図１７，１８に、セットアップ処理のフローチャートの一例を示す。
【００６７】
まず、指先等がディスプレイパネル１０上に長押しされることにより、パワーセーブ状態からアクティブ状態に移り、表示ドライブ回路１２の駆動により、単位フレーム期間において、ＩＲ光源１５１Ｂのオン期間Ｔonおよびオフ期間Ｔoffの切り替えがなされる。
【００６８】
（４−１．オン期間Ｔonの長さの設定）
例えば、図１７に示したように、オフ期間Ｔoffにおいて、メインセンサ１１１Ａおよびサブセンサ１１１Ｂのそれぞれで光検出信号Ｖoff１，Ｖoff２を読み出し、画像ＭＢ，ＳＢを取得する（ステップＳ２１）。この際、メインセンサ１１１Ａおよびサブセンサ１１１Ｂにおける読み出しは、オン期間Ｔonと互いに等しい受光期間経過後に行う。このようにして取得した光検出信号Ｖoff１，Ｖoff２（ＭＢ，ＳＢ）がダイナミックレンジの範囲内、望ましくは１０〜９０％に入るように、オン期間Ｔonの長さを設定する（ステップＳ２２）。ダイナミックレンジを越える信号が入ると、ＡＤ出力値はサチュレーションを起こして、一定の値を出力するようになるため、反射光信号の変化を検出しにくくなるためである。そして、設定したオン期間Ｔonの長さが上記範囲内で収束することを確認して、本設定処理を終了する。
【００６９】
（４−２．オン期間Ｔonにおける光強度の設定）
また、図１８に示したように、まず、上述したステップＳ１１，Ｓ１２（図１０）と同様にして、オン期間Ｔonにおいて画像ＭＡ，ＳＡを取得し（ステップＳ３１）、オフ期間Ｔoff において画像ＭＢ，ＳＢを取得する（ステップＳ３２）。続いて、上述のステップＳ１３と同様にして差分画像ＭＣ，ＳＣを生成したのち、上述のステップＳ１２と同様にして、合成画像ＭＳを生成する。
【００７０】
このようにして生成した合成画像ＭＳに基づいて、オン期間における光強度（オン電流）を設定する（ステップＳ３５）。具体的には、合成画像ＭＳにおける反射光信号の最大値（異常点を除く）が、ダイナミックレンジの範囲内、望ましくは５〜９０％に入るように、光強度（オン電流）を最適化する。そして、設定したオン期間Ｔonにおける反射光信号の最大値が、上記範囲内で収束することを確認したのち、反射光信号の最大値の約半分となる値を、物体の２値化閾値として設定する（ステップＳ３６）。なお、ここでの設定が指先を対象としている場合には、上記のようにして求めた閾値に対して所定の比率となる値を、例えばスタイラス等の閾値として設定することも可能である。このようにして設定した物体の閾値に基づいて、上述した位置判定処理において、重心Ｇや面積Ｓの演算処理が行われる。
【００７１】
なお、外光レベルが強過ぎる場合等、反射光信号による最大値が上記範囲内に設定不可の場合には、ＩＲ光源１５１Ｂを消灯し続け、メインセンサ１１１Ａの電流源についても遮断する（消費電力低減策）。この場合、サブセンサ１１１Ｂのみで光検出を行い、物体の位置に応じた信号（影信号）による画像（影画像）の最大値と最小値のセンターに、物体の２値化閾値を設定する。この場合、サブセンサ１１１Ｂで取得された影画像のうち、設定した２値化閾値以下の値を含む２値化画像を生成し、孤立点等のノイズ除去後、重心Ｇや面積Ｓの演算処理を行って、物体の位置等の情報を取得する。
【００７２】
また、反射光信号は、オン期間Ｔonにおける光強度とオン期間Ｔonの長さとの積分値により決まるため、外光が問題とならない場合には、上記のような光強度の最適化に限らず、オン期間Ｔonにおける光強度および長さのうち少なくとも一方を制御すればよい。
【００７３】
以上のように、本実施の形態では、メインセンサ１１１Ａおよびブセンサ１１１Ｂの出力に基づいて、画像処理部１４は、オン期間Ｔonにおける画像ＭＡ，ＳＡとオフ期間Ｔoffにおける画像ＭＢ，ＳＢとの差分画像ＭＣ，ＳＣを生成する。この差分画像ＭＣ，ＳＣに基づいて物体の位置等を判定する。すなわち、差分画像ＭＣでは物体からの反射光および外光の動き、差分画像ＳＣでは外光の動きがそれぞれ検出されるため、これらの差分画像ＭＣ，ＳＣを合成することにより、物体からの反射光のみを分離し、そこから物体の位置等を判定することができる。ここで、表示ドライブ回路１２の駆動により、オン期間Ｔonがオフ期間Ｔoffよりも短く、かつ各期間において互いに等しい受光時間経過後に読み出しを行う。これにより、オン期間Ｔonとオフ期間Ｔoffとを互いに等しい時間間隔で時分割駆動する場合に比べ、オン期間Ｔonおよびオフ期間Ｔoffにおける各受光時間が減少する。
【００７４】
ここで、図１９（Ａ）に、本実施の形態の比較例として、単位フレーム期間において、ＩＲ光源１５１Ｂのオン期間（Ｔ100）とオフ期間（Ｔ100）とを互いに等しい時間間隔で時分割駆動する場合のタイミングチャートを示す。この場合、ＩＲ光源１５１Ｂの出力は、図１９（Ｂ）のような矩形波となる。また、比較例において、フォトセンサからの読み出しは、図１９（Ｄ）に示したように、各期間の終了時に行う。
【００７５】
この場合、図２０（Ａ）に示したように、外光レベルが比較的低い場合には、外光信号がダイナミックレンジＤＲ内となり、反射光信号が精度良く検出されるが、図２０（Ｂ）に示したように、外光レベルが比較的高い場合には、外光信号がダイナミックレンジＤＲ外となり、メインセンサ１１１Ａおよびサブセンサ１１１Ｂが飽和する。これにより、反射光信号を検出しにくくなる。また、スタイラス３等、検出面積が小さい物体に対しては、被検出側に外光が回り込み、反射光信号の検出が困難となってしまう。また、この比較例に係る時分割駆動では、例えば図１９（Ｃ）に示したように、単位フレーム期間において外光が経時的に変化する場合、例えば図１９（Ｅ）に示したような出力となり、偽信号が発生し易くなる。また、物体が移動する場合にも、偽信号が発生し易くなる。
【００７６】
これに対し、本実施の形態では、上述したように、外光レベルに応じたオン期間Ｔonの制御により、オン期間Ｔonおよびオフ期間Ｔoffにおける各受光時間が減少する。これにより、上記比較例に比べ、外光レベルが強い場合にもメインセンサ１１１Ａ，サブセンサ１１１Ｂが飽和しにくくなると共に、物体が移動する場合や外光レベルが変化する場合に、偽信号を発生しにくくすることができる。よって、使用状況によらず、物体の位置等の情報を精度良く取得することが可能となる。
【００７７】
次に、上記実施の形態の画像入出力装置１のディスプレイパネルの変形例（変形例１）について説明する。以下では、上記実施の形態と同様の構成要素については、同一の符号を付し、適宜説明を省略する。
【００７８】
（変形例１）
図２１は、変形例１に係るディスプレイパネル２０の断面構成を表すものである。ディスプレイパネル２０は、表示画素として有機ＥＬ素子を用いた有機ＥＬディスプレイである。このディスプレイパネル２０では、基板１１０上に形成された有機ＥＬ素子を、基板１２０により封止層２３０を介して封止したものである。なお、本変形例では、上記実施の形態で説明したバックライト１５は不要である。
【００７９】
駆動基板１１０の平坦化膜１１２上には、画素ごとに陽極としての画素電極２１０が形成され、各画素電極２１０に共通の層として、紫外光を発生する紫外発光層２１１が形成されている。この紫外発光層２１１上には、陰極としての共通電極２１２が設けられている。共通電極２１２上には、Ｒ，Ｇ，Ｂの表示画素に対応して、赤色変換層２１３Ｒ、緑色変換層２１３Ｇおよび青色変換層２１３Ｂが形成されている。
【００８０】
なお、画素電極２１０と紫外発光層２１１との間には、各画素に共通して正孔注入層や正孔輸送層が設けられていてもよい。また、共通電極２１２と紫外発光層２１１との間には、各画素に共通して電子注入層や電子輸送層が設けられていてもよい。更に、画素電極２１０を陰極、共通電極２１２を陽極として機能させるようにしてもよい。
【００８１】
紫外発光層２１１は、蛍光性または燐光性を有する発光材料を含んで構成され、電界をかけることにより、画素電極２１０から注入された正孔の一部と、共通電極２１２から注入された電子の一部とが再結合して、紫外光を発生するものである。この紫外発光層２１１の構成材料としては、例えばトリアゾール系誘導体（ＴＡＺ）などが用いられる。この場合、ＢＣＰ，Ｂ−phen，Ｂｕ−ＰＢＤなどのワイトギャップなキャリア輸送材料と組み合わせることが望ましい。紫外発光層２１１に隣接する正孔注入層、正孔輸送層、電子輸送層および電子注入層（いずれも図示せず）などへのエネルギー移動による発光効率低下、発光波長の長波長化を回避することができるからである。
【００８２】
赤色変換層２１３Ｒ、緑色変換層２１３Ｇおよび青色変換層２１３Ｂは、紫外発光層２１１より発生した紫外光の一部を、各色の光に色変換（エネルギー変換）する色変換層である。これらの赤色変換層２１３Ｒ、緑色変換層２１３Ｇおよび青色変換層２１３Ｂは、例えば蛍光性または燐光性を有する発光材料を含んで構成され、紫外発光層２１１からのエネルギー移動または紫外発光層２１１からの発光の再吸収を経て、各色の光を発生するものである。これらの赤色変換層２１３Ｒ、緑色変換層２１３Ｇおよび青色変換層２１３Ｂの材料や厚みは、必要とされる画像表示用の各色光と、検出用の紫外光との割合などにより適宜選定される。
【００８３】
基板１２０では、紫外透過ブラック２２１が設けられ、この紫外透過ブラック２２１の下方にメインセンサ１１１Ａが配設されている。紫外透過ブラック２２１は、可視光を遮断して、紫外光を選択的に透過させるフィルタである。本変形例において、メインセンサ１１１Ａは、例えば近紫外領域に受光感度を有している。また、基板１２０には、紫外遮光フィルタ２２２が設けられ、この紫外遮光フィルタ２２２の下方にサブセンサ１１１Ｂが配設されている。基板１２０において、これらの紫外透過ブラック２２１および紫外遮光フィルタ２２２は、平坦化膜２２３によって平坦化されている。
【００８４】
このようなディスプレイパネル１０は、上記実施の形態と同様、表示ドライブ回路１２による線順次表示駆動、受光ドライブ回路１３による線順次受光駆動がそれぞれなされる。但し、本変形例では、表示ドライブ回路１２の駆動により、紫外発光層２１１による発光のオン期間がオフ期間よりも短くなるように制御される。また、メインセンサ１１１Ａおよびサブセンサ１１１Ｂにおける読み出しは、上記実施の形態と同様、オン期間およびオフ期間とにおいて、互いに等しい受光期間経過後に行うようにする。他の画像処理動作についても、上記第１実施の形態と同様である。但し、本変形例のような有機ＥＬディスプレイでは、オン期間は各ゲートラインの選択時間で決まる。この点、バックライト１５の全面において時分割駆動がなされる上記実施の形態の液晶ディスプレイの場合と異なり、著しく短い（数μｓ〜１ｍｓ）期間をＯＮ期間に設定可能となる。このため、外光の飽和や、時間差による偽信号の発生については、本変形例の場合ほとんど問題とならない。
【００８５】
本変形例では、画素電極２１０と共通電極２１２との間に所定の駆動電圧が印加されたオン期間において、紫外発光層２１１から紫外光が発生する。発生した紫外光の一部が、それぞれ対応する赤色変換層２１３Ｒ、緑色変換層２１３Ｇおよび青色変換層２１３Ｂにおいて各色の光に色変換されて、画像表示が行われる。一方、紫外発光層２１１から発生した紫外光のうち、色変換されなかった紫外光は、そのまま基板１２０の上面から出射し、ディスプレイパネル２０に近接する物体の表面で反射される。上記実施の形態と同様、画像処理部１４において、この反射光と外光に基づく各画像の合成画像ＭＳを生成し、この合成画像ＭＳに基づく物体の位置等の判定を行う。よって、上記実施の形態とほぼ同等の効果を得ることができる。
【００８６】
（モジュールおよび適用例）
次に、図２２〜図２６を参照して、上記実施の形態および変形例で説明した画像入出力装置の適用例（適用例１〜５）について説明する。上記実施の形態等の画像入出力装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなどのあらゆる分野の電子機器に適用することが可能である。言い換えると、上記実施の形態等の画像入出力装置は、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。なお、以下に示した電子機器の他にも、例えば、検出光による反射成分のみを取り出すという本発明の特徴を活かして、監視カメラのような応用も考えられる。
【００８７】
（適用例１）
図２２は、適用例１に係るテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態等に係る画像入出力装置により構成されている。
【００８８】
（適用例２）
図２３は、適用例２に係るデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態等に係る画像入出力装置により構成されている。
【００８９】
（適用例３）
図２４は、適用例３に係るノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態等に係る画像入出力装置により構成されている。
【００９０】
（適用例４）
図２５は、適用例４に係るビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有している。そして、その表示部５４４は、上記実施の形態等に係る画像入出力装置により構成されている。
【００９１】
（適用例５）
図２６は、適用例５に係る携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態等に係る画像入出力装置により構成されている。
【００９２】
以上、いくつかの実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されず、種々の変形が可能である。例えば、上記実施の形態では、バックライト１５にＩＲ光源１５１Ｂを設け、近赤外光を利用して反射信号を検出する場合について説明したが、検出用の光源はこのＩＲ光源に限定されない。例えば、バックライトから表示用の光として発せられる白色光を検出光として用いてもよい。この場合には、例えば、表示ドライブ回路１２は、バックライト１５における白色光源１５１Ａがディスプレイパネル１０のフレーム周期に応じて点灯および消灯されるように駆動する。
【００９３】
具体的には、単位フレーム期間において、白色光源１５１Ａのオン期間がオフ期間よりも短くなるように、表示ドライブ回路１２が白色光源１５１Ａの駆動制御を行うと共に、このオン期間において各表示画素に表示信号を供給して、画像を表示すればよい。また、この場合にも、受光ドライブ回路１３がメインセンサ１１１Ａおよびサブセンサ１１１Ｂを駆動して、オン期間およびオフ期間において互いに等しい受光時間経過後に読み出しを行うようにする。但し、表示光を検出光とした場合には、反射信号の出力が表示出力に依存したり、黒表示の際には検出ができなくなる場合があるため、表示画像由来のノイズを除くためのシステムが別途必要となる。また、白色光源１５１Ａを３原色（Ｒ，Ｇ，Ｂ）のＬＥＤで構成し、これらのうちの少なくとも１色のＬＥＤの点灯および消灯を切り替えるようにしても構わない。
【００９４】
更に、上記実施の形態では、ディスプレイパネル１０の表示側の偏光板１２３がむき出しになっており、この偏光板１２３の上面に指などの物体が接触する場合を例に挙げて説明したが、偏光板の上には更に他の部材、例えば保護板などが配設されていてもよい。また、本発明のような光学式の位置検出は、物体の表面で反射した光を検出することによって行われるため、抵抗式などの位置検出と異なり、表示画面やモジュール表面から物体が離れている場合でも、位置検出が可能である。すなわち、物体がモジュール表面に接触している場合に限らず、近接している場合等にも、接触している場合と同様に位置検出が可能である。
【００９５】
加えて、上記実施の形態等では、画像入出力装置として液晶素子を用いた液晶ディスプレイおよび有機ＥＬ素子を用いた有機ＥＬディスプレイを例に挙げて説明したが、それ以外の表示装置、例えば電気泳動等を用いたe-paperなどにも適用可能である。
【符号の説明】
【００９６】
１…画像入出力装置、１０…ディスプレイパネル、１１…アプリケーションプログラム実行部、１２…表示ドライブ回路、１３…受光ドライブ回路、１３Ａ…フレームメモリ、１４…画像処理部、１５…バックライト、ＭＡ，ＳＡ…画像（オン期間）、ＭＢ，ＳＢ…画像（オフ期間）、ＭＣ，ＳＣ…差分画像、Ｅ…マスク画像、ＭＳ…合成画像、Ｖon１（ＭＡ），Ｖoff１（ＭＢ）…光検出信号（メインセンサ出力）、Ｖon２（ＳＡ），Ｖoff２（ＳＢ）…光検出信号（サブセンサ出力）、λ１〜λ４…波長、Δλ１２，Δλ２３，Δλ３４…波長領域、Ｔon…オン期間、Ｔoff…オフ期間。
【図１】
2010198575.tif 000003
【図２】
2010198575.tif 000004
【図３】
2010198575.tif 000005
【図４】
2010198575.tif 000006
【図５】
2010198575.tif 000007
【図６】
2010198575.tif 000008
【図７】
2010198575.tif 000009
【図８】
2010198575.tif 000010
【図９】
2010198575.tif 000011
【図１０】
2010198575.tif 000012
【図１１】
2010198575.tif 000013
【図１２】
2010198575.tif 000014
【図１３】
2010198575.tif 000015
【図１４】
2010198575.tif 000016
【図１５】
2010198575.tif 000017
【図１６】
2010198575.tif 000018
【図１７】
2010198575.tif 000019
【図１８】
2010198575.tif 000020
【図１９】
2010198575.tif 000021
【図２０】
2010198575.tif 000022
【図２１】
2010198575.tif 000023
【図２２】
2010198575.tif 000024
【図２３】
2010198575.tif 000025
【図２４】
2010198575.tif 000026
【図２５】
2010198575.tif 000027
【図２６】
2010198575.tif 000028