(57)【要約】【課題】周囲照度が十分でなくても、撮像画像同士の変化の有無を確実に判定することで、その判定結果を適切に利用できるセンサ装置を提供する。【解決手段】本発明のセンサ装置１は、表示画素１１１毎に、少なくとも赤外光に感応するフォトダイオードが含まれたフォトダイオード群を組み込んだ光センサ液晶パネルと、を備えたセンサ装置において、上記光センサ液晶パネルに組み込まれたフォトダイオード群には、少なくとも赤外光フォトダイオード１１３が含まれており、上記赤外光フォトダイオード１１３にて撮像して得られた第１の画像と、任意の時間経過後に、第１の画像を撮像した赤外光フォトダイオード１１３と同じフォトダイオードにより撮像して得られた第２の画像との差分を検出する画像比較部１０３と、上記画像比較部１０３により得られた差分から、上記第１の画像と第２の画像との変化の有無を判定する差分検出部１０４とを備える。【選択図】図１
2011107829.tif 000002
【特許請求の範囲】
【請求項１】
表示画素毎に、又はｎ×ｍ（ｎ、ｍは１以上の整数）個の表示画素を含む表示画素群毎に、フォトダイオードを組み込んだ光センサ液晶パネルを備えたセンサ装置において、
上記光センサ液晶パネルに組み込まれたフォトダイオード群には、少なくとも赤外光に感応するフォトダイオードが含まれており、
上記赤外光に感応するフォトダイオードにて撮像して得られた第１の画像と、任意の時間経過後に、第１の画像を撮像した赤外光に感応するフォトダイオードと同じフォトダイオードにより撮像して得られた第２の画像との差分を検出する差分検出手段と、
上記差分検出手段により得られた差分から、上記第１の画像と第２の画像との変化の有無を判定する判定手段とを備えていることを特徴とするセンサ装置。
【請求項２】
上記光センサ液晶パネルに組み込まれたフォトダイオード群には、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが含まれており、上記可視光に感応するフォトダイオードと、上記赤外光に感応するフォトダイオードとが同一比率にて交互に配置されていることを特徴とする請求項１に記載のセンサ装置。
【請求項３】
上記光センサ液晶パネルに組み込まれたフォトダイオード群には、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが含まれており、上記可視光に感応するフォトダイオードと、上記赤外光に感応するフォトダイオードとが水平方向にて交互に配置されていることを特徴とする請求項１に記載のセンサ装置。
【請求項４】
上記光センサ液晶パネルに組み込まれたフォトダイオード群には、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが含まれており、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが垂直方向にて交互に配置されていることを特徴とする請求項１に記載のセンサ装置。
【請求項５】
上記光センサ液晶パネルに組み込まれたフォトダイオード群には、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが含まれており、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが市松模様状態に配置されていることを特徴とする請求項１に記載のセンサ装置。
【請求項６】
上記光センサ液晶パネルには、画像の撮像面とは反対側の面から赤外光を照射する赤外光バックライトが設けられていることを特徴とする請求項１〜５の何れか１項に記載のセンサ装置。
【請求項７】
上記赤外光バックライトの点灯制御を行う点灯制御手段と、
上記赤外光に感応するフォトダイオードによる画像撮像の実行制御を行う撮像実行制御手段とを備え、
上記撮像実行制御手段は、上記点灯制御手段により赤外光バックライトが常時点灯されるように制御されているときに、上記赤外光に感応するフォトダイオードによる画像撮像を常時行うように画像撮像を実行させることを特徴とする請求項６に記載のセンサ装置。
【請求項８】
上記赤外光バックライトの点灯制御を行う点灯制御手段と、
上記赤外光に感応するフォトダイオードによる画像撮像の実行制御を行う撮像実行制御手段とを備え、
上記撮像実行制御手段は、上記点灯制御手段により赤外光バックライトが間欠的に点灯されるように制御されているときに、上記赤外光バックライトが点灯するタイミングで、上記赤外光に感応するフォトダイオードによる画像撮像を実行させることを特徴とする請求項６に記載のセンサ装置。
【請求項９】
上記点灯制御手段は、赤外光のバックライトを、Ｎフレーム期間にＭフレーム期間（Ｎ，Ｍは整数で、Ｎ＞Ｍである）点灯するように制御することを特徴とする請求項７または８に記載のセンサ装置。
【請求項１０】
上記差分検出手段及び判定手段の駆動制御を行う駆動制御手段を備え、
上記駆動制御手段は、上記赤外光バックライトの消灯時に、上記差分検出手段及び判定手段の駆動を停止させることを特徴とする請求項６に記載のセンサ装置。
【請求項１１】
上記第１の画像と第２の画像は、赤外光に感応するフォトダイオードの全てを使用して撮像した撮像画像であることを特徴とする請求項１に記載のセンサ装置。
【請求項１２】
上記第１の画像と第２の画像は、赤外光に感応するフォトダイオードの一部を使用して撮像した撮像画像であることを特徴とする請求項１に記載のセンサ装置。
【請求項１３】
上記第１の画像と第２の画像は、赤外光に感応するフォトダイオードの内の１０００個以上、４０９６個以下を使用した撮像画像であることを特徴とする請求項１２に記載のセンサ装置。
【請求項１４】
上記差分検出手段は、第１の画像と第２の画像のそれぞれの画素値の差の絶対値を差分として検出することを特徴とする請求項１に記載のセンサ装置。
【請求項１５】
上記判定手段は、上記差分検出手段によって検出された差分としての画素値の差の絶対値が所定の閾値を越えた画素を数え、その画素数が所定の数以上であった場合を、第１の画像と第２の画像との間で変化有りと判定することを特徴とする請求項１に記載のセンサ装置。
【請求項１６】
上記判定手段は、上記差分検出手段によって検出された差分としての画素値の差の絶対値が所定の閾値を越えた画素を数え、その画素数が第１の閾値以上であり、且つ第２の閾値以下であった場合を、第１の画像と第２の画像との間で変化有りと判定することを特徴とする請求項１に記載のセンサ装置。
【請求項１７】
さらに、上記差分検出手段及び判定手段の駆動制御を行う駆動制御手段と、
可視光の照度測定手段とを具備し、
上記照度測定手段による測定結果が所定の照度以下となったとき、
上記点灯制御手段は、上記赤外光バックライトの点灯制御を行い、
上記撮像実行制御手段は、上記赤外光に感応するフォトダイオードによる画像撮像の実行制御を行い、
上記駆動制御手段は、上記差分検出手段及び判定手段の駆動制御を行うことを特徴とする請求項７または８に記載のセンサ装置。
【請求項１８】
請求項１〜１７の何れか１項に記載のセンサ装置と、
上記センサ装置の判定手段による判定結果を受け取ると共に、当該センサ装置の赤外光に感応するフォトダイオードにて撮像して得られた第１の画像と、任意の時間経過後に、第１の画像を撮像した赤外光に感応するフォトダイオードと同じフォトダイオードにより撮像して得られた第２の画像とを受け取り、受け取った第１の画像と第２の画像とを所定の画像処理を施して特定の情報を取得する画像処理装置とを備え、
上記画像処理装置による特定の情報が一定時間以上取得しないときに、当該画像処理の動作を停止させ、
上記センサ装置から受け取った判定結果が第１の画像と第２の画像との変化有りを示す結果であるときに、上記画像処理が停止していれば、当該画像処理の動作を復帰させることを特徴とする画像処理システム。
【請求項１９】
上記センサ装置における光センサ液晶パネルは、上記画像処理装置の画像処理の動作停止のタイミングで、第１の画像の撮像することを特徴としている請求項１８に記載の画像処理システム。
【請求項２０】
上記画像処理装置が取得する特定の情報は、上記センサ装置における光センサ液晶パネルの画面内での位置情報であることを特徴とする請求項１８に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光センサ液晶パネルを備えたセンサ装置、及び画像処理システムに関する。
【背景技術】
【０００２】
一般に、ＰＣ（personal computer）においては、本体が省電力モード＝スタンバイモードの状態にある時に、ユーザがある操作を行いこれを復帰させる機能を有している。
【０００３】
このスタンバイモードからの復帰は、一般的なＰＣにおける入力デバイスである「マウス」、「キーボード」をユーザが操作することで実行される。また、ＰＣがノード型の場合には、ユーザの復帰動作として、「液晶パネルを開く」「いずれかのキーを押す」「電源ボタンを押す」等が一般的である。
【０００４】
さらに、近年、ＰＣの省電力化がより強化され、よりきめ細かく省電力モードに移行するようにＰＣが構成されてきている。例えばＰＣによる作業の最中に軽く席を離れた場合に於いても、省電力モードに入れる様に構成されている。こういった場合には、省電力モードからの復帰の為の操作も迅速に行えるように改善が必要となり、その操作の一つとして、例えばノード型のＰＣにおいては入力デバイスの一つとして備えられているタッチパッドに触れることで復帰の操作を行うことが提案されている。
【０００５】
例えば、タッチパッドとして、例えば特許文献１に開示されているタッチセンサを備えた液晶表示装置を使用することが考えるが、一般的なタッチセンサを備えた液晶表示装置では、ユーザが液晶パネルにタッチしたことを検出するために、ユーザがタッチした位置情報を取得するための処理が必要である。この位置情報を取得するための処理には、演算が必要であることから多くの電力を消費する。
【０００６】
そこで、例えば特許文献１に開示されている、液晶パネルとして、表示用の液晶マトリックスに加え、フォトダイオードをマトリックス状に配置し、この情報を得る事により画像を読み取る、言わばスキャナ機能を有した「光センサ液晶」を、上記のタッチパッドに備えることが提案されている。
【０００７】
この場合、電力を消費する処理、すなわち座標を検出する処理を行わなくとも、光センサ液晶のスキャナ機能を利用することで、離席中の画像と「触れた」際の画像を比較することにより、容易にユーザが「触れた」ことを検出する事が可能となる。
【０００８】
具体的に説明すると、以下のようになる。
【０００９】
光センサ液晶は、言わば画像撮像装置であり、例えば離席した際の撮像画像と、省電力モード下にて定期的に撮像した画像とを単純に比較し、仮に後者が「タッチパッドを触れた」画像であった場合には、前者の画像にない「指の影」が撮像されており、比較結果として大きい「差分」が得られる。この「差分」を検出する事により、復帰処理のトリガをかけている。
【００１０】
上記の復帰処理を実現する回路として、例えば図５に示すようなセンサ装置が考えられる。
【００１１】
上記センサ装置は、図５に示すように、画像撮像装置１１００と、光センサ液晶パネル１１１０とで構成されている。
【００１２】
上記画像撮像装置１１００は、光センサ液晶パネル１１１０により撮像された画像が入力される画像インターフェイス１１０１と、画像インターフェイス１１０１からの画像を格納する画像記憶装置１１０２と、上記画像インターフェイス１１０１から送られた画像と上記画像記憶装置１１０２に格納された画像とを比較する画像比較部１１０３と、上記画像比較部１１０３による画像の比較結果から画像間の差分を検出する差分検出部１１０４とを備えており、当該差分検出部１１０４から差分検出結果１１０５を省電力モード解除信号として図示しない機器に出力するようになっている。
【００１３】
図５において、光センサ液晶パネル１１１０に記されている破線の区切りは表示画素１１１１を示し、実線の区切りはセンサ画素１１１２を示している。ここでは、一つのセンサ画素１１１２が４×４個の表示画素１１１１に対応している。
【００１４】
１つのセンサ画素１１１２には、可視光に感応するフォトダイオード（以下、可視光フォトダイオードと称する）１１１４が配置されている。
【００１５】
上記構成のセンサ装置において、上記光センサ液晶パネル１１１０により撮像された画像は、液晶ドライバ１１１５を介して、右側の画像撮像装置１１００内の画像インターフェイス１１０１に入力される。この画像インターフェイス１１０１に入力される画像は、可視光フォトダイオード１１１４により撮像された画像となっている。
【００１６】
上記画像インターフェイス１１０１は、入力された画像から、可視光フォトダイオード１１１４により撮像された画素を含む画像が画像記憶装置１１０２に格納される。
【００１７】
上記画像比較部１１０３は、上記画像インターフェイス１１０１からの画像と、画像記憶装置１０２に格納されている画像とを比較する。画像比較部１１０３における画像同士を比較した比較結果は、後段の差分検出部１１０４に転送され、画像同士の差分が検出される。
【００１８】
上記差分検出部１１０４では、差分を検出するだけではなく、検出した差分により２つの画像が異なるか否かを判定し、この判定結果を含んだ、差分検出結果１１０５を省電力モード解除信号として図示しない機器に出力する。
【００１９】
つまり、光センサ液晶パネル１１１０が省電力モードに入る前に、「手をかざしていない背景だけの」画像を撮像しておく。この画像は、画像記憶装置１１０２に格納される。
【００２０】
次に、省電力モード中に、常時又は間欠的に画像を撮像して、画像比較部１１０３において、上記撮像した画像と、上記画像記憶装置１１０２に格納された画像とを逐次比較する。
【００２１】
さらに、「手をかざした場合」には、撮像画像が画像記憶装置１１０２に格納された画像と十分に異なる事になり、本画像撮像装置１１００は差分検出結果１１０５として省電力モード解除信号を出力する。これにより、省電力モード設定時において、ユーザは、手をかざすという操作だけで、省電力モードの設定を解除することができる。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２００５−２７５６４４号公報（２００５年１０月０６日公開）
【特許文献２】特許第４２０１１９１号公報（２００８年１０月１７日登録）
【発明の概要】
【発明が解決しようとする課題】
【００２３】
ところで、通常のオフィスや家庭の居間などの場合では、十分な周囲照度があり、離席した際の画像と「指の影」のある画像との間で、十分な「差分」が得られる。一方で、室内の暗い飲食店の中や、ヘッドランプだけの家庭の寝室の中などでは、周囲照度が不十分であり、両者の「差分」は十分なものでなくなってしまう。実験では、数十ルクス〜百ルクス以下の周囲照度では、両者の「差分」の是非が判別付かなくなってしまう。
【００２４】
従って、図５に示すように、フォトダイオードとして可視光に感応するフォトダイオードのみを使用している場合、周囲照度が低い環境では、本来「手をかざす」という動作により省電力モードから復帰すべきところが、「復帰しなくなる」と言うＰＣ等の動作上の不具合を引き起こす虞がある。
【００２５】
以上のことから、光センサ液晶を用いて、可視光により撮像した画像同士の変化の有無を判定し、その判定結果を利用する場合には、十分な周囲照度が必要であり、十分な照射照度が無い場合には、上記判定結果を適切に利用できないという問題が生じる。
【００２６】
本発明は、上記の問題点に鑑みなされたものであって、その目的は、周囲照度が十分でなくても、撮像画像同士の変化の有無を確実に判定することで、その判定結果を適切に利用できるセンサ装置を提供することにある。
【課題を解決するための手段】
【００２７】
上記の課題を解決するために、本発明のセンサ装置は、表示画素毎に、又はｎ×ｍ（ｎ、ｍは１以上の整数）個の表示画素を含む表示画素群毎に、フォトダイオードを組み込んだ光センサ液晶パネルを備えたセンサ装置において、上記光センサ液晶パネルに組み込まれたフォトダイオード群には、少なくとも赤外光に感応するフォトダイオードが含まれており、上記赤外光に感応するフォトダイオードにて撮像して得られた第１の画像と、任意の時間経過後に、第１の画像を撮像した赤外光に感応するフォトダイオードと同じフォトダイオードにより撮像して得られた第２の画像との差分を検出する差分検出手段と、上記差分検出手段により得られた差分から、上記第１の画像と第２の画像との変化の有無を判定する判定手段とを備えていることを特徴としている。
【００２８】
上記構成によれば、周囲に赤外光の照射環境があれば、周囲照度が少ない環境においても、上記第１の画像と第２の画像との変化の有無を判定することができる。
【００２９】
これにより、周囲に赤外光の照射環境があれば、周囲照度に関係なく、第１の画像と第２の画像との変化の有無の判定結果を適切に利用することができる。
【００３０】
ここで、上述の周囲の赤外光の照射環境とは、センサ装置の外部に設けられた赤外光の光源による赤外光の照射環境や、センサ装置内部の光センサ液晶パネルに備えられた赤外光バックライトによる赤外光の照射環境等を含む。
【００３１】
上記光センサ液晶パネルに組み込まれたフォトダイオード群には、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが含まれており、上記可視光に感応するフォトダイオードと、上記赤外光に感応するフォトダイオードとが同一比率にて交互に配置されていることを特徴としている。
【００３２】
この場合、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが同一比率にて交互に配置されていることで、例えば可視光に感応するフォトダイオードのみにて撮像した画像は、赤外光に感応するフォトダイオードの配置位置の影響を受けずに、形として歪みがない、あるい歪みが極めて少ない画像となる。逆に赤外光に感応するフォトダイオードのみにて撮像した画像は、可視光に感応するフォトダイオードの配置位置の影響（画素の規則的な欠落）を受けずに、形として歪みがない、あるいは歪みが極めて少ない画像となる。
【００３３】
つまり、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが同一比率でなければ、撮像した画像は、撮像に使用しなかったフォトダイオードの配置位置に影響（画素の規則的な欠落）を受けて、歪みのある画像となる。
【００３４】
このように、２種類のフォトダイオードで撮像した画像から、片方のフォトダイオードからの画素のみを抜き出して画像を撮像した場合、画素が規則的に欠落した歪んだ画像となる。従って、一方のフォトダイオードにより撮像した画像の画像サイズを、オリジナルの画像サイズの画像として取り扱うためには、他方のフォトダイオードが配されている画素（欠落画素）を、周囲の片方の画素から補間生成する必要が生じる。例えば、以下のような補間方法がある。
【００３５】
上記光センサ液晶パネルに組み込まれたフォトダイオード群には、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが含まれており、上記可視光に感応するフォトダイオードと、上記赤外光に感応するフォトダイオードとが水平方向にて交互に配置されていることを特徴としている。
【００３６】
上記構成によれば、上記可視光に感応するフォトダイオードと、上記赤外光に感応するフォトダイオードとが水平方向にて交互に配置されていることで、補間対象の画素に対して、最近傍の画素が左隣と右隣となる。この場合、補間対象となる画素に対応する赤外光に感応するフォトダイオードの水平方向において左右に隣接する可視光に感応するフォトダイオードによる撮像画像のデータを使用して補間処理を行うことができるので、補間処理に際してラインメモリを必要とせず、簡易な補間処理で済む。
【００３７】
上記光センサ液晶パネルに組み込まれたフォトダイオード群には、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが含まれており、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが垂直方向にて交互に配置されていることを特徴としている。
【００３８】
上記構成によれば、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが垂直方向にて交互に配置されていることで、補間対象の画素に対して、最近傍の画素が上隣と下隣となる。この場合、補間対象となる画素に対応する赤外光に感応するフォトダイオードの垂直方向において上下に隣接する可視光に感応するフォトダイオードによる撮像画像のデータを使用して補間処理を行うことができるので、補間処理に際してラインメモリを必要とせず、簡易な補間処理で済む。
【００３９】
上記光センサ液晶パネルに組み込まれたフォトダイオード群には、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが含まれており、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが市松模様状態に配置されていることを特徴としている。
【００４０】
上記構成によれば、可視光に感応するフォトダイオードと、赤外光に感応するフォトダイオードとが市松模様状態に配置されていることで、補間対象の画素に対して、最近傍の画素が上下左右隣の４つの画素となる。この場合、補間対象となる画素に対応する赤外光に感応するフォトダイオードの上下左右に隣接する可視光に感応するフォトダイオードによる撮像画像のデータを使用して補間処理を行うことができるので、補間処理に際してラインメモリを必要とせず、且つ、簡易な補間処理で済む。しかも、４つの隣接画素に対応する可視光に感応するフォトダイオードによる撮像画像のデータを使用しているので、補間処理後の画素の値もより適切な値にすることができる。
【００４１】
上記光センサ液晶パネルには、画像の撮像面とは反対側の面から赤外光を照射する赤外光バックライトが設けられていることを特徴としている。
【００４２】
上記構成によれば、周囲に赤外光照射環境が無くても、赤外光に感応するフォトダイオードによる画像の撮像を可能にする。
【００４３】
具体的には、上記赤外光バックライトの点灯制御を行う点灯制御手段と、上記赤外光に感応するフォトダイオードによる画像撮像の実行制御を行う撮像実行制御手段とを備え、上記撮像実行制御手段は、上記点灯制御手段により赤外光バックライトが常時点灯されるように制御されているときに、上記赤外光に感応するフォトダイオードによる画像撮像を常時行うように画像撮像を実行させることを特徴としている。
【００４４】
上記構成によれば、赤外光に感応するフォトダイオードによる画像撮像が常時行われることになるので、第１の画像と第２の画像との差分判定を迅速に行うことができる。つまり、第１の画像と第２の画像との変化を迅速に検出することができる。
【００４５】
また、上記赤外光バックライトの点灯制御を行う点灯制御手段と、上記赤外光に感応するフォトダイオードによる画像撮像の実行制御を行う撮像実行制御手段とを備え、上記撮像実行制御手段は、上記点灯制御手段により赤外光バックライトが間欠的に点灯されるように制御されているときに、上記赤外光バックライトが点灯するタイミングで、上記赤外光に感応するフォトダイオードによる画像撮像を実行させることを特徴としている。
【００４６】
上記構成によれば、赤外光に感応するフォトダイオードによる画像撮像が間欠して行われることになるので、撮像された画像の差分を取るための処理を常時行わなくて済み、その結果、センサ装置における消費電力を低減できる。
【００４７】
上記点灯制御手段は、赤外光のバックライトを、Ｎフレーム期間にＭフレーム期間（Ｎ，Ｍは整数で、Ｎ＞Ｍである）点灯するように制御することを特徴としている。
【００４８】
上記構成によれば、赤外光に感応するフォトダイオードによる画像撮像が周期的に行われることになるので、撮像された画像の差分を取るための処理を常時行わなくて済み、その結果、センサ装置における消費電力を低減できる。
【００４９】
さらに、上記差分検出手段及び判定手段の駆動制御を行う駆動制御手段を備え、上記駆動制御手段は、上記赤外光バックライトの消灯時に、上記差分検出手段及び判定手段の駆動を停止させるようにしてもよい。
【００５０】
赤外光バックライトが消灯している間は、画像撮像が行われないないので、撮像画像の差分を検出したり、差分を判定したりする必要はない。
【００５１】
従って、上記構成のように、赤外光バックライトの消灯時に、上記差分検出手段及び判定手段の駆動を停止させることで、差分検出及び差分判定に係る処理に消費される電力を低減することができ、この結果、センサ装置全体の消費電力を低減できるという効果を奏する。
【００５２】
上記第１の画像と第２の画像は、赤外光に感応するフォトダイオードの全てを使用して撮像した撮像画像であることを特徴としている。
【００５３】
上記の構成によれば、第１の画像と第２の画像が、赤外光に感応するフォトダイオードの全てを使用して撮像した撮像画像であることで、何により変化したかの判断基準をよりきめ細かく制御可能となる。例えば、画像ノイズによる「変化」なのか、「手をかざした」事による「変化」なのか、の切り分けの為の閾値設定が、高精度に可能となるという効果を奏する。
【００５４】
上記第１の画像と第２の画像は、赤外光に感応するフォトダイオードの一部を使用して撮像した撮像画像であることを特徴としている。
【００５５】
上記の構成によれば、第１の画像と第２の画像が、赤外光に感応するフォトダイオードの一部を使用して撮像した撮像画像であることで、第１の画像を格納するための画像記憶装置の記憶容量を抑制する事が可能になるという効果を奏する。
【００５６】
ここで、画像の「変化」のある無しは、ある程度画素値の変化のある画素が、「全体の何％あるか」、の統計処理を行うことで判断する。
【００５７】
このため、上記第１の画像と第２の画像は、赤外光に感応するフォトダイオードの内の１０００個以上、４０９６個以下を使用した撮像画像であることが好ましい。
【００５８】
上記差分検出手段は、第１の画像と第２の画像のそれぞれの画素値の差の絶対値を差分として検出することを特徴としている。
【００５９】
また、上記判定手段としては、以下のような構成であることが好ましい。
【００６０】
すなわち、上記判定手段は、上記差分検出手段によって検出された差分としての画素値の差の絶対値が所定の閾値を越えた画素を数え、その画素数が所定の数以上であった場合を、第１の画像と第２の画像との間で変化有りと判定することを特徴としている。
【００６１】
また、上記判定手段は、上記差分検出手段によって検出された差分としての画素値の差の絶対値が所定の閾値を越えた画素を数え、その画素数が第１の閾値以上であり、且つ第２の閾値以下であった場合を、第１の画像と第２の画像との間で変化有りと判定することを特徴としている。
【００６２】
さらに、可視光の照度測定手段をさらに具備し、上記照度測定手段による測定結果が所定の照度以下となったとき、上記点灯制御手段は、上記赤外光バックライトの点灯制御を行い、上記撮像実行制御手段は、上記赤外光に感応するフォトダイオードによる画像撮像の実行制御を行い、上記駆動制御手段は、上記差分検出手段及び判定手段の駆動制御を行うことを特徴としている。
【００６３】
本発明の画像処理システムは、上記構成のセンサ装置と、上記センサ装置の判定手段による判定結果を受け取ると共に、当該センサ装置の赤外光に感応するフォトダイオードにて撮像して得られた第１の画像と、任意の時間経過後に、第１の画像を撮像した赤外光に感応するフォトダイオードと同じフォトダイオードにより撮像して得られた第２の画像とを受け取り、受け取った第１の画像と第２の画像とを所定の画像処理を施して特定の情報を取得する画像処理装置とを備え、上記画像処理装置による特定の情報が一定時間以上取得しないときに、当該画像処理の動作を停止させ、上記センサ装置から受け取った判定結果が第１の画像と第２の画像との変化有りを示す結果であるときに、上記画像処理が停止していれば、当該画像処理の動作を復帰させることを特徴としている。
【００６４】
上記センサ装置における光センサ液晶パネルは、上記画像処理装置の画像処理の動作停止のタイミングで、第１の画像の撮像することを特徴としている。
【００６５】
上記画像処理装置が取得する特定の情報は、上記センサ装置における光センサ液晶パネルの画面内での位置情報であることを特徴としている。
【発明の効果】
【００６６】
本発明のセンサ装置は、表示画素毎に、又はｎ×ｍ（ｎ、ｍは１以上の整数）個の表示画素を含む表示画素群毎に、フォトダイオードを組み込んだ光センサ液晶パネルを備えたセンサ装置において、上記光センサ液晶パネルに組み込まれたフォトダイオード群には、少なくとも赤外光に感応するフォトダイオードが含まれており、上記赤外光に感応するフォトダイオードにて撮像して得られた第１の画像と、任意の時間経過後に、第１の画像を撮像した赤外光に感応するフォトダイオードと同じフォトダイオードにより撮像して得られた第２の画像との差分を検出する差分検出手段と、上記差分検出手段により得られた差分から、上記第１の画像と第２の画像との変化の有無を判定する判定手段とを備えていることで、周囲に赤外光の照射環境があれば、周囲照度に関係なく、第１の画像と第２の画像との変化の有無の判定結果を適切に利用することができるという効果を奏する。
【図面の簡単な説明】
【００６７】
【図１】本発明のセンサ装置を適用した画像処理システムの一例を示す概略ブロック図である。
【図２】図１に示すセンサ装置の光センサ液晶パネルの概略断面図である。
【図３】（ａ）〜（ｂ）は、図１に示すセンサ装置の光センサ液晶パネルにフォトセンサの配置例を示す平面図である。
【図４】本発明の他のセンサ装置の例を示す概略ブロック図である。
【図５】センサ装置の比較例を示す概略ブロック図である。
【発明を実施するための形態】
【００６８】
本発明の一実施の形態について説明すれば、以下の通りである。
（画像処理システムの概略説明）
本実施の形態では、本発明のセンサ装置を備えた画像処理システムについて説明する。
【００６９】
上記画像処理システムは、図１に示すように、センサ装置１と画像処理装置１２０と電力制御部１３０とを含んでいる。ここで、画像処理システムにおける省電力モードの設定は、上記画像処理装置１２０によって行われ、省電力モードの解除は、上記センサ装置１によって行われるものとする。
【００７０】
上記電力制御部１３０は、センサ装置１及び画像処理装置１２０への電力供給を制御するようになっている。
【００７１】
これにより、上記電力制御部１３０は、上記センサ装置１の光センサ液晶パネル１１０に対する電力の供給を抑えた省電力モードに設定したり、解除したりする制御を行うようになっている。ここで、上記電力制御部１３０は、省電力モードに設定するための指示を受け付けることで、画像処理システムに対して省電力モードが設定されるように電力供給制御を行う一方、設定解除をするための指示を受け付けることで、上記画像処理システムに対して設定されている省電力モードを解除するように電力供給制御を行う。
【００７２】
上記画像処理システムに対する省電力モードの設定は、上記画像処理装置１２０における画像処理の結果に基づいて行われ、設定された省電力モードの解除は、上記センサ装置１における検出結果に基づいて行われる。以下では、まず、本願発明の特徴部分である、設定された省電力モードの解除処理について説明し、続いて、省電力モードの設定処理について説明する。
（設定された省電力モードの解除処理についての説明）
上記センサ装置１による、本画像処理システムにおける設定された省電力モードの解除処理について説明する。
【００７３】
上記センサ装置１は、画像撮像装置（撮像実行制御手段）１００と、光センサ液晶パネル１１０とで構成されている。図１において、センサ装置１の右側が画像撮像装置１００であり、左側が光センサ液晶パネル１１０である。
【００７４】
上記画像撮像装置１００は、光センサ液晶パネル１１０により撮像された画像が入力される画像インターフェイス１０１と、画像インターフェイス１０１からの画像を格納する画像記憶装置１０２と、上記画像インターフェイス１０１から送られた画像と上記画像記憶装置１０２に格納された画像とを比較する画像比較部１０３と、上記画像比較部１０３による画像の比較結果から画像間の差分を検出する差分検出部（差分検出手段）１０４とを備えており、当該差分検出部１０４から差分検出結果１０５を上記画像処理装置１２０及び電力制御部１３０に出力するようになっている。
【００７５】
なお、上記画像処理装置１２０には、差分検出部１０４からの差分検出結果１０５だけでなく、画像インターフェイス１０１からの画像が直接送られるようにもなっている。
【００７６】
上記光センサ液晶パネル１１０は、当該光センサ液晶パネル１１０を駆動するための液晶ドライバ１１５がＣＯＧ(Chip On Glass)実装されており、液晶ドライバ１１５から画像撮像装置１００に対して撮像した画像等のデータが送られる。
【００７７】
図１において、光センサ液晶パネル１１０に記されている破線の区切りは表示画素１１１を示し、実線の区切りはセンサ画素１１２を示している。ここでは、図１に示すように、一つのセンサ画素１１２が４×４個の表示画素１１１に対応している。しかしながら、一つのセンサ画素１１２に対する表示画素１１１の個数は上述の４×４個に限定するものではない。すなわち、複数の表示画素１１１（表示画素群）で一つのセンサ画素１１２に対応するように構成されていてもよし、表示画素１１１毎に、センサ画素１１２が対応するように設けてもよい。
【００７８】
１つのセンサ画素１１２には、赤外光に感応するフォトダイオード（以下、赤外光フォトダイオードと称する）１１３、又は可視光に感応するフォトダイオード（以下、可視光フォトダイオードと称する）１１４が配置されている。ここでは、一つの光センサ液晶パネル１１０における赤外光フォトダイオード１１３と可視光フォトダイオード１１４の比率は１：１とし、また、赤外光フォトダイオード１１３と可視光フォトダイオード１１４は、図１に示すように、市松模様状態に配置するものとする。なお、赤外光フォトダイオード１１３と可視光フォトダイオード１１４との比率は、上述の１：１に限定されるものではなく、また、赤外光フォトダイオード１１３と可視光フォトダイオード１１４との配置は市松模様状に限定されるものではない。
【００７９】
なお、光センサ液晶パネル１１０の構成としては、表示画素１１１毎に、又はｎ×ｍ（ｎ、ｍは１以上の整数）個の表示画素１１１を含む表示画素群毎に、フォトダイオードを組み込んだものあればよい。すなわち、光センサ液晶パネル１１０には、複数のフォトダイオードからなるフォトダイオード群が形成されていることになる。
（光センサ液晶パネル１１０の構造説明）
上記光センサ液晶パネル１１０は、図２に示すように、画像表示部(アクティブマトリクス型液晶表示素子)１０と、画像入力部２０とからなっている。
【００８０】
上記画像表示部１０は、強誘電性液晶２０７を挟持する一対の透明基板２００・２０６の内面に、画素２２０を構成する所定パターンの透明電極（ＩＴＯ（錫添加酸化インジウム）からなる）２０５・２０８がそれぞれ形成されている。
【００８１】
また、透明基板２００の内面には、画素２２０毎に薄膜トランジスタ(ＴＦＴ)２０１が形成されている。ＴＦＴ２０１は、多結晶シリコンからなるチャネル層２１６、ゲート絶縁膜２１７、ゲート電極２０２、ソース電極２０３およびドレイン電極（透明電極２０５に接続されている）２０４からなっている。ここで、上記透明電極２０５は、画素電極を構成し、透明基板２００上に絶縁層１１８を介して形成されている。
【００８２】
上記画像表示部１０における各ＴＦＴ２０１のゲート電極２０２にゲートライン（図示せず）を介して上述した液晶ドライバ１１５に接続されるとともに、各ＴＦＴ２０１のソース電極２０３にデータライン（図示せず）を介して上述した液晶ドライバ１１５に接続されている。
【００８３】
また、図２に示すように、上記画像入力部２０は、上記透明基板２０６の外面に、光を受けて電気信号に変換する受光層２０９と、この受光層２０９を保護する透明層（透明保護層２３１および薄板ガラス（カラーフィルタ層）２３２とからなっている。
【００８４】
上記受光層２０９は、光を遮ることができる下部電極２１３と、光電変換を行う半導体層２１４と、透明な上部電極２１５との３層からなり、赤外光フォトダイオード１１３を形成している。なお、可視光フォトダイオード１１４も、上記赤外光フォトダイオード１１３と同じ構成である。つまり、可視光フォトダイオード１１４も、赤外光フォトダイオード１１３も同じフォトダイオード、すなわち可視光及び赤外光の何れにも感応するフォトダイオードが使用される。以下に示すように、可視光フォトダイオード１１４と、赤外光フォトダイオード１１３とは便宜上区別しているだけである。
【００８５】
ここで、上述したように、カラーフィルタ層として機能する薄板ガラス２３２には、さらに、赤外光フォトダイオード１１３及び可視光フォトダイオード１１４に照射される照射光から赤外光と可視光とを選別するためのフィルタ（図示せず）が設けられている。このフィルタは、赤外光フォトダイオード１１３を設けたセンサ画素１１２（図１）に対応する部分において可視光を遮光する機能を有するように形成されたフィルタである。
【００８６】
上記のように、入射される光を赤外光と可視光とを選別する機能を有するフィルタを用いる場合には、赤外光、可視光の両方に感応するフォトダイオードを用いることができる。つまり、赤外光にも可視光にも感応するフォトダイオードを共通に敷き詰め、さらに入射部にフィルタを設けて、そのフィルタの特性を画素毎に変える事により、赤外光受光画素、可視光受光画素を設けるようにすればよい。前者の場合は可視光カットフィルタを設け、後者の場合は赤外カットフィルタを設けることになる。
【００８７】
ここで、本願発明で重要なのは、赤外光と可視光を区別（選別）して感応することなので、赤外光と可視光とを区別するために、上述のように、赤外光と可視光の両方に感応するフォトダイオード用いて、入射される光を上述したフィルタ等により選別する方法であってもよいし、フォトダイオード自身の特性を変えること、すなわち赤外光のみに感応するフォトダイオードと、可視光のみに感応するフォトダイオードとを用いて、赤外光と可視光とを選別するようにしてもよい。
【００８８】
このように、この光センサ液晶パネル１１０は、画像表示部１０と画像入力部２０とを一体に構成しているので、別々に構成する場合に比して、装置を小型化することができるというメリットを有する。
【００８９】
画像表示を行うときは、従来の液晶表示装置と同様に、図２に示す画像表示部１０において、透明基板２００側から略垂直に光（いわゆるバックライト）２１０を入射させ、この光２１０を上記透明電極２０５・２０８に対する印加電圧に応じて画素２２０毎に透過または遮断する。これにより、画像表示部１０において画像表示を行う。
【００９０】
また、画像入力を行うときは、図２に示すように、画像入力部２０の薄板ガラス２３２表面に指２１１を近接させる。そして、画像表示部１０が透明電極２０５・２０８に対する印加電圧に応じて透過した光２１０のうち上記指２１１によって反射された光２１２を受光層２０９によって検出する。このとき、反射された光２１２が薄板ガラス２３２の選別機能により選別された赤外光か可視光かが受光層２０９にて検出される。
【００９１】
上記受光層２０９により検出された光は、出力電圧として取り出され、上述した液晶ドライバ１１５に送られる。液晶ドライバ１１５から先の処理については、後述する。
【００９２】
なお、画像入力時は、画像表示部１０によって指２１１の個々の画素に相当する箇所を選択している。したがって、画像入力部２０の受光層２０９を、画素毎に分離しておく必要はない。
【００９３】
また、画像入力時は、図２に示したように、画像入力部２０の薄板ガラス２３２表面に指２１１を近接させて読み取りを行うので、レンズなどの光学系を設ける必要もない。
【００９４】
以上のように、上記構成の光センサ液晶パネル１１０は、画像表示部１０の画像表示機能に加えて、画像入力部２０の画像入力機能とを備えている。
【００９５】
上記光センサ液晶パネル１１０において、画像入力部２０における画像入力機能は、上記赤外光フォトダイオード１１３及び可視光フォトダイオード１１４を用いた画像を撮像する機能をいう。
（センサ装置１の動作説明）
以下に、上記センサ装置１における動作について図１を参照しながら説明する。
【００９６】
上記光センサ液晶パネル１１０により撮像された画像は、液晶ドライバ１１５を介して、右側の画像撮像装置１００内の画像インターフェイス１０１に入力される。この画像インターフェイス１０１に入力される画像は、赤外光フォトダイオード１１３により撮像された画像と、可視光フォトダイオード１１４により撮像された画像とが市松模様状に混在した状態の画像となっている。
【００９７】
上記画像インターフェイス１０１は、入力された画像から、赤外光フォトダイオード１１３により撮像された画素のみ、可視光フォトダイオード１１４により撮像された画素のみ、又はその両方の画素の何れかを含む画像が選別される。選別された画像は、あるトリガ信号に基づき、画像記憶装置１０２に格納される。
【００９８】
ここで、上記トリガ信号の１つの例として、当該センサ装置１／画像処理システムを外部から制御する、所謂「ホスト」からの明示的な指示を含んだ信号を挙げることができる。つまり、当該センサ装置１／画像処理システムを含む、所謂「セット」「システム」「商品」は、省電力モードに入るべきか否かを決定する、或いは利用者からの指示を受け付ける必要がある。それゆえ、省電力モードに移行するに際しては、復帰の為の下準備が必要であるので、ホストにより上述した画像を画像記憶装置１０２に格納するための「格納」の指示を含んだトリガ信号が発せられることになる。
【００９９】
さらに、撮像、選別された画像は、画像インターフェイス１０１から画像比較部１０３にも転送される。
【０１００】
上記画像比較部１０３は、上記画像インターフェイス１０１からの画像（以下、第２の画像と称する）と、画像記憶装置１０２に格納されている画像（以下、第１の画像と称する）とを比較する。ここで、第２の画像は、任意の時間経過後に、第１の画像を撮像した赤外光に感応するフォトダイオードと同じフォトダイオードにより撮像して得られた画像である。画像比較部１０３における画像同士を比較した比較結果は、後段の差分検出部１０４に転送され、第１の画像と第２の画像との差分が検出される。
【０１０１】
上記差分検出部１０４では、差分を検出するだけではなく、検出した差分により第１の画像と第２の画像とが異なるか否かを判定することも行い、この判定結果を含んだ、差分検出結果１０５を上記画像処理装置１２０及び電力制御部１３０に転送する。
【０１０２】
このように、上記差分検出部１０４は、第１の画像と第２の画像との差分を検出する差分検出手段としての機能だけではなく、その差分から第１の画像と第２の画像との変化の有無を判定する判定手段としての機能も備えている。
【０１０３】
以下に、上記画像撮像装置１００における具体的な処理の一例について説明する。
【０１０４】
上記画像比較部１０３は、画像インターフェイス１０１から入力された第２の画像と、画像記憶装置１０２に格納されている第１の画像との、それぞれの画像に対応する画素値の差の絶対値を求める。ここで、上記の差の絶対値が予め設定されている、所定の第１の閾値以上である場合は、画像撮像装置１００内に設けられた画素数カウンタ（図示せず）を１インクリメントする。これを撮像画像の対応する画素数分行う。
【０１０５】
この一連の処理の結果、画素数カウンタの値、即ち差の絶対値が所定の閾値以上である画素の数が、画像比較部１０３における比較結果の値となる。この比較結果は、差分検出部１０４に転送される。
【０１０６】
上記差分検出部１０４は、検出された差分としての画素値の差の絶対値が所定の閾値を越えた画素（画素数が所定の数以上）を数え、その画素数が第１の閾値以上であり、且つ第２の閾値以下であった場合を、第１の画像と第２の画像との間で変化有りと判定する。
【０１０７】
さらに、上記差分検出部１０４は、転送されてきた上記比較結果、すなわち差の絶対値が所定の閾値以上である画素の数が、予め設定されている、所定の第２の閾値以上になった場合に、２つの画像（第１の画像と第２の画像）の差が十分に大きい（２つの画像は十分に異なる）と判定し、差分検出結果１０５として「真」を示す値を後段の画像処理装置１２０及び電力制御部１３０に出力する。
【０１０８】
上記構成の画像撮像装置１００の動作は、以上のようになるが、要約すると、ある時刻に撮像した画像（画像記憶装置１０２に格納されている第１の画像）と、実時間で撮像している画像（画像インターフェイス１０１から入力された第２の画像）との間に、十分な差分が認められると、本画像撮像装置１００は差分検出結果１０５として「真」を示す値を後段の画像処理装置１２０及び電力制御部１３０に出力するように構成されている。
【０１０９】
しかも、上記画像撮像装置１００は、赤外光フォトダイオード１１３により撮像された赤外光画像のみ、あるいは、可視光フォトダイオード１１４により撮像された可視光画像のみ、または、赤外光画像と可視光画像とが混在した画像のみの３パターンの画像を取り扱うことが可能な構成となっている。このため、画像処理システムの周囲環境（照度等）に応じて、上記の３パターンの画像を必要に応じて使い分けることにより、周囲環境に影響されず、省電力モードの解除を行うためのトリガ信号（差分検出結果１０５）を適切に出力することが可能となる。
【０１１０】
ここで、上記構成の画像撮像装置１００及び光センサ液晶パネル１１０を組み合わせて構成されるセンサ装置１の動作の特徴を、用途の面から説明すると以下のようになる。
【０１１１】
まず、光センサ液晶パネル１１０が省電力モードに入る前に、「手をかざしていない背景だけの」第１の画像を撮像しておく。この第１の画像は、画像記憶装置１０２に格納される。
【０１１２】
次に、省電力モード中に、常時又は間欠的に画像を撮像し第２の画像とし、画像比較部１０３において、上記第２の画像と、上記画像記憶装置１０２に格納された第１の画像とを逐次比較する。
【０１１３】
さらに、「手をかざした場合」には、撮像画像（第２の画像）が第１の画像と十分に異なる事になり、本画像撮像装置１００は差分検出結果１０５として「真」を画像処理装置１２０及び電力制御部１３０に出力する。
【０１１４】
最後に、電力制御部１３０は、差分検出結果１０５の値に応じて、光センサ液晶パネル１１０の省電力モードの設定を解除する。なお、上記差分検出結果１０５が画像処理装置１２０に送られた場合の処理についての詳細は後述する。
【０１１５】
従って、光センサ液晶パネル１１０に対して、手をかざすと言う「操作」により、省電力モードを解除するという「動作」を実現させる事が、先ず可能となる。さらに、撮像及び比較は、可視光でも赤外光でも、選択的に又は同時に行う事が可能となっており、赤外光を使用すれば、人間から見た場合には真っ暗であっても、手をかざすと言う「操作」を検出する事が可能となる。
【０１１６】
上記構成の画像処理システムにおいては、センサ装置１に搭載された光センサ液晶パネル１１０が一つのセンサ画素１１２に赤外光フォトダイオード１１３と可視光フォトダイオード１１４との感応する光が異なるフォトダイオードを備えていることで、周囲環境（主に、照明が十分でない環境）に影響されずに、ユーザが手をかざすというった「操作」を検出することで、設定された省電力モードを確実に解除できるという効果を奏する。
（省電力モードの設定処理についての説明）
続いて、上記画像処理装置１２０による、本画像処理システムにおける省電力モードの設定処理について説明する。
【０１１７】
上記画像処理システムは、上述したように、センサ装置１の他に、省電力モードを設定するのに必要な画像処理装置１２０を含んでいる。
【０１１８】
上記画像処理装置１２０は、少なくとも画像撮像装置１００経由で入力された画像から特定の情報として位置情報（画面内の位置情報）を取得する機能を有している。この場合、例えば、「指が触れた」画像を光センサ液晶パネル１１０が撮像すると、画像処理装置１２０は、指が触れている指腹の部分を識別・検出し、その中心位置を「座標値」という形の情報にして記憶する。
【０１１９】
上記画像処理装置１２０には、タイマー１２１が接続されている。このタイマー１２１は、一定時間間隔毎に画像処理装置１２０に信号を送り、これを受信した画像処理装置１２０は、この時間間隔内に位置情報が検出されたか＝「指が触れたか」を監視する。
【０１２０】
監視した結果、「指は触れられなかった」という結果の場合には、位置情報を検出する機能は使われなかったことと判断し、この場合、位置情報の検出は引き続き使われない可能性があると解釈可能であると判断し、画像処理装置１２０は、自身の動作の停止を含めて画像処理システム全体の省電力モードの設定を指示するための信号を電力制御部１３０に送る。
【０１２１】
従って、上記特定の情報が一定時間以上取得しないとき、すなわち、一定時間「指が触れられなかった」場合には、画像処理装置１２０は、画像処理システムに対して省電力状態（省電力モード）に移行させるための信号を電力制御部１３０に送る。
【０１２２】
上記電力制御部（駆動制御手段）１３０は、省電力モードへの移行のための信号を受け付けると、センサ装置１及び画像処理装置１２０に対する電力供給を制御して、省電力モードに移行させる。
【０１２３】
なお、電力制御部１３０は、上記赤外光バックライト１４０の消灯時に、上記差分検出部１０４の駆動を停止させるのが好ましい。
【０１２４】
ここで、上記センサ装置１の動作説明で行ったように、省電力モードに移行するタイミング、すなわち画像処理装置１２０の画像処理の動作停止のタイミングで、画像撮像装置１００は、第１の画像を撮像しておく。そして、省電力モードに移行した後は、画像撮像装置１００は、従前の処理を行う。そして、光センサ液晶パネル１１０に「手がかざされた」事によって、差分検出結果１０５が「真（変化有り）」となり、この信号に基づき画像処理装置１２０は再起動すると共に、電力制御部１３０による電力供給制御のための信号がセンサ装置１及び画像処理装置１２０に転送され、画像処理システムが省電力モードから稼動モードに復帰する。この様にして、省電力モードへの移行とこれからの復帰に関する一連の動作が可能となり、「手をかざす」操作により、復帰処理が実行されることになる。
【０１２５】
本実施形態では、上記光センサ液晶パネル１１０に組み込まれた赤外光フォトダイオード１１３と可視光フォトダイオード１１４が同一比率（１：１）にて交互に配置された例について説明した。
【０１２６】
この場合、可視光フォトダイオード１１４と、赤外光フォトダイオード１１３とが同一比率にて交互に配置されていることで、例えば可視光フォトダイオード１１４のみにて撮像した画像は、赤外光フォトダイオード１１３の配置位置の影響（画素の規則的な欠落）を受けずに、形として歪みがない、あるい歪みが極めて少ない画像となる。逆に赤外光フォトダイオード１１３のみにて撮像した画像は、可視光フォトダイオード１１４の配置位置の影響（画素の規則的な欠落）を受けずに、形として歪みがない、あるい歪みが極めて少ない画像となる。
【０１２７】
つまり、可視光フォトダイオード１１４と、赤外光フォトダイオード１１３とが同一比率でなければ、撮像した画像は、撮像に使用しなかったフォトダイオードの配置位置に影響（画素の規則的な欠落）を受けて、歪みのある画像となり易い。
【０１２８】
このように、２種類のフォトダイオードで撮像した画像から片方のフォトダイオードからの画素のみを抜き出して画像を撮像した場合、画素が規則的に欠落した歪んだ画像となる。従って、一方のフォトダイオードにより撮像した画像の画像サイズを、オリジナルの画像サイズの画像として取り扱うためには、他方のフォトダイオードが配されている画素（欠落画素）を、周囲の片方の画素から補間生成する必要が生じる。例えば、赤外光フォトダイオード１１３と可視光フォトダイオード１１４との配置の関係により、以下のような補間処理の方法がある。
【０１２９】
図３（ａ）〜（ｃ）に示す赤外光フォトダイオード１１３と可視光フォトダイオード１１４との配列について、それぞれの補間処理の方法について以下に説明する。
【０１３０】
ここで、図３（ａ）は、赤外光フォトダイオード１１３と可視光フォトダイオード１１４とを水平方向に交互に配した縦縞状配列の一例を示し、図３（ｂ）は、赤外光フォトダイオード１１３と可視光フォトダイオード１１４とを垂直方向に交互に配した横縞状配列の一例を示し、図３（ｃ）は、図１に示すセンサ装置１に示す配列と同じ、赤外光フォトダイオード１１３と可視光フォトダイオード１１４とを市松模様状に配して市松状配列の一例を示す。いずれの例に於いても、赤外光フォトダイオード１１３と可視光フォトダイオード１１４の比率は１：１である。
【０１３１】
図３（ａ）に示す配列例の場合、すなわち赤外光フォトダイオード１１３と可視光フォトダイオード１１４とが水平方向にて交互に配された縦縞状態の配列の場合では、最近傍の画素が左隣と右隣となり、補間生成に際してラインメモリを必要とせず、簡易な補間処理が可能となる。
【０１３２】
また、図３（ｂ）に示す配列例の場合、すなわち赤外光フォトダイオード１１３と可視光フォトダイオード１１４とが垂直方向にて交互に配された横縞状態の配列の場合では、最近傍の画素が上隣と下隣となり、補間生成に際してラインメモリを必要とせず、簡易な補間処理が可能となる。
【０１３３】
このように、図３（ｂ）に示すような配列は、図３（ａ）に示すように、単純であり液晶パネルの製造工程においても有利な配列となっているものの、図３（ａ）に示す場合や後述する図３（ｃ）に示す場合のように画像面での特徴はない。
【０１３４】
ここで、上記画像面の特徴とは、例えば赤外光の画素だけを抜き出して赤外画像を得る場合を考えた場合、（１）抜き出し処理が容易か否か、（２）生成後の画像の画質はどうか、等々に関してフォトダイオードの配置毎に、所謂「点数」をつけ、この「点数」の高い低いをいう。
【０１３５】
つまり、図３（ａ）に示す水平配列の場合、可視光が抜き取られた跡を補間値で埋める場合に、ラインメモリが不要であるので、抜き出し処理が容易であるという特徴を有する。
【０１３６】
また、図３（ｃ）に示す市松状態の配列の場合、図３（ａ）や図３（ｂ）のように、抜き取り後の画像の水平又は垂直方向「のみ」周波数特性が劣化する、という劣化の偏りがなく、水平も垂直も同等に劣化する。従って、画質的には最も優れている、という特徴を有する。
【０１３７】
さらに、図３（ｃ）に示す配列例の場合、すなわち赤外光フォトダイオード１１３と可視光フォトダイオード１１４とが市松模様に配された市松状態の配列の場合では、最近傍の画素が上下左右の４画素あり、補間生成後の画素の値の有効性が極めて高くなる。つまり、縦縞状態や横縞状態の場合に比べて、補間精度が高くるので、より自然な画像にすることが可能となる。
【０１３８】
図１に示す画像処理システムでは、赤外光フォトダイオード１１３による赤外光の認識するための周囲照射環境を特に限定しておらず、画像処理システムの外部に設けられた赤外光源からの赤外光の照射環境であってもよく、また、光センサ液晶パネル１１０におけるバックライトとして赤外光を照射する赤外光バックライトからの赤外光の照射環境であってもよいが、赤外光の照射が確実に行えるという観点から、赤外光源である赤外光バックライトを光センサ液晶パネル１１０に備えることが好ましい。
【０１３９】
図４は、図１に示したセンサ装置１に、赤外光バックライト１４０とバックライトドライバ１４１を付加した構成のセンサ装置２を示している。上記赤外光バックライト１４０は、上記光センサ液晶パネル１１０における、画像の撮像面とは反対側の面から赤外光を照射するように配置されている。
【０１４０】
図１に示すセンサ装置１において、赤外光画像を使用する場合に、人間の視覚において真っ暗闇な中でも「手をかざす」操作の検出が可能になるものの、赤外光源をどこに設けるかにより検出の確実度が異なる。つまり、赤外光源を画像処理システム外部から得ようとした場合、上記の赤外光画像を使用して「手をかざす」操作を検出するには、常に、赤外光源の近くで上記操作を行う必要がある。
【０１４１】
しかしながら、図４に示すように、センサ装置２自体に赤外光バックライト１４０を備えるようにすれば、赤外光画像使用した「手をかざす」操作の検出を確実に行うことができる。このように、センサ装置２を用いて赤外光画像を使用する場合には、赤外光バックライト１４０を点灯させる必要がある。この場合には、第１の画像の撮像も、入力画像の撮像も、同様に赤外光のバックライトを点灯した状態で行う必要がある。
【０１４２】
ここで、撮像時には赤外光バックライト１４０を点灯する必要はあるが、間欠的に入力画像を撮像する場合には、撮像していない時間は赤外光バックライト１４０を点灯しておく必要は無い。赤外光バックライト１４０の点灯は電力を消費するので、省電力の観点からは、寧ろバックライトは積極的に消灯すべきである。従って、画像撮像装置１００における画像撮像の実行制御を行うために、赤外光バックライト１４０の点灯の指示は、入力画像の撮像のタイミングに同期して、バックライトドライバ（点灯制御手段）１４１に与えればよい。
【０１４３】
このように、赤外光バックライト１４０を備えたセンサ装置２を用いれば、画像処理システムにおける周囲環境において可視光照度が十分にあれば、可視光フォトダイオード１１４を用いた画像撮像を行い、可視光照度が十分でなければ、外部に赤外光源が無くても、赤外光バックライト１４０を赤外光源として赤外光フォトダイオード１１３を用いた画像撮像を確実に行うことができる。
【０１４４】
上記の例では、赤外光バックライトを積極的に消灯すべきとのことから、入力画像の撮像のタイミングに同期してバックライトドライバ１４１を用いて赤外光バックライト１４０を点灯制御する点について説明したが、例えば、赤外光バックライト１４０を常時点灯した場合に以下に示すメリットがある。
【０１４５】
つまり、赤外光バックライト１４０を常時点灯していることで、赤外光フォトダイオード１１３による画像撮像が常時行われることになるので、第１の画像と第２の画像との差分判定を迅速に行うことができる。つまり、第１の画像と第２の画像との変化を迅速に検出することができるというメリットを有する。
【０１４６】
また、上記バックライトドライバ１４１により赤外光バックライト１４０が間欠的に点灯されるように制御されているときには、上記赤外光バックライト１４０が点灯するタイミングで、上記赤外光フォトダイオード１１３による画像撮像の実行制御を行うようにしてもよい。
【０１４７】
この場合には、赤外光フォトダイオード１１３による画像撮像が間欠して行われることになるので、撮像された画像の差分を取るための処理を常時行わなくて済み、この結果、センサ装置１（２）における消費電力を低減できるというメリットを有する。
【０１４８】
上記バックライトドライバは、赤外光バックライト１４０を、Ｎフレーム期間にＭフレーム期間（Ｎ，Ｍは整数で、Ｎ＞Ｍである）点灯するように制御するようにしてもよい。
【０１４９】
この場合には、赤外光に感応する赤外光フォトダイオード１１３による画像撮像が周期的に行われることになるので、撮像された画像の差分を取るための処理を常時行わなくて済み、その結果、センサ装置１（２）における消費電力を低減できる。
【０１５０】
さらに、画像撮像装置１００は、可視光の照度測定手段（図示せず）をさらに具備し、上記照度測定手段による測定結果が所定の照度以下となったとき、上記点灯制御手段であるバックライトドライバ１４１は、上記赤外光バックライト１４０の点灯制御を行い、上記赤外光に感応するフォトダイオードである赤外光フォトダイオード１１３による画像撮像の実行制御を行い、上記駆動制御手段である電力制御部１３０は、上記差分検出手段及び判定手段を構成している差分検出部１０４の駆動制御を行うようになっている。
【０１５１】
以上の実施形態では、第１の画像と第２の画像とを撮像する際に、光センサ液晶パネル１１０に含まれている赤外光フォトダイオード１１３の数について特に限定していないが、上記第１の画像と第２の画像を、赤外光フォトダイオード１１３の全てを使用して撮像してもよい。
【０１５２】
この場合、変化したかの判断基準をよりきめ細かく制御可能となる。例えば、画像ノイズによる「変化」なのか、「手をかざした」事による「変化」なのか、の切り分けの為の閾値設定が、高精度に可能となる。
【０１５３】
上記構成では、第１の画像を格納する画像記憶装置１０２が必要である。当該画像記憶装置１０２の記憶容量を抑制するためには、以下のようにすればよい。
【０１５４】
すなわち、上記第１の画像と第２の画像を、光センサ液晶パネル１１０に含まれている赤外光フォトダイオード１１３の一部を使用して撮像する。
【０１５５】
ここで、本願による画像の「変化」のある無しは、ある程度画素値の変化のある画素が、「全体の何％あるか」、の統計処理を行うことで判断している。
【０１５６】
そこで、画像の変化の妥当性の判断から、上記第１の画像と第２の画像を、光センサ液晶パネル１１０に含まれている赤外光フォトダイオード１１３のうち、１０００個以上、４０９６個以下の赤外光フォトダイオード１１３を使用して撮像するのが好ましい。
【０１５７】
なお、本発明の主旨から、上記センサ装置１（２）の光センサ液晶パネル１１０に含まれる画像撮像用のフォトダイオードは、全て赤外光フォトダイオード１１３であってもよい。すなわち、可視光フォトダイオード１１４の比率が０であってもよい。
【０１５８】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１５９】
本発明は、周囲照度が十分に低い環境で使用される機器において、省電力モードからの復帰を画像撮像で行う機器、ノートパソコンや携帯電話等の電子機器に利用することができる。
【符号の説明】
【０１６０】
１  センサ装置
２  センサ装置
１０  画像表示部
２０  画像入力部
１００  画像撮像装置
１０１  画像インターフェイス
１０２  画像記憶装置
１０３  画像比較部
１０４  差分検出部
１０５  差分検出結果
１１０  光センサ液晶パネル
１１１  表示画素
１１２  センサ画素
１１３  赤外光フォトダイオード
１１４  可視光フォトダイオード
１１５  液晶ドライバ
１１８  絶縁層
１２０  画像処理装置
１２１  タイマー
１３０  電力制御部
１４０  赤外光バックライト
１４１  バックライトドライバ
２００  透明基板
２０１  ＴＦＴ
２０２  ゲート電極
２０３  ソース電極
２０４  ドレイン電極
２０５  透明電極
２０６  透明基板
２０７  強誘電性液晶
２０８  透明電極
２０９  受光層
２１３  下部電極
２１４  半導体層
２１５  上部電極
２１６  チャネル層
２１７  ゲート絶縁膜
２２０  画素
２３１  透明保護層
２３２  薄板ガラス
【図１】
2011107829.tif 000003
【図２】
2011107829.tif 000004
【図３】
2011107829.tif 000005
【図４】
2011107829.tif 000006
【図５】
2011107829.tif 000007