(57)【要約】【課題】脈拍等の測定に十分な精度の撮像画像を安定して取得することができる撮像装置等を提供する。【解決手段】本発明の測定装置１は、画像表示面に画像を表示する表示部４と、表示部４が上記画像表示面に画像を表示するときに発する光が、上記画像表示面に接触している対象物に反射した反射光を、上記画像表示面に対して上記対象物の反対側の位置にて撮像する撮像部５と、撮像部５が上記対象物の撮像を行うときに、上記画像表示面に所定の画像を表示させる表示色管理部８とを備えているので、脈拍等の測定に十分な精度の撮像画像を安定して取得することができる。【選択図】図１
2009106680.tif 000002
【特許請求の範囲】
【請求項１】
画像表示面に画像を表示する表示部と、
上記表示部が上記画像表示面に画像を表示するときに発する光が、上記画像表示面に接触している対象物に反射した反射光を、上記画像表示面に対して上記対象物の反対側の位置にて撮像する撮像部と、
上記撮像部が上記対象物の撮像を行うときに、上記画像表示面に所定の画像を表示させる表示画像管理手段とを備えていることを特徴とする撮像装置。
【請求項２】
上記対象物は、指であり、
上記画像表示面に上記所定の画像が表示された状態で、上記撮像部にて時間的に連続して撮像された上記対象物の複数枚の画像における、上記接触位置の輝度値の経時変化に基づいて、上記対象物の脈拍を測定する脈拍測定手段を備えていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記対象物は、指または掌であり、
上記撮像部にて撮像された上記対象物の画像に基づいて、上記対象物の指紋または掌紋の照合を行う指紋照合手段を備え、
上記表示画像管理手段は、上記撮像部が指紋照合または掌紋照合のための撮像を行うときに、指紋照合処理または掌紋照合処理と対応付けられた画像を上記画像表示面に表示させることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
上記撮像部にて撮像された上記対象物の画像に基づいて、上記対象物の上記画像表示面上の接触位置を検出する接触検出手段を備え、
上記表示画像管理手段は、上記撮像部が接触位置検出のための撮像を行うときに、接触位置検出処理と対応付けられた画像を上記画像表示面に表示させ、
上記撮像部が時間的に連続して複数回の撮像を行うときに、上記接触位置が検出された後は、上記接触検出手段が検出した接触位置を含む、上記表示画面上の予め定めた範囲のみの撮像を行うように制御する撮像制御手段を備えていることを特徴とする請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
請求項１から４の何れか１項に記載の撮像装置を備えていることを特徴とする携帯電話機。
【請求項６】
画像表示面に画像を表示する表示部と、上記表示部が上記画像表示面に画像を表示するときに発する光が、上記画像表示面に接触している対象物に反射した反射光を、上記画像表示面に対して上記対象物の反対側の位置にて撮像する撮像部とを備える撮像装置の制御方法であって、
上記画像表示面に所定の画像を表示させる表示画像管理ステップと、
上記画像表示面に上記所定の画像が表示された状態で、上記撮像部にて上記対象物を撮像する撮像ステップとを含むことを特徴とする撮像装置の制御方法。
【請求項７】
請求項１から４の何れか１項に記載の撮像装置を動作させるための撮像装置制御プログラムであって、
コンピュータを上記表示画像管理手段として機能させるための撮像装置制御プログラム。
【請求項８】
請求項７に記載の撮像装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脈拍等を測定するための画像の撮像を行う撮像装置等に関するものである。
【背景技術】
【０００２】
従来から、生体に光を照射し、その反射光量の変化に基づいて生体の脈拍を測定する装置が用いられている。すなわち、生体の毛細血管は、心臓の拍動によって収縮と拡張とを繰り返しているので、生体に光を照射した場合に、毛細血管にて反射される光量は、毛細血管の収縮時と拡張時とで異なっている。したがって、上記反射光を、例えば受光素子によって受光し、反射光量の変化を電気信号に変換することによって脈拍を測定することができる。
【０００３】
また、上記のような反射光量を測定する方法の他に、生体を透過した透過光量の変化に基づいて上記生態の脈拍を測定する装置も提案されている。例えば、下記の特許文献１では、生体に赤外光を照射し、生体を透過した赤外光の輝度値の変化を測定している。すなわち、生体を透過する透過光量は、生体の毛細血管が収縮した時には大きくなり、拡張した時には小さくなるので、透過赤外光の輝度値も毛細血管の収縮及び拡張に合わせて変動することになる。したがって、輝度値の変化を測定することによって脈拍を検出することができる。
【０００４】
このように、生体に光を照射したときに、生体で反射される反射光、または生体を透過した透過光を測定することによって、生体の脈拍を検出する装置が公知となっている。例えば、株式会社タニタが市販している脈拍計「電子脈拍計６１０２」では、ユーザの指先での反射光に基づいてユーザの脈拍を測定するようになっている。
【０００５】
ところで、液晶表示装置等の表示装置において、表示画面に対して表示装置の内部側に撮像素子を配置して、表示画面に接触した対象物を画像として取り込む撮像装置が公知になっている。上記撮像装置では、表示画面に接触した対象物を取り込んだ画像データを解析することによって、表示画面に対する上記対象物の接触を検出することができる。
【０００６】
このように、上記撮像装置によれば、表示画面への対象物の接触を検知することができると共に、表示画面に接触した対象物の画像を撮像することができる。したがって、上記撮像装置は、脈拍測定等に利用することができると考えられる。
【０００７】
すなわち、上記表示装置の表示画面上に例えば指等を接触させた場合には、上記撮像装置は指の接触を検知することができると共に、指の画像を撮像することができる。したがって、指の画像の経時的な輝度値変化を観測することによって脈拍の測定を行うことができる。
【特許文献１】特開２００３−３３１２６８号公報（２００３年１１月２１日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、表示装置に撮像素子を搭載するためには、撮像素子の大きさを小さくする必要があり、撮像素子の大きさを小さくした場合には、撮像素子の分光感度特性に偏りが生じるという問題がある。なお、分光感度特性に偏りが生じるとは、ある特定の周波数範囲の色成分に対しては、感度特性が良好になる一方で、他の周波数範囲の色成分に対しては感度特性が低くなるということである。
【０００９】
すなわち、脈拍等の測定を行うときに表示装置に表示されている色の周波数範囲によっては、撮像素子の感度が低くなる場合があり、そのため上記従来の撮像装置では、脈拍等の測定に十分な精度の撮像画像を安定して取得することが困難であるという問題がある。
【００１０】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、脈拍等の測定に十分な精度の撮像画像を安定して取得することができる撮像装置等を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、上記課題を解決するために、画像表示面に画像を表示する表示部と、上記表示部が上記画像表示面に画像を表示するときに発する光が、上記画像表示面に接触している対象物に反射した反射光を、上記画像表示面に対して上記対象物の反対側の位置にて撮像する撮像部と、上記撮像部が上記対象物の撮像を行うときに、上記画像表示面に所定の画像を表示させる表示画像管理手段とを備えていることを特徴としている。
【００１２】
また、本発明の撮像装置の制御方法は、上記課題を解決するために、画像表示面に画像を表示する表示部と、上記表示部が上記画像表示面に画像を表示するときに発する光が、上記画像表示面に接触している対象物に反射した反射光を、上記画像表示面に対して上記対象物の反対側の位置にて撮像する撮像部とを備える撮像装置の制御方法であって、上記画像表示面に所定の画像を表示させる表示画像管理ステップと、上記画像表示面に上記所定の画像が表示された状態で、上記撮像部にて上記対象物を撮像する撮像ステップとを含むことを特徴としている。
【００１３】
上記の構成によれば、表示部が画像表示面に画像を表示するときに発する光が、画像表示面に接触している対象物に反射した反射光を、画像表示面に対して対象物の反対側の位置にて撮像することができる。すなわち、上記撮像装置では、画像表示面に画像を表示することができると共に、画像表示面に接触している対象物の撮像を行うことができる。
【００１４】
そして、上記の構成によれば、対象物の撮像を行うときには、画像表示面に所定の画像が表示される。ここで、画像表示面に所定の画像を表示すると、画像表示面に画像を表示するときに発する光が対象物に反射した反射光が撮像されることになる。
【００１５】
したがって、撮像部の分光感度特性に応じた画像を表示させた状態で撮像を行うことによって、高精度な撮像画像を得ることが可能になる。また、表示させる画像は、撮像によって得られる撮像画像の用途に応じて変更するようにしてもよい。例えば、撮像画像を指紋照合処理に用いる場合と脈拍測定処理に用いる場合とでは、撮像画像に要求される要件が異なっている。したがって、その要件に合わせて表示させる画像を変更することによって、各処理の精度を向上させることができる。
【００１６】
また、上記対象物は、指であり、上記画像表示面に上記所定の画像が表示された状態で、上記撮像部にて時間的に連続して撮像された上記対象物の複数枚の画像における、上記接触位置の輝度値の経時変化に基づいて、上記対象物の脈拍を測定する脈拍測定手段を備えていることが好ましい。
【００１７】
上記の構成によれば、画像表示面に指を接触させることにより、脈拍を測定することができる。また、脈拍測定のための撮像を行うときには、所定の画像が画像表示面に表示される。
【００１８】
すなわち、脈拍を測定するための撮像を行うときには、上記所定の画像を表示するための光が対象物に照射され、その反射光が撮像される。したがって、撮像画像の輝度値の経時変化が明瞭に反映される光が照射される画像を表示させることによって、脈拍測定を高精度に行うことが可能になる。例えば、脈拍測定を行う場合には、青色の画像を表示して青色光が対象物に照射されるようにすることで、脈拍測定を高精度に行うことができる。
【００１９】
また、上記対象物は、指または掌であり、上記撮像部にて撮像された上記対象物の画像に基づいて、上記対象物の指紋または掌紋の照合を行う指紋照合手段を備え、上記表示画像管理手段は、上記撮像部が指紋照合または掌紋照合のための撮像を行うときに、指紋照合処理または掌紋照合処理と対応付けられた画像を上記画像表示面に表示させることが好ましい。
【００２０】
上記の構成によれば、画像表示面に指または掌を接触させることにより、指紋照合または掌紋照合を行うことができる。また、指紋照合または掌紋照合のための撮像を行うときには、指紋照合処理または掌紋照合処理と対応付けられた画像が画像表示面に表示される。
【００２１】
すなわち、指紋照合または掌紋照合のための撮像を行うときには、指紋照合処理または掌紋照合処理と対応付けられた画像を表示するための光が対象物に照射され、その反射光が撮像される。したがって、指紋または掌紋が明瞭に撮像される光が照射される画像を表示させることによって、指紋照合または掌紋照合を高精度に行うことが可能になる。例えば、指紋照合または掌紋照合を行う場合には、白色の画像を表示して白色光が対象物に照射されるようにすることで、指紋照合または掌紋照合を高精度に行うことができる。
【００２２】
また、上記撮像装置は、上記撮像部にて撮像された上記対象物の画像に基づいて、上記対象物の上記画像表示面上の接触位置を検出する接触検出手段を備え、上記表示画像管理手段は、上記撮像部が接触位置検出のための撮像を行うときに、接触位置検出処理と対応付けられた画像を上記画像表示面に表示させ、上記撮像部が時間的に連続して複数回の撮像を行うときに、上記接触位置が検出された後は、上記接触検出手段が検出した接触位置を含む、上記表示画面上の予め定めた範囲のみの撮像を行うように制御する撮像制御手段を備えていることが好ましい。
【００２３】
上記の構成によれば、接触位置を検出するための撮像を行うときには、画像表示面に接触位置検出処理と対応付けられた画像が表示される。すなわち、接触位置を検出するための撮像を行うときには、上記接触位置検出処理と対応付けられた画像を表示するための光が対象物に照射され、その反射光が撮像される。したがって、接触位置を明瞭に撮像できる光が照射される画像を表示させることによって、接触位置の検出を高精度に行うことが可能になる。例えば、接触位置を検出する場合には、緑色の画像を表示して緑色光が対象物に照射されるようにすることで、接触位置の検出を高精度に行うことができる。
【００２４】
また、上記の構成によれば、対象物の画像表示面上の接触位置が接触検出手段によって検出される。ここで、対象物の画像表示面上の接触位置を検出する場合には、画像表示面上のできるだけ広い範囲を撮像することにより、接触位置を確実に検出できるようになるので好ましい。
【００２５】
しかしながら、撮像画像を例えば脈拍測定処理に用いる場合のように、対象物を時間的に連続して複数回撮像する場合に、画像表示面上の広い範囲を撮像することは、撮像装置の消費電力の増大につながるので好ましくない。
【００２６】
そこで、上記の構成によれば、対象物を時間的に連続して複数回撮像する場合には、接触検出手段が検出した接触位置を含む、表示画面上の予め定めた範囲のみの撮像を行うようにしている。したがって、撮像装置の消費電力を低く抑えることができる。
【００２７】
また、上記撮像装置を備えている携帯電話機であれば、上記本発明の課題を解決することができる。なお、上記撮像装置は、携帯電話機に限られず、液晶表示装置やＥＬ表示装置のような表示装置を搭載した電子機器に好適に組み合わせることができる。
【００２８】
なお、上記撮像装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記撮像装置の表示画像管理手段として動作させることにより、上記撮像装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００２９】
以上のように、本発明の撮像装置は、画像表示面に画像を表示する表示部と、上記表示部が上記画像表示面に画像を表示するときに発する光が、上記画像表示面に接触している対象物に反射した反射光を、上記画像表示面に対して上記対象物の反対側の位置にて撮像する撮像部と、上記撮像部が上記対象物の撮像を行うときに、上記画像表示面に所定の画像を表示させる表示画像管理手段とを備えている構成である。
【００３０】
また、本発明の撮像装置の制御方法は、以上のように、画像表示面に所定の画像を表示させる表示画像管理ステップと、上記画像表示面に上記所定の画像が表示された状態で、上記撮像部にて上記対象物を撮像する撮像ステップとを含む構成である。
【００３１】
したがって、撮像に適した画像が表示された状態にて対象物の撮像が行われるので、高精度の撮像画像を安定して取得することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３２】
本発明の一実施形態について図１から図１５に基づいて説明すると以下の通りである。まず、本実施形態の測定装置の概要について、図１に基づいて説明する。図１は、測定装置（撮像装置）１の要部構成を示すブロック図である。図示のように、測定装置１は、主制御部２、入力部３、表示部４、撮像部５、撮像制御部（撮像制御手段）６、表示制御部７、表示色管理部（表示画像管理手段）８、接触検出・指紋照合部（接触検出手段、指紋照合手段）９、記憶部１０、及び脈拍測定部（脈拍測定手段）１１を備えている。
【００３３】
主制御部２は、入力部３から送られてくる入力信号に従って、測定装置１の各部に指示を送信することによって、測定装置１の動作を統括して制御する。主制御部２が実行する具体的な処理内容については、後に詳しく説明する。
【００３４】
入力部３は、測定装置１のユーザの入力操作を取得して主制御部２に伝達するものである。具体的には、入力部３は、測定装置１の表面に設けられた複数の入力キーに対するユーザの入力操作を受け付けて、当該入力操作に応じた入力信号を生成して制御部に送る。なお、入力部３は、ユーザの入力操作を取得して主制御部２に伝達できるものであればよく、この例に限られない。例えば、入力部３がタッチパネルで構成されていてもよい。
【００３５】
表示部４は、表示制御部７の指示に従って、文字や画像等を表示する表示装置である。また、撮像部５は、撮像制御部６の指示に従って、表示部４を介して測定装置１外部の画像を撮像する撮像装置である。
【００３６】
ここで、表示部４及び撮像部５の構成について、図２に基づいて説明する。図２は、表示部４及び撮像部５の要部構成を示す断面図である。図示のように、表示部４は、バックライト２１、撮像素子２２、第１ガラス板２３、カラーフィルタ２４、第２ガラス板２５、及び保護板２６を備えている。なお、図示していないが、表示部４はバックライト２１からカラーフィルタ２４へと向かう光の光量を制御する液晶層を備えており、表示制御部７が液晶層の駆動を制御することによって、画像を表示するようになっている。すなわち、ここでは表示部４は、液晶表示装置であることを想定している。
【００３７】
図示のように、第１ガラス板２３上には複数の撮像素子２２が等間隔に配列しており、撮像素子２２の上部にＲ，Ｇ，Ｂの３色の画素より成るカラーフィルタ２４が設けられており、さらにその上部には第２ガラス板２５が設けられている。そして、第２ガラス板２５の上部には、第１ガラス板２３等の表示部４の各構成要素を保護するための保護板２６が設けられており、保護板２６の上部は測定装置１の外部になっている。
【００３８】
撮像素子２２は、光を電気信号に変換する素子である。撮像素子２２は、図示のように、Ｒ，Ｇ，Ｂの各画素の下部に設けられており、Ｒ，Ｇ，Ｂの各画素を通過した光（図中上方向からの光）を受光する事ができるようになっている。すなわち、撮像部５は、表示部４の内部に組み込まれた複数の撮像素子２２によって構成されている。なお、撮像素子２２としては、例えばＣＣＤ（charge-coupled device）等の公知の撮像素子を適用することができる。
【００３９】
ここで、図示のように、保護板２６に被写体Ｓ（この場合ユーザの指）が触れた場合には、バックライト２１から照射された光は、第１ガラス板２３、カラーフィルタ２４、第２ガラス板２５、及び保護板２６を順次通過して指に当たる。そして、指に当たった光は反射して、保護板２６、第２ガラス板２５、及びカラーフィルタ２４を順次通過して撮像素子２２に受光される。これにより、撮像部５（撮像素子２２）は、保護板２６に触れた指の画像を生成することが可能になる。
【００４０】
なお、本実施形態では、表示部４が液晶表示装置によって構成されている例について説明するが、表示装置は画像の表示と撮像とを行うことができるものであればよく、この例に限定されない。例えば、表示部４は、有機ＥＬ（Electro Luminescence）表示装置によって構成されていてもよい。
【００４１】
図３は、表示部４の他の構成例を示す図であり、表示部４’の要部構成を示す断面図である。図示のように、表示部４’は、カソード３１、正孔輸送層３２、発光層３３、電子輸送層３４、及びアノード３５が積層された構成である。なお、アノード３５の上部は、測定装置１の外部である。そして、発光層３３内には励起子３６が等間隔で配列しており、電子輸送層３４内には撮像素子２２が設けられている。
【００４２】
ここで、表示部４’にて、画像を表示する仕組みについて説明する。まず、カソード３１とアノード３５に電圧を印加して、電子と正孔を注入すると、注入された電子及び正孔は、それぞれ電子輸送層３４及び正孔輸送層３２を通過して、発光層３３内で結合する。ここで、正孔と電子とが結合することにより、エネルギーが発生し、発光層３３内の励起子３６が励起される。そして、励起子３６が励起状態から再び基底状態に戻るそのときに光を発生する。
【００４３】
すなわち、表示部４’では、表示部４’の各画素に電圧を印加することによって、当該画素を発光させることができるので、表示制御部７にて表示部４’に印加する電圧を制御することにより、表示部４’に所望の画像を表示させることができるようになっている。
【００４４】
ここで、図示のように、アノード３５に指で触れた場合には、励起子３６が発する光は、電子輸送層３４及びアノード３５を通過して指に当たる。そして、指に当たった光は反射して、アノード３５及び電子輸送層３４を通過して撮像素子２２に受光される。これにより、アノード３５に触れた指の画像を生成することが可能になる。
【００４５】
このように、測定装置１の表示部４には、撮像部５（撮像素子２２）が組み込まれているので、測定装置１は、表示部４に任意の画像や動画等を表示することができると共に、表示部４に接触した対象物の撮像を行うことができる。
【００４６】
撮像制御部６は、撮像部５に含まれる各撮像素子２２の駆動を制御するものである。具体的には、撮像制御部６は、表示部４内に設けられた複数の撮像素子２２のうち、主制御部２に指示された領域に含まれる撮像素子２２を駆動して撮像を行わせる。また、撮像制御部６は、撮像部５が撮像によって取得した画像データを接触検出・指紋照合部９及び脈拍測定部１１に送信させる。
【００４７】
表示制御部７は、主制御部２の指示に従って、表示部４に画像を表示させるものである。具体的には、表示制御部７は、表示部４の液晶層を駆動することによって、表示部４に任意の画像を表示させる。
【００４８】
表示色管理部８は、表示部４への接触の検知、脈拍の測定、及び指紋の照合のそれぞれに応じた適切な表示色を主制御部２に通知する。具体的には、表示色管理部８は、処理の種類と表示色との対応を示す表示色管理テーブルを備えており、該表示色管理テーブルを参照して、主制御部２がこれから実行する処理の種類に応じた表示色を主制御部２に通知する。
【００４９】
なお、本実施形態では、表示色管理部８が表示色管理テーブルに従って表示色を判断する例について説明するが、表示色管理部８が表示色の判断に使用するデータは、表示部４への接触の検知、脈拍の測定、及び指紋の照合の各処理と、当該処理を行うときの表示色との対応関係を示すものであればよく、テーブル形式のデータに限られない。
【００５０】
接触検出・指紋照合部９は、撮像部５から送られてくる画像データを解析し、表示部４への接触領域を検出する。表示部４への接触領域は、上述のようにパターンマッチング等の手法によって検出することができる。具体的には、接触検出・指紋照合部９は、主制御部２から接触領域を検出するように指示を受けた場合に、記憶部１０から接触検出用の画像データを読み出し、上記読み出した画像データと、撮像部５から送られてきた画像データとでパターンマッチングを行う。そして、接触検出・指紋照合部９は、パターンマッチングによって特定された接触領域を主制御部２に通知する。
【００５１】
また、接触検出・指紋照合部９は、上記画像データを解析して指紋の検出及び照合を行う。具体的には、接触検出・指紋照合部９は、主制御部２から指紋の照合を行うように指示を受けた場合に、接触領域を検出し、該検出した接触領域の画像データと、記憶部１０に予め格納されている指紋データとをパターンマッチング等によって照合する。そして、接触検出・指紋照合部９は、照合の結果を主制御部２に通知する。
【００５２】
記憶部１０は、測定装置１で使用する種々のデータを読み出し可能に格納する装置である。具体的には、記憶部１０には、指紋照合に用いる指紋データ及び表示部４への接触領域を検知するためのデータ等が格納されている。また、測定装置１では、入力部３への入力操作によって、すでに記憶部１０に格納されている指紋データを削除したり、撮像制御部６の制御によって撮像された指紋を指紋データとして追加したりすることができるようになっている。
【００５３】
脈拍測定部１１は、撮像部５が測定装置１のユーザの指を撮像して得られた画像データに基づいて、脈拍を測定するものである。図示のように、脈拍測定部１１は、輝度値演算部１１ａ、閾値算出部１１ｂ、及び脈拍算出部１１ｃを備えており、脈拍測定部１１の機能はこれらの構成要素によって実現される。
【００５４】
輝度値演算部１１ａは、撮像部５が取得した画像データの各画素の輝度値を積算して当該画像データの輝度値を算出する。また、輝度値演算部１１ａは、主制御部２からの指示に従って、撮像部５から連続して送られてくる複数枚の画像データのそれぞれについて、接触領域内の輝度値の合計値を算出する。また、輝度値演算部１１ａは、上記算出した輝度値の合計値の、連続する画像データ間における差分を算出する。そして、輝度値演算部１１ａは、算出した差分を差分データとして閾値算出部１１ｂ及び脈拍算出部１１ｃに送る。
【００５５】
閾値算出部１１ｂは、輝度値演算部１１ａから送られてくる上記差分データに基づいて、脈拍測定の基準となる閾値を算出し、算出した閾値を脈拍算出部１１ｃに送る。具体的には、閾値算出部１１ｂは、差分データの最小値と最大値との算術平均を閾値として算出する。
【００５６】
脈拍算出部１１ｃは、輝度値演算部１１ａから送られてくる差分データと閾値算出部１１ｂから送られてくる閾値とに基づいて脈拍を算出し、脈拍の算出値を示す脈拍データを主制御部２に送る。具体的には、脈拍算出部１１ｃは、差分データの経時変化を観測し、測定時間内に差分データの周期が観測される回数をカウントする。そして、脈拍算出部１１ｃは、上記カウントした回数から、単位時間（例えば１分）当たりの脈拍を算出する。
【００５７】
ここで、差分データ及び閾値に基づいて脈拍を算出する方法について、図４に基づいて説明する。図４は、差分データの経時変化の一例を示す図である。なお、同図では、横軸が経過時間ｔを示し、縦軸が差分データΔＹの値を示している。図示のように、差分データΔＹは、周期Ｔで増減を繰り返している。
【００５８】
ところで、上記〔背景技術〕で説明したように、心臓の拍動によって毛細血管が拡張と収縮を一定の周期で繰り返すので、毛細血管にて反射された画像を撮像した画像データの輝度値も上記一定の周期で増減を繰り返す。したがって、時間的に連続して撮像した画像データの輝度値変化を示す差分データΔＹも、心臓の拍動と同じ周期で増減を繰り返すことになる。
【００５９】
すなわち、差分データΔＹの１周期が心臓の拍動１回、すなわち脈拍１回に相当するので、単位時間当たりにΔＹの周期が観測される回数を調べることによって、脈拍を測定することができる。
【００６０】
例えば、図示の例では、点Ａを境に差分データΔＹが閾値以下から閾値以上へと変化している。差分データΔＹは、点Ａを越えた後も増加を続けるが、ΔＹｍａｘに達すると減少に転じる。そして、差分データΔＹは減少を続け、点Ｂを境に差分データΔＹは閾値以上から閾値以下へと変化し、ΔＹｍｉｎに達するとここで増加に転じる。増加に転じた差分データΔＹは、点Ｃを境に、再び閾値以下から閾値以上へと変化する。図示のように、差分データΔＹは、この点Ａから点Ｃまでの変化を繰り返す。すなわち、点Ａから点Ｃまでの時間Ｔが差分データΔＹの１周期となっているのである。
【００６１】
したがって、差分データΔＹが閾値以下から閾値以上へと変化する回数、または閾値以上から閾値以下へと変化する回数をカウントすることで、差分データΔＹの周期の回数を調べることができる。
【００６２】
具体的には、図示の例のように、差分データの最小値をΔＹｍｉｎ、最大値をΔＹｍａｘとおいた場合には、差分データの最小値ΔＹｍｉｎと最大値ΔＹｍａｘとの間に、閾値を設定し、差分データΔＹが、上記設定した閾値以下の値から閾値以上の値へと変化する回数をカウントすることにより、周期の回数を調べることができる。無論、閾値以上の値から閾値以下の値へと変化する回数をカウントするようにしても同じことである。
【００６３】
なお、閾値は、差分データの最小値ΔＹｍｉｎと最大値ΔＹｍａｘとの間の値であれば、周期の回数の測定に用いることができるが、差分データは、脈拍の測定中にある程度変動するので、図示のように、差分データの最小値ΔＹｍｉｎと最大値ΔＹｍａｘとのちょうど中間の値（すなわち最小値ΔＹｍｉｎと最大値ΔＹｍａｘとの平均値）となるように閾値を設定することが好ましい。
【００６４】
そして、以上のようにして求めた差分データΔＹの周期の回数を、差分データΔＹを観測した時間（脈拍の測定時間）で割ることにより、単位時間当たりの脈拍を求めることができる。
【００６５】
〔処理の流れ〕
以上の構成を備える測定装置１の具体的な処理の流れについて、図５に基づいて説明する。図５は、測定装置１における処理の流れを示すフローチャートである。まず、測定装置１の電源が投入されると、主制御部２は、指紋照合指示または脈拍測定指示が入力部３に入力されるのを待ち受ける（Ｓ１）。
【００６６】
指紋照合指示または脈拍測定指示の何れかを確認した場合（Ｓ１でＹＥＳ）には、主制御部２は、接触検出処理を実行（Ｓ２）する。接触検出処理では、接触検出・指紋照合部９によって、表示部４上においてユーザの指が接触した領域である接触領域が検出されて、該接触領域が主制御部２に通知される。
【００６７】
主制御部２は、接触領域の通知を受けると、主制御部２がこれから実行する処理が、脈拍測定であるか、または指紋照合であるかを確認する（Ｓ３）。Ｓ１にて脈拍測定指示を受けていた場合には、主制御部２は、脈拍測定処理を実行する（Ｓ４）。脈拍測定処理では、脈拍測定部１１が、表示部４に接触しているユーザの指の画像データに基づいて、ユーザの脈拍を測定する。そして、脈拍の測定結果が表示部４に表示されることによって、測定装置１の処理は終了する。
【００６８】
一方、Ｓ１にて指紋照合指示を受けていた場合には、主制御部２は、指紋照合処理を実行する（Ｓ４）。指紋照合処理では、接触検出・指紋照合部９が、表示部４に接触しているユーザの指の画像データに基づいて、ユーザの指紋と記憶部１０に格納されている指紋とを照合する。そして、指紋の照合結果が表示部４に表示されることによって、測定装置１の処理は終了する。
【００６９】
〔接触検出処理〕
以上のように、測定装置１では、ユーザは、表示部４に指を触れることによって、脈拍の測定と指紋の照合とを行うことができるようになっている。また、図５に示すように、測定装置１では、脈拍測定処理及び指紋照合処理を行う前には、接触検出処理が実行される。以下では、この接触検出処理の流れについて、図６に基づいて説明する。図６は、接触検出処理の一例を示すフローチャートである。
【００７０】
接触検出処理では、まず主制御部２は、表示色管理部８に接触検出処理の開始を通知する（Ｓ１１）。通知を受けた表示色管理部８は、表示色管理テーブルを参照して、接触検出処理用の表示色を特定し、該特定した表示色を主制御部２に通知する。表示色管理テーブルとしては、例えば下記の表１に示すようなデータを適用することができる。表１は、表示色管理テーブルの一例を示す表である。
【００７１】
【表１】
2009106680.tif 000003
【００７２】
上記のように、表示色管理テーブルは、処理の種類と、その処理のときに表示部４に表示させる表示色とが対応付けられたテーブルである。また、処理の種類と表示色との組み合わせごとに１〜３の番号が付されている。上記表１によれば、接触検出処理を行う場合には表示部４に緑色を表示させ、脈拍測定処理を行う場合には表示部４に青色を表示させ、指紋照合処理を行う場合には表示部４に白色を表示させるようになっている。
【００７３】
ここで、接触検出処理を表示部４に緑色が表示された状態で実行する場合には、緑色の光が表示部４に接触している対象物に反射した反射光が、表示部４内に配置されている撮像部５（撮像素子２２）によって取り込まれる。その結果、表示部４上における対象物の接触位置を安定して検出することが可能になる。なお、緑色の光とは、５２０ｎｍ〜５６５ｎｍ程度の波長を有する光を指す。
【００７４】
ここで、対象物に緑色の光を照射することによって、対象物の接触位置を安定して検出することができる理由について説明する。すなわち、撮像素子２２は、光エネルギーを電気信号に変換することによって画像を生成している。したがって、撮像素子２２の感度特性は、撮像素子２２に照射される光のエネルギーに比例する。
【００７５】
下記の数式（１）に示すように、光はその波長が短いほどエネルギーが大きくなる。したがって、より波長の短い光を照射して対象物の撮像を行うことにより、撮像素子２２の感度特性を向上させることができ、これにより対象物の接触位置を安定して検出することができるようになる。なお、数式（１）において、Ｅは光のエネルギー、ｈはプランク定数、νは光の振動数、ｃは光速、λは光の波長である。
Ｅ＝ｈν＝ｈ（ｃ／λ）  …  （１）
ここで、測定装置１では、表示部４に画像を表示するときに照射する光が対象物に反射した反射光を撮像する。したがって、測定装置１において、対象物に照射される光は可視光ということになる。
【００７６】
可視光は、その色によって波長が異なる。具体的には、赤色光の波長は６２５ｎｍ〜７４０ｎｍであり、シアン色の光の波長は５００ｎｍ〜５２０ｎｍであり、青色光の波長は４５０ｎｍ〜５００ｎｍであり、緑色の光は５２０ｎｍ〜５６５ｎｍであり、赤色の光は６２５ｎｍ〜７４０ｎｍである。
【００７７】
上述のように、対象物に波長が短い光を照射することにより、撮像素子２２の感度特性を向上させることができる。したがって、対象物に緑色の光を照射することにより、例えば赤色の光を照射する場合と比べて、撮像素子２２の感度特性を向上させることができ、その結果、より鮮明な画像を取得することができる。そして、画像が鮮明になることにより、接触位置を正確に検出することが可能になる。すなわち、接触位置検出のための撮像を行うときに、緑色の画像を表示させることにより、接触位置を安定して正確に検出することができるのである。
【００７８】
なお、上述のように、対象物に波長が短い光を照射することにより、撮像素子２２の感度特性を向上させることができるので、接触位置検出のための撮像を行うときに表示させる画像は、緑色の画像に限られない。具体的には、表示部４に表示するときに緑色の光の波長（５２０ｎｍ〜５６５ｎｍ）よりも短い波長の光が照射されるような画像（シアン色の画像や青色の画像等）であれば、接触位置検出を良好に行うことができる。
【００７９】
また、白色光が照射されるような画像（白色の画像）を表示した場合でも、接触位置検出を良好に行うことができる。なお、白色光とは、赤色、緑色、及び青色の光を等しい強さで照射した場合の光である。
【００８０】
白色光のエネルギーは、青色光、緑色光、及び赤色光のエネルギーの積算値で表される。したがって、白色光のエネルギーは、青色光のエネルギーよりも大きくなる。それゆえ、白色光を対象物に照射して撮像を行うことにより、青色光を用いた場合よりもさらに鮮明な（階調情報の多い）撮像画像を得ることができる。
【００８１】
表示色管理部８に接触検出処理の開始を通知した後、主制御部２は、表示色管理部８から表示色が通知されるのを待ち受ける（Ｓ１２）。ここで、表示色管理部８からの表示色の通知を確認すると（Ｓ１２でＹＥＳ）、主制御部２は、表示制御部７に指示して上記通知された表示色を表示部４に表示させる（Ｓ１３）。これにより、表示部４には、例えば図７に示すような画像が表示される。
【００８２】
図７は、接触検出処理において、表示部４に表示される画像の一例を示す図である。図示のように、表示部４の画像表示面４１には、表示色表示領域４２、及び操作ガイド表示領域４３が含まれている。表示色表示領域４２には、表示色管理部８から通知された表示色が表示される。具体的には、測定装置１では、表１の表示色管理テーブルを用いて表示色を決定することを想定しているので、表示色表示領域４２には緑色が表示されることになる。
【００８３】
また、図示の例では、長方形状の表示色表示領域４２が画像表示面４１の中央付近に配置されている。表示色表示領域４２の画像表示面４１における位置、及び形状はこの例に限定されず、必要に応じて適宜変更することが可能である。図示の例のように、画像表示面４１の全面に表示色表示領域４２を配置しない場合には、画像表示面４１における表示色表示領域４２以外の領域については、任意の画像を表示させることができる。一方、画像表示面４１の全面を表示色表示領域４２としてもよい。この場合には、ユーザが画像表示面４１のどの位置に触れたとしても、その接触領域を安定して検出することができる。
【００８４】
操作ガイド表示領域４３には、現在測定装置１が実行可能な処理、及びその処理を測定装置１に実行させる入力部３の入力キーをユーザに知らせる情報が表示される。図示の例では、操作ガイド表示領域４３には、「Ｍｅｎｕ」及び「終了」の文字が表示されているので、ユーザは、メニュー画面の表示、及び処理の終了を測定装置１に実行させることが可能であることを認識することができる。また、入力部３には、操作ガイド表示領域４３に表示された項目を選択するための入力キーが設けられており、「Ｍｅｎｕ」に対応する入力キーへの操作入力により、メニュー画面が表示部４に表示されるようになっている。そして、入力部３の「終了」に対応する入力キーへの操作入力により、接触検出処理が中途終了されるようになっている。
【００８５】
続いて、主制御部２は、撮像制御部６に指示して、撮像部５に表示部４上の対象物（ここではユーザの指）の撮像を実行させる（Ｓ１４）。そして、主制御部２は、撮像制御部６に撮像の実行指示を送信した後、接触検出・指紋照合部９からの接触領域の通知を待ち受ける（Ｓ１５）。
【００８６】
撮像の実行指示によって、例えば図８に示すような画像データが撮像部５によって取得される。図８は、撮像部５によって取得された指の画像データの一例を示す図である。図示のように、画像データ５１には、ユーザの指の像５２が取り込まれている。図示のように、指の像５２は、全体的にぼやけて輪郭がはっきりしないが、指の腹が表示部４に接触している部分５３は、輪郭がはっきりしているので、外観上、指の像５２の他の領域と区別することができる。したがって、パターンマッチング等を行うことによって、画像データ５１中で、指の腹が表示部４に接触している部分５３を特定することができる。
【００８７】
なお、ここでは、撮像部５の全ての撮像素子２２を駆動して画像データを取得することを想定しているが、一部の撮像素子２２のみを駆動するようにしてもよい。例えば、図７のような表示色表示領域４２を表示部４に表示させる場合には、ユーザは表示色表示領域４２に指を触れることによって、指の画像が撮像されることを認識することができる。したがって、この場合には、表示色表示領域４２に対応する撮像素子２２のみを駆動して撮像を行うことにより、測定装置１の消費電力を低減することができる。
【００８８】
撮像部５がユーザの指を撮像して得られた画像データは、接触検出・指紋照合部９に送られる。そして、接触検出・指紋照合部９は、受け取った画像データと、記憶部１０に格納されている接触検出用の画像データとのパターンマッチングを行う。これにより、上記画像データにおける、指の接触領域が特定される。図８の画像データの場合には、例えば図９に示すような領域が接触領域として特定される。
【００８９】
図９は、指を撮像して得られた画像データに設定された接触領域の一例を示す図である。図示の例では、指の接触位置を含む長方形状の範囲が接触領域に設定されているので、例えば、長方形の頂点の１つを原点に規定し、原点からの幅及び高さを規定することにより、接触領域を表現することができる。すなわち、ここでは、接触検出・指紋照合部９は、接触領域の原点、幅、及び高さを示すデータを主制御部２に通知することを想定している。なお、接触領域は、指の接触位置を含む領域であればよく、その形状及びサイズは図示の例に限られない。また、接触領域を通知するデータ形式も上記の例に限られず、必要に応じて適宜変更することが可能である。
【００９０】
ここで、接触検出・指紋照合部９からの接触領域の通知を確認した場合（Ｓ１５でＹＥＳ）には、主制御部２は、上記通知を確認した接触領域を撮像制御部６に通知する（Ｓ１６）。そして、接触領域の通知を受けた撮像制御部６は、接触領域外の撮像素子２２の駆動を停止させる。図９のように接触領域が設定されている場合には、以後、撮像部５によって撮像される画像データは、図１０のようになる。
【００９１】
図１０は、接触領域外の撮像素子２２の駆動を停止させた状態にて取得された指の画像データの一例を示す図である。図示のように、画像データ５５では、接触領域内の画像データのみが取得される。これにより、指の画像の撮像において駆動する撮像素子２２の数を減らすことができ、測定装置１の消費電力を低減させることができる。
【００９２】
〔脈拍測定処理〕
図５のフローチャートに示すように、測定装置１では、接触検出処理の後に、脈拍測定処理、または指紋照合処理の何れかが実行される。ここでは、まず、脈拍測定処理の流れについて図１１に基づいて説明する。
【００９３】
図１１は、脈拍測定処理の一例を示すフローチャートである。図示のように、主制御部２は、まず表示色管理部８に脈拍測定処理の開始を通知して（Ｓ２１）、表示色管理部８からの表示色の通知を待ち受ける（Ｓ２２）。表示色管理部８は、脈拍測定処理の開始の通知を受けると、表示色管理テーブルから脈拍測定処理に対応付けられている表示色を読み出して主制御部２に通知する。なお、ここでは表１の表示色管理テーブルを用いることを想定しているので、表示色として青色が通知される。
【００９４】
主制御部２は、表示色の通知を確認すると（Ｓ２２でＹＥＳ）、表示制御部７に指示して上記通知された表示色を表示部４に表示させる（Ｓ２３）。これにより、例えば図７に示すような画像が表示部４に表示される。なお、この場合には、表示色表示領域４２に青色が表示される。
【００９５】
脈拍測定処理を表示部４に青色が表示された状態で実行する場合には、青色の光が表示部４に接触している対象物（この場合ユーザの指）に反射した反射光が、表示部４内に配置されている撮像部５（撮像素子２２）によって取り込まれる。その結果、脈拍の測定精度を向上させることができる。なお、青色の光とは、４５０ｎｍ〜５００ｎｍ程度の波長を有する光を指す。
【００９６】
ここで、上記接触検出処理では、指の撮像画像から指の接触位置を検出できればよく、指の細部まで精密に再現された撮像画像を用いる必要はない。そのため、緑色の画像を表示するときの、５２０ｎｍ〜５６５ｎｍ程度の波長を有する光で撮像を行えば十分であった。
【００９７】
しかしながら、脈拍の測定では、撮像画像に基づいて輝度値の微細な変化を検出する必要があるので、接触検出処理よりもさらに鮮明な（階調数の多い）撮像画像を用いることが望ましい。
【００９８】
そこで、本実施形態では、脈拍測定処理に用いる撮像画像を取得するときには、青色の画像を表示させている。これにより、青色の光が対象物に反射した反射光が撮像される。その結果、撮像素子２２の感度特性を高めて、鮮明な撮像画像を得ることができる。そして、輝度情報を多く取り込んだ、階調情報の豊富な撮像画像を用いることにより、脈拍を正確に測定することが可能になる。
【００９９】
なお、脈拍測定処理のための撮像を行うときに表示させる画像は、青色の画像に限られない。具体的には、表示部４に表示するときにシアン色の光５００ｎｍ〜５２０ｎｍが照射されるシアン色の画像や、青色の光の波長（４５０ｎｍ〜５００ｎｍ）よりも短い波長の光が照射されるような画像であれば、脈拍測定処理を良好に行うことができる。また、表示部４に表示するときに、青色光よりもエネルギーの大きい白色光が照射される白色画像を表示するようにしてもよい。
【０１００】
続いて、主制御部２は、撮像制御部６及び脈拍測定部１１に指示して脈拍測定を開始させ（Ｓ２４）、脈拍測定部１１から脈拍データが通知されるのを待ち受ける（Ｓ２５）。
【０１０１】
ここで、脈拍を測定する具体的な処理の流れについて説明する。すなわち、撮像制御部６は、主制御部２から脈拍測定開始指示を受けると、撮像部５に指示して連続して複数回の撮像を行う。撮像回数及び撮像時間間隔は、脈拍が測定できる程度に設定されていればよく、特に限定されないが、ここでは３３ミリ秒間隔で撮像を行うことを想定している。
【０１０２】
撮像部５が撮像して得られた画像データは、撮像された順番に脈拍測定部１１に送られる。なお、測定装置１では、接触検出処理にて、接触領域外の撮像素子２２の駆動は停止されているので、図１０に示すような、接触領域と同サイズの画像データが脈拍測定部１１に送られる。脈拍測定部１１の輝度値演算部１１ａは、各画像データについて、輝度値の合計値を算出する。
【０１０３】
続いて、輝度値演算部１１ａは、連続して撮像された画像データ間の、上記算出した輝度値の合計値の差分である差分データを算出する。差分データは、指を撮像して得られた画像データの輝度値の経時変化を示している。そして、輝度値演算部１１ａは、上記算出した差分データを閾値算出部１１ｂ及び脈拍算出部１１ｃに送る。
【０１０４】
閾値算出部１１ｂは、予め定めた時間、輝度値演算部１１ａから送られてくる差分データを観測し、差分データの最大値及び最小値を求める。そして、閾値算出部１１ｂは、求めた最大値と最小値との算術平均を脈拍測定に用いる閾値として脈拍算出部１１ｃに通知する。
【０１０５】
脈拍算出部１１ｃは、脈拍の測定時間中は、輝度値演算部１１ａから送られてくる差分データを観測し、該差分データが、閾値算出部１１ｂから通知された閾値以下の値から閾値以上の値へと変化する回数、すなわち差分データの周期Ｔが繰り返される回数をカウントする。
【０１０６】
そして、上記測定時間が経過したときに、差分データの周期Ｔが繰り返された回数を上記測定時間（秒）で割って６０を掛けた値を脈拍の測定値として算出する。例えば、測定時間が４．３秒の場合に、周期Ｔが５回観測されたときには、脈拍は約７０と算出される。
【０１０７】
以上のようにして脈拍算出部１１ｃが算出した脈拍の値は、脈拍データとして主制御部２に通知される。そして、主制御部２は、脈拍データの通知を確認すると（Ｓ２５でＹＥＳ）、表示制御部７に指示して、脈拍の測定結果を表示部４に表示させる（Ｓ２６）。
【０１０８】
これにより、例えば図１２に示すような画像が表示部４に表示される。図１２は、脈拍の測定結果として、表示部４に表示される画像の一例を示す図である。図示のように、画像表示面４１には、脈拍の測定値が数値データ４４として表示されている。これにより、測定装置１のユーザは、脈拍の測定結果を認識することができる。なお、脈拍の測定結果の出力方法は、ユーザが測定結果を認識できるものであればよく、図示の例に限られない。例えば音声によって脈拍の測定結果を出力するようにしてもよい。
【０１０９】
〔指紋照合処理〕
次に、図５のフローチャートにおいて、接触検出処理の後に実行される指紋照合処理の流れについて図１３に基づいて説明する。図１３は、指紋照合処理の一例を示すフローチャートである。
【０１１０】
図示のように、主制御部２は、まず表示色管理部８に指紋照合処理の開始を通知して（Ｓ３１）、表示色管理部８からの表示色の通知を待ち受ける（Ｓ３２）。表示色管理部８は、指紋照合処理の開始の通知を受けると、表示色管理テーブルから指紋照合処理に対応付けられている表示色を読み出して主制御部２に通知する。なお、ここでは表１の表示色管理テーブルを用いることを想定しているので、表示色として白色が通知される。
【０１１１】
主制御部２は、表示色の通知を確認すると（Ｓ３２でＹＥＳ）、表示制御部７に指示して上記通知を確認した表示色を表示部４に表示させる（Ｓ３３）。これにより、例えば図７に示すような画像が表示部４に表示される。なお、この場合には、表示色表示領域４２に白色が表示される。
【０１１２】
指紋照合処理を表示部４に白色が表示された状態で実行する場合には、白色の光が表示部４に接触している対象物（この場合ユーザの指）に反射した反射光が、表示部４内に配置されている撮像部５（撮像素子２２）によって取り込まれる。その結果、指紋照合の精度を向上させることができる。なお、白色の光とは、ＲＧＢの３色の光を組み合わせることで生じる光である。
【０１１３】
ここで、指紋照合処理において、指紋を高精度に検出するためには、指紋の細部まで明瞭に撮像された撮像画像を用いる必要がある。すなわち、指紋照合処理には、接触検出処理及び脈拍測定処理よりも、さらに高精度な撮像画像が要求される。
【０１１４】
そこで、本実施形態では、指紋照合処理を行うときに表示部４に白色の画像を表示することにより、青色の光よりもさらにエネルギーの高い白色の光が対象物に照射された状態で撮像を行っている。
【０１１５】
したがって、撮像素子の感度特性を最大限まで高めることができ、これにより輝度情報をより多く取り込んで階調情報が豊富な撮像画像を取得することが可能になっている。そして、階調情報が豊富で明瞭な撮像画像を用いて指紋照合を行うことにより、正確に指紋照合の成否を判断することができる。
【０１１６】
続いて、主制御部２は、撮像制御部６及び接触検出・指紋照合部９に指示して指紋照合を開始させる（Ｓ３４）。具体的には、撮像制御部６は、主制御部２から指紋照合開始指示を受けると、撮像部５に指示して撮像を行わせる。撮像部５が撮像して得られた画像データは、接触検出・指紋照合部９に送られる。なお、測定装置１では、接触検出処理にて、接触領域外の撮像素子２２の駆動は停止されているので、図１０に示すような、接触領域と同サイズの画像データが接触検出・指紋照合部９に送られる。
【０１１７】
上記画像データを受け取った接触検出・指紋照合部９は、記憶部１０に格納されている指紋データと上記画像データとでパターンマッチングを行い、両者が一致するか否かを確認する。そして、接触検出・指紋照合部９は、両者が一致したか否かを示す、照合結果データを主制御部２に通知する。
【０１１８】
主制御部２は、照合結果データの通知を受けると、照合結果が照合成功であるか、照合失敗であるかを確認する（Ｓ３５）。照合結果データが、照合に成功したことを示している場合には、主制御部２は、表示制御部７に指示して、照合が成功した旨を表示部４に表示させる（Ｓ３６）。
【０１１９】
これにより、例えば図１４に示すような画像が表示部４に表示される。図１４は、指紋照合が成功した場合に、表示部４に表示される画像の一例を示す図である。図示のように、画像表示面４１には、照合が成功したことを示す文字４５が表示されている。これにより、測定装置１のユーザは、指紋の照合に成功したことを認識することができる。
【０１２０】
一方、照合結果データが照合に失敗したことを示している場合には、主制御部２は、表示制御部７に指示して、照合に失敗した旨を表示部４に表示させる（Ｓ３７）。これにより、例えば図１５に示すような画像が表示部４に表示される。図１５は、指紋照合に失敗した場合に、表示部４に表示される画像の一例を示す図である。図示のように、画像表示面４１には、照合に失敗したことを示す文字４５が表示されている。これにより、測定装置１のユーザは、指紋の照合に失敗したことを認識することができる。
【０１２１】
ここで、本実施形態の測定装置１は、指紋照合時に表示部４に表示される表示色を指紋照合に適した色とすることにより、指紋照合の精度を向上させているが、ユーザの指が表示部４に適切に触していないような場合には、指紋の照合に失敗することがある。そこで、測定装置１では、指紋の再照合を容易に行うことができるようにしている。具体的には、図１５に示すように、操作ガイド表示領域４３に再照合の実行を促す文字を表示して、再照合の可否を確認している（Ｓ３８）。
【０１２２】
すなわち、図１５の画像が表示部４に表示された状態にて、入力部３の「再照合」に対応する入力キーへの操作入力があった場合には、主制御部２は、再照合の指示があったと判断し（Ｓ３８でＹＥＳ）、Ｓ３４に戻って再度指紋照合を開始させる。一方、入力部３の「終了」に対応する入力キーへの操作入力があった場合には、主制御部２は、再照合の指示がなかったと判断し（Ｓ３８でＮＯ）、指紋照合処理を終了する。
【０１２３】
以上のように、測定装置１によれば、接触検出処理を行う場合には接触検出処理に適した色の画像が表示部４に表示され、脈拍測定処理を行う場合には脈拍測定処理に適した色の画像が表示部４に表示され、そして指紋照合処理を行う場合には指紋照合処理に適した色の画像が表示部４に表示される。したがって、測定装置１では、上記各処理の全てを安定して高精度に行うことができる。
【０１２４】
〔変形例〕
本実施形態では、脈拍測定を行う場合には接触検出処理及び脈拍測定処理の両方を実行し、指紋照合を行う場合には接触検出処理及び指紋照合処理の両方を実行する態様を示したが、上記３つの処理のそれぞれを単独で行う装置も本発明の範疇に入る。すなわち、接触検出処理を実行する接触検出装置、脈拍測定処理を実行する脈拍測定装置、及び指紋照合処理を実行する指紋照合装置も本発明の範疇に入る。
【０１２５】
また、上記実施形態では、測定装置１が上記３つの処理を実行する態様を示したが、測定装置１が実行する処理は、表示部４に接触する対象物を撮像した画像データに基づいて実行できる処理であればよく、この例に限られない。例えば、上記指紋認証処理と同様にして、掌紋認証処理を実行させるようにすることもできる。
【０１２６】
そして、上記実施形態では、表示色表示領域４２に単一の色を表示させる例を示したが、撮像部５が撮像を行うときに表示部４に表示させる画像は、用途（接触検出、脈拍測定、及び指紋照合等）に応じた好適な画像が撮像できるものであればよく、上述の例に限られない。例えば、複数の色を含む画像を表示するようにしてもよい。
【０１２７】
さらに、本発明の測定装置１は、液晶表示装置やＥＬ表示装置を備えている様々な電子機器に組み込むことができる。測定装置１を組み込むことによって、様々な電子機器において、表示画面への接触を高精度に検出することができるようになり、また指紋照合や脈拍検出を高精度に行うことができるようになる。
【０１２８】
例えば、携帯電話機に測定装置１を組み込む場合には、携帯電話機の表示装置として、表示部４及び撮像部５を搭載し、携帯電話機の各種機能を制御するＣＰＵ（Central Processing Unit）に主制御部２、撮像制御部６、表示制御部８、表示色管理部８、接触検出・指紋照合部９、及び脈拍測定部１１の機能を実行させるようにすればよい。これにより、携帯電話機にて指紋の照合や脈拍測定を高精度に行うことができるようになる。
【０１２９】
なお、携帯電話機に測定装置１を組み込む場合には、測定装置１が実行する接触検出処理、脈拍測定処理、及び指紋照合処理が、例えばアプリケーションソフトによって実行されるようにしてもよい。すなわち、入力部３への入力操作によって、接触検出処理を実行するアプリケーションを起動させることによって、図６に示すような接触検出処理が自動的に実行されるようにしてもよい。同様に、入力部３への入力操作によって、脈拍測定処理を実行するアプリケーションを起動させることによって、図６に示すような接触検出処理及び図１１に示すような脈拍測定処理が順次実行されるようにしてもよい。
【０１３０】
また、本発明の測定装置１は、携帯電話機やパーソナルコンピュータ等の起動時における、ユーザ認証処理に適用することもできる。例えば、測定装置１を組み込んだ携帯電話機を、予め指紋登録したユーザの指紋照合がなされない限り該携帯電話機への入力操作を無効にするキーロック状態にした場合に、表示部４に指紋照合用の画像（例えば全面が白色の画像）を表示させるようにすればよい。これにより、指紋照合によってキーロックを解除するときの照合精度を向上させることができる。
【０１３１】
なお、本発明は、以下のように表現することもできる。すなわち、本発明の撮像装置は、表示装置の表示面に接触した測定物に対し、表示用のバックライト等の光源から照射された光が上記測定物に反射した反射光を上記表示装置内に搭載した撮像素子で取り込み、取り込んだ画像を画像処理することで上記測定物の上記表示面への接触を検出できる撮像装置であって、上記測定物の接触を検出する領域に規定の表示色を表示して、撮像素子を動作させる。
【０１３２】
また、上記撮像装置では、上記測定物の接触を検出した後は、接触に関連する領域の撮像素子を動作させ、その他の撮像素子は動作させないようにすることが好ましい。そして、上記撮像装置では、上記接触を検出する領域の表示色を変更して、脈拍の測定を行うことが好ましい。さらに、上記撮像装置では、上記接触を検出する領域の表示色を変更して、指紋の検出及び判定を行うことが好ましい。
【０１３３】
また、本発明の撮像装置は、以下のような特徴的構成を備えている。すなわち、本発明の撮像装置は、画像表示面に画像を表示する表示部と、上記表示部が上記画像表示面に画像を表示するときに発する光が、上記画像表示面に接触している対象物に反射した反射光を、上記画像表示面に対して上記対象物の反対側の位置にて撮像する撮像部と、上記撮像部にて撮像された画像に基づいて、上記対象物の上記画像表示面上の接触位置を検出する接触検出手段を備え、上記撮像部が時間的に連続して複数回の撮像を行うときに、上記接触位置が検出された後は、上記接触検出手段が検出した接触位置を含む、上記表示画面上の予め定めた範囲のみの撮像を行うように制御する撮像制御手段を備えていることを特徴としている。
【０１３４】
上記の構成によれば、表示画面に接触した対象物の接触位置が検出され、接触位置が検出された後は、上記接触位置を含む、上記表示画面上の予め定めた範囲のみの撮像が行われる。したがって、表示画面上の全範囲の撮像を行う場合と比べて、撮像部の消費電力を低く抑えることができる。
【０１３５】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１３６】
最後に、測定装置１の各ブロック、特に主制御部２、撮像制御部６、表示制御部８、表示色管理部８、接触検出・指紋照合部９、及び脈拍測定部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１３７】
すなわち、測定装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである測定装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記測定装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１３８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１３９】
また、測定装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１４０】
本発明の測定装置は、液晶表示装置やＥＬ表示装置等の表示装置を備えている電子機器であれば、どのようなものであっても適用することができるので、携帯電話機、ＰＤＡ（Personal Digital Assistance）携帯型テレビ、パソコン等の様々な電子機器にて脈拍の測定や指紋による認証を安定して高精度に行うことが可能になる。
【図面の簡単な説明】
【０１４１】
【図１】本発明の実施形態を示すものであり、測定装置の要部構成を示すブロック図である。
【図２】上記測定装置が備える表示部及び撮像部の要部構成を示す断面図である。
【図３】上記とは別の表示部及び撮像部の要部構成を示す断面図である。
【図４】上記測定装置が実行する脈拍測定処理にて使用する差分データの経時変化の一例を示す図である。
【図５】上記測定装置における処理の流れを示すフローチャートである。
【図６】上記測定装置が実行する接触検出処理の一例を示すフローチャートである。
【図７】上記接触検出処理において、表示部に表示される画像の一例を示す図である。
【図８】上記撮像部によって取得された指の画像データの一例を示す図である。
【図９】上記画像データに設定された接触領域の一例を示す図である。
【図１０】上記接触領域外の撮像素子の駆動を停止させた状態にて取得された指の画像データの一例を示す図である。
【図１１】上記脈拍測定処理の一例を示すフローチャートである。
【図１２】上記脈拍測定処理における脈拍の測定結果として、表示部に表示される画像の一例を示す図である。
【図１３】上記測定装置が実行する指紋照合処理の一例を示すフローチャートである。
【図１４】上記指紋照合処理において指紋照合が成功した場合に、表示部に表示される画像の一例を示す図である。
【図１５】上記指紋照合処理において指紋照合が失敗した場合に、表示部に表示される画像の一例を示す図である。
【符号の説明】
【０１４２】
１    測定装置（撮像装置）
２    主制御部
３    入力部
４    表示部
５    撮像部
６    撮像制御部（撮像制御手段）
７    表示制御部
８    表示色管理部（表示画像管理手段）
９    接触検出・指紋照合部（接触検出手段、指紋照合手段）
１０    記憶部
１１    脈拍測定部（脈拍測定手段）
【図１】
2009106680.tif 000004
【図２】
2009106680.tif 000005
【図３】
2009106680.tif 000006
【図４】
2009106680.tif 000007
【図５】
2009106680.tif 000008
【図６】
2009106680.tif 000009
【図７】
2009106680.tif 000010
【図１１】
2009106680.tif 000011
【図１２】
2009106680.tif 000012
【図１３】
2009106680.tif 000013
【図１４】
2009106680.tif 000014
【図１５】
2009106680.tif 000015
【図８】
2009106680.tif 000016
【図９】
2009106680.tif 000017
【図１０】
2009106680.tif 000018