(57)【要約】  サーバ装置（１０）は、被験者が撮影された画像を取得し、画像に含まれる複数の波長成分の信号のうち、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する強度を波長成分ごとに抽出する。さらに、サーバ装置（１０）は、波長成分ごとに抽出された強度を用いて、各波長成分の間で信号が演算される場合に信号へ乗算される重み係数であって乗算後に特定周波数帯の信号成分の演算値が最小化される重み係数を算出する。さらに、サーバ装置（１０）は、各波長成分の信号のうち少なくとも一方の信号成分に重み係数を乗算し、重み係数の乗算後に各波長成分の間で信号を演算し、演算後の信号を用いて被験者の脈波を検出する。
2014038077.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
撮像装置によって被験者が撮影された画像を取得し、
前記画像に含まれる複数の波長成分の信号のうち、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する強度を波長成分ごとに抽出し、
前記波長成分ごとに抽出された強度を用いて、各波長成分の間で信号が演算される場合に信号へ乗算される重み係数であって乗算後に前記特定周波数帯の信号成分の演算値が最小化される重み係数を算出し、
各波長成分の信号のうち少なくとも一方の信号成分に前記重み係数を乗算し、
前記重み係数の乗算後に各波長成分の間で信号を演算し、
演算後の信号を用いて前記被験者の脈波を検出する
処理を実行することを特徴とする脈波検出方法。
【請求項２】
前記コンピュータが、
各波長成分の信号を周波数成分へ変換する処理をさらに実行し、
前記重み係数を乗算する処理として、
前記波長成分ごとに周波数成分へ変換されたスペクトルのうち一方のスペクトルに前記重み係数を乗算し、
前記信号を演算する処理として、
前記重み係数の乗算後に各波長成分の間でスペクトルを演算し、
前記脈波を検出する処理として、
演算後のスペクトルを用いて前記被験者の脈波を検出することを特徴とする請求項１に記載の脈波検出方法。
【請求項３】
前記特定周波数帯の信号成分を代表する強度を抽出する処理として、
前記波長成分ごとに周波数成分へ変換されたスペクトルから前記特定周波数帯の平均パワー強度を抽出し、
前記重み係数を算出する処理として、
各波長成分の間で平均パワー強度の比を計算することによって前記重み係数を算出することを特徴とする請求項２に記載の脈波検出方法。
【請求項４】
前記コンピュータが、
ローパスフィルタまたはバンドパスフィルタを用いて、各波長成分の信号から前記特定周波数帯の信号成分を抽出し、
バンドパスフィルタを用いて、各波長成分の信号から前記脈波が採り得る周波数帯の信号成分を抽出する処理をさらに実行し、
前記重み係数を算出する処理として、
前記波長成分ごとに抽出された特定周波数帯の信号成分の強度を用いて前記重み係数を算出し、
前記重み係数を乗算する処理として、
前記脈波が採り得る周波数帯の信号成分に前記重み係数を乗算し、
前記信号を演算する処理として、
前記重み係数の乗算後に各波長成分の間で前記脈波が採り得る周波数帯の信号成分を演算し、
前記脈波を検出する処理として、
演算後の信号波形を用いて前記被験者の脈波を検出することを特徴とする請求項１に記載の脈波検出方法。
【請求項５】
前記特定周波数帯の信号成分を代表する強度を抽出する処理として、
前記波長成分ごとに抽出された特定周波数帯の絶対強度値を抽出し、
前記重み係数を算出する処理として、
各波長成分の間で絶対強度値の比を計算することによって前記重み係数として算出することを特徴とする請求項４に記載の脈波検出方法。
【請求項６】
前記複数の波長成分の信号として、ヘモグロビンに対し異なる吸光感度を持つ、２つ以上の波長の信号を用いることを特徴とする請求項１に記載の脈波検出方法。
【請求項７】
前記複数の波長成分の信号のうち、少なくとも１つの信号が光波長５２５ｎｍを基準とする帯域を持つ信号であり、他の信号が前記帯域以外の光波長の帯域を持つ信号であることを特徴とする請求項６に記載の脈波検出方法。
【請求項８】
前記特定周波数帯の信号成分として、１Ｈｚ未満の信号成分を用いることを特徴とする請求項１に記載の脈波検出方法。
【請求項９】
撮像装置によって被験者が撮影された画像を取得する取得部と、
前記画像に含まれる複数の波長成分の信号のうち、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する強度を波長成分ごとに抽出する抽出部と、
前記波長成分ごとに抽出された強度を用いて、各波長成分の間で信号が演算される場合に信号へ乗算される重み係数であって乗算後に前記特定周波数帯の信号成分の演算値が最小化される重み係数を算出する算出部と、
各波長成分の信号のうち少なくとも一方の信号成分に前記重み係数を乗算する乗算部と、
前記重み係数の乗算後に各波長成分の間で信号を演算する演算部と、
演算後の信号を用いて前記被験者の脈波を検出する検出部と
処理を実行することを特徴とする脈波検出装置。
【請求項１０】
コンピュータに、
撮像装置によって被験者が撮影された画像を取得し、
前記画像に含まれる複数の波長成分の信号のうち、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する強度を波長成分ごとに抽出し、
前記波長成分ごとに抽出された強度を用いて、各波長成分の間で信号が演算される場合に信号へ乗算される重み係数であって乗算後に前記特定周波数帯の信号成分の演算値が最小化される重み係数を算出し、
各波長成分の信号のうち少なくとも一方の信号成分に前記重み係数を乗算し、
前記重み係数の乗算後に各波長成分の間で信号を演算し、
演算後の信号を用いて前記被験者の脈波を検出する
処理を実行させることを特徴とする脈波検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脈波検出方法、脈波検出装置及び脈波検出プログラムに関する。
【背景技術】
【０００２】
被験者が撮影された画像から血液の体積の変動、いわゆる脈波を検出する技術が知られている。一般に、赤外光などの光源を用いて画像を撮影したり、被験者の生体に撮像装置を密着させて画像を撮影したりすることによって検出精度の向上が図られる。ところが、この場合には、光源等のハードウェアを設けたり、生体に計測器具を接触させたりといったデメリットもある。【０００３】
このことから、太陽光や室内光などの環境光の下で生体に計測器具を接触させずに脈波を検出することが望まれるが、赤外光等を用いずに脈波を測定する場合には、ノイズによる影響が大きく、脈波の検出精度の低下が懸念される。【０００４】
例えば、ノイズの低減を図る技術の一例としては、次のような信号処理装置が提案されている。かかる信号処理装置には、赤色波長光を発する発光ダイオードと赤外波長光を発する発光ダイオードとが設けられる。このような構成の下、信号処理装置は、２つの発光ダイオードの透過光から得られた各々の信号の間で相関が最小となる係数を求め、各信号のうち係数が乗算された一方の信号を用いて他方の信号からノイズ成分を除去する。このとき、信号処理装置は、ｎ個の仮定値ごとに相関を網羅的に計算し、最も相関が低い仮定値を係数として用いる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１３５４３４号公報
【特許文献２】特開２００５−１８５８３４号公報
【特許文献３】特開２００５−２１８５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来技術では、ノイズを低減するためにｎ回にわたる計算を行って係数を導出するので、処理負荷が増大してしまう。また、処理負荷が増大するからと言って仮定値の個数であるｎを減らした場合には、係数が適正値から乖離するので、脈波の検出精度が低下してしまう。【０００７】
開示の技術は、上記に鑑みてなされたものであって、ノイズの低減にあたって処理負荷の増大または精度低下を抑制できる脈波検出方法、脈波検出装置及び脈波検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本願の開示する脈波検出方法は、コンピュータが、撮像装置によって被験者が撮影された画像を取得し、前記画像に含まれる複数の波長成分の信号のうち、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する強度を波長成分ごとに抽出し、前記波長成分ごとに抽出された強度を用いて、各波長成分の間で信号が演算される場合に信号へ乗算される重み係数であって乗算後に前記特定周波数帯の信号成分の演算値が最小化される重み係数を算出し、各波長成分の信号のうち少なくとも一方の信号成分に前記重み係数を乗算し、前記重み係数の乗算後に各波長成分の間で信号を演算し、演算後の信号を用いて前記被験者の脈波を検出する処理を実行する。
【発明の効果】
【０００９】
本願の開示する脈波検出方法によれば、ノイズの低減にあたって処理負荷の増大または精度低下を抑制できるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係る脈波検出システムに含まれる各装置の機能的構成を示すブロック図である。
【図２】図２は、被験者の顔が映る画像の一例を示す図である。
【図３】図３は、Ｒ成分及びＧ成分で特定周波数帯の信号成分を代表する信号強度の一例を示す図である。
【図４】図４は、重み係数が乗算されたＲ成分及びＧ成分の各信号のスペクトルの一例を示す図である。
【図５】図５は、乗算後のスペクトルの一例を示す図である。
【図６】図６は、実施例１に係る検出処理の手順を示すフローチャートである。
【図７】図７は、実施例２に係るサーバ装置の機能的構成を示すブロック図である。
【図８】図８は、実施例２に係る検出処理の手順を示すフローチャートである。
【図９】図９は、実施例２に係る脈波検出結果とＥＣＧのリファレンスとの比較例を示す図である。
【図１０】図１０は、実施例１〜実施例３に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。
【発明を実施するための形態】
【００１１】
以下に、本願の開示する脈波検出方法、脈波検出装置及び脈波検出プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１２】
図１は、実施例１に係る脈波検出システムに含まれる各装置の機能的構成を示すブロック図である。図１に示すサーバ装置１０は、太陽光や室内光などの環境光の下で生体に計測器具を接触させずに、被験者が撮影された画像を用いて被験者の脈波を検出する脈波検出サービスを提供するものである。ここで言う「脈波」とは、血液の体積の変動、すなわち血流の増減を表す指標を指し、いわゆる心拍数や心拍波形などが含まれる。【００１３】
かかるサーバ装置１０の一態様としては、パッケージソフトウェアやオンラインソフトウェアとして電子カルテサービスを提供する電子カルテプログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置１０は、上記の脈波検出サービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の脈波検出サービスを提供するクラウドとして実装することとしてもかまわない。【００１４】
図１に示すように、サーバ装置１０及びクライアント端末３０は、所望のネットワークを介して、相互に通信可能に接続される。かかるネットワークには、有線または無線を問わず、インターネット（Internet）、ＬＡＮ（Local  Area  Network）やＶＰＮ（Virtual  Private  Network）などの任意の種類の通信網を採用できる。なお、図１の例では、サーバ装置１０に接続されるクライアント端末３０が１つである場合を図示したが、サーバ装置１０には複数のクライアント端末をサーバ装置１０に接続することもできる。【００１５】
［クライアント端末３０の構成］
クライアント端末３０は、サーバ装置１０によって提供される脈波検出サービスの提供を受ける端末装置である。かかるクライアント端末３０の一態様としては、パーソナルコンピュータを始めとする固定端末の他、携帯電話機、ＰＨＳ（Personal  Handyphone  System）やＰＤＡ（Personal  Digital  Assistants）などの移動体端末も採用できる。【００１６】
クライアント端末３０は、図１に示すように、通信Ｉ／Ｆ（interface）部３１と、カメラ３２と、表示部３３とを有する。なお、クライアント端末３０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えばアンテナ、キャリア網を介して通信を行うキャリア通信部、ＧＰＳ（Global  Positioning  System）受信機などを有することとしてもかまわない。【００１７】
このうち、通信Ｉ／Ｆ部３１は、他の装置、例えばサーバ装置１０との間で通信制御を行うインタフェースである。かかる通信Ｉ／Ｆ部３１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部３１は、カメラ３２によって被験者の顔が撮影された画像をサーバ装置１０へ送信したり、サーバ装置１０から脈波の検出結果を受信したりする。【００１８】
カメラ３２は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を用いた撮像装置である。例えば、カメラ３２には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ３２の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよいし、携帯端末のようにカメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、クライアント端末３０がカメラ３２を有する場合を例示したが、ネットワーク経由または記憶デバイス経由で画像を取得できる場合には、必ずしもクライアント端末３０がカメラ３２を有する必要はない。【００１９】
表示部３３は、各種の情報、例えばサーバ装置１０から送信された脈波の検出結果などを表示する表示デバイスである。かかる表示部３３の一態様としては、モニタやディスプレイを採用したり、入力部と一体化することによってタッチパネルとして実装したりすることもできる。クライアント端末３０を通じて情報を表示する必要がなければ表示部３３が無くても構わない。また、別のクライアント端末３０などの表示部に表示することもできる。【００２０】
クライアント端末３０には、サーバ装置１０と協働してサーバ装置１０からの脈波検出サービスの提供を受けるアプリケーションプログラムがプリインストールまたはインストールされる。なお、以下では、上記のクライアント用のアプリケーションプログラムのことを「クライアント用アプリ」と記載する場合がある。【００２１】
かかるクライアント用アプリは、図示しない入力デバイスを介して起動されると、カメラ３２を起動する。これを受けて、カメラ３２は、カメラ３２の撮影範囲に収容された被写体の撮影を開始する。このとき、クライアント用アプリは、カメラ３２が撮影する画像を表示部３３に表示しつつ、被験者の鼻を映す目標位置を照準として表示させることもできる。これによって、被験者の眼、耳、鼻や口などの顔パーツの中でも被験者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、クライアント用アプリは、カメラ３２によって被験者の顔が撮影された画像を通信Ｉ／Ｆ部３１を介してサーバ装置１０へ送信する。その後、クライアント用アプリは、サーバ装置１０から脈波の検出結果、例えば被験者の心拍数や心拍波形を受信すると、被験者の心拍数および心拍波形を表示部３３へ表示させる。【００２２】
［サーバ装置１０の構成］
一方、サーバ装置１０は、図１に示すように、通信Ｉ／Ｆ部１１と、取得部１２と、変換部１３と、抽出部１４と、算出部１５と、乗算部１６と、演算部１７と、検出部１８とを有する。なお、サーバ装置１０は、図１に示した機能部以外にも既知のサーバ装置が有する各種の機能部、例えば各種の入出力デバイスなどを有することとしてもかまわない。【００２３】
このうち、通信Ｉ／Ｆ部１１は、他の装置、例えばクライアント端末３０との間で通信制御を行うインタフェースである。かかる通信Ｉ／Ｆ部１１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１１は、クライアント端末３０から被験者の顔が撮影された画像を受信したり、脈波の検出結果をクライアント端末３０へ送信したりする。【００２４】
取得部１２は、被験者が撮影された画像を取得する処理部である。一態様としては、取得部１２は、クライアント端末３０のカメラ３２によって撮影された画像を取得する。他の一態様としては、取得部１２は、被験者が撮影された画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal  Serial  Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。このように、取得部１２によって取得された画像は抽出部１４へ出力される。なお、取得部１２は、被験者が映る静止画を断続または連続して取得することもできるし、所定の圧縮符号化方式によってエンコードされた動画符号化データのストリームを取得することもできる。また、取得部１２では、ＣＣＤやＣＭＯＳなどの撮像素子による出力から得られる２次元のビットマップデータやベクタデータなどの画像データを用いて処理を実行する場合を例示したが、１つのディテクタから出力される信号をそのまま取得して後段の処理を実行させることとしてもよい。【００２５】
さらに、取得部１２は、被験者の顔が撮影された画像から所定の顔パーツを基準とする部分画像を抽出する。一態様としては、取得部１２は、被験者の顔が映った画像にテンプレートマッチング等の画像処理を実行することによって被験者の眼、耳、鼻や口などの顔パーツのうち特定の顔パーツ、すなわち被験者の鼻を検出する。その上で、取得部１２は、被験者の鼻を中心とし、中心から所定の範囲に含まれる部分画像を抽出する。これによって、被験者の鼻、鼻の周辺に位置する頬の一部の顔中心部分を含んだ部分画像が脈波の検出に使用する画像として抽出される。その後、取得部１２は、原画像から抽出した部分画像を変換部１３へ出力する。【００２６】
図２は、被験者の顔が映る画像の一例を示す図である。図２には、画像に映る被験者の眼、鼻及び口の一部または全部を含む領域が９つに分割されたブロックが図示されている。図２に示すブロックのうち上段の左及び右のブロックには、被験者の眼が映っている。これらのブロックの画像を検出に用いた場合には、眼の瞬きがノイズとなって心拍数の検出精度の低下を招く場合がある。また、図２に示すブロックのうち下段の３つのブロックには、被験者の口が映っている。これらのブロックの画像を検出に用いた場合には、口の動きがノイズとなって心拍数の検出精度の低下を招く場合がある。一方、図２に示す中段の真ん中のブロック、すなわち斜線の塗りつぶしが図示されたブロックは、眼や口が映るブロックから隔てられており、他のブロックに比べてノイズとなる成分が映っている可能性が低いので、良好な検出結果を期待できる。これらのことから、取得部１２は、原画像から図２に示す中段の真ん中のブロックの画像を部分画像として抽出する。【００２７】
変換部１３は、部分画像に含まれる少なくとも２つの波長成分ごとに周波数成分へ変換する処理部である。ここで、本実施例では、Ｒ成分、Ｇ成分およびＢ成分のうちＲ成分とＧ成分の２つの波長成分の信号を用いて脈波の検出が行われる場合を例示する。すなわち、本実施例では、光波長が５２５ｎｍ帯であるＧ信号は吸光感度が他の成分よりも高く、かかるＧ成分を基準とし、他の光波長の信号、例えばＲ信号やＢ信号の他、バンドストップフィルタを通過した信号とを併用してノイズ成分をキャンセルする。【００２８】
一態様としては、変換部１３は、取得部１２から部分画像が入力される度に、当該部分画像に含まれるＲ成分及びＧ成分ごとに部分画像に含まれる各画素の画素値の平均値を算出する。そして、変換部１３は、部分画像の各成分の平均値が所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングされると、サンプリングされたＲ成分及びＧ成分の信号に離散フーリエ変換、いわゆるＤＦＴ（Discrete  Fourier  Transform）を実行する。かかるＤＦＴが実行されることによって、Ｒ信号及びＧ信号が周波数のスペクトルへ変換される。このように、ＤＦＴの適用によってＲ信号及びＧ信号ごとに得られた周波数のスペクトルは抽出部１４へ出力される。なお、ここでは、離散フーリエ変換を適用する場合を例示したが、信号を周波数成分に展開できるものであれば他の手法を適用することもできる。例えば、開示の装置は、離散フーリエ変換の他にも、フーリエ変換、高速フーリエ変換（ＦＦＴ：Fast  Fourier  Transform）や離散コサイン変換（ＤＣＴ：Discrete  Cosine  Transform）などを適用することができる。【００２９】
抽出部１４は、各波長成分の周波数のスペクトルから、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する信号強度を波長成分ごとに抽出する処理部である。【００３０】
ここで、「特定周波数帯」とは、ノイズ成分が他の周波数帯よりも顕著に現れる周波数帯を指し、例えば、脈波が採り得る周波数帯との間で比較することによって定義することができる。脈波が採り得る周波数帯の一例としては、０．７Ｈｚ以上４Ｈｚ未満である周波数帯、１分あたりに換算すれば４２ｂｐｍ以上２４０ｂｐｍ以下である周波数帯が挙げられる。このことから、特定周波数帯の一例としては、脈波として計測され得ない０．７Ｈｚ未満及び４Ｈｚ以上の周波数帯を採用することができる。また、特定周波数帯は、脈波が採り得る周波数帯との間でその一部が重複することとしてもよい。例えば、脈波として計測されることが想定しづらい０．７Ｈｚ〜１Ｈｚの区間で脈波が採り得る周波数帯と重複することを許容し、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を特定周波数帯として採用することもできる。【００３１】
かかる特定周波数帯は、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を外縁とし、ノイズがより顕著に現れる周波数帯に絞ることもできる。例えば、ノイズは、脈波が採り得る周波数帯よりも高い高周波数帯よりも、脈波が採り得る周波数帯よりも低い低周波数帯でより顕著に現れる。このため、１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。また、空間周波数がゼロである直流成分の近傍には、各成分の撮像素子の感度の差が多く含まれるので、３ｂｐｍ以上１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。さらに、人の体の動き、例えば瞬きや体の揺れの他、環境光のチラツキなどのノイズが現れやすい３ｂｐｍ以上２０ｂｐｍ未満の周波数帯に特定周波数帯を絞ることもできる。【００３２】
一態様としては、抽出部１４は、Ｒ成分及びＧ成分ごとに特定周波数帯における信号成分を代表する信号強度を抽出する。一例としては、抽出部１４は、３ｂｐｍ以上２０ｂｐｍ未満の周波数帯のうち予め設定された周波数に対応する信号強度を抽出することができる。他の一例としては、抽出部１４は、３ｂｐｍ以上２０ｂｐｍ未満の周波数帯における信号強度に相加平均、加重平均や移動平均などの平均処理を実行することによって信号強度の平均値を抽出したり、信号強度を積分することによって信号強度の積分値を抽出したりできる。なお、以下では、Ｒ成分で特定周波数帯の信号成分を代表する信号強度のことを「Ｒnoise」と記載するとともに、Ｇ成分で特定周波数帯の信号成分を代表する信号強度のことを「Ｇnoise」と記載する場合がある。【００３３】
図３は、Ｒ成分及びＧ成分で特定周波数帯の信号成分を代表する信号強度の一例を示す図である。図３に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図３に示すように、Ｒ成分およびＧ成分は、撮像素子の感度が異なるので、両者の信号強度はそれぞれ異なる。その一方、Ｒ成分およびＧ成分は、いずれにおいても３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯でノイズが現れることには変わりはない。このため、図３の例では、３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯に含まれる指定の周波数Ｆｎに対応する信号強度がＲnoise及びＧnoiseとして抽出される。【００３４】
算出部１５は、抽出部１４によって波長成分ごとに抽出された信号強度を用いて、各波長成分の間で信号が演算される場合に一方の信号へ乗算される重み係数であって乗算後に特定周波数帯の信号成分の演算値が最小化される重み係数を算出する処理部である。【００３５】
一態様としては、算出部１５は、Ｒ成分及びＧ成分の間で特定周波数帯における信号強度の演算値が最小となる重み係数を算出する。例えば、算出部１５は、導出式「ａ１＊Ｒnoise＋ａ２＊Ｇnoise＝０」を満たす係数ａ１及びａ２を算出する。これら係数ａ１及びａ２は、脈波が強く現れる周波数周辺の信号強度の差をノイズに対応する特定周波数帯の成分ほどは減衰させずに、各々の成分の間で異なる信号強度のうちノイズに対応する特定周波数帯の信号強度を揃えてキャンセルさせるためのものである。これら係数ａ１及び係数ａ２のうちいずれかの値は、負の値を採ることになる。その後、算出部１５は、Ｒ信号のスペクトルの重み係数ａ１／ａ２及びＧ信号のスペクトルの重み係数ａ２／ａ２を算出する。【００３６】
乗算部１６は、各波長成分の信号のうち少なくとも一方の信号成分に重み係数を乗算する処理部である。一態様としては、乗算部１６は、Ｒ成分及びＧ成分の各信号のスペクトルに重み係数を乗算する。上記の例で言えば、Ｒ信号のスペクトルＲallに重み係数ａ１／ａ２を乗算するとともに、Ｇ信号のスペクトルＧallに重み係数ａ２／ａ２を乗算する。図４は、重み係数が乗算されたＲ成分及びＧ成分の各信号のスペクトルの一例を示す図である。図４の例では、説明の便宜上、重み係数の絶対値を乗算した結果が図示されている。図４に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図４に示すように、Ｒ成分及びＧ成分の各信号のスペクトルに重み係数が乗算された場合には、Ｒ成分及びＧ成分の各成分の間で感度が揃う。特に、特定周波数帯におけるスペクトルの信号強度は、大部分においてスペクトルの信号強度が略同一になっている。その一方で、実際に脈波が含まれる周波数の周辺領域４０は、Ｒ成分及びＧ成分の各成分の間でスペクトルの信号強度が揃っていない。【００３７】
演算部１７は、重み係数の乗算後に各波長成分の間で信号を演算する処理部である。一態様としては、演算部１７は、Ｒ信号のスペクトルＲall及び重み係数ａ１／ａ２の乗算結果と、Ｇ信号のスペクトルＧall及び重み係数ａ２／ａ２の乗算結果とを演算する。この場合には、重み係数ａ１／ａ２が負となるので、重み係数の乗算後のＧ信号のスペクトルから重み係数の乗算後のＲ信号のスペクトルが差し引かれることになる。図５は、演算後のスペクトルの一例を示す図である。図５では、脈波が現れている周波数帯の視認性を上げる観点から縦軸である信号強度の尺度を大きくして図示している。図５に示すように、重み係数の乗算後のＧ信号のスペクトルから重み係数の乗算後のＲ信号のスペクトルが差し引かれた場合には、脈波が現れる信号成分の強度が可及的に維持された状態でノイズ成分が低減されていることがわかる。このため、両者の差のスペクトルからは、７０ｂｐｍあたりに存在するピークがノイズ成分のピークに紛れずに検出することが可能になる。【００３８】
検出部１８は、演算後のスペクトルを用いて、被験者の脈波を検出する処理部である。一態様としては、検出部１８は、人の心拍数が採り得る値として想定される周波数の区間、例えば下限値４２ｂｐｍ〜上限値２４０ｂｐｍの区間に対応する周波数の区間で演算後のスペクトルの最大のピークから被験者の心拍数を検出する。例えば、図５の例で言えば、演算後のスペクトルにおいて最大のピークが７０ｂｐｍで計測されるので、検出部１８は、被験者の心拍数を「７０ｂｐｍ」と検出する。他の一態様としては、検出部１８は、演算後のスペクトルに逆フーリエ変換を適用することによってスペクトルが持つ周波数成分を時系列空間の信号へ変換する。かかる逆フーリエ変換によって、心拍波形が得られる。【００３９】
このようにして検出された検出結果、例えば心拍数や心拍波形は、例えば、クライアント端末３０へ出力することができる。このとき、検出部１８は、心疾患の有無を診断する診断プログラム、例えばサーバ装置１０に実装されているＷｅｂアプリケーションへ被験者の心拍数を出力する。そして、検出部１８は、診断プログラムによって被験者の心疾患を診断させた診断結果を心拍数とともにクライアント端末３０へ出力することもできる。例えば、診断プログラムでは、高血圧の人物が頻脈、例えば１００ｂｐｍ以上である場合に狭心症や心筋梗塞の疑いがあると診断したり、心拍数を用いて不整脈や精神疾患、例えば緊張やストレスを診断したりする。かかる診断結果を併せて出力することによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。【００４０】
なお、取得部１２、変換部１３、抽出部１４、算出部１５、乗算部１６、演算部１７及び検出部１８には、各種の集積回路や電子回路を採用できる。例えば、集積回路としては、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）が挙げられる。また、電子回路としては、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などが挙げられる。【００４１】
［処理の流れ］
続いて、本実施例に係るサーバ装置１０の処理の流れについて説明する。図６は、実施例１に係る検出処理の手順を示すフローチャートである。この検出処理は、サーバ装置１０の電源がＯＮである状態で、画像が取得される度に繰り返し実行される処理である。【００４２】
図６に示すように、被験者が映った画像が取得されると（ステップＳ１０１）、取得部１２は、ステップＳ１０１で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする部分画像を抽出する（ステップＳ１０２）。【００４３】
続いて、変換部１３は、Ｒ成分及びＧ成分の各信号に離散フーリエ変換を適用することによって周波数成分へ変換する（ステップＳ１０３）。これによって、Ｒ信号及びＧ信号が周波数のスペクトルへ変換される。【００４４】
そして、抽出部１４は、各波長成分の周波数のスペクトルから、特定周波数帯の信号成分を代表する信号強度Ｒnoise及びＧnoiseを抽出する（ステップＳ１０４）。その上で、算出部１５は、Ｒ成分及びＧ成分の間で特定周波数帯における信号強度Ｒnoise及びＧnoiseの演算値が最小となる重み係数ａ１／ａ２及びａ２／ａ２を算出する（ステップＳ１０５）。【００４５】
その後、乗算部１６は、Ｒ信号のスペクトルＲallに重み係数ａ１／ａ２を乗算するとともに、Ｇ信号のスペクトルＧallに重み係数ａ２／ａ２を乗算する（ステップＳ１０６）。続いて、演算部１７は、Ｒ信号のスペクトルＲall及び重み係数ａ１／ａ２の乗算結果と、Ｇ信号のスペクトルＧall及び重み係数ａ２／ａ２の乗算結果とを演算する（ステップＳ１０７）。【００４６】
そして、検出部１８は、演算後のスペクトルを用いて、被験者の心拍数や心拍波形など脈波を検出した上で（ステップＳ１０８）、脈波の検出結果をクライアント端末３０へ出力し（ステップＳ１０９）、処理を終了する。【００４７】
［実施例１の効果］
上述してきたように、本実施例に係るサーバ装置１０は、複数の波長成分の信号間で脈波を実質的に含まない周波数成分のノイズ強度を算出し、各波長成分の信号にノイズ強度の演算値が最小となる重み係数を乗算した上で演算した信号から脈波を検出する。このため、本実施例に係るサーバ装置１０では、重み係数の計算量を低減できる。したがって、本実施例に係るサーバ装置１０によれば、ノイズの低減にあたって処理負荷の増大または精度低下を抑制できる。
【実施例２】
【００４８】
さて、上記の実施例１では、周波数空間にてノイズ成分をキャンセルして脈波を検出する例を説明したが、開示の装置は、必ずしも各波長成分の信号を周波数成分へ変換せずともノイズ成分をキャンセルして脈波を検出することができる。そこで、本実施例では、時系列空間にてノイズ成分をキャンセルして脈波を検出する場合について説明する。【００４９】
図７は、実施例２に係るサーバ装置５０の機能的構成を示すブロック図である。図７に示すように、サーバ装置５０は、取得部５１と、ＢＰＦ（Band-Pass  Filter）５２Ａ及び５２Ｂと、抽出部５３Ａ及び５３Ｂと、ＬＰＦ（Low-Pass  Filter）５４Ａ及び５４Ｂと、算出部５５と、ＢＰＦ５６Ａ及び５６Ｂと、乗算部５７と、演算部５８と、検出部５９とを有する。なお、図７の例では、通信Ｉ／Ｆ部の図示は省略している。【００５０】
このうち、取得部５１は、部分画像を抽出する度に、当該部分画像に含まれるＲ成分及びＧ成分ごとに部分画像に含まれる各画素の画素値の平均値を算出する。そして、取得部５１は、部分画像に含まれるＲ信号及びＧ信号の平均値を所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングし、サンプリングされたＲ信号及びＧ信号の時系列データを後段の機能部へ出力する。例えば、取得部５１は、Ｒ信号の時系列データをＢＰＦ５２Ａ及びＢＰＦ５６Ａへ出力するとともに、Ｇ信号の時系列データをＢＰＦ５２Ｂ及びＢＰＦ５６Ｂへ出力する。【００５１】
ＢＰＦ５２Ａ、ＢＰＦ５２Ｂ、ＢＰＦ５６Ａ及びＢＰＦ５６Ｂは、いずれも所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。これらＢＰＦ５２Ａ、ＢＰＦ５２Ｂ、ＢＰＦ５６Ａ及びＢＰＦ５６Ｂは、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。【００５２】
これらＢＰＦが通過させる周波数帯の違いについて説明する。ＢＰＦ５２Ａ及びＢＰＦ５２Ｂは、特定周波数帯、例えば３ｂｐｍ以上２０ｂｐｍ未満の周波数帯の信号成分を通過させる。ここでは、特定周波数帯の信号成分を抽出するために、バンドパスフィルタを用いる場合を例示したが、２０ｂｐｍ未満の周波数帯の信号成分を抽出する場合などには、ローパスフィルタを用いることもできる。一方、ＢＰＦ５６Ａ及びＢＰＦ５６Ｂは、脈波が採り得る周波数帯、例えば４２ｂｐｍ以上２４０ｂｐｍ未満の周波数帯の信号成分を通過させる。なお、以下では、脈波が採り得る周波数帯のことを「脈波周波数帯」と記載する場合がある。【００５３】
抽出部５３Ａは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部５３Ａは、Ｒ成分の特定周波数帯の信号成分をべき乗する乗算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。また、抽出部５３Ｂは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部５３Ｂは、Ｇ成分の特定周波数帯の信号成分をべき乗する乗算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。【００５４】
ＬＰＦ５４Ａ及びＬＰＦ５４Ｂは、特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するローパスフィルタである。これらＬＰＦ５４Ａ及びＬＰＦ５４Ｂは、ＬＰＦ５４Ａへ入力される信号がＲ信号であり、ＬＰＦ５４Ｂへ入力される信号がＧ信号である以外に違いはない。かかる平滑化処理によって、特定周波数帯の絶対値強度Ｒ´noise及びＧ´noiseが得られる。【００５５】
算出部５５は、ＬＰＦ５４Ｂによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´noiseを、ＬＰＦ５４Ａによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´noiseで除する除算「Ｇ´noise／Ｒ´noise」を実行することによって重み係数ａを算出する。【００５６】
乗算部５７は、ＢＰＦ５６Ａによって出力されたＲ信号の脈波周波数帯の信号成分に算出部５５によって算出された重み係数ａを乗算する。【００５７】
演算部５８は、乗算部５７によって重み係数ａが乗算されたＲ信号の脈波周波数帯の信号成分から、ＢＰＦ５６Ｂによって出力されたＧ信号の脈波周波数帯の信号成分を差し引く演算「ａ＊Ｒsignal−Ｇsignal」を実行する。かかる演算によって得られた信号の時系列データは、心拍波形に相当する。【００５８】
検出部５９は、演算後の信号を用いて、被験者の脈波を検出する。一態様としては、検出部５９は、信号の時系列データを脈波の検出結果として出力する。他の一態様としては、検出部５９は、信号の時系列データにフーリエ変換を適用することによって周波数成分へ変換されたスペクトルから心拍数を検出することもできる。【００５９】
図８は、実施例２に係る検出処理の手順を示すフローチャートである。図８に示すように、被験者が映った画像が取得されると（ステップＳ３０１）、取得部５１は、ステップＳ３０１で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする部分画像を抽出する（ステップＳ３０２）。【００６０】
その上で、取得部５１は、Ｒ信号の時系列データをＢＰＦ５２Ａ及びＢＰＦ５６Ａへ出力するとともに、Ｇ信号の時系列データをＢＰＦ５２Ｂ及びＢＰＦ５６Ｂへ出力する（ステップＳ３０３）。【００６１】
続いて、ＢＰＦ５２Ａは、Ｒ信号の特定周波数帯、例えば３ｂｐｍ以上２０ｂｐｍ未満の周波数帯の信号成分を抽出するとともに、ＢＰＦ５２Ｂは、Ｇ信号の特定周波数帯の信号成分を抽出する（ステップＳ３０４Ａ）。【００６２】
そして、抽出部５３Ａは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出するとともに、抽出部５３Ｂは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する（ステップＳ３０５）。【００６３】
その後、ＬＰＦ５４Ａは、Ｒ信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するとともに、ＬＰＦ５４Ｂは、Ｇ信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行する（ステップＳ３０６）。【００６４】
続いて、算出部５５は、ＬＰＦ５４Ｂによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´noiseを、ＬＰＦ５４Ａによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´noiseで除する除算「Ｇ´noise／Ｒ´noise」を実行することによって重み係数ａを算出する（ステップＳ３０７）。【００６５】
上記のステップＳ３０４Ａの処理に並行して、ＢＰＦ５６Ａは、Ｒ信号の脈波周波数帯、例えば４２ｂｐｍ以上２４０ｂｐｍ未満の周波数帯の信号成分を抽出するとともに、ＢＰＦ５６Ｂは、Ｇ信号の脈波周波数帯の信号成分を抽出する（ステップＳ３０４Ｂ）。【００６６】
その後、乗算部５７は、ステップＳ３０４Ｂで抽出されたＲ信号の脈波周波数帯の信号成分にステップＳ３０７で算出された重み係数ａを乗算する（ステップＳ３０８）。その上で、演算部５８は、ステップＳ３０８で重み係数ａが乗算されたＲ信号の脈波周波数帯の信号成分から、ステップＳ３０４Ｂで抽出されたＧ信号の脈波周波数帯の信号成分を差し引く演算「ａ＊Ｒsignal−Ｇsignal」を実行する（ステップＳ３０９）。【００６７】
そして、検出部５９は、演算後の信号の時系列データを用いて、被験者の心拍数や心拍波形など脈波を検出した上で（ステップＳ３１０）、脈波の検出結果をクライアント端末３０へ出力し（ステップＳ３１１）、処理を終了する。【００６８】
［実施例２の効果］
上述してきたように、本実施例に係るサーバ装置５０では、時系列空間にてノイズ成分をキャンセルして脈波を検出する。この場合にも、上記の実施例１と同様に、重み係数の計算量を低減できるので、ノイズの低減にあたって処理負荷の増大または精度低下を抑制できる。さらに、本実施例に係るサーバ装置５０は、上記の実施例１と比べて、フーリエ変換を行わずとも脈波の一態様である心拍波形を得ることができるので、処理負荷の増大または精度低下をより効果的に抑制できる。【００６９】
図９は、実施例２に係る脈波検出結果とリファレンスとの比較例を示す図である。図９のリファレンスには、心電図法で計測されたＥＣＧ（Electrocardiogram）が図示されている。図９に示すグラフの縦軸は、信号の振幅を指し、横軸は、時間（sec）を指す。図９に示すように、演算部５８による演算後の信号の時系列データは、リファレンスの心電波形との間で各ピークの位置が略同一の位置にあり、おおよそ相似の関係にあると言える。このように、時系列空間にてノイズ成分をキャンセルして脈波を検出した場合には、リファレンスの心電波形と比べても遜色のない脈波の検出精度を発揮できることがわかる。
【実施例３】
【００７０】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。【００７１】
［入力信号］
上記の実施例１及び実施例２では、入力信号としてＲ信号およびＧ信号の二種類を用いる場合を例示したが、異なる複数の光波長成分を持つ信号であれば任意の種類の信号および任意の数の信号を入力信号とすることができる。例えば、Ｒ、Ｇ、Ｂ、ＩＲおよびＮＩＲなどの光波長成分が異なる信号のうち任意の組合せの信号を２つ用いることもできるし、また、３つ以上用いることもできる。【００７２】
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、サーバ装置１０が有する取得部１２、変換部１３、抽出部１４、算出部１５、乗算部１６、演算部１７及び検出部１８などの機能部に対応する処理を実行する脈波検出プログラムをクライアント端末３０で実行させることによってクライアント端末３０をスタンドアローンで動作させることも可能である。また、取得部１２、変換部１３、抽出部１４、算出部１５、乗算部１６、演算部１７及び検出部１８のうち一部の機能部をサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。例えば、ＤＦＴなどの演算は処理負荷が高いので、クライアントサーバ間でスペックが高いサーバ装置１０によって処理させる観点から、変換部１３をクライアント端末３０に実装させ、それ以外の機能部をサーバ装置１０に実装させることもできる。また、取得部１２、変換部１３、抽出部１４、算出部１５、乗算部１６、演算部１７及び検出部１８のうち一部の機能部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもよい。【００７３】
［脈波検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１０を用いて、上記の実施例と同様の機能を有する脈波検出プログラムを実行するコンピュータの一例について説明する。【００７４】
図１０は、実施例１〜実施例３に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。図１０に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。【００７５】
ＨＤＤ１７０には、図１０に示すように、上記の実施例１で示した取得部１２、変換部１３、抽出部１４、算出部１５、乗算部１６、演算部１７及び検出部１８と同様の機能を発揮する脈波検出プログラム１７０ａが予め記憶される。この脈波検出プログラム１７０ａについては、図１または図７に示した各々の機能部の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されればよい。【００７６】
そして、ＣＰＵ１５０が、脈波検出プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１０に示すように、脈波検出プログラム１７０ａは、脈波検出プロセス１８０ａとして機能する。この脈波検出プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、脈波検出プロセス１８０ａは、図１または図７に示した各機能部にて実行される処理、例えば図６や図８に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されればよい。【００７７】
なお、上記の脈波検出プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
【符号の説明】
【００７８】
１０    サーバ装置
１１    通信Ｉ／Ｆ部
１２    取得部
１３    変換部
１４    抽出部
１５    算出部
１６    乗算部
１７    演算部
１８    検出部
３０    クライアント端末
【図１】
2014038077.tif 000003
【図２】
2014038077.tif 000004
【図３】
2014038077.tif 000005
【図４】
2014038077.tif 000006
【図５】
2014038077.tif 000007
【図６】
2014038077.tif 000008
【図７】
2014038077.tif 000009
【図８】
2014038077.tif 000010
【図９】
2014038077.tif 000011
【図１０】
2014038077.tif 000012
【国際調査報告】
2014038077.tif 000013
2014038077.tif 000014
2014038077.tif 000015
2014038077.tif 000016