(57)【要約】【課題】脈波の検出精度の低下を抑制できる脈波検出プログラム、脈波検出方法および脈波検出装置を提供する。【解決手段】顔部位検出部４１は、カメラ２０によって被験者が撮影された画像から当該画像内での前記被験者の顔の所定部位の位置を検出する。顔向検出部４２は、カメラ２０によって撮影された画像から、所定の向きに対する被験者の顔の向きの回転角度を検出する。算出部４５は、所定部位の位置および回転角度の検出結果から被験者の顔の脈波の計測領域の位置を算出する。計測部４６は、算出された計測領域から脈波を計測する。【選択図】図１
2014198201.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
撮像装置によって被験者が撮影された画像から当該画像内での前記被験者の顔の所定部位の位置を検出し、
前記撮像装置によって撮影された画像から、所定の向きに対する前記被験者の顔の向きの回転角度を検出し、
前記所定部位の位置および前記回転角度の検出結果から前記被験者の顔の脈波の計測領域の位置を算出し、
算出された計測領域から脈波を計測する
処理を実行させることを特徴とする脈波検出プログラム。
【請求項２】
前記撮像装置によって画像が撮影される毎に、前記被験者の顔の所定部位の位置および前記被験者の顔の向きの回転角度を検出して、前記被験者の顔の脈波の計測領域の位置を算出する
ことを特徴とする請求項１に記載の脈波検出プログラム。
【請求項３】
前記脈波を計測する処理は、前記計測領域に含まれる画素のうち、各波長成分の画素値が、波長成分毎に脈波の計測に用いる標準的な画素値の範囲を記憶する記憶部に記憶された標準的な画素値の範囲となる画素から脈波を計測する
ことを特徴とする請求項１または２に記載の脈波検出プログラム。
【請求項４】
コンピュータに、
前記被験者の顔が正対した状態の画像の前記計測領域に含まれる各画素から波長成分毎に画素値のヒストグラムを求め、波長成分毎に、ピークの画素値を基準として標準的な画素値の範囲を特定し、特定した波長成分毎の標準的な画素値の範囲を前記記憶部に設定する
処理をさらに実行させることを特徴とする請求項１または２に記載の脈波検出プログラム。
【請求項５】
コンピュータが、
撮像装置によって被験者が撮影された画像から当該画像内での前記被験者の顔の所定部位の位置を検出し、
前記撮像装置によって撮影された画像から、所定の向きに対する前記被験者の顔の向きの回転角度を検出し、
前記所定部位の位置および前記回転角度の検出結果から前記被験者の顔の脈波の計測領域の位置を算出し、
算出された計測領域から脈波を計測する
処理を実行することを特徴とする脈波検出方法。
【請求項６】
撮像装置によって被験者が撮影された画像から当該画像内での前記被験者の顔の所定部位の位置を検出する顔部位検出部と、
前記撮像装置によって撮影された画像から、所定の向きに対する前記被験者の顔の向きの回転角度を検出する顔向検出部と、
前記顔部位検出部および前記顔向検出部による検出結果から前記被験者の顔の脈波の計測領域の位置を算出する算出部と、
前記算出部により算出された計測領域から脈波を計測する計測部と、
を有することを特徴とする脈波検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脈波検出プログラム、脈波検出方法および脈波検出装置に関する。
【背景技術】
【０００２】
被験者が撮影された画像から血液の体積の変動、いわゆる脈波を検出する技術が知られている。例えば、被験者の顔をビデオカメラで撮像し、撮像データから濃度を算出して心拍および呼吸数を測定する従来技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２１８５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、脈波は、毛細血管の血流の変化に伴う皮膚部分の画像の輝度変化から検出する。この脈波に関係する輝度変化は、微少である。このため、脈波の検出では、脈波に関係する輝度変化を精度良く検出するため、顔の皮膚部を広く利用して輝度変化を測定したい。一方、顔の広い範囲を輝度変化の計測領域とした場合、画像に含まれる顔の周辺の背景が計測領域に含まれるようになり、背景の影響により輝度変化が大きくなって、脈波の検出精度が低下する場合がある。
【０００５】
そこで、撮影される各フレームの画像について顔検出を行って顔領域を特定し、顔領域の中央部分を計測領域として、計測領域から輝度変化を測定することが考えられる。例えば、顔領域の外縁である顔枠から距離または比率により顔領域の中央に絞った中央部分を計測領域とすることが考えられる。
【０００６】
しかしながら、顔枠からの距離または比率により計測領域を中央部分に絞った場合でも、脈波の検出精度が低下する場合がある。例えば、被験者の顔の向きにより、計測領域に背景が含まれる場合などがあり、脈波の検出精度が低下する。
【０００７】
図１８は、被験者の顔の向きによる計測領域の変化の一例を説明するための図である。図１８の例では、被験者が正対した状態、被験者が上を向いた状態、被験者が右を向いた状態、被験者が下を向いた状態の画像がそれぞれ示されている。図１８の例では、被験者の顔の眼、鼻、口、頬、額を含む顔領域の外縁である顔枠２００から距離または比率により顔領域の中央に絞った中央部分を計測領域２０１としている。
【０００８】
被験者が上を向いた状態の画像は、計測領域２０１に被験者の鼻や目の外縁、口が含まれる。また、被験者が右を向いた状態の画像は、計測領域２０１に背景や口が含まれる。また、被験者が下を向いた状態の画像は、計測領域２０１に鼻や目、口が含まれる。このような計測領域２０１を脈波の検出に用いた場合には、鼻部分の輝度の変化や、眼の瞬き、背景がノイズとなって心拍数の検出精度の低下を招く場合がある。
【０００９】
一側面では、脈波の検出精度の低下を抑制できる脈波検出プログラム、脈波検出方法および脈波検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一側面によれば、脈波検出プログラムは、コンピュータに、撮像装置によって被験者が撮影された画像から当該画像内での前記被験者の顔の所定部位の位置を検出する処理を実行させる。脈波検出プログラムは、コンピュータに、前記撮像装置によって撮影された画像から、所定の向きに対する前記被験者の顔の向きの回転角度を検出する処理を実行させる。脈波検出プログラムは、コンピュータに、前記所定部位の位置および前記回転角度の検出結果から前記被験者の顔の脈波の計測領域の位置を算出する処理を実行させる。脈波検出プログラムは、コンピュータに、算出された計測領域から脈波を計測する処理を実行させる。
【発明の効果】
【００１１】
本発明の一側面によれば、脈波の検出精度の低下を抑制できる効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、脈波検出装置の機能的構成を示すブロック図である。
【図２Ａ】図２Ａは、画像の各領域のヒストグラムの一例を示す図である。
【図２Ｂ】図２Ｂは、画像の各領域のヒストグラムの一例を示す図である。
【図２Ｃ】図２Ｃは、画像の各領域のヒストグラムの一例を示す図である。
【図２Ｄ】図２Ｄは、画像の各領域のヒストグラムの一例を示す図である。
【図３】図３は、顔の部位の配置のパターンを説明する図である。
【図４】図４は、画像内での被験者の顔の横方向の向きによる領域のサイズの変化を説明する図である。
【図５】図５は、重み係数が乗算されたＲ成分及びＧ成分の各信号のスペクトルの一例を示す図である。
【図６】図６は、画像内での被験者の顔の縦方向の向きによる領域のサイズの変化を説明する図である。
【図７】図７は、被験者の顔の縦方向の向きの変化による領域のサイズの変化を説明する図である。
【図８】図８は、通過帯域を説明する図である。
【図９】図９は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。
【図１０】図１０は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。
【図１１】図１１は、演算後のスペクトルの一例を示す図である。
【図１２】図１２は、計測部の機能的構成を示すブロック図である。
【図１３】図１３は、計測領域に背景が含まれる状態の一例を示す図である。
【図１４】図１４は、通過帯域の画素を抽出した結果の一例を示す図である。
【図１５】図１５は、キャリブレーション処理の手順を示すフローチャートである。
【図１６】図１６は、検出処理の手順を示すフローチャートである。
【図１７】図１７は、脈波検出プログラムを実行するコンピュータの一例について説明するための図である。
【図１８】図１８は、被験者の顔の向きによる計測領域の変化の一例を説明するための図である。
【発明を実施するための形態】
【００１３】
以下に、本願の開示する脈波検出プログラム、脈波検出方法および脈波検出装置の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１４】
［脈波検出装置の構成］
図１は、脈波検出装置の機能的構成を示すブロック図である。図１に示す脈波検出装置１０は、太陽光や室内光などの環境光の下で生体に計測器具を接触させずに、被験者が撮影された画像を用いて被験者の脈波を検出する装置である。ここで言う「脈波」とは、血液の体積の変動、すなわち血流の増減を表す指標を指し、いわゆる心拍数や心拍波形などが含まれる。かかる脈波検出装置１０の一態様としては、例えば、スマートフォン、ＰＤＡ（Personal  Digital  Assistant）、携帯電話機等の携帯端末装置等である。脈波検出装置１０の一態様としては、スマートフォンに脈波を検出するアプリケーションプログラムをプリインストールまたはインストールさせ、当該アプリケーションプログラムを動作させることによって実現される。なお、脈波検出装置１０は、デスクトップ型ＰＣ（パーソナル・コンピュータ）、タブレット型ＰＣ、ノート型ＰＣなどの情報処理装置であってもよい。
【００１５】
脈波検出装置１０は、図１に示すように、カメラ２０と、表示部２１と、入力部２２と、通信Ｉ／Ｆ（interface）部２３と、記憶部２４と、制御部２５とを有する。なお、脈波検出装置１０は、図１に示した機能部以外にも既知の携帯端末装置が有する各種の機能部を有することとしてもかまわない。例えば、脈波検出装置１０は、アンテナ、キャリア網を介して通信を行うキャリア通信部、ＧＰＳ（Global  Positioning  System）受信機などを有することとしてもかまわない。
【００１６】
カメラ２０は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を用いた撮像装置である。例えば、カメラ２０には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ２０の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよいし、携帯端末のようにカメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、脈波検出装置１０がカメラ２０を有する場合を例示したが、ネットワーク経由または記憶デバイス経由で画像を取得できる場合には、必ずしも脈波検出装置１０がカメラ２０を有する必要はない。
【００１７】
表示部２１は、各種情報を表示する表示デバイスである。表示部２１としては、ＬＣＤ（Liquid  Crystal  Display）やＣＲＴ（Cathode  Ray  Tube）などの表示デバイスが挙げられる。表示部２１は、各種情報を表示する。脈波検出装置１０を通じて情報を表示する必要がなければ表示部２１が無くても構わない。また、別の装置の表示部に表示することもできる。
【００１８】
入力部２２は、各種の情報を入力する入力デバイスである。例えば、入力部２２としては、マウスやキーボード、脈波検出装置１０に設けられた各種のボタンや、表示部２１上に設けられた透過型のタッチセンサなどの入力デバイスが挙げられる。なお、図１の例では、機能的な構成を示したため、表示部２１と入力部２２を別に分けているが、例えば、タッチパネルなど表示部２１と入力部２２を一体的に設けたデバイスで構成してもよい。
【００１９】
通信Ｉ／Ｆ部２３は、他の装置との間で通信制御を行うインタフェースである。かかる通信Ｉ／Ｆ部２３の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。通信Ｉ／Ｆ部２３は、不図示のネットワークを介して他の装置と各種情報を送受信する。例えば、通信Ｉ／Ｆ部２３は、検出された脈波の情報をサーバ装置へ送信する。
【００２０】
記憶部２４は、各種情報を記憶するデバイスである。例えば、記憶部２４としては、ＲＡＭ（Random  Access  Memory）、フラッシュメモリなどの半導体メモリ素子や、ハードディスク、ＳＳＤ（Solid  State  Drive）、光ディスクなどの記憶装置が挙げられる。
【００２１】
記憶部２４は、制御部２５で実行されるＯＳ（Operating  System）や各種プログラムを記憶する。さらに、記憶部２４は、制御部２５で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部２４は、演算式情報３０と、演算パラメータ情報３１と、角度パラメータ情報３２と、通過帯域情報３３とを記憶する。
【００２２】
演算式情報３０は、被験者の顔の脈波の計測領域の算出に用いる各種の演算式を記憶したデータである。演算パラメータ情報３１は、各種の演算式に設定された各種のパラメータの値を記憶したデータである。
【００２３】
ここで、脈波に関係する輝度変化は、微少である。このため、脈波の検出では、脈波に関係する輝度変化を精度良く検出するため、顔の皮膚部を広く利用して輝度変化を測定することが好ましい。一方、顔の広い範囲を輝度変化の計測領域とした場合、画像に含まれる顔の周辺の背景が計測領域に含まれるようになり、背景の影響により輝度変化が大きくなって、脈波の検出精度が低下する場合がある。
【００２４】
図２Ａは、画像の各領域のヒストグラムの一例を示す図である。図２Ａの例では、眼、鼻、口、頬、額を含む矩形領域７０ＡのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムが示されている。また、図２Ａの例では、鼻、口を含む矩形領域７０ＢのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムが示されている。矩形領域７０Ａは、周辺の背景が含まれ、また、被験者の眼が映っている。この矩形領域７０Ａの画像を脈波の検出に用いた場合には、背景や眼の瞬きがノイズとなって心拍数の検出精度の低下を招く場合がある。また、矩形領域７０Ｂは、被験者の口が映っている。この矩形領域７０Ｂを画像を脈波の検出に用いた場合には、口の動きがノイズとなって心拍数の検出精度の低下を招く場合がある。
【００２５】
図２Ｂは、画像の各領域のヒストグラムの一例を示す図である。図２Ｂの例では、眼を含む矩形領域７１ＡのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムが示されている。また、図２Ｂの例では、鼻を含む矩形領域７１ＢのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムが示されている。また、図２Ｂの例では、口を含む矩形領域７１ＣのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムが示されている。矩形領域７１Ａは、被験者の眼が映っている。この矩形領域７１Ａの画像を脈波の検出に用いた場合には、眼の瞬きがノイズとなって心拍数の検出精度の低下を招く場合がある。矩形領域７１Ａは、被験者の鼻が映っている。鼻部分は、光の当たり方による輝度の変化が大きい場合がある。この矩形領域７１Ｂの画像を脈波の検出に用いた場合には、鼻部分の輝度変化がノイズとなって心拍数の検出精度の低下を招く場合がある。矩形領域７１Ｃは、被験者の口が映っている。この矩形領域７１Ｃの画像を脈波の検出に用いた場合には、口の動きがノイズとなって心拍数の検出精度の低下を招く場合がある。
【００２６】
図２Ｃは、画像の各領域のヒストグラムの一例を示す図である。図２Ｃの例では、右頬を含む矩形領域７２ＡのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムが示されている。また、図２Ｃの例では、左頬を含む矩形領域７２ＢのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムが示されている。また、図２Ｃの例では、額を含む矩形領域７２ＣのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムが示されている。この矩形領域７２Ａ〜矩形領域７２Ｃは、肌の色範囲を抽出できており、脈波の検出に好ましい領域である。
【００２７】
図２Ｄは、画像の各領域のヒストグラムの一例を示す図である。図２Ｄの例では、頭部の髪部分の矩形領域７３ＡのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムが示されている。また、図２Ｄの例では、背景部分の矩形領域７３ＢのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムが示されている。また、図２Ｄの例では、被験者の衣服部分の矩形領域７３ＣのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムが示されている。この矩形領域７３Ａ〜矩形領域７３Ｃは、何れも皮膚部がほとんど含まれていないため、脈波を検出することができない領域である。
【００２８】
このため、本実施例では、右頬、左頬および額の領域を計測領域として脈波の計測を行うものとしている。
【００２９】
ところで、人は、顔に含まれる眼や耳、鼻、口、頬、額など顔の部位の配置のパターンが同様である。例えば、脈波の計測に好適な右頬、左頬の領域は、縦方向に対して眼と口の間付近に位置する。また、右頬の領域は、横方向に対して右眼の位置付近に位置する。左頬の領域は、横方向に対して左眼の位置付近に位置する。また、例えば、脈波の計測に好適な額の領域は、縦方向に対して眼の上方に位置する。また、額の領域は、横方向に対して右眼と左眼の間付近に位置する。よって、被験者の顔の部位の位置から他の部位の位置を推測することができる。図３は、顔の部位の配置のパターンを説明する図である。図３の例では、人の顔が眼、口、左頬が簡略化されて示されている。例えば、右眼の座標を（ｘ1，ｙ1）とし、左眼の座標を（ｘ2，ｙ2）とし、口の座標を（ｘ3，ｙ3）とした場合、左頬に該当する矩形領域の対向する２つの頂点Ｐ１、Ｐ２の座標（Ｘ1，Ｙ1）、（Ｘ2，Ｙ2）は、下記の式（１）、（２）のように表すことができる。
【００３０】
（Ｘ1，Ｙ1）＝（α・ｘ1＋（１−α）ｘ2，β・ｙ2＋（１−β）ｙ3）・・・（１）
（Ｘ2，Ｙ2）＝（γ・ｘ1＋（１−γ）ｘ2，δ・ｙ2＋（１−δ）ｙ3）・・・（２）
【００３１】
ここで、人は、それぞれ顔の部位の位置に違いがある。そこで、式（１）、（２）は、被験者に応じた計測領域の位置を算出するため、α、β、γ、δの各種のパラメータが設けられている。例えば、α＝０、β＝０．９の場合、頂点Ｐ１は、横方向が左眼の位置で、縦方向が眼と口の９０％の高さの位置となる。
【００３２】
演算式情報３０には、被験者の顔の所定部位から計測領域の算出に用いる演算式が記憶されている。本実施例では、所定部位として、眼、口の位置から計測領域として右頬、左頬、額の領域を算出する。このため、演算式情報３０には、眼、口の位置から計測領域として右頬、左頬、額の領域を算出する演算式が記憶されている。例えば、演算式情報３０には、上記の式（１）、（２）が記憶されている。なお、計測領域を算出する基準となる所定部位は、眼、口に限定されず、眼、鼻、口、眉、耳など何れの部位を用いてもよく、例えば、眼、鼻としてもよい。
【００３３】
演算パラメータ情報３１には、各演算式に設けられたパラメータの値が記憶されている。例えば、演算パラメータ情報３１には、上記の式（１）、（２）に設けられたα、β、γ、δの各種のパラメータの値が記憶されている。本実施例では、演算パラメータ情報３１のパラメータの値は、後述するパラメータ格納部４３により格納するものとするが、顔の部位の標準的な配置のパターンに応じたパラメータの値を予め求めて演算パラメータ情報３１に記憶してもよい。
【００３４】
角度パラメータ情報３２は、画像内での被験者の顔の向きに応じて計測領域を補正するためのパラメータを記憶したデータである。
【００３５】
ここで、画像内での被験者の顔の向きに応じて、顔のそれぞれの領域のサイズは変化する。例えば、脈波の計測に好適な頬の領域は、被験者の顔の向きに応じて画像内のサイズが変化する。図４は、画像内での被験者の顔の横方向の向きによる領域のサイズの変化を説明する図である。図４の例では、人の顔が眼、鼻、口、右頬、左頬により簡略化されて示されている。図４の左側の例は、正対した状態を示している。図４の右側の例は、顔の向きが横方向に回転している状態を示している。図４の左側に示すように、正対した状態では、右頬が観察される右頬領域８０Ｒと左頬が観察される左頬領域８０Ｌは、略同一のサイズとなっている。一方、図４の右側に示すように、顔の向きが横方向に回転している状態では、右頬領域８０Ｒと左頬領域８０Ｌのサイズが変化し、一方が小さく、他方が大きくなる。図４の例では、右頬領域８０Ｒのサイズが大きくなり、左頬領域８０Ｌのサイズが小さく変化している。
【００３６】
図５は、被験者の顔の横方向の向きの変化による領域のサイズの変化を説明する図である。図５の例では、上側に、正対した状態に対する被験者の顔の向きの横方向の回転角度θyに応じた右頬領域８０Ｒの面積と左頬領域８０Ｌの面積の変化が示されている。また、図５の例では、下側に、回転角度θyに応じた右頬領域８０Ｒの横幅と左頬領域８０Ｌの横幅の変化が示されている。例えば、顔の形状を楕円球と見なした場合、右頬領域８０Ｒおよび左頬領域８０Ｌは、図５の上側に示すように、回転角度θy＝０から所定の範囲内で、回転角度θyと面積にリニアな関係があると見なすことができる。また、横方向のみの回転の場合、右頬領域８０Ｒと左頬領域８０Ｌの縦方向の縦幅を一定と見なすと、右頬領域８０Ｒおよび左頬領域８０Ｌは、回転角度θy＝０から所定の範囲内で、回転角度θyと横方向の横幅にリニアな関係があると見なすことができる。
【００３７】
よって、被験者の顔の向きが横方向に変化した場合でも顔の横方向の回転角度θyから計測領域の位置を算出できる。例えば、下記の式（３）、（４）のように、回転角度θyに応じて、右頬の頂点Ｐ１の座標（Ｘ1，Ｙ1）が、（Ｘ’1，Ｙ’1）に変化し、右頬の頂点Ｐ２の座標（Ｘ2，Ｙ2）が、（Ｘ’2，Ｙ’2）に変化すると表すことができる。
【００３８】
（Ｘ’1，Ｙ’1）＝（Ｘ1，Ｙ1）・・・（３）
（Ｘ’2，Ｙ’2）＝（κ・Ｘ1＋（１−κ）・Ｘ2，Ｙ2）・・・（４）
【００３９】
このκは、回転角度θyに応じて定められる。角度パラメータ情報３２には、横方向の角度パラメータとして、回転角度θy毎にκの値が予め求められて記憶されている。例えば、回転角度θy＝０°の場合、κ＝０であり、回転角度θy＝３０°の場合、κ＝１である。なお、回転角度θyが３０度を越えると、右頬領域８０Ｒおよび左頬領域８０Ｌは、回転角度θyと横方向の横幅にリニアな関係がなくなる。そこで、回転角度θyが±３０度の範囲内で計算を行うものとする。
【００４０】
被験者の顔の縦方向の向きの変化についても同様に計測領域が変化する。
【００４１】
図６は、画像内での被験者の顔の縦方向の向きによる領域のサイズの変化を説明する図である。図６の例では、人の顔が眼、鼻、口、左頬、額により簡略化されて示されている。図６に示す左頬が観察される左頬領域８０Ｌ、額が観察される額領域８１も顔の向きが、所謂チルトと呼ばれる縦方向に回転した場合、領域のサイズが変化する。
【００４２】
図７は、被験者の顔の縦方向の向きの変化による領域のサイズの変化を説明する図である。図７の例では、上側に、正対した状態に対する被験者の顔の向きの縦方向の回転角度θxに応じた左頬領域８０Ｌの面積と額領域８１の面積の変化が示されている。また、図７の例では、下側に、回転角度θxに応じた左頬領域８０Ｌの縦幅と額領域８１の縦幅の変化が示されている。図７の上側に示すように、左頬領域８０Ｌの面積は、回転角度θxが多くなるほどサイズが小さくなる。一方、額領域８１の面積は、回転角度θxが多くなるほどサイズが大きくなる。例えば、顔の形状を楕円球と見なした場合、左頬領域８０Ｌおよび額領域８１は、回転角度θx＝０から所定の範囲内で、回転角度θxと面積にリニアな関係があると見なすことができる。
【００４３】
よって、被験者の顔の向きが縦方向に変化した場合でも顔の縦方向の回転角度θxから計測領域の位置を算出できる。例えば、下記の式（５）、（６）のように、顔の縦方向の向きの変化である回転角度θxに応じて、右頬の頂点Ｐ１の座標（Ｘ1，Ｙ1）が、（Ｘ”1，Ｙ”1）に変化し、右頬の頂点Ｐ２の座標（Ｘ2，Ｙ2）が、（Ｘ”2，Ｙ”2）に変化すると表すことができる。
【００４４】
（Ｘ”1，Ｙ”1）＝（Ｘ1，Ｙ1）・・・（５）
（Ｘ”2，Ｙ”2）＝（Ｘ2，λ・Ｙ1＋（１−λ）・Ｙ2）・・・（６）
【００４５】
このλは、回転角度θxに応じて定められる。角度パラメータ情報３２には、縦方向の角度パラメータとして、回転角度θx毎にλの値が予め求められて記憶されている。例えば、回転角度θx＝０°の場合、λ＝０であり、回転角度θx＝１５°の場合、λ＝１である。なお、回転角度θxが１５度を越えると、左頬領域８０Ｌ、額領域８１は、回転角度θxと縦方向の縦幅にリニアな関係がなくなる。そこで、回転角度θxが±１５度の範囲内で計算を行うものとする。
【００４６】
演算式情報３０には、被験者の顔の向きの変化に応じて計測領域の補正に用いる演算式が記憶されている。本実施例では、右頬、左頬、額の計測領域としている。このため、演算式情報３０には、右頬、左頬、額の領域の補正に用いる演算式が記憶されている。例えば、演算式情報３０には、上記の式（４）〜（６）が記憶されている。
【００４７】
角度パラメータ情報３２には、計測領域の補正の演算式で用いるパラメータの値が記憶される。例えば、角度パラメータ情報３２には、上記の式（４）、（５）で用いる回転角度θy毎にκの値と、上記の式（５）、（６）で用いる回転角度θx毎にλの値とが記憶される。
【００４８】
通過帯域情報３３は、計測領域毎に、標準的な肌の色の範囲を通過帯域として記憶したデータである。本実施例では、右頬、左頬、額の領域を計測領域としており、通過帯域情報３３には、右頬、左頬、額の各領域の標準的な肌の色の範囲が通過帯域として記憶される。本実施例では、通過帯域情報３３の通過帯域は、後述する通過帯域格納部４４により格納されるものとするが、標準的な肌の色の範囲を予め求めて通過帯域情報３３に記憶しているものとしてもよい。
【００４９】
制御部２５は、脈波検出装置１０を制御するデバイスである。制御部２５としては、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）等の電子回路や、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路を採用できる。制御部２５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部２５は、各種のプログラムが動作することにより、各種の処理部として機能する。例えば、制御部２５は、撮影制御部４０と、顔部位検出部４１と、顔向検出部４２と、パラメータ格納部４３と、通過帯域格納部４４と、算出部４５と、計測部４６と、出力制御部４７とを有する。
【００５０】
撮影制御部４０は、カメラ２０を制御して画像の撮影を制御する処理部である。例えば、撮影制御部４０は、脈波の検出を行う場合やキャリブレーションを行う場合、カメラ２０を制御して連続的に画像の撮影を行う。例えば、撮影制御部４０は、入力部２２に対して脈波の検出開始を指示する所定操作またはキャリブレーションの実行を指示する所定操作が行われた場合、カメラ２０を制御して所定のフレームレートで連続的に画像の撮影を行う。フレームレートは、人の脈波をサンプリング可能な周期であればよい。本実施例では、カメラ２０により動画撮影を行い、撮影される各画像から脈波の検出を行うものとしている。フレームレートとしては、例えば、２４ｆｐｓ（frame  per  second）、３０ｆｐｓ、６０ｆｐｓなどの一般的な動画の撮影周期が挙げられる。なお、撮影制御部４０は、カメラ２０が撮影する画像を表示部２１に表示させてもよい。
【００５１】
顔部位検出部４１は、カメラ２０により被験者が撮影された画像から顔の所定部位を検出する処理部である。この顔の部位の検出の手法は、何れであってよい。本実施例では、顔の所定部位として、例えば、眼と口を検出するものとするがその他の部位であってもよい。例えば、顔部位検出部４１は、画像にテンプレートマッチング等の画像処理を実行することによって被験者の眼や、鼻、口などの所定部位を検出する。そして、顔部位検出部４１は、画像内での被験者の顔の所定部位の位置を検出する。例えば、顔部位検出部４１は、所定部位の重心位置や中心位置など所定の位置を、所定部位の位置として検出する。
【００５２】
また、顔部位検出部４１は、計測領域の位置を算出する際に用いる各種のパラメータのキャリブレーションを行う場合、計測領域の位置を検出する。本実施例では、顔部位検出部４１は、例えば、右頬、左頬、額の各領域の位置を検出する。
【００５３】
顔向検出部４２は、カメラ２０により被験者が撮影された画像から所定の向きに対する顔の向きの回転角度を検出する処理部である。この顔の向きの検出の手法は、何れであってよい。本実施例では、所定の向きに対する顔の向きとして、被験者がカメラ２０に正対した状態の向きに対する顔の向きの回転角度θx、θyを検出する。例えば、画像内で口は、図４の左側に示すように、顔が正対した状態では、左右の眼の中心付近に位置する。また、画像内で口は、図４の右側に示すように、顔が左方向を向いた状態では、左右の眼の中心よりも左側に位置し、回転角度が大きいほど中心からのずれも大きくなる。そこで、例えば、顔向検出部４２は、左右の眼の中心からの口の位置のずれから顔の向きの横方向の回転角度θyを検出する。また、例えば、顔が正対した状態の眼や、鼻、口などの各種部位の配置パターンを記憶し、撮影された画像での各種部位の配置パターンの変化から顔の向きの回転角度θx、θyを検出してもよい。なお、所定の向きは、被験者がカメラ２０に正対した状態の向きに限定されず、例えば、被験者がカメラ２０に対して顔を傾けた状態の向きを基準として回転角度を求めてもよい。
【００５４】
パラメータ格納部４３は、被験者に合わせたキャリブレーションを行う処理部である。例えば、パラメータ格納部４３は、入力部２２に対して脈波の検出開始を指示する所定操作が行われると、キャリブレーションを行うため、カメラ２０に対して被験者が正対するように促す。例えば、パラメータ格納部４３は、表示部２１にメッセージを表示して、被験者がカメラ２０に対して正対するように促す。これにより、カメラ２０では、カメラ２０に対して正対した状態の被験者が撮影される。上述の顔部位検出部４１は、撮影された画像から所定部位の位置および計測領域の位置を検出する。本実施例では、顔部位検出部４１は、例えば、所定部位として眼、口の位置を検出し、計測領域として右頬、左頬、額の各領域の位置を検出する。
【００５５】
パラメータ格納部４３は、演算式情報３０に記憶された、顔の所定部位から計測領域の算出する演算式に、顔部位検出部４１により検出される所定部位の位置および計測領域の位置を代入して、各演算式に設けられた各種のパラメータの値を算出する。例えば、パラメータ格納部４３は、右眼の座標（ｘ1，ｙ1）、左眼の座標（ｘ2，ｙ2）、口の座標（ｘ3，ｙ3）、左頬領域の頂点Ｐ１、Ｐ２の座標（Ｘ1，Ｙ1）、（Ｘ2，Ｙ2）を式（１）、（２）に代入してα、β、γ、δの各種のパラメータの値を算出する。パラメータ格納部４３は、算出した各パラメータの値を演算パラメータ情報３１に格納する。なお、顔向検出部４２が顔が正対した状態の各種部位の配置パターンから顔の向きを検出する場合、パラメータ格納部４３は、カメラ２０に対して正対した状態の被験者の各種部位の配置パターンを求めて記憶部２４に格納してもよい。
【００５６】
通過帯域格納部４４は、通過帯域情報３３を設定する処理部である。例えば、通過帯域格納部４４は、被験者に合わせたキャリブレーションを行う際に、カメラ２０により撮影された被験者の顔が正対した状態の画像から、計測領域毎に、計測領域に含まれる各画素から波長成分毎に画素値のヒストグラムを求める。そして、通過帯域格納部４４は、各計測領域について、波長成分毎に、ピークの画素値を基準として標準的な画素値の範囲を特定し、特定した波長成分毎の標準的な画素値の範囲を通過帯域として通過帯域情報３３に設定する。
【００５７】
図８は、通過帯域を説明する図である。図８の例では、左頬領域８０ＬのＲ、Ｇ、Ｂの各成分に画素値のヒストグラムを求めた例が示されている。通過帯域格納部４４は、Ｒ、Ｇ、Ｂの各成分毎に、ピークの画素値を基準として標準的な画素値の範囲を特定する。例えば、通過帯域格納部４４は、ヒストグラムにおいてピークの画素値を基準に、ピークの頻度の所定の割合の頻度となる画素値の範囲の標準的な画素値の範囲を特定する。例えば、通過帯域格納部４４は、ピークの頻度の半分となる、所謂、半値幅の範囲を標準的な画素値の範囲を特定する。なお、標準的な画素値の範囲は、ピークの画素値を中心とした所定幅の範囲としてもよい。
【００５８】
計測領域に含まれる被験者の肌の色は、撮影環境や、被験者自身の肌の色合いなどによって異なる。そこで、通過帯域格納部４４は、実際に撮影された画像から被験者の肌の色の標準的な画素値の範囲を特定し、通過帯域として通過帯域情報３３に設定することにより、実際の被験者の皮膚部分を抽出できるようになる。
【００５９】
算出部４５は、顔部位検出部４１により検出された顔の所定部位の位置から、カメラ２０により被験者が撮影された画像内での脈波の計測領域の位置を算出する。例えば、算出部４５は、顔の眼と口の位置から計測領域となる右頬、左頬、額の各領域の位置を算出する式を演算式情報３０から読み出す。例えば、算出部４５は、眼と口の位置から右頬の領域を算出する式として、上記の式（１）、（２）を演算式情報３０から読み出す。これらの式には、個人に合わせて位置を調整するため、パラメータを設けている。このパラメータの値は、演算パラメータ情報３１に記憶されている。例えば、演算パラメータ情報３１には、上記の式（１）、（２）のパラメータα、β、γ、δの値が記憶されている。
【００６０】
算出部４５は、演算パラメータ情報３１からパラメータの値を読み出して式にセットし、式による演算を行って顔の所定部位の位置から計測領域の位置を算出する。例えば、算出部４５は、式（１）、（２）のパラメータα、β、γ、δの値をセットし、顔部位検出部４１により検出された右眼、左眼、口の各座標から左頬に該当する矩形領域の座標（Ｘ1，Ｙ1）、（Ｘ2，Ｙ2）を算出する。
【００６１】
算出部４５は、顔向検出部４２により検出された顔の向きの回転角度に応じて、計測領域の位置を補正する。例えば、算出部４５は、顔の横方向の回転角度θyおよび顔の縦方向の回転角度θxに応じて、右頬、左頬、額の各領域の位置を補正するための式を演算式情報３０から読み出す。例えば、算出部４５は、顔の横方向の回転角度θyに応じて右頬の領域を補正するための式として、上記の式（３）、（４）を演算式情報３０から読み出す。また、算出部４５は、顔の縦方向の回転角度θxに応じて右頬の領域を補正するための式として、上記の式（５）、（６）を演算式情報３０から読み出す。これらの式には、回転角度θy、回転角度θxに応じたパラメータを設けている。この回転角度θy、回転角度θxに応じたパラメータの値は、角度パラメータ情報３２に記憶されている。例えば、角度パラメータ情報３２には、回転角度θy毎に、上記の式（３）、（４）で用いられるκの値が記憶されている。また、角度パラメータ情報３２には、回転角度θx毎に、上記の式（５）、（６）で用いられるλの値が記憶されている。
【００６２】
算出部４５は、角度パラメータ情報３２から、回転角度θy、回転角度θxに応じたパラメータの値を読み出して式にセットし、式による演算を行って計測領域の位置を補正する。例えば、算出部４５は、角度パラメータ情報３２から横方向の回転角度θyに応じたκの値を読み出して式（３）、（４）にセットする。そして、算出部４５は、式（３）、（４）に右頬に該当する形領域の座標（Ｘ1，Ｙ1）、（Ｘ2，Ｙ2）を代入して横方向の回転による補正後の右頬の形領域の座標（Ｘ’1，Ｙ’1）、（Ｘ’2，Ｙ’2）を算出する。また、算出部４５は、角度パラメータ情報３２から縦方向の回転角度θxに応じたλの値を読み出して式（５）、（６）にセットする。そして、算出部４５は、横方向の補正後の座標（Ｘ’1，Ｙ’1）を（Ｘ1，Ｙ1）に代入し、横方向の補正後の座標（Ｘ’2，Ｙ’2）を（Ｘ2，Ｙ2）にして、縦方向の回転による補正後の右頬の形領域の座標（Ｘ”1，Ｙ”1）、（Ｘ”2，Ｙ”2）を算出する。なお、計測領域の位置について、横方向の位置の補正を行った後に、縦方向の位置を補正する場合について説明したが、縦方向の位置の補正を行った後に、横方向の位置を補正してもよい。
【００６３】
計測部４６は、カメラ２０により撮影された各画像から脈波を計測する処理部である。計測部４６は、カメラ２０により撮影された画像の算出部４５により算出、補正された計測領域に含まれる各波長成分の信号から脈波を計測する。例えば、計測部４６は、計測領域毎に、計測領域に含まれる各画素から波長成分が通過帯域情報３３に記憶された当該計測領域の通過帯域の範囲内の各画素を抽出する。そして、計測部４６は、抽出した各画素の波長成分別の代表値の信号から、各波長成分の間で脈波が採り得る脈波周波数帯以外の特定周波数帯の成分が互いに相殺された信号の波形を脈波として計測する。
【００６４】
一態様としては、計測部４６は、画像に含まれる３つの波長成分、すなわちＲ成分、Ｇ成分およびＢ成分のうち血液の吸光特定が異なるＲ成分とＧ成分の２つの波長成分の代表値の時系列データを用いて、波形を検出する。
【００６５】
これを説明すると、顔表面には、毛細血管が流れており、心拍により血管に流れる血流が変化すると、血流で吸収される光量も心拍に応じて変化するため、顔からの反射によって得られる輝度も心拍に伴って変化する。かかる輝度の変化量は小さいが、顔領域全体の平均輝度を求めると、輝度の時系列データには脈波成分が含まれる。ところが、輝度は、脈波以外に体動等によっても変化し、これが、脈波検出のノイズ成分、いわゆる体動アーチファクトとなる。そこで、血液の吸光特性の異なる２種類以上の波長、例えば吸光特性が高いＧ成分(５２５ｎｍ程度)、吸光特性が低いＲ成分(７００ｎｍ程度)で脈波を検出する。心拍は、０．５Ｈｚ〜４Ｈｚ、１分あたりに換算すれば３０ｂｐｍ〜２４０ｂｐｍの範囲であるので、それ以外の成分はノイズ成分とみなすことができる。ノイズには、波長特性は無い、あるいはあっても極小であると仮定すると、Ｇ信号およびＲ信号の間で０．５Ｈｚ〜４Ｈｚ以外の成分は等しいはずであるが、カメラの感度差により大きさが異なる。それゆえ、０．５Ｈｚ〜４Ｈｚ以外の成分の感度差を補正して、Ｇ成分からＲ成分を減算すれば、ノイズ成分は除去されて脈波成分のみを取り出すことができる。
【００６６】
例えば、Ｇ成分及びＲ成分は、下記の式（７）および下記の式（８）によって表すことができる。下記の式（７）における「Ｇｓ」は、Ｇ信号の脈波成分を指し、「Ｇｎ」は、Ｇ信号のノイズ成分を指し、また、下記の式（８）における「Ｒｓ」は、Ｒ信号の脈波成分を指し、「Ｒｎ」は、Ｒ信号のノイズ成分を指す。また、ノイズ成分は、Ｇ成分およびＲ成分の間で感度差があるので、感度差の補正係数ｋは、下記の式（９）によって表される。
【００６７】
Ｇａ＝Ｇｓ＋Ｇｎ・・・（７）
Ｒａ＝Ｒｓ＋Ｒｎ・・・（８）
ｋ＝Ｇｎ／Ｒｎ・・・（９）
【００６８】
感度差を補正してＧ成分からＲ成分を減算すると、脈波成分Ｓは、下記の式（１０）となる。これを上記の式（７）及び上記の式（８）を用いて、Ｇｓ、Ｇｎ、Ｒｓ及びＲｎによって表される式へ変形すると、下記の式（１１）となり、さらに、上記の式（９）を用いて、ｋを消し、式を整理すると下記の式（１２）が導出される。
【００６９】
Ｓ＝Ｇａ−ｋＲａ・・・（１０）
Ｓ＝Ｇｓ＋Ｇｎ−ｋ（Ｒｓ＋Ｒｎ）・・・（１１）
Ｓ＝Ｇｓ−（Ｇｎ／Ｒｎ）Ｒｓ・・・（１２）
【００７０】
ここで、Ｇ信号およびＲ信号は、吸光特性が異なり、Ｇｓ＞（Ｇｎ／Ｒｎ）Ｒｓである。したがって、上記の式（１２）によってノイズが除去された脈波成分Ｓを算出することができる。
【００７１】
図９は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。図９に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図９に示すように、Ｇ成分およびＲ成分は、撮像素子の感度が異なるので、両者の信号強度はそれぞれ異なる。その一方、Ｒ成分およびＧ成分は、いずれにおいても３０ｂｐｍ〜２４０ｂｐｍの範囲外、特に３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯でノイズが現れることには変わりはない。このため、図９に示すように、３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯に含まれる指定の周波数Ｆｎに対応する信号強度をＧｎ及びＲｎとして抽出できる。これらＧｎ及びＲｎによって感度差の補正係数ｋを導出できる。
【００７２】
図１０は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。図１０の例では、説明の便宜上、補正係数の絶対値を乗算した結果が図示されている。図１０に示すグラフにおいても、縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図１０に示すように、Ｇ成分及びＲ成分の各信号のスペクトルに補正係数ｋが乗算された場合には、Ｇ成分およびＲ成分の各成分の間で感度が揃う。特に、特定周波数帯におけるスペクトルの信号強度は、大部分においてスペクトルの信号強度が略同一になっている。その一方で、実際に脈波が含まれる周波数の周辺領域６０は、Ｇ成分およびＲ成分の各成分の間でスペクトルの信号強度が揃っていない。
【００７３】
図１１は、演算後のスペクトルの一例を示す図である。図１１では、脈波が現れている周波数帯の視認性を上げる観点から縦軸である信号強度の尺度を大きくして図示している。図１１に示すように、Ｇ信号のスペクトルから補正係数ｋの乗算後のＲ信号のスペクトルが差し引かれた場合には、Ｇ成分およびＲ成分の間での吸光特性の差によって脈波が現れる信号成分の強度が可及的に維持された状態でノイズ成分が低減されている。このようにしてノイズ成分だけが除去された脈波波形を検出することができる。
【００７４】
続いて、計測部４６の機能的構成についてさらに具体的に説明する。図１２は、計測部の機能的構成を示すブロック図である。図１２に示すように、計測部４６は、第１算出部５１と、ＢＰＦ（Band-Pass  Filter）５２Ｒ及び５２Ｇと、抽出部５３Ｒ及び５３Ｇと、ＬＰＦ（Low-Pass  Filter）５４Ｒ及び５４Ｇとを有する。また、計測部４６は、第２算出部５５と、ＢＰＦ５６Ｒ及び５６Ｇと、乗算部５７と、演算部５８と、検出部５９とを有する。なお、図９〜図１１の例では、周波数空間にて脈波を検出する例を説明したが、図１２では、周波数成分への変換にかかる時間を削減する観点から、時系列空間にてノイズ成分をキャンセルして脈波を検出する場合の機能的構成を図示している。
【００７５】
第１算出部５１は、計測領域毎に、計測領域に含まれる各画素から波長成分が通過帯域情報３３に記憶された当該計測領域の通過帯域の範囲内の各画素を抽出する。そして、第１算出部５１は、Ｒ成分及びＧ成分ごとに、計測領域から抽出された各画素の画素値の代表値として平均値を算出する。なお、代表値は、計測対象の領域に含まれる各画素の画素値を代表する値であれば、平均値以外であってもよい。そして、第１算出部５１は、各計測領域から算出されるＲ信号及びＧ信号の平均値を所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングし、サンプリングされたＲ信号及びＧ信号の時系列データを後段の機能部へ出力する。例えば、第１算出部５１は、Ｒ信号の時系列データをＢＰＦ５２Ｒ及びＢＰＦ５６Ｒへ出力するとともに、Ｇ信号の時系列データをＢＰＦ５２Ｇ及びＢＰＦ５６Ｇへ出力する。
【００７６】
ＢＰＦ５２Ｒ、ＢＰＦ５２Ｇ、ＢＰＦ５６Ｒ及びＢＰＦ５６Ｇは、いずれも所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。これらＢＰＦ５２Ｒ、ＢＰＦ５２Ｇ、ＢＰＦ５６Ｒ及びＢＰＦ５６Ｇは、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。
【００７７】
これらＢＰＦが通過させる周波数帯の違いについて説明する。ＢＰＦ５２Ｒ及びＢＰＦ５２Ｇは、ノイズ成分が他の周波数帯よりも顕著に現れる特定周波数帯の信号成分を通過させる。
【００７８】
かかる特定周波数帯は、脈波が採り得る周波数帯との間で比較することによって定めることができる。脈波が採り得る周波数帯の一例としては、０．５Ｈｚ以上４Ｈｚ以下である周波数帯、１分あたりに換算すれば３０ｂｐｍ以上２４０ｂｐｍ以下である周波数帯が挙げられる。このことから、特定周波数帯の一例としては、脈波として計測され得ない０．５Ｈｚ未満及び４Ｈｚ超過の周波数帯を採用することができる。また、特定周波数帯は、脈波が採り得る周波数帯との間でその一部が重複することとしてもよい。例えば、脈波として計測されることが想定しづらい０．７Ｈｚ〜１Ｈｚの区間で脈波が採り得る周波数帯と重複することを許容し、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を特定周波数帯として採用することもできる。また、特定周波数帯は、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を外縁とし、ノイズがより顕著に現れる周波数帯に絞ることもできる。例えば、ノイズは、脈波が採り得る周波数帯よりも高い高周波数帯よりも、脈波が採り得る周波数帯よりも低い低周波数帯でより顕著に現れる。このため、１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。また、空間周波数がゼロである直流成分の近傍には、各成分の撮像素子の感度の差が多く含まれるので、３ｂｐｍ以上６０ｂｐｍ未満の周波数帯に特定周波数帯を絞ることもできる。さらに、人の体の動き、例えば瞬きや体の揺れの他、環境光のチラツキなどのノイズが現れやすい３ｂｐｍ以上２０ｂｐｍ未満の周波数帯に特定周波数帯を絞ることもできる。
【００７９】
ここでは、一例として、ＢＰＦ５２Ｒ及びＢＰＦ５２Ｇが特定周波数帯として０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯の信号成分を通過させる場合を想定して以下の説明を行う。なお、ここでは、特定周波数帯の信号成分を抽出するために、バンドパスフィルタを用いる場合を例示したが、一定の周波数未満の周波数帯の信号成分を抽出する場合などには、ローパスフィルタを用いることもできる。
【００８０】
一方、ＢＰＦ５６Ｒ及びＢＰＦ５６Ｇは、脈波が採り得る周波数帯、例えば１Ｈｚ以上４Ｈｚ以下の周波数帯の信号成分を通過させる。なお、以下では、脈波が採り得る周波数帯のことを「脈波周波数帯」と記載する場合がある。
【００８１】
抽出部５３Ｒは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部５３Ｒは、Ｒ成分の特定周波数帯の信号成分をべき乗する乗算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。また、抽出部５３Ｇは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部５３Ｇは、Ｇ成分の特定周波数帯の信号成分をべき乗する乗算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。
【００８２】
ＬＰＦ５４Ｒ及びＬＰＦ５４Ｇは、特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するローパスフィルタである。これらＬＰＦ５４Ｒ及びＬＰＦ５４Ｇは、ＬＰＦ５４Ｒへ入力される信号がＲ信号であり、ＬＰＦ５４Ｇへ入力される信号がＧ信号である以外に違いはない。かかる平滑化処理によって、特定周波数帯の絶対値強度Ｒ´ｎ及びＧ´ｎが得られる。
【００８３】
第２算出部５５は、ＬＰＦ５４Ｇによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´ｎを、ＬＰＦ５４Ｒによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´ｎで除する除算「Ｇ´ｎ／Ｒ´ｎ」を実行する。これによって、感度差の補正係数ｋを算出する。
【００８４】
乗算部５７は、ＢＰＦ５６Ｒによって出力されたＲ信号の脈波周波数帯の信号成分に第２算出部５５によって算出された補正係数ｋを乗算する。
【００８５】
演算部５８は、乗算部５７によって補正係数ｋが乗算されたＲ信号の脈波周波数帯の信号成分から、ＢＰＦ５６Ｇによって出力されたＧ信号の脈波周波数帯の信号成分を差し引く演算「ｋ＊Ｒｓ−Ｇｓ」を実行する。かかる演算によって得られた信号の時系列データは、脈波の波形に相当する。
【００８６】
検出部５９は、演算後の脈波の波形の信号を用いて、被験者の脈波を検出する。一態様としては、検出部５９は、信号の時系列データを脈波の検出結果として出力する。他の一態様としては、検出部５９は、信号の時系列データにフーリエ変換を適用することによって周波数成分へ変換されたスペクトルから心拍数を検出することもできる。
【００８７】
図１に戻り、計測部４６は、図１２に示した計測処理を行って、計測対象の領域に含まれ、通過帯域情報３３に記憶された当該計測領域の通過帯域の範囲内の各画素を抽出し、抽出した各画素から脈波を計測する。ここで、被験者の顔の向きにより、計測領域に背景が含まれる場合がある。しかし、計測部４６は、通過帯域の範囲内の各画素を抽出している。これにより、計測部４６は、計測領域に通過帯域の範囲外の画素が含まれるようになっても精度良く脈波を計測できる。
【００８８】
図１３は、計測領域に背景が含まれる状態の一例を示す図である。図１３の例では、被験者の顔が左向きに変化したことにより、左頬領域８０Ｌに背景が含まれている。この背景部分は、輝度変化が大きい、ノイズとなる。また、図１３の例では、左頬領域８０Ｌに鼻が含まれている。この鼻部分も、光の当たり方による輝度の変化が大きく、ノイズとなる。このような左頬領域８０Ｌから脈波を求める場合、ノイズにより脈波の検出精度が低下する。例えば、図１３には、左頬領域８０Ｌの各画素の各波長成分に画素値のヒストグラムが示されている。図１３に示すように、左頬領域８０Ｌにノイズが含まれることにより、ヒストグラムは、広い範囲に画素が分布している。
【００８９】
計測部４６は、通過帯域の範囲内の各画素を抽出する。これにより、ノイズの画素が抽出されず、皮膚部分の画素が抽出されるようになるため、精度良く脈波を計測できる。図１４は、通過帯域の画素を抽出した結果の一例を示す図である。図１４の例は、図１３に示した左頬領域８０Ｌから通過帯域の画素を抽出した結果である。図１４に示すように、背景部分および鼻部分の画素を除いて皮膚部分の画素が抽出されている。
【００９０】
出力制御部４７は、計測部４６により計測された脈波を出力する。例えば、出力制御部４７は、計測部４６により計測された脈波を表示部２１に表示させる。なお、出力制御部４７は、計測部４６により計測された脈波の情報を他の装置へ送信してもよい。例えば、ネットワークを介して電子カルテサービスや診断サービスを提供するサーバへ、計測された脈波の情報を送信してもよい。例えば、診断サービスでは、高血圧の人物が頻脈、例えば１００ｂｐｍ以上である場合に狭心症や心筋梗塞の疑いがあると診断したり、心拍数を用いて不整脈や精神疾患、例えば緊張やストレスを診断したりする。これにより、院外、例えば在宅や在席でも脈拍のモニタリングサービスを提供できる。
【００９１】
［処理の流れ］
続いて、本実施例に係る脈波検出装置１０により実行される処理について説明する。最初に、本実施例に係る脈波検出装置１０により演算式の各種のパラメータおよび通過帯域を設定するキャリブレーション処理の流れについて説明する。図１５は、キャリブレーション処理の手順を示すフローチャートである。このキャリブレーション処理は、例えば、入力部２２に対してキャリブレーションの実行を指示する所定操作が行われたタイミングで実行される。
【００９２】
図１５に示すように、撮影制御部４０は、カメラ２０を制御して連続的に画像の撮影を開始する（Ｓ１０）。パラメータ格納部４３は、カメラ２０に対して被験者が正対するように促す（Ｓ１１）。例えば、パラメータ格納部４３は、表示部２１に「カメラ２０に対して正対して下さい。」とのメッセージを表示して、被験者がカメラ２０に対して正対するように促す。顔部位検出部４１は、カメラ２０により撮影された画像に対して顔領域の検出を行う（Ｓ１２）。例えば、顔部位検出部４１は、眼や、口の位置および右頬、左頬、額の各領域の位置を検出する。顔部位検出部４１は、顔領域を検出できたか否かを判定する（Ｓ１３）。顔領域を検出できていない場合（Ｓ１３否定）、再度Ｓ１２へ移行して次に撮影された画像に対して顔領域の検出を行う。
【００９３】
一方、顔領域を検出できた場合（Ｓ１３肯定）、顔向検出部４２は、正対した状態に対する顔の向きを検出する（Ｓ１４）。顔向検出部４２は、顔の向きを正対した状態と見なせるか否かを判定する（Ｓ１５）。例えば、顔向検出部４２は、顔の向きの回転角度θx、θyがそれぞれゼロを基準に正対した状態と見なせる所定許容角度以内であるか否かを判定する。正対した状態ではない場合（Ｓ１５否定）、再度Ｓ１２へ移行して次に撮影された画像に対して顔領域の検出を行う。
【００９４】
一方、正対した状態と見なせる場合（Ｓ１５肯定）、パラメータ格納部４３は、眼や、口の位置および右頬、左頬、額の各領域から、演算式情報３０に記憶された、計測領域の算出する各演算式に設けられた各種のパラメータの値を算出する（Ｓ１６）。パラメータ格納部４３は、算出した各種のパラメータの値を演算パラメータ情報３１に格納する（Ｓ１７）。
【００９５】
通過帯域格納部４４は、撮影された画像から、計測領域毎に、計測領域に含まれる各画素から波長成分毎に画素値のヒストグラムを求める（Ｓ１８）。通過帯域格納部４４は、各計測領域について、波長成分毎に、ピークの画素値を基準として標準的な画素値の範囲を特定して、特定した波長成分毎の標準的な画素値の範囲を通過帯域として通過帯域情報３３に設定し（Ｓ１９）、処理を終了する。
【００９６】
次に、本実施例に係る脈波検出装置１０により脈波を検出する検出処理の流れについて説明する。図１６は、検出処理の手順を示すフローチャートである。この検出処理は、例えば、入力部２２に対して脈波の検出開始を指示する所定操作が行われたタイミングで実行される。
【００９７】
図１６に示すように、撮影制御部４０は、カメラ２０を制御して連続的に画像の撮影を開始する（Ｓ５０）。顔部位検出部４１は、カメラ２０により撮影された画像に対して顔領域の検出を行う（Ｓ５１）。例えば、顔部位検出部４１は、眼や、口の位置を検出する。顔向検出部４２は、正対した状態に対する顔の向きを検出する（Ｓ５２）。
【００９８】
顔部位検出部４１は、検出された顔の向きが計測範囲内であるか否かを判定する（Ｓ５３）。例えば、顔部位検出部４１は、検出された回転角度θyが±３０度の範囲内であり、回転角度θxが±１５度の範囲内である場合、計測範囲内であると判定する。顔の向きが計測範囲内ではない場合（Ｓ５３否定）、出力制御部４７は、顔の向きが計測範囲内ではない旨の警告を表示部２１に出力し（Ｓ５４）、再度Ｓ５１へ移行して次に撮影された画像に対して脈波の計測を行う。
【００９９】
一方、顔の向きが計測範囲内である場合（Ｓ５３肯定）、算出部４５は、顔部位検出部４１により検出された顔の眼や、口の位置から、撮影された画像内での脈波の計測領域の位置を算出する（Ｓ５５）。算出部４５は、顔向検出部４２により検出された顔の向きの回転角度に応じて、計測領域の位置を補正する（Ｓ５６）。
【０１００】
計測部４６は、撮影された画像の補正された計測領域に含まれる各波長成分の信号から脈波を計測する（Ｓ５７）。例えば、計測部４６は、計測領域毎に、計測領域に含まれる各画素から波長成分が通過帯域情報３３に記憶された当該計測領域の通過帯域の範囲内の各画素を抽出する。そして、計測部４６は、抽出した各画素の波長成分別の代表値の信号から、各波長成分の間で脈波が採り得る脈波周波数帯以外の特定周波数帯の成分が互いに相殺された信号の波形を脈波として計測する。
【０１０１】
出力制御部４７は、処理終了であるか否かを判定する（Ｓ５８）。例えば、出力制御部４７は、入力部２２に対して処理終了を指示する所定操作が行われた場合、処理終了であると判定（Ｓ５８肯定）して処理を終了する。一方、出力制御部４７は、処理終了を指示する所定操作が行われていない場合、処理終了ではないと判定（Ｓ５８否定）して、計測部４６による脈波の計測結果を表示部２１に出力し（Ｓ５９）、再度Ｓ５１へ移行して次に撮影された画像に対して脈波の計測を行う。
【０１０２】
［実施例１の効果］
上述してきたように、本実施例に係る脈波検出装置１０は、カメラ２０によって被験者が撮影された画像から当該画像内での前記被験者の顔の所定部位の位置を検出する。脈波検出装置１０は、カメラ２０によって撮影された画像から、所定の向きに対する被験者の顔の向きの回転角度を検出する。そして、脈波検出装置１０は、所定部位の位置および回転角度の検出結果から被験者の顔の脈波の計測領域の位置を算出し、算出された計測領域から脈波を計測する。これにより、脈波検出装置１０は、被験者の顔の向きに応じた計測領域の位置を求めて脈波を計測できるため、脈波の検出精度の低下を抑制できる。
【０１０３】
また、本実施例に係る脈波検出装置１０は、カメラ２０によって画像が撮影される毎に、被験者の顔の所定部位の位置および被験者の顔の向きの回転角度を検出して、被験者の顔の脈波の計測領域の位置を算出する。これにより、脈波検出装置１０は、撮影中に被験者の顔の向きが変化した場合でも安定して脈波を計測できる。
【０１０４】
また、本実施例に係る脈波検出装置１０は、計測領域に含まれる画素のうち、各波長成分の画素値が、記憶部２４に記憶された標準的な画素値の範囲となる画素から脈波を計測する。これにより、脈波検出装置１０は、各波長成分の画素値が、標準的な画素値の範囲以外のノイズの画素が計測領域に含まれる場合でも安定して脈波を計測できる。
【０１０５】
また、本実施例に係る脈波検出装置１０は、被験者の顔が正対した状態の画像の計測領域に含まれる各画素から波長成分毎に画素値のヒストグラムを求める。そして、脈波検出装置１０は、波長成分毎に、ピークの画素値を基準として標準的な画素値の範囲を特定し、特定した波長成分毎の標準的な画素値の範囲を記憶部２４に設定する。これにより、脈波検出装置１０は、実際の被験者の皮膚部分の標準的な画素値の範囲を設定できるため、被験者の皮膚部分の画像を抽出できるようになる。
【実施例２】
【０１０６】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【０１０７】
上記の実施例では、入力信号としてＲ信号およびＧ信号の二種類を用いる場合を例示したが、異なる複数の光波長成分を持つ信号であれば任意の種類の信号および任意の数の信号を入力信号とすることができる。例えば、Ｒ、Ｇ、Ｂ、ＩＲおよびＮＩＲなどの光波長成分が異なる信号のうち任意の組合せの信号を２つ用いることもできるし、また、３つ以上用いることもできる。
【０１０８】
また、上記の実施例では、演算式の各種のパラメータおよび通過帯域を設定するキャリブレーションと、脈波の検出を別な処理として行う場合について説明したが、開示の装置はこれに限定されない。例えば、脈波を検出する検出処理の最初においてキャリブレーション処理を行うものとしてもよい。
【０１０９】
また、上記の実施例では、キャリブレーション処理において被験者の向きを検出して正対しているか判定する場合について説明したが、開示の装置はこれに限定されない。例えば、被験者がカメラ２０に対して正対するように促した後、一定期間後に被験者が正対しているものとして各種のパラメータの値を算出や、通過帯域の設定を行ってもよい。
【０１１０】
［分散および統合］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示す撮影制御部４０、顔部位検出部４１、顔向検出部４２、パラメータ格納部４３、通過帯域格納部４４、算出部４５、計測部４６および出力制御部４７の各処理部が適宜統合または分割されてもよい。また、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。また、各処理部にて行なわれる各処理機能は、任意の一部の機能部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の脈波検出装置１０の機能を実現するようにしてもよい。
【０１１１】
［脈波検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１７を用いて、上記の実施例と同様の機能を有する脈波検出プログラムを実行するコンピュータの一例について説明する。
【０１１２】
図１７は、脈波検出プログラムを実行するコンピュータの一例について説明するための図である。図１７に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
【０１１３】
ＨＤＤ１７０には、上記の実施例１の撮影制御部４０、顔部位検出部４１、顔向検出部４２、パラメータ格納部４３、通過帯域格納部４４、算出部４５、計測部４６および出力制御部４７と同様の機能を発揮する脈波検出プログラム１７０ａが予め記憶される。この脈波検出プログラム１７０ａについては、図１に示した各々の機能部の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されればよい。
【０１１４】
そして、ＣＰＵ１５０が、脈波検出プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１７に示すように、脈波検出プログラム１７０ａは、脈波検出プロセス１８０ａとして機能する。この脈波検出プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、脈波検出プロセス１８０ａは、図１または図１２に示した各機能部にて実行される処理、例えば図１５や図１６に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されればよい。
【０１１５】
なお、上記の脈波検出プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
【符号の説明】
【０１１６】
１０  脈波検出装置
２０  カメラ
２４  記憶部
２５  制御部
３０  演算式情報
３１  演算パラメータ情報
３２  角度パラメータ情報
３３  通過帯域情報
４０  撮影制御部
４１  顔部位検出部
４２  顔向検出部
４３  パラメータ格納部
４４  通過帯域格納部
４５  算出部
４６  計測部
４７  出力制御部
【図１】
2014198201.tif 000003
【図２Ａ】
2014198201.tif 000004
【図２Ｂ】
2014198201.tif 000005
【図２Ｃ】
2014198201.tif 000006
【図２Ｄ】
2014198201.tif 000007
【図３】
2014198201.tif 000008
【図４】
2014198201.tif 000009
【図５】
2014198201.tif 000010
【図６】
2014198201.tif 000011
【図７】
2014198201.tif 000012
【図８】
2014198201.tif 000013
【図９】
2014198201.tif 000014
【図１０】
2014198201.tif 000015
【図１１】
2014198201.tif 000016
【図１２】
2014198201.tif 000017
【図１３】
2014198201.tif 000018
【図１４】
2014198201.tif 000019
【図１５】
2014198201.tif 000020
【図１６】
2014198201.tif 000021
【図１７】
2014198201.tif 000022
【図１８】
2014198201.tif 000023