(57)【要約】【課題】夜間又は暗い部屋での使用を目的として、赤外光を照射し、赤外線信号の変化を計測することで脈波を検出する手法がある。ところが、色情報のない赤外域では顔の肌領域を特定することは困難である。【解決手段】生体情報検出装置であって、対象物からの反射光に含まれる赤外領域の三つの波長の成分を含む映像信号を受け付ける映像入力部と、映像信号から反射光の波長及び強度を取得する波長検出部と、映像信号に基づいて顔の複数の特徴点を検出する顔特徴量検出部と、検出された顔の複数の特徴点に基づいて計測対象領域を特定する計測対象領域特定部と、計測対象領域からの各時刻の反射光の波長と各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出部と、検出された差分の時刻に応じた変化を脈波として検出する脈波検出部と、を有する。【選択図】図１
2020069131.tif 000002
【特許請求の範囲】
【請求項１】
対象物からの反射光に含まれる赤外領域の三つの波長の成分を含む映像信号を受け付ける映像入力部と、
前記映像信号から前記反射光の波長及び強度を取得する波長検出部と、
前記映像信号に基づいて顔の複数の特徴点を検出する顔特徴量検出部と、
検出された前記顔の複数の特徴点に基づいて計測対象領域を特定する計測対象領域特定部と、
前記計測対象領域からの各時刻の反射光の波長と前記各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出部と、
前記検出された差分の時刻に応じた変化を脈波として検出する脈波検出部と、を有することを特徴とする生体情報検出装置。
【請求項２】
請求項１に記載の生体情報検出装置であって、
前記顔特徴量検出部は、目及び口を前記顔の複数の特徴点として検出し、
前記計測対象領域特定部は、前記複数の特徴点からのオフセットに基づいて肌領域を推定し、推定された肌領域を前記計測対象領域として特定することを特徴とする生体情報検出装置。
【請求項３】
請求項１に記載の生体情報検出装置であって、
前記顔特徴量検出部は、前記三つの波長の成分の映像信号に基づいて、前記複数の特徴点の位置及び大きさを検出し、
前記計測対象領域特定部は、前記三つの波長の成分の映像信号に基づいて検出された前記特徴点の位置及び大きさの値の平均値又は中間値に基づいて、前記計測対象領域を特定することを特徴とする生体情報検出装置。
【請求項４】
請求項３に記載の生体情報検出装置であって、
前記計測対象領域特定部は、前記三つの波長の成分の映像信号のいずれかに基づいて前記複数の特徴点の位置及び大きさの少なくともいずれかが検出できなかった場合、前記三つの波長の残りの波長の成分の映像信号に基づいて検出された前記特徴点の位置及び大きさの値の平均値又は中間値に基づいて、前記計測対象領域を特定することを特徴とする生体情報検出装置。
【請求項５】
請求項１に記載の生体情報検出装置であって、
前記波長検出部は、可視光領域における赤色、緑色及び青色を前記赤外領域の三つの波長に置き換えた色空間における波長及び強度を取得することを特徴とする生体情報検出装置。
【請求項６】
請求項５に記載の生体情報検出装置であって、
前記色空間は、ＨＳＶ空間又はＨＳＬ空間であることを特徴とする生体情報検出装置。
【請求項７】
請求項５に記載の生体情報検出装置であって、
前記計測対象領域特定部は、
前記顔の複数の特徴点に基づいて前記計測対象領域を特定した後、前記色空間のうち、前記特定した計測対象領域内の少なくとも一部の画素の値を含む部分空間を特定し、
前記部分空間内の画素の領域を前記計測対象領域として特定することを特徴とする生体情報検出装置。
【請求項８】
請求項１に記載の生体情報検出装置であって、
それぞれに分光特性が異なる赤外透過フィルタを有する三つの赤外線カメラを有し、
前記映像入力部は、前記三つの赤外線カメラから前記三つの波長の成分を含む映像信号を受け付けることを特徴とする生体情報検出装置。
【請求項９】
請求項１に記載の生体情報検出装置であって、
画素ごとに、それぞれに分光特性が異なる三種類の赤外透過フィルタのいずれかが設けられた受光部を有する一つの赤外線カメラを有し、
前記映像入力部は、前記赤外線カメラから前記三つの波長の成分を含む映像信号を受け付けることを特徴とする生体情報検出装置。
【請求項１０】
生体情報検出装置が実行する生体情報検出方法であって、
対象物からの反射光に含まれる赤外領域の三つの波長の成分を含む映像信号を受け付ける映像手順と、
前記映像信号から前記反射光の波長及び強度を取得する波長検出手順と、
前記映像信号に基づいて顔の複数の特徴点を検出する顔特徴量検出手順と、
検出された前記顔の複数の特徴点に基づいて計測対象領域を特定する計測対象領域特定手順と、
前記計測対象領域からの各時刻の反射光の波長と前記各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出手順と、
前記検出された差分の時刻に応じた変化を脈波として検出する脈波検出手順と、を含むことを特徴とする生体情報検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体情報を検出する技術に関する。
【背景技術】
【０００２】
生体情報を取得する手法として、マイクロ波又はカメラを使用した非接触でリアルタイムに検出できる技術がある。特にカメラを用いた脈拍検出は、近年、カメラモジュールの小型化が進み、スマートフォンを含む携帯端末に搭載され、普及が進んでいる。
【０００３】
撮像による脈拍検出を行う技術として、顔映像中のＲＧＢ信号のうち、特にＧ信号をトレースし、脈拍を検出する手法がある（非特許文献１）。
【０００４】
また、ＲＧＢ信号を使用しノイズを分離するために、独立成分分析を使用する手法がある（非特許文献２）。さらに、ＲＧＢ信号の各信号成分の変化量が異なることに注目し、顔映像の色成分を反射光の波長とスペクトル強度とに分離することで、環境変化に強い検出方法を提供することを特徴とする手法がある（特許文献１）。この手法は次のようなものである。すなわち、脈波は心臓からの圧力を受け、心拍に呼応して血流量が周期的に変わる。光が血中のヘモグロビンを吸収するため、一定の外光下で肌に当たる映像を観測すれば、スペクトル強度の変位が見られる。ところが、外光の揺らぎに応じてスペクトル強度は変位するため、ノイズとなることが多い。そこで、光を波長成分に変換して、スペクトルの波長の揺らぎを脈波として検出することが特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−８６１３０号公報
【非特許文献】
【０００６】
【特許文献１】Ｖｅｒｋｒｕｙｓｓｅ，  Ｗｉｍ，  Ｌａｒｓ  Ｏ．Ｓｖａａｓａｎｄ，  Ｊ．Ｓｔｕａｒｔ  Ｎｅｌｓｏｎ，  ”Ｒｅｍｏｔｅ  ｐｌｅｔｈｙｓｍｏｇｒａｐｈｉｃ  ｉｍａｇｉｎｇ  ｕｓｉｎｇ  ａｍｂｉｅｎｔ  ｌｉｇｈｔ．”，  Ｏｐｔｉｃｓ  ｅｘｐｒｅｓｓ  １６．２６  （２００８）：  ２１４３４−２１４４５.
【特許文献２】Ｍｉｎｇ−Ｚｈｅｒ  Ｐｏｈ，  Ｄａｎｉｅｌ  Ｊ．ＭｃＤｕｆｆ，  Ｒｏｓａｌｉｎｄ  Ｗ．Ｐｉｃａｒｄ，  ”Ｎｏｎ−ｃｏｎｔａｃｔ，  ａｕｔｏｍａｔｅｄ  ｃａｒｄｉａｃ  ｐｕｌｓｅ  ｍｅａｓｕｒｅｍｅｎｔｓ  ｕｓｉｎｇ  ｖｉｄｅｏ  ｉｍａｇｉｎｇ  ａｎｄ  ｂｌｉｎｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ．”，  Ｏｐｔｉｃｓ  Ｅｘｐｒｅｓｓ  １８．１０  （２０１０）：１０７６２−１０７７４．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の技術は、被験者に負荷をかけない計測方法として期待されている。このような中、運転中のドライバや、在宅における呼吸器疾患及び心不全等による容態急変をモニタリングする技術として、カメラを用いて離れた位置から非接触にて計測する技術が重要となる。
【０００８】
顔映像は、例えば照明光が顔に照射された際、肌の中で吸収され、散乱して戻る反射光によって形成されるものである。このため、従来のＲＧＢ信号を用いた手法は、３色の反射光のスペクトル強度変化を観測していることとなる。そこで、定常的な光が顔にあたる場合は安定して脈拍を検出することが可能であるが、夜間又は暗い部屋では、検出が出来ない。そこで、可視光カメラではなく近赤外カメラに置き換え、赤外光を照射し、ＲＧＢ信号の代わりに赤外線信号の変化を計測することで脈波を検出する手法がある。ところが、赤外信号はＲＧＢ信号より皮下への浸透が深いため、ノイズとなりやすい。また、色情報のない赤外域では顔の肌領域を特定することは困難である。
【０００９】
上記課題を鑑み、本発明の一態様は、赤外スペクトルの波長変化を計測することで脈波を検出する。
【課題を解決するための手段】
【００１０】
上記課題の少なくとも一つを解決するために、本発明の代表的な形態は、生体情報検出装置であって、対象物からの反射光に含まれる赤外領域の三つの波長の成分を含む映像信号を受け付ける映像入力部と、前記映像信号から前記反射光の波長及び強度を取得する波長検出部と、前記映像信号に基づいて顔の複数の特徴点を検出する顔特徴量検出部と、検出された前記顔の複数の特徴点に基づいて計測対象領域を特定する計測対象領域特定部と、前記計測対象領域からの各時刻の反射光の波長と前記各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出部と、前記検出された差分の時刻に応じた変化を脈波として検出する脈波検出部と、を有することを特徴とする。
【発明の効果】
【００１１】
本発明の一態様によれば、非接触にて夜間等のモニタリングを行うことができる。
【００１２】
上記した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
【図面の簡単な説明】
【００１３】
【図１】実施例１に於ける生体情報検出装置の構成例を示すブロック図である。
【図２】実施例１に於ける生体情報検出装置のＩＲカメラモジュールの一例を説明する図である。
【図３】実施例１に於ける生体情報検出装置の映像入力部の一例を説明する図である。
【図４Ａ】実施例１に於ける生体情報検出装置の波長信号生成部の一例を説明する図である。
【図４Ｂ】実施例１に於ける生体情報検出装置の複数の顔特徴量検出部を有する波長信号生成部の一例を説明する図である。
【図５】実施例１に於ける生体情報検出装置の波長揺らぎ検出部の一例を説明する図である。
【図６】実施例１に於ける生体情報検出装置の脈波検出部の一例を説明する図である。
【図７Ａ】実施例１に於ける生体情報検出装置に係る光学系の一例として、プロジェクタの光学系の一つである３ＬＣＤ方式を説明する図である。
【図７Ｂ】実施例１に於ける生体情報検出装置の光学系の一例を説明する図である。
【図８】実施例１に於ける空間フィルタの一例を説明する図である。
【図９】実施例１に於けるＨＳＶ色空間及び部分色空間の指定範囲を説明する図である。
【図１０Ａ】ＣＣＤカメラのバンドパスフィルタの一例を説明する図である。
【図１０Ｂ】ＣＣＤカメラのＲＧＢフィルタの一例を説明する図である。
【図１０Ｃ】実施例２に於ける生体情報検出装置の光学系の赤外フィルタの一例を説明する図である。
【図１１Ａ】実施例１に於ける部分色空間の設定方法の一例を説明する図である。
【図１１Ｂ】実施例１に於けるＩＲカメラ信号のレベルの調整方法の一例を説明する図である。
【図１２】実施例１に於ける顔領域検出のレベルの調整方法の一例を説明する図である。
【図１３】実施例１に於ける生体情報検出装置の顔特徴検出部によって検出される肌領域の一例を説明する図である。
【図１４】実施例２に於ける生体情報検出装置の構成例を示すブロック図である。
【図１５】実施例２に於ける生体情報検出装置のＩＲカメラモジュールの一例を説明する図である。
【図１６】実施例１に於ける生体情報検出装置で用いるＩＲカメラの分光感度及びフィルタの透過率の一例を説明する図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。
【実施例１】
【００１５】
本実施例では、ＩＲ（赤外線）光源と３台のカメラを用いて顔映像から脈拍を検出する機能を備える生体情報検出装置の例を説明する。
【００１６】
図１は、実施例１に於ける生体情報検出装置の構成例を示すブロック図である。
【００１７】
本実施例における生体情報検出装置は、それぞれ１台目〜３台目のＩＲカメラであるＩＲ１カメラ２００ａ〜ＩＲ３カメラ２００ｃと、映像入力部３００ａ〜映像入力部３００ｃと、波長信号生成部４００と、波長揺らぎ検出部５００と、脈波検出部６００と、データ表示部１０７と、を備える。
【００１８】
映像入力部３００ａには、ＩＲ１カメラ２００ａから出力される赤外撮像データすなわちＩＲ１撮像データ信号１０１ａが入力される。映像入力部３００ｂには、ＩＲ２カメラ２００ｂから出力されるＩＲ２撮像データ信号１０１ｂが入力される。映像入力部３００ｃには、ＩＲ３カメラ２００ｃから出力されるＩＲ３撮像データ信号１０１ｃが入力される。波長信号生成部４００には、各映像入力部３００ａ〜３００ｃから出力される遅延ＩＲ１データ信号１０２ａ、遅延ＩＲ２データ信号１０２ｂ及び遅延ＩＲ３データ信号１０２ｃが入力される。波長揺らぎ検出部５００には、波長信号生成部４００から出力される波長データ信号１０３及びレベル信号１０４が入力される。脈波検出部６００には、波長揺らぎ検出部５００から出力される平均波長差分データ信号１０５が入力される。データ表示部１０７には、脈波検出部６００から出力される脈拍信号１０６が入力される。
【００１９】
図２は、実施例１に於ける生体情報検出装置のＩＲカメラモジュールの一例を説明する図である。
【００２０】
ＩＲ１カメラ２００ａは、レンズに装着したＩＲ１透過フィルタ１（バンドパスフィルタ又はローパスフィルタ）２０１ａを通し、赤外光がＣＣＤ２０２に照射される。ここで、レンズに装着したＩＲ１透過フィルタ２０１ａの帯域は、カメラ備え付けの赤外透過可視光カットフィルタの帯域に含まれる。この光をＣＣＤ２０２が光電変換して得られる電気信号２０３が、ＡＤコンバータ２０４によってデジタル化され、デジタルデータ信号２０５として映像補正部２０７に入力される。
【００２１】
映像補正部２０７は、映像調整パラメータ２０６ａによってホワイトバランス及びコントラスト等の映像調整を行い、例えば１画素毎のＩＲをコンポーネントに持つＩＲ１撮像データ信号１０１ａを出力する。
【００２２】
また、ＩＲ２カメラ２００ｂ及びＩＲ３カメラ２００ｃも同様の構成であるが、それぞれのレンズに装着したＩＲ透過フィルタとして、ＩＲ１透過フィルタ２０１ａの帯域とはそれぞれ異なる波長のバンドパスフィルタ又はローパスフィルタが用いられる。本構成では、ＩＲ１透過フィルタ２０１ａをレンズに装着したで説明したが、ＩＲ１透過フィルタ２０１ａを備え付けの赤外透過可視光カットフィルタと交換することで、レンズとＣＣＤとの間に挟んで設置してもよい。ここで、ＣＣＤカメラを例に説明したが、ＣＣＤ２０２は受光部（イメージセンサ）の一例であり、ＩＲ１カメラ２００ａ〜ＩＲ３カメラ２００ｃは、ＣＣＤ以外の受光部（例えばＩｎＧａＡｓ等）を有してもよい。
【００２３】
本実施例に於ける生体情報検出装置は、カメラ３台をその構成に持つが、ＩＲ１カメラ２００ａには赤外透過可視光フィルタ２０１ａを、ＩＲ２カメラ２００ｂにはＩＲ１とは異なる赤外透過可視光フィルタ（図示省略）を、ＩＲ３カメラ２００ｃにはＩＲ１及びＩＲ２とは異なる赤外透過可視光フィルタ（図示省略）を有していれば、ＩＲ１カメラ２００ａ、ＩＲ２カメラ２００ｂ及びＩＲ３カメラ２００ｃがそれぞれ有する映像調整パラメータ２０６ａ、２０６ｂ及び２０６ｃは同じでもよく、異なってもよい。その他の構成はいずれのＩＲカメラも同じであるため、ＩＲ２カメラ２００ｂ及びＩＲ３カメラ２００ｃの詳細な構成については図示を省略する。
【００２４】
図１６は、実施例１に於ける生体情報検出装置で用いるＩＲカメラの分光感度及びフィルタの透過率の一例を説明する図である。
【００２５】
横軸の波長は７００ｎｍ〜１０００ｎｍの近赤外線、実線のグラフはＣＣＤの分光感度で縦軸は量子効率である。また、破線グラフは縦軸を透過率とし、３種類のバンドパスフィルタの特性曲線を示している。図１６では波長の短い順にＩＲ１、ＩＲ２、ＩＲ３としているが、この順番および帯域幅でなくてもよく、ローパスフィルタを用いてもよい。
【００２６】
また、ＩＲ１カメラ、ＩＲ２カメラ及びＩＲ３カメラは同じ被写体を撮影する必要があるため、３台を並べて映像を幾何的に同じ位置に補正すればよく、また光学的に同じ位置で撮像できるよう補正してもよい。
【００２７】
図７Ａは、実施例１に於ける生体情報検出装置に係る光学系の一例として、プロジェクタの光学系の一つである３ＬＣＤ方式を説明する図である。
【００２８】
光源から出力した光線は、ダイクロイックミラーによって、赤色波長Ｒ７０１、緑色波長Ｇ７０２及び青色波長Ｂ７０３の３つに分光され、３ＬＣＤ方式の光学系７００に入力される。光学系７００において、それぞれの光が更に赤色用ＬＣＤ７０４、緑色用ＬＣＤ７０５、青色ＬＣＤ７０６を透過することで、ＲＧＢ各成分の映像がそれぞれ生成される。これらの映像を構成する光がダイクロイックプリズムによって、図７Ａに示すように透過及び反射することで映像が合成され、レンズを通しスクリーンで結像される。
【００２９】
図７Ｂは、実施例１に於ける生体情報検出装置の光学系の一例を説明する図である。
【００３０】
具体的には、図７Ｂは、図７Ａに示した３ＬＣＤ方式の逆の光路を辿ることで映像を取得する手法を説明する。光学系７５０に示す通り、映像はレンズを通して図７Ｂのように、Ｒ、Ｇ、Ｂの各成分に代わり、ＩＲ１（７５３）、ＩＲ２（７５４）、ＩＲ３（７５５）を透過及び反射するダイクロイックプリズムを通して分光する。分光した光は、ＩＲ１透過フィルタ２０１ａ、ＩＲ２透過フィルタ２０１ｂ、ＩＲ３透過フィルタ２０１ｃを通し、ＩＲカメラ２００ａ、２００ｂ、２００ｃで各成分の映像となる。また、白熱灯等の外部光源があれば、その光源から発せられる赤外線を利用すればよく、光源がなければ、ＩＲ１、ＩＲ２、ＩＲ３の赤外波長を含む赤外光を別途用意すればよい。
【００３１】
図３は、実施例１に於ける生体情報検出装置の映像入力部の一例を説明する図である。
【００３２】
映像入力部３００ａは、映像取得部３０１及び映像データ記憶部３０３を備える。映像取得部３０１は、ＩＲ１撮像データ信号１０１ａを入力信号とし、映像のＩＲデータ信号３０２を出力する。映像データ記憶部３０３は、１フレーム分のＩＲデータ信号３０２を入力信号とし、遅延ＩＲ１データ信号１０２ａを出力する。映像入力部３００ｂ及び映像入力部３００ｃも同様の構成であるため、図示を省略する。
【００３３】
図４Ａは、実施例１に於ける生体情報検出装置の波長信号生成部４００の一例を説明する図である。
【００３４】
波長信号生成部４００は、空間フィルタ４０１ａ、４０１ｂ、４０１ｃ、波長検出部４０３、顔特徴量検出部４０５ａ、肌領域推定部４０８及びスイッチ４０９を備え、画素毎の映像処理を行う。
【００３５】
空間フィルタ４０１ａ、４０１ｂ及び４０１ｃは、それぞれ、コンボリューションカーネルのタップ分のライン遅延を持つ遅延ＩＲ１データ信号１０２ａ、遅延ＩＲ２データ信号１０２ｂ及び遅延ＩＲ３データ信号１０２ｃを入力信号とし、例えば注目画素の周りを加重平均し、平滑化した遅延ＩＲ１データ信号４０２ａ、平滑化した遅延ＩＲ２データ信号４０２ｂ及び平滑化した遅延ＩＲ３データ信号４０２ｃを出力する。
【００３６】
波長検出部４０３は、平滑化した遅延ＩＲ１データ信号４０２ａ、平滑化した遅延ＩＲ２データ信号４０２ｂ及び平滑化した遅延ＩＲ３データ信号４０２ｃを入力信号とし、波長データ信号１０３へと変換する。
【００３７】
顔特徴量検出部４０５ａは、例えば遅延ＩＲデータ信号の一つである１０２ａを入力信号とし、カメラ２００ａが備えるフィルタ２０１ａの波長に応じて、ＩＲ映像の鮮鋭度、コントラスト及びノイズをＩＲ１映像調整パラメータ４０４ａに基づいて調整し、顔の特徴量である目、口及び鼻の座標及び大きさ等の顔特徴量４０６ａを出力する。
【００３８】
肌領域推定部４０８は、生体情報検出装置による計測対象領域を特定する機能を有する。具体的には、肌領域推定部４０８は、ＩＲ１顔特徴量４０６ａを入力信号とし、例えば肌領域推定部パラメータ４０７によって設定された位置のオフセット等に基づいて、脈波検出に使用する肌領域を推定し、肌領域を示すレベル信号１０４を出力する。スイッチ４０９は、肌領域推定機能の有効又は無効を切り替える。本実施例では、このようにして推定された肌領域が計測対象領域として特定される。
【００３９】
ここで、波長検出部４０３は、平滑化した遅延ＩＲ１データ信号４０２ａ、平滑化した遅延ＩＲ２データ信号４０２ｂ、及び平滑化した遅延ＩＲ３データ信号４０２ｃを、例えばＲ、Ｇ、Ｂとし、ＲＧＢ−ＨＳＶ変換を使用すればよく、Ｈ（Ｈｕｅ）を波長データ信号１０３として出力すればよい。
【００４０】
図１３は、実施例１に於ける生体情報検出装置の顔特徴量検出部４０５ａによって検出される肌領域の一例を説明する図である。
【００４１】
顔を構成する特徴部位として目、口、鼻、眉及び耳等が挙げられるが、本実施例では目と口を用いて説明する。
【００４２】
例えば目及び口等の顔特徴量はＨａａｒ−ｌｉｋｅやＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）等の特徴分類器を用いて図１３中の検出された顔特徴領域のように識別し、例えば矩形領域として算出できる。本実施例の脈波検出は肌の色変化を利用するため、肌の領域を検出する必要がある。そこで、顔特徴量検出部４０５ａは、例えば目及び口の矩形位置から、図１３中の上下左右オフセットの距離分、離れた位置の矩形を顔の肌領域として推定する。
【００４３】
その際、肌領域は顔の中になければならないため、顔特徴量検出部４０５ａは、顔検出を行い、検出された顔の矩形の中に肌領域が包含されることを判定し、包含しない場合は肌領域の面積を０とする等によって、肌領域を無効化してもよい。
【００４４】
上記のように、目及び口といった顔の特徴に基づいて肌領域を推定することによって、色の情報を持たない赤外域の信号に基づいて計測対象領域を特定することができる。また、オフセットを適切に調整することによって、肌領域の推定の精度を向上させることができる。
【００４５】
図４Ｂは、実施例１に於ける生体情報検出装置の複数の顔特徴量検出部４０５ａ〜４０５ｃを有する波長信号生成部の一例を説明する図である。
【００４６】
図１に於いて、波長信号生成部４００を図４Ｂに示す波長信号生成部４５０に置き換えてもよい。波長信号生成部４５０は、空間フィルタ４０１ａ、４０１ｂ、４０１ｃ、波長検出部４０３、顔特徴量検出部４０５ａ、４０５ｂ、４０５ｃ、特徴量調整部４５１、肌領域推定部４０８及びスイッチ４０９を備える。
【００４７】
空間フィルタ４０１ａ、４０１ｂ及び４０１ｃは、それぞれ、遅延ＩＲ１データ信号１０２ａ、遅延ＩＲ２データ信号１０２ｂ及び遅延ＩＲ３データ信号１０２ｃを入力信号とし、平滑化したＩＲ１データ信号４０２ａ、平滑化したＩＲ２データ信号４０２ｂ及び平滑化したＩＲ３データ信号４０２ｃを出力する。波長検出部４０３は、平滑化したＩＲ１データ信号４０２ａ、平滑化したＩＲ２データ信号４０２ｂ及び平滑化したＩＲ３データ信号４０２ｃを入力信号とし、波長データ信号１０３へと変換する。
【００４８】
また、顔特徴量検出部４０５ａは、遅延ＩＲ１データ信号１０２ａ及びＩＲ１映像調整パラメータ４０４ａを入力信号とし、ＩＲ１顔特徴量４０６ａを出力する。顔特徴量検出部４０５ｂは、遅延ＩＲ２データ信号１０２ｂ及びＩＲ２映像調整パラメータ４０４ｂを入力信号とし、ＩＲ２顔特徴量４０６ｂを出力する。顔特徴量検出部４０５ｃは、遅延ＩＲ３データ信号１０２ｃ及びＩＲ３映像調整パラメータ４０４ｃを入力信号とし、ＩＲ３顔特徴量４０６ｃを出力する。
【００４９】
特徴量調整部４５１は、ＩＲ１顔特徴量４０６ａ、ＩＲ２顔特徴量４０６ｂ及びＩＲ３顔特徴量４０６ｃを入力信号とし、これらの入力信号、すなわち、例えば座標及び大きさ等の数値を平均し、調整された顔特徴量４５２を出力する。
【００５０】
肌領域推定部４０８は、例えばパラメータ４０７によって設定された位置のオフセット等に基づいて、脈波検出に使用する肌領域を推定し、肌領域を示すレベル信号１０４を出力する。スイッチ４０９は、肌領域推定機能の有効又は無効を切り替える。
【００５１】
ここで、特徴量調整部４５１の演算は、例えば各ＩＲの顔特徴量の平均値の算出であるが、中間値の算出でもよい。また、顔特徴量が検出できなかった場合、この特徴量を演算から除外してもよく、調整された顔特徴量をデータ出力しない、又は、０としてもよい。
【００５２】
上記のように三つの赤外域の波長の信号を取得して、仮にその中のいずれかがノイズ等の影響によって使用できない場合にはそれを除外して、使用可能な信号について顔特徴量を検出し、検出した特徴量の平均値又は中間値等に基づいて肌領域を推定することによって、赤外信号に含まれるノイズの影響を軽減することができる。
【００５３】
以上のように図４Ａに示す波長信号生成部４００又は図４Ｂに示す波長信号生成部４５０によって、スペクトル強度の変位から波長の変位に変換できる。
【００５４】
図１２は、実施例１に於ける顔領域検出のレベルの調整方法の一例を説明する図である。
【００５５】
顔領域検出スイッチは、肌領域推定機能を有効又は無効に切り替えるスイッチ４０９と連動する。顔領域検出スイッチがＯＮの時に、波長信号生成部４００又は４５０は、肌領域推定部４０８からの信号を、肌領域を示すレベル信号１０４として出力し、また、ＯＦＦの時には全領域を肌領域として選択すればよい。例えば、映像中の肌領域を１、それ以外を０とすると、顔領域検出スイッチ１２０１がＯＦＦの場合には肌領域推定部４０８の出力に関わらず肌領域を示すレベル信号１０４を強制的に１とすればよい。
【００５６】
図５は、実施例１に於ける生体情報検出装置の波長揺らぎ検出部５００の一例を説明する図である。
【００５７】
波長揺らぎ検出部５００は、波長データ記憶部５０１、波長差分算出部５０３、波長差分積算部、肌面積算出部５０７及び平均波長差分算出部５０９を備える。波長データ記憶部５０１は、波長データ信号１０３をフレームごとに記憶し、フレーム遅延した遅延波長データ信号５０２を出力する。
【００５８】
波長差分算出部５０３は、肌領域を示すレベル信号１０４と、波長データ信号１０３と、遅延波長データ信号５０２とを入力とし、肌領域内の画素の信号が入力された場合（すなわちレベル信号１０４として１が入力された場合）に、入力された波長データ信号１０３及び遅延波長データ信号５０２から算出した（すなわち各時刻の波長データ信号１０３と当該各時刻より前の時刻の波長データ信号１０３との差分である）波長差分データ信号５０４を出力し、肌色領域外の画素の信号が入力された場合は０値を出力する。
【００５９】
波長差分積算部５０５は、肌領域内の画素の波長差分データ信号５０４を入力とし、フレーム毎の波長差分を積算し、積算波長差分データ信号５０６を出力する。肌面積算出部５０７は、肌領域を示すレベル信号１０４を入力とし、フレーム毎に肌領域の画素数をカウントし、肌面積信号５０８を出力する。平均波長差分算出部５０９は、肌領域画素の波長差分データ信号５０６及び肌面積信号５０８を入力とし、フレーム毎の波長差分を積算し、平均波長差分データ信号１０５を出力する。
【００６０】
図６は、実施例１に於ける生体情報検出装置の脈波検出部６００の一例を説明する図である。
【００６１】
脈波検出部６００は、差分データ記憶部６０１、平滑化フィルタ６０３、平滑データ記憶部６０５、傾き検出部６０７、符号データ記憶部６０９及び極値検出部６１１を備え、フレーム毎の映像処理を行う。
【００６２】
差分データ記憶部６０１は、平均波長差分データ信号１０５を入力とし、遅延波長差分データ信号６０２を出力する。平滑化フィルタ６０３は、平均波長差分データ信号１０５及び遅延波長差分データ信号６０２を入力とし、連続時間軸上で複数フレーム分の波長データから平滑化した波長差分データ信号６０４を出力する。
【００６３】
平滑データ記憶部６０５は、平滑化した波長差分データ信号６０４を入力とし、複数フレーム分の波長差分データを保持し、平滑化した遅延波長差分データ信号６０６を出力する。傾き検出部６０７は、連続する２フレームデータ、又は連続する近傍の数フレームの平均フレーム間の差分を求め、傾きの符号を示す符号データ信号６０８を出力する。
【００６４】
符号データ記憶部６０９は、符号データ信号６０８を入力とし、複数フレーム分の符号データを保持し、遅延符号データ信号６１０を出力する。極値検出部６１１は、符号データ信号６０８及び遅延符号データ信号６１０を入力とし、傾きの符合変化を正値から負値へ変化したフレームを極大、負値から正値へ変化したフレームを極小とすることで極値を求め、例えば極大値を脈拍信号１０６として出力する。
【００６５】
図８は、実施例１に於ける空間フィルタの一例を説明する図である。
【００６６】
図８は、縦横３タップすなわち３×３のコンボリューションカーネルを画像に適用した例であり、画像の注目画素を中心にカーネルと畳み込み演算を施した値が平滑化したＩＲ１データ信号４０２ａ、平滑化したＩＲ２データ信号４０２ｂ、及び平滑化したＩＲ３データ４０２ｃとなる。カーネルの値は加重平均の係数であり、それらの合計値は１．０になればよく、平滑化には例えば平均値分布又はガウシアン分布等を用いることができる。
【００６７】
図９は、実施例１に於けるＨＳＶ色空間及び部分色空間の指定範囲の一例を説明する図である。
【００６８】
図９はＨＳＶ色空間を円柱座標で表現している。縦軸はＶａｌｕｅすなわち明度であり、色の明るさを表す。半径方向の軸はＳａｔｕｒａｔｉｏｎすなわち彩度であり、色の濃さを示す。回転角がＨｕｅすなわち色相となる。色相は、強さ及び濃さとは独立であり、撮像が光の反射を捉えていると考えると、反射光の波長成分に相当すると考えられる。同様に、明度は特定波長の強度を示すと考えることができる。
【００６９】
以上は、可視光域の色空間であるが、本実施例の生体情報検出装置はこれを赤外域に置き換えて使用する。例えば、色空間のＲ、Ｇ、ＢをそれぞれＩＲ１、ＩＲ２、ＩＲ３に置き換え、ＲＧＢ−ＨＳＶ変換を用いることでＩＲ空間からＨＳＶ空間へ変換すればよい。ここで、ＨＳＶ空間を用いて説明したが、ＨＳＬ空間でもよく、波長成分に類似した成分に変換できる空間であれば他の色空間を用いてもよい。
【００７０】
図１１Ａは、実施例１に於ける部分色空間の設定方法の一例を説明する図である。
【００７１】
例えば、生体情報検出装置のデータ表示部１０７が、図１１Ａに示すように波長レンジ、偏移レンジ及び強度レンジのそれぞれの全範囲を示すバーと、それらのバーの上で指定する範囲の両端（例えば波長レンジを指定する「赤外１」及び「赤外２」）を指示するアイコンとを表示してもよい。ここで、波長、偏移及び強度は、それぞれ、可視光域の色空間における色相、彩度及び明度に相当する。ユーザが生体情報検出装置の入力装置（図示省略）を用いてそれらのアイコンを操作することによって範囲を指定することができる。
【００７２】
例えば、波長レンジに関しては、波長空間の０度＝３６０度はＩＲ１、１２０度はＩＲ２、２４０度はＩＲ３であり、例えば赤外１及び赤外２で指定した区間を該当範囲として指定すればよい。偏移レンジは０％を赤外線が均等、１００％を赤外線偏りが最大、として、例えば偏移１から偏移２までの範囲を指定すればよい。強度レンジは０％から１００％を範囲とし、同様に例えば強度１から強度２の範囲を指定すればよい。
【００７３】
なお、波長レンジ、偏移レンジ及び強度レンジは、図１１Ａに示すように手動で設定されてもよいが、自動で設定されてもよい。ここで、自動で設定する方法の一例を説明する。
【００７４】
例えば、顔特徴量検出部４０５ａ〜４０５ｃの少なくともいずれかが検出した顔特徴量に基づいて、肌領域推定部４０８が図１３に示すように肌領域を推定する。その後、肌領域推定部４０８は、顔特徴量に基づいて推定された肌領域内の少なくとも一部の画素の波長、偏移及び強度を含むように、波長レンジ、偏移レンジ及び強度レンジを設定してもよい。例えば、肌領域推定部４０８は、肌領域内の画素の波長、偏移及び強度のそれぞれの値の出現頻度分布に基づいて、出現頻度が所定の値を超える波長、偏移及び強度の範囲を波長レンジ、偏移レンジ及び強度レンジとして設定してもよい。
【００７５】
その後、肌領域推定部４０８は、設定された波長レンジ、偏移レンジ及び強度レンジによって特定される部分空間（図９参照）に基づいて肌領域を推定する。例えば、肌領域推定部４０８は、顔特徴量に基づいて推定された肌領域内の画素のうち、波長、偏移及び強度の値がそれぞれ上記の波長レンジ、偏移レンジ及び強度レンジに含まれる画素の領域を、最終的に肌領域として推定してもよい。あるいは、肌領域推定部４０８は、顔特徴量に基づいて推定された肌領域にかかわらず、波長、偏移及び強度の値がそれぞれ上記の波長レンジ、偏移レンジ及び強度レンジに含まれる画素の領域を肌領域として推定してもよい。
【００７６】
本実施例では顔特徴量を利用することによって肌領域を推定することができるが、時間の経過とともに被験者が姿勢を変更するなど、実際の肌領域の位置が移動する場合がある。その結果、推定された肌領域に、例えば目又は口等、肌領域以外の領域が含まれることとなり、脈波の検出精度が低下する場合がある。実際の肌領域の移動に追随するために常に顔特徴量を検出してそれに基づく肌領域の推定を行ってもよいが、顔特徴量の検出には多くの計算コストを要する。
【００７７】
これに対して、目又は口等、肌領域以外の領域の画素の波長、偏移及び強度の値は、上記のように設定された波長レンジ、偏移レンジ及び強度レンジから外れることが期待できる。また、部分空間に基づく肌領域の推定に要する計算コストは小さい。このため、上記のように部分空間に基づく推定を組み合わせることによって、少ない計算量で、肌領域以外の領域に起因するノイズを排除し、高精度に脈波を検出することが可能になる。
【００７８】
図１１Ｂは、実施例１に於けるＩＲカメラ信号のレベルの調整方法の一例を説明する図である。
【００７９】
例えば、生体情報検出装置のデータ表示部１０７が、図１１Ｂに示すように信号レベル１、信号レベル２及び信号レベル３のそれぞれの全範囲（０％〜１００％）を示すバーと、それらのバーの上で信号レベルを指示するアイコンとを表示してもよい。ここで、信号レベル１は、ＩＲ１カメラ２００ａに設定される映像調整パラメータ２０６ａに対応する。同様に、信号レベル２及び信号レベル３が、それぞれ、ＩＲ２カメラ２００ｂ及びＩＲ３カメラ２００ｃに設定される映像調整パラメータ（図示省略）に相当する。ユーザが生体情報検出装置の入力装置（図示省略）を用いてそれらのアイコンを操作することによって波長検出部４０３の出力を調整することができる。
【００８０】
以上の構成によれば、非接触にてノイズによる弊害を抑え、夜間に於いても疾患及び心不全等による容態急変を検出するモニタリングを行うことができる。
【実施例２】
【００８１】
実施例１では、ＩＲ光源及び３台のカメラを用いて、ノイズによる弊害を抑え、顔映像から脈拍を検出する技術を説明した。実施例２では、１台のカメラで測定する生体情報検出装置を説明する。以下に説明する相違点を除き、実施例２の生体情報検出装置の各部は、図１〜図９、図１１Ａ〜図１３及び図１６等に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
【００８２】
図１４は、実施例２に於ける生体情報検出装置の構成例を示すブロック図である。
【００８３】
本実施例における生体情報検出装置は、ＩＲカメラ２００ｄ、映像入力部３００ｄ、波長信号生成部４００、波長揺らぎ検出部５００、脈波検出部６００及びデータ表示部１０７を備える。
【００８４】
ＩＲカメラ２００ｄは、３つの赤外成分のそれぞれを検出し、それらの３成分を合成したパック信号、すなわち、ＩＲ撮像データ信号１０１ｄを出力する。映像入力部３００ｄは、ＩＲ撮像データ信号１０１ｄを入力信号とし、遅延ＩＲデータ信号１０２ｄを各成分に分解したアンパック信号、すなわち、遅延ＩＲデータ信号１０２ａ、１０２ｂ及び１０２ｃを出力する。
【００８５】
波長信号生成部４００は、遅延ＩＲデータ信号１０２ａ、１０２ｂ及び１０２ｃを入力信号とし、赤外波長データ信号１０３及びレベル信号１０４を出力する。波長揺らぎ検出部５００は、赤外波長データ信号１０３とレベル信号１０４を入力信号とし、平均波長差分データ信号１０５を出力する。脈波検出部６００は、平均波長差分データ信号１０５を入力信号とし、脈拍信号１０６を出力する。データ表示部１０７は、脈拍信号１０６を入力信号とし、データを表示する。なお、本構成に於いて、波長信号生成部４００を波長信号生成部４５０によって置き換えてもよい。
【００８６】
図１５は、実施例２に於ける生体情報検出装置のＩＲカメラモジュールの一例を説明する図である。
【００８７】
ＩＲカメラ２００ｄでは、レンズを通過した光が３帯域の赤外波長に対するＩＲ透過フィルタ（バンドパスフィルタ又はローパスフィルタ）２０１ｄを通し、３波長の赤外光がＣＣＤ２０２に照射される。この光を光電変換して得られる電気信号２０３が、ＡＤコンバータ２０４によってデジタル化される。ＡＤコンバータ２０４から出力されたデジタルデータ信号２０５は、映像補正部２０７に入力される。映像補正部２０７は、入力されたデジタルデータ信号２０５に対して、映像調整パラメータ２０６ｄに基づくホワイトバランス及びコントラスト等の映像調整を行い、例えば１画素毎のＩＲをコンポーネントに持つＩＲ撮像データ信号１０１ｄを出力する。
【００８８】
図１０Ａは、ＣＣＤカメラのバンドパスフィルタの一例を説明する図である。
【００８９】
図１０Ａに示すように、ＣＣＤの上に、例えばカラーフィルタが重なるように構成されている。また、ＣＣＤ上には受光素子があり、一つの受光素子がカラー（ＲＧＢ）フィルタの一つのセルと対応しており、これが画素となる。
【００９０】
図１０Ｂは、ＣＣＤカメラのＲＧＢフィルタの一例を説明する図である。
【００９１】
ＲＧＢフィルタの１つのセルには一色（すなわちＲＧＢのいずれか）のカラーが割り当てられており、それぞれのカラーが割り当てられたセルが例えば図１０Ｂのような配列に並んでいる。これをベイヤー配列と呼ぶ。一画素に不足する他の二色の成分は隣接する周囲のカラーを補間することで得られる。
【００９２】
図１０Ｃは、実施例２に於ける生体情報検出装置の光学系の赤外フィルタの一例を説明する図である。
【００９３】
図１０Ｃに示す赤外フィルタは、図１０ＢのＲＧＢフィルタの各透過フィルタをＩＲ１透過フィルタ、ＩＲ２透過フィルタ及びＩＲ３透過フィルタによって置き換えたものであり、これが図１５におけるＩＲ透過フィルタ２０１ｄとなる。
【００９４】
実施例１の構成によれば、信号の補間は不要であるが、その代わりに３台のカメラが必要となる。これに対して、実施例２の構成によれば、１台のカメラを用いて、非接触にてノイズによる弊害を抑え、夜間に於いても疾患及び心不全等による容態急変を検出するモニタリングを行うことができる。
【００９５】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００９６】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
【００９７】
また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００９８】
１０１ａ  ＩＲ１撮像データ信号
１０１ｂ  ＩＲ２撮像データ信号
１０１ｃ  ＩＲ３撮像データ信号
１０１ｄ  ＩＲ撮像データ信号
１０２ａ  遅延ＩＲ１データ信号
１０２ｂ  遅延ＩＲ２データ信号
１０２ｃ  遅延ＩＲ３データ信号
１０２ｄ  遅延ＩＲデータ信号
１０３    波長データ信号
１０４    レベル信号
１０５    平均波長差分データ信号
１０６    脈拍信号
２０１ａ  ＩＲ１透過フィルタ
２０１ｂ  ＩＲ２透過フィルタ
２０１ｃ  ＩＲ３透過フィルタ
２０１ｄ  ＩＲ透過フィルタ
２０３    電気信号
２０５    デジタルデータ信号
３０２    ＩＲデータ信号
４０２ａ  平滑化したＩＲ１データ信号
４０２ｂ  平滑化したＩＲ２データ信号
４０２ｃ  平滑化したＩＲ３データ信号
４０４ａ  ＩＲ１映像調整パラメータ
４０４ｂ  ＩＲ２映像調整パラメータ
４０４ｃ  ＩＲ３映像調整パラメータ
４０６ａ  ＩＲ１顔特徴量
４０６ｂ  ＩＲ２顔特徴量
４０６ｃ  ＩＲ３顔特徴量
４０７    肌領域推定部パラメータ
４０９    スイッチ
４５２    調整された顔特徴量
５０２    遅延波長データ信号
５０４    肌領域内画素の波長差分データ信号
５０６    波長差分データ信号
６０２    遅延波長差分データ信号
６０４    平滑化した波長差分データ信号
６０６    平滑化した遅延波長差分データ信号
６０８    符号データ信号
６１０    遅延符号データ信号
７００    ３ＬＣＤ方式の光学系
７０４    赤色用ＬＣＤ
７０５    緑色用ＬＣＤ
７０６    青色用ＬＣＤ
【図１】
2020069131.tif 000003
【図２】
2020069131.tif 000004
【図３】
2020069131.tif 000005
【図４Ａ】
2020069131.tif 000006
【図４Ｂ】
2020069131.tif 000007
【図５】
2020069131.tif 000008
【図６】
2020069131.tif 000009
【図７Ａ】
2020069131.tif 000010
【図７Ｂ】
2020069131.tif 000011
【図８】
2020069131.tif 000012
【図９】
2020069131.tif 000013
【図１０Ａ】
2020069131.tif 000014
【図１０Ｂ】
2020069131.tif 000015
【図１０Ｃ】
2020069131.tif 000016
【図１１Ａ】
2020069131.tif 000017
【図１１Ｂ】
2020069131.tif 000018
【図１２】
2020069131.tif 000019
【図１３】
2020069131.tif 000020
【図１４】
2020069131.tif 000021
【図１５】
2020069131.tif 000022
【図１６】
2020069131.tif 000023