(57)【要約】【課題】画像内の人の状況に応じて、脈拍検出を行う脈拍検出装置を提供する。【解決手段】脈拍検出装置１０は、機能ブロックとして、撮像部１２と、顔検出器１３と、ノイズ低減器１４と、脈拍算出器１５と、ストレス度測定器１６と、覚醒度測定器１７と、を備えている。顔検出器１３、ノイズ低減器１４、脈拍算出器１５のそれぞれにおいて、複数の異なる処理方法から選択して処理を実行することができる。撮像領域内の人の状況や、各機能ブロックでの処理結果等に応じて、最適な組合せとなるように、各機能ブロックでの処理方法を選択して脈拍検出を行う。【選択図】図１
2018068720.tif 000002
【特許請求の範囲】
【請求項１】
生体の脈拍を検出する脈拍検出装置であって、
所定の撮像領域を撮像し、画像信号を取得する撮像部と、
前記画像信号に基づいて前記生体の顔領域または肌領域を検出する顔検出器と、
検出された前記顔領域または前記肌領域からの画像信号からノイズを除去するノイズ除去器と、
ノイズが除去された前記顔領域または前記肌領域からの前記画像信号から脈拍を算出する脈拍算出器と、を備える、脈拍検出装置。
【請求項２】
前記顔検出器、前記ノイズ除去器、及び前記脈拍算出器は、それぞれ、複数の処理方法に対応しており、前記撮像領域及び前記生体の状況に応じて、前記複数の処理方法から一の前記処理方法を選択して、処理を実行するように構成される、請求項１に記載の脈拍検出装置。
【請求項３】
前記顔検出器は、
前記撮像領域内の前記画像信号の輝度値における局所的明暗差を検出し、前記明暗差に基づいた多数決論理により前記顔領域を検出するように構成される、請求項２に記載の脈拍検出装置。
【請求項４】
前記顔検出器は、
前記撮像領域における画像を分割し、分割された各領域からの前記画像信号に基づいて、前記顔領域または前記肌領域を検出するように構成される、請求項２に記載の脈拍検出装置。
【請求項５】
前記顔検出器は、
前記撮像領域における画像を分割し、分割された各領域からの前記画像信号の時間変化波形と、正弦波で表わされるモデル波形とを比較して得られた結果に基づいて、前記顔領域または前記肌領域を検出するように構成される、請求項２に記載の脈拍検出装置。
【請求項６】
前記ノイズ除去器は、
前記撮像領域における前記顔領域の位置情報を周波数分析して、得られた前記位置情報の特定の周波数成分を、前記顔領域からの画像信号から除去するように構成される、請求項２に記載の脈拍検出装置。
【請求項７】
前記ノイズ除去器は、
前記画像信号のうち脈拍成分の検出に用いる波長成分以外の成分の少なくとも一部を、前記顔領域または前記肌領域からの画像信号から除去するように構成される、請求項２に記載の脈拍検出装置。
【請求項８】
前記脈拍算出器は、
ノイズが除去された後の前記顔領域または前記肌領域からの画像信号を周波数分析して、前記生体の脈拍を算出するように構成される、請求項２に記載の脈拍検出装置。
【請求項９】
前記脈拍算出器は、
前記顔領域または前記肌領域からの画像信号の時間変化波形と正弦波で表わされるモデル波形とを比較して、前記生体の脈拍を算出するように構成される、請求項２に記載の脈拍検出装置。
【請求項１０】
前記画像信号の周期的変動成分に基づいて前記生体の有無を検出する生体検出器をさらに有し、
前記顔検出器は、前記生体検出器により得られた前記生体の存在領域からの画像信号に基づいて前記顔領域または前記肌領域を検出するように構成される、請求項１に記載の脈拍検出装置。
【請求項１１】
前記生体検出器は、複数の処理方法に対応しており、前記撮像領域及び前記生体の状況に応じて、前記複数の処理方法から一の前記処理方法を選択して、処理を実行するように構成される、請求項１０に記載の脈拍検出装置。
【請求項１２】
前記生体検出器は、
前記撮像領域における画像を分割し、分割された各領域からの前記画像信号に基づいて、前記生体の有無を検出するように構成される、請求項１１に記載の脈拍検出装置。
【請求項１３】
前記生体検出器は、
前記撮像領域における画像を分割し、分割された各領域からの前記画像信号の時間変化波形と正弦波で表わされるモデル波形とを比較して、前記生体の有無を検出するように構成される、請求項１１に記載の脈拍検出装置。
【請求項１４】
前記撮像部への入射光を散乱および／または減光する散光部をさらに備える、請求項１ないし１３のいずれかに記載の脈拍検出装置。
【請求項１５】
前記脈拍算出器より得られた脈拍間隔に基づいて、前記生体のストレス度を測定するストレス測定器をさらに備える、請求項１ないし１４のいずれかに記載の脈拍検出装置。
【請求項１６】
前記脈拍算出器より得られた脈拍間隔に基づいて、前記生体の覚醒度を測定する覚醒度測定器をさらに備える、請求項１ないし１５のいずれかに記載の脈拍検出装置。
【請求項１７】
生体の脈拍を検出する脈拍検出方法であって、
所定の撮像領域を撮像し、画像信号を得る撮像ステップと、
前記画像信号に基づいて前記生体の顔領域または肌領域を検出する顔検出ステップと、
検出された前記顔領域または前記肌領域からの画像信号からノイズを除去するノイズ除去ステップと、
ノイズが除去された前記顔領域または前記肌領域からの画像信号から脈拍を算出する脈拍算出ステップと、を備える、脈拍検出方法。
【請求項１８】
前記顔検出ステップ、前記ノイズ除去ステップ、及び前記脈拍算出ステップは、それぞれ、複数の処理方法に対応しており、前記撮像領域及び前記生体の状況に応じて、前記複数の処理方法から一の前記処理方法を選択して、処理を実行する、請求項１７に記載の脈拍検出方法。
【請求項１９】
前記画像信号の周期的変動成分に基づいて前記生体の有無を検出する生体検出ステップ、をさらに備え、
前記顔検出ステップにおいて、
前記生体検出ステップにより得られた前記生体の存在領域からの画像信号に基づいて前記顔領域または前記肌領域を検出する、請求項１８に記載の脈拍検出方法。
【請求項２０】
前記生体検出ステップは、複数の処理方法に対応しており、前記撮像領域及び前記生体の状況に応じて、前記複数の処理方法から一の前記処理方法を選択して、処理を実行する、請求項１９に記載の脈拍検出方法。
【請求項２１】
前記撮像領域からの光を散乱および／または減光して、撮像部に入力する散光ステップをさらに備える、請求項１７ないし２０のいずれかに記載の脈拍検出方法。
【請求項２２】
前記脈拍算出ステップで得られた脈拍間隔に基づいて、前記生体のストレス度を測定するストレス測定ステップをさらに備える、請求項１７ないし２１のいずれかに記載の脈拍検出方法。
【請求項２３】
前記脈拍算出ステップで得られた脈拍間隔に基づいて、前記生体の覚醒度を測定する覚醒度測定ステップをさらに備える、請求項１７ないし２２のいずれかに記載の脈拍検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで取得した画像から、脈拍やストレス度を測定する技術に関する。
【背景技術】
【０００２】
従来、カメラで取得された画像から、非接触で人の心拍数や脈拍を推定、算出する方法が知られている。
【０００３】
例えば、顔画像の領域内のＲＧＢの各平均値を算出して独立成分分析（ＩＣＡ：Ｉｎｄｉｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ） で処理した後に、１つの成分波形の周波数分析で得たピーク周波数から心拍数を推定する方法が知られている（例えば、非特許文献１参照）。
【０００４】
また、ＩＣＡ処理後の１つの成分波形を時系列で追跡するために、現在時刻の成分波形とのペアリングを行い、さらに心拍を表すピーク周波数を時系列で追跡して心拍数を推定する方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−２３９６６１号公報
【非特許文献】
【０００６】
【非特許文献１】Ｍ．Ｚ．Ｐｏｈ，Ｄ．Ｊ．ＭｃＤｕｆｆ，  ａｎｄ  Ｒ．Ｗ．Ｐｉｃａｒｄ  “Ｎｏｎ−ｃｏｎｔａｃｔ，  Ａｕｔｏｍａｔｅｄ  Ｃａｒｄｉａｃ  Ｐｕｌｓｅ  Ｍｅａｓｕｒｅｍｅｎｔｓ  Ｕｓｉｎｇ  Ｖｉｄｅｏ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｂｌｉｎｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ”  Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ，（米）， ２０１０年５月７日，  ｖｏｌ．１８，  Ｎｏ．１０，  ｐｐ．１０７６２−１０７７４
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１や非特許文献1に開示された方法では、人が動くことにより、心拍や脈拍等の検出精度が低下するという問題があった。
【０００８】
また、用途によっては、人のプライバシーを保護するために、意図的に不鮮明な画像を取得する場合もあるが、この場合にも、顔検出が失敗してしまうことにより、心拍や脈拍等の検出精度が低下するという問題があった。特に、人が静止している場合には、動き検出等を使って顔領域を特定することができないため、検出精度の低下は顕著であった。
【０００９】
本発明は、かかる点に鑑みてなされたものであり、その目的は、撮像対象の状況や撮影条件によらず、精度良く脈拍を検出できる装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、この発明では、撮像領域の状況や撮影された人の状況等によって、撮影した画像から脈拍検出に至るまでの顔検出機能や、ノイズ低減機能や、脈拍算出機能を、それぞれ異なる処理方法の中から選択できるようにした。
【００１１】
具体的には、本発明の脈拍検出装置は、生体の脈拍を検出する脈拍検出装置であって、所定の撮像領域を撮像し、画像信号を取得する撮像部と、画像信号に基づいて生体の顔領域または肌領域を検出する顔検出器と、検出された顔領域または肌領域からの画像信号からノイズを除去するノイズ除去器と、ノイズが除去された顔領域または肌領域からの画像信号から脈拍を算出する脈拍算出器と、を備えることを特徴とする。
【００１２】
本構成によれば、カメラ等の撮像部で取得した画像から、直接、脈拍を求めることができる。
【００１３】
顔検出器、ノイズ除去器、及び脈拍算出器は、それぞれ、複数の処理方法に対応しており、撮像領域及び生体の状況に応じて、複数の処理方法から一の前記処理方法を選択して、処理を実行するように構成されるのが好ましい。
【００１４】
本構成によれば、撮像領域において、人等の生体の動きがあったり、顔が隠れていたり、顔が撮像部の方向を向いていないような種々の場合に対しても、カメラ等の撮像部で取得した画像から、脈拍を求めることができる。
【００１５】
顔検出器は、撮像領域内の画像信号の輝度値における局所的明暗差を検出し、明暗差に基づいた多数決論理により顔領域を検出するように構成されるのが好ましい。
【００１６】
本構成によれば、鮮明な画像を取得した場合に、簡便な方法で顔を検出できる。
【００１７】
顔検出器は、撮像領域における画像を分割し、分割された各領域からの画像信号に基づいて、顔領域または肌領域を検出するように構成されていてもよい。
【００１８】
本構成によれば、複数の生体が撮影された場合にも、簡便な方法で顔領域または肌領域を検出できる。
【００１９】
顔検出器は、撮像領域における画像を分割し、分割された各領域からの画像信号の時間変化波形と、正弦波で表わされるモデル波形とを比較して得られた結果に基づいて、顔領域または前記肌領域を検出するように構成されていてもよい。
【００２０】
本構成によれば、顔検出のためのデータ保持時間を短くでき、短時間での顔検出が可能となる。また、人等の生体の顔が隠れていたり、画像内での顔領域が小さい場合でも、肌領域を検出できる。
【００２１】
ノイズ除去器は、撮像領域における顔領域の位置情報を周波数分析して、得られた位置情報の特定の周波数成分を、顔領域からの画像信号から除去するように構成されるのが好ましい。
【００２２】
本構成によれば、周波数領域上で脈拍成分に近接する、顔の動きに起因したノイズを適切に除去できる。
【００２３】
ノイズ除去器は、画像信号のうち脈拍成分の検出に用いる波長成分以外の成分の少なくとも一部を、顔領域または肌領域からの画像信号から除去するように構成されていてもよい。
【００２４】
本構成によれば、簡便な構成で、画像信号に含まれる脈拍成分以外のノイズを適切に除去できる。
【００２５】
脈拍算出器は、ノイズが除去された後の顔領域または肌領域からの画像信号を周波数分析して、生体の脈拍を算出するように構成されるのが好ましい。
【００２６】
脈拍算出器は、顔領域または肌領域からの画像信号の時間変化波形と正弦波で表わされるモデル波形とを比較して、生体の脈拍を算出するように構成されていてもよい。
【００２７】
本構成によれば、脈拍算出のためのデータ保持時間を短くでき、短時間での脈拍算出が可能となる。
【００２８】
脈拍検出装置は、画像信号の周期的変動成分に基づいて生体の有無を検出する生体検出器をさらに有し、顔検出器は、生体検出器により得られた生体の存在領域からの画像信号に基づいて顔領域または肌領域を検出するように構成されるのが好ましい。
【００２９】
本構成によれば、顔が直ちに検出できない場合にも、人等の生体を検出することで、顔領域または肌領域の検出を容易にし、脈拍検出を行うことができる。
【００３０】
生体検出器は、複数の処理方法に対応しており、撮像領域及び生体の状況に応じて、複数の処理方法から一の処理方法を選択して、処理を実行するように構成されるのが好ましい。
【００３１】
本構成によれば、撮像領域において、人等の生体の動きがあったり、顔が隠れていたり、顔が撮像部の方向を向いていないような種々の場合に対しても、生体の有無を確実に検出でき、脈拍検出が可能となる。
【００３２】
生体検出器は、撮像領域における画像を分割し、分割された各領域からの画像信号に基づいて、生体の有無を検出するように構成されていてもよい。
【００３３】
本構成によれば、複数の生体が撮影された場合にも、簡便な方法で生体の有無を検出できる。
【００３４】
生体検出器は、撮像領域における画像を分割し、分割された各領域からの画像信号の時間変化波形と正弦波で表わされるモデル波形とを比較して、生体の有無を検出するように構成されていてもよい。
【００３５】
本構成によれば、生体検出のためのデータ保持時間を短くでき、短時間での生体検出が可能となる。また、人等の生体の顔が隠れていたり、画像内での顔領域が小さい場合でも、生体の有無を検出できる。
【００３６】
撮像部への入射光を散乱および／または減光する散光部をさらに備えるのが好ましい。
【００３７】
本構成によれば、撮影された画像を不鮮明なものとすることで、撮影対象である人のプライバシーを守りつつ、同じ画像から、脈拍を求めることができる。
【００３８】
脈拍算出器より得られた脈拍間隔に基づいて、生体のストレス度を測定するストレス測定器をさらに備えるのが好ましい。
【００３９】
本構成によれば、カメラ等の撮像部で取得した画像から、直接、ストレス度を求めることができる。
【００４０】
脈拍算出器より得られた脈拍間隔に基づいて、生体の覚醒度を測定する覚醒度測定器をさらに備えるのが好ましい。
【００４１】
本構成によれば、カメラ等の撮像部で取得した画像から、直接、覚醒度を求めることができる。
【００４２】
本発明の脈拍検出方法は、生体の脈拍を検出する脈拍検出方法であって、所定の撮像領域を撮像し、画像信号を得る撮像ステップと、画像信号に基づいて生体の顔領域または肌領域を検出する顔検出ステップと、検出された顔領域または肌領域からの画像信号からノイズを除去するノイズ除去ステップと、ノイズが除去された顔領域または肌領域からの画像信号から脈拍を算出する脈拍算出ステップと、を備えることを特徴とする。
【００４３】
本方法によれば、カメラ等の撮像部で取得した画像から、直接、脈拍を求めることができる。
【００４４】
顔検出ステップ、ノイズ除去ステップ、及び脈拍算出ステップは、それぞれ、複数の処理方法に対応しており、撮像領域及び生体の状況に応じて、複数の処理方法から一の処理方法を選択して、処理を実行するのが好ましい。
【００４５】
本構成によれば、撮像領域において、人等の生体の動きがあったり、顔が隠れていたり、顔が撮像部の方向を向いていないような種々の場合に対しても、カメラ等の撮像部で取得した画像から、脈拍を求めることができる。
【発明の効果】
【００４６】
以上説明したように、本発明の脈拍検出装置によると、撮像領域において、人の動きがあったり、顔が隠れていたり、顔が撮像部の方向を向いていないような種々の場合に対しても、撮像部で取得した画像から、直接的に、人の脈拍やストレス度、覚醒度を求めることができる。
【図面の簡単な説明】
【００４７】
【図１】実施の形態１に係る脈拍検出装置の機能的構成を示すブロック図である。
【図２】脈拍検出装置内の各機能ブロックでの処理方法の例を示す図である。
【図３】実施の形態１に係る脈拍検出装置内での信号の流れを示すブロック線図である。
【図４】実施の形態１に係る脈拍検出フローチャートの好ましい一例である。
【図５】実施の形態１に係る撮像部で取得された人の画像の一例である。
【図６】実施の形態１に係る顔検出方法の一例を示す図である。
【図７】実施の形態１に係る画像の領域分割の一例を示す図である。
【図８】前後フレームでの顔探索範囲の設定の一例を示す図である。
【図９】実施の形態１に係る、顔領域における画像信号の輝度値の時間変化を示す図である。
【図１０】実施の形態１に係る、脈拍成分に対する正弦波モデルの一例である。
【図１１】実施の形態１に係る、脈拍成分に対する正弦波モデルの別の一例である。
【図１２】実施の形態１に係る、脈拍成分に対する正弦波モデルのさらなる別の一例である。
【図１３】実施の形態１に係る、正弦波モデルの差分前後の顔領域における画像信号の輝度値の時間変化を示す図である。
【図１４】顔の位置座標を周波数分析して得られるパワースペクトルである。
【図１５】顔領域からの画像信号の輝度値から顔位置の変化に対応する信号を差分し、さらに周波数分析して得られるパワースペクトルである。
【図１６】図１４で得られた顔の運動の周波数に対応する正弦波モデルを示す図である。
【図１７】顔領域からの画像信号の輝度値の時間変化を示す図である。
【図１８】ノイズ低減後の、顔領域からの画像信号の輝度値の時間変化を示す図である。
【図１９】実施の形態１に係る肌領域検出方法の一例を示す図である。
【図２０】実施の形態１に係る脈拍検出システムのハードウェア構成の一例を示す図である。
【図２１】実施の形態２に係る脈拍検出システムの機能的構成を示すブロック図である。
【図２２】人検出器の処理機能の例を示す図である。
【図２３】実施の形態２に係る脈拍検出装置内での信号の流れを示すブロック線図である。
【図２４】実施の形態２に係る脈拍検出フローチャートの好ましい一例である。
【図２５】実施の形態２に係る撮像部で取得された人の画像の一例である。
【図２６】実施の形態２に係る人検出方法の一例を示す図である。
【発明を実施するための形態】
【００４８】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。
【００４９】
（実施の形態１）
（脈拍検出器の構成と画像信号処理の流れ）
図１は、本実施の形態に係る脈拍検出装置の機能的構成を示すブロック図である。
【００５０】
図２は、脈拍検出装置の各ブロックの処理機能の例を示す図である。
【００５１】
図３は、脈拍検出装置内での信号の流れを示すブロック線図である。
【００５２】
脈拍検出装置１０は、機能ブロックとして、撮像部１２と、顔検出器１３と、ノイズ低減器１４と、脈拍算出器１５と、ストレス度測定器１６と、覚醒度測定器１７と、を備えている。
【００５３】
撮像部１２は、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子（図示せず）と、レンズ等を含む光学系（図示せず）とを有しており、撮像部１２で取得された画像は、画像信号として顔検出器１３に送られる。なお、撮像部１２は固定されていても、可動であってもよい。光学系の設定や撮像部１２の可動領域に応じて撮像領域が決定される。
【００５４】
なお、撮像素子は、カラーフィルタ等を用いて、周辺の領域から入射した光を色成分毎に出力するカラー撮像素子であるのが好ましいが、特にこれに限られず、白黒画像を出力する撮像素子であってもよい。また、撮像素子として、ＣＣＤやＣＭＯＳイメージセンサ等を用いることが一般的であるが、フォトダイオードアレイを用いてもよい。
【００５５】
また、撮像素子として、近赤外光を受光する撮像素子を用いても、これとその他の撮像素子との組合せを用いてもよい。
【００５６】
なお、本実施の形態において、画像信号は、Ｒ（Ｒｅｄ：赤色）成分、Ｇ（Ｇｒｅｅｎ：緑色）成分、Ｂ（Ｂｌｕｅ：青色）成分の３原色で表現されるＲＧＢ表色系の信号であるが、特にこれに限られず、ＨＳＶ表色系の信号又はＹＵＶ表色系の信号であってもよい。また、白黒画像信号であってもよい。
【００５７】
また、画像信号は、所定のフレームレート、例えば、３０フレーム／秒で顔検出器１３に送られるが、他の適切なフレームレートであってもよい。
【００５８】
顔検出器１３は、撮像部１２から送られてきた画像信号に基づいて、撮像部１２で撮影された撮像領域内における人の顔を検出するように構成されている。
【００５９】
ノイズ低減器１４は、顔検出器１３により検出、特定された、撮像領域内の顔に対応する領域（以下、顔領域という）からの画像信号からノイズ成分を除去するように構成されている。
【００６０】
脈拍算出器１５は、ノイズ低減器１４によりノイズ除去された、顔領域からの画像信号に基づいて、人の脈拍数や脈拍間隔を推定するように構成されている。
【００６１】
ストレス度測定器１６は、脈拍測定器１５で得られた脈拍間隔に基づいて、測定対象である人のストレス度を測定するように構成されている。
【００６２】
覚醒度測定器１７は、脈拍測定器１５で得られた脈拍間隔に基づいて、測定対象である人の覚醒度を測定するように構成されている。
【００６３】
図２に示すように、本実施の形態に係る脈拍検出装置１０では、顔検出器１３、ノイズ低減器１４、脈拍算出器１５のそれぞれにおいて、複数の異なる方法で処理を実行することができる。
【００６４】
従って、図３に示すように、撮像領域の状況や、撮像領域内の人の状況や、各機能ブロックでの処理結果等に応じて、最適な組合せとなるように、撮像部１２で得られた画像信号に対する、各機能ブロックでの処理方法を選択することができる。
【００６５】
なお、図３に示す、顔検出１、顔検出２等のブロックは、図２に示す顔検出器の処理方法１、２等に対応している。
【００６６】
（脈拍検出方法の好ましい例について）
本実施の形態に係る脈拍検出方法に関し、以下に説明する。
【００６７】
図４は、本実施の形態に係る脈拍検出フローチャートの好ましい一例である。
【００６８】
（ステップＳ１０：撮像ステップ）
まず、撮像部１２において、周辺の領域を撮影する。撮像領域は、屋外であっても、屋内であってもよい。
【００６９】
（ステップＳ２０：顔検出ステップ）
撮像部１２で取得された画像信号は、顔検出器１３に送られ、この画像信号に基づいて、撮像領域における人の顔を検出する。
【００７０】
なお、顔検出に失敗した場合は、後述するステップＳ４２に進む。
【００７１】
（顔検出ステップ１）
例えば、撮像部１２と被撮像体である人との距離が近くて、人の動きも少なく、鮮明な顔の画像が得られている場合には、顔検出方法として、既知の方法を用いることができる。
【００７２】
既知の方法としては、例えば、いわゆるＨａａｒ−ｌｉｋｅ特徴量を抽出し、Ａｄａｂｏｏｓｔ等の機械学習により顔を検出する方法を用いることができる。
【００７３】
この場合であれば、画像内の多数の局所的明暗差から顔のエッジを検出する。
【００７４】
予め用意された大量の顔画像データと非顔画像データとを用いて、抽出されたＨａａｒ−ｌｉｋｅ特徴量が顔に該当するか、顔でないかを判別する識別器を生成する。
【００７５】
複数の識別器を生成した後、これらの多数決論理により、最終的に、画像データから顔に対応するデータを抽出し、顔領域が出力される。このような技術については、例えば、以下に示す論文に概要が開示されている（Ｐ．Ｖｉｏｌａ，ａｎｄ  Ｍ．Ｊｏｎｅｓ，“Ｒａｐｉｄ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  ｂｏｏｓｔｅｄ  ｃａｓｃａｄｅ  ｏｆ  ｓｉｍｐｌｅ  ｆｅａｔｕｒｅｓ，”  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ｐ．５１１．  （２００１））。
【００７６】
また、顔画像データや非顔画像データは、ＯｐｅｎＣＶ等のデータベースから入手可能である（ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｏｒｇ／）。
【００７７】
なお、上記に限定されず、別の既知の方法を用いてもよい。
【００７８】
（顔検出ステップ２）
撮像部１２と被撮像体である人との距離が遠い場合や、人の動きが大きい場合等には、別の方法を用いることができる。
【００７９】
図５は、本実施の形態に係る撮像部で取得された人の画像の一例である。
【００８０】
図６は、本実施の形態に係る顔検出方法の一例を示す図である。
【００８１】
図７は、本実施の形態に係る画像の領域分割の一例を示す図である。
【００８２】
図８は、前後フレームでの顔探索範囲の設定の一例を示す図である。
【００８３】
顔が隠れていたり、横を向いてしまっている場合には、既知の方法を用いて直ちに人の顔を検出できないことがある。
【００８４】
そのような場合には、図６に示すように、画像を領域分割し、分割された各領域において、画像の輝度値の平均を求め、この値の時間変化を観測する。
【００８５】
例えば、Ｇ成分の光はヘモグロビンの吸収の影響を多く受けるため、ＲＧＢ表色系の画像信号であれば、Ｇ成分の輝度値を用いると、人の脈拍に関連した周期的変動が観測しやすい。この周期的変動の観測により、対象領域において、人の顔が観測されているかどうかを検出できる。分割サイズを適切に選ぶことで、人の顔の外形を把握することも可能である。
【００８６】
なお、ＲＧＢ表色系以外の画像信号においても、人の脈拍に関連した周期的変動を観測することは可能であり、顔領域の検出時に用いる輝度値は、上記の波長成分に限定されるものではない。
【００８７】
また、画像の領域分割に関しては、図６に示したように、均等に分割する必要は必ずしもなく、図７に示すように、領域が重複していても良い。
【００８８】
この場合、分割されたそれぞれの領域は大きさが異なる上、位置もバラバラで重複している部分が存在する。
【００８９】
例えば、均等に領域分割を行うと、２つの顔が同じ領域に入ってしまい、これらの分離ができなくなるおそれがあるが、図７に示すようにランダムな領域分割にすることで、これらの分離精度が向上する。ただし、このように領域の重複を許容する領域設定を行うと、領域が多数存在して計算時間が多くかかってしまう。そこで追跡処理を行い、１フレーム前の結果の周辺だけを探索することにより計算時間の短縮を行うこともできる。
【００９０】
図８では、実線で示す枠が現在フレームでの探索範囲に対応し、網かけされた範囲が１フレーム前での顔検出位置と大きさとを表している。
【００９１】
図８からわかるように、現在フレームでの探索範囲は、１フレーム前の顔検出位置の近くに多く存在し、ここの範囲の大きさも１フレーム前と同程度のものが多い。
【００９２】
追跡処理には、既知のパーティクルフィルタ（粒子フィルタ）を用いる。パラメータは探索枠の位置（ｘ、ｙ）と大きさＬの３つである。パーティクルフィルタの尤度として、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：高速フーリエ変換）を行ったときの一番大きいピークの大きさをそのまま用いることとする。
【００９３】
なお、ＦＦＴは、信号の周波数分析方法の一例である。
【００９４】
このパーティクルフィルタを用いることにより、全画面の探索を行わずに計算時間を短縮して追跡処理が可能となる。
【００９５】
（顔検出ステップ３）
図９は、本実施の形態に係る、顔領域における画像信号の輝度値の時間変化を示す図である。
【００９６】
図１０は、本実施の形態に係る、脈拍成分に対する正弦波モデルの一例である。
【００９７】
図１１は、本実施の形態に係る、脈拍成分に対する正弦波モデルの別の一例である。
【００９８】
図１２は、本実施の形態に係る、脈拍成分に対する正弦波モデルのさらなる別の一例である。
【００９９】
図１３は、本実施の形態に係る、正弦波モデルの差分前後の顔領域における画像信号の輝度値の時間変化を示す図である。
【０１００】
図９に示すように、顔領域からの画像信号、この場合はＧ成分の平均輝度値は、計測時間に対して周期的に変化している。
【０１０１】
この波形と以下に示す正弦波モデル波形との比較を行うことにより、顔領域の検出を行うことができる。以下にこのことを詳述する。
【０１０２】
まず、上述したように、画像を領域分割し、分割された各々の領域で、平均輝度値の時間変化を求めておく。
【０１０３】
これとは別に、式（１）で表わされる正弦波モデル波形を複数準備する。
【０１０４】
【数１】
2018068720.tif 000003
【０１０５】
ここで、
Ｖｍ：最大振幅
ω：角周波数
ｔ：時間
θ：位相
である。
【０１０６】
例えば、６０ｂｐｍ（ｂｅａｔｓ ｐｅｒ  ｍｉｎｕｔｅ）の脈拍波形に相当する正弦波モデル波形（図１０）を標準波形として、図１１に示すように位相をずらした波形や、図１２に示すように角周波数を変化させた波形（９０ｂｐｍに相当）を作成する。
【０１０７】
このとき、角周波数を、例えば、１０ｂｐｍに対応する間隔で変化させた波形や、位相を１０度単位で変化させた波形を、テーブル形式で準備しておく。
【０１０８】
図１３に示すように、分割された各領域実際に得られた輝度値の時間変化波形から、予め準備しておいた正弦波モデル波形を差分する。
【０１０９】
なお、モデル波形の最大振幅は、実際に得られた輝度値の周期的変動から求めた振幅を用いている。
【０１１０】
図１３に示すように、点線で示す波形が差分前の波形、実線で示す波形が差分後の波形である。
【０１１１】
差分後には、もとの波形で見られた周期的変動成分が除去され、起伏の少ないものになっていることがわかる。正弦波モデル波形で表現される脈拍と被験者の脈拍が一致していれば、差分後の波形は起伏が少ないものになる。
【０１１２】
差分後の波形の標準偏差が少なければ起伏がより少ないと考えられるので、上述した複数の正弦波モデル波形を用いて、各々の差分を行い、差分後の波形の標準偏差が最も低い場合が被験者の脈拍であるとする。
【０１１３】
例えば、算出された脈拍数が人の脈拍、例えば６０ｂｐｍから１２０ｂｐｍに相当する値となっていれば、その領域が顔領域であるとし、この範囲から外れていれば、顔が存在しないとする。
【０１１４】
なお、人の脈拍は運動等で大きく変化するため、上記の範囲はあくまで一例である。
【０１１５】
画像信号の輝度値の周期的変化から顔検出を行うためには、検出直前の十数秒から数十秒間のデータを複数保持する必要がある。本方法によれば、保持するデータ数を少なくすることができ、より短時間での顔検出が可能となる。
【０１１６】
また、上述したとおり、撮影した画像の状況、特に人の状況によって、適切な顔検出方法は異なる。
【０１１７】
本実施の形態では、顔検出ステップ１から３のいずれかを撮像領域あるいはその中の人の状況等に応じて、任意かつ適切に選択し、使用することができ、いずれのステップでも、検出結果として、顔領域が出力される。
【０１１８】
（ステップＳ３０：顔位置周期性判定ステップ／ステップＳ４０：ノイズ低減ステップ１）
顔検出が成功した場合、次に顔位置が周期的に移動しているかどうかを判定する（ステップＳ３０）。また、顔位置の動きに周期性が無ければ、後述するステップＳＳ４１に進む。
【０１１９】
ジョギングやエクササイズ等の運動をしている場合は、顔が動くが、その動き成分が画像信号に乗るため、脈拍算出時のノイズとなる。そこで、顔位置の変化を周波数分析して、その周波数を観測値から差分することにより、ノイズ低減を行う（ステップＳ４０）。
【０１２０】
なお、本実施の形態において、顔位置の周期性判定は、顔検出器１３の機能を用いて行われるが、判定のための機能ブロックを別途設けてもよい。
【０１２１】
図１４は、顔の位置座標を周波数分析して得られるパワースペクトルである。
【０１２２】
図１５は、顔領域からの画像信号の輝度値から顔位置の変化に対応する信号を差分し、さらに周波数分析して得られるパワースペクトルである。
【０１２３】
本実施の形態では、画像上の顔の位置情報である、顔の中心点の位置座標をＦＦＴ処理してパワースペクトルを得ている。また、顔の中心点の位置座標は時系列で不安定になることがあるため、検出された顔の特徴的器官、例えば、目や鼻、あるいは、それら特徴器官点の平均位置座標を周波数分析するのが好ましい。このことに対応して、図１に示すように、顔検出器１３は、顔器官検出部１３ａを有していてもよい。
【０１２４】
なお、顔位置座標を周波数分析するかどうかに関わらず、顔検出器１３は、顔器官検出部１３ａを有していてもよい。
【０１２５】
図１４及び図１５における点線で囲まれた位置が顔の動きに対応するピークであり、顔位置が一定の周期性を持って変化していることがわかる。この例では１．１４Ｈｚ付近にピークがある。
【０１２６】
また、図１５において、１．１４Ｈｚ付近と、１．２８Ｈｚ付近にピークの存在が見られる。前者が、顔位置の動きに対応した成分であり、後者が脈拍に対応した成分である。
【０１２７】
実際には、脈拍として取りうる範囲が、図１５中の一点鎖線よりも右側、つまり高周波側であると設定し、その範囲内で最も高い周波数のピークを脈拍と推定する。
【０１２８】
図１５に示すように、顔の運動に起因したピークと脈拍に起因したピークは、周波数上で近い位置に存在する。よって、顔位置の変化による周波数成分を予め算出していない場合は、前者のピークを脈拍と誤検知してしまう可能性がある。
【０１２９】
本実施の形態によれば、これを防ぐために、顔位置座標を周波数分析して得られるパワースペクトルを予め求めておくことにより、運動等による顔位置の変動による脈拍の誤測定を防ぐことができる。
【０１３０】
また、図１４に示すパワースペクトルを、検出された顔領域からの画像信号の輝度値から直接、差分して得るのではなく、正弦波モデルを用いて差分を行って得ることもできる。
【０１３１】
図１６は、図１４で得られた顔の運動の周波数に対応する正弦波モデルを示す図である。
【０１３２】
図１７は、顔領域からの画像信号の輝度値の時間変化を示す図である。
【０１３３】
ここで、顔領域からの画像信号の輝度値は、顔領域として検出された領域からの輝度値の平均値である。
【０１３４】
図１７に示す輝度値の時間変化波形から、図１６に示す正弦波波形を差分することにより、顔の運動によるノイズ成分を除去する。
【０１３５】
（ステップＳ５０：脈拍算出ステップ１）
次に、ノイズが低減された、顔領域からの画像信号の輝度値に対しＦＦＴ等の周波数分析を行い、得られた信号から脈拍を推定、算出する。さらに、脈拍間隔を用いて人のストレス度、覚醒度を算出する。
【０１３６】
図１８は、ノイズ低減後の、顔領域からの画像信号の輝度値の時間変化を示す図である。
【０１３７】
図１８に示すように、脈拍間隔については、周波数分析前の、顔領域からの画像信号の輝度値の時間変化から求めることができる。
【０１３８】
（ステップＳ６０：ストレス度、覚醒度測定ステップ）
ステップＳ５０で得られた脈拍間隔を用いて、被撮像体である人のストレス度及び／または覚醒度を測定する（ステップＳ６０）。
【０１３９】
ストレス度や覚醒度の測定の測定については、既知の方法を用いる。
【０１４０】
脈拍間隔の時系列データから、例えば、自己回帰モデルなどを用いてパワースペクトル密度を計算し、その周波数成分を分析して、ストレス度を測定する。
【０１４１】
上記の方法で得られたパワースペクトル密度において、０．０５Ｈｚから０．１５Ｈｚまでの周波数に対応する領域をＬＦ（Ｌｏｗ  Ｆｒｅｑｕｅｎｃｙ：低周波）成分領域とし、０．１５Ｈｚから０．４０Ｈｚまでの周波数に対応する領域をＨＦ（Ｈｉｇｈ  Ｆｒｅｑｕｅｎｃｙ：高周波）成分領域とし、各々の領域での積分強度を求める。
【０１４２】
一般に、ＬＦ成分領域の信号は、血圧変動に対応し、交感神経が緊張しているとき、副交感神経が緊張しているとき、いずれの場合でも信号が発生すると言われている。
【０１４３】
一方、ＨＦ成分領域の信号は、呼吸変動に対応し、副交感神経が優位であると、信号強度が増加すると言われている。
【０１４４】
（ＬＦ成分領域の信号強度）／（ＨＦ成分領域の信号強度）をストレス指標（交感神経の活性度）として、ストレス度を求めることができる。
【０１４５】
リラックスしているときには、副交感神経の働きが優位となり、ＨＦ成分領域の信号強度が増加して、ストレス指標が低下するのに対し、緊張しているときには、相対的に、ＨＦ成分領域の信号強度が減少して、ストレス指標が上昇する。
【０１４６】
覚醒度についても同様に、ＬＦ成分領域の信号強度とＨＦ成分領域の信号強度と、を求めて、交感神経の活性度から評価することができる。
【０１４７】
覚醒度については、覚醒状態かどうかはＨＦ成分領域の信号強度に反映されるとの報告があり、例えば、この強度に着目して覚醒度を推定することができる。
【０１４８】
（ステップＳ４１：ノイズ低減ステップ２）
ステップＳ３０において、顔位置の動きに周期性が見られない場合は、顔領域からの画像信号において、脈拍成分に対応する信号とそれ以外の信号とを分離し、脈拍成分に対応する信号から、それ以外の信号を差分することによりノイズ低減を行う。
【０１４９】
ＲＧＢ表色系の画像信号であれば、Ｇ成分の輝度値を脈拍成分とし、それ以外の成分の輝度値をノイズ成分とすることができる。
【０１５０】
このとき、ノイズ成分として、Ｒ成分の輝度値や、Ｂ成分の輝度値、あるいはＲ成分とＢ成分との輝度値の平均値を用いることもできる。
【０１５１】
また、ＨＳＶ表色系やＹＵＶ表色系の画像信号であれば、１つの原色成分の輝度値を脈拍成分とし、他の原色成分の輝度値、例えば１つの成分の輝度値か、２つの成分の輝度値の平均値をノイズ成分としてもよい。
【０１５２】
なお、いずれの場合にも、原色系以外の成分、例えば、近赤外光成分の輝度値をノイズ成分としてもよい。
【０１５３】
また、白黒画像信号等を用いる場合には、移動平均との差分演算によってノイズを低減することもできる。
【０１５４】
例えば、画像信号の輝度値の時系列データをＡとし、Ａに対して移動平均を行って得られた時系列データをＢとすると、ＡからＢを差分することによりノイズ低減を行うことができる。
【０１５５】
（ステップＳ５１：脈拍算出ステップ１／ステップＳ６１：ストレス度、覚醒度測定ステップ）
ステップＳ４１が終了すると、ステップＳ５１、ステップＳ６１へと順次進む。
【０１５６】
ステップＳ５１における脈拍推定、算出方法、及びステップＳ６１におけるストレス度、覚醒度測定方法は、それぞれ、ステップＳ５０、ステップＳ６０に示したのと同様である。
【０１５７】
（ステップＳ４２：肌領域検出ステップ）
図１９は、本実施の形態に係る肌領域検出方法の一例を示す図である。
【０１５８】
ステップＳ２０において、顔検出に失敗した場合は、ステップＳ４２に進む。
【０１５９】
ここで、顔検出に失敗する場合として、顔が隠れていたり、顔の向きが撮像部１２の方向を向いていないことが予想される。また、撮影された画像における顔領域が極端に小さい場合等も、この場合に当てはまる。
【０１６０】
このような場合には、ステップＳ２０にて説明したように、画像を領域分割し、分割された各領域において、画像の輝度値の平均値を求め、この値の時間変化を観測する。
【０１６１】
例えば、顔以外でも肌が露出している領域からは、脈拍に関連した周期的変化が観測しやすい。この周期的変化の観測により、対象領域において、人の肌が露出しているかどうかを検出できる。
【０１６２】
この場合も、画像領域の分割サイズを適切に設定することで、検出感度を向上できる。
【０１６３】
また、画像の領域分割に関しては、図１９に示したように、均等に分割する必要は必ずしもなく、図７に示すように、領域が重複していても良い。
【０１６４】
また、図８を用いて説明したように、パーティクルフィルタを用いた追跡処理を行い、１フレーム前の結果の周辺だけを探索することにより計算時間の短縮を行うこともできる。
【０１６５】
このパーティクルフィルタを用いることにより、顔が隠れていたり、前後することによる大きさの変化にも対応できるようになる。
【０１６６】
また、本ステップにおける肌領域の検出は、顔検出器１３の機能を用いて行われる。
【０１６７】
（ステップＳ５２：脈拍算出ステップ２）
ステップＳ２０における顔検出ステップ３で用いた方法により、肌領域からの画像信号から脈拍を推定、算出することができる。
【０１６８】
この場合、式（１）で表わされる正弦波モデル波形を複数準備することは、顔検出ステップ３の場合と同じであるが、周波数や位相の刻みはさらに細かくする必要があり、例えば、１ｂｐｍ刻みで変化させた波形や、位相を数度単位で変化させた波形を、テーブル形式で準備しておき、この刻みで作成されたテーブルから、適当に波形を選択して、顔検出ステップ３での顔検出に用いる。
【０１６９】
図１３に示すように、実際に得られた輝度値から、予め準備しておいた正弦波モデル波形を差分する。
【０１７０】
なお、モデル波形の最大振幅は、実際に得られた輝度値の周期的変動から求めた振幅に近い値を用いている。
【０１７１】
図１３において、点線で示す波形が差分前の波形、実線で示す波形が差分後の波形である。
【０１７２】
差分後には、もとの波形で見られた周期的変動成分が除去されていることがわかる。
【０１７３】
正弦波モデル波形で表現される脈拍と被験者の脈拍が一致していれば、差分後の波形は起伏が少ないものになる。
【０１７４】
差分後の波形の標準偏差が少なければ起伏がより少ないと考えられるので、上述した複数の正弦波モデル波形を用いて、各々の差分を行い、差分後の波形の標準偏差が最も低い場合が被験者の脈拍であるとする。
【０１７５】
この方法によれば、周波数分析によるスペクトルのピークから心拍数を求める場合に比べて、一定期間における複数データを保持する必要が無くなり、期間中に脈拍変化が起こった場合の脈拍算出に対する影響を抑制できる。
【０１７６】
（ステップＳ６２：ストレス度、覚醒度測定ステップ）
ステップＳ５２が終了すると、ステップＳ６２へと進む。
【０１７７】
ステップＳ６２におけるストレス度、覚醒度測定方法は、ステップＳ６０に示したのと同様である。
【０１７８】
以上、説明したように、本実施の形態によれば、撮像領域において、人の動きがあったり、顔が隠れていたり、顔が撮像部１２の方向を向いていないような種々の場合に対しても、各機能ブロックにおいて、適切な処理方法を選択して脈拍検出処理を行うことにより、撮像部１２で取得した画像から、直接的に、人の脈拍やストレス度、覚醒度を求めることができる。
【０１７９】
なお、本実施形態における脈拍検出方法は、図４に示した方法に限定されるものでなく、図３に示したように、撮像領域の状況や、その中での人の状況、各機能ブロックでの処理結果等に応じて、予め用意された種々の処理方法を組み合わせて、脈拍検出を行うことができる。
【０１８０】
なお、本実施形態において、脈拍検出の対象は人であるが、動物等の人以外の生体に対しても、本発明に係る脈拍検出は適用可能である。
【０１８１】
（ハードウェア構成）
図１に示す脈拍検出装置１の機能は、撮像部１２の一部を除き、概ねソフトウェア上で実現可能である。この場合、例えば、図４に示した脈拍検出フローに対応するプログラムをハードウェア上で実行して脈拍検出が行われる。この機能を実現するためのハードウェア構成を図２０に示す。
【０１８２】
図２０は、本実施の形態に係る脈拍検出システムのハードウェア構成の一例を示す図である。
【０１８３】
脈拍検出システム１００は、コンピュータ１１０と、ビデオカメラ１０２と、ディスプレイ１１１と、操作部１１２と、システムバス１０１と、を備えている。
【０１８４】
コンピュータ１１０と、ビデオカメラ１０２と、ディスプレイ１１１と、操作部１１２とは、システムバス１０１に接続され、システムバス１０１を介して、制御信号やデータのやり取りが行われる。
【０１８５】
ビデオカメラ１０２は、周囲の所定の境域を撮影し、システムバス１０１を介して、撮影された動画像データを画像信号としてコンピュータ１１０に入力する。
【０１８６】
ビデオカメラ１０２は、図１に示した撮像部１２に対応しており、図示しないが、ＣＭＯＳイメージセンサ等の撮像素子と、レンズ等を含む光学系と、を有している。
【０１８７】
コンピュータ１１０に入力された画像信号は、コンピュータ１１０で各種の処理が行われ、得られた結果はディスプレイ１１１に表示される。表示される対象は種々あり、脈拍数や脈拍間隔、ストレス度や覚醒度だけでなく、脈拍検出処理の途中結果である、検出された顔領域や、画像信号の輝度値のリアルタイム変化波形等も表示することができる。
【０１８８】
なお、ディスプレイ１１１は、必要に応じて音声出力機能を有していてもよい。
【０１８９】
操作部１１２は、キーボードやマウスやジョイスティック等に代表される入力用デバイスであり、例えば、コンピュータ１１０の起動、終了や、脈拍検出プログラムの呼び出しや実行、ディスプレイ１１１に表示する処理結果の選択等に際して用いられる。
【０１９０】
なお、例えば、ディスプレイ１１１がタッチパネルである場合や、別途、システム１００が操作命令等を入力するための音声入力部（図示せず）を備えている場合には、操作部１１２を特に設けなくてもよい。
【０１９１】
コンピュータ１１０は、構成要素として、ＣＰＵ１０３と、信号処理部１０４と、通信部１０５と、ＲＯＭ１０６と、ＲＡＭ１０７と、ＨＤＤ１０８と、を有しており、これらの要素は、システムバス１０１に接続され、システムバス１０１を介して、制御信号やデータのやり取りが行われる。
【０１９２】
例えば、図４に示した脈拍検出フローに対応するプログラムが、ＨＤＤ１０８に予め記憶され、操作部１１２での操作に従って、ＣＰＵ１０３でプログラムの読み出し命令が実行される。ＨＤＤ１０８から読み出されたプログラムは、ＣＰＵ１０３からの命令に従って、ＲＡＭ１０７に格納される。また、正弦波モデル波形のテーブル等も、ＨＤＤ１０８から読み出され、ＲＡＭ１０７に格納される。
【０１９３】
なお、ＨＤＤ１０８から読み出されたプログラムやテーブルは、そのサイズによっては、ＲＯＭ１０６に格納されてもよい。一度、ＨＤＤ１０８からの読み出しが行われれば、以降は、直接、ＲＯＭ１０６からプログラムをＲＡＭ１０７に記憶させることができる。
【０１９４】
ＣＰＵ１０３からの命令に従って、ＲＡＭ１０７に格納されたプログラムが実行される。ＣＰＵ１０３がプログラムからの命令を解釈し、各種のデータ処理及び制御を行う。
【０１９５】
信号処理部１０５は、ＣＰＵ１０３からの命令に従って、画像の領域分割や顔領域の抽出等の処理を行う。
【０１９６】
通信部１０５は、物理インタフェース（図示せず）等を介して、外部とのデータのやり取りを行う。例えば、顔検出で用いられるデータベース等は、通信部１０５を介して、ＨＤＤ１０８またはＲＯＭ１０６に記憶される。光ファイバ等を用いた有線通信や無線通信等で外部との通信を行うことができ、通信方式は、システムやコンピュータの仕様等によって適宜決定される。
【０１９７】
なお、通信部１０５を介して、プログラム自体を外部ソースから読み込むことが可能であり、プログラムの処理結果も通信部１０５を介して、外部ソースに保存することが可能である。この場合は、プログラムや処理結果の保存のためだけに、ＨＤＤ１０８を設ける必要は特にない。
【０１９８】
また、ＨＤＤ１０８の代わりに、あるいはこれとは別に、携帯可能な記録媒体の読み出し／書き込み部を設けてもよい。プログラムや正弦波モデル波形のテーブル等をこの記録媒体に格納し、処理結果も、直接、記録媒体に書き込んでもよい。
【０１９９】
記録媒体が光ディスクであれば、光ディスクドライブを、ＩＣカードであれば、ＩＣカードリーダー／ライターを、ＵＳＢメモリであれば、ＵＳＢ端子接続口を設けてもよい。
【０２００】
なお、上述した構成はあくまで一例であり、撮影対象や場所、あるいは脈拍検出プログラムの内容等に応じて、適宜、変更可能である。
【０２０１】
例えば、カメラを内蔵するスマートフォンやカメラを内蔵するノート型コンピュータを使用する場合は、脈拍検出システム１００を１台の機器で実現することも可能である。
【０２０２】
（実施の形態２）
監視カメラや電子機器に設置されたカメラを用いて脈拍検出を行おうとすると、以下に示す問題が起こりうる。
【０２０３】
まず、画像取得のために、常に撮影対象となる人のいる方向にカメラを向ける必要があるが、対象者にとっては常に監視されている感覚が強く、不快になる場合がある。また、カメラの通信系がハッキングされた場合には、撮影対象となる人の普段の生活映像が意図せずに流出し、プライバシーが侵害される可能性がある。
【０２０４】
そこで、カメラのレンズを特殊なタイプ、例えばレンチキュラータイプにしたり、レンズの前にすりガラス等の散光部材を配置する等して、画像を不鮮明にして撮影を行うことが考えられる。
【０２０５】
しかし、画像が不鮮明な場合、人が動いている状態であれば、動きから人を検出することはできるが、宅内のリビングなどでくつろいでいるシーンでは人の動きが少ないため、人検出ができない。人検出ができない状況では、顔や肌領域の検出も困難である。
【０２０６】
そこで、本実施の形態では、顔検出や肌領域検出を行う前に人検出を行って、確実に脈拍検出を行うことができる構成を開示する。
【０２０７】
図２１は、本実施の形態に係る脈拍検出装置の機能的構成を示すブロック図である。
【０２０８】
図２２は、人検出器の処理機能の例を示す図である。
【０２０９】
図２３は、脈拍検出装置内での信号の流れを示すブロック線図である。
【０２１０】
本実施の形態に示した構成と実施の形態１に示した構成との相違点は、図１に示す散光部１１を設けた点と、撮像部１２からの画像信号を人検出器２０に送って、画像内での人の有無を検出した後に、顔検出器１３以降の構成を用いて脈拍検出を行う点にある。
【０２１１】
散光部１１は、上記の通り、撮像部１２のレンズを特殊なタイプ、例えばレンチキュラータイプにしたり、レンズの前にすりガラス等の散光部材を配置する等して、周囲の領域から入射する光を散乱および／または減光する機能を有する。
【０２１２】
散光部１１は、図２０に示すハードウェア構成において、ビデオカメラ１０２に組み込まれていてもよいし、別に設けられていてもよい。
【０２１３】
本実施の形態に係る脈拍検出装置１０では、図２に示すように、顔検出器１３、ノイズ低減器１４、脈拍算出器１５のそれぞれにおいて、複数の異なる方法で処理を実行することができる。さらに、図２２に示すように、人検出器２０において、複数の異なる方法で処理を実行することができる。
【０２１４】
従って、図２３に示すように、撮像領域の状況や、撮像領域内の人の状況や、各機能ブロックでの処理結果等に応じて、最適な組合せとなるように、撮像部１２で得られた画像信号に対する、各機能ブロックでの処理方法を選択することができる。
【０２１５】
なお、図３に示す、顔検出１、顔検出２等のブロックは、図２に示す顔検出器の処理方法１、２等に対応していることは実施の形態１と同様である。また、図２３に示す人検出１、人検出２のブロックは、図２２に示す人検出器の処理方法１、２に対応している。
【０２１６】
本実施の形態における脈拍検出方法を、図２４を用いて説明する。なお、実施の形態１で説明したステップについては、必要な範囲で最小限の説明に留めている。
【０２１７】
図２４は、本実施の形態に係る脈拍検出フローチャートの好ましい一例である。
【０２１８】
（ステップＳ１００：散光ステップ／撮像ステップ）
撮像部１２に入射する周囲の領域からの光を、散光部１１で散乱および／または減光する。この状態で、撮像部１２において、周辺の領域を撮影する。撮像領域は、屋外であっても、屋内であってもよい。
【０２１９】
（ステップＳ１１０：人検出ステップ）
撮像部１２で取得された画像信号は、人検出器１３に送られ、この画像信号に基づいて、撮像領域における人の顔を検出する。
【０２２０】
なお、人検出に失敗した場合は、撮像領域内に人が存在しないものとして、ステップＳ１００に戻って撮影を続行する。
【０２２１】
（人検出ステップ１）
図２５は、本実施の形態に係る撮像部で取得された人の画像の一例である。
【０２２２】
図２６は、本実施の形態に係る人検出方法の一例を示す図である。
【０２２３】
図２５のうち、左側の図は、レンチキュラータイプのレンズを用いた場合の画像の一例であり、右側の図は、すりガラスを通して撮影を行った場合の画像の一例である。いずれの場合も画像が不鮮明であり、このままでは、例えば、Ｈａａｒ−ｌｉｋｅ特徴量の抽出などはできない。
【０２２４】
そこで、実施の形態１における脈拍検出フローのステップＳ２０のうち、顔検出ステップ２で説明したように、撮影された画像を領域分割し、分割された各領域において、画像の輝度値の平均値を求め、この値の時間変化を観測する。
【０２２５】
不鮮明な画像であっても、顔や肌が露出している領域からは、脈拍に関連した周期的変化が観測しやすい。この周期的変化の観測により、対象領域において、人の顔や肌が露出しているかどうかを検出できる。
【０２２６】
また、画像領域の分割サイズを適切に設定することにより、検出感度を向上できる。
【０２２７】
なお、画像の領域分割に関しては、図１９に示したように、均等に分割する必要は必ずしもなく、図７に示すように、領域が重複していても良い。
【０２２８】
また、図８を用いて説明したように、パーティクルフィルタを用いた追跡処理を行い、１フレーム前の結果の周辺だけを探索することにより計算時間の短縮を行うこともできる。
【０２２９】
このパーティクルフィルタを用いることにより、顔が隠れたり、前後することによる大きさの変化にも対応できるようになる。
【０２３０】
（人検出ステップ２）
実施の形態１における脈拍検出フローのステップＳ２０のうち、顔検出ステップ３で説明したように、画像を領域分割し、分割された各々の領域で、平均輝度値の時間変化波形と正弦波モデル波形との比較を行うことにより、人領域の検出を行うことができる。
【０２３１】
画像信号の輝度値の周期的変化から顔検出を行うためには、検出直前の十数秒から数十秒間のデータを複数保持する必要がある。本方法によれば、保持するデータ数を少なくすることができ、より短時間での人検出が可能となる。
【０２３２】
また、撮影した画像の状況、特に人の状況によって、適切な人検出方法は異なる。例えば、人が移動しているときには、短時間で人を検出できるのが好ましい。
【０２３３】
本実施の形態では、撮像力域内での人の状況によって、人検出ステップ１または２を任意かつ適切に選択し、使用することができる。
【０２３４】
なお、人検出器２０には動き検出部２０ａを設けてもよい。この場合は、動き検出部２０ａで検出された撮像領域内の動きに関する情報と画像の輝度値からの情報とを統合して人がいる領域を決定する。
【０２３５】
いずれの場合でも、人の有無を検出することができ、検出結果として、人の存在領域、具体的には、撮像領域内の人数と位置とが出力される。
【０２３６】
（ステップＳ１２０：顔検出ステップからステップＳ１６０：ストレス度、覚醒度測定ステップまで）
ステップＳ１１０で人検出に成功した場合は、顔検出ステップＳ１２０に進む。顔検出が成功した場合は、顔位置が周期的に移動しているかどうかを判定し（ステップＳ１３０）、顔位置が周期的に移動していれば、ノイズ低減ステップＳ１４０、脈拍算出ステップＳ１５０、ストレス度、覚醒度測定ステップＳ１６０へと順次進む。
【０２３７】
ステップＳ１２０における顔検出方法、ステップＳ１３０における顔位置周期性判定方法、ステップＳ１４０におけるノイズ低減方法、ステップＳ１５０における脈拍推定、算出方法、及びステップＳ１６０におけるストレス度、覚醒度測定方法は、実施の形態１における脈拍検出フローに示したステップＳ２０、ステップＳ３０、ステップＳ４０、ステップＳ５０及びステップＳ６０に示したのとそれぞれ同様である。
【０２３８】
（ステップＳ１４１：ノイズ低減ステップからステップＳ１６１：ストレス度、覚醒度測定ステップまで）
ステップＳ１３０において、顔位置の動きに周期性が見られなければ、ノイズ低減ステップＳ１４１、脈拍算出ステップＳ１５１、ストレス度、覚醒度測定ステップＳ１６１へと順次進む。
【０２３９】
ステップＳ１４１におけるノイズ低減方法、ステップＳ１５１における脈拍推定、算出方法、及びステップＳ１６１におけるストレス度、覚醒度測定方法は、実施の形態１における脈拍検出フローに示したステップＳ４１、ステップＳ５１及びステップＳ６１に示したのとそれぞれ同様である。
【０２４０】
（ステップＳ１４２：ノイズ低減ステップからステップＳ１６２：ストレス度、覚醒度測定ステップまで）
ステップＳ１２０において、顔検出に失敗した場合は、肌領域検出ステップＳ１４２、脈拍算出ステップＳ１５２、ストレス度、覚醒度測定ステップＳ１６２へと順次進む。
【０２４１】
ステップＳ１４２における肌領域検出方法、ステップＳ１５２における脈拍推定、算出方法、及びステップＳ１６２におけるストレス度、覚醒度測定方法は、実施の形態１における脈拍検出フローに示したステップＳ４２、ステップＳ５２及びステップＳ６２に示したのとそれぞれ同様である。
【０２４２】
以上、説明したように、本実施の形態によれば、撮影対象となる人のプライバシーを守りつつ、かつ、撮像領域において、人の動きがあったり、顔が隠れていたり、顔が撮像部１２の方向を向いていないような種々の場合に対しても、各機能ブロックにおいて、適切な処理方法を選択して脈拍検出処理を行うことにより、撮像部１２で取得した画像から、直接的に、人の脈拍やストレス度、覚醒度を求めることができる。
【０２４３】
なお、本実施形態における脈拍検出方法は、図２４に示した方法に限定されるものでなく、図２３に示したように、撮像領域の状況や、その中での人の状況、各機能ブロックでの処理結果等に応じて、予め用意された種々の処理方法を組み合わせて、脈拍検出を行うことができる。
【０２４４】
なお、本実施形態において、脈拍検出の対象は人であるが、動物等の人以外の生体に対しても、本発明に係る脈拍検出は適用可能である。
【０２４５】
（その他の実施の形態）
上述した構成以外に、他の構成も採りうる。例えば、実施の形態１において、散光部１１を設ける構成も採りうる。
【０２４６】
散光部１１を設けることにより、撮像部１２への入射光が散乱ないし減光されるため、得られる画像は不鮮明な画像となる一方、画像情報から直接、人物が特定されることは回避できる。対象となる人がカメラ前にいるのが明白な場合の脈拍等の検査がこれに該当する。例えば、病院の検査室での脈拍やストレス度検査で、患者のプライバシーを特に保護する必要がある場合等に、本発明の脈拍検出装置や脈拍検出方法を適用する場合が挙げられる。
【０２４７】
また、実施の形態２において、散光部１１を設けない構成も採りうる。
【０２４８】
この場合は、例えば、撮像部１２において、機械的にレンズを移動させる等して、撮像焦点をずらして画面を不鮮明にすることで、散光部１１は不要となるとともに、撮影される人のプライバシーを守ることもできる。
【０２４９】
ただし、撮影された対象が人等の生体であるかどうかを知るために、人検出器２０による判定は行う必要がある。
【０２５０】
なお、実施の形態１、２、及びその他の実施の形態において、撮影時の光源は、自然光であっても、蛍光灯やＬＥＤ照明等の人工光であってもよい。光源の波長域に応じて、例えば、脈拍算出に用いる波長成分やノイズ低減に用いる波長成分は、適宜変更可能である。
【０２５１】
また、撮像部１２における撮像素子、光学系等のハード構成を除き、各機能ブロックは、ワイヤードロジックで実現されていてもよい。専用ＬＳＩ、またはＬＳＩ内の専用ブロックでの実現も可能である。
【産業上の利用可能性】
【０２５２】
本発明の脈拍検出装置は、撮像領域において、人の動きがあったり、顔が隠れていたり、顔が撮像部の方向を向いていないような種々の場合に対しても、撮像部１２で取得した画像から、直接的に、人の脈拍やストレス度、覚醒度を求めることができ、極めて有用である。
【符号の説明】
【０２５３】
１０    脈拍検出装置
１１    散光部
１２    撮像部
１３    顔検出器
１３ａ  顔器官検出部
１４    ノイズ低減器
１５    脈拍算出器
１６    ストレス度測定器
１７    覚醒度測定器
２０    人検出器（生体検出器）
２０ａ  動き検出部
１００  脈拍検出システム
１０１  システムバス
１０２  ビデオカメラ
１０３  ＣＰＵ
１０４  信号処理部
１０５  通信部
１０６  ＲＯＭ
１０７  ＲＡＭ
１０８  ＨＤＤ
１１０  コンピュータ
１１１  ディスプレイ
１１２  操作部
【図１】
2018068720.tif 000004
【図２】
2018068720.tif 000005
【図３】
2018068720.tif 000006
【図４】
2018068720.tif 000007
【図５】
2018068720.tif 000008
【図６】
2018068720.tif 000009
【図７】
2018068720.tif 000010
【図８】
2018068720.tif 000011
【図９】
2018068720.tif 000012
【図１０】
2018068720.tif 000013
【図１１】
2018068720.tif 000014
【図１２】
2018068720.tif 000015
【図１３】
2018068720.tif 000016
【図１４】
2018068720.tif 000017
【図１５】
2018068720.tif 000018
【図１６】
2018068720.tif 000019
【図１７】
2018068720.tif 000020
【図１８】
2018068720.tif 000021
【図１９】
2018068720.tif 000022
【図２０】
2018068720.tif 000023
【図２１】
2018068720.tif 000024
【図２２】
2018068720.tif 000025
【図２３】
2018068720.tif 000026
【図２４】
2018068720.tif 000027
【図２５】
2018068720.tif 000028
【図２６】
2018068720.tif 000029