(57)【要約】  脈波の検出において、被測定者の顔が動くことによって脈波の情報の精度が低下することを、抑制する。本発明の一実施態様における脈波検出装置は、被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定する関心領域設定部と、前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成する輝度データ生成部と、前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成する変位データ生成部と、前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出する、脈波成分抽出部と、前記抽出された信号成分に基づく脈波の情報を出力する出力部と、を備える。
2019102966.tif 000002
【特許請求の範囲】
【請求項１】
被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定する関心領域設定手段と、
前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成する輝度データ生成手段と、
前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成する変位データ生成手段と、
前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出する、脈波成分抽出手段と、
前記抽出された信号成分に基づく脈波の情報を出力する出力手段と、
を備える脈波検出装置。
【請求項２】
前記変位データ生成手段は、前記顔から検出される特徴点の位置の、前記時系列画像に対して設定される１つの基準方向の変化に基づいて、前記変位データを生成する、請求項１に記載の脈波検出装置。
【請求項３】
前記変位データ生成手段は、前記基準方向を前記顔の向きに基づいて設定する、請求項２に記載の脈波検出装置。
【請求項４】
前記変位データ生成手段は、前記被測定者にとって左右方向に相当する方向を、前記基準方向として設定する、請求項２または３に記載の脈波検出装置。
【請求項５】
前記変位データ生成手段は、前記被測定者の鼻における特徴点の位置を用いて前記変位データを生成する、請求項１から４のいずれか一項に記載の脈波検出装置。
【請求項６】
前記脈波成分抽出手段は、前記変位データと前記輝度データとを用いて、前記被測定者の顔の動きに起因する輝度値の変化を示すノイズ時系列データを生成し、前記ノイズ時系列データのデータ値を、前記輝度データのデータ値から減算することによって、前記輝度データを補正する、
請求項１から５のいずれか一項に記載の脈波検出装置。
【請求項７】
前記脈波成分抽出手段は、前記変位データのデータ値を加工する複数の所定の関数のうち、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定し、前記特定された所定の関数を用いた加工により生成する時系列データを、前記ノイズ時系列データとして生成する、
請求項６に記載の脈波検出装置。
【請求項８】
前記所定の関数は、前記変位データのデータ値から、変位の基準値を差し引いた後、係数を乗じる関数であり、
前記脈波成分抽出手段は、前記所定の関数を用いた加工により生成する時系列データと、前記輝度データの、輝度の基準値からの差分を示す輝度差分データと、の間の平均二乗誤差が最小となるような、前記係数の値を算出することにより、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定する、
請求項６に記載の脈波検出装置。
【請求項９】
前記輝度データ生成手段は、複数の前記関心領域のそれぞれから前記輝度データを生成し、
前記脈波検出装置は、
前記脈波成分抽出手段により補正された複数の前記輝度データの各々に対し、データ値の分散の大きさに基づく信頼度を関連づける関連づけ手段と、
補正された複数の前記輝度データの各々を前記信頼度に基づき重みづけし、重みづけされた複数の前記輝度データのデータ値を時点ごとに足し合わせることで、合成された前記輝度データを生成する合成手段と、
を備える、請求項６から８のいずれか一項に記載の脈波検出装置。
【請求項１０】
前記輝度データ生成手段は、複数の色成分のそれぞれにつき前記輝度データを生成し、
前記脈波成分抽出手段は、複数の色成分の前記輝度データに対し独立成分分析を適用することで相異なる信号成分をそれぞれ示す複数の時系列データを生成し、前記複数の時系列データから複数の周波数を脈拍数の候補として特定し、前記変位データの周波数スペクトルにおいて存在するピークの周波数と同じ周波数を前記脈拍数の候補から除外し、除外されなかった前記候補から脈拍数を推定する、
請求項１から５のいずれか一項に記載の脈波検出装置。
【請求項１１】
被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定し、
前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成し、
前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成し、
前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出し、
前記抽出された信号成分に基づく脈波の情報を出力する、
脈波検出方法。
【請求項１２】
前記顔から検出される特徴点の位置の、前記時系列画像に対して設定される１つの基準方向の変化に基づいて、前記変位データを生成する、請求項１１に記載の脈波検出方法。
【請求項１３】
前記基準方向を前記顔の向きに基づいて設定する、請求項１２に記載の脈波検出方法。
【請求項１４】
前記被測定者にとって左右方向に相当する方向を、前記基準方向として設定する、請求項１２または１３に記載の脈波検出方法。
【請求項１５】
前記被測定者の鼻における特徴点の位置を用いて前記変位データを生成する、請求項１１から１４のいずれか一項に記載の脈波検出方法。
【請求項１６】
前記変位データと前記輝度データとを用いて、前記被測定者の顔の動きに起因する輝度値の変化を示すノイズ時系列データを生成し、前記ノイズ時系列データのデータ値を、前記輝度データのデータ値から減算することによって、前記輝度データを補正する、
請求項１１から１５のいずれか一項に記載の脈波検出方法。
【請求項１７】
前記変位データのデータ値を加工する複数の所定の関数のうち、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定し、前記特定された所定の関数を用いた加工により生成する時系列データを、前記ノイズ時系列データとして生成する、
請求項１６に記載の脈波検出方法。
【請求項１８】
前記所定の関数は、前記変位データのデータ値から、変位の基準値を差し引いた後、係数を乗じる関数であり、
前記所定の関数を用いた加工により生成する時系列データと、前記輝度データの、輝度の基準値からの差分を示す輝度差分データと、の間の平均二乗誤差が最小となるような、前記係数の値を算出することにより、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定する、
請求項１７に記載の脈波検出方法。
【請求項１９】
複数の前記関心領域のそれぞれから前記輝度データを生成し、
前記変位データと前記輝度データとを用いて補正された複数の前記輝度データの各々に対し、データ値の分散の大きさに基づく信頼度を関連づけ、
補正された複数の前記輝度データの各々を前記信頼度に基づき重みづけし、重みづけされた複数の前記輝度データのデータ値を時点ごとに足し合わせることで、合成された前記輝度データを生成する、
請求項１６から１８のいずれか一項に記載の脈波検出方法。
【請求項２０】
複数の色成分のそれぞれにつき前記輝度データを生成し、
複数の色成分の前記輝度データに対し独立成分分析を適用することで相異なる信号成分をそれぞれ示す複数の時系列データを生成し、前記複数の時系列データから複数の周波数を脈拍数の候補として特定し、前記変位データの周波数スペクトルにおいて存在するピークの周波数と同じ周波数を前記脈拍数の候補から除外し、除外されなかった前記候補から脈拍数を推定する、
請求項１１から１５のいずれか一項に記載の脈波検出方法。
【請求項２１】
コンピュータに、
被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定する関心領域設定処理と、
前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成する輝度データ生成処理と、
前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成する変位データ生成処理と、
前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出する、脈波成分抽出処理と、
前記抽出された信号成分に基づく脈波の情報を出力する出力処理と、
を実行させるプログラムを記憶した、コンピュータ読み取り可能な非一時的な記憶媒体。
【請求項２２】
前記変位データ生成処理は、前記顔から検出される特徴点の位置の、前記時系列画像に対して設定される１つの基準方向の変化に基づいて、前記変位データを生成する、請求項２１に記載の記憶媒体。
【請求項２３】
前記変位データ生成処理は、前記基準方向を前記顔の向きに基づいて設定する、請求項２２に記載の記憶媒体。
【請求項２４】
前記変位データ生成処理は、前記被測定者にとって左右方向に相当する方向を、前記基準方向として設定する、請求項２２または２３に記載の記憶媒体。
【請求項２５】
前記変位データ生成処理は、前記被測定者の鼻における特徴点の位置を用いて前記変位データを生成する、請求項２１から２４のいずれか一項に記載の記憶媒体。
【請求項２６】
前記脈波成分抽出処理は、前記変位データと前記輝度データとを用いて、前記被測定者の顔の動きに起因する輝度値の変化を示すノイズ時系列データを生成し、前記ノイズ時系列データのデータ値を、前記輝度データのデータ値から減算することによって、前記輝度データを補正する、
請求項２１から２５のいずれか一項に記載の記憶媒体。
【請求項２７】
前記脈波成分抽出処理は、前記変位データのデータ値を加工する複数の所定の関数のうち、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定し、前記特定された所定の関数を用いた加工により生成する時系列データを、前記ノイズ時系列データとして生成する、
請求項２６に記載の記憶媒体。
【請求項２８】
前記所定の関数は、前記変位データのデータ値から、変位の基準値を差し引いた後、係数を乗じる関数であり、
前記脈波成分抽出処理は、前記所定の関数を用いた加工により生成する時系列データと、前記輝度データの、輝度の基準値からの差分を示す輝度差分データと、の間の平均二乗誤差が最小となるような、前記係数の値を算出することにより、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定する、
請求項２７に記載の記憶媒体。
【請求項２９】
前記輝度データ生成処理は、複数の前記関心領域のそれぞれから前記輝度データを生成し、
前記プログラムは、前記コンピュータに、
前記脈波成分抽出処理により補正された複数の前記輝度データの各々に対し、データ値の分散の大きさに基づく信頼度を関連づける関連づけ処理と、
補正された複数の前記輝度データの各々を前記信頼度に基づき重みづけし、重みづけされた複数の前記輝度データのデータ値を時点ごとに足し合わせることで、合成された前記輝度データを生成する合成処理と、
を実行させる、請求項２６から２８のいずれか一項に記載の記憶媒体。
【請求項３０】
前記輝度データ生成処理は、複数の色成分のそれぞれにつき前記輝度データを生成し、
前記脈波成分抽出処理は、複数の色成分の前記輝度データに対し独立成分分析を適用することで相異なる信号成分をそれぞれ示す複数の時系列データを生成し、前記複数の時系列データから複数の周波数を脈拍数の候補として特定し、前記変位データの周波数スペクトルにおいて存在するピークの周波数と同じ周波数を前記脈拍数の候補から除外し、除外されなかった前記候補から脈拍数を推定する、
請求項２１から２５のいずれか一項に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、脈波の情報を画像から取得する技術に関する。
【背景技術】
【０００２】
被測定者の顔の撮影を行い、撮影により得られた動画像から脈波を検出する方法が知られている。例えば、非特許文献１、および特許文献１から３は、顔の動画像から脈波を検出する方法を記載する文献である。なお、「脈波」とは、血管内の血液の体積の変動である。脈波の解析により、例えば、脈波の情報の１つである脈拍数（通常、心拍数と同じ）がわかる。【０００３】
非特許文献１では、顔の領域から検出されるＲ成分（Ｒｅｄ成分）、Ｇ成分（Ｇｒｅｅｎ成分）、およびＢ成分（Ｂｌｕｅ成分）の光の輝度の、各平均値の時間変化を独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）で処理してから、脈拍数を推定する方法が説明されている。この方法では、独立成分を周波数スペクトルに変換後、周波数スペクトルに含まれるピークの周波数から、脈拍数が推定される。【０００４】
特許文献１にも、独立成分分析により得られるスペクトル分布から脈拍数を検出する技術が記載されている。【０００５】
ところで、被測定者が撮影中に動いた場合、画像において輝度値が検出される領域（計測領域、関心領域とも称す）が固定的であると、計測領域に含まれる顔の部位が変化するので、検出される輝度値は変化する。すなわち、顔の位置および向きの変化は、脈波を示す信号に対するノイズの原因となる。したがって、脈波の情報をより精度よく取得するには、顔の位置および向きの変化に起因するノイズへの対策が重要である。【０００６】
特許文献２は、計測領域の境界において検出精度を観測することで、顔の横方向の移動があった場合にも精度が低下しないための処理を行う脈波検出装置を開示している。【０００７】
特許文献３は、脈波の信号を取得するための「サンプル」（複数の画素から成る小領域の対）の位置を追跡し、信頼できると判定されたサンプルの信号から脈拍数を算出する計測装置が開示されている。【０００８】
特許文献４には、所定の向きに対する、被測定者の顔の向きの回転角度を検出し、検出された回転角度に基づき、脈波の計測領域の位置を算出する脈波検出装置が記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１２−２３９６６１号公報
【特許文献２】特開２０１４−１９８２００号公報
【特許文献３】特開２０１７−９３７６０号公報
【特許文献４】特開２０１４−１９８２０１号公報
【非特許文献】
【００１０】
【非特許文献１】Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, “Non-contact, automated cardiac pulse measurements using video imaging and blind source separation”, OPTICS EXPRESS, Vol.18, No.10, May 2010, pp.10762-10774.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
特許文献２から４に記載される技術等によって計測領域が顔の特定部分の範囲に連動するように設定されたとしても、その特定部分の向きの変化や光の当たり方の変化により、その検出領域から抽出される輝度値には、顔の向きの変化に起因するノイズが含まれる。【００１２】
本発明は、被測定者の顔が動くことによる脈波の情報の精度の低下を、抑制する装置および方法等を提供することを、目的の１つとする。
【課題を解決するための手段】
【００１３】
本発明の一実施態様に係る脈波検出装置は、被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定する関心領域設定手段と、前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成する輝度データ生成手段と、前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成する変位データ生成手段と、前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出する、脈波成分抽出手段と、前記抽出された信号成分に基づく脈波の情報を出力する出力手段と、を備える。【００１４】
本発明の一実施態様に係る脈波検出方法は、被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定し、前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成し、前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成し、前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出し、前記抽出された信号成分に基づく脈波の情報を出力する。【００１５】
本発明の一実施態様に係るプログラムは、コンピュータに、被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定する関心領域設定処理と、前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成する輝度データ生成処理と、前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成する変位データ生成処理と、前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出する、脈波成分抽出処理と、前記抽出された信号成分に基づく脈波の情報を出力する出力処理と、を実行させる。上記プログラムは、例えば、コンピュータ読み取り可能な非一時的な記憶媒体に記憶される。
【発明の効果】
【００１６】
本発明によれば、被測定者の顔が動くことによる脈波の情報の精度の低下が、抑制される。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る脈波検出装置の構成を示すブロック図である。
【図２】輝度データの例を示す図である。
【図３】変位データの例を示す図である。
【図４】輝度データから補正データを生成する方法の例を概念的に示す図である。
【図５】独立成分分析を用いて脈拍推定を行う方法を概念的に示す図である。
【図６】第１の実施形態に係る脈波検出装置の動作の流れを示すフローチャートである。
【図７】第１の実施形態に係る脈波検出装置の変形例の構成を示すブロック図である。
【図８】本発明の第２の実施形態に係る脈波検出装置の構成を示すブロック図である。
【図９】本発明の第３の実施形態に係る脈波検出装置の構成を示すブロック図である。
【図１０】第３の実施形態に係る心拍数の推定方法の例を説明するための図である。
【図１１】本発明の一実施形態に係る脈波検出装置の構成を示すブロック図である。
【図１２】一実施形態に係る脈波検出装置の動作の流れを示すフローチャートである。
【図１３】本発明の各実施形態の各部を構成するハードウェアの例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
【００１９】
＜＜第１の実施形態＞＞
まず、本発明の第１の実施形態について説明する。第１の実施形態に係る脈波検出装置１１は、脈波を検出する装置である。脈波を検出するとは、具体的には、脈波により変化する信号を含むデータから、脈波により変化する信号を見出し、脈波の情報を導出することである。脈波の情報の例には、脈波により変化する信号の時系列データ、および脈拍数が含まれる。以下、脈波を検出することを、脈波検出とも呼ぶ。
【００２０】
［構成］
図１は、脈波検出装置１１の構成を示すブロック図である。第１の実施形態では、脈波検出装置１１と撮像装置３０とが通信可能に接続される。脈波検出装置１１と撮像装置３０との間の通信の方法は、任意の通信方法（例えば、ケーブルを介した通信または無線通信等）でよい。
【００２１】
脈波検出装置１１は、記憶部１１０、関心領域設定部１１１、輝度データ生成部１１２、変位データ生成部１１３、脈波情報導出部１１４、および出力部１１９を含む。
【００２２】
関心領域設定部１１１、輝度データ生成部１１２、変位データ生成部１１３、脈波情報導出部１１４、および出力部１１９は、例えば、プログラムを実行する１つまたは複数のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により実現される。
【００２３】
＜撮像装置３０＞
撮像装置３０は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を搭載する、撮像装置である。例えば、撮像装置３０は、Ｒ（Ｒｅｄ）成分、Ｇ（Ｇｒｅｅｎ）成分、およびＢ（Ｂｌｕｅ）成分等の光の強度を測定する複数の受光素子を搭載する。撮像装置３０は、既存の携帯端末装置に実装されているインカメラおよびアウトカメラのように、脈波検出装置１１に一体となって搭載されているカメラでもよい。あるいは、撮像装置３０は、外部端子を介して脈波検出装置１１に接続された、デジタルカメラまたはウェブカメラ等でもよい。撮像装置３０は、可視光カメラに限らず、近赤外線カメラや赤外線カメラ等でもよい。なお、以降の説明では、Ｒ成分、Ｇ成分およびＢ成分の色の強さが記述されたカラー画像が主に想定されるが、画像はグレースケールの画像でもよい。グレースケールの画像は、１つの色の強さが表現された画像とみなされる。したがって、画像がグレースケールの画像である場合は、以下でＲ、Ｇ、Ｂのいずれかの成分に対する処理として説明される処理が、グレースケールの画像の輝度値に対する処理に相当すると解釈されてよい。
【００２４】
撮像装置３０は、脈波の検出の対象となる人物の顔の動画像を撮る。撮像装置３０は、所定のフレームレートで対象の人物を一定時間（例えば数秒間または数分間）、継続的に撮像することで、動画像を取得する。以下、撮像により得られる、時間的に連続した複数の顔画像（換言すれば、時系列画像）のデータを、動画像データと称す。
【００２５】
動画像データの各フレームは、一例として、横６４０画素×縦４８０画素の矩形である。フレームに含まれる各画素は、色の輝度の情報を有する。輝度の情報は、階調値で与えられる。例えば、動画像がグレースケールの動画像である場合は、画素は、輝度を表す階調値を有する。動画像がカラーの動画像である場合は、画素は、例えば三原色であるＲ成分、Ｇ成分、およびＢ成分のそれぞれの輝度の階調値を有する。階調値は、例えば、８ｂｉｔの情報で表される。なお、画素の階調値は、ＲＧＢ表色系に基づくＲＧＢ値ではなく、ＲＧＢ値と互いに変換可能な関係にある、他の表色系（ＨＳＶ表色系，ＹＵＶ表色系等）に基づく値により、表されてもよい。
【００２６】
以下の説明において、画素に与えられた各色の輝度の階調値を、「画素値」または「輝度値」とも称する。
【００２７】
なお、変更例として、撮像装置３０は、動画像データを脈波検出装置１１に出力する、撮像装置以外のデバイスに置き換えられてもよい。そのようなデバイスは、例えば、動画像データを記憶する記憶媒体から動画像データを読み取る読み取り装置、または記憶装置等である。また、他の変更例として、脈波検出装置１１は、フラッシュメモリ等の記憶媒体から動画像データを読み出してもよい。あるいは、脈波検出装置１１は、脈波検出装置１１内の記憶領域において記憶されている動画像データを読み出してもよい。
【００２８】
＜脈波検出装置１１の各部の構成＞
脈波検出装置１１の各部による処理の対象となる動画像データの時間的範囲を、以下、「対象データ範囲」と称する。対象データ範囲は、取得された動画像データの一部または全部の長さである。例えば、脈波検出装置１１は、３０秒を対象データ範囲とする。対象データ範囲が動画像データよりも短い場合、脈波検出装置１１は、複数の範囲をそれぞれ異なる対象データ範囲として、それぞれの対象データ範囲について、脈波の検出に係る処理を実行してもよい。なお、この場合における複数の範囲は、一部が互いに重複する範囲でもよい。
【００２９】
＜記憶部１１０＞
記憶部１１０は、脈波検出装置１１が用いる情報、および、脈波検出装置１１による処理により生成された情報を記憶する。記憶部１１０は、例えば、メモリである。記憶部１１０は、ハードディスク等の補助記憶装置でもよい。
【００３０】
記憶部１１０は、例えば、撮像装置３０から出力された動画像データを記憶してもよい。
【００３１】
＜出力部１１９＞
出力部１１９は、脈波検出装置１１により生成された情報を出力する。出力部１１９による出力の出力先の例には、表示装置、記憶装置、および通信ネットワークが含まれる。出力部１１９が情報を表示装置に出力する場合、出力部１１９は、表示装置が該情報を表示できるよう、情報を変換してもよい。なお、上記した表示装置および記憶装置は、脈波検出装置１１の外部のデバイスであってもよいし、脈波検出装置１１に含まれる構成要素であってもよい。
【００３２】
＜関心領域設定部１１１＞
関心領域設定部１１１は、関心領域（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）を設定する。本開示における関心領域とは、画像の中の、脈波検出装置１１による画像処理の対象となる領域のことである。関心領域は、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）とも表記される。脈波検出装置１１は、関心領域に含まれる画素の画素値を、脈波の情報を検出するために使用する。
【００３３】
関心領域設定部１１１は、例えば、予め決められたアルゴリズムに従って（すなわち自動で）、関心領域を設定してもよい。例えば、関心領域設定部１１１は、代表的なフレームにおいて、顔の特徴点の検出を行い、その特徴点の座標に基づいて、予め決められたアルゴリズムに従って関心領域を設定してもよい。
【００３４】
上記顔の特徴点の検出には、既存の顔特徴点検出の手法が用いられればよい。顔特徴点検出の手法としては、例えば、Ｈａａｒ−ｌｉｋｅ特徴の検出とＡｄａＢｏｏｓｔ（Ａｄａｐｔｉｖｅ  Ｂｏｏｓｔｉｎｇ）による学習とを組み合わせた検出手法が挙げられる。
【００３５】
上記予め決められたアルゴリズムは、特徴点を用いて領域を設定するアルゴリズムであればどのようなアルゴリズムでもよい。例として、関心領域設定部１１１は、「口の右端に相当する特徴点と、鼻の右端に相当する特徴点と、右目の下側の中央に相当する特徴点と、を頂点とする三角形の領域を関心領域として設定する」というアルゴリズムに従い、特定される領域を、関心領域として設定してもよい。
【００３６】
上記代表的なフレームの選び方は、任意の選び方でよい。例えば、対象データ範囲に含まれるフレームのうち、最初のフレームが、代表的なフレームとして選択されてもよい。
【００３７】
関心領域設定部１１１は、関心領域を指定する入力を受け付け、その入力に基づいて関心領域を設定してもよい。そのような場合、関心領域設定部１１１は、入力インタフェースを有していてもよい。出力部１１９が動画像データの全部または一部を表示装置に表示させ、人が、表示された情報を参照しながら、入力インタフェースを介して関心領域を指定する情報を入力してもよい。関心領域設定部１１１は、入力インタフェースから関心領域を指定する情報を受け取り、その受け取った情報に基づいて関心領域を設定してもよい。なお、関心領域を指定する情報は、例えば、図形を表す情報により表される。例として、画像中の２か所の点を選択することにより、関心領域設定部１１１は、その２か所の点を結ぶ線分を対角線とする、二辺が画像の横方向に平行な長方形の領域を、関心領域として設定してもよい。
【００３８】
脈波検出装置１１が「額」や「頬」等のパーツを認識可能である場合は、関心領域を指定する情報は、顔のパーツを指定する情報でもよい。そのような場合、関心領域設定部１１１は、代表的なフレームにおける、指定された顔のパーツが占める領域を特定し、その領域を、関心領域として設定すればよい。
【００３９】
関心領域設定部１１１は、異なる手順で特定された複数の領域を、関心領域として設定してもよい。
【００４０】
＜輝度データ生成部１１２＞
輝度データ生成部１１２は、動画像データと、関心領域設定部１１１により設定された関心領域とを、入力として受け付け、輝度データを生成する。輝度データとは、本実施形態では、輝度値の時系列データである。
【００４１】
輝度データ生成部１１２は、フレームごとに関心領域から得られる輝度値の、変動データを生成する。例えば、輝度データ生成部１１２は、各フレームの関心領域に含まれる各画素の、各色の輝度値の代表値を、算出する。これにより、輝度データ生成部１１２は、各色の輝度値の代表値の時系列データを生成する。動画像データの画素値がＲ成分、Ｇ成分、およびＢ成分のそれぞれの輝度値で表される場合は、輝度データ生成部１１２は、Ｒ成分、Ｇ成分およびＢ成分のそれぞれについて、輝度値の代表値の時系列データを生成する。以下、輝度値の代表値を、「輝度代表値」とも称す。
【００４２】
代表値は、関心領域内の各画素の画素値を代表する値である。代表値は、例えば、平均値、中央値、または最頻値等である。なお、平均値は、算術平均でもよいし、幾何平均や調和平均でもよい。
【００４３】
動画像データにおけるｔ番目（ｔ＝１，２，３，・・・）のフレームをフレームｔとする。フレームｔの座標（i, j）におけるＲ成分、Ｇ成分、およびＢ成分の輝度値をそれぞれRt(i, j)、Gt(i, j)、およびBt(i, j)とする。関心領域をＲOIとすると、例として、関心領域内の画素のＧ成分の輝度代表値Gt_repは、下記の式で算出される。
【００４４】
【数１】
2019102966.tif 000003
【００４５】
ただし、記号「Ｓ」は、関心領域ＲOIの面積、すなわち、関心領域ＲOIに含まれる画素の数である。この算出式は、輝度代表値として各輝度値の算術平均が採用される場合の算出式である。特に、関心領域が矩形であり、is≦i≦ie、js≦j≦jeを満たす点(i, j)の集合である場合、Gt_repは、下記の式で算出される。
【００４６】
【数２】
2019102966.tif 000004
【００４７】
Ｒ成分の輝度代表値Rt_rep、およびＢ成分の輝度代表値Bt_repの算出方法も、同様である。
【００４８】
輝度データ生成部１１２は、対象データ範囲に含まれる各フレームについて、輝度代表値Rt_rep、Gt_rep、およびBt_repを算出する。輝度データ生成部１１２は、それぞれのフレームの輝度代表値を時系列に並べることで、各色の輝度代表値の時系列データR_rep、G_rep、およびB_repを生成する。
【００４９】
図２は、輝度データG_repのグラフの例を示す図である。図２の例は、３０フレーム／秒のフレームレートで取得された、３０秒間分（すなわち、端点を含めて９０１フレーム）の画像に対して生成された、輝度データG_repの例である。横軸の値は、対象データ範囲に含まれるフレームの番号であり、縦軸の値は、輝度代表値Gt_repの値（Ｉｎｔｅｎｓｉｔｙ）である。輝度データの横軸の値は、時間（範囲は０秒から３０秒）で表されてもよい。輝度データは、脈波を示す時系列データである。輝度データ生成部１１２が生成する輝度データ自体が、脈波の情報の１つである。
【００５０】
＜変位データ生成部１１３＞
変位データ生成部１１３は、動画像データを入力として受け付け、対象データ範囲における、変位データを生成する。変位データは、被測定者の顔の動きを示すデータである。変位データは、被測定者の顔の、画像における位置の変化、および、画像に対する向きの変化にしたがって変動する信号の、時系列データである。
【００５１】
変位データ生成部１１３は、例えば、少なくとも１つの特徴点の、画像における座標値に基づき、変位データを生成する。より具体的には、例えば、変位データ生成部１１３は、ある特徴点の、横方向の座標値を、フレームごとに特定する。そして、変位データ生成部１１３は、その座標値を時系列で並べることにより、変位データを生成する。顔から特徴点を抽出する方法は、既に述べた方法と同様でよい。
【００５２】
図３は、上記の例に従って生成される変位データの例である。縦軸は画像における、対象の特徴点の横方向の位置を示す座標値「ｘ」である。画像が横方向に６４０ピクセルの長さを持つ場合、「ｘ」の値域は、例えば、０から６３９の範囲である。
【００５３】
使用される特徴点は、例えば、鼻の輪郭上の特徴点の１つである。鼻は、被測定者が撮像装置３０に対して正対した場合に撮像装置３０に最も近い部位である。また、鼻は、被測定者が顔を回転させる場合の回転軸からの距離が、他の部位に比べ遠い。そのため、鼻の特徴点の座標値は、他の部位の座標値に比べて顔の向きの変化が反映されやすい。
【００５４】
なお、被測定者が、画像における横方向と被測定者にとっての左右方向が一致するように撮影される場合は、画像の横方向は、被測定者にとっての左右方向に一致する。発明者らの知見によれば、被測定者にとっての上下方向の座標値の変動よりも、左右方向の座標値の変動の方が、脈波の情報を妨害する信号（すなわちノイズ）を発生しやすい傾向がある。
【００５５】
本開示において、被測定者にとっての“左右方向”とは、被測定者が直立した場合における、顔の正面の方向と鉛直方向とに垂直な方向である。左右方向は、例えば、被測定者の両目を通る直線に平行な方向に相当する。左右方向は、例えば、被測定者の首の長さ方向に対して垂直である。
【００５６】
被測定者が、画像における横方向と被測定者にとっての左右方向が一致するように撮影されることが、前提となっていない場合、変位データ生成部１１３は、画像において被測定者にとっての左右方向に相当する方向を、特定してから、その方向における位置を示す座標値を取得してもよい。変位データ生成部１１３は、例えば、代表的なフレームにおける、被測定者の両目の位置を検出し、両目を通る直線の方向を、画像において被測定者にとっての左右方向に相当する方向として特定すればよい。
【００５７】
なお、上下方向の座標値の変動もノイズの原因となり得るので、変位データ生成部１１３は、上下方向の座標値の変動を用いて、変位データを生成してもよい。例えば、変位データ生成部１１３は、上下方向の座標値の時系列データを、変位データとして生成してもよい。
【００５８】
変位データの生成方法は、上記の例に限られない。例えば、変位データ生成部１１３は、ある特徴点の二次元的な位置の推移を示す時系列データを、変位データとして生成してもよい。また、変位データ生成部１１３は、ある特徴点の基準位置からの距離の推移を示す時系列データを、変位データとして生成してもよい。そのような場合、基準位置は、例えば、横方向の座標値の最頻値と、縦方向の座標値の最頻値とで特定される点である。
【００５９】
変位データ生成部１１３は、複数の特徴点の位置の変化に基づいて変位データを生成してもよい。そのような場合、変位データ生成部１１３は、複数の特徴点の位置の情報を統合し、複数の特徴点の位置の変化に基づく１つの変数の推移を示す時系列データを、変位データとして生成してもよい。
【００６０】
例えば、変位データ生成部１１３は、目、鼻、および口の特徴点から複数点抽出し、それら複数点それぞれの横方向の座標値の推移を取得してもよい。そして、変位データ生成部１１３は、その複数点の座標値の平均の推移を示す時系列データを、変位データとして生成してもよい。
【００６１】
変位データ生成部１１３は、特許文献３に記載されるように、複数の特徴点の位置の変化に基づき、各フレームにおける顔の回転角度を求め、回転角度の推移を示す時系列データを、変位データとして生成してもよい。
【００６２】
＜脈波情報導出部１１４＞
脈波情報導出部１１４は、輝度データと変位データとに基づく、脈波の情報を導出する。
【００６３】
第１の実施形態における脈波情報導出部１１４は、補正部１１４１と、脈拍数推定部１１４２とを含む。補正部１１４１が、変位データに基づき、輝度データを補正する。そして、脈拍数推定部１１４２が、補正後の輝度データである補正データに基づき、被測定者の脈拍数を推定する。
【００６４】
以下、補正部１１４１が輝度データを補正する方法の具体例を説明する。
【００６５】
補正部１１４１は、例えば、次の手順により、変位の大きさが輝度データに与えた影響の大きさを見積もる。
【００６６】
補正部１１４１は、変位データから、変位データの基準値からの差分を表すデータである、変位差分データを得る。変位差分データは、変位データにおけるデータ値の、変位データの基準値からのずれの、時系列データである。変位データにおけるデータ値をｘ（ｔ）とし、変位データの基準値をμｘとすると、変位差分データにおけるデータ値ｄｘ（ｔ）は、ｄｘ（ｔ）＝ｘ（ｔ）−μｘである。基準値μｘは、例えば、測定範囲におけるデータ値ｘ（ｔ）の平均値である。補正部１１４１は、各時刻におけるｄｘ（ｔ）を算出し、ｄｘ（ｔ）の時系列データを得る。
【００６７】
また、補正部１１４１は、輝度データから、輝度データの基準値からの差分を表すデータである、輝度差分データを得る。輝度差分データは、データ値の、輝度データの基準値からのずれの、時系列データである。輝度データにおけるデータ値をＩ（ｔ）とし、輝度データの基準値をμＩとすると、変位差分データにおけるデータ値ｄＩ（ｔ）は、ｄＩ（ｔ）＝Ｉ（ｔ）−μＩである。基準値μＩは、例えば、測定範囲におけるデータ値Ｉ（ｔ）の平均値である。補正部１１４１は、各時刻におけるｄＩ（ｔ）を算出し、ｄＩ（ｔ）の時系列データを得る。
【００６８】
補正部１１４１は、色成分ごとの輝度データに対し、それぞれ、輝度差分データを得てもよい。補正部１１４１は、いずれか１つの輝度データに対し、輝度差分データを得てもよい。以下の例では、補正部１１４１は、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの輝度データに基づき、輝度差分データｄＲ、ｄＧ、およびｄＢを得たとする。
【００６９】
変位差分データと輝度差分データとを得た後、補正部１１４１は、変位差分データと輝度差分データとの関係を表す係数αを求める。
【００７０】
具体例を示す。変位の差分の大きさと、輝度データに与える影響の大きさ（すなわち、輝度値の変化量）との関係が、線形であると仮定するならば、変位に起因する輝度の変化を表すデータは、変位差分データのデータ値を定数倍することにより表される。そこで、補正部１１４１は、変位差分データのデータ値のそれぞれにαを乗じて得られる値と輝度差分データのデータ値との間の平均二乗誤差が、最小になるような、αの値を求める。このように求められるαは、変位差分データのデータ値の各々に乗じる値として考えられる値のうち、変位差分データのデータ値の各々に乗じて得られるデータ値の時系列データが、輝度差分データおよび輝度データに最も類似する、値である。αは、いわば、変位が輝度データに与える影響の程度を表す値である。αは、座標値を輝度値に変換する係数である。
【００７１】
変位差分データのデータ値にαを乗じて得られる時系列データは、変位に起因する輝度の変化を表すデータである。したがって、補正部１１４１は、輝度データのデータ値に対し、フレームごとに、変位差分データのデータ値とαとの積を減算することで、変位による輝度の変化について補正された、補正データを得る。
【００７２】
図４は、輝度データから補正データを生成する方法の例を概念的に示す図である。この例では、補正部１１４１は、「輝度データ」と、「変位差分データのα倍」との差分を、「補正データ」として生成する。
【００７３】
補正部１１４１により生成された補正データは、輝度データから、顔の位置と向きとの変化に起因する成分が抑制されたデータである。つまり、補正データは、輝度データのうち、脈波に起因する信号が抽出された（言い換えれば、強調された）、脈波の情報である。脈波検出装置１１は、出力部１１９により、補正データを出力してもよい。
【００７４】
変位データに基づいて輝度データを補正する方法は、上記の例に限られないが、上記の例以外の例は、後の［変形例１−２］の説明において説明する。
【００７５】
本実施形態の脈波検出装置１１は、さらに、脈拍数推定部１１４２により、被測定者の脈拍数を推定する。以下、脈拍数推定部１１４２による脈拍数の推定方法の例を説明する。
【００７６】
脈拍数推定部１１４２は、補正データに対し、周波数スペクトルに変換する変換処理を実行する。周波数スペクトルへの変換処理の例としては、離散フーリエ変換（ＤＦＴ：Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）、および離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）等がある。
【００７７】
脈拍数推定部１１４２は、変換処理によって、周波数スペクトルを生成する。以下の説明では、周波数スペクトルの一態様として、パワースペクトルを想定する。
【００７８】
なお、複数の補正データ（例えば、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの補正データ）がある場合、脈拍数推定部１１４２は、複数の補正データのそれぞれにつき、周波数スペクトルを生成してもよい。あるいは、脈拍数推定部１１４２は、複数の補正データを統合する（例えば、データ値をフレームごとに合計する）ことで１つの時系列データを生成した後、その生成した時系列データの周波数スペクトルを生成してもよい。あるいは、脈拍数推定部１１４２は、複数の補正データのうち信頼できる補正データを選択し、その選択された補正データの周波数スペクトルを生成してもよい。信頼できる補正データの例としては、Ｇ成分の補正データ、および、データ値の分散が最も小さい補正データ等が挙げられる。データ値の分散が最も小さい補正データが信頼できると言える理由は、補正前の輝度データにおいては、通常、脈波に由来するシグナルの変動値に比べノイズに由来するシグナルの変動値が大きいからである。つまり、データ値の分散がより小さいことは、補正によりノイズがより適切に低減できたことを意味するからである。
【００７９】
脈拍数推定部１１４２は、生成した周波数スペクトルに基づき、脈拍推定を行う。脈拍推定とは、脈拍数の推定値を導出することである。
【００８０】
具体的には、脈拍数推定部１１４２は、まず、周波数スペクトルの、被測定者の脈拍数が取りうる範囲（例えば、５０〜１８０［ｂｐｍ（ｂｅａｔｓ  ｐｅｒ  ｍｉｎｕｔｅ）］）に相当する周波数領域（約０．８３〜３［Ｈｚ］）において、強度が最大値をとる周波数を特定する。そして、脈拍数推定部１１４２は、特定された周波数を、脈拍数として決定する。脈拍数の単位は［ｂｐｍ］でもよい。脈拍数推定部１１４２は、単位に合わせて、脈拍数を示す数値を換算してもよい。単位が［ｂｐｍ］である場合は、脈拍数の値は、単位が［Ｈｚ］である場合の数値に６０を乗じて得られる実数でもよいし、その実数値に最も近い整数でもよい。
【００８１】
なお、異なる色成分につき生成される周波数スペクトル等、複数の周波数スペクトルがある場合、脈拍数推定部１１４２は、複数の周波数スペクトルのそれぞれから、上述の方法で脈拍数を導出してもよい。そのような場合、複数の脈拍数が導出されるので、脈拍数推定部１１４２は、導出された複数の脈拍数の代表値（平均値または中央値等）を、推定される脈拍数として決定してもよい。Ｇ成分は他の色成分よりもよく血液に吸収されるため、脈拍数推定部１１４２は、Ｇ成分に対して他の色成分よりも大きい重みを与えた上で算出される加重平均値を、代表値として算出してもよい。
【００８２】
脈波情報導出部１１４は、脈拍推定により導出された脈拍数を示す情報を出力部１１９に送出する。脈拍数を示す情報は、例えば、脈拍数の数値を表す電気的信号、脈拍数の数値を示すテキスト形式のデータ、および脈拍数の数値の表示を含む画像等である。
【００８３】
［変形例１−１］
脈拍推定の方法の変形例を説明する。脈拍数推定部１１４２は、各色成分（すなわち、Ｒ成分、Ｇ成分、Ｂ成分）に係る補正データに対して非特許文献１に記載されるような独立成分分析を行うことで、独立成分を導出してもよい。図５は、独立成分分析を用いて脈拍推定を行う方法を概念的に示す図である。図５に示すように、独立成分分析により、３つの補正データからは、３つの独立成分を示す成分データ（時系列）が得られる。脈拍数推定部１１４２は、得られた３つの成分データのそれぞれを周波数スペクトルに変換することで、３つの周波数スペクトル（図５における「成分データ（周波数）」）を得る。脈拍数推定部１１４２は、このようにして得られた周波数スペクトルから、脈拍数を導出する。
【００８４】
独立成分の周波数スペクトルから脈拍数を導出する方法は、例えば次の通りである。脈拍数推定部１１４２は、３つの周波数スペクトルの、被測定者の脈拍数が取りうる範囲に相当する周波数領域において、最大のピークを特定する（図５において「脈拍数を示すピーク」）。脈拍数推定部１１４２は、この特定されたピークの周波数を、推定される脈拍数として決定する。
【００８５】
［動作］
脈波検出装置１１の動作について説明する。図６は、脈波検出装置１１の動作の流れを示すフローチャートである。なお、各処理は、各処理がプログラムを実行するデバイスによって実行される場合においては、プログラムの中の命令の順序に従って実行されればよい。各処理が別個のデバイスによって実行される場合においては、処理を完了したデバイスが次の処理を実行するデバイスに通知を行うことで、次の処理が実行されればよい。なお、処理を行う各部は、めいめいの処理に必要なデータを、そのデータを生成した部から受け取るか、記憶部１１０から読み出せばよい。
【００８６】
まず、脈波検出装置１１は、撮像装置３０から動画像データを取得する（ステップＳ１１）。
【００８７】
すると、関心領域設定部１１１が、関心領域を設定する（ステップＳ１２）。
【００８８】
そして、輝度データ生成部１１２が、各フレームの関心領域に含まれる画素の輝度値から輝度データを生成する（ステップＳ１３）。
【００８９】
変位データ生成部１１３は、各フレームの特定の特徴点の位置から変位データを生成する（ステップＳ１４）。
【００９０】
輝度データと変位データとが生成されると、脈波情報導出部１１４の補正部１１４１が、変位データに基づき輝度データを補正する（ステップＳ１５）。そして、脈波情報導出部１１４の脈拍数推定部１１４２が、補正されたデータに基づき脈拍数を推定する（ステップＳ１６）。
【００９１】
そして、出力部１１９が、推定された脈拍数を示す情報を出力する（ステップＳ１７）。
【００９２】
なお、脈波検出装置１１は、時系列データの生成を、動画像データが取得されている時にリアルタイムに行ってもよい。すなわち、脈波検出装置１１は、ステップＳ１２からステップＳ１４の処理における各フレームに対する処理を、動画像データが分析に十分な長さになっているか否かに関わらず、随時実行してよい。そのような場合、記憶部１１０は、輝度データと変位データとを蓄積する。そして、所定のフレーム数分のデータが蓄積された場合に、脈波検出装置１１はステップＳ１５以降の処理を実行すればよい。
【００９３】
上記の処理の順番は一例である。各処理の順番は、本開示において開示される技術思想を逸脱しない限りにおいて自由に変更され得る。
【００９４】
［効果］
第１の実施形態に係る脈波検出装置１１によれば、被測定者の顔が動くことによる脈波の情報の精度の低下が、抑制される。
【００９５】
その理由は、脈波情報導出部１１４の補正部１１４１により、輝度データが変位データに基づいて補正されることで、より脈波を表すデータが強調された輝度データが得られるからである。
【００９６】
発明者らの試験によれば、上述した係数αを変位差分データに乗じることで得られる時系列データを、輝度データから減算する、という補正により生成される補正データを用いて導出される脈拍数は、上記補正を行わない場合に比べ精度が良いことが分かっている。
【００９７】
［変形例１−２］
変位データに基づいて輝度データを補正する方法の、上述の例以外の例を説明する。
【００９８】
補正部１１４１は、変位差分データの各データ値ｄｘ（ｔ）をβ乗することで得られる時系列データが、輝度データに最も類似するような、βの値を求めてもよい。類似性の判定方法については後述する。そして、補正部１１４１は、変位差分データの各データ値ｄｘ（ｔ）をβ乗することで得られる時系列データのデータ値を、フレームごとに、輝度データのデータ値から減算することで、補正データを生成してもよい。
【００９９】
より一般化して言えば、補正部１１４１は、変位差分データのデータ値ｄｘ（ｔ）を加工する関数ｆ（ｄｘ（ｔ））を複数用意し、関数のそれぞれを変位差分データのデータ値ｄｘ（ｔ）に対して適用することで複数の時系列データを生成し、生成した時系列データのうち、輝度データに最も類似する時系列データを生成する関数を特定してもよい。そして、補正部１１４１は、特定した関数を変位差分データのデータ値ｄｘ（ｔ）に対して適用することで生成する時系列データを、輝度データのデータ値から減算することで、補正データを生成してもよい。
【０１００】
上記の複数の関数ｆ（ｄｘ（ｔ））は、パラメータを含む所定の種類の関数であって、パラメータの値が異なる関数でもよい。例えば、第１の実施形態の説明において既に説明された方法は、パラメータαの値が異なる、複数の関数ｆ（ｄｘ（ｔ））＝ｄｘ（ｔ）×αを用いることに、相当する。
【０１０１】
データ値ｄｘ（ｔ）を加工する関数ｆ（ｄｘ（ｔ））の他の例は、次の通りである。
・ｆ（ｄｘ（ｔ））＝｛ｄｘ（ｔ）｝＾β  （ただし「＾」は累乗を表す）
・ｆ（ｄｘ（ｔ））＝｛ｄｘ（ｔ）｝＾β／γ
・ｆ（ｄｘ（ｔ））＝ｄｘ（ｔ）／（ｄｘ（ｔ）＋β）
ただし、上記はあくまで例である。
【０１０２】
なお、ｄｘ（ｔ）＝ｘ（ｔ）−μｘであるので、上述の説明における、変位差分データのデータ値ｄｘ（ｔ）を加工する関数ｆ（ｄｘ（ｔ））は、変位データのデータ値ｘ（ｔ）を加工する関数ｆ（ｘ（ｔ））、と読み替えられてもよい。その場合、関数ｆ（ｘ（ｔ））の例は、次の通りである。
・ｆ（ｘ（ｔ））＝（ｘ（ｔ）−μｘ）×α
・ｆ（ｘ（ｔ））＝（ｘ（ｔ）−μｘ）＾β
・ｆ（ｘ（ｔ））＝（ｘ（ｔ）−μｘ）／（ｘ（ｔ）−μｘ＋β）
・ｆ（ｘ（ｔ））＝（ｘ（ｔ）−μｘ）＾β／γ
補正部１１４１は、例えば上記のような、関数の種類とパラメータの値とで定まる、複数の所定の関数のうち、変位データのデータ値に対する加工により生成する時系列データが輝度データに最も類似する、所定の関数を特定する。特定された所定の関数を用いた加工により生成する時系列データは、被測定者の顔の動きに起因する輝度値の変化を示す時系列データであり、本開示では「ノイズ時系列データ」とも称する。そして、補正部１１４１は、ノイズ時系列データを、輝度データのデータ値から減算することで、補正データを生成する。
【０１０３】
以下、複数の関数のそれぞれを変位データのデータ値に適用することで得られる時系列データ（以下、「補正候補時系列データ」と表記）のうち、「輝度データに最も類似する時系列データ」を特定する方法の例を、説明する。
【０１０４】
補正部１１４１は、輝度差分データとの間で、対象データ範囲におけるデータ値の平均二乗誤差が最も小さい補正候補時系列データを、「輝度データに最も類似する時系列データ」として特定してもよい。ただし、関数によっては、補正部１１４１は、輝度データとの間の平均二乗誤差を用いてもよい。
【０１０５】
補正部１１４１は、補正候補時系列データ中の、特定の時点におけるデータ値と、輝度差分データ中の、特定の時点におけるデータ値との差が、最も小さい補正候補時系列データを、「輝度データに最も類似する時系列データ」として特定してもよい。特定の時点とは、例えば、補正候補時系列データにおいて絶対値が最も大きいデータ値に相当する時点である。脈波に起因する信号に比べノイズに起因する信号の方が強い場合には、このように絶対値が最も大きいデータ値を参照することが、ノイズ信号の大きさの特定に有効である。
【０１０６】
補正部１１４１は、補正候補時系列データ中の、複数の時点に相当する複数のデータ値の、輝度変位データにおける複数の時点に相当する複数のデータ値に対する二乗誤差が、最も小さい補正候補時系列データを、「輝度データに最も類似する時系列データ」として特定してもよい。上記複数の時点は、例えば、複数の時点を抽出する任意のアルゴリズムにしたがって抽出されればよい。例えば、補正部１１４１は、絶対値が大きい順にＰ個（Ｐは設定値）のデータ値に相当する時点を、上記複数の時点として抽出してもよい。
【０１０７】
［変形例１−３］
脈波検出装置１１は、取得された動画像データから、複数の対象データ範囲を設定し、複数の対象データ範囲それぞれに対して脈拍数を算出してもよい。
【０１０８】
例えば、脈波検出装置１１は、取得された動画像データのうち、最初のフレームからＮ枚目（Ｎは設定値）のフレームまでの範囲を第１の対象データ範囲として設定し、ｋ×Ｍ枚目のフレーム（Ｍは設定値、ｋ＝１，２，・・・）からＮ＋ｋ×Ｍ枚目のフレームまでの範囲を第ｋの対象データ範囲として設定してもよい。そして、それぞれの対象データ範囲について脈波の情報の導出を行い、計ｋ個の、脈拍数の推定値を算出してもよい。
【０１０９】
そして、脈波検出装置１１は、ｋ個の脈拍数の推定値の代表値を、推定される脈拍数として出力してもよい。代表値の種類は問わないが、例として平均値、または中央値である。脈波検出装置１１は、ｋ個の脈拍数の推定値が整数値であれば、代表値は最頻値でもよい。
【０１１０】
このような構成において、脈波検出装置１１は、図７のように、外れ値除去部１１５を備えていてもよい。図７は、外れ値除去部１１５を備える脈波検出装置１１ａの構成を示す。脈波検出装置１１ａの構成は、外れ値除去部１１５を備える点以外は、脈波検出装置１１の構成と同様でよい。
【０１１１】
外れ値除去部１１５は、算出された複数個の推定値のうち、外れ値として特定される推定値を除去する。外れ値を特定する方法は、既に知られている方法でよい。脈波検出装置１１ａは、算出された複数個の推定値から外れ値を除いた残りの推定値の、代表値を求め、その代表値を推定される脈拍数として出力する。外れ値を除去することにより、より精確に脈拍数が推定される。
【０１１２】
＜＜第２の実施形態＞＞
以下、第２の実施形態として、脈波検出装置が複数の関心領域を用いて脈波の情報を導出する実施形態を説明する。
【０１１３】
図８は、第２の実施形態に係る脈波検出装置１２の構成を示すブロック図である。脈波検出装置１２は、第１の実施形態の変形例の脈波検出装置１１ａと同様、記憶部１１０、関心領域設定部１１１、輝度データ生成部１１２、変位データ生成部１１３、外れ値除去部１１５、および出力部１１９を備える。そして、脈波検出装置１２は、脈波情報導出部１１４の代わりに、脈波情報導出部１２４を備える。
【０１１４】
脈波情報導出部１２４は、補正部１２４１と、関連づけ部１２４２と、合成部１２４３と、脈拍数推定部１２４４とを含む。
【０１１５】
補正部１２４１の機能は、第１の実施形態の補正部１１４１の機能と同様でよい。
【０１１６】
ただし、第２の実施形態では、関心領域設定部１１１は、複数の関心領域を設定する。そして、脈波検出装置１２は、複数の関心領域のそれぞれについて、輝度データの生成と、変位データの生成と、を行う。脈波情報導出部１２４の補正部１２４１は、複数の関心領域のそれぞれについて、補正データを生成する。
【０１１７】
複数の関心領域のそれぞれの補正データは、次に説明する関連づけ部１２４２および合成部１２４３の処理によって、１つの時系列データへ統合される。
【０１１８】
＜関連づけ部１２４２＞
関連づけ部１２４２は、複数の関心領域のそれぞれに、信頼性の高さを示す信頼度を関連づける。信頼度は、例えば、数値で表され、信頼度の値が高いほど、信頼性が高いことを意味する。
【０１１９】
信頼度により示される信頼性は、脈波の情報が正確に得られる領域としての信頼性である。つまり、信頼度は、その信頼度が関連づけられた関心領域から取得される輝度値の変動が、脈波を表すデータとしてどれだけ信頼できるかを示す。
【０１２０】
具体的には、関連づけ部１２４２は、補正データのデータ値の分散が小さい関心領域ほど信頼度が高くなるように、各関心領域に信頼度を関連づける。データ値の分散の大きさは、例えば、分散値の評価式Σt=1→t_max ｜ＶＥ−Ｖｔ｜２／ｔ_ｍａｘによって評価されればよい。ただし、ｔ＿ｍａｘは対象データ範囲に含まれるフレームの数、Ｖｔ（ｔ＝１，２，３，…，ｔ_ｍａｘ）はｔフレーム目のデータ値、ＶＥはデータ値の基準値（例えばＶｔの平均値、中央値または最頻値）である。
【０１２１】
また、関連づけ部１２４２は、分散が所定の基準を超える（例えば、分散値が所定値を超える等）関心領域に対しては一律に最低値（例えば“０”）を信頼度として関連づけてもよい。
【０１２２】
関連づけ部１２４２は、分散値が所定の閾値を超える場合に第１の数値Ｄ１を関連づけ、分散値が所定の閾値を超えない場合に第２の数値Ｄ２を関連づける、という方法を用いてもよい。そのような場合、Ｄ１はＤ２よりも小さい値である。
【０１２３】
関連づけ部１２４２は、全ての関心領域に対して信頼度を関連づけたあと、各関心領域の信頼度の総和が１になるように、各信頼度を正規化してもよい。
【０１２４】
＜合成部１２４３＞
合成部１２４３は、複数の関心領域の信頼度に基づき、複数の関心領域の補正データから１つの時系列データを合成する。
【０１２５】
色成分ごとに補正データがある場合、合成部１２４３は、色成分ごとに補正データを合成してもよい。すなわち、合成部１２４３は、例えば、Ｒ成分の時系列データ、Ｇ成分の時系列データ、およびＢ成分の時系列データを、それぞれ１つずつ生成してもよい。
【０１２６】
１つの色成分に関する複数の関心領域の補正データを用いた合成の、具体的な処理の流れの例を、以下で説明する。
【０１２７】
まず、合成部１２４３は、信頼度に基づいて、各関心領域の補正データに対して重みづけを行う。具体的には、例えば、合成部１２４３は、各関心領域の補正データのそれぞれのデータ値に対し、その関心領域の信頼度をかけることで、重みづけされた補正データを得る。
【０１２８】
そして、合成部１２４３は、重みづけされた各補正データを統合する。例えば、合成部１２４３は、重みづけされた各補正データのデータ値をフレームごとに足し合わせることで、１つの時系列データを得る。あるいは、合成部１２４３は、重みづけされた各補正データの平均（平均の種類は問わない）を算出することにより、１つの時系列データを得てもよい。
【０１２９】
＜脈拍数推定部１２４４＞
脈拍数推定部１２４４の機能は、第１の実施形態の脈拍数推定部１１４２と同様でよい。
【０１３０】
［効果］
第２の実施形態に係る脈波検出装置１２によれば、第１の実施形態における効果に加え、より精度良く脈波の情報が取得できる。その理由は、関連づけ部１２４２が、信頼性が高い関心領域から得られるデータの寄与が大きくなるように、関心領域に信頼度を関連づけ、合成部１２４３が信頼度に基づいて脈波の時系列データを生成するからである。この脈波の時系列データは、脈波の情報の１つである。また、この脈波の時系列データに基づき算出される脈拍数の推定値は、より精度がよいことが期待される。
【０１３１】
＜＜第３の実施形態＞＞
本発明の第３の実施形態として、脈拍数の導出方法が第１の実施形態と異なる実施形態を説明する。
【０１３２】
図９は、第３の実施形態の脈波検出装置１３の構成を示すブロック図である。脈波検出装置１３は、第１の実施形態の脈波検出装置１１と同様、記憶部１１０、関心領域設定部１１１、輝度データ生成部１１２、変位データ生成部１１３、および出力部１１９を含む。そして、脈波検出装置１３は、脈波情報導出部１１４の代わりに、脈波情報導出部１３４を備える。
【０１３３】
脈波情報導出部１３４は、輝度データと変位データとから、脈波の情報を導出する。脈波情報導出部１３４は、データ分析部１３４１と脈拍数推定部１３４２とを含む。
【０１３４】
データ分析部１３４１は、同じ時間範囲において得られた複数の輝度値データに対して独立成分分析を行い、複数の成分データを生成する。
【０１３５】
脈拍数推定部１３４２は、データ分析部１３４１により生成された成分データと変位データとに基づき、脈拍数を推定する。
【０１３６】
独立成分分析により得られる成分データを用いて脈拍数を推定する方法では、通常、非特許文献１にも開示されるように、いずれかの成分データにおける、脈拍数として取り得る値の範囲にあるピークの周波数が、脈拍数として決定される。脈拍数として取り得る値の範囲にあるピークが、複数の成分データにおいて全部で２つ以上発見される場合、いずれかのピークの周波数のうち１つを、脈拍数の推定値として選択する必要がある。しかし、そのような場合において、いずれのピークが脈拍数に一致するピークであるかは、自明でない場合がある。複数のピークのいずれかは、ノイズ成分に由来するピークである。そのようなピークが脈拍数として決定されてしまうと、誤った推定値が出力されることとなる。
【０１３７】
本実施形態の脈拍数推定部１３４２は、変位データの周波数スペクトルに基づき、ノイズ由来のピークであると推定されるピークを特定し、そのピーク以外のピークから脈拍数を推定する。なお、データ分析部１３４１が、変位データの周波数スペクトルを生成すればよい。
【０１３８】
図１０の例を用いて、脈拍数を推定する方法の具体例を説明する。
【０１３９】
図１０は３つの独立成分の成分データの例を示す。この３つの成分データに対し、脈拍数推定部１３４２は、例えば、被測定者の脈拍数が取りうる範囲に相当する周波数領域において、所定の強度以上のピークを抽出する。例として、第２成分の成分データと、第３成分の成分データとから、それぞれ１つのピークが抽出されたとする。この２つのピーク（それぞれ、「第１の候補」と「第２の候補」と表記する）は、脈拍数を示すピークの候補である。
【０１４０】
脈拍数推定部１３４２は、変位データの周波数スペクトルにおけるピークと、抽出された複数のピークとを、比較する。そして、脈拍数推定部１３４２は、変位データの周波数スペクトルにおいて存在するピークの周波数と同じ周波数の候補を、ノイズ由来のピークであると推定して、脈拍数を示すピークの候補から除外する。例えば、図１０で示されるように、変位データの周波数スペクトルにおいて、第２の候補の周波数と同じ周波数のピークがあるとする。この場合、脈拍数推定部１３４２は、第２の候補を、脈拍数を示すピークの候補から除外する。したがって、脈拍数推定部１３４２は、第１の候補を、脈拍数を示すピークとして選択する。
【０１４１】
同じ周波数の２つのピークとは、必ずしも周波数が完全に一致する２つのピークのみを意味しない。脈拍数推定部１３４２は、周波数の差が所定の閾値以内である２つのピークを「同じ周波数のピーク」とみなしてもよい。脈拍数推定部１３４２は、複数の候補のうち、変位データの周波数スペクトルにおけるピークの周波数に最も近い周波数のピークを、「同じ周波数のピーク」とみなしてもよい。
【０１４２】
なお、脈拍数を示すピークの候補が３つ以上ある場合等で、脈拍数を示すピークの候補から１つ以上の候補を除外してもなお２つ以上の候補が残る場合は、脈拍数推定部１３４２は、残った候補から１つのピークを、脈拍数を示すピークとして決定すればよい。例えば、脈拍数推定部１３４２は、残った候補のうち最も強度が大きいピークを、脈拍数を示すピークとして決定してもよい。
【０１４３】
脈拍数推定部１３４２は、脈拍数を示すピークとして決定したピークの周波数を、推定される脈拍数として決定する。
【０１４４】
脈波情報導出部１３４は、決定された脈拍数を示す情報を、出力部１１９に送出する。脈拍数を示す情報の形式は、第１の実施形態で示された例と同様でよい。
【０１４５】
［効果］
第３の実施形態に係る脈波検出装置１３によれば、第１の実施形態と同様、被測定者の顔が動くことによる脈波の情報の精度の低下が、抑制される。その理由は、脈波情報導出部１１４の脈拍数推定部１３４２が、変位データを用いて、顔の動きに起因するノイズ成分に由来するピークの周波数と異なる周波数のピークを、脈拍数を示すピークとして選択するからである。つまり、ノイズ成分に由来するピークが脈拍数を示すピークとして決定されることを防ぐことができる。結果として、出力される脈波の情報の精度は向上する。
【０１４６】
脈拍数推定部１３４２による処理は、複数の成分のうちノイズに由来する成分を除外する処理であり、言い換えれば、複数の成分から脈波に由来する信号成分を選択する、ないし抽出する、処理である。
【０１４７】
なお、第３の実施形態に係る脈波検出装置１３も、第１の実施形態に係る脈波検出装置の変形例１−３のように、複数の対象データ範囲に対して脈拍数を算出してもよい。第３の実施形態に係る脈波検出装置１３も、脈波検出装置１１ａのように、外れ値除去部１１５を有していてもよい。
【０１４８】
＜＜第４の実施形態＞＞
図１１は、本発明の一実施形態に係る脈波検出装置１０の構成を示すブロック図である。脈波検出装置１０は、関心領域設定部１０１と、輝度データ生成部１０２と、変位データ生成部１０３と、脈波成分抽出部１０４と、出力部１０５と、を備える。
【０１４９】
関心領域設定部１０１は、被測定者の顔が撮影された時系列画像に対し、被測定者の顔の関心領域を設定する。上記各実施形態における関心領域設定部１１１は、関心領域設定部１０１の一例である。
【０１５０】
輝度データ生成部１０２は、関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成する。上記各実施形態における輝度データ生成部１１２は、輝度データ生成部１０２の一例である。
【０１５１】
変位データ生成部１０３は、時系列画像に基づき、被測定者の顔の動きを示す変位データを生成する。上記各実施形態における変位データ生成部１１３は、変位データ生成部１０３の一例である。
【０１５２】
脈波成分抽出部１０４は、変位データを用いて、輝度データにおける、脈波に起因する信号成分を、抽出する。変位データに基づいて輝度データを補正することは、脈波に起因する信号成分を抽出することに相当する。変位データを参照することによって脈拍数の推定値を選択することも、脈波に起因する信号成分を抽出することに相当する。
【０１５３】
上記各実施形態における脈波情報導出部１１４、１２４、１３４は、脈波成分抽出部１０４の一例である。
【０１５４】
出力部１０５は、抽出された信号成分に基づく脈波の情報を出力する。脈波の情報は、抽出された信号成分そのものでもよいし、抽出された信号成分に基づいて算出された脈拍数の推定値でもよい。上記各実施形態における出力部１１９は、出力部１０５の一例である。
【０１５５】
図１２は、脈波検出装置１０による動作の流れを示すフローチャートである。
【０１５６】
まず、関心領域設定部１０１が、時系列画像に対し、被測定者の顔の関心領域を設定する（ステップＳ１０１）。
【０１５７】
次に、輝度データ生成部１０２が、関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成する（ステップＳ１０２）。
【０１５８】
また、変位データ生成部１０３が、時系列画像に基づき、被測定者の顔の動きを示す変位データを生成する（ステップＳ１０３）。
【０１５９】
そして、脈波成分抽出部１０４が、変位データを用いて、輝度データにおける、脈波に起因する信号成分を、抽出する（ステップＳ１０４）。
【０１６０】
そして、出力部１０５が、抽出された信号成分に基づく脈波の情報を出力する（ステップＳ１０５）。
【０１６１】
なお、ステップＳ１０２とステップＳ１０３の処理は、逆順で行われてもよいし、並行して行われてもよい。
【０１６２】
本実施形態の脈波検出装置１０によれば、被測定者の撮像画像から、より精度よく脈波の情報を取得することができる。その理由は、脈波成分抽出部１０４が、顔の動きを示すデータに基づいて、輝度データから脈波に起因する情報を抽出するからである。
【０１６３】
＜実施形態の各部を実現するハードウェアの構成＞
以上、説明した本発明の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。
【０１６４】
各構成要素の処理は、たとえば、コンピュータシステムが、コンピュータ読み取り可能な記憶媒体により記憶された、その処理をコンピュータシステムに実行させるプログラムを、読み込み、実行することによって、実現されてもよい。「コンピュータ読み取り可能な記憶媒体」は、たとえば、光ディスク、磁気ディスク、光磁気ディスク、および不揮発性半導体メモリ等の可搬媒体、ならびに、コンピュータシステムに内蔵されるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）およびハードディスク等の記憶装置である。「コンピュータ読み取り可能な記憶媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントにあたるコンピュータシステム内部の揮発性メモリのように、プログラムを一時的に保持しているものも含む。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記憶されているプログラムとの組み合わせで実現できるものであってもよい。
【０１６５】
「コンピュータシステム」とは、一例として、図１３に示されるようなコンピュータ９００を含むシステムである。コンピュータ９００は、以下のような構成を含む。
・１つ又は複数のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１
・ＲＯＭ９０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３へロードされるプログラム９０４Ａおよび記憶情報９０４Ｂ
・プログラム９０４Ａおよび記憶情報９０４Ｂを格納する記憶装置９０５
・記憶媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
【０１６６】
たとえば、各実施形態における各装置の各構成要素は、その構成要素の機能を実現するプログラム９０４ＡをＣＰＵ９０１がＲＡＭ９０３にロードして実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４Ａは、例えば、予め、記憶装置９０５やＲＯＭ９０２に格納される。そして、必要に応じてＣＰＵ９０１がプログラム９０４Ａを読み出す。記憶装置９０５は、たとえば、ハードディスクである。プログラム９０４Ａは、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記憶媒体９０６に格納されており、ドライブ装置９０７に読み出され、ＣＰＵ９０１に供給されてもよい。なお、記憶媒体９０６は、たとえば、光ディスク、磁気ディスク、光磁気ディスク、および不揮発性半導体メモリ等の、可搬媒体である。
【０１６７】
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個のコンピュータ９００とプログラムとの可能な組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータ９００とプログラムとの可能な組み合わせにより実現されてもよい。
【０１６８】
また、各装置の各構成要素の一部または全部は、その他の汎用または専用の回路、コンピュータ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【０１６９】
各装置の各構成要素の一部または全部が複数のコンピュータや回路等により実現される場合には、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、コンピュータや回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【０１７０】
上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。
【０１７１】
＜＜付記＞＞
［付記１］
被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定する関心領域設定手段と、
前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成する輝度データ生成手段と、
前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成する変位データ生成手段と、
前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出する、脈波成分抽出手段と、
前記抽出された信号成分に基づく脈波の情報を出力する出力手段と、
を備える脈波検出装置。
［付記２］
前記変位データ生成手段は、前記顔から検出される特徴点の位置の、前記時系列画像に対して設定される１つの基準方向の変化に基づいて、前記変位データを生成する、付記１に記載の脈波検出装置。
［付記３］
前記変位データ生成手段は、前記基準方向を前記顔の向きに基づいて設定する、付記２に記載の脈波検出装置。
［付記４］
前記変位データ生成手段は、前記被測定者にとって左右方向に相当する方向を、前記基準方向として設定する、付記２または３に記載の脈波検出装置。
［付記５］
前記変位データ生成手段は、前記被測定者の鼻における特徴点の位置を用いて前記変位データを生成する、付記１から４のいずれか一つに記載の脈波検出装置。
［付記６］
前記脈波成分抽出手段は、前記変位データと前記輝度データとを用いて、前記被測定者の顔の動きに起因する輝度値の変化を示すノイズ時系列データを生成し、前記ノイズ時系列データのデータ値を、前記輝度データのデータ値から減算することによって、前記輝度データを補正する、
付記１から５のいずれか一つに記載の脈波検出装置。
［付記７］
前記脈波成分抽出手段は、前記変位データのデータ値を加工する複数の所定の関数のうち、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定し、前記特定された所定の関数を用いた加工により生成する時系列データを、前記ノイズ時系列データとして生成する、
付記６に記載の脈波検出装置。
［付記８］
前記所定の関数は、前記変位データのデータ値から、変位の基準値を差し引いた後、係数を乗じる関数であり、
前記脈波成分抽出手段は、前記所定の関数を用いた加工により生成する時系列データと、前記輝度データの、輝度の基準値からの差分を示す輝度差分データと、の間の平均二乗誤差が最小となるような、前記係数の値を算出することにより、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定する、
付記６に記載の脈波検出装置。
［付記９］
前記輝度データ生成手段は、複数の前記関心領域のそれぞれから前記輝度データを生成し、
前記脈波検出装置は、
前記脈波成分抽出手段により補正された複数の前記輝度データの各々に対し、データ値の分散の大きさに基づく信頼度を関連づける関連づけ手段と、
補正された複数の前記輝度データの各々を前記信頼度に基づき重みづけし、重みづけされた複数の前記輝度データのデータ値を時点ごとに足し合わせることで、合成された前記輝度データを生成する合成手段と、
を備える、付記６から８のいずれか一つに記載の脈波検出装置。
［付記１０］
前記輝度データ生成手段は、複数の色成分のそれぞれにつき前記輝度データを生成し、
前記脈波成分抽出手段は、複数の色成分の前記輝度データに対し独立成分分析を適用することで相異なる信号成分をそれぞれ示す複数の時系列データを生成し、前記複数の時系列データから複数の周波数を脈拍数の候補として特定し、前記変位データの周波数スペクトルにおいて存在するピークの周波数と同じ周波数を前記脈拍数の候補から除外し、除外されなかった前記候補から脈拍数を推定する、
付記１から５のいずれか一つに記載の脈波検出装置。
［付記１１］
被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定し、
前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成し、
前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成し、
前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出し、
前記抽出された信号成分に基づく脈波の情報を出力する、
脈波検出方法。
［付記１２］
前記顔から検出される特徴点の位置の、前記時系列画像に対して設定される１つの基準方向の変化に基づいて、前記変位データを生成する、付記１１に記載の脈波検出方法。
［付記１３］
前記基準方向を前記顔の向きに基づいて設定する、付記１２に記載の脈波検出方法。
［付記１４］
前記被測定者にとって左右方向に相当する方向を、前記基準方向として設定する、付記１２または１３に記載の脈波検出方法。
［付記１５］
前記被測定者の鼻における特徴点の位置を用いて前記変位データを生成する、付記１１から１４のいずれか一つに記載の脈波検出方法。
［付記１６］
前記変位データと前記輝度データとを用いて、前記被測定者の顔の動きに起因する輝度値の変化を示すノイズ時系列データを生成し、前記ノイズ時系列データのデータ値を、前記輝度データのデータ値から減算することによって、前記輝度データを補正する、
付記１１から１５のいずれか一つに記載の脈波検出方法。
［付記１７］
前記変位データのデータ値を加工する複数の所定の関数のうち、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定し、前記特定された所定の関数を用いた加工により生成する時系列データを、前記ノイズ時系列データとして生成する、
付記１６に記載の脈波検出方法。
［付記１８］
前記所定の関数は、前記変位データのデータ値から、変位の基準値を差し引いた後、係数を乗じる関数であり、
前記所定の関数を用いた加工により生成する時系列データと、前記輝度データの、輝度の基準値からの差分を示す輝度差分データと、の間の平均二乗誤差が最小となるような、前記係数の値を算出することにより、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定する、
付記１７に記載の脈波検出方法。
［付記１９］
複数の前記関心領域のそれぞれから前記輝度データを生成し、
前記変位データと前記輝度データとを用いて補正された複数の前記輝度データの各々に対し、データ値の分散の大きさに基づく信頼度を関連づけ、
補正された複数の前記輝度データの各々を前記信頼度に基づき重みづけし、重みづけされた複数の前記輝度データのデータ値を時点ごとに足し合わせることで、合成された前記輝度データを生成する、
付記１６から１８のいずれか一つに記載の脈波検出方法。
［付記２０］
複数の色成分のそれぞれにつき前記輝度データを生成し、
複数の色成分の前記輝度データに対し独立成分分析を適用することで相異なる信号成分をそれぞれ示す複数の時系列データを生成し、前記複数の時系列データから複数の周波数を脈拍数の候補として特定し、前記変位データの周波数スペクトルにおいて存在するピークの周波数と同じ周波数を前記脈拍数の候補から除外し、除外されなかった前記候補から脈拍数を推定する、
付記１１から１５のいずれか一つに記載の脈波検出方法。
［付記２１］
コンピュータに、
被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定する関心領域設定処理と、
前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成する輝度データ生成処理と、
前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成する変位データ生成処理と、
前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出する、脈波成分抽出処理と、
前記抽出された信号成分に基づく脈波の情報を出力する出力処理と、
を実行させるプログラムを記憶した、コンピュータ読み取り可能な非一時的な記憶媒体。
［付記２２］
前記変位データ生成処理は、前記顔から検出される特徴点の位置の、前記時系列画像に対して設定される１つの基準方向の変化に基づいて、前記変位データを生成する、付記２１に記載の記憶媒体。
［付記２３］
前記変位データ生成処理は、前記基準方向を前記顔の向きに基づいて設定する、付記２２に記載の記憶媒体。
［付記２４］
前記変位データ生成処理は、前記被測定者にとって左右方向に相当する方向を、前記基準方向として設定する、付記２２または２３に記載の記憶媒体。
［付記２５］
前記変位データ生成処理は、前記被測定者の鼻における特徴点の位置を用いて前記変位データを生成する、付記２１から２４のいずれか一つに記載の記憶媒体。
［付記２６］
前記脈波成分抽出処理は、前記変位データと前記輝度データとを用いて、前記被測定者の顔の動きに起因する輝度値の変化を示すノイズ時系列データを生成し、前記ノイズ時系列データのデータ値を、前記輝度データのデータ値から減算することによって、前記輝度データを補正する、
付記２１から２５のいずれか一つに記載の記憶媒体。
［付記２７］
前記脈波成分抽出処理は、前記変位データのデータ値を加工する複数の所定の関数のうち、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定し、前記特定された所定の関数を用いた加工により生成する時系列データを、前記ノイズ時系列データとして生成する、
付記２６に記載の記憶媒体。
［付記２８］
前記所定の関数は、前記変位データのデータ値から、変位の基準値を差し引いた後、係数を乗じる関数であり、
前記脈波成分抽出処理は、前記所定の関数を用いた加工により生成する時系列データと、前記輝度データの、輝度の基準値からの差分を示す輝度差分データと、の間の平均二乗誤差が最小となるような、前記係数の値を算出することにより、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定する、
付記２７に記載の記憶媒体。
［付記２９］
前記輝度データ生成処理は、複数の前記関心領域のそれぞれから前記輝度データを生成し、
前記プログラムは、前記コンピュータに、
前記脈波成分抽出処理により補正された複数の前記輝度データの各々に対し、データ値の分散の大きさに基づく信頼度を関連づける関連づけ処理と、
補正された複数の前記輝度データの各々を前記信頼度に基づき重みづけし、重みづけされた複数の前記輝度データのデータ値を時点ごとに足し合わせることで、合成された前記輝度データを生成する合成処理と、
を実行させる、付記２６から２８のいずれか一つに記載の記憶媒体。
［付記３０］
前記輝度データ生成処理は、複数の色成分のそれぞれにつき前記輝度データを生成し、
前記脈波成分抽出処理は、複数の色成分の前記輝度データに対し独立成分分析を適用することで相異なる信号成分をそれぞれ示す複数の時系列データを生成し、前記複数の時系列データから複数の周波数を脈拍数の候補として特定し、前記変位データの周波数スペクトルにおいて存在するピークの周波数と同じ周波数を前記脈拍数の候補から除外し、除外されなかった前記候補から脈拍数を推定する、
付記２１から２５のいずれか一つに記載の記憶媒体。
【０１７２】
本願発明は以上に説明した実施形態に限定されるものではない。以上に説明した実施形態の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１７３】
この出願は、２０１７年１１月２２日に出願された国際出願ＰＣＴ／ＪＰ２０１７／０４１９３２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１７４】
１０〜１３、１１ａ    脈波検出装置
３０    撮像装置
１０１    関心領域設定部
１０２    輝度データ生成部
１０３    変位データ生成部
１０４    脈波成分抽出部
１０５    出力部
１１０    記憶部
１１１    関心領域設定部
１１２    輝度データ生成部
１１３    変位データ生成部
１１４    脈波情報導出部
１１４１    補正部
１１４２    脈拍数推定部
１１５    外れ値除去部
１１９    出力部
１２４    脈波情報導出部
１２４１    補正部
１２４２    関連づけ部
１２４３    合成部
１２４４    脈拍数推定部
１３４    脈波情報導出部
１３４１    データ分析部
１３４２    脈拍数推定部
９００    コンピュータ
９０１    ＣＰＵ
９０２    ＲＯＭ
９０３    ＲＡＭ
９０４Ａ    プログラム
９０４Ｂ    記憶情報
９０５    記憶装置
９０６    記憶媒体
９０７    ドライブ装置
９０８    通信インタフェース
９０９    通信ネットワーク
９１０    入出力インタフェース
９１１    バス
【図１】
2019102966.tif 000005
【図２】
2019102966.tif 000006
【図３】
2019102966.tif 000007
【図４】
2019102966.tif 000008
【図５】
2019102966.tif 000009
【図６】
2019102966.tif 000010
【図７】
2019102966.tif 000011
【図８】
2019102966.tif 000012
【図９】
2019102966.tif 000013
【図１０】
2019102966.tif 000014
【図１１】
2019102966.tif 000015
【図１２】
2019102966.tif 000016
【図１３】
2019102966.tif 000017
【手続補正書】
【提出日】令和2年5月8日(2020.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定する関心領域設定手段と、
前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成する輝度データ生成手段と、
前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成する変位データ生成手段と、
前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出する、脈波成分抽出手段と、
前記抽出された信号成分に基づく脈波の情報を出力する出力手段と、
を備える脈波検出装置。
【請求項２】
前記変位データ生成手段は、前記顔から検出される特徴点の位置の、前記時系列画像に対して設定される１つの基準方向の変化に基づいて、前記変位データを生成する、請求項１に記載の脈波検出装置。
【請求項３】
前記変位データ生成手段は、前記基準方向を前記顔の向きに基づいて設定する、請求項２に記載の脈波検出装置。
【請求項４】
前記変位データ生成手段は、前記被測定者の鼻における特徴点の位置を用いて前記変位データを生成する、請求項１から３のいずれか一項に記載の脈波検出装置。
【請求項５】
前記脈波成分抽出手段は、前記変位データと前記輝度データとを用いて、前記被測定者の顔の動きに起因する輝度値の変化を示すノイズ時系列データを生成し、前記ノイズ時系列データのデータ値を、前記輝度データのデータ値から減算することによって、前記輝度データを補正する、
請求項１から４のいずれか一項に記載の脈波検出装置。
【請求項６】
前記脈波成分抽出手段は、前記変位データのデータ値を加工する複数の所定の関数のうち、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定し、前記特定された所定の関数を用いた加工により生成する時系列データを、前記ノイズ時系列データとして生成する、
請求項５に記載の脈波検出装置。
【請求項７】
前記所定の関数は、前記変位データのデータ値から、変位の基準値を差し引いた後、係数を乗じる関数であり、
前記脈波成分抽出手段は、前記所定の関数を用いた加工により生成する時系列データと、前記輝度データの、輝度の基準値からの差分を示す輝度差分データと、の間の平均二乗誤差が最小となるような、前記係数の値を算出することにより、加工により生成する時系列データが前記輝度データに最も類似する、前記所定の関数を特定する、
請求項５に記載の脈波検出装置。
【請求項８】
前記輝度データ生成手段は、複数の前記関心領域のそれぞれから前記輝度データを生成し、
前記脈波検出装置は、
前記脈波成分抽出手段により補正された複数の前記輝度データの各々に対し、データ値の分散の大きさに基づく信頼度を関連づける関連づけ手段と、
補正された複数の前記輝度データの各々を前記信頼度に基づき重みづけし、重みづけされた複数の前記輝度データのデータ値を時点ごとに足し合わせることで、合成された前記輝度データを生成する合成手段と、
を備える、請求項５から７のいずれか一項に記載の脈波検出装置。
【請求項９】
被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定し、
前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成し、
前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成し、
前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出し、
前記抽出された信号成分に基づく脈波の情報を出力する、
脈波検出方法。
【請求項１０】
コンピュータに、
被測定者の顔が撮影された時系列画像に対し、前記被測定者の顔の関心領域を設定する関心領域設定処理と、
前記関心領域内の画素の、所定の色成分の輝度値の代表値の時系列データである輝度データを生成する輝度データ生成処理と、
前記時系列画像に基づき、前記被測定者の顔の動きを示す変位データを生成する変位データ生成処理と、
前記変位データを用いて、前記輝度データにおける、脈波に起因する信号成分を抽出する、脈波成分抽出処理と、
前記抽出された信号成分に基づく脈波の情報を出力する出力処理と、
を実行させるプログラム。
【国際調査報告】
2019102966.tif 000018
2019102966.tif 000019
2019102966.tif 000020
2019102966.tif 000021