(57)【要約】  心拍数の検出精度を高め、心拍数の検出時間を短縮する。  心拍検出装置１は、ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出する心拍検出部１６を備え、前記心拍検出部１６は、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する。
2020003910.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出する心拍検出部を備え、
前記心拍検出部は、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
心拍検出装置。
【請求項２】
前記心拍検出部は、前記差の波形が開始した時点から最初の前記ピークが現れる時点までを１周期として、前記心拍数を演算する、
請求項１に記載の心拍検出装置。
【請求項３】
前記心拍検出部により検出された心拍数の信頼度を判定し、前記信頼度を前記心拍数とともに出力する判定部を備える、
請求項１又は２に記載の心拍検出装置。
【請求項４】
前記輝度が、緑の輝度である、
請求項１〜３のいずれか一項に記載の心拍検出装置。
【請求項５】
前記撮影画像にＲＯＩを設定するＲＯＩ設定部を備え、
前記心拍検出部は、前記ＲＯＩ内の輝度の総和を演算する、
請求項１〜４のいずれか一項に記載の心拍検出装置。
【請求項６】
前記撮影画像は、前記ユーザの顔の撮影画像であり、
前記各フレームの撮影画像において前記顔の特徴点を抽出する特徴点抽出部と、
前記特徴点により前記各フレームの撮影画像の顔の位置を合わせる追従部と、を備える、
請求項１〜５のいずれか一項に記載の心拍検出装置。
【請求項７】
ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出するステップを含み、
前記心拍数を検出するステップは、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
心拍検出方法。
【請求項８】
コンピュータに、ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出するステップを実行させるためのプログラムであって、
前記心拍数を検出するステップでは、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、心拍検出装置、心拍検出方法及びプログラムに関する。
【背景技術】
【０００２】
従来、ユーザの撮影画像から心拍数を検出し、ストレスを評価することが行われている。ユーザの体表に接触することなく、心拍数を計測できるため、ストレス評価を簡便に行うことができる。【０００３】
心拍数の検出方法としては、例えば色素成分分離を行った撮影画像の画素平均値の時間変化から心拍間隔データを求め、求めた心拍間隔データを周波数変換することで、脈拍を検出する方法が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２９３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ユーザが少し動いただけでも撮影画像の輝度は大きく変わる。周波数変換は、ユーザの動きのような長周期成分の影響を受けやすいため、心拍数の検出精度が低下しやすい。十分な検出精度を得るためには、撮影画像のフレーム数を増やさなければならず、データ量及び演算量が増えて心拍数の検出時間が長引いてしまう。【０００６】
本発明は、心拍数の検出精度を高め、心拍数の検出時間を短縮することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明によれば、
ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出する心拍検出部を備え、
前記心拍検出部は、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
心拍検出装置が提供される。【０００８】
上記心拍検出装置によれば、遅延前と遅延後の各振動波の差から、心拍の周期性を有する振動波成分を求めるため、振動波中にユーザの動きに起因する長周期の振動波成分が含まれる場合でも、精度良く心拍数を検出することができる。また、輝度の加算と各振動波の減算の簡易な演算で心拍数を演算できるため、少ない演算量で心拍数を検出することができる。したがって、心拍数の検出時間も短縮することができる。【０００９】
請求項２に記載の発明によれば、
前記心拍検出部は、前記差の波形が開始した時点から最初の前記ピークが現れる時点までを１周期として、前記心拍数を演算する、
請求項１に記載の心拍検出装置が提供される。【００１０】
これにより、心拍以外の振動波の影響を減らして心拍の周期を求めることができ、心拍数の検出精度がより向上する【００１１】
請求項３に記載の発明によれば、
前記心拍検出部により検出された心拍数の信頼度を判定し、前記信頼度を前記心拍数とともに出力する判定部を備える、
請求項１又は２に記載の心拍検出装置が提供される。【００１２】
これにより、心拍数とともに心拍数の信頼度を提供することができる。【００１３】
請求項４に記載の発明によれば、
前記輝度が、緑の輝度である、
請求項１〜３のいずれか一項に記載の心拍検出装置が提供される。【００１４】
これにより、拍動によって量が変動するヘモグロビンに対する感度が向上し、心拍数の検出精度がより向上する。【００１５】
請求項５に記載の発明によれば、
前記撮影画像にＲＯＩを設定するＲＯＩ設定部を備え、
前記心拍検出部は、前記ＲＯＩ内の輝度の総和を演算する、
請求項１〜４のいずれか一項に記載の心拍検出装置が提供される。【００１６】
これにより、輝度の総和の演算量を減らすことができ、心拍数の検出時間をより短縮できる。【００１７】
請求項６に記載の発明によれば、
前記撮影画像は、前記ユーザの顔の撮影画像であり、
前記各フレームの撮影画像において前記顔の特徴点を抽出する特徴点抽出部と、
前記特徴点により前記各フレームの撮影画像の顔の位置を合わせる追従部と、を備える、
請求項１〜５のいずれか一項に記載の心拍検出装置が提供される。【００１８】
これにより、ユーザの動きに起因するノイズ成分を減らすことができ、心拍数の検出精度がより向上する。【００１９】
請求項７に記載の発明によれば、
ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出するステップを含み、
前記心拍数を検出するステップは、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
心拍検出方法が提供される。【００２０】
上記心拍検出方法によれば、遅延前と遅延後の各振動波の差から、心拍の周期性を有する振動波成分を求めるため、振動波中にユーザの動きに起因する長周期の振動波成分が含まれる場合でも、精度良く心拍数を検出することができる。また、輝度の加算と各振動波の減算の簡易な演算で心拍数を演算できるため、少ない演算量で心拍数を検出することができる。したがって、心拍数の検出時間も短縮することができる。【００２１】
請求項８に記載の発明によれば、
コンピュータに、ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出するステップを実行させるためのプログラムであって、
前記心拍数を検出するステップでは、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
プログラムが提供される。【００２２】
上記プログラムによれば、遅延前と遅延後の各振動波の差から、心拍の周期性を有する振動波成分を求めるため、振動波中にユーザの動きに起因する長周期の振動波成分が含まれる場合でも、精度良く心拍数を検出することができる。また、輝度の加算と各振動波の減算の簡易な演算で心拍数を演算できるため、少ない演算量で心拍数を検出することができる。したがって、心拍数の検出時間も短縮することができる。
【発明の効果】
【００２３】
本発明によれば、心拍数の検出精度を高め、心拍数の検出時間を短縮することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態の心拍検出装置の構成を機能ごとに示すブロック図である。
【図２】顔画像から抽出された特徴量の一例を示す図である。
【図３】輝度の総和の時間的変化を表す振動波の一例を示すグラフである。
【図４】補正後の振動波を示すグラフである。
【図５Ａ】遅延前の振動波と遅延後の各振動波の一例を示すグラフである。
【図５Ｂ】遅延前の振動波と遅延後の各振動波の差の波形の一例を示すグラフである。
【図６】遅延前の振動波と遅延後の振動波の差の波形を示すグラフである。
【図７】心拍数の表示例を示すグラフである。
【図８】心拍検出装置が、心拍数を検出するときの処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の心拍検出装置、心拍検出方法及びプログラムの実施の形態について、図面を参照して説明する。
【００２６】
図１は、本発明の一実施形態である心拍検出装置１の構成を機能ごとに示すブロック図である。
図１に示すように、心拍検出装置１は、撮影装置２に接続され、撮影装置２から入力されたユーザの撮影画像から心拍数を検出する。また、心拍検出装置１は、表示装置３に接続され、検出した心拍数を表示装置３に出力する。
【００２７】
（撮影装置）
撮影装置２は、ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像を生成する。本実施形態において、撮影画像は、各画素がＲ（赤）、Ｇ(緑)及びＢ（青）の輝度を有するビットマップ画像である。また、撮影画像は、ユーザの顔の撮影画像である。撮影画像に顔が含まれていると、顔の特徴点の位置を元に各フレーム間で撮影画像の位置合わせが容易になる。
【００２８】
（表示装置）
表示装置３は、心拍検出装置１から出力された心拍数を表示する。表示装置３としては、例えばＬＣＤ（Liquid Crystal Display）、タッチパネル等を使用できる。
【００２９】
（心拍検出装置）
心拍検出装置１は、図１に示すように、顔抽出部１１、特徴点抽出部１２、追従部１３、ＲＯＩ設定部１４、輝度抽出部１５、心拍検出部１６及び判定部１７を備えて、構成されている。
心拍検出装置１の各構成部の処理内容は、ＦＰＧＡ（Field-Programmable Gate Array）、ＬＳＩ（Large Scale Integration）等のハードウェアにより実現することができる。また、各構成部の処理内容は、その処理手順を記述したプログラムを、当該プログラムを記憶する記憶媒体からコンピュータが読み取って実行するソフトウェア処理により、実現することもできる。コンピュータとしては、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサーを使用することができる。記憶媒体としては、ハードディスクやＲＯＭ（Read Only Memory）等を使用することができる。
【００３０】
顔抽出部１１は、撮影装置２から入力された撮影画像から、ユーザの顔の領域を抽出する。顔抽出部１１による顔の認識方法としては、特に限定されず、例えばテンプレートマッチング等の公知の方法を使用できる。
【００３１】
特徴点抽出部１２は、顔抽出部１１により抽出された顔の領域から複数の特徴点を抽出し、各特徴点の特徴量を演算する。使用できる特徴点の抽出方法としては、特に限定されず、例えばＦＡＳＴ、Ｈａｒｒｉｓ等のコーナー特徴量、ＳＵＲＦ、ＫＡＺＥ等の局所特徴量、勾配ヒストグラム等が挙げられる。
【００３２】
追従部１３は、特徴点抽出部１２により抽出された特徴点の位置を元に、各フレームの撮影画像の顔の位置を合わせる。具体的には、追従部１３は、撮影装置２から入力された現在のフレームと直前のフレームとで特徴量の類似度が最も高い特徴点同士の位置が一致するように、現在のフレームの撮影画像を投射変換する。これにより、現在のフレームの顔の位置を直前のフレームの顔の位置に追従させることができる。
【００３３】
ＲＯＩ設定部１４は、追従部１３により顔の位置を合わせた撮影画像に、ＲＯＩ（Region Of Interest）を設定する。ＲＯＩ設定部１４は、ＲＯＩの位置及びサイズを任意に設定できるが、口周辺又は鼻周辺を含む領域をＲＯＩに設定することが好ましい。口周辺又は鼻周辺の領域は、血中のヘモグロビン量の変化が体表面に現れやすく、心拍数の検出が容易になる。撮影画像中の口及び鼻の位置は、テンプレートマッチング等により検出できる。
【００３４】
図２は、撮影画像の一例を示している。
図２に示すように、撮影画像５０から顔の領域５１が抽出され、特徴点が抽出されている。図２において、特徴点は十字形のマーカーで表される。顔の領域５１において鼻と口を含む領域５２がＲＯＩとして設定されている。
【００３５】
輝度抽出部１５は、撮影画像のＲ、Ｇ及びＢの輝度のうち、心拍数の検出に使用する輝度を抽出する。いずれの色の輝度でも心拍を検出することはできるが、輝度抽出部１５は、Ｇの輝度を抽出することが好ましい。Ｇの輝度は、拍動によって量が変化するヘモグロビンに対する感度が高く、心拍数の検出精度が向上しやすい。
【００３６】
心拍検出部１６は、各フレームの撮影画像の輝度の総和を演算し、輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延する。心拍検出部１６は、遅延前の振動波と遅延後の各振動波の差から心拍数を演算する。
心拍検出部１６は、図１に示すように、積分演算部１６１、補正部１６２及び相関演算部１６３を備えている。
【００３７】
積分演算部１６１は、各フレームの撮影画像の輝度の総和を演算する。積分演算部１６１は、撮影画像の全領域の輝度の総和を演算することもできるが、ＲＯＩ設定部１４により設定されたＲＯＩ内の輝度の総和を演算することが好ましい。これにより、演算量を減らすことができ、心拍数の検出時間を短縮できる。
【００３８】
各フレームの撮影画像の撮影時間に対して、各フレームの撮影画像から演算した輝度の総和をプロットすることにより、輝度の時間的変化を表わす振動波が得られる。血中のヘモグロビンの量は、拍動によって変化し、このヘモグロビンの量によって撮影画像の輝度が変化する。そのため、得られた振動波は、心拍の振動波を含む。
【００３９】
図３は、ＲＯＩの輝度の総和の時間的変化を表わす振動波の一例を示している。
図３に示すように、振動波には周期的な振動波成分が含まれている。
【００４０】
補正部１６２は、積分演算部１６１により得られた振動波の補正を行う。補正部１６２は、補正の１つとして振動波をフィルタ処理し、心拍に影響のない振動波成分を除去する。個人差はあるが、一般的に心拍の振動波の周波数は１Ｈｚ付近であり、身体状態によって０．７〜２．０Ｈｚ程度の範囲内で変動がある。補正部１６２は、この範囲付近の周波数の振動波成分、例えば０．１〜２．８Ｈｚの周波数帯域にある振動波成分を抽出することで、心拍に影響がないノイズ成分を除去することができる。フィルタ処理に使用できるフィルタとしては、バンドパスフィルタ、ハイパスフィルタ、ローパスフィルタ等が挙げられる。
【００４１】
また、補正部１６２は、補正の１つとして自動利得制御（ＡＧＣ：Auto Gain Control）を行うことにより、振動波の振幅を一定に調整する。
【００４２】
図４は、図３に示す振動波を補正して得られた振動波を示している。
図４に示すように、補正によってノイズ成分である振動波が除去され、心拍の振動波成分が強調された振動波が得られている。
【００４３】
相関演算部１６３は、補正部１６２により得られた振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差を演算する。具体的には、相関演算部１６３は、補正部１６２により得られた振動波をバッファメモリ等のメモリに保持し、一定時間遅延させた各振動波をリングバッファメモリ等のメモリに保持する。相関演算部１６３は、保持した遅延前の振動波と遅延後の各振動波との差を演算する。
【００４４】
図５Ａは、遅延前の振動波と遅延後の各振動波の一例を示している。
図５Ａに示すように、元の振動波Ｗ０から一定時間ｔをそれぞれｉ倍（ｉは１以上の整数）した時間だけ遅延した各振動波Ｗｉが得られる。例えば、振動波Ｗ１は振動波Ｗ０から一定時間ｔだけ遅延した振動波であり、振動波Ｗ２は振動波Ｗ１からさらに一定時間ｔだけ遅延した振動波、すなわち振動波Ｗ０から時間２ｔだけ遅延した振動波である。
【００４５】
相関演算部１６３は、演算期間Ｔｃ内において、遅延前の振動波Ｗ０と、遅延後の各振動波Ｗｉと、をそれぞれ比較し、その差を算出する。
演算期間Ｔｃは、検出対象とする心拍の周期に応じて決定することができる。例えば、心拍数が３０ＢＰＭ以上の心拍を検出する場合、１周期は約２秒であるため、演算期間Ｔｃを少なくとも２周期以上となる４秒以上に決定することが好ましい。
【００４６】
具体的には、相関演算部１６３は、演算期間Ｔｃ内において、遅延前の振動波Ｗ０及び遅延後の各振動波Ｗｉを、一定のサンプリング間隔でサンプリングする。サンプリング間隔は、各振動波Ｗｉの遅延量と同じ時間である。相関演算部１６３は、下記式に示すように、サンプリングした遅延前の振動波Ｗ０ｊと遅延後の各振動波Ｗｉｊの差の絶対値の総和Ｓｊを算出する。なお、ｊはサンプリングした回数を表し、ｊ＝０〜ｉである。
【００４７】
Ｓｊ＝Σ｛ａｂｓ（Ｗ０ｊ−Ｗｉｊ）｝
上記式において、ａｂｓ（）は、（）内の演算結果の絶対値を出力する関数を表す。Ｗ０ｊは、サンプリングした遅延前の振動波Ｗ０の振幅値を示す。Ｗｉｊは、サンプリングした遅延後の各振動波Ｗｉの振幅値を示す。
【００４８】
図５Ｂは、差の絶対値の総和Ｓｊの波形を示す。
例えば、図５Ｂ中のＳ０、Ｓ１、Ｓ２・・・Ｓｉは、図５Ａに示す振動波Ｗ０〜Ｗｉから、次のように算出される。
S0=abs(W00-W00)+abs(W01-W01)+・・・+abs(W0i-W0i)
S1=abs(W00-W10)+abs(W01-W11)+・・・+abs(W0i-W1i)
S2=abs(W00-W20)+abs(W01-W21)+・・・+abs(W0i-W2i)
・・・
Si=abs(W00-Wi0)+abs(W01-Wi1)+・・・+abs(W0i-Wii)
【００４９】
心拍のように周期性を有する振動波は、一定時間遅延すると元の振動波との差が大きくなるが、さらに遅延して自己の振動波と周期が一致すると、その差が小さくなる。そのため、図５Ｂに示すように、遅延時間と同じサンプリング間隔でＳｊを出力すると、元の振動波Ｗ０、すなわち心拍の振動波の周期を基本周期とした繰り返しの波である振動波Ｗｃを得ることができる。振動波Ｗｃは、元の振動波Ｗ０の自己相関性を表し、値が小さいほど、自己相関性が高い。
【００５０】
元の振動波Ｗ０同士の差は０であるため、その総和Ｓ０も０である。例えば、振動波Ｗ０から心拍の１周期分ずれた波形が振動波Ｗｉであるとすると、振動波Ｗ０と振動波Ｗｉは波形が同じか類似するため、差の絶対値の総和Ｓｉは０か０に近い値となる。図５Ｂに示すように、Ｓ０の次に総和が小さくなるのはＳｉであり、Ｓ０とＳｉ間が心拍の１周期に相当する。
【００５１】
なお、相関演算部１６３では、演算期間Ｔｃの間、遅延した振動波Ｗｉを出力する。
例えば、振動波Ｗ０の遅延時間が１／３２秒であり、演算期間Ｔｃが８秒の場合、相関演算部１６３は、振動波Ｗ１〜Ｗ２５５を出力する。サンプリング間隔は遅延時間と同じ１／３２秒であるので、演算期間Ｔｃの間に２５６回のサンプリングが行われる。
【００５２】
相関演算部１６３は、遅延前の振動波と遅延後の各振動波の差の波形において、差が小さくなるときのピークの周期により、心拍数を演算する。具体的には、相関演算部１６３は、差の波形が開始した時間から差が小さくなるときの最初のピークの時間までを心拍の周期として決定する。相関演算部１６３は、決定した心拍の周期から心拍数を演算して出力する。なお、差の波形において差が小さくなるときの複数のピークが現れるので、相関演算部１６３は、各ピーク間の周期により心拍数を演算してもよいが、上記のように最初のピークによって心拍数を演算した方が心拍数の信頼性が高く、好ましい。
【００５３】
図６は、遅延前の振動波と遅延後の各振動波の差の波形を示している。
図６に示すように、差の波形が開始した時間ｔ１から、差が小さくなるときの最初のピークの時間ｔ２までが、心拍の１周期である。図６の例では、時間差（ｔ２−ｔ１）から、心拍数が６５．７４（ＢＰＭ）という演算結果が得られている。
【００５４】
判定部１７は、心拍検出部１６により検出した心拍数の信頼度を判定する。例えば、判定部１７は、心拍検出部１６により検出した、直近５つの心拍数の分散値を算出する。判定部１７は、分散値が閾値未満であれば高い信頼度に決定し、分散値が閾値以上であれば低い信頼度に決定することができる。信頼度は、複数段階に分けられていてもよい。例えば、判定部１７は、分散値に対して複数の閾値を使用し、信頼度を３段階で判定することもできる。
【００５５】
また、判定部１７は、心拍数が一定範囲内、例えば３０〜１５０（ＢＰＭ）の範囲内にあれば高い信頼度に決定し、一定範囲外にあれば低い信頼度に決定することができる。判定部１７は、ユーザの平均心拍数を演算するか取得して、検出した心拍数が平均心拍数から一定範囲内にあるか否かによって信頼度を決定することもできる。
【００５６】
遅延前の振動波と遅延後の各振動波の差の波形において、心拍の周期の決定に用いられたピークの頂点の値が小さいほど、差の波形は心拍の振動波に近い。よって、判定部１７は、心拍の周期の決定に用いられたピークの頂点の値が一定値より低い場合は高い信頼度に決定し、一定値以上の場合は低い信頼度に決定することもできる。
【００５７】
判定部１７は、判定した信頼度を心拍検出部１６により検出された心拍数とともに出力する。表示装置３において心拍数を表示する際、心拍数を信頼度とともに表示することができる。信頼度に応じた表示形態で心拍数が表示されてもよい。例えば、心拍数を表示する際に信頼度が高い心拍数は黒色で表示し、信頼度が低い心拍数は赤色で表示することができる。
【００５８】
図７は、心拍数の表示例を示している。
図７に示すように、心拍検出装置１によって一定時間ごとに検出された心拍数のプロットが時系列に表示されている。各心拍数のうち、信頼度が高いと判定された心拍数は円のマーカーで表示され、信頼度が低いと判定された心拍数は三角のマーカーで表示されている。
【００５９】
図８は、上記心拍検出装置１において心拍を検出するときの処理手順を示すフローチャートである。
心拍検出装置１では、図８に示すように、撮影装置２から入力したユーザの体表の撮影画像から、顔抽出部１１が顔の領域を抽出する（ステップＳ１）。特徴点抽出部１２は、検出された顔の領域から特徴点を抽出する（ステップＳ２）。その結果、複数の特徴点が抽出されなかった場合（ステップＳ３：ＮＯ）、ステップＳ１の処理に戻る。
【００６０】
複数の特徴点が抽出された場合(ステップＳ３：ＹＥＳ)、追従部１３は、現在のフレームの撮影画像において抽出された各特徴点と、直前のフレームの撮影画像において抽出された各特徴点の類似度を判定する。追従部１３は、類似度が最も高い特徴点の位置が一致するように、現在のフレームの撮影画像を投射変換し、直前のフレームの顔の位置に現在のフレームの顔の位置を追従させる（ステップＳ４）。追従により、撮影画像中の輝度の時間的変化を表わす振動波から、ユーザの動きによるノイズ成分を減らすことができる。
【００６１】
ＲＯＩ設定部１４は、顔の位置を追従させた現在のフレームの撮影画像にＲＯＩを設定する（ステップＳ５）。一方、輝度抽出部１５は、撮影装置２から入力した撮影画像から、Ｇの輝度を抽出する（ステップＳ６）。
【００６２】
心拍検出部１６では、積分演算部１６１が、設定されたＲＯＩにおいてＧの輝度の総和を求めてメモリに保存する。積分演算部１６１は、メモリから一定期間内のＧの輝度の総和を読み出し、読み出した各輝度の総和の時間的変化を表わす振動波を演算する（ステップＳ７）。補正部１６２は、この振動波を補正する（ステップＳ８）。ここで、振動波を演算した撮影画像のフレーム数が一定数に達しておらず、まだ演算期間Ｔｓに対応する振動波が得られてない場合（ステップＳ９：ＮＯ）、ステップＳ２の処理に戻る。
【００６３】
一方、振動波を演算した撮影画像のフレーム数が一定数に達し、演算期間Ｔｓに対応する振動波が得られた場合（ステップＳ９：ＹＥＳ）、相関演算部１６３は、補正処理後の振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形を求める。相関演算部１６３は、差の波形において波形が開始した時点から差が小さくなる最初のピークが現れる時点までを心拍の１周期として、心拍数を演算する（ステップＳ１０）。
【００６４】
判定部１７は、心拍検出部１６により演算された心拍数の信頼度を判定する（ステップＳ１１）。心拍検出部１６により演算された心拍数は、判定部１７により判定された信頼度とともに、表示装置３に出力される。表示装置３では、出力された心拍数が、数値、グラフ等の表示形態で表示される。心拍数の表示形態は、信頼度によって異ならせることができる。
【００６５】
心拍数の測定終了の指示がなければ（ステップＳ１２：ＮＯ）、ステップＳ２に戻る。測定終了が指示された場合は（ステップＳ１２：ＹＥＳ）、本処理を終了する。
【００６６】
以上のように、本実施形態の心拍検出装置１は、ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出する心拍検出部１６を備える。心拍検出部１６は、各フレームの撮影画像の輝度の総和を演算し、輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において差が小さくなるときのピークの周期により、心拍数を演算する。
【００６７】
上記実施形態によれば、遅延前と遅延後の各振動波の差から、心拍の周期性を有する振動波成分を求めるため、振動波中にユーザの動きに起因する長周期の振動波成分が含まれる場合でも、精度良く心拍数を検出することができる。また、輝度の加算と各振動波の減算の簡易な演算で心拍数を演算できるため、少ない演算量で心拍数を検出することができる。したがって、心拍数の検出時間も短縮することができる。
【００６８】
輝度の時間的変化を表わす振動波に対し、フーリエ変換、ウェーブレット変換等の周波数変換を行うことで心拍数を演算する場合、本実施形態のように２５６ポイント程度のサンプリング数では心拍の周期を求めることは難しい。心拍数の十分な検出精度を得るにはより多くのサンプリング数を必要とする。また、周波数変換は、心拍よりも長周期の振動波成分の影響を受けやすく、分解能が低くなるため、心拍の振動波成分を精度良く抽出することが難しい。
【００６９】
輝度の時間的変化を表わす振動波に対し、自己相関関数を使用して心拍数を演算する場合も、心拍より長周期の振動波成分の影響を受けて、心拍の振動波を精度良く抽出することが難しい。なお、自己相関関数は、一般的に、Ｒ（ｔ、ｓ）＝Ｅ[（Ｘｔ−μ）（Ｘｓ−μ）]／σ２（Ｘｔ及びＸｓはそれぞれ時刻 t及びｓにおける値、μはＸｔの平均、σ２は分散、Ｅは期待値を表わす。）の式で表される。
【００７０】
一方、本実施形態によれば、遅延した各振動波の差により心拍の周期を求めるため、長周期の振動波成分の影響が少なく、心拍の周期を精度良く演算することができる。また、積算や除算、関数を用いた複雑な演算が必要な周波数変換、自己相関関数等に比べて、本実施形態によれば、加算と減算のみで心拍数を検出でき、演算量が少ないため、検出時間を短縮できる。
【００７１】
上記実施形態は本発明の好適な一例であり、これに限定されない。本発明の技術的思想の範囲内で適宜変更可能である。
例えば、心拍数の検出に使用できる撮影画像は、上述したＲ、Ｇ及びＢの輝度を有する撮影画像に限られず、Ｌ＊、ａ＊及びｂ＊等のＲ、Ｇ及びＢ以外の色空間の輝度を有する撮影画像であってもよい。また、輝度抽出部１５は、心拍数の検出に使用する輝度として、Ｒ、Ｇ及びＢの各輝度を重み付け平均して得られた輝度、明度を表わす輝度等を抽出してもよい。本発明によれば、Ｇ以外の輝度であっても、精度良く心拍数を検出することができる。
【００７２】
また、心拍数の検出に用いる撮影画像は、ユーザの体表の一部の撮影画像であれば、顔の撮影画像ではなく、例えば手首や手の甲、首等の顔以外の他の部位の体表の撮影画像であってもよい。
【００７３】
本出願は、２０１８年６月２８日に出願された日本特許出願である特願２０１８−１２２７５４号に基づく優先権を主張し、当該日本特許出願のすべての記載内容を援用する。
【符号の説明】
【００７４】
１    心拍検出装置
１１    顔抽出部
１２    特徴点抽出部
１３    追従部
１４    ＲＯＩ設定部
１６    心拍検出部
１６１    積分演算部
１６２    補正部
１６３    相関演算部
１７    判定部
【図１】
2020003910.tif 000003
【図２】
2020003910.tif 000004
【図３】
2020003910.tif 000005
【図４】
2020003910.tif 000006
【図５Ａ】
2020003910.tif 000007
【図５Ｂ】
2020003910.tif 000008
【図６】
2020003910.tif 000009
【図７】
2020003910.tif 000010
【図８】
2020003910.tif 000011
【国際調査報告】
2020003910.tif 000012
2020003910.tif 000013
2020003910.tif 000014
2020003910.tif 000015