(57)【特許請求の範囲】
【請求項１】
被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測装置であって、
前記被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択部と、
前記サンプルの各画像フレームでの位置を追跡し、該位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部と、
前記サンプルの輝度信号の対が線形ＢＳＳ（ブラインド信号源分離）の適用可能条件を満たすと仮定して、前記輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形ＢＳＳ問題を解き、前記ヘモグロビンが寄与する信号を脈波信号として抽出するサンプル脈波信号抽出部と、
前記サンプル脈波信号抽出部で抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定部と、
前記信頼度判定部が信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出部と、
前記サンプルデータ算出部が算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化部と、
前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の前記周期的変動の計測結果を決定する測定結果決定部と、
を備えることを特徴とする計測装置。
【請求項２】
請求項１に記載の計測装置であって、前記小領域は四角形から成り、該四角形の一辺が、顔の横幅の画素数の約１０〜２０％の画素数の大きさを有することを特徴とする計測装置。
【請求項３】
請求項１に記載の計測装置であって、前記測定結果決定部は、前記グループ別の数が最大の前記サンプルの脈拍数を前記被験者の脈拍数として決定することを特徴とする計測装置。
【請求項４】
請求項１に記載の計測装置であって、前記測定結果決定部は、前記グループ別のサンプルの脈拍数の数が最大となった前記サンプルの前記脈波信号を平均して前記被験者の脈波信号として決定することを特徴とする計測装置。
【請求項５】
請求項１に記載の計測装置であって、前記サンプル選択部は、顔の中で有効なサンプルが得られる有効領域を示す地図を有し、前記有効領域の中から前記サンプルを選択することを特徴とする計測装置。
【請求項６】
請求項１に記載の計測装置であって、前記サンプル輝度信号取得部は、前記小領域を構成する複数の画素の画素値を平均して前記サンプルの輝度信号を得ることを特徴とする計測装置。
【請求項７】
請求項１に記載の計測装置であって、前記サンプル脈波信号抽出部は、ＩＣＡ（独立成分分析）の手法を用いて前記線形ＢＳＳ問題を解くことを特徴とする計測装置。
【請求項８】
請求項１に記載の計測装置であって、前記サンプル脈波信号抽出部は、前記線形ＢＳＳ問題を解いて得た二つの前記信号の各々と原信号との平均的ユークリッド距離を算出し、前記平均的ユークリッド距離が遠い方の信号を前記ヘモグロビンが寄与する信号として決定することを特徴とする計測装置。
【請求項９】
請求項１に記載の計測装置であって、前記信頼度判定部は、前記サンプルの脈波信号のパワースペクトル密度を算出し、最大ピークのパワーと２番目の大きさの第２ピークのパワーとの比を閾値と比較して前記脈波信号の信頼度を判定することを特徴とする計測装置。
【請求項１０】
請求項９に記載の計測装置であって、前記サンプルデータ算出部は、前記最大ピークをもたらす周波数から前記サンプルの脈拍数を算出することを特徴とする計測装置。
【請求項１１】
請求項１に記載の計測装置であって、前記サンプルデータグループ化部は、前記サンプルデータ算出部が前記サンプルの脈拍数を算出するごとに、該脈拍数に対応するヒストグラムの階級の度数を１加算することを特徴とする計測装置。
【請求項１２】
請求項１１に記載の計測装置であって、前記測定結果決定部は、度数が最大のヒストグラムの階級に対応する脈拍数を前記被験者の脈拍数として決定することを特徴とする計測装置。
【請求項１３】
請求項１に記載の計測装置であって、前記サンプルデータグループ化部は、前記サンプルデータ算出部が算出した各サンプルの脈拍数を前記被験者の他の周期的変動を示す値と関連付けて分類し、前記測定結果決定部は、最大クラスターのデータを平均して前記被験者の心拍に連動する周期的変動の計測結果を決定することを特徴とする計測装置。
【請求項１４】
請求項１から１３のいずれかに記載の計測装置であって、さらに、前記被験者の顔の画像から該被験者の表情を認識する表情認識手段を備えることを特徴とする計測装置。
【請求項１５】
被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測方法であって、
前記被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択ステップと、
前記サンプルの各画像フレームでの位置を追跡し、該位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得ステップと、
前記サンプルの輝度信号の対が線形ＢＳＳ（ブラインド信号源分離）の適用可能条件を満たすと仮定して、前記輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形ＢＳＳ問題を解き、前記ヘモグロビンが寄与する信号を脈波信号として抽出するサンプル脈波信号抽出ステップと、
前記サンプル脈波信号抽出ステップで抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定ステップと、
前記信頼度判定ステップで信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出ステップと、
前記サンプルデータ算出ステップで算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化ステップと、
前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の前記周期的変動の計測結果を決定する測定結果決定ステップと、
を備えることを特徴とする計測方法。
【請求項１６】
請求項１５に記載の計測方法であって、前記測定結果決定ステップでは、前記グループ別の数が最大の前記サンプルの脈拍数を前記被験者の脈拍数として決定することを特徴とする計測方法。
【請求項１７】
請求項１５に記載の計測方法であって、前記測定結果決定ステップでは、前記グループ別のサンプルの脈拍数の数が最大となった前記サンプルの前記脈波信号を平均して前記被験者の脈波信号として決定することを特徴とする計測方法。
【請求項１８】
請求項１５に記載の計測方法であって、前記サンプル脈波信号抽出ステップでは、ＩＣＡ（独立成分分析）の手法を用いて前記線形ＢＳＳ問題を解くことを特徴とする計測方法。
【請求項１９】
請求項１５に記載の計測方法であって、前記サンプル脈波信号抽出ステップでは、前記線形ＢＳＳ問題を解いて得た二つの前記信号の各々と原信号との平均的ユークリッド距離を算出し、前記平均的ユークリッド距離が遠い方の信号を前記ヘモグロビンが寄与する信号として決定することを特徴とする計測方法。
【請求項２０】
請求項１５に記載の計測方法であって、前記信頼度判定ステップでは、前記サンプルの脈波信号のパワースペクトル密度を算出し、最大ピークのパワーと２番目の大きさの第２ピークのパワーとの比を閾値と比較して前記脈波信号の信頼度を判定し、前記サンプルデータ算出ステップでは、前記最大ピークをもたらす周波数から前記サンプルの脈拍数を算出することを特徴とする計測方法。
【請求項２１】
請求項１５に記載の計測方法であって、前記サンプルデータグループ化ステップでは、前記サンプルデータ算出ステップで前記サンプルの脈拍数を算出するごとに、該脈拍数に対応するヒストグラムの階級の度数を１加算し、前記測定結果決定ステップでは、度数が最大のヒストグラムの階級に対応する脈拍数を前記被験者の脈拍数として決定することを特徴とする計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の顔の画像から被験者の脈拍数や脈波信号等、心拍に連動する周期的変動を計測する計測装置とその計測方法に関し、顔が動いても、顔に当たる光が変化しても精確に計測できるようにしたものである。
【背景技術】
【０００２】
被験者の顔を撮影した画像から被験者の脈拍数や呼吸数を計測する技術は従来から知られている。例えば、下記特許文献１には、撮像手段で撮像した被験者の顔画像から、顔面の興味領域（ＲＯＩ：Region of interest）の平均輝度を算出して、この輝度を興味領域の位置や顔向きに基づいて補正し、補正した輝度の時間的変化の波形から被験者の脈拍数を算出することが記載されている。
【０００３】
また、下記非特許文献１には、顔のＲＯＩを撮影したビデオ信号をＲ，Ｇ，Ｂの成分から成る３つの信号に分解し、これらの信号から、独立成分分析（ＩＣＡ：Independent Component Analysis）を用いて心拍に対応する脈波信号（ＰＧ（plethysmograph）signal）を抽出する方法が記載されている。
【０００４】
また、下記非特許文献２には、被験者の顔のビデオ画像から被験者の脈拍数を測定する際に、照明の変動による測定精度の低下を防ぐため、背景の濃度の変動を利用して照明変動の影響を除く方法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１３０９９６号公報
【非特許文献】
【０００６】
【非特許文献１】M.-Z. Poh, D. J. McDuff, and R. W. Picard.“ Non-contact, automated cardiac pulse measurements using video imaging and blind source separation.” Optics Express, 18(10):10762-10774, May 2010.
【非特許文献２】X. Li, J. Chen, G. Zhao, and M. Pietikainen. “Remote heart rate measurement from face videos under realistic situations.” In IEEE Computer Vision and Pattern Recognition (CVPR), pages 4264-4271, June 2014.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
被験者の顔の画像から脈拍数や脈波信号を計測する装置では、撮影の際の背景や照明、顔の動き等に制約されずに、被験者の顔をカメラで撮影するだけで精確に計測できることが望ましい。
しかし、特許文献１及び非特許文献１、２に記載された技術では、顔画像に設定したＲＯＩに含まれる多数の画素の平均値化したデータを用いて脈拍等を算出しているため、高精度の計測結果を得ることが難しい。
また、ＩＣＡを用いる非特許文献１の技術では、ＲＯＩのビデオ信号から生成したＲ，Ｇ，Ｂ成分の信号が、ＩＣＡを適用する条件を満たしているかを確かめていないため、抽出したＰＧ信号に誤差が含まれる可能性があり、測定精度の低下が懸念される。
また、非特許文献２の技術を実施するためには、被験者の背景を均一で単純なものにする必要があり、背景についての制約がある。
【０００８】
本発明は、こうした事情を考慮して創案したものであり、被験者が動いていても、被験者を照らす照明が変化しても、被験者を映すカメラの画像から被験者の脈拍数や脈波信号を精確に計測できる計測装置及び計測方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明は、被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測装置であって、被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択部と、サンプルの各画像フレームでの位置を追跡し、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部と、サンプルの輝度信号の対が線形ＢＳＳ（ブラインド信号源分離）の適用可能条件を満たすと仮定して、この輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形ＢＳＳ問題を解き、ヘモグロビンが寄与する信号を脈波信号（ＰＧ信号）として抽出するサンプル脈波信号抽出部と、サンプル脈波信号抽出部で抽出された各サンプルのＰＧ信号の信頼度を判定する信頼度判定部と、信頼度判定部が信頼できると判定した各サンプルのＰＧ信号から各サンプルの脈拍数を算出するサンプルデータ算出部と、サンプルデータ算出部が算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化部と、グループ別の数が最大のサンプルの脈拍数に基づいて被験者の周期的変動の計測結果を決定する測定結果決定部と、を備えることを特徴とする。
この計測装置では、所定領域（ＲＯＩ）から選択した小領域の対をサンプルとして、各サンプルの輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形ＢＳＳ問題を解き、ＰＧ信号を抽出する。このとき、サンプルの輝度信号の対が線形ＢＳＳの適用可能条件を満たすと仮定して問題を解くが、得られたＰＧ信号の信頼度を判定し、信頼度の低いサンプルのＰＧ信号を計測結果の算出から外しているため、結果的に線形ＢＳＳの適用可能条件への適合が担保されることになる。
【００１０】
また、本発明の計測装置では、小領域を四角形とし、この四角形の一辺が、顔の横幅の画素数の約１０〜２０％の画素数の大きさとすることが望ましい。
小領域が大きい程、そこに含まれる各画素のバラツキが平均化されて雑音が減るが、その分、微小な変動が捉えられなくなる。また、小領域が大きい程、平均値を取るための加算回数が増えるので処理時間が長くなる。
【００１１】
また、本発明の計測装置では、測定結果決定部が、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定し、または、グループ別のサンプルの脈拍数の数が最大となったサンプルのＰＧ信号を平均して被験者のＰＧ信号として決定する。
このように、この装置では、被験者の脈拍数やＰＧ信号を精確に計測することができる。
【００１２】
また、本発明の計測装置では、サンプル選択部が、顔の中で有効なサンプルが得られる有効領域を示す地図を具備し、有効領域の中からサンプルを選択することが望ましい。
こうすることで、無駄なサンプルの選択を減らすことができ、処理時間の短縮が可能になる。
【００１３】
また、本発明の計測装置では、サンプルの小領域が複数の画素で構成される場合、サンプル輝度信号取得部は、小領域を構成する複数の画素の画素値を平均してサンプルの輝度信号を得る。
画素の画素値のバラツキに起因する計測結果の誤差を、小領域内の画素の画素値を平均化することで低減できる。
【００１４】
また、本発明の計測装置では、サンプル脈波信号抽出部が、線形ＢＳＳ問題を解いて得た二つの信号の各々と原信号との平均的ユークリッド距離を算出し、平均的ユークリッド距離が遠い方の信号を“ヘモグロビンが寄与する信号”（＝ＰＧ信号）として決定する。
メラニンは皮膚の色を決める主要要素であるため、“メラニンが主に寄与する信号”は原信号と類似しており、ユークリッド距離が近い。それに比べて“ヘモグロビンが寄与する信号”の方は距離が遠い。
【００１５】
また、本発明の計測装置では、サンプル脈波信号抽出部が、ＩＣＡ（独立成分分析）の手法を用いて線形ＢＳＳ問題を解く。
“メラニンが主に寄与する信号”と“ヘモグロビンが寄与する信号”とは独立と見られるため、観測データを独立な成分に分解するＩＣＡの手法が適用できる。
【００１６】
また、本発明の計測装置では、信頼度判定部が、サンプルのＰＧ信号のパワースペクトル密度を算出し、最大ピークのパワーと２番目の大きさの第２ピークのパワーとの比ｒを閾値と比較してＰＧ信号の信頼度を判定する。サンプルデータ算出部は、信頼できると判定されたＰＧ信号の最大ピークに対応する周波数からサンプルの脈拍数を算出する。
この比ｒから、ＰＧ信号の中で最大ピークの周波数が他の周波数に比べてどのくらい主要であるかが分かる。この値ｒが大きいことはＰＧ信号が一つの主要な周波数を持つことであり、その周波数から求めた脈拍数の信頼性が高いことを示している。
【００１７】
また、本発明の計測装置では、サンプルデータグループ化部が、サンプルデータ算出部でサンプルの脈拍数が算出されるごとに、この脈拍数に対応するヒストグラムの階級の度数を１加算する。測定結果決定部は、度数が最大のヒストグラムの階級に対応する脈拍数を被験者の脈拍数として決定する。
このように、この装置では、サンプルデータの多数決により被験者の脈拍数を決定する。
【００１８】
また、本発明の計測装置では、サンプルデータグループ化部が、サンプルデータ算出部で算出された各サンプルの脈拍数を、被験者の他の周期的変動（心拍変動や呼吸数等）を示す値と関連付けて分類し、測定結果決定部が、最大クラスターのデータを平均して被験者の心拍に連動する周期的変動の計測結果を決定するようにしてしても良い。
こうすることで、健康に関する多くの指標を得ることができる。
【００１９】
また、本発明の計測装置では、さらに、被験者の顔の画像から被験者の表情を認識する表情認識手段を併せて備えるようにしても良い。
被験者の脈拍の変動と併せて表情の変化を識別することで、被験者が快い状態で高揚しているのか、不快な状態で興奮しているのかが分かる。
【００２０】
また、本発明は、被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測方法であって、被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択ステップと、サンプルの各画像フレームでの位置を追跡し、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得ステップと、サンプルの輝度信号の対が線形ＢＳＳの適用可能条件を満たすと仮定して、輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形ＢＳＳ問題を解き、“ヘモグロビンが寄与する信号”を脈波信号として抽出するサンプル脈波信号抽出ステップと、サンプル脈波信号抽出ステップで抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定ステップと、信頼度判定ステップで信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出ステップと、サンプルデータ算出ステップで算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化ステップと、前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の周期的変動の計測結果を決定する測定結果決定ステップと、を備えることを特徴とする。
この計測方法では、サンプルの輝度信号の対が線形ＢＳＳの適用可能条件を満たすと仮定して線形ＢＳＳ問題を解くが、得られた各サンプルのＰＧ信号の信頼度を判定し、信頼度の低いサンプルのＰＧ信号を計測結果の算出から外しているため、結果的に線形ＢＳＳの適用可能条件への適合が担保される。
【００２１】
また、本発明の計測方法では、測定結果決定ステップで、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定し、または、グループ別のサンプルの脈拍数の数が最大となったサンプルのＰＧ信号を平均して被験者のＰＧ信号として決定する。
【００２２】
また、本発明の計測方法では、サンプル脈波信号抽出ステップで、ＩＣＡの手法を用いて線形ＢＳＳ問題を解く。
【００２３】
また、本発明の計測方法では、サンプル脈波信号抽出ステップで、線形ＢＳＳ問題を解いて得た二つの信号の各々と原信号との平均的ユークリッド距離を算出し、平均的ユークリッド距離が遠い方の信号を“ヘモグロビンが寄与する信号”として決定する。
【００２４】
また、本発明の計測方法では、信頼度判定ステップで、サンプルのＰＧ信号のパワースペクトル密度を算出し、最大ピークのパワーと２番目の大きさの第２ピークのパワーとの比ｒを閾値と比較してＰＧ信号の信頼度を判定し、サンプルデータ算出ステップで、最大ピークをもたらす周波数からサンプルの脈拍数を算出する。
ＰＧ信号の信頼度をヒューリスティックな方法で短時間に評価できる。
【００２５】
また、本発明の計測方法では、サンプルデータグループ化ステップで、サンプルデータ算出ステップにおいてサンプルの脈拍数が算出されるごとに、この脈拍数に対応するヒストグラムの階級の度数を１加算し、測定結果決定ステップでは、度数が最大のヒストグラムの階級に対応する脈拍数を被験者の脈拍数として決定する。
サンプルデータの多数決により被験者の脈拍数を決定する。
【発明の効果】
【００２６】
本発明の計測装置及び計測方法では、被験者が動いても、被験者を照らす照明が変化しても、被験者の顔を映すカメラの画像から被験者の脈拍数や脈波信号を精確に計測することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態に係る計測装置の構成を模式的に示す図
【図２】顔画像のＲＯＩ、特徴点及び小領域の対ｐ１、ｐ２を示す図
【図３】図１の演算部の構成を示すブロック図
【図４】図３の演算部の動作手順を示すフロー図
【図５】（ａ）ＰＧ信号と、（ｂ）そのパワースペクトル密度を示す図
【図６】各手法で計測した脈拍数の計測精度を比較する図
【図７】先に提案した「コミュニケーション支援ロボットシステム」を示す図
【発明を実施するための形態】
【００２８】
図１は、本発明の実施形態に係る計測装置を模式的に示している。この装置は、被験者４の顔を撮影する撮像装置１と、撮像装置で撮影された被験者の顔画像から脈拍数や脈波信号（ＰＧ信号）を計測するコンピュータ２と、コンピュータで計測された計測結果を表示する表示部３とを備えている。コンピュータ２は、撮像装置１で撮影された連続する複数の画像フレーム（動画像データ）を保存する画像記録部２０と、画像記録部に保存された画像フレームを読み出して脈拍数やＰＧ信号の計測を実行する演算部１０と、演算部で算出された計測結果を表示部３に表示する表示制御部３０とを備えている。
【００２９】
まず、皮膚の見え方について説明する。
皮膚の色は、主にメラニンの存在によるが、血液中のヘモグロビンによる光の吸収にも影響される。したがって、皮膚の分光反射率曲線（spectral reflectance curve）の形は、主にメラニンとヘモグロビンの組合せによる。
皮膚はLambertian（ランバート反射、完全拡散反射）であると仮定すると、波長λに対する皮膚の分光反射率Rs(λ)は（数式１）により定義される。
【数１】
0006521845.tif 000002
ここで、amとahはスカラーでRm(λ), Rh(λ)は正規化された分光反射率、ah Rh(λ)はヘモグロビンの寄与、am Rm(λ)はヘモグロビンの影響のない場合の分光反射率、すなわち、主にメラニンの影響によるものである。
したがって、あるカメラのチャネルの皮膚上の１点における明るさを示す画素値は（数２）でモデル化できる。
【数２】
0006521845.tif 000003
ここでalはスカラー、L(λ)は正規化された照明（光源）のスペクトル（分光分布）、Ck(λ)はカメラのチャネルkのspectral response（スペクトル応答）である。
【００３０】
ここまでは、ある時点の皮膚上の１点の見え方だったが、時間変化を考えるために、時間の次元を付与すると以下の（数３）ようになる。
【数３】
0006521845.tif 000004
メラニンの生成はビデオ撮影で考えているよりずっと長い時間スケールで起こるので、メラニンによる分光反射率の成分は一定であると仮定できる。一方、心臓の拍動に影響されるヘモグロビンに対する成分はビデオ上で変動する。カメラのスペクトル応答はもちろん時間により変動せずに一定である。
【００３１】
さて、図１のコンピュータ２の演算部１０は、図２に示すように、被験者の顔の画像に設定した矩形状の興味領域（ＲＯＩ）４１から、複数の画素から成る小領域の対（ｐ１、ｐ２）をサンプルとして選択し、多数のサンプルの画素値を用いて被験者の心拍に連動する周期的変動を計測する。ＲＯＩ内のサンプルの位置は任意に設定できる。
なお、小領域は、顔の横幅の画素数の約１０〜２０％の画素数の大きさを一辺とする四角形であることが望ましい。後述するように、小領域に含まれる画素の画素値を平均化して小領域の画素値とするため、小領域が大きい程、各画素のバラツキが平均化されて雑音が減る。そのため、小領域の一辺は、顔の横幅の画素数の１０％以上の画素数の長さであることが望ましい。しかし、顔の横幅の画素数の２０％を超えると、微小な変動が捉え難くなり、また、平均値を取るための加算の回数が増えるので、処理時間が長くなる。
【００３２】
図３は、演算部１０を構成する機能ブロックを示している。この演算部１０は、最初の画像フレームにＲＯＩを設定してサンプル（小領域の対）位置を選択するサンプル選択部１１と、サンプルの各画像フレームにおける位置を追跡して、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部１２と、この輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形ＢＳＳ問題を解き、“ヘモグロビンが寄与する信号”（＝脈波信号：ＰＧ信号）を抽出するサンプル脈波信号抽出部１３と、抽出されたＰＧ信号の信頼度を判定する信頼度判定部１４と、信頼できるＰＧ信号から脈拍数を算出するサンプルデータ算出部１５と、その脈拍数をグループ別に仕分けるサンプルデータグループ化部１６と、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定する測定結果決定部１７とを有している。
なお、サンプル選択部１１、サンプル輝度信号取得部１２、サンプル脈波信号抽出部１３、信頼度判定部１４、サンプルデータ算出部１５、サンプルデータグループ化部１６及び測定結果決定部１７は、コンピュータ２がプログラムに基づく処理を実行することにより実現される。
【００３３】
図４は、演算部１０の処理手順を示している。
サンプル選択部１１は、画像記録部２０に蓄積された画像フレームの中から最初の画像フレームを読出して矩形状のＲＯＩを設定し（ステップ１）、ＲＯＩ内からランダムに最初のサンプル（小領域の対ｐ１、ｐ２）を選択する（ステップ２）。
サンプル輝度信号取得部１２は、画像記録部２０に蓄積された全ての画像フレームを読み出し、各画像フレームにおけるｐ１、ｐ２位置を追跡する。
【００３４】
この追跡は、次のように行う。
図２には、下記論文において顔の特徴点の検出・追跡に使われた６６の特徴点を示している。
X. Yu, J. Huang, S. Zhang, W. Yan, and D. Metaxas. Posefree facial landmark fitting via optimized part mixtures and cascaded deformable shape model. In IEEE International Conference on Computer Vision (ICCV), pages 1944-1951, 2013. 4, 7
この６６点の特徴点は、全画像フレームの画像に対して追跡することができる。
ここでは、図２において１から１７までの番号で示した顔の輪郭部分の１７点の特徴点を追跡に用いている。そして、最初の画像フレームで矩形に設定したＲＯＩの後続フレームでの形状は、追跡した特徴点に対して相対的な位置が変わらないように剛体変換を適用することで求めることができる。剛体変換の変換行列Ａと並進ベクトルｂは、（数４）により決定される。
【数４】
0006521845.tif 000005
ここで、ベクトルv1,iはフレーム１でのi番目の特徴点の位置、ベクトルvn,iはｎ番目のフレームでのi番目の特徴点の位置である。この１７点以外の特徴点は非剛体運動を示す可能性があるため用いていない。（数４）は最小二乗法で解くことができる。
【００３５】
最初のフレームのＲＯＩ中に設定した点ｐ１、ｐ２のｎ番目のフレームでの座標値は、変換行列Ａと並進ベクトルｂにより決まる。
サンプル輝度信号取得部１２は、このように全フレームにおけるサンプル位置を算出し、その位置の画素値を求めることにより、サンプルの画素値（輝度）の時間変化を示す信号Ｉｐ１（ｔ）、Ｉｐ２（ｔ）を得る（ステップ３）。
なお、ここでは、各画素の画素値のバラツキによるノイズを減らすため、小領域に含まれる画素の画素値を平均してサンプルの輝度としている。
【００３６】
サンプル脈波信号抽出部１３は、二つの信号Ｉｐ１（ｔ）、Ｉｐ２（ｔ）に対して線形ＢＳＳ（Blind Source Separation）を適用してＰＧ信号を求めることを目指す（ステップ４）。
線形ＢＳＳの問題は、（数５）に示すように、信号源Ｓ１，Ｓ２の値の線形和が観測値ｘ１、ｘ２となる式から信号源Ｓ１，Ｓ２を分離することに帰着する。
【数５】
0006521845.tif 000006
ここで、ａ１，ａ２，ｂ１，ｂ２は時刻に依存しない定数である。Ｓ１，Ｓ２が互いに独立であれば、（数５）は、ＩＣＡの手法を用いて解くことができる。
【００３７】
信号Ｉｐ１（ｔ）、Ｉｐ２（ｔ）は、（数３）から次式（数６）のように表せる。
【数６】
0006521845.tif 000007
この信号は、いくつかのスカラーが時間変化するので（例えばal(t)）、直接には線形ＢＳＳが適用できない。さらに、照明の分光分布（Ｌ１，Ｌ２）が同時刻でも異なる可能性がある。
【００３８】
この信号に線形ＢＳＳを適用するためには、Ｉｐ１（ｔ）、Ｉｐ２（ｔ）が以下のような条件を満たすことを確かめなければならない。
（条件１）すべての時刻t、すべての波長λに対してＬ1(λ,t)＝Ｌ2(λ,t)であること。すなわち、照明のスペクトルは時間的にどのように変化してもよいが、２つの点ｐ１、ｐ２を照らしている正規化された照明のスペクトルは同時点では同じでなければならない。本質的には、光源の色は時間により変化してもよいが、同じ時点では２つの点ｐ１、ｐ２に対して同じ色でなければならないということである。相対的な明るさは同時刻で異なっていても構わない。
（条件２）時刻ｔ＝１，２、・・・ｎのスカラーを並べて（数７）のベクトルを定義し、他のスカラーについても同様に定義する。
【数７】
0006521845.tif 000008
このように定義したとき、正規化したベクトルが次式（数８）を満たすこと。
【数８】
0006521845.tif 000009
言い換えると、２点間での時間による明るさの変化は、スケールは違ってもよいが、相対的な変化は等しくなければならない。
【００３９】
（条件３）同様に、次式（数９）を満たすこと。
【数９】
0006521845.tif 000010
なお、この計測装置の場合、この条件は満たされる。なぜなら、血流量は心臓の拍動によるが、フレームレートが３０〜６０Ｈｚの普通のカメラでは、顔の中の最も離れた点の間でもＰＧ信号の遅れは無視できるからである。
（条件４）照明、ヘモグロビン、メラニンは顔全体に対して均一ではないこと。すなわち、（数１０）の関係を満たすこと。
【数１０】
0006521845.tif 000011
この計測装置の場合、顔への照明は均一でないことが期待できる。また、血液の流れも顔の各部で異なっている。
【００４０】
サンプルに選択したすべての２点の対が以上のすべての条件を満たすとは期待できないが、とりあえず、これらの条件を満たす点が見つかると仮定して、サンプル脈波信号抽出部１３は、処理を続ける。
これらの条件が満たされるとすると、Ｉｐ１（ｔ）、Ｉｐ２（ｔ）は次式（数１１）のようになる。
【数１１】
0006521845.tif 000012
ここで、ｃｌ（ｔ）は（数８）で定義したベクトルｃｌのt番目の要素であり、ｃｈ（t）は（数９）で定義したベクトルｃｈのt番目の要素である。
【００４１】
（数１１）を簡便にするために、次式（数１２）のように置き換える。
【数１２】
0006521845.tif 000013
Ｉｐ２（ｔ）についても同様の置き換えを行う。
そうすると、（数１１）は、次式（数１３）のように表せる。
【数１３】
0006521845.tif 000014
また、条件４から、（数１４）の関係がある。
【数１４】
0006521845.tif 000015
【００４２】
（数１３）においてＩｍとＩｈの要素が独立だとすると、（数１３）は、独立成分分析の標準的なアルゴリズムであるＦａｓｔＩＣＡ等を使って解くことができ、ＩｍとＩｈとを（絶対値のスケールは別として）求めることができる。
サンプル脈波信号抽出部１３は、得られたＩｍとＩｈの内、どちらがＰＧ信号であるかを確かめるため、どちらが原信号(Ｉｐ１、Ｉｐ２)との平均的ユークリッド距離が近いかを計算し、近い方をＩｍと判定する。これは、メラニンが皮膚の色を決める主要な要素であり、原信号に近いためである。
残りのもう一つの信号ＩｈがＰＧ信号となる（ステップ４）。
【００４３】
信頼度判定部１４は、得られたＰＧ信号から時間フィルタや移動平均フィルタを使って非定常な傾向や雑音を除いた後、信号の信頼性を判定するために、この信号を周波数領域に変換し、パワースペクトル密度（ＰＳＤ）を計算する（ステップ５）。
図５には、同図（ａ）に示すＰＧ信号のＰＳＤを同図（ｂ）に示している。ここでは、通常の人間の心拍数を考慮して、ＰＳＤの周波数範囲を０．７〜４Ｈｚに設定している。
信頼度判定部１４は、パワースペクトル密度の最大ピークのパワーＶ１と２番目の大きさの第２ピークのパワーＶ２との比Ｖ１／Ｖ２（＝ｒ）を計算し（ステップ６）、その比ｒを閾値（例えば、２）と比較する（ステップ７）。
この比ｒは、ＰＧ信号の中で、最大ピークの周波数が他の周波数に比べてどのくらい主要であるかを識別する目安になる。この値が大きいことは、ＰＧ信号が一つの主要な周波数を持つことであり、その周波数から求めた脈拍数の信頼性が高いことを示している。
比ｒが閾値以下の場合（ステップ７でＮｏ）は、ステップ２に戻り、最初の画像フレームのＲＯＩ内から別のサンプル（小領域の対ｐ１、ｐ２）を選択し、ステップ３以下の処理を繰り返す。
【００４４】
比ｒが閾値より大きい場合（ステップ７でＹｅｓ）、信頼度判定部１４は、ステップ４で抽出したＰＧ信号が信頼できると判定する。サンプルデータ算出部１５は、信頼できるＰＧ信号の最大ピークの周波数を６０倍して毎分の脈拍数を算出する（ステップ８）。
サンプルデータグループ化部１６は、サンプルデータ算出部１５がサンプルの脈拍数を算出するごとに、その脈拍数に対応するヒストグラムの階級の度数を１加算する（ステップ９）。
サンプルデータ算出部１５で算出されたサンプルの脈拍数の数が規定数に達しない場合は（ステップ１０でＮｏ）、ステップ２に戻り、最初の画像フレームのＲＯＩ内から別のサンプル（小領域の対ｐ１、ｐ２）を選択し、ステップ３以下の処理を繰り返す。
ステップ１０において、算出されたサンプルの脈拍数の数が規定数に達すると（ステップ１０でＹｅｓ）、測定結果決定部１７は、ヒストグラムの各階級の度数を比較し、多数決に基づいて、最大度数の階級に仕分けられた脈拍数を被験者の脈拍数として決定する（ステップ１１）。
なお、ステップ１０では、ステップ２で選択した小領域の対の数をカウントし、その数が所定数に達するまでステップ２〜ステップ９の処理を繰り返し、その数（繰り返し数）が所定数に達したとき、あるいは、それ以前に信頼できる脈拍の数が規定数に達したとき、ステップ１１に移行するようにしても良い。
測定結果決定部１７が決定した脈拍数は、表示部３に出力されて表示される（ステップ１２）。
【００４５】
このように、この計測装置では、ＲＯＩから選択した小領域の対をサンプルとし、多数のサンプルの画素値を用いてＰＧ信号を算出している。そのため、ＲＯＩの平均画素値に基づいて脈拍等の算出を行う従来の方式に比べて高い計測精度が得られる。
また、この計測装置では、各サンプルの画素値が線形ＢＳＳの適用条件を満たすと仮定してＰＧ信号の算出を行っているが、得られたサンプルのＰＧ信号の信頼性を判定し、信頼性の低いサンプルのＰＧ信号を除いて被験者のＰＧ信号を決定しているため、結果的に線形ＢＳＳの適用条件への適合が担保されて、高い計測精度が得られる。
【００４６】
図６には、脈拍を本発明により計測した結果と他の手法で計測した結果とを比較して示している。
図６では、公開されているデータベース（MANHOB-HCI Database）の４８７例に対し、図６の各手法で得た結果を比較している。
図６において、「全小領域データ使用」方法では、ＲＯＩを重なりのないように小領域（１つの大きさは４１×４１画素）で分割し、各小領域内の画素の平均の時間変化データを求め、全部の小領域のデータ全体に対しＩＣＡを適用して二つの信号を算出し、その一つのＰＧ信号から脈拍を計算している。つまり、本発明と比べて、小領域の対を対象とする計算を行っていない点、及び、脈拍数の計算に際して、信頼性の高い小領域の選択を行っていない点が違っている。
また、「Ｐｏｈ２０１１［１］」は非特許文献１に記載されて手法であり、「Ｌｉ２０１４［２］」は非特許文献２に記載された手法である。
本発明は、その実施に際し、小領域の大きさを４１×４１画素、小領域の対の選択回数（繰り返し数）は５００、信頼性比ｒ判定の閾値を２に設定している。なお、小領域の一辺の４１画素は、顔の横幅の画素数３００の１３．７％に当たる。
図６から、本発明の方法を用いた場合、精度よく脈拍数が得られていることが分かる。
本発明では、ＰＧ信号の信頼性を、ＰＧ信号のパワースペクトル密度の最大ピークと第２ピークとの比から判断し、また、最終的な脈拍の計測値を、サンプルの脈拍数の多数決で決めている。図６は、こうしたヒューリスティックな手法を用いて計測時間の短縮化を図っても、計測精度が低下しないことを示している。
【００４７】
本発明でサンプルとして設定する小領域の対と線形ＢＳＳの適用条件（条件１〜４）との関係については次のように考えられる。
すべての点の対が条件１〜４を満足するわけではないが、十分な数の点の対がこれらの条件を満たす（あるいはほぼ満たす）と考えられる。
条件１及び条件２は、対の２点がそれぞれの時点で同じ光源に照らされている（ただし、２点に対する照明の強度は異なってもよい）必要がある。これは限定的な条件に思われるかもしれないが、多くのカメラ画像でこれを満たす点が多数あると期待することができる。実環境には多くの光源があるが、同じ光源が顔のある部分全体に影響を及ぼすと考えられる。
言い換えれば、殆どの点が、全く違う光源に照らされているというようなことはあり得ない。
また、この条件１及び条件２では、同じ光源であれば、スペクトルが時間的にどのように変化してもよいとしているので、柔軟性はある。例えば、コンピュータのモニター（ディスプレイ）は光源のスペクトルが変動する一つの光源である。
条件３及び条件４については、先に述べたように、本発明で設定する小領域の対は満たしていると考えられる。
しかし、条件１〜４を満たす点を見出すことは簡単でない。これらの条件が満足されるかどうかは、多くの要因が関係するからである。
そこで、本発明では、前述するように、各サンプルの画素値が線形ＢＳＳの適用条件を満たすと仮定してＰＧ信号の算出を行い、得られたＰＧ信号の内で信頼性の低いものを除く方法を採っている。こうすることで、どの対が条件を満たすかと言う難しい判断を避けることができる。
【００４８】
なお、ここでは、サンプルをＲＯＩからランダムに選択する場合について説明したが、本発明の実施を繰り返すことにより、信頼性の高いＰＧ信号が得られるサンプルの位置を把握することができ、そうしたサンプル位置を含む地図を作成することができる。この地図を保持してサンプルを選択するようにすれば、無駄な演算が減り、処理の高速化が可能になる。
また、ここでは、被験者の脈拍数の計測について説明したが、本発明の装置により被験者の脈波信号（ＰＧ信号）を計測することもできる。この場合、度数が最大のヒストグラムの階級に分類されたサンプルのＰＧ信号を平均化して被験者のＰＧ信号とする。
また、ここでは、サンプルのＰＧ信号を、ヒストグラムを用いて仕分ける場合について示したが、各サンプルの脈拍やＰＧ信号を被験者の心拍変動や呼吸数等の値と関連付けてＫ平均法や階層的クラスタリングを使って分類し、最大クラスターのデータを平均化して被験者の生体情報を得るようにしても良い。また、ＲＡＮＳＡＣ（random sample consensus）と呼ばれる方法を使って生体情報を得るようにしても良い。
【００４９】
本発明の計測装置は、本発明者等が先に提案した「コミュニケーション支援ロボットシステム」（特開２０１５−１８４５９７号公報）、すなわち、ロボットを使って単身高齢者と近親者とのコミュニケーションを支援するシステムにも使用することができる。
このシステムでは、図７に示すように、認知症の虞がある高齢者の側に、ロボット３７と、テレビ電話機能を実現するカメラ３３、スピーカ３６１、マイク３６２、ディスプレイ３５及びコンピュータ３１を配置し、カメラ３３で撮影した高齢者の画像やマイク３６２で集音した高齢者の音声が近親者側のテレビ電話のディスプレイ４５やスピーカ４６１で表示できるようにしている。
近親者は、テレビ電話を通じて高齢者と直接コミュニケーションを取る「直接対応モード」と、ロボット３７を介して高齢者に近親者の意図を伝える「間接対話モード」と、ロボット３７が自主的に高齢者と対話するように求める「ロボット対応モード」とを選択することができる。
【００５０】
このシステムに本発明の装置を導入し、近親者やロボット３７と対話する高齢者の脈拍数を継続的に計測して、その変動を調べることは、高齢者の感情の変化を知る上で有効である。感情に変化があると、脈拍に変化が現れることは良く知られている。
ただ、その際の感情が快いものなのか、不快なものなのかは分からない。
そこで、高齢者の顔の画像から高齢者の表情を認識する表情認識手段と組み合わせることで、脈拍変動があり、かつ、快を表す表情のときには、対話の話題を好み、ポジティブに反応していると判断することができる。また、脈拍数の変動がない場合は、感情状況に問題がある可能性がある。このように、対話時の脈拍数変動の大小・有無が認知症の程度を知る指標の一つになる。
【産業上の利用可能性】
【００５１】
本発明の計測装置及び計測方法は、被験者の顔が動いたり、被験者に当たる照明が変化したりしても、被験者のビデオ画像から被験者の脈拍数や脈波信号等を的確に計測することが可能であり、医療施設や介護施設、トレーニング施設等、幅広い分野で利用することができる。
【符号の説明】
【００５２】
１    撮像装置
２    コンピュータ
３    表示部
４    被験者
１０  演算部
１１  サンプル選択部
１２  サンプル輝度信号取得部
１３  サンプル脈波信号抽出部
１４  信頼度判定部
１５  サンプルデータ算出部
１６  サンプルデータグループ化部
１７  測定結果決定部
２０  画像記録部
３０  表示制御部
４１  興味領域（ＲＯＩ）
【図１】
0006521845.tif 000016
【図２】
0006521845.tif 000017
【図３】
0006521845.tif 000018
【図４】
0006521845.tif 000019
【図５】
0006521845.tif 000020
【図６】
0006521845.tif 000021
【図７】
0006521845.tif 000022