(57)【要約】【課題】更なる改善を実現できる脈波計測装置を提供する。【解決手段】プロセッサおよびメモリを備える脈波計測装置１０であって、プロセッサは、可視光光源により可視光を照射されたユーザを可視光領域において撮像することにより得られた可視光画像を取得し、赤外光光源により赤外光を照射されたユーザを赤外光領域において撮像することにより得られた赤外光画像を取得し、取得した可視光画像から、ユーザの脈波を示す波形である可視光波形を抽出し、取得した赤外光画像から、ユーザの脈波を示す波形である赤外光波形を抽出し、抽出した可視光波形と、抽出した赤外光波形との間の相関度を演算し、演算した相関度に応じて、赤外光光源が発する赤外光の光量を制御する制御信号を赤外光光源に出力し、可視光波形および赤外光波形の少なくとも一方を用いて、生体情報を算出し、算出した生体情報を出力する。【選択図】図７
2018033931.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサおよびメモリを備える脈波計測装置であって、
前記プロセッサは、
可視光光源により可視光を照射されたユーザを可視光領域において撮像することにより得られた第１可視光画像を取得し、
赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた第１赤外光画像を取得し、
取得した前記第１可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、
取得した前記第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、
抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の第１相関度を演算し、
演算した前記第１相関度が第２の閾値以上であるか否かを判定する第１判定を行い、
前記第１判定の結果、演算した前記第１相関度が前記第２の閾値以上であると判定した場合、前記可視光光源における可視光の光量を減少させる第１制御信号を前記可視光光源に出力し、かつ、前記赤外光光源における赤外光の光量を増加させる第２制御信号を前記赤外光光源に出力し、
前記可視光光源により前記第１制御信号に基づく可視光を照射された前記ユーザを可視光領域において撮像することにより得られた第２可視光画像を取得し、
前記赤外光光源により前記第２制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた第２赤外光画像を取得し、
取得した前記第２可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、
取得した前記第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、
抽出した前記第２可視光波形および前記第２赤外光波形の少なくとも一方を用いて、生体情報を算出し、
算出した前記生体情報を出力する
脈波計測装置。
【請求項２】
前記プロセッサは、前記第１相関度の演算において、
前記第１可視光波形を前記脈波の周期である脈波周期単位の複数の第１単位波形に分割したとき、前記複数の第１単位波形のそれぞれについて、当該第１単位波形における最大値である第１頂点、および、当該第１単位波形における最小値である第１底点の一方である第１ピーク点を抽出することで、前記第１可視光波形から複数の前記第１ピーク点を抽出し、
前記第１赤外光波形を前記脈波周期単位の複数の第２単位波形に分割したとき、前記複数の第２単位波形のそれぞれについて、当該第２単位波形おける最大値である第２頂点、および、当該第２単位波形における最小値である第２底点の一方である第２ピーク点を抽出することで、前記第１赤外光波形から複数の前記第２ピーク点を抽出し、
抽出した前記複数の第１ピーク点のそれぞれについて、当該第１ピーク点での第１時刻と、当該第１ピーク点に時系列で隣接する他の第１ピーク点での第２時刻との間の時間間隔である第１心拍間隔時間を算出することで、複数の前記第１心拍間隔時間を算出し、
抽出した前記複数の第２ピーク点のそれぞれについて、当該第２ピーク点での第３時刻と、当該第２ピーク点に時系列で隣接する他の第２ピーク点での第４時刻との間の時間間隔である第２心拍間隔時間を算出することで、複数の前記第２心拍間隔時間を算出し、
以下の（式１）を用いて、時系列において互いに対応する、前記複数の第１心拍間隔時間と、前記複数の第２心拍間隔時間との間の第１相関係数を、前記第１相関度として演算する
請求項１に記載の脈波計測装置。
【数１】
2018033931.tif 000008
【請求項３】
前記プロセッサは、さらに、
前記第１標準偏差が第４の閾値を超えており、かつ、前記第２標準偏差が前記第４の閾値を超えているか否かを判定する第２判定を行い、
前記第２判定の結果、前記第１標準偏差が前記第４の閾値を超えており、かつ、前記第２標準偏差が前記第４の閾値を超えていると判定した場合、
前記複数の第１心拍間隔時間のうちの一の第１心拍間隔時間と、前記複数の第２心拍間隔時間のうちの、当該一の第１心拍間隔時間に時系列において対応する一の第２心拍間隔時間との第１時間差が第５の閾値未満であるか否かの第３判定、および、前記第５の閾値よりも大きい第６の閾値より前記第１時間差が大きいか否かの第４判定を行い、
前記第３判定および前記第４判定の結果、
前記第１時間差が前記第６の閾値より大きいと判定した場合、前記第２制御信号を前記赤外光光源に出力し、
前記第１時間差が前記第５の閾値以上前記第６の閾値以下であると判定した場合、前記可視光光源における可視光の光量を増加させる第３制御信号を前記可視光光源に出力し、かつ、前記赤外光光源における赤外光の光量を減少させる第４制御信号を前記赤外光光源に出力する
請求項２に記載の脈波計測装置。
【請求項４】
前記プロセッサは、さらに、
前記第３判定および前記第４判定の結果、前記第１時間差が前記第５の閾値よりも小さいと判定した場合、前記第２標準偏差が前記第４の閾値以下であるか否かを判定する第５判定を行い、
前記第５判定の結果、
前記第２標準偏差が前記第４の閾値以下であると判定した場合、前記第１制御信号を前記可視光光源に出力し、かつ、前記第２制御信号を前記赤外光光源に出力し、
前記第２標準偏差が前記第４の閾値より大きいと判定した場合、前記第３制御信号を前記可視光光源に出力し、かつ、前記第４制御信号を前記赤外光光源に出力する
請求項３に記載の脈波計測装置。
【請求項５】
前記プロセッサは、さらに、
前記複数の第１頂点のうちの一の第１頂点と、前記複数の第１底点のうちの、当該一の第１頂点の時系列における直後の一の第１底点とを結ぶ第１直線の傾きを第１の傾きとして前記メモリに記憶させ、
前記第２可視光波形を前記脈波周期単位の複数の第３単位波形に分割したとき、前記複数の第３単位波形のそれぞれについて、当該第３単位波形における最大値である第３頂点、および、当該第３単位波形における最小値である第３底点の一方である第３ピーク点を抽出することで、前記第２可視光波形から複数の前記第３ピーク点を抽出し、
前記第２赤外光波形を前記脈波周期単位の複数の第４単位波形に分割したとき、前記複数の第４単位波形のそれぞれについて、当該第４単位波形おける最大値である第４頂点、および、当該第４単位波形における最小値である第４底点の一方である第４ピーク点を抽出することで、前記第２赤外光波形から複数の前記第４ピーク点を抽出し、
抽出した前記複数の第３ピーク点のそれぞれについて、当該第３ピーク点での第５時刻と、当該第３ピーク点に時系列で隣接する他の第３ピーク点での第６時刻との間の時間間隔である第３心拍間隔時間を算出することで、複数の前記第３心拍間隔時間を算出し、
抽出した前記複数の第４ピーク点のそれぞれについて、当該第４ピーク点での第７時刻と、当該第４ピーク点に時系列で隣接する他の第４ピーク点での第８時刻との間の時間間隔である第４心拍間隔時間を算出することで、複数の前記第４心拍間隔時間を算出し、
以下の（式２）を用いて、時系列において互いに対応する、前記複数の第３心拍間隔時間と、前記複数の第４心拍間隔時間との間の第２相関係数を演算し、
前記第２可視光画像の取得、前記第２可視光波形の抽出、前記第２赤外光画像の取得、前記第２赤外光波形の抽出、および、前記第２相関係数の演算を繰り返し行い、
繰り返し行われる前記第２相関係数の演算において、さらに、繰り返し行うことで得られた前記第２赤外光波形における、前記複数の第４頂点のうちの一の第４頂点と、前記複数の第４底点のうちの、当該一の第４頂点の時系列における直後の一の第４底点とを結ぶ第２直線の傾きである第２の傾きと、前記メモリに記憶している前記第１の傾きとを比較し、
前記第２の傾きが、前記第１の傾きになるまで、前記第２制御信号を前記赤外光光源に出力する、
請求項４に記載の脈波計測装置。
【数２】
2018033931.tif 000009
【請求項６】
前記プロセッサは、さらに、
前記第３標準偏差が前記第４の閾値を超えており、かつ、前記第４標準偏差が前記第４の閾値を超えているか否かを判定する第６判定を行い、
前記第６判定の結果、前記第３標準偏差が前記第４の閾値を超えており、かつ、前記第４標準偏差が前記第４の閾値を超えていると判定した場合、
前記複数の第３心拍間隔時間のうちの一の第３心拍間隔時間と、前記複数の第４心拍間隔時間のうちの、当該一の第３心拍間隔時間に時系列において対応する一の第４心拍間隔時間との第２時間差が前記第５の閾値未満であるか否かの第７判定、および、前記第６の閾値より前記第２時間差が大きいか否かの第８判定を行い、
前記第７判定および前記第８判定の結果、
前記第２時間差が前記第６の閾値より大きいと判定した場合、前記第２制御信号を前記赤外光光源に出力し、
前記第２時間差が前記第５の閾値以上前記第６の閾値以下であると判定した場合、前記第３制御信号を前記可視光光源に出力し、かつ、前記第４制御信号を前記赤外光光源に出力する
請求項５に記載の脈波計測装置。
【請求項７】
前記プロセッサは、さらに、
前記第７判定および前記第８判定の結果、前記第２時間差が前記第５の閾値よりも小さいと判定した場合、前記第４標準偏差が前記第４の閾値以下であるか否かを判定する第９判定を行い、
前記第９判定の結果、
前記第４標準偏差が前記第４の閾値以下であると判定した場合、前記第１制御信号を前記可視光光源に出力し、かつ、前記第２制御信号を前記赤外光光源に出力し、
前記第４標準偏差が前記第４の閾値より大きいと判定した場合、前記第３制御信号を前記可視光光源に出力し、かつ、前記第４制御信号を前記赤外光光源に出力する
請求項６に記載の脈波計測装置。
【請求項８】
前記プロセッサは、
繰り返し行われる前記第２相関係数の演算において、
前記第３ピーク点の数または前記第４ピーク点の数が第１所定期間において、第１の閾値を超えるか否かを判定する第１０判定を行い、
前記第１０判定の結果、前記第３ピーク点の数または前記第４ピーク点の数が前記第１所定期間において、前記第１の閾値を超えると判定した場合、
前記複数の第３頂点のそれぞれについて、当該第３頂点と、前記複数の第３底点のうちの、当該第３頂点の時系列における直後の第３底点との間の変曲点である第１変曲点を抽出することで、複数の前記第１変曲点を抽出し、
前記複数の第４頂点のそれぞれについて、当該第４頂点と、前記複数の第４底点のうちの、当該第４頂点の時系列における直後の第４底点との間の変曲点である第２変曲点を抽出することで、複数の前記第２変曲点を抽出し、
抽出した前記複数の第１変曲点のそれぞれについて、当該第１変曲点での第９時刻と、当該第１変曲点に隣接する他の第１変曲点での第１０時刻との間の時間間隔を前記第３心拍間隔時間として算出し、
抽出した前記複数の第２変曲点のそれぞれについて、当該第２変曲点での第１１時刻と、当該第２変曲点に隣接する他の第２変曲点での第１２時刻との間の時間間隔を前記第４心拍間隔時間として算出し、
時系列において互いに対応する、前記第１変曲点を用いて算出した前記複数の第３心拍間隔時間と、前記第２変曲点を用いて算出した前記複数の第４心拍間隔時間との間の相関係数を、前記（式２）を用いることで前記第２相関係数として演算する
請求項５から７のいずれか１項に記載の脈波計測装置。
【請求項９】
前記プロセッサは、さらに、
前記複数の第３心拍間隔時間および前記複数の第４心拍間隔時間のうち、時系列で互いに対応する前記第３心拍間隔時間および前記第４心拍間隔時間との間の絶対誤差が第３の閾値を超えている場合、
前記複数の第３ピーク点の数と、前記複数の第４ピーク点の数とを比較し、
前記第３の閾値を超えていると判定された前記第３心拍間隔時間および前記第４心拍間隔時間のうち、前記比較の結果、数が多いと判定された方のピーク点により算出された心拍間隔時間を特定し、
特定した心拍間隔時間の演算の基準となったピーク点を当該心拍間隔時間の演算対象から除外する
請求項５から８のいずれか１項に記載の脈波計測装置。
【請求項１０】
前記プロセッサは、さらに、
前記複数の第３ピーク点の数と、前記複数の第４ピーク点の数とを比較し、
前記複数の第３心拍間隔時間および前記複数の第４心拍間隔時間のうち、前記比較の結果、数が少ないと判定された方のピーク点により算出された心拍間隔時間を特定し、
特定した心拍間隔時間の標準偏差が前記第４の閾値以下である場合、
前記複数の第３頂点のそれぞれについて、当該第３頂点と、前記複数の第３底点のうちの、当該第３頂点の時系列における直後の第３底点との間の変曲点である第１変曲点を抽出することで、複数の前記第１変曲点を抽出し、
前記複数の第４頂点のそれぞれについて、当該第４頂点と、前記複数の第４底点のうちの、当該第４頂点の時系列における直後の第４底点との間の変曲点である第２変曲点を抽出することで、複数の前記第２変曲点を抽出し、
抽出した前記複数の第１変曲点のそれぞれについて、当該第１変曲点での第１３時刻と、当該第１変曲点に隣接する他の第１変曲点での第１４時刻との間の時間間隔を前記第３心拍間隔時間として算出し、
抽出した前記複数の第２変曲点のそれぞれについて、当該第２変曲点での第１５時刻と、当該第２変曲点に隣接する他の第２変曲点での第１６時刻との間の時間間隔を前記第４心拍間隔時間として算出し、
時系列において互いに対応する、前記第１変曲点を用いて算出した前記複数の第３心拍間隔時間と、前記第２変曲点を用いて算出した前記複数の第４心拍間隔時間との間の相関係数を、前記（式２）を用いることで前記第２相関係数として演算する
請求項５から７のいずれか１項に記載の脈波計測装置。
【請求項１１】
前記プロセッサは、
前記複数の第１ピーク点の抽出において、前記第１制御信号により前記可視光光源の光量を制御している期間を除く期間において取得された前記第１可視光波形から前記複数の第１ピーク点を抽出し、
前記複数の第２ピーク点の抽出において、前記第２制御信号により前記赤外光光源の光量を制御している期間を除く期間において取得された前記第１赤外光波形から前記複数の第２ピーク点を抽出し、
前記複数の第３ピーク点の抽出において、前記第３制御信号により前記可視光光源の光量を制御している期間を除く期間において取得された前記第２可視光波形から前記複数の第３ピーク点を抽出し、
前記複数の第４ピーク点の抽出において、前記第４制御信号により前記赤外光光源の光量を制御している期間を除く期間において取得された前記第２赤外光波形から前記複数の第４ピーク点を抽出する
請求項５から１０のいずれか１項に記載の脈波計測装置。
【請求項１２】
前記プロセッサは、
前記第１制御信号または前記第３制御信号の出力において、前記第１可視光波形から連続する２つ以上の前記第１ピーク点が第２所定期間内に抽出されるまで、または、前記第２可視光波形から連続する２つ以上の前記第３ピーク点が第２所定期間内に抽出されるまで、前記第１制御信号または前記第３制御信号の出力を待機し、
前記第２制御信号または前記第４制御信号の出力において、前記第１赤外光波形から連続する２つ以上の前記第２ピーク点が前記第２所定期間内に抽出されるまで、または、前記第２赤外光波形から連続する２つ以上の前記第４ピーク点が前記第２所定期間内に抽出されるまで、前記第２制御信号または前記第４制御信号の出力を待機する
請求項５から１１のいずれか１項に記載の脈波計測装置。
【請求項１３】
プロセッサおよびメモリを備える脈波計測装置が実行する脈波計測方法であって、
可視光光源により可視光を照射されたユーザを可視光領域において撮像することにより得られた第１可視光画像を取得し、
赤外光光源により赤外光を照射されたユーザを赤外光領域において撮像することにより得られた第１赤外光画像を取得し、
取得した前記第１可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、
取得した前記第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、
抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の第１相関度を演算し、
演算した前記第１相関度が第２の閾値以上であるか否かを判定する第１判定を行い、
前記第１判定の結果、演算した前記第１相関度が前記第２の閾値以上であると判定した場合、前記可視光光源における可視光の光量を減少させる第１制御信号を前記可視光光源に出力し、かつ、前記赤外光光源における赤外光の光量を増加させる第２制御信号を前記赤外光光源に出力し、
前記可視光光源により前記第１制御信号に基づく可視光を照射された前記ユーザを可視光領域において撮像することにより得られた第２可視光画像を取得し、
前記赤外光光源により前記第２制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた第２赤外光画像を取得し、
取得した前記第２可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、
取得した前記第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、
抽出した前記第２可視光波形および前記第２赤外光波形の少なくとも一方を用いて、生体情報を算出し、
算出した前記生体情報を出力する
脈波計測方法。
【請求項１４】
請求項１３に記載の脈波計測方法をコンピュータに実行させるプログラム。
【請求項１５】
請求項１４に記載のプログラムを格納するコンピュータ読み取り可能な非一時的な記録媒体。
【請求項１６】
脈波計測方法であって、
可視光光源から放射された第１可視光を照射されたユーザの可視光領域における複数の第１可視光画像を取得し、
赤外光光源から放射された第１赤外光を照射されたユーザの赤外光領域における複数の第２赤外光画像を取得し、
前記複数の第１可視光画像から、第１可視光波形を抽出し、
前記複数の第１赤外光画像から、第１赤外光波形を抽出し、
前記第１可視光波形と前記第１赤外光波形との間の相関度を演算し、
前記相関度が閾値以上である場合、前記可視光光源に第２可視光を出射させ、かつ、前記赤外光光源に第２赤外光を出射させ、
前記第２可視光の単位時間毎の量は前記第１可視光の単位時間毎の量より小さく、
前記第２赤外光の単位時間毎の量は前記第１赤外光の単位時間毎の量より大きく、
前記第２可視光を照射されたユーザの前記可視光領域における複数の第２可視光画像を取得し、
前記第２赤外光を照射されたユーザの前記赤外光領域においる複数の第２赤外光画像を取得し、
前記複数の第２可視光画像から、第２可視光波形を抽出し、
前記複数の第２赤外光画像から、第２赤外光波形を抽出し、
前記第２可視光波形および前記第２赤外光波形の少なくとも一方を用いて、生体情報を算出し、
前記生体情報を出力し、
前記相関度の演算は以下を含む、
（１）複数の第１単位波形に含まれる複数の第１時間における複数の第１ピーク点を抽出し、前記複数の第１ピーク点は、前記複数の第１単位波形に含まれる複数の第１の最大値点または前記複数の第１単位波形に含まれる複数の第１の最小値点であり、前記第１可視光波形は前記複数の第１単位波形を含み、前記複数の第１の最大値点と前記複数の第１単位波形はそれぞれ対応し、前記複数の第１の最小値点と前記複数の第１単位波形はそれぞれ対応し、前記複数の第１単位波形と前記複数の第１時間はそれぞれ対応し、
（２）複数の第２単位波形に含まれる複数の第２時間における複数の第２ピーク点を抽出し、前記複数の第２ピーク点は、前記複数の第２単位波形に含まれる複数の第２の最大値点または前記複数の第２単位波形に含まれる複数の第２の最小値点であり、前記第２可視光波形は前記複数の第２単位波形を含み、前記複数の第２の最大値点と前記複数の第２単位波形はそれぞれ対応し、前記複数の第１の最小値点と前記複数の第１単位波形はそれぞれ対応し、前記複数の第２単位波形と前記複数の第２時間はそれぞれ対応し、
（３）前記複数の第１時間に基づいて複数の第１心拍間隔時間を算出し、前記複数の第１心拍間隔時間は第１時間と第２時間の間の時間であり、前記複数の第１時間は前記第１時間と前記第２時間を含み、前記第１時間に含まれる時間は前記第１時間と前記第２時間の間には存在せず、
（４）前記複数の第２時間に基づいて複数の第２心拍間隔時間を算出し、前記複数の第２心拍間隔時間は第３時間と第４時間の間の時間であり、前記複数の第２時間は前記第３時間と前記第４時間を含み、前記第２時間に含まれる時間は前記第３時間と前記第４時間の間には存在せず、
（５）以下の（式１）を用いて、前記相関度を演算する
脈波計測方法。
【数３】
2018033931.tif 000010
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、非接触で人の脈波を計測する脈波計測装置および脈波計測方法に関する。
【背景技術】
【０００２】
特許文献１には、ミリ波、可視光、赤外光等を用いて、非接触状態で心拍および睡眠深度を計測する技術が開示されている。
【０００３】
また、特許文献２には、撮影装置において、赤外光を被写体に照射した赤外撮影モードから通常撮影モードへの切り替えを良好に行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１９２６２０号公報
【特許文献２】特開２００４−１４６８７３号公報
【特許文献３】特開２００７−１３０１８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１や特許文献２に開示されている技術では、更なる改善が必要とされていた。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る脈波計測装置は、プロセッサおよびメモリを備える脈波計測装置であって、前記プロセッサは、可視光光源により可視光を照射されたユーザを可視光領域において撮像することにより得られた第１可視光画像を取得し、赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた第１赤外光画像を取得し、取得した前記第１可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、取得した前記第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の第１相関度を演算し、演算した前記第１相関度が第２の閾値以上であるか否かを判定する第１判定を行い、前記第１判定の結果、演算した前記第１相関度が前記第２の閾値以上であると判定した場合、前記可視光光源における可視光の光量を減少させる第１制御信号を前記可視光光源に出力し、かつ、前記赤外光光源における赤外光の光量を増加させる第２制御信号を前記赤外光光源に出力し、前記可視光光源により前記第１制御信号に基づく可視光を照射された前記ユーザを可視光領域において撮像することにより得られた第２可視光画像を取得し、前記赤外光光源により前記第２制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた第２赤外光画像を取得し、取得した前記第２可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、取得した前記第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、抽出した前記第２可視光波形および前記第２赤外光波形の少なくとも一方を用いて、生体情報を算出し、算出した前記生体情報を出力する。
【０００７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
上記態様によれば、更なる改善を実現することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施の形態における脈波計測装置がユーザに利用される様子を示す模式図である。
【図２】図２は、脈波計測装置を下方から見た場合の脈波計測装置の平面図である。
【図３】図３は、脈波計測装置のハードウェア構成の一例を示すブロック図である。
【図４】図４は、実施の形態１に係る携帯端末のハードウェア構成の一例を示すブロック図である。
【図５】図５は、脈波計測装置の使用例を説明するための図である。
【図６】図６は、脈波計測装置の使用例を説明するための図である。
【図７】図７は、本実施の形態における脈波計測装置の機能構成の一例を示すブロック図である。
【図８】図８は、本実施の形態における可視光画像および赤外光画像の輝度変化の一例を示すグラフである。
【図９】図９は、本実施の形態における脈波タイミングの算出の一例を示すグラフである。
【図１０】図１０は、時系列で取得した心拍間隔時間の例を示すグラフである。
【図１１】図１１は、脈波から変曲点を抽出する方法を説明するためのグラフである。
【図１２】図１２は、可視光波形において、頂点から底点までの間の傾きを演算する方法を説明するための可視光波形を示すグラフである。
【図１３】図１３は、赤外光光源の光量の異なるレベルごとに、赤外光カメラで人の肌画像を取得した場合の赤外光波形を示すグラフである。
【図１４】図１４は、第１心拍間隔時間と、第２心拍間隔時間とのそれぞれを時系列順のデータでプロットしたものを示すグラフである。
【図１５】図１５は、心拍間隔時間が適切であるか否かの判定の具体例について説明するための図である。
【図１６】図１６は、可視光波形においてピーク点の過剰取得が行われ、対応する赤外光波形においてピーク点の過剰取得が行われなかった場合の例を説明するための図である。
【図１７】図１７は、変曲点を用いて相関度を算出する場合を説明するための図である。
【図１８】図１８は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件に当てはまらない例を説明するための図である。
【図１９】図１９は、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しないことを説明するための例を示す図である。
【図２０】図２０は、脈波計測装置を用いて、可視光光源の光量を０になるまで減少させ、かつ、赤外光光源の光量を適切な光量まで増加させる最も簡単なステップの例を示す図である。
【図２１】図２１は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、光源制御を待機することを説明するための図である。
【図２２】図２２は、提示装置への表示例を示す図である。
【図２３】図２３は、本実施の形態における脈波計測装置の処理の流れを示すフローチャートである。
【図２４】図２４は、本実施の形態におけるピーク点の過剰取得判定処理の詳細を示すフローチャートである。
【図２５】図２５は、本実施の形態における相関度の演算処理の詳細を示すフローチャートである。
【図２６】図２６は、本実施の形態における光量の調整処理の詳細を示すフローチャートである。
【図２７】図２７は、変形例に係る脈波計測装置の特徴を説明するための図である。
【発明を実施するための形態】
【００１０】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した技術に関し、以下の問題が生じることを見出した。
【００１１】
特許文献１では、暗室で脈波を取得する場合において赤外光源の光量の調整について開示されていないため、暗室かつ非接触による心拍や脈波の計測が難しいという問題がある。
【００１２】
また、特許文献２では、可視光の輝度と赤外光の輝度との比を用いてモードの切り替えを用いているが、暗室における脈波計測に当該モードの切り替えを適用した場合、輝度の比による切り替えでは、容易に脈波を計測できないという問題がある。
【００１３】
そこで、本開示は、暗室において精度よく脈波計測が可能な脈波計測装置等を提供する。
【００１４】
本開示の一態様に係る脈波計測装置は、プロセッサおよびメモリを備える脈波計測装置であって、前記プロセッサは、可視光光源により可視光を照射されたユーザを可視光領域において撮像することにより得られた第１可視光画像を取得し、赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた第１赤外光画像を取得し、取得した前記第１可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、取得した前記第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の第１相関度を演算し、演算した前記第１相関度が第２の閾値以上であるか否かを判定する第１判定を行い、前記第１判定の結果、演算した前記第１相関度が前記第２の閾値以上であると判定した場合、前記可視光光源における可視光の光量を減少させる第１制御信号を前記可視光光源に出力し、かつ、前記赤外光光源における赤外光の光量を増加させる第２制御信号を前記赤外光光源に出力し、前記可視光光源により前記第１制御信号に基づく可視光を照射された前記ユーザを可視光領域において撮像することにより得られた第２可視光画像を取得し、前記赤外光光源により前記第２制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた第２赤外光画像を取得し、取得した前記第２可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、取得した前記第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、抽出した前記第２可視光波形および前記第２赤外光波形の少なくとも一方を用いて、生体情報を算出し、算出した前記生体情報を出力する。
【００１５】
これによれば、ユーザの脈波が撮像された第１可視光画像から得られた第１可視光波形と、同一の脈波が撮像された第１赤外光画像から得られた第１赤外光波形との第１相関度を演算し、第１相関度に応じて赤外光光源が発する赤外光の光量を制御する。このため、赤外光光量の調整を適切に行うことができ、精度よく生体情報を算出できる。
【００１６】
また、例えば、前記プロセッサは、前記第１相関度の演算において、前記第１可視光波形を前記脈波の周期である脈波周期単位の複数の第１単位波形に分割し、前記複数の第１単位波形のそれぞれについて、当該第１単位波形における最大値である第１頂点、および、当該第１単位波形における最小値である第１底点の一方である第１ピーク点を抽出することで、前記第１可視光波形から複数の前記第１ピーク点を抽出し、前記第１赤外光波形を前記脈波周期単位の複数の第２単位波形に分割し、前記複数の第２単位波形のそれぞれについて、当該第２単位波形おける最大値である第２頂点、および、当該第２単位波形における最小値である第２底点の一方である第２ピーク点を抽出することで、前記第１赤外光波形から複数の前記第２ピーク点を抽出し、抽出した前記複数の第１ピーク点のそれぞれについて、当該第１ピーク点での第１時刻と、当該第１ピーク点に時系列で隣接する他の第１ピーク点での第２時刻との間の時間間隔である第１心拍間隔時間を算出することで、複数の前記第１心拍間隔時間を算出し、抽出した前記複数の第２ピーク点のそれぞれについて、当該第２ピーク点での第３時刻と、当該第２ピーク点に時系列で隣接する他の第２ピーク点での第４時刻との間の時間間隔である第２心拍間隔時間を算出することで、複数の前記第２心拍間隔時間を算出し、以下の（式１）を用いて、時系列において互いに対応する、前記複数の第１心拍間隔時間と、前記複数の第２心拍間隔時間との間の第１相関係数を、前記第１相関度として演算してもよい。
【００１７】
【数１】
2018033931.tif 000003
【００１８】
これによれば、第１可視光波形から算出した第１心拍間隔時間と、第１赤外光波形から算出した第２心拍間隔時間とを比較することで、第１相関係数を第１相関度として演算する。このため、第１可視光波形と第１赤外光波形との間の第１相関度を容易に演算できる。
【００１９】
また、例えば、前記プロセッサは、さらに、前記第１標準偏差が第４の閾値を超えており、かつ、前記第２標準偏差が前記第４の閾値を超えているか否かを判定する第２判定を行い、前記第２判定の結果、前記第１標準偏差が前記第４の閾値を超えており、かつ、前記第２標準偏差が前記第４の閾値を超えていると判定した場合、前記複数の第１心拍間隔時間のうちの一の第１心拍間隔時間と、前記複数の第２心拍間隔時間のうちの、当該一の第１心拍間隔時間に時系列において対応する一の第２心拍間隔時間との第１時間差が第５の閾値未満であるか否かの第３判定、および、前記第５の閾値よりも大きい第６の閾値より前記第１時間差が大きいか否かの第４判定を行い、前記第３判定および前記第４判定の結果、前記第１時間差が前記第６の閾値より大きいと判定した場合、前記第２制御信号を前記赤外光光源に出力し、前記第１時間差が前記第５の閾値以上前記第６の閾値以下であると判定した場合、前記可視光光源における可視光の光量を増加させる第３制御信号を前記可視光光源に出力し、かつ、前記赤外光光源における赤外光の光量を減少させる第４制御信号を前記赤外光光源に出力してもよい。
【００２０】
また、例えば、前記プロセッサは、さらに、前記第３判定および前記第４判定の結果、前記第１時間差が前記第５の閾値よりも小さいと判定した場合、前記第２標準偏差が前記第４の閾値以下であるか否かを判定する第５判定を行い、前記第５判定の結果、前記第２標準偏差が前記第４の閾値以下であると判定した場合、前記第１制御信号を前記可視光光源に出力し、かつ、前記第２制御信号を前記赤外光光源に出力し、前記第２標準偏差が前記第４の閾値より大きいと判定した場合、前記第３制御信号を前記可視光光源に出力し、かつ、前記第４制御信号を前記赤外光光源に出力してもよい。
【００２１】
これにより、適切に可視光光源および赤外光光源の光量を調整することができる。
【００２２】
また、例えば、前記プロセッサは、さらに、前記複数の第１頂点のうちの一の第１頂点と、前記複数の第１底点のうちの、当該一の第１頂点の時系列における直後の一の第１底点とを結ぶ第１直線の傾きを第１の傾きとして前記メモリに記憶させ、前記第２可視光波形を前記脈波周期単位の複数の第３単位波形に分割し、前記複数の第３単位波形のそれぞれについて、当該第３単位波形における最大値である第３頂点、および、当該第３単位波形における最小値である第３底点の一方である第３ピーク点を抽出することで、前記第２可視光波形から複数の前記第３ピーク点を抽出し、前記第２赤外光波形を前記脈波周期単位の複数の第４単位波形に分割し、前記複数の第４単位波形のそれぞれについて、当該第４単位波形おける最大値である第４頂点、および、当該第４単位波形における最小値である第４底点の一方である第４ピーク点を抽出することで、前記第２赤外光波形から複数の前記第４ピーク点を抽出し、抽出した前記複数の第３ピーク点のそれぞれについて、当該第３ピーク点での第５時刻と、当該第３ピーク点に時系列で隣接する他の第３ピーク点での第６時刻との間の時間間隔である第３心拍間隔時間を算出することで、複数の前記第３心拍間隔時間を算出し、抽出した前記複数の第４ピーク点のそれぞれについて、当該第４ピーク点での第７時刻と、当該第４ピーク点に時系列で隣接する他の第４ピーク点での第８時刻との間の時間間隔である第４心拍間隔時間を算出することで、複数の前記第４心拍間隔時間を算出し、以下の（式２）を用いて、時系列において互いに対応する、前記複数の第３心拍間隔時間と、前記複数の第４心拍間隔時間との間の第２相関係数を演算し、前記第２可視光画像の取得、前記第２可視光波形の抽出、前記第２赤外光画像の取得、前記第２赤外光波形の抽出、および、前記第２相関係数の演算を繰り返し行い、繰り返し行われる前記第２相関係数の演算において、さらに、繰り返し行うことで得られた前記第２赤外光波形における、前記複数の第４頂点のうちの一の第４頂点と、前記複数の第４底点のうちの、当該一の第４頂点の時系列における直後の一の第４底点とを結ぶ第２直線の傾きである第２の傾きと、前記メモリに記憶している前記第１の傾きとを比較し、前記第２の傾きが、前記第１の傾きになるまで、前記第２制御信号を前記赤外光光源に出力してもよい。
【００２３】
【数２】
2018033931.tif 000004
【００２４】
これによれば、赤外光光源の光量を調整した後の第２赤外光波形における第２の傾きとメモリに記憶している第１の傾きとを比較するため、赤外光光源の光量が適切な光量になったか否かを効果的に判定できる。
【００２５】
また、例えば、前記プロセッサは、さらに、前記第３標準偏差が前記第４の閾値を超えており、かつ、前記第４標準偏差が前記第４の閾値を超えているか否かを判定する第６判定を行い、前記第６判定の結果、前記第３標準偏差が前記第４の閾値を超えており、かつ、前記第４標準偏差が前記第４の閾値を超えていると判定した場合、前記複数の第３心拍間隔時間のうちの一の第３心拍間隔時間と、前記複数の第４心拍間隔時間のうちの、当該一の第３心拍間隔時間に時系列において対応する一の第４心拍間隔時間との第２時間差が前記第５の閾値未満であるか否かの第７判定、および、前記第６の閾値より前記第２時間差が大きいか否かの第８判定を行い、前記第７判定および前記第８判定の結果、前記第２時間差が前記第６の閾値より大きいと判定した場合、前記第２制御信号を前記赤外光光源に出力し、前記第２時間差が前記第５の閾値以上前記第６の閾値以下であると判定した場合、前記第３制御信号を前記可視光光源に出力し、かつ、前記第４制御信号を前記赤外光光源に出力してもよい。
【００２６】
また、例えば、前記プロセッサは、さらに、前記第７判定および前記第８判定の結果、前記第２時間差が前記第５の閾値よりも小さいと判定した場合、前記第４標準偏差が前記第４の閾値以下であるか否かを判定する第９判定を行い、前記第９判定の結果、前記第４標準偏差が前記第４の閾値以下であると判定した場合、前記第１制御信号を前記可視光光源に出力し、かつ、前記第２制御信号を前記赤外光光源に出力し、前記第４標準偏差が前記第４の閾値より大きいと判定した場合、前記第３制御信号を前記可視光光源に出力し、かつ、前記第４制御信号を前記赤外光光源に出力してもよい。
【００２７】
また、例えば、前記プロセッサは、繰り返し行われる前記第２相関係数の演算において、前記第３ピーク点の数または前記第４ピーク点の数が第１所定期間において、第１の閾値を超えるか否かを判定する第１０判定を行い、前記第１０判定の結果、前記第３ピーク点の数または前記第４ピーク点の数が前記第１所定期間において、前記第１の閾値を超えると判定した場合、前記複数の第３頂点のそれぞれについて、当該第３頂点と、前記複数の第３底点のうちの、当該第３頂点の時系列における直後の第３底点との間の変曲点である第１変曲点を抽出することで、複数の前記第１変曲点を抽出し、前記複数の第４頂点のそれぞれについて、当該第４頂点と、前記複数の第４底点のうちの、当該第４頂点の時系列における直後の第４底点との間の変曲点である第２変曲点を抽出することで、複数の前記第２変曲点を抽出し、抽出した前記複数の第１変曲点のそれぞれについて、当該第１変曲点での第５時刻と、当該第１変曲点に隣接する他の第１変曲点での第６時刻との間の時間間隔を前記第３心拍間隔時間として算出し、抽出した前記複数の第２変曲点のそれぞれについて、当該第２変曲点での第７時刻と、当該第２変曲点に隣接する他の第２変曲点での第８時刻との間の時間間隔を前記第４心拍間隔時間として算出し、時系列において互いに対応する、前記第１変曲点を用いて算出した前記複数の第３心拍間隔時間と、前記第２変曲点を用いて算出した前記複数の第４心拍間隔時間との間の相関係数を、前記（式２）を用いることで前記第２相関係数として演算してもよい。
【００２８】
このため、ピーク点が多く取得される場合に、変曲点を用いることにより各心拍間隔時間を算出することができる。
【００２９】
また、例えば、前記プロセッサは、さらに、前記複数の第３心拍間隔時間および前記複数の第４心拍間隔時間のうち、時系列で互いに対応する前記第３心拍間隔時間および前記第４心拍間隔時間との間の絶対誤差が第３の閾値を超えている場合、前記複数の第３ピーク点の数と、前記複数の第４ピーク点の数とを比較し、前記第３の閾値を超えていると判定された前記第３心拍間隔時間および前記第４心拍間隔時間のうち、前記比較の結果、数が多いと判定された方のピーク点により算出された心拍間隔時間を特定し、特定した心拍間隔時間の演算の基準となったピーク点を当該心拍間隔時間の演算対象から除外してもよい。
【００３０】
このため、過剰に取得されたピーク点を削除することができ、適切な値の第３心拍間隔時間または第４心拍間隔時間を求めることができる。
【００３１】
また、例えば、前記プロセッサは、さらに、前記複数の第３ピーク点の数と、前記複数の第４ピーク点の数とを比較し、前記複数の第３心拍間隔時間および前記複数の第４心拍間隔時間のうち、前記比較の結果、数が少ないと判定された方のピーク点により算出された心拍間隔時間を特定し、特定した心拍間隔時間の標準偏差が前記第４の閾値以下である場合、前記複数の第３頂点のそれぞれについて、当該第３頂点と、前記複数の第３底点のうちの、当該第３頂点の時系列における直後の第３底点との間の変曲点である第１変曲点を抽出することで、複数の前記第１変曲点を抽出し、前記複数の第４頂点のそれぞれについて、当該第４頂点と、前記複数の第４底点のうちの、当該第４頂点の時系列における直後の第４底点との間の変曲点である第２変曲点を抽出することで、複数の前記第２変曲点を抽出し、抽出した前記複数の第１変曲点のそれぞれについて、当該第１変曲点での第９時刻と、当該第１変曲点に隣接する他の第１変曲点での第１０時刻との間の時間間隔を前記第３心拍間隔時間として算出し、抽出した前記複数の第２変曲点のそれぞれについて、当該第２変曲点での第１１時刻と、当該第２変曲点に隣接する他の第２変曲点での第１２時刻との間の時間間隔を前記第４心拍間隔時間として算出し、時系列において互いに対応する、前記第１変曲点を用いて算出した前記複数の第３心拍間隔時間と、前記第２変曲点を用いて算出した前記複数の第４心拍間隔時間との間の相関係数を、前記（式２）を用いることで前記第２相関係数として演算してもよい。
【００３２】
これにより、適切に可視光光源および赤外光光源の光量を調整することができる。
【００３３】
また、例えば、前記プロセッサは、前記複数の第１ピーク点の抽出において、前記第１制御信号により前記可視光光源の光量を制御している期間を除く期間において取得された前記第１可視光波形から前記複数の第１ピーク点を抽出し、前記複数の第２ピーク点の抽出において、前記第２制御信号により前記赤外光光源の光量を制御している期間を除く期間において取得された前記第１赤外光波形から前記複数の第２ピーク点を抽出し、前記複数の第３ピーク点の抽出において、前記第３制御信号により前記可視光光源の光量を制御している期間を除く期間において取得された前記第２可視光波形から前記複数の第３ピーク点を抽出し、前記複数の第４ピーク点の抽出において、前記第４制御信号により前記赤外光光源の光量を制御している期間を除く期間において取得された前記第２赤外光波形から前記複数の第４ピーク点を抽出してもよい。
【００３４】
このため、第１〜第４ピーク点をそれぞれ適切に抽出でき、精度よく生体情報を算出できる。
【００３５】
また、例えば、前記プロセッサは、前記第１制御信号または前記第３制御信号の出力において、前記第１可視光波形から連続する２つ以上の前記第１ピーク点が第２所定期間内に抽出されるまで、または、前記第２可視光波形から連続する２つ以上の前記第３ピーク点が第２所定期間内に抽出されるまで、前記第１制御信号または前記第３制御信号の出力を待機し、前記第２制御信号または前記第４制御信号の出力において、前記第１赤外光波形から連続する２つ以上の前記第２ピーク点が前記第２所定期間内に抽出されるまで、または、前記第２赤外光波形から連続する２つ以上の前記第４ピーク点が前記第２所定期間内に抽出されるまで、前記第２制御信号または前記第４制御信号の出力を待機してもよい。
【００３６】
このため、第１〜第４ピーク点をそれぞれ適切に抽出でき、精度よく生体情報を算出できる。
【００３７】
また、本開示の一態様に係る脈波計測方法は、脈波計測方法であって、可視光光源から放射された第１可視光を照射されたユーザの可視光領域における複数の第１可視光画像を取得し、赤外光光源から放射された第１赤外光を照射されたユーザの赤外光領域における複数の第２赤外光画像を取得し、前記複数の第１可視光画像から、第１可視光波形を抽出し、前記複数の第１赤外光画像から、第１赤外光波形を抽出し、前記第１可視光波形と前記第１赤外光波形との間の相関度を演算し、前記相関度が閾値以上である場合、前記可視光光源に第２可視光を出射させ、かつ、前記赤外光光源に第２赤外光を出射させ、前記第２可視光の単位時間毎の量は前記第１可視光の単位時間毎の量より小さく、前記第２赤外光の単位時間毎の量は前記第１赤外光の単位時間毎の量より大きく、前記第２可視光を照射されたユーザの前記可視光領域における複数の第２可視光画像を取得し、前記第２赤外光を照射されたユーザの前記赤外光領域においる複数の第２赤外光画像を取得し、前記複数の第２可視光画像から、第２可視光波形を抽出し、前記複数の第２赤外光画像から、第２赤外光波形を抽出し、前記第２可視光波形および前記第２赤外光波形の少なくとも一方を用いて、生体情報を算出し、前記生体情報を出力し、前記相関度の演算は以下を含む、（１）複数の第１単位波形に含まれる複数の第１時間における複数の第１ピーク点を抽出し、前記複数の第１ピーク点は、前記複数の第１単位波形に含まれる複数の第１の最大値点または前記複数の第１単位波形に含まれる複数の第１の最小値点であり、前記第１可視光波形は前記複数の第１単位波形を含み、前記複数の第１の最大値点と前記複数の第１単位波形はそれぞれ対応し、前記複数の第１の最小値点と前記複数の第１単位波形はそれぞれ対応し、前記複数の第１単位波形と前記複数の第１時間はそれぞれ対応し、（２）複数の第２単位波形に含まれる複数の第２時間における複数の第２ピーク点を抽出し、前記複数の第２ピーク点は、前記複数の第２単位波形に含まれる複数の第２の最大値点または前記複数の第２単位波形に含まれる複数の第２の最小値点であり、前記第２可視光波形は前記複数の第２単位波形を含み、前記複数の第２の最大値点と前記複数の第２単位波形はそれぞれ対応し、前記複数の第１の最小値点と前記複数の第１単位波形はそれぞれ対応し、前記複数の第２単位波形と前記複数の第２時間はそれぞれ対応し、（３）前記複数の第１時間に基づいて複数の第１心拍間隔時間を算出し、前記複数の第１心拍間隔時間は第１時間と第２時間の間の時間であり、前記複数の第１時間は前記第１時間と前記第２時間を含み、前記第１時間に含まれる時間は前記第１時間と前記第２時間の間には存在せず、（４）前記複数の第２時間に基づいて複数の第２心拍間隔時間を算出し、前記複数の第２心拍間隔時間は第３時間と第４時間の間の時間であり、前記複数の第２時間は前記第３時間と前記第４時間を含み、前記第２時間に含まれる時間は前記第３時間と前記第４時間の間には存在せず、（５）以下の（式１）を用いて、前記相関度を演算する脈波計測方法。
【００３８】
【数３】
2018033931.tif 000005
【００３９】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００４０】
（実施の形態）
本実施の形態において、ユーザの可視光画像および赤外光画像のそれぞれからユーザの脈波を取得し、取得した２つの脈波の特徴量の相関度に基づいて、光源を制御する脈波計測装置について説明する。
【００４１】
［１−１．構成］
［１−１−１．脈波計測装置］
本実施の形態に係る脈波計測装置の構成について説明する。
【００４２】
図１は、本実施の形態における脈波計測装置１０がユーザＵに利用される様子を示す模式図である。図２は、脈波計測装置１０を下方から見た場合の脈波計測装置１０の平面図である。図３は、脈波計測装置１０のハードウェア構成の一例を示すブロック図である。
【００４３】
図２は、携帯端末３０に表示させる脈波計測装置１０を操作するためのＵＩの一例を示す図である。
【００４４】
脈波計測装置１０は、可視光ＬＥＤ２１と、可視光カメラ２２と、赤外光ＬＥＤ２３と、赤外光カメラ２４と、脈波演算装置１００とを備える。なお、脈波計測装置１０は、脈波演算装置１００のみを備える構成であってもよい。
【００４５】
脈波計測装置１０は、図３に示すように、筐体２０を有し、筐体２０のうち光を照射する側の面（例えば下面）に図３に示す各構成要素が配置されている。具体的には、脈波計測装置１０には、筐体２０の下面に、可視光ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）２１、可視光カメラ２２、赤外光ＬＥＤ２３、赤外光カメラ２４が配置されている。また、脈波計測装置１０は、可視光カメラ２２および赤外光カメラ２４により撮像された画像を用いて、ユーザの脈波を取得し、取得した２つの脈波の相関度に基づいて、可視光ＬＥＤ２１および赤外光ＬＥＤ２３の光量の制御を行う脈波演算装置１００を備える。
【００４６】
可視光ＬＥＤ２１は、可視光線を照射する光源であり、例えば白色ＬＥＤである。可視光線は、可視光領域（例えば、４００〜８００ｎｍ）の波長域の光である。可視光ＬＥＤ２１は、例えば、筐体２０の下面に円環状に配置されている。なお、可視光ＬＥＤ２１は、複数の砲弾型のＬＥＤにより構成されてもよいし、複数の表面実装型（ＳＭＤ：Ｓｕｒｆａｃｅ  Ｍｏｕｎｔ  Ｄｅｖｉｃｅ）のＬＥＤにより構成されてもよいし、ＣＯＢ（Ｃｈｉｐ  Ｏｎ  Ｂｏａｒｄ）型のＬＥＤにより構成されてもよい。また、可視光ＬＥＤ２１は、円環状に配置されていなくてもよい。
【００４７】
可視光カメラ２２は、可視光線を撮像するカメラである。可視光カメラ２２は、円環状に配置された可視光ＬＥＤ２１の中心付近に配置されている。つまり、可視光カメラ２２は、可視光ＬＥＤ２１によって囲まれる位置に配置されている。可視光カメラ２２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）などのイメージセンサを備えるカメラである。可視光カメラ２２は、イメージセンサに対し、ＲＧＢのカラーフィルタを適用することで、可視光、すなわち、４００〜８００ｎｍの波長域に存在する光を、当該イメージセンサにＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の３種類の信号として取得させる。
【００４８】
赤外光ＬＥＤ２３は、赤外線を照射する光源である。赤外線は、赤外光領域（例えば、８００〜２５００ｎｍ）の波長域の光である。赤外光ＬＥＤ２３は、可視光ＬＥＤ２１の内側に配置され、円環状に配置されている。赤外光ＬＥＤ２３は、複数の砲弾型のＬＥＤにより構成されてもよいし、複数の表面実装型（ＳＭＤ：Ｓｕｒｆａｃｅ  Ｍｏｕｎｔ  Ｄｅｖｉｃｅ）のＬＥＤにより構成されてもよいし、ＣＯＢ（Ｃｈｉｐ  Ｏｎ  Ｂｏａｒｄ）型のＬＥＤにより構成されてもよい。なお、赤外光ＬＥＤ２３は、円環状に配置されていなくてもよい。また、赤外光ＬＥＤ２３は、可視光ＬＥＤ２１の内側に配置されるとしたが、可視光ＬＥＤ２１の外側に配置される構成としてもよい。
【００４９】
赤外光カメラ２４は、赤外線を撮像するカメラである。赤外光カメラ２４は、可視光領域の一部を含む波長領域（例えば、７００ｎｍ〜９００ｎｍ）の電磁波を撮像するカメラであってもよい。赤外光カメラ２４は、円環状に配置された赤外光ＬＥＤ２３の中心付近に配置されている。つまり、赤外光カメラ２４は、赤外光ＬＥＤ２３によって囲まれる位置に配置されている。赤外光カメラ２４は、可視光カメラ２２とは異なるフィルタを備えることで、赤外光、すなわち、８００ｎｍ以上の波長域に存在する光を、当該イメージセンサにモノクロの１種類のみの信号として取得させる。
【００５０】
脈波演算装置１００は、筐体２０の内部に配置されている。脈波演算装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０４を備える。
【００５１】
ＣＰＵ１０１は、ストレージ１０３などに記憶された制御プログラムを実行するプロセッサである。
【００５２】
メインメモリ１０２は、ＣＰＵ１０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域（主記憶装置）である。
【００５３】
ストレージ１０３は、制御プログラム、各種データなどを保持する不揮発性の記憶領域（補助記憶装置）である。
【００５４】
通信ＩＦ１０４は、ネットワークを介して他の機器との間でデータを送受信する通信インタフェースである。具体的には、通信ＩＦ１０４は、可視光ＬＥＤ２１、可視光カメラ２２、赤外光ＬＥＤ２３および赤外光カメラ２４に、これらの機器を制御するための制御信号を出力する。また、通信ＩＦ１０４は、可視光カメラ２２および赤外光カメラ２４のそれぞれにおいて撮像された撮像データを取得する。
【００５５】
また、通信ＩＦ１０４は、携帯端末３０と通信接続できる通信インタフェースであってもよい。具体的には、通信ＩＦ１０４は、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）インタフェースであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に適合した無線通信インタフェースであってもよい。
【００５６】
［１−１−２．携帯端末］
携帯端末３０のハードウェア構成について図４を用いて説明する。
【００５７】
図４は、実施の形態１に係る携帯端末のハードウェア構成の一例を示すブロック図である。
【００５８】
図４に示すように、携帯端末３０は、ＣＰＵ２０１と、メインメモリ２０２と、ストレージ２０３と、ディスプレイ２０４と、通信ＩＦ２０５と、入力ＩＦ２０６とを備える。携帯端末３０は、例えば、スマートフォン、タブレット端末などの通信可能な情報端末である。
【００５９】
ＣＰＵ２０１は、ストレージ２０３などに記憶された制御プログラムを実行するプロセッサである。
【００６０】
メインメモリ２０２は、ＣＰＵ２０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域（主記憶装置）である。
【００６１】
ストレージ２０３は、制御プログラム、各種データなどを保持する不揮発性の記憶領域（補助記憶装置）である。
【００６２】
ディスプレイ２０４は、ＣＰＵ２０１での処理結果を表示する表示装置である。ディスプレイ２０４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイである。
【００６３】
通信ＩＦ２０５は、脈波計測装置１０と通信する通信インタフェースである。通信ＩＦ２０５は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）インタフェースであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に適合した無線通信インタフェースであってもよい。また、通信ＩＦ２０５は、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、または、ＬＴＥ（登録商標）などのような移動通信システムで利用される通信規格に適合した無線通信インタフェースであってもよい。
【００６４】
入力ＩＦ２０６は、例えば、ディスプレイ２０４の表面に配置され、ディスプレイ２０４に表示されるＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）へのユーザからの入力を受け付けるタッチパネルである。入力ＩＦ２０６は、例えば、テンキーやキーボードなどの入力装置であってもよい。
【００６５】
図５および図６は、脈波計測装置１０の使用例を説明するための図である。
【００６６】
携帯端末３０は、例えば、図５に示すように、脈波計測装置１０を操作するためのＵＩをディスプレイ２０４に表示してもよい。また、携帯端末３０は、当該ＵＩへの入力に応じて、制御信号を脈波計測装置１０に送信してもよい。
【００６７】
脈波計測装置１０では、ユーザが可視光ＬＥＤ２１や赤外光ＬＥＤ２３のＯＮ／ＯＦＦを切り替える手段として携帯端末３０を利用できる。例えば、脈波計測装置１０を制御するためのリモコンアプリを携帯端末３０において起動することで、当該携帯端末３０を脈波計測装置１０のリモコンとして使用できる。図５に示すように、ユーザは「照明ＯＮ」を選択することで、赤外光ＬＥＤ２３がＯＮであるか、ＯＦＦであるかに関わらず、可視光ＬＥＤ２１をＯＮにすることができる。
【００６８】
図６の（ａ）は、可視光ＬＥＤ２１がＯＮであるときのイメージ例である。また、ユーザが「赤外ＯＮ」を選択すると、可視光ＬＥＤ２１がＯＮであるか、ＯＦＦであるかに関わらず、赤外光光源をＯＮにすることができる。例えば、図６の（ｂ）は、可視光ＬＥＤ２１がＯＦＦであるが、赤外光ＬＥＤがＯＮである状態を示す。赤外光照明のみの場合、ユーザはまぶしくないため、通常通り睡眠を行うことができるという特徴がある。さらに、ユーザが「ＯＦＦ」を選択すると、可視光ＬＥＤ２１も赤外光ＬＥＤ２３もＯＦＦとなり、ユーザにはどの光も照射されなくなる。
【００６９】
そして、ユーザが「おやすみモード」を選択した際は、可視光ＬＥＤ２１がＯＮ、赤外光ＬＥＤがＯＦＦの状態から、徐々に可視光ＬＥＤ２１の光量を減少させてＯＦＦにしていき、赤外光ＬＥＤ２３をＯＮにして光量を徐々に上げていくことで、最適な赤外光ＬＥＤ２３の光量を決め、ユーザが睡眠中であっても脈波を取得できるようになる。
【００７０】
［１−２．機能構成］
次に、脈波計測装置１０の機能構成について図７を用いて説明する。
【００７１】
図７は、本実施の形態における脈波計測装置の機能構成の一例を示すブロック図である。
【００７２】
図７に示すように、脈波計測装置１０は、可視光光源１２１と、可視光撮像部１２２と、赤外光光源１２３と、赤外光撮像部１２４と、脈波演算装置１００とを備える。
【００７３】
可視光光源１２１は、ユーザに対して可視光を照射し、その照射する光量は光源制御部１１４によって調整される。可視光光源１２１は、例えば、可視光ＬＥＤ２１により実現される。可視光光源１２１は、蛍光灯により実現されてもよい。
【００７４】
なお、可視光光源１２１の光量の制御は、光源制御部１１４により行われるとしたが、これに限るものではない。可視光光源１２１は、例えば、ユーザ自身がコントローラを用いて、光量を手動で制御してもよい。これにより、例えば、ユーザが所定の光量以下の可視光下で眠れる場合、当該光量以下の可視光が可視光光源１２１により照射された状態で、ユーザの脈波を取得しながら、ユーザも眠ることが可能となる。
【００７５】
また、可視光光源１２１は、ユーザが部屋に入室するたびに、起動されるように設定されていてもよい。これにより、ユーザが入室するたびに、ユーザの脈波情報を取得することができ、睡眠時だけでなく、睡眠前や睡眠後の脈波情報を得ることができる。
【００７６】
可視光撮像部１２２は、可視光光源１２１により可視光が照射された照射対象を可視光領域において撮像する。可視光撮像部１２２は、具体的には、照射対象としてユーザの肌を可視光領域（例えば、カラー）で撮像することにより得られた可視光画像を脈波演算装置１００の可視光波形演算部１１１に出力する。可視光撮像部１２２は、例えば、複数の異なるタイミングで撮像した複数の可視光画像を可視光波形演算部１１１に出力する。可視光撮像部１２２は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を可視光画像として出力する。肌画像は、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。可視光撮像部１２２は、例えば、可視光カメラ２２により実現される。
【００７７】
赤外光光源１２３は、ユーザに対して赤外光を照射し、その照射する光量は光源制御部１１４によって調整される。赤外光光源１２３は、例えば、赤外光ＬＥＤ２３により実現される。
【００７８】
赤外光撮像部１２４は、赤外光光源１２３により赤外光が照射された照射対象を赤外光領域において撮像する。赤外光撮像部１２４は、具体的には、照射対象としてユーザの肌を赤外光領域（例えば、モノクロ）で撮像することにより得られた赤外光画像を脈波演算装置１００の赤外光波形演算部１１２に出力する。赤外光撮像部１２４は、例えば、複数の異なるタイミングで撮像した複数の赤外光画像を赤外光波形演算部１１２に出力する。赤外光撮像部１２４は、可視光撮像部１２２で撮像する部位と同じ部位を撮像する。赤外光撮像部１２４は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を赤外光画像として出力する。これは、赤外光撮像部１２４においても可視光撮像部１２２が撮像した部位と同じ部位を撮像することで、可視光領域と赤外光領域とにおいて、同様の脈波を取得することができ、特徴量を比較しやすいからである。
【００７９】
なお、同じ部位の撮像方法としては、可視光撮像部１２２と赤外光撮像部１２４とで同じ大きさの関心領域（ＲＯＩ）を設定する。そして、可視光撮像部１２２と赤外光撮像部１２４とで撮像された当該ＲＯＩ内の画像について、例えば、パターン認識を用いて比較することで、同じ部位を撮像しているか否かを判断してもよい。また、可視光撮像部１２２により得られた可視光画像と、赤外光撮像部１２４により得られた赤外光画像とのそれぞれにおいて顔認識を行い、目、鼻、口などにおける特徴点の座標と大きさを取得し、目、鼻、口などの大きさの比を考慮して、目、鼻、口などの特徴点からの座標（相対的な位置）を演算することで同じ部位を特定してもよい。
【００８０】
赤外光撮像部１２４により得られる肌画像は、可視光撮像部１２２により得られる肌画像と同様に、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。赤外光撮像部１２４は、例えば、赤外光カメラ２４により実現される。
【００８１】
脈波演算装置１００は、可視光波形演算部１１１と、赤外光波形演算部１１２と、相関度演算部１１３と、光源制御部１１４と、生体情報算出部１１５とを備える。以下、脈波演算装置１００の各構成要素について順に説明する。
【００８２】
（可視光波形演算部）
可視光波形演算部１１１は、可視光撮像部１２２から可視光画像を取得し、取得した可視光画像からユーザの脈波を示す波形である可視光波形を抽出する。可視光波形演算部１１１は、可視光光源１２１の光量の制御が行われる前において取得した第１可視光画像から、第１可視光波形を抽出する。また、可視光波形演算部１１１は、可視光光源１２１の光量の制御が行われた後において取得した第２可視光画像から、第２可視光波形を抽出する。なお、可視光光源１２１の光量の制御が行われるとは、後述する光源制御部１１４により、可視光光源１２１における可視光の光量を減少させる第１制御信号、または、可視光光源１２１における可視光の光量を増加させる第３制御信号が可視光光源１２１に出力されることを指す。このように、可視光撮像部１２２から取得される複数の可視光画像には、可視光光源１２１の光量の制御が行われる前において取得される第１可視光画像と、可視光光源１２１の光量の制御が行われた後において取得される第２可視光画像とが含まれる。また、複数の可視光画像から抽出される可視光波形には、第１可視光画像から抽出される第１可視光波形と、第２可視光画像から抽出される第２可視光波形とが含まれる。
【００８３】
可視光波形演算部１１１は、抽出した第１可視光波形における所定の特徴点である第１特徴点を複数抽出してもよい。具体的には、可視光波形演算部１１１は、第１可視光波形を脈波の周期である脈波周期単位の複数の第１単位波形に分割したとき、複数の第１単位波形のそれぞれについて、当該第１単位波形における最大値である第１頂点、および、当該第１単位波形における最小値である第１底点の一方である第１ピーク点を抽出することで、第１可視光波形から複数の第１ピーク点を抽出する。なお、第１ピーク点は、第１特徴点の一例である。
【００８４】
可視光波形演算部１１１は、可視光波形の特徴点として、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、可視光波形演算部１１１は、抽出した複数の第１特徴点のそれぞれについて、当該第１特徴点に隣接する他の第１特徴点との間の時間を第１心拍間隔時間として算出する。例えば、可視光波形演算部１１１は、抽出した複数の第１ピーク点のそれぞれについて、当該第１ピーク点での第１時刻と、当該第１ピーク点に時系列で隣接する他の第１ピーク点での第２時刻との間の時間間隔である第１心拍間隔時間を算出することで、複数の前記第１心拍間隔時間を算出する。
【００８５】
具体的には、可視光波形演算部１１１は、撮像されたタイミングがそれぞれ対応づけられた複数の可視光画像から抽出される輝度の時間変化に基づいて、可視光波形を抽出する。つまり、可視光撮像部１２２から取得される複数の可視光画像のそれぞれは、可視光撮像部１２２において当該可視光画像が撮像された時刻（ｔｉｍｅ  ｐｏｉｎｔ）と対応づけられている。可視光波形演算部１１１は、可視光波形の所定の特徴点の間隔を取得することで、ユーザの脈波のタイミング（以下、脈波タイミングともいう）を取得する。そして、可視光波形演算部１１１は、得られた複数の脈波タイミングのそれぞれについて、当該脈波タイミングと一つ後の脈波タイミングとの間隔を心拍間隔時間として算出する。
【００８６】
また、可視光波形演算部１１１は、抽出した第２可視光波形における所定の特徴点である第３特徴点を複数抽出してもよい。具体的には、可視光波形演算部１１１は、第２可視光波形を脈波周期単位の複数の第３単位波形に分割したとき、複数の第３単位波形のそれぞれについて、当該第３単位波形における最大値である第３頂点、および、当該第３単位波形における最小値である第３底点の一方である第３ピーク点を抽出することで、第２可視光波形から複数の前記第３ピーク点を抽出してもよい。なお、第３ピーク点は、第３特徴点の一例である。
【００８７】
可視光波形演算部１１１は、抽出した複数の第３ピーク点のそれぞれについて、当該第３ピーク点での第５時刻と、当該第３ピーク点に時系列で隣接する他の第３ピーク点での第６時刻との間の時間間隔である第３心拍間隔時間を算出することで、複数の前記第３心拍間隔時間を算出してもよい。
【００８８】
例えば、可視光波形演算部１１１は、抽出した可視光波形を用いて、最も輝度の変化の大きいタイミングを特定し、特定したタイミングを脈波タイミングとして特定する。または、可視光波形演算部１１１は、予め保持している顔または手のパターンを用いて、複数の可視光画像における顔または手の位置を特定し、特定した位置の輝度の時間的な変化を用いて可視光波形を特定する。可視光波形演算部１１１は、特定した可視光波形を用いて、脈波タイミングを算出する。ここで、脈波タイミングとは、輝度の時間波形、すなわち脈波の時間波形における所定の特徴点における時刻である。所定の特徴点は、例えば、輝度の時間波形におけるピーク位置（頂点または底点の時刻）である。ピーク位置は、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。可視光波形演算部１１１は、例えば、ＣＰＵ１０１、メインメモリ１０２およびストレージ１０３などにより実現される。
【００８９】
一般に、脈波は、心臓の拍動に伴い末梢血管系内の血圧または体積の変化である。つまり、脈波は、心臓が収縮することにより、心臓から血液が送り出され、顔または手などに到達したとき血管の体積の変化である。このように、顔または手などにおける血管の体積が変化すると、血管を通過する血液の量が変化することとなり、ヘモグロビンなどの血液中の成分の量に依存して肌の色が変化する。このため、撮像した画像における顔または手の輝度は、脈波に応じて変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、可視光波形演算部１１１は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。
【００９０】
可視光領域における脈波タイミングの取得では、可視光画像中の緑色の波長域の輝度が撮像された画像が用いられることが望ましい。可視光領域において撮像された画像において、緑色近辺の波長域の輝度に、脈波による変化が大きく現れるためである。複数の画素を含む可視光画像において、多くの血液が流入している状態の顔または手に相当する画素の緑色の波長域における輝度は、少ない血液が流入している状態の顔または手に相当する画素の緑色の波長域の輝度と比べて小さい。
【００９１】
図８の（ａ）は、本実施の形態における可視光画像の輝度変化、特に緑色における輝度変化の一例を示すグラフである。具体的には、図８の（ａ）は、可視光撮像部１２２によって撮像された可視光画像におけるユーザの頬の領域の緑色成分（Ｇ）の輝度変化を示す。図８の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は緑色成分（Ｇ）の輝度を示す。図８の（ａ）に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。
【００９２】
日常環境下、すなわち可視光領域で肌が撮像される場合、照明による散乱光または様々な要因によって、可視光画像はノイズを含む。よって、可視光波形演算部１１１は、可視光撮像部１２２から取得した可視光画像にフィルタ等による信号処理を施し、脈波に起因する肌の輝度変化を多く含む可視光画像を得ることが望ましい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、可視光波形演算部１１１は、本実施の形態では、ローパスフィルタを通した緑色成分（Ｇ）の輝度変化を用いて、可視光波形の抽出処理を行う。
【００９３】
図９の（ａ）は、本実施の形態における脈波タイミングの算出の一例を示すグラフである。図９の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図９の（ａ）のグラフの時間波形おいて、時刻ｔ１〜ｔ５のそれぞれの点は、変曲点または頂点である。当該グラフの時間波形における各点は、特徴点としての、変曲点と、ピーク点（頂点および底点）とを含む。なお、頂点とは、時間波形において上に凸の極大値における点であり、底点とは、時間波形において下に凸の極小値における点である。時間波形に含まれる上記の各点において、前後の時刻の点のいずれよりも輝度が大きい点（頂点）における時刻、または、前後の時刻の点のいずれよりも輝度が小さい点（底点）の時刻が脈波タイミングである。
【００９４】
図９の（ａ）に示すグラフの輝度時間波形を用いて、頂点の位置を特定する方法、つまりピーク探索の方法を説明する。可視光波形演算部１１１は、当該輝度の時間波形において、現在の参照点を時刻ｔ２の点とする。可視光波形演算部１１１は、時刻ｔ２の点と、一つ前の時刻ｔ１の点とを比較し、かつ、時刻ｔ２の点と、一つ後の時刻ｔ３の点とを比較する。可視光波形演算部１１１は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点のそれぞれの輝度よりも大きい場合、正と判定する。つまり、この場合、可視光波形演算部１１１は、参照点がピーク点（頂点）であって、その参照点の時刻が脈波タイミングであると判定する。
【００９５】
一方で、可視光波形演算部１１１は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点の少なくとも一方の輝度よりも小さい場合、否と判定する。つまり、この場合、可視光波形演算部１１１は、参照点がピーク点（頂点）ではなく、その参照点の時刻が脈波タイミングではないと判定する。
【００９６】
図９の（ａ）において、時刻ｔ２の点の輝度は時刻ｔ１の点の輝度より大きいが、時刻ｔ２の点の輝度は時刻ｔ３の点の輝度よりは小さいため、可視光波形演算部１１１は、時刻ｔ２の点を否と判定する。次に、可視光波形演算部１１１は、参照点を一つインクリメントし、次の時刻ｔ３の点を参照点とする。時刻ｔ３の点の輝度は、時刻ｔ３の一つ前の時刻ｔ２の点および時刻ｔ３の一つ後の時刻ｔ４の点のそれぞれの輝度より大きいため、可視光波形演算部１１１は、時刻ｔ３の点を正と判定する。可視光波形演算部１１１は、正と判定した点の時刻を脈波タイミングとして相関度演算部１１３に出力する。これにより、図９の（ｂ）に示すように、白丸印の時刻が脈波タイミングとして特定される。
【００９７】
また、可視光波形演算部１１１は、脈波タイミングの特定において、一般的な心拍数（例えば６０ｂｐｍから１８０ｂｐｍ）の知識に基づき、心拍間隔時間が例えば３３３ｍｓから１０００ｍｓまでの間であることを考慮して脈波タイミングを特定してもよい。可視光波形演算部１１１は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点においてのみ輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから３３３ｍｓ以降１０００ｍｓ以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。したがって、日常環境時にロバストな脈波タイミングの取得が可能となる。
【００９８】
可視光波形演算部１１１は、さらに、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。心拍間隔時間は、時系列で変動する。このため、同一の期間において取得した赤外光波形から特定した脈波の心拍間隔時間と比較することで、可視光波形と赤外光波形の所定の特徴点における相関度の演算に利用することができる。
【００９９】
図１０は、時系列で取得した心拍間隔時間の例を示すグラフである。図１０のグラフにおいて、横軸は時系列に取得した心拍間隔時間に対応付けられたデータナンバーを示し、縦軸は心拍間隔時間を示す。図１０に示すように、心拍間隔時間は、時刻によって変動しているのがわかる。なお、データナンバーとは、データ（ここでは心拍間隔時間）がメモリに記憶された順番を示す。つまり、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。
【０１００】
可視光波形演算部１１１は、さらに、可視光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。具体的には、可視光波形演算部１１１は、可視光波形の輝度値の一次微分を算出することで可視光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻（以下、変曲点タイミングと言う）を算出する。つまり、可視光波形演算部１１１は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。
【０１０１】
また、可視光波形演算部１１１は、変曲点タイミングの算出においても、一般的な心拍数の知識に基づき、心拍間隔時間が例えば、３３３ｍｓから１０００ｍｓまでの間であることを考慮して変曲点タイミングを算出してもよい。これにより、可視光波形にまったく心拍とは関係のない変曲点が含まれていたとしても、当該変曲点を特定することがないため、より正確に変曲点タイミングを算出することができる。
【０１０２】
図１１は、脈波から変曲点を抽出する方法を説明するためのグラフである。具体的には、図１１の（ａ）は、可視光画像から得られた可視光波形を示すグラフであり、図１１の（ｂ）は、図１１の（ａ）の一次微分値をプロットしたグラフである。図１１の（ａ）では、丸印がピーク点のうちの頂点を表し、Ｘ印が変曲点を表す。図１１の（ｂ）では、丸印が図１１の（ａ）における頂点に対応する点を示し、Ｘ印が図１１の（ａ）における変曲点に対応する点を示す。図１１の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示す。また、図１１の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は、輝度値の微分係数を示す。
【０１０３】
可視光波形の抽出では、前述のように特に緑色の光が撮像された可視光画像を用いる。この可視光波形の抽出の原理を説明する。脈波に応じて顔または手などの血管中の血液量が増減した場合、血中のヘモグロビンの量が血液量に応じて増減する。つまり、血管中の血液量の増減に応じて、緑色の波長域の光を吸収するヘモグロビンの量が増減する。このため、可視光撮像部１２２において撮像された可視光画像では、血液量の増減に応じて、血管付近の肌の色が変化することになり、可視光の特に緑色成分の輝度値が変動する。具体的には、ヘモグロビンが緑色の光を吸収するため、可視光画像における輝度値は、ヘモグロビンに吸収された分だけ減少する。
【０１０４】
さらに、可視光波形は、底点から頂点までの勾配よりも、頂点から次の底点までの勾配の方が急であるという特徴を持つ。したがって、底点から頂点までの間では、比較的ノイズの影響を受けやすい。一方で、頂点から次の底点までの間では、勾配が急なため、ノイズの影響を受けにくい。このため、頂点から底点までの間に存在する変曲点タイミングもまた、ノイズの影響を受けにくく、比較的安定して取得しやすいという特徴をもつ。以上のことから、可視光波形演算部１１１は、頂点から底点までに存在する変曲点間の時間差を、心拍間隔時間として算出してもよい。
【０１０５】
また、前述した可視光波形のピーク点は、変曲点の直前において微分係数が０になる部分である。具体的には、図１１の（ｂ）に示すように、変曲点であるＸ印の直前の微分係数が０となる点の時刻が図１１の（ａ）の頂点を示す丸印の時刻となっているのがわかる。この特徴を用いて、可視光波形演算部１１１は、可視光波形から取得する頂点を変曲点の直前の頂点だけに限定してもよい。
【０１０６】
可視光波形演算部１１１は、さらに、可視光波形の頂点から底点までの傾きを算出する。可視光波形演算部１１１は、複数の第１頂点のうちの一の第１頂点と、複数の第１底点のうちの、当該一の第１頂点の時系列における直後の一の第１底点とを結ぶ第１直線の第１の傾きを算出する。可視光波形における上記傾きは、可視光光源１２１の輝度を調整することにより、できるだけ大きい値である方がよい。これは、傾きが大きければ大きいほど、より可視光波形における頂点の尖度が大きくなり、フィルタ処理等による脈波タイミングの時間ずれが、小さくなるからである。
【０１０７】
図１２は、可視光波形の傾きを演算する方法を説明するための可視光波形を示すグラフである。図１２のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示し、丸印は頂点を示し、三角印は底点を示す。可視光波形演算部１１１では、頂点（丸印）とその次にある底点（三角印）とを直線で結び、その直線の傾きを算出する。ここで算出した傾きは、可視光光源１２１における光源が発する光の光量、可視光撮像部１２２で取得するユーザの肌の部位などに応じて異なる。したがって、脈波がクリアに取得できる、例えば、心拍間隔時間が３３３ｍｓから１０００ｍｓまでの間で取得し続けられるように、可視光光源１２１の光量、可視光撮像部１２２におけるユーザの部位に対応するＲＯＩをそれぞれ設定し、傾き情報を記録し、赤外光の脈波における傾き情報と比較することができる。また、可視光波形演算部１１１は、初期状態、すなわち、可視光光源１２１がＯＮになってから、光源制御部１１４によって、可視光光源１２１の可視光の光量または赤外光光源１２３の赤外光の光量を変化させるまでの状態における、可視光波形における頂点から底点までの間の傾きを第１の傾きＡとしてメモリ（例えばストレージ１０３）に記録する。脈波計測装置１０は、可視光波形と赤外光波形との間の特徴点を比較しながら、徐々に可視光光源１２１の光量を０にしていき、赤外光光源１２３の光量を増加させていくことを特徴としている。このように、可視光の光量を徐々に減少させるため、可視光波形の頂点から底点までの傾きが最も大きくなるのは、初期状態である。
【０１０８】
（赤外光波形演算部）
赤外光波形演算部１１２は、赤外光撮像部１２４から赤外光画像を取得し、取得した赤外光画像からユーザの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部１１２は、赤外光光源１２３の光量の制御が行われる前において取得した第１赤外光画像から、第１赤外光波形を抽出する。また、赤外光波形演算部１１２は、赤外光光源１２３の光量の制御が行われた後において取得した第２赤外光画像から、第２赤外光波形を抽出する。なお、赤外光光源１２３の光量の制御が行われるとは、後述する光源制御部１１４により、赤外光光源１２３における赤外光の光量を増加させる第２制御信号、または、赤外光光源１２３における赤外光の光量を現象させる第４制御信号が赤外光光源１２３に出力されることを指す。このように、赤外光撮像部１２４から取得される複数の赤外光画像には、赤外光光源１２３の光量の制御が行われる前において取得される第１赤外光画像と、赤外光光源１２３の光量の制御が行われた後において取得される第２赤外光画像とが含まれる。
【０１０９】
赤外光波形演算部１１２は、抽出した第１赤外光波形における所定の特徴点である第２特徴点を複数抽出してもよい。具体的には、赤外光波形演算部１１２は、第１赤外光波形を脈波周期単位の複数の第２単位波形に分割したとき、複数の第２単位波形のそれぞれについて、当該第２単位波形おける最大値である第２頂点、および、当該第２単位波形における最小値である第２底点の一方である第２ピーク点を抽出することで、第１赤外光波形から複数の第２ピーク点を抽出する。なお、第２ピーク点は、第２特徴点の一例である。
【０１１０】
赤外光波形演算部１１２は、赤外光波形の特徴点として、可視光波形演算部１１１と同様に、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、赤外光波形演算部１１２は、抽出した複数の第２特徴点のそれぞれについて、当該第２特徴点に隣接する他の第２特徴点との間の時間を第２心拍間隔時間として算出する。具体的には、赤外光波形演算部１１２は、複数の赤外光画像から抽出される輝度の時間変化に基づいて、赤外光波形を抽出する。つまり、赤外光撮像部１２４から取得される複数の赤外光画像のそれぞれは、赤外光撮像部１２４において当該赤外光画像が撮像された時刻（ｔｉｍｅ  ｐｏｉｎｔ）と対応付けられている。例えば、赤外光波形演算部１１２は、抽出した複数の第２ピーク点のそれぞれについて、当該第２ピーク点での第３時刻と、当該第２ピーク点に時系列で隣接する他の第２ピーク点での第４時刻との間の時間間隔である第２心拍間隔時間を算出することで、複数の第２心拍間隔時間を算出する。
【０１１１】
赤外光波形演算部１１２は、抽出した第２赤外光波形における所定の特徴点である第４特徴点を複数抽出してもよい。具体的には、赤外光波形演算部１１２は、第２赤外光波形を脈波周期単位の複数の第４単位波形に分割したとき、複数の第４単位波形のそれぞれについて、当該第４単位波形おける最大値である第４頂点、および、当該第４単位波形における最小値である第４底点の一方である第４ピーク点を抽出することで、第２赤外光波形から複数の第４ピーク点を抽出してもよい。なお、第４ピーク点は、第４特徴点の一例である。
【０１１２】
赤外光波形演算部１１２は、抽出した複数の第４ピーク点のそれぞれについて、当該第４ピーク点での第７時刻と、当該第４ピーク点に時系列で隣接する他の第４ピーク点での第８時刻との間の時間間隔である第４心拍間隔時間を算出することで、複数の第４心拍間隔時間を算出ししてもよい。
【０１１３】
ここで、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、赤外光波形の所定の特徴点としてのピーク位置を、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。また、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、例えば、ＣＰＵ１０１、メインメモリ１０２およびストレージ１０３などにより実現される。
【０１１４】
一般に、赤外光画像では、可視光画像と同様に、ヘモグロビンなどの血液中の成分の量に依存して、画像における肌領域、例えば、顔または手の輝度が変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、赤外光波形演算部１１２は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。
【０１１５】
赤外光領域における脈波タイミングの取得では、赤外光画像中の８００ｎｍ以上の波長域の輝度が撮像された画像が用いられることが望ましい。赤外光領域において撮像された画像において、８００〜９５０ｎｍ近辺の波長域の輝度に、脈波による変化が大きく現れるためである。
【０１１６】
図８の（ｂ）は、本実施の形態における赤外光画像の輝度変化の一例を示すグラフである。具体的には、図８の（ｂ）は、赤外光撮像部１２４によって撮像された赤外光画像におけるユーザの頬の領域の輝度変化を示す。図８の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図８の（ｂ）に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。
【０１１７】
しかし、赤外光領域で肌を撮像する場合、可視光領域で肌を撮像する場合に比べ、ヘモグロビンによる赤外光の吸収量が少ない。つまり、体動等の様々な要因によって、赤外光領域で撮像された赤外光画像はノイズを含みやすい。よって、撮像された赤外光画像にフィルタ等による信号処理を施し、適切な光量の赤外光をユーザの肌領域に照射することで、脈波に起因する肌の輝度変化を多く含む赤外光画像を得ることが望ましい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、赤外光波形演算部１１２は、本実施の形態では、ρバスフィルタを通した赤外光の輝度変化を用いて、赤外光波形の抽出処理を行う。なお、赤外光光源１２３による赤外光の光量の決定方法については、相関度演算部１１３または、光源制御部１１４において記述する。
【０１１８】
次に、赤外光波形演算部１１２における、ピーク探索の方法について説明する。赤外光波形におけるピーク探索は、可視光波形におけるピーク探索と同様の方法を利用できる。
【０１１９】
赤外光波形演算部１１２は、脈波タイミングの特定において、可視光波形演算部１１１と同様に、一般的な心拍数（例えば６０ｂｐｍから１８０ｂｐｍ）の知識に基づき、心拍間隔時間が例えば３３３ｍｓから１０００ｍｓまでの間であることを考慮して脈波タイミングを特定してもよい。赤外光波形演算部１１２は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点においてのみ輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから３３３ｍｓ以降１０００ｍｓ以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。
【０１２０】
赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。また、赤外光波形演算部１１２は、さらに、赤外光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。そして、例えば、赤外光波形演算部１１２は、赤外光波形の輝度値の一次微分を算出することで赤外光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻（変曲点タイミング）を算出する。つまり、赤外光波形演算部１１２は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。
【０１２１】
また、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、赤外光波形の頂点から底点までの傾きについての演算を行う。つまり、赤外光波形演算部１１２は、第２赤外光波形における、複数の第４頂点のうちの一の第４頂点と、複数の第４底点のうちの、当該一の第４頂点の時系列における直後の一の第４底点とを結ぶ第２直線の傾きである第２の傾きを算出する。
【０１２２】
以上のように、赤外光波形演算部１１２は、可視光波形演算部１１１と同様の処理を行うことで、所定の特徴点を第２特徴点として複数抽出する。しかし、赤外光波形は、可視光波形と比較すると、光源から出る赤外光の光量によって、大きく変化する。つまり、赤外光波形は、可視光波形よりも光源の光量の影響を受けやすい。
【０１２３】
図１３は、赤外光光源の光量の異なるレベルごとに、赤外光カメラで人の肌画像を取得した場合の赤外光波形を示すグラフである。図１３では、（ａ）から（ｄ）まで、順に赤外光光源における光量のレベルを増加させている。すなわち、光源レベルは、光源レベル１が最も光量が少なく、光源レベルが増加する毎に光量が多くなり、光源レベル４が最も光量が多いことを示している。なお、光源レベルは、レベルが１増加するごとに光源の制御電圧が約０．５Ｖ増加することを示す。また、図１３の各グラフにおける丸印は、脈波のピーク位置（頂点）を示している。図１３の（ａ）のように、光源における光量が少ないと、赤外光光源からの赤外光よりもノイズが多くなり、脈波タイミングの特定が難しい。一方で、図１３の（ｃ）や（ｄ）のように、光源における光量が多いと、脈波に応じた肌の輝度の変化が光源の光量に埋もれてしまい、脈波の形が小さくなり、脈波タイミングの特定が難しい。
【０１２４】
ところで、可視光を照射し可視光領域で撮像した画像を用いて脈波を取得する場合、ユーザの目にとって強すぎない光量で可視光を照射しても、その照射量で十分に脈波を取得できる。しかしながら、赤外光を照射し赤外光領域で撮像した画像を用いて脈波を取得する場合、赤外光の光量を制御しても、上述したように、ノイズを含んだり赤外光の光量が多くなりすぎたりする。このため、かなり絞られた光量の範囲内でしか、脈波の取得は難しい。また、赤外光光源の光量だけ所定の値に予め決めていても、取得する肌の部位や、ユーザの肌質、肌の色等によっても変化するため、予め適切な光量を決めておくことは難しい。したがって、次に述べる相関度演算部１１３によって、可視光波形と赤外光波形とが一致するように、可視光の光量を絞りながら、赤外光の光量を適切な値になる制御を行う必要がある。
【０１２５】
（相関度演算部）
相関度演算部１１３は、可視光波形演算部１１１から得られた可視光波形と、赤外光波形演算部１１２から得られた赤外光波形との間の相関度を演算する。そして、相関度演算部１１３は、算出した相関度に応じて、可視光光源１２１および赤外光光源１２３における各光量を調整する指令を決定し、決定した指令を光源制御部１１４に送る。
【０１２６】
相関度演算部１１３は、第１可視光波形から算出した複数の第１心拍間隔時間と、第１赤外光波形から算出した複数の第２心拍間隔時間とを、可視光波形演算部１１１および赤外光波形演算部１１２からそれぞれ取得する。そして、相関度演算部１１３は、時系列において互いに対応する、複数の第１心拍間隔時間と、複数の第２心拍間隔時間との間の第１相関度を演算する。
【０１２７】
また、相関度演算部１１３は、第２可視光波形から算出した複数の第３心拍間隔時間と、第２赤外光波形から算出した複数の第４心拍間隔時間とを、可視光波形演算部１１１および赤外光波形演算部１１２からそれぞれ取得する。そして、相関度演算部１１３は、時系列において互いに対応する、複数の第３心拍間隔時間と、複数の第４心拍間隔時間との間の第２相関度を演算してもよい。
【０１２８】
図１４は、第１心拍間隔時間と、第２心拍間隔時間とのそれぞれを時系列順のデータでプロットしたものを示すグラフである。図１４のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。なお、ここで、データナンバーとは、各心拍間隔時間のデータが記録されたメモリに記憶された順番を示す。つまり、第１心拍間隔時間において、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。また、第２心拍間隔時間において、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。さらに、第１心拍間隔時間と第２心拍間隔時間とは、同一のタイミングにおける脈波が計測された結果であるので、原則として計測誤差がない限り、データナンバーが同一であればほぼ同じタイミングにおける脈波を計測した結果といえる。つまり、複数の第１心拍間隔時間および複数の第２心拍間隔時間とは、時系列で互いに対応する１組の第１心拍間隔時間および第２心拍間隔時間とを含む。
【０１２９】
相関度演算部１１３は、相関法を用いて、複数の第１心拍間隔時間および複数の第２心拍間隔時間の相関度の演算を行う。具体的には、相関度演算部１１３は、以下の（式１）を用いて、時系列において互いに対応する、複数の第１心拍間隔時間と、複数の第２心拍間隔時間との間の第１相関係数を、第１相関度として演算する。
【０１３０】
【数４】
2018033931.tif 000006
【０１３１】
また、相関度演算部１１３は、以下の（式２）を用いて、時系列において互いに対応する、複数の第３心拍間隔時間と、複数の第４心拍間隔時間との間の第２相関係数を、第２相関度として演算する。
【０１３２】
【数５】
2018033931.tif 000007
【０１３３】
相関度演算部１１３は、例えば、第１相関係数が第２の閾値、例えば、０．８以上であれば、複数の第１心拍間隔時間と、複数の第２心拍間隔時間がほぼ一致しているとして判断し、光源制御部１１４に、ほぼ一致していることを示す信号として、例えば、「ＴＲＵＥ」の信号を送信する。一方で、相関度演算部１１３は、相関係数が第２の閾値、例えば、０．８よりも小さい値であれば、複数の第１心拍間隔時間と、複数の第２心拍間隔時間とが一致していないと判断し、光源制御部１１４に、一致していないことを示す信号として、例えば、「ＦＡＬＳＥ」の信号を送信する。相関度演算部１１３は、第１相関係数と同様に第２相関係数に対しても上記の処理を行う。
【０１３４】
また、相関度演算部１１３は、第１心拍間隔時間および第２心拍間隔時間の相関度だけでなく、各心拍間隔時間が適切であるかを判定し、判定結果を光源制御部１１４に送信してもよい。相関度演算部１１３は、具体的には、複数の第１心拍間隔時間および複数の第２心拍間隔時間のうちで、時系列で互いに対応する第１心拍間隔時間および第２心拍間隔時間との間の絶対誤差が第３の閾値（例えば２００ｍｓ）を超えているか否かを判定する。相関度演算部１１３は、例えば、データナンバーが同一の第１心拍間隔時間および第２心拍間隔時間の絶対誤差を算出し、当該絶対誤差が第３の閾値を超えているか否かを判定する。そして、相関度演算部１１３は、例えば、当該絶対誤差が第３の閾値を超えると判定した場合、可視光波形および赤外光波形のうちのいずれかのピーク点の数が過剰であると判定する。そして、相関度演算部は、ピーク点の数が過剰である方の波形（可視光波形または赤外光波形）を光源制御部１１４に送信する。なお、絶対誤差の演算は下記の式３により得られる。
【０１３５】
ｅ＝ＲＲＩＲＧＢ−ＲＲＩＩＲ・・・（式３）
【０１３６】
式１において、ｅは、対応する第１心拍間隔時間および第２心拍間隔時間との絶対誤差を示し、ＲＲＩＲＧＢは第１心拍間隔時間を示し、ＲＲＩＩＲは第２心拍間隔時間を示す。
【０１３７】
また、相関度演算部１１３は、ｅが（−１）×第３の閾値（例えば、−２００ｍｓ）より小さければ、可視光におけるピーク点の数が過剰であると判定し、ｅが第３の閾値（例えば、２００ｍｓ）より大きければ、赤外光におけるピーク点の数が過剰であると判定する。そして、相関度演算部１１３は、判定結果として、ピーク点の数が過剰である方の波形が可視光波形か赤外光波形かを示す情報を、光源制御部１１４に送信する。このように、２つの波形の対応する心拍間隔時間のずれから、どちらか波形においてピーク点を過剰に取得しいている、もしくは、ピーク点の取得に失敗していることを特定できる。
【０１３８】
相関度演算部１１３は、例えば、対応する第１心拍間隔時間および第２心拍間隔時間の絶対誤差が第３の閾値を超えており、かつ、可視光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部１１４に当該判定の結果を示す「Ｆａｌｓｅ，ＲＧＢ」の信号を送信する。なお、相関度演算部１１３は、絶対誤差が第３の閾値を超えており、かつ、赤外光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部１１４に当該判定の結果を示す「Ｆａｌｓｅ，ＩＲ」の信号を送信する。
【０１３９】
図１５は、心拍間隔時間が適切であるか否かの判定の具体例について説明するための図である。図１５の（ａ）は、取得された複数の心拍間隔時間が適切でない場合を示すグラフである。図１５の（ｂ）は、図１５の（ａ）に対応した、可視光波形または赤外光波形の一例を示すグラフである。図１５の（ａ）のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。図１５の（ｂ）のグラフにおいて、横軸は時間示し、縦軸は画像における輝度を示す。
【０１４０】
図１５の（ａ）において、点線で囲んだ二点の心拍間隔時間が適切でない部分である。心拍間隔時間は、一般的にゆらぎながら変動するが、急激に値が変動することはほぼない。例えば、図１５の（ａ）に示すように点線で囲んだ部分以外の領域では、平均値が約９５０ｍｓであり、その標準偏差は約５０ｍｓである。しかし、点線で囲まれた２点の心拍間隔時間は、約６００〜７００ｍｓと急激に値が変化している。これは、図１５の（ｂ）における破線が引かれた部分がピーク点として取得されていることが原因で起こる。すなわち、可視光波形演算部１１１または赤外光波形演算部１１２においてピーク点が過剰に取得されたことによって起こる。
【０１４１】
可視光波形演算部１１１または赤外光波形演算部１１２のどちらかのみにおいて、図１５に示したような結果が得られた場合、複数の第１心拍間隔時間および複数の第２心拍間隔時間のデータ数を比較すると、データ数が一致しなくなる。
【０１４２】
図１６にその様子を示す。図１６は、可視光波形においてピーク点の過剰取得が行われ、対応する赤外光波形においてピーク点の過剰取得が行われなかった場合の例を説明するための図である。
【０１４３】
複数の第１または第２心拍間隔時間のデータは、例えば、（データＮｏ、心拍間隔時間）という形式でストレージ１０３に格納する。可視光波形において取得される複数の第１心拍間隔時間を示すデータは、例えば、（ｘ、ｔ２０−ｔ１１）、（ｘ＋１、ｔ１２−ｔ２０）、（ｘ＋２、ｔ１３−ｔ１２）となる。また、赤外光波形において取得される複数の第２心拍間隔時間を示すデータは、例えば、（ｘ、ｔ１２−ｔ１１）、（ｘ＋１、ｔ１３−ｔ１２）となる。これにより、可視光波形および赤外光波形のそれぞれにおいて取得されたデータを比較すると、同じ時間区間ｔ１１〜ｔ１３の間で取得されたデータであるのに、データ数がずれてしまっている。これにより、その後の第１心拍間隔時間および第２心拍間隔時間の間のデータの対応関係が全てずれ、心拍間隔時間の時間変動の相関度がずれることになる。
【０１４４】
したがって、相関度演算部１１３は、可視光波形演算部１１１と赤外光波形演算部１１２とで得られた、第３または第４心拍間隔時間の各データナンバーにおける心拍間隔時間の絶対誤差が、第３の閾値、例えば、２００ｍｓ以上であるとき、ピーク点の数が多い方の脈波ピークを一つ削除する。そして、相関度演算部１１３は、削除したピークに対応するデータナンバーから以降のデータナンバーを一つ分ずつ減らす処理を行う。
【０１４５】
相関度演算部１１３は、上記のように、ピーク点（つまり、所定の特徴点）が過剰に取得されていると判定した場合、所定の特徴点が多い方の波形（可視光波形または赤外光波形）における心拍間隔時間の演算の基準となった所定の特徴点を当該心拍間隔時間の演算対象から除外してもよい。つまり、相関度演算部１１３は、ｅが（−１）×第３の閾値より小さければ、当該ｅを算出するのに用いたＲＲＩＲＧＢの演算の基準となったピーク点を第１心拍間隔時間の演算対象から除外する。相関度演算部１１３は、ｅが第３の閾値より大きければ、当該ｅを算出するのに用いたＲＲＩＩＲの演算の基準となったピーク点を第２心拍間隔時間の演算対象から除外する。
【０１４６】
つまり、相関度演算部１１３は、複数の第３心拍間隔時間および複数の第４心拍間隔時間のうち、時系列で互いに対応する第３心拍間隔時間および第４心拍間隔時間との間の絶対誤差が第３の閾値を超えているか否かを判定する。そして、相関度演算部１１３は、絶対誤差が第３の閾値を超えていると判定した場合、複数の第３ピーク点の数と、複数の第４ピーク点の数とを比較する。相関度演算部１１３は、第３の閾値を超えていると判定された第３心拍間隔時間および第４心拍間隔時間のうち、比較の結果、数が多いと判定された方のピーク点により算出された心拍間隔時間を特定する。相関度演算部１１３は、特定した心拍間隔時間の演算の基準となったピーク点を当該心拍間隔時間の演算対象から除外する。
【０１４７】
また、ピーク点の過剰取得は、取得した波形（可視光波形または赤外光波形）においてノイズが多いことにより起きる。このため、過剰取得した方の波形が可視光波形であるか、赤外光波形であるかを把握し、例えば、上述したように「ＦＡＬＳＥ，ＲＧＢ」というような信号を生成し、生成した信号を光源制御部１１４に送信する。つまり、光源制御部１１４は、「ＦＡＬＳＥ，ＲＧＢ」の信号を受信すれば、可視光波形と赤外光波形との間の心拍間隔時間が一致していないこと、および、一致していない原因は可視光波形であることを把握できる。このように、可視光波形と赤外光波形とのピーク点の取得におけるデータずれを把握でき、把握した結果を示す情報を光源制御部１１４に送信できるため、可視光波形および赤外光波形におけるユーザの脈波をより正確に取得することが可能になる。
【０１４８】
なお、相関度演算部１１３では、第１心拍間隔時間と第２心拍間隔時間との相関度の判定において、第２の閾値を０．８として判定したが、これに限るものではない。具体的には、ユーザが計測したい生体情報の正確性に応じて、第２の閾値を変えてもよい。例えば、ユーザが睡眠時における赤外光での脈波抽出を厳密に行うことで、睡眠中の生体情報、例えば、心拍や血圧等の情報をより正確に取得したい場合、判定基準とする第２の閾値を大きくし、例えば０．９等の値にしてもよい。
【０１４９】
また、基準としている相関係数の第２の閾値を調整した場合、調整した第２の閾値に応じて、提示装置４０に、取得データの信頼度として表示してもよい。例えば、可視光波形と赤外光波形との間での特徴量がなかなか一致せず、睡眠時等に、可視光の光源からの光量を低減できない場合、基準となる相関係数の第２の閾値を、例えば、０．６等の０．８よりも小さい値に変更してもよい。その際、相関度に関する正確性は、小さくなるので、提示装置４０に信頼度が小さくなったことを表示してもよい。
【０１５０】
相関度演算部１１３は、可視光波形および赤外光波形から時系列で取得した第１および第２心拍間隔時間の相関係数が第２の閾値より小さい場合、または、可視光波形演算部１１１および赤外光波形演算部１１２において、第１所定期間のピーク点を過剰取得した場合、可視光波形および赤外光波形のそれぞれの変曲点を用いて、可視光波形と赤外光波形との相関度を判定してもよい。つまり、時系列において互いに対応する、第１変曲点を用いて算出した複数の第３心拍間隔時間と、第２変曲点を用いて算出した複数の第４心拍間隔時間との間の相関係数を、（式２）を用いることで第２相関係数として演算してもよい。
【０１５１】
具体的には、前述したように、可視光波形および赤外光波形における第１および第２心拍間隔時間の相関係数が、第２の閾値、例えば、０．８より小さい場合、または、可視光波形演算部１１１および赤外光波形演算部１１２で取得したピーク点の数が、第１所定区間（例えば、５秒間）において一致せず、少なくとも一方の波形におけるピーク点の数が第１の閾値（例えば、１０個）を超えていた場合、可視光波形と赤外光波形との両方の波形における変曲点を使用し、各波形において変曲点間の時間間隔情報の相関度を判定してもよい。
【０１５２】
つまり、相関度演算部１１３は、複数の第３ピーク点の数または複数の第４ピーク点の数が第１所定期間において、第１の閾値を超えるか否かを判定する第１０判定を行う。相関度演算部１１３は、第３ピーク点の数または第４ピーク点の数が第１所定期間において第１の閾値を超えると判定した場合、次の処理を行ってもよい。
【０１５３】
つまり、相関度演算部１１３は、可視光波形演算部１１１に、複数の第３頂点のそれぞれについて、当該第３頂点と、複数の第３底点のうちの、当該第３頂点の時系列における直後の第３底点との間の変曲点である第１変曲点を抽出することで、複数の前記第１変曲点を抽出させる。また、相関度演算部１１３は、赤外光波形演算部１１２に、複数の第４頂点のそれぞれについて、当該第４頂点と、複数の第４底点のうちの、当該第４頂点の時系列における直後の第４底点との間の変曲点である第２変曲点を抽出することで、複数の第２変曲点を抽出させる。また、相関度演算部１１３は、可視光波形演算部１１１に、抽出した複数の第１変曲点のそれぞれについて、当該第１変曲点での第９時刻と、当該第１変曲点に隣接する他の第１変曲点での第１０時刻との間の時間間隔を第３心拍間隔時間として算出させる。また、相関度演算部１１３は、赤外光波形演算部１１２に、抽出した複数の第２変曲点のそれぞれについて、当該第２変曲点での第７時刻と、当該第２変曲点に隣接する他の第２変曲点での第８時刻との間の時間間隔を前記第４心拍間隔時間として算出させる。そして、相関度演算部１１３は、時系列において互いに対応する、第１変曲点を用いて算出した複数の第３心拍間隔時間と、第２変曲点を用いて算出した複数の第４心拍間隔時間との間の第２相関係数を、（式２）を用いることで第２相関度として演算する。
【０１５４】
また、相関度演算部１１３は、第１０判定の結果に関わらず、次の場合に、上記のように、第１変曲点を用いて算出した複数の第３心拍間隔時間と、第２変曲点を用いて算出した複数の第４心拍間隔時間との間の第２相関係数を、（式２）を用いることで第２相関度として演算してもよい。その場合とは、比較の結果、数が少ないと判定された方のピーク点により算出された心拍間隔時間の標準偏差が前記第４の閾値以下である場合である。
【０１５５】
図１７は、変曲点を用いて相関度を算出する場合を説明するための図である。図１７の（ａ）は、可視光波形において取得されたピーク点（頂点）を示すグラフであり、図１７の（ｂ）は、赤外光波形において取得されたピーク点（頂点）を示すグラフである。図１７の（ａ）および（ｂ）において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。
【０１５６】
図１７の（ａ）では、可視光波形において、過剰にピーク点を取得しており、第１所定期間（５秒間）において、ピーク点が、第１の閾値以上または第１の閾値を超える、１０個または１１個存在するのがわかる。一方で、図１７の（ｂ）では、赤外光波形において、ピーク点は一定の心拍間隔時間で取得されており、標準偏差が１００ｍｓ以下である。この時、可視光波形および赤外光波形における第１および第２心拍間隔時間を示す時系列のデータナンバーがずれることになる。
【０１５７】
したがって、相関度演算部１１３は、可視光波形演算部１１１と赤外光波形演算部１１２とより取得した、各脈波の頂点−底点間に存在する変曲点を利用して、可視光波形および赤外光波形の間の相関度を演算してもよい。相関度演算部１１３は、例えば、変曲点を用いて算出した第１心拍間隔時間と第２心拍間隔時間とを可視光波形演算部１１１および赤外光波形演算部１１２に算出させ、当該第１および第２心拍間隔時間の間の相関度を演算する。具体的な演算法としては、可視光波形と赤外光波形との変曲点間の心拍間隔時間の相関や絶対誤差によって評価する。
【０１５８】
なお、相関度演算部１１３では、可視光波形または赤外光波形における心拍間隔時間の相関係数が第２の閾値より小さい場合、または、可視光波形または赤外光波形におけるピーク点の数が第１所定期間において、少なくとも一方の波形におけるピーク点の数が、第１の閾値より多い場合、変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算するとしたが、これに限るものではない。例えば、相関度演算部１１３は、ピーク点を用いず、最初から変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算してもよい。これにより、可視光波形または赤外光波形からピーク点を精度よく取得できていない場合であっても、変曲点間の心拍間隔時間を算出することで、心拍間隔時間に類似した時間を算出できる。ただし、変曲点間の心拍間隔時間は、ピーク点から取得できる心拍間隔時間に比べて、ノイズはのりにくいが、変曲点が頂点−底点間で変動しやすいという特徴を持つ。すなわち、頂点−頂点の心拍間隔時間が安定しており、例えば、標準偏差が１００ｍｓ以内となりやすく、変曲点−変曲点間の心拍間隔時間よりも、時間誤差が小さくなる傾向にある。したがって、本開示においては、特に断りがない限り、ピーク点から演算する心拍間隔時間を優先して使用する。
【０１５９】
また、相関度演算部１１３は、上記とは別に、次の条件を満たした場合、変曲点間の心拍間隔時間をピーク点から演算する心拍間隔時間の代わりに、相関度の演算に用いてもよい。その条件とは、例えば、複数の心拍間隔時間および複数の心拍間隔時間のうち、可視光波形および赤外光波形のうちのピーク点の数が少ない方の波形に対応する心拍間隔時間の標準偏差が第４の閾値（例えば、１００ｍｓ）以下であることである。これは、第１所定期間におけるピーク点の数だけで、過剰にピーク点が取得されたか否かを判定する場合、実は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件にあてはまらず、過剰に取得されたピーク点を見過ごす可能性がある。
【０１６０】
例えば、図１８は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件に当てはまらない例を説明するための図である。図１８の（ａ）および（ｂ）において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。
【０１６１】
図１８の（ａ）に示すように、可視光波形において、５秒間で取得されたピーク点の数が８個であった場合、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件にはあてはまらないが、図１８の（ｂ）に示す赤外光波形において取得されたピーク点の数とは異なる数のピーク点が取得されている。このとき、前述したように、一つでもピーク点を過剰に取得すると、第１心拍間隔時間および第２心拍間隔時間におけるデータナンバーが一つずつずれていくという問題がある、そこで、可視光波形または赤外光波形のいずれか一方の心拍間隔時間がほぼ一定であることが示すことができれば、当該波形のピーク点の数に応じて、調整（削除）することができる。ピーク点の調整の詳細は、図１６を用いて説明したとおりである。
【０１６２】
なお、相関度演算部１１３は、可視光波形および赤外光波形の両方の波形において、第１所定期間での心拍間隔時間の標準偏差が第４の閾値を超える場合、両方の波形から適切な脈波タイミングが取得できないと判定し、光源制御部１１４に、両方の波形から適切な脈波タイミングが取得できないことを示す「Ｆａｌｓｅ，Ｂｏｔｈ」の信号を送信する。
【０１６３】
相関度演算部１１３は、脈波計測装置１０を使用開始時、かつ、可視光波形演算部１１１によって、第１所定期間でピーク点が適切に取得できていた場合（すなわち、心拍間隔時間の標準偏差が第４の閾値より小さい場合）に、可視光波形の頂点−底点間の傾きを第１の傾きＡとして可視光波形演算部１１１に演算させた結果をメモリに記憶させる。そして、相関度演算部１１３は、光源制御部１１４によって、可視光光源１２１または赤外光光源１２３における光量が変化するたびに、赤外光波形の頂点−底点間の第２の傾きが第１の傾きＡになるように、光源制御部１１４に指令を送る。さらに、相関度演算部１１３は、光源制御部１１４において、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しなくてもよい。
【０１６４】
図１９は、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しないことを説明するための例を示す図である。図１９のグラフにおいて、横軸は時間を示し、縦軸は輝度を示し、斜線の領域で光源の光量を調整している様子を示している。また、白丸および黒丸は、取得されたピーク点を示す。
【０１６５】
図１９に示すように、光源の光量を調整することで、可視光波形または赤外光波形の輝度のゲインが変化し、それに応じてピーク点の尖度も変化する。尖度が変化した後のピーク点に対して、可視光波形演算部１１１または赤外光波形演算部１１２においてフィルタをかけると、フィルタをかける前の生波形のピークの尖度によって、ピーク点の位置が時間軸において前後に変化する。生体情報として心拍数を算出する程度であれば、この誤差は問題にならないが、脈波伝播時間から血圧を算出する場合等では、この誤差による影響は大きい。したがって、本開示の脈波計測装置１０では、第１〜第４制御信号（後述参照）により可視光光源１２１または赤外光光源１２３の光量を制御している間において取得された可視光波形または赤外光波形から所定の特徴点（つまり、ピーク点）を抽出しなくてもよい。
【０１６６】
つまり、可視光波形演算部１１１は、複数の第１ピーク点の抽出において、第１制御信号により可視光光源１２１の光量を制御している期間を除く期間において取得された第１可視光波形から複数の第１ピーク点を抽出する。また、可視光波形演算部１１１は、複数の第３ピーク点の抽出において、第３制御信号により可視光光源１２１の光量を制御している期間を除く期間において取得された第２可視光波形から複数の第３ピーク点を抽出する。
【０１６７】
また、赤外光波形演算部１１２は、複数の第２ピーク点の抽出において、第２制御信号により赤外光光源１２３の光量を制御している期間を除く期間において取得された第１赤外光波形から複数の第２ピーク点を抽出する。また、赤外光波形演算部１１２は、複数の第４ピーク点の抽出において、第４制御信号により赤外光光源１２３の光量を制御している期間を除く期間において取得された第２赤外光波形から複数の第４ピーク点を抽出する。
【０１６８】
なお、相関度演算部１１３は、可視光波形および赤外光波形における心拍間隔時間の相関係数が、第２の閾値より小さい場合、いずれか一方または両方の波形のピーク点の数が過剰であるとして、心拍間隔時間の誤差や各心拍間隔時間の標準偏差を算出し、所定の条件を満たした場合、波形の頂点から底点までの間の変曲点間の心拍間隔時間を用いるとしたが、これに限らない。相関度演算部１１３は、例えば、第１心拍間隔時間および第２心拍間隔時間の相関係数が第２の閾値より小さくても、両波形におけるピーク点は適切に取得できている（例えば、両波形の心拍間隔時間における標準偏差が共に、第４の閾値以下である）場合、光源制御部１１４に、「Ｆａｌｓｅ」の信号のみを送信する。
【０１６９】
このように、相関度演算部１１３は、演算した相関度と、可視光波形および赤外光波形からの所定の特徴点の抽出結果とに応じた信号（例えば、「Ｔｒｕｅ」、「Ｆａｌｓｅ」、「Ｆａｌｓｅ，ＲＧＢ」、「Ｆａｌｓｅ，ＩＲ」および「Ｆａｌｓｅ，Ｂｏｔｈ」のいずれか）を光源制御部１１４に送信する。
【０１７０】
上記に説明したように、相関度演算部１１３は、第１心拍間隔時間および第２心拍間隔時間に基づいて、以下の判定を行う。
【０１７１】
つまり、相関度演算部１１３は、第１標準偏差が第４の閾値を超えており、かつ、前記第２標準偏差が前記第４の閾値を超えているか否かを判定する第２判定を行う。また、相関度演算部１１３は、第２判定の結果、第１標準偏差が第４の閾値を超えており、かつ、第２標準偏差が第４の閾値を超えていると判定した場合、複数の第１心拍間隔時間のうちの一の第１心拍間隔時間と、複数の第２心拍間隔時間のうちの、当該一の第１心拍間隔時間に時系列において対応する一の第２心拍間隔時間との第１時間差が第５の閾値未満であるか否かの第３判定、および、第５の閾値よりも大きい第６の閾値より第１時間差が大きいか否かの第４判定を行う。
【０１７２】
一方、相関度演算部１１３は、第３判定および第４判定の結果、第１時間差が第５の閾値よりも小さいと判定した場合、第２標準偏差が第４の閾値以下であるか否かを判定する第５判定を行う。
【０１７３】
また、相関度演算部１１３は、第３心拍間隔時間および第４心拍間隔時間に基づいて、以下の判定を行ってもよい。
【０１７４】
つまり、相関度演算部１１３は、第３標準偏差が第４の閾値を超えており、かつ、第４標準偏差が第４の閾値を超えているか否かを判定する第６判定を行う。また、相関度演算部１１３は、第６判定の結果、第３標準偏差が第４の閾値を超えており、かつ、第４標準偏差が前記第４の閾値を超えていると判定した場合、複数の第３心拍間隔時間のうちの一の第３心拍間隔時間と、複数の第４心拍間隔時間のうちの、当該一の第３心拍間隔時間に時系列において対応する一の第４心拍間隔時間との第２時間差が第５の閾値未満であるか否かの第７判定、および、第６の閾値より前記第２時間差が大きいか否かの第８判定を行う。
【０１７５】
一方、相関度演算部１１３は、第７判定および第８判定の結果、第２時間差が第５の閾値よりも小さいと判定した場合、第４標準偏差が第４の閾値以下であるか否かを判定する第９判定を行う。
【０１７６】
（光源制御部）
光源制御部１１４は、相関度演算部１１３から受信した、相関度および抽出結果に応じた信号に応じて、可視光光源１２１の可視光の光量、および、赤外光光源１２３における赤外光の光量の少なくとも一方を、増加させるか、減少させるか、維持するかのいずれかに決定し、決定結果に応じた第１〜第４制御信号を可視光光源１２１および赤外光光源１２３に出力する。
【０１７７】
光源制御部１１４は、「Ｆａｌｓｅ」の信号を受信した場合、可視光波形および赤外光波形における第１および第２心拍間隔時間の相関係数が第２の閾値より小さいが、各波形の心拍間隔時間は適切に取得できていると判断できる。このとき、光源制御部１１４は、可視光波形に対して、赤外光波形の信号が弱く、各波形における所定の特徴点は取得できる状態であるが、例えば、ピーク点の尖度が小さいため、フィルタ処理等により、毎回ピークの位置がずれている場合と判断できる。したがって、この場合、光源制御部１１４は、赤外光光源１２３における光量を赤外光波形の頂点から底点までの第２の傾きがメモリに記憶している第１の傾きＡになるまで、増加させる。
【０１７８】
また、光源制御部１１４は、「ＴＲＵＥ」の信号を受信した場合、可視光波形および赤外光波形における所定の特徴点が一致していることを示していると判断できる。このため、光源制御部１１４は、可視光光源１２１におおける可視光の光量を下げて、赤外光光源１２３における赤外光の光量を赤外光波形の頂点から底点までの第２の傾きがメモリに記憶している第１の傾きＡになるまで増加させる。つまり、光源制御部１１４は、相関度が第２の閾値以上の場合、可視光光源における可視光の光量を減少させ、赤外光光源における赤外光の光量を増加させる。また、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリ（ストレージ１０３）に記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。
【０１７９】
なお、第２可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、第２赤外光波形の抽出、および、第２相関係数の演算は、脈波演算装置１００の各処理部において、繰り返し行われる。光源制御部１１４は、繰り返し行われる第２相関係数の演算において、第２の傾きと、メモリに記憶している第１の傾きとが比較され、第２の傾きが、第１の傾きになるまで、第２制御信号を赤外光光源１２３に出力する。
【０１８０】
また、光源制御部１１４は、例えば、「Ｆａｌｓｅ，ＩＲ」の信号を受信した場合、赤外光波形演算部１１２が赤外光波形において所定の特徴点を適切に取得できていないと判断できる。つまり、例えば、「Ｆａｌｓｅ，ＩＲ」の信号は赤外光波形にノイズが多いということを示している。このため、可視光光源１２１における光量は調整せず、赤外光光源１２３における光量を増加させる。
【０１８１】
つまり、光源制御部１１４は、第３判定および第４判定の結果、第１時間差であるが絶対誤差ｅが、第６の閾値（２００〔ｍｓ〕）より大きいと判定された場合、第２制御信号を赤外光光源１２３に出力する。また、光源制御部１１４は、第７判定および第８判定の結果、第２時間差であるが絶対誤差ｅが、第６の閾値（２００〔ｍｓ〕）より大きいと判定された場合、第２制御信号を赤外光光源１２３に出力する。光源制御部１１４は、第２制御信号を赤外光光源１２３に出力することで赤外光光源１２３における光量を増加させる。
【０１８２】
また、光源制御部１１４は、「Ｆａｌｓｅ，ＲＧＢ」の信号を受信した場合、可視光波形演算部１１１が可視光波形において所定の特徴点を適切に取得できていないと判断できる。また、光源制御部１１４は、この場合、赤外光波形演算部１１２が赤外光波形において所定の特徴点を適切に取得できているか否かを判断できない。したがって、光源制御部１１４は、例えば、赤外光波形において、第１所定期間の心拍間隔時間の標準偏差が第４の閾値以下であれば、可視光光源１２１における光源の光量を減少させ、赤外光光源１２３における光源の光量を赤外光波形の頂点から底点までの間の傾きがＡになるまで、増加させる。また、光源制御部１１４は、赤外光波形における上記標準偏差が第４の閾値を超えていれば、共に信号が取得できていないと判定し、信号を「Ｆａｌｓｅ，Ｂｏｔｈ」に変更する。
【０１８３】
つまり、光源制御部１１４は、第５判定の結果、第２標準偏差が第４の閾値以下であると判定した場合、第１制御信号を可視光光源１２１に出力し、かつ、第２制御信号を赤外光光源１２３に出力する。光源制御部１１４は、第２標準偏差が第４の閾値より大きいと判定した場合、第３制御信号を可視光光源１２１に出力し、かつ、第４制御信号を赤外光光源に出力する。なお、第５判定は、上述したように、第３判定および第４判定の結果、第１時間差が第５の閾値よりも小さいと判定した場合に行われる、第２標準偏差が第４の閾値以下であるか否かの判定である。
【０１８４】
また、光源制御部１１４は、第９判定の結果、第４標準偏差が第４の閾値以下であると判定した場合、第１制御信号を可視光光源１２１に出力し、かつ、第２制御信号を赤外光光源１２３に出力する。光源制御部１１４は、第９判定の結果、第４標準偏差が第４の閾値より大きいと判定した場合、第３制御信号を可視光光源１２１に出力し、かつ、第４制御信号を赤外光光源１２３に出力する。なお、第９判定は、上述したように、第７判定および第８判定の結果、第２時間差が第５の閾値よりも小さいと判定した場合に行われる、第４標準偏差が第４の閾値以下であるか否かの判定である。
【０１８５】
また、光源制御部１１４は、「ＦＡＬＳＥ，Ｂｏｔｈ」の信号を受信した場合、可視光波形においても、赤外光波形においても所定の特徴点が取得できていないと判断できる。光源制御部１１４は、この場合、可視光波形の頂点から底点までの傾きが第１の傾きＡになるまで、可視光光源１２１の光量を増加させる。なお、光源制御部１１４は、可視光波形の初期の光量がメモリに記憶されていれば、当該初期の光量になるまで可視光光源１２１の光量を増加させてもよい。また、光源制御部１１４は、赤外光光源１２３の光量を０まで減少させる。つまり、光源制御部１１４は、可視光波形および赤外光波形の両方において、所定の特徴点が取得できない場合、最も確実に取得できる状態である、可視光光源１２１の光量および赤外光光源１２３の光量を初期状態とし、再度光量の調整を行う。
【０１８６】
つまり、光源制御部１１４は、第３判定および第４判定の結果、第１時間差である絶対誤差ｅが第５の閾値以上第６の閾値以下であると判定された場合、第３制御信号を可視光光源１２１に出力し、かつ、第４制御信号を赤外光光源１２３に出力する。また、光源制御部１１４は、第７判定および第８判定の結果、第２時間差である絶対誤差ｅが第５の閾値以上第６の閾値以下であると判定された場合、第３制御信号を可視光光源１２１に出力し、かつ、第４制御信号を赤外光光源１２３に出力する。光源制御部１１４は、第３制御信号を可視光光源１２１に出力することで、可視光光源１２１の光量を増加させ、第４制御信号を赤外光光源１２３に出力することで、赤外光光源１２３の光量を減少させる。
【０１８７】
つまり、光源制御部１１４は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第５の閾値（（−１）×第３の閾値）より小さい場合、可視光光源１２１における可視光の光量を減少させ、かつ、赤外光光源１２３における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリに記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。
【０１８８】
また、光源制御部１１４は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第６の閾値（つまり第３の閾値）より大きい場合、赤外光光源１２３における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリに記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。
【０１８９】
また、光源制御部１１４は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第５の閾値から第６の閾値までの間の値である場合、可視光光源１２１における可視光の光量を増加させ、かつ、赤外光光源１２３における赤外光の光量を減少させる。
【０１９０】
なお、光源制御部１１４は、「Ｆａｌｓｅ，Ｂｏｔｈ」等の、可視光波形および赤外光波形の両方において、所定の特徴点が取得できなかった場合以外は、赤外光光源１２３の光量を赤外光波形の第２の傾きが第１の傾きＡになるまで増加させるとしたが、これに限らない。光源制御部１１４は、例えば、ＲＯＩにおける平均輝度値が、第７の閾値、例えば２４０を超えている場合、光源の光量が強すぎることにより、ユーザの肌から撮像される画像がノイズ情報に埋もれてしまう。なお、平均輝度の「２４０」は、輝度を示す０から２５５の値のうちの「２４０」であり、大きい値ほど輝度が大きいことを示す。このため、光源制御部１１４は、この場合、赤外光波形の第２の傾きが第１の傾きＡを超えていると考えられるので、第２の傾きが第１の傾きＡになるまで、赤外光の光量を減少させてもよい。
【０１９１】
図２０は、脈波計測装置を用いて、可視光光源の光量を０になるまで減少させ、かつ、赤外光光源の光量を適切な光量まで増加させる最も簡単なステップの例を示す図である。図２０における（ａ）〜（ｄ）の全てのグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。また、図２０では、可視光波形をＲＧＢと表記し、赤外光波形をＩＲと表記している。
【０１９２】
図２０の（ａ）は、ユーザが脈波計測装置１０で可視光光源１２１をＯＮにした初期状態において、取得された可視光波形および赤外光波形を示す図である。図２０の（ａ）の可視光波形は、図２０の（ａ）〜（ｄ）の可視光波形のうちで、頂点から底点までの傾きが最も大きい波形である。したがって、この時の可視光波形の頂点から底点までの傾きを第１の傾きＡとして、メモリに記憶する。
【０１９３】
また、この時、赤外光光源１２３はＯＦＦとなっている。このため、赤外光波形は、ほとんど取得されない。この状態では、相関度演算部１１３は、光源制御部１１４に、例えば、「Ｆａｌｓｅ，ＩＲ」という信号を送信する。したがって、光源制御部１１４では、赤外光光源１２３における赤外光光源１２３の光量を増加させる。この時、赤外光光源１２３の光量を増加させるにつれて、赤外光波形演算部１１２では、赤外光波形の所定の特徴点が取得できるようになり、第２の心拍間隔時間が取得できる。また、取得した第２心拍間隔時間の標準偏差は、第４の閾値以内に収まるようになる。そして、図２０の（ｂ）に示すように、第２心拍間隔時間の標準偏差を第４の閾値以内に収まった状態を維持しながら、赤外光波形の頂点−底点間の第２の傾きが第１の傾きＡになるまで、赤外光光源１２３の光量を増加させる。第２の傾きが第１の傾きＡとなった場合、相関度演算部１１３は、光源制御部１１４に、例えば、「ＴＲＵＥ，ＡＭＰ＝Ａ」の信号を送信する。このため、光源制御部１１４は、「ＴＲＵＥ，ＡＭＰ＝Ａ」の信号を受信した時点で、光源の調整を一度中止する。
【０１９４】
次に、図２０の（ｂ）の状態から、光源制御部１１４は、可視光光源１２１における可視光源の光量を減少させていく。図２０の（ｃ）は、赤外光波形演算部１１２において、心拍間隔時間の標準偏差が第４の閾値以下であり、可視光光源１２１における光源がＯＦＦとなっている状態である。また、図２０の（ｄ）は、さらに、可視光光源１２１における光源がＯＦＦとなっており、かつ、赤外光波形における第２の傾きが第１の傾きＡとなっている状態、すなわち、最終的に目指す状態である。
【０１９５】
図２０の（ｂ）の状態から図２０の（ｃ）の状態になる過程では、可視光の光量を一定間隔ずつ、例えば、１Ｗずつ減少させていく。そして、可視光の光量を減少させるたびに、赤外光波形演算部１１２および相関度演算部１１３は、赤外光波形において所定の特徴点が適切に取得できているか確認する。また、赤外光波形演算部１１２および相関度演算部１１３は、赤外光波形において所定の特徴点が適切に取得できていることが確認できれば、図２０の（ｄ）に示すように、赤外光光源１２３の光源における光量を、赤外光波形における第２の傾きが第１の傾きＡになるまで増加させる。
【０１９６】
したがって、図２０の（ｂ）の状態から図２０の（ｃ）の状態になる過程では、相関度演算部１１３は、光源制御部１１４に対して、「Ｔｒｕｅ」の信号、もしくは、「Ｆａｌｓｅ，ＩＲ」の信号を送信し、光源制御部１１４は、「Ｆａｌｓｅ，ＩＲ」の信号を受信する度に「Ｔｒｕｅ」になるまで、赤外光光源１２３の光量を調整する。そして、光源制御部１１４は、可視光光源１２１の光量を減少させることで、相関度演算部１１３から「Ｆａｌｓｅ，ＲＧＢ」を受信すると、この過程を終了する。
【０１９７】
または、図２０の（ｃ）の状態から図２０の（ｄ）の状態になる過程において、相関度演算部１１３は、光源制御部１１４に対し、「Ｆａｌｓｅ，ＲＧＢ」の信号を送信し、光源制御部１１４は、赤外光光源１２３における光源の光量を赤外光波形における第２の傾きが第１の傾きＡになるまで増加させ続け、例えば、可視光波形が取得できず、かつ、第２の傾きが第１の傾きＡになったことを示す「Ｆａｌｓｅ，ＲＧＢ，ＡＭＰ＝Ａ」の信号を相関度演算部１１３から受信すれば、光源制御部１１４による光源の光量の制御を終了する。
【０１９８】
また、光源制御部１１４は、可視光波形演算部１１１または赤外光波形演算部１１２において、可視光波形または赤外光波形のそれぞれ、当該波形から連続する２つ以上の所定の特徴点が取得できた後に、光源の制御を行うという特徴を持つ。つまり、光源制御部１１４は、第１制御信号または第３制御信号の出力において、第１可視光波形から連続する２つ以上の第１ピーク点が第２所定期間内に抽出されるまで、または、第２可視光波形から連続する２つ以上の第３ピーク点が第２所定期間内に抽出されるまで、第１制御信号または第３制御信号の出力を待機する。また、光源制御部１１４は、第２制御信号または第４制御信号の出力において、第１赤外光波形から連続する２つ以上の第２ピーク点が第２所定期間内に抽出されるまで、または、第２赤外光波形から連続する２つ以上の第４ピーク点が第２所定期間内に抽出されるまで、第２制御信号または第４制御信号の出力を待機する。
【０１９９】
図２１は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、光源制御を待機することを説明するための図である。図２１におけるグラフは、可視光波形または赤外光波形を示す。図２１のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。
【０２００】
光源制御部１１４は、可視光光源１２１、または、赤外光光源１２３の光量を変化させると、可視光波形または赤外光波形の輝度のゲインが変化する。そして、輝度のゲインが変化すると、脈波タイミングの位置がずれるため、心拍間隔時間等のタイミングの算出において、大きな誤差が生じる。また、本開示では、可視光波形と赤外光波形との相関度の判定材料として、心拍間隔時間を主に用いており、心拍間隔時間を算出するためには２つの連続するピーク点が必要である。したがって、図２１に示すように、光源制御部１１４は、可視光波形または赤外光波形において、連続してピーク点が２つ以上取れていることを確認した後、光源量を調整する。
【０２０１】
（生体情報算出部）
生体情報算出部１１５は、可視光波形演算部１１１で取得された可視光波形または赤外光波形演算部１１２で取得された赤外光波形のそれぞれの特徴量のいずれか一方を用いて、ユーザの生体情報を算出する。生体情報算出部１１５は、具体的には、可視光光源１２１がＯＮであり、かつ、可視光波形演算部１１１において可視光波形を取得できる場合、可視光波形演算部１１１から第１心拍間隔時間を取得する。そして、生体情報算出部１１５は、第１心拍間隔時間を用いて、例えば心拍数、ストレス指数などの生体情報を算出する。
【０２０２】
一方で、生体情報算出部１１５は、可視光光源１２１がＯＦＦである、または、可視光波形演算部１１１において可視光波形が取得できない場合であって、赤外光波形演算部１１２において赤外光波形が取得できる場合、赤外光波形演算部１１２から第２心拍間隔時間を取得する。そして、生体情報算出部１１５は、第２心拍間隔時間を用いて、同様に、例えば心拍数、ストレス指数などの生体情報を算出する。
【０２０３】
なお、生体情報算出部１１５は、可視光波形演算部１１１および赤外光波形演算部１１２の両方において各波形（可視光波形および赤外光波形）の特徴量（心拍間隔時間）が抽出できている場合、可視光波形演算部１１１からの第１心拍間隔時間を用いて、生体情報を算出する。これは、赤外光よりも可視光の方が、体動等のノイズへのロバスト性があり、信頼性が高いからである。
【０２０４】
なお、生体情報算出部１１５は、取得された可視光波形の特徴量を用いて生体情報を算出してもよいし、取得された赤外光波形の特徴量を用いて生体情報を算出してもよい。また、生体情報算出部１１５は、光源制御部１１４から第２制御情報が出力された後に取得された第２可視光波形の特徴量を用いてユーザの生体情報を算出してもよいし、光源制御部１１４から第２制御情報が出力される前に取得された第１可視光波形の特徴量を用いてユーザの生体情報を算出してもよい。同様に、生体情報算出部１１５は、光源制御部１１４から第１制御信号が出力された後に取得された第２赤外光波形の特徴量を用いてユーザの生体情報を算出してもよいし、光源制御部１１４から第１制御信号が出力される前に取得された第１赤外光波形の特徴量を用いてユーザの生体情報を算出してもよい。
【０２０５】
なお、算出する生体情報は、心拍数やストレス指数としたが、これに限ったものではない。例えば、得られた脈波から加速度脈波を算出し、動脈硬化指数を算出してもよい。また、２箇所の異なるユーザの部位から脈波のタイミングを正確に取得し、その時間差（脈波伝播時間）から血圧を推定してもよい。また、心拍間隔時間の変動から、交感神経、副交感神経の優位性を算出し、睡眠深度を算出してもよい。
【０２０６】
なお、生体情報算出部１１５は、ストレス指数としては、ＬＦ／ＨＦの数値に応じて、「ストレスが高い」、「ストレスが低い」などを示す情報を出力してもよい。
【０２０７】
また、生体情報算出部１１５は、睡眠深度として、特許文献３に示すように、求めることができる。睡眠深度は、具体的には、ＬＦ、ＨＦおよび体動の有無に基づいて、判定できる。なお、睡眠深度とは、被験者の脳の活動状態の程度を示す指標である。例えば、睡眠深度として、ノンレム睡眠、レム睡眠のいずれに該当するかを判定してもよい。さらにノンレム睡眠においてはさらに浅睡眠、深睡眠のいずれに該当するかを判定してもよい。
【０２０８】
なお、生体情報算出部１１５は、判定された睡眠深度の段階毎に段階に応じた数値を付与することで、当該数値を睡眠深度として出力してもよい。
【０２０９】
なお、ＬＦ（Ｌｏｗ  Ｆｒｅｑｕｅｎｃｙ）およびＨＦ（Ｈｉ  Ｆｒｅｑｕｅｎｃｙ）は、特許文献３に示すような処理を行うことで得られる。つまり、脈拍間隔データ（心拍間隔時間）を例えばＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）にて周波数スペクトル分布に変換する。次に、得られた周波数スペクトル分布より、ＬＦ，ＨＦを得る。具体的には、複数のパワースペクトルのピーク値とピーク値を中心として前後等間隔の１点との３点の合計値の算術平均をとってＬＦ、ＨＦとする。なお、周波数解析法としてＦＦＴ法の他の例としては、ＡＲモデル、最大エントロピー法、ウェーブレット法などを用いることができる。
【０２１０】
（提示装置）
提示装置４０は、生体情報算出部１１５から受診した、生体情報を提示する装置である。提示装置４０は、具体的には、生体情報算出部１１５より得た心拍数やストレス指数、睡眠深度等の生体情報を提示する装置である。提示装置４０は、例えば、携帯端末３０により実現され、携帯端末３０のディスプレイ２０４に生体情報を示すグラフィックを表示してもよいし、携帯端末３０の図示しないスピーカから生体情報を示す音声を出力してもよい。
【０２１１】
なお、提示装置４０は、脈波計測装置１０にディスプレイが内蔵されている場合、当該ディスプレイによって実現してもよいし、脈波計測装置１０にスピーカが内蔵されている場合、当該スピーカによって実現してもよい。
【０２１２】
なお、提示装置４０は、生体情報算出部１１５より得た生体情報を提示するとしたが、これに限らない。提示装置４０は、例えば、常に、可視光光源１２１における光源の光量や、赤外光光源１２３における光源の光量を提示してもよい。また、提示装置４０は、相関度演算部１１３より、現在時点での一致度を、例えば、信頼度として％表示で提示してもよい。具体的には、提示装置４０は、可視光波形と赤外光波形との間の相関係数を提示してもよい。
【０２１３】
図２２は、提示装置への表示例を示す図である。図２２に示すように、提示装置４０は、心拍数、ストレス指数、睡眠深度、また、現在の信頼度（すなわち、可視光波形および赤外光波形の心拍間隔時間の相関係数）を示すグラフィックを表示する。また、提示装置４０は、現時点における可視光抗原および赤外光光源の光量の比も表示してもよい。また、提示装置４０は、これらのパラメータからユーザの睡眠状態がどのような状態なのかを心拍数、ストレス指数および睡眠深度の各数値と、睡眠状態とが予め対応付けられたテーブルを参照することで睡眠状態を判定し、判定した睡眠状態を表示してもよい。提示装置４０は、例えば、心拍数６５以下、ストレス指数４０以下、睡眠深度が７０以上だと「ＧＯＯＤ」と表示する。なお、提示装置４０は、上記の生体情報などの提示内容を、算出した直後に表示しなくてもよい。つまり、ユーザは、基本的に睡眠を行っているため、算出することにより得られた生体情報などの提示内容をすぐに提示するのではなく、例えば、記録（蓄積）しておき、ユーザが、例えば次の日の朝に、起きた時点で、当該提示内容を提示してもよい。これにより、ユーザは起きてすぐに、いい睡眠が取れたのかどうかを確認できる。
【０２１４】
［１−３．動作］
次に、本実施の形態に係る脈波計測装置１０の動作について説明する。図２３は、本実施の形態における脈波計測装置１０の処理の流れを示すフローチャートである。
【０２１５】
まず、可視光光源１２１は、ユーザが部屋に入室または、ユーザ自身がコントロールを制御することにより、起動する。可視光波形演算部１１１は、可視光光源１２１により可視光を照射されたユーザを可視光領域において撮像することにより得られた可視光画像を取得し、取得した可視光画像から、ユーザの脈波を示す波形である可視光波形を抽出する。可視光波形演算部１１１は、可視光波形において所定の特徴点である第１特徴点を複数抽出する。そして、可視光波形演算部１１１は、可視光波形の特徴量として、第１心拍間隔時間を算出する（Ｓ００１）。また、可視光波形演算部１１１は、この時の可視光波形の頂点から底点までの傾きを第１の傾きＡとしてメモリに記憶させる。
【０２１６】
次に、赤外光波形演算部１１２は、赤外光光源１２３により赤外光を照射されたユーザを赤外光領域において撮像することにより得られた赤外光画像を取得し、取得した赤外光画像から、ユーザの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部１１２は、赤外光波形において所定の特徴点である第２特徴点を複数抽出する。そして、赤外光波形演算部１１２は、赤外光波形の特徴量として、第２心拍間隔時間を算出する（Ｓ００２）。
【０２１７】
そして、相関度演算部１１３は、ピーク点の判定を行う（Ｓ００３）。具体的には、相関度演算部１１３は、可視光波形において抽出された第１特徴点について、過剰取得されたピーク点がないか否かを判定する。また、相関度演算部１１３は、赤外光波形において抽出された第２特徴点について、過剰取得されたピーク点がないか否かを判定する。なお、相関度演算部１１３によるピーク点の判定処理の詳細は、後述する。
【０２１８】
次に相関度演算部１１３は、可視光波形および赤外光波形の相関度を演算する（Ｓ００４）。なお、相関度演算部１１３による相関度の演算処理の詳細は、後述する。
【０２１９】
次に、光源制御部１１４は、各光源の光量の調整を行う（Ｓ００５）。光源制御部１１４は、光量の調整の結果に応じて、各光源の光量を制御するための制御信号を出力する。お、光源制御部１１４による光量の調整処理の詳細は、後述する。
【０２２０】
次に、生体情報算出部１１５は、可視光波形の特徴量および赤外光波形の特徴量の少なくとも一方から、生体情報を算出する（Ｓ００６）。
【０２２１】
次に、生体情報算出部１１５は、算出した生体情報を提示装置４０へ出力する（Ｓ００７）。
【０２２２】
図２４は、本実施の形態におけるピーク点の過剰取得判定処理の詳細を示すフローチャートである。
【０２２３】
相関度演算部１１３は、第１心拍間隔時間の標準偏差ＳＤＲＧＢを算出する（Ｓ１０１）。
【０２２４】
次に、相関度演算部１１３は、標準偏差ＳＤＲＧＢが第４の閾値以下であるか否かを判定する（Ｓ１０２）。
【０２２５】
相関度演算部１１３は、標準偏差ＳＤＲＧＢが第４の閾値以下であると判定した場合（Ｓ１０２でＹｅｓ）、第２心拍間隔時間の標準偏差ＳＤＩＲを算出する（Ｓ１０３）。
【０２２６】
そして、相関度演算部１１３は、標準偏差ＳＤＩＲが第４の閾値以下であるか否かを判定する（Ｓ１０４）。
【０２２７】
このように、相関度演算部１１３は、ステップＳ１０２およびステップＳ１０４の少なくとも一方を行うことで、算出した標準偏差ＳＤＲＧＢが第４の閾値を超えており、かつ、算出した標準偏差ＳＤＩＲが前記第４の閾値を超えているか否かを判定する第２判定を行う。
【０２２８】
相関度演算部１１３は、標準偏差ＳＤＩＲが第４の閾値以下であると判定した場合（Ｓ１０４でＹｅｓ）、「Ｆａｌｓｅ」の信号を光源制御部１１４に送信する（Ｓ１０５）。
【０２２９】
一方で、相関度演算部１１３は、標準偏差ＳＤＲＧＢが第４の閾値を超えると判定した場合（Ｓ１０２でＮｏ）、または、標準偏差ＳＤＩＲが第４の閾値を超えると判定した場合（Ｓ１０４でＮｏ）、対応する第１心拍間隔時間と第２心拍間隔時間との間の絶対誤差ｅを算出する（Ｓ１０６）。
【０２３０】
相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕より小さいか否かを判定する（Ｓ１０７）。
【０２３１】
相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕より小さいと判定した場合（Ｓ１０７でＹｅｓ）、「Ｆａｌｓｅ，ＲＧＢ」の信号を光源制御部１１４に送信する（Ｓ１０９）。
【０２３２】
一方で、相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕以上であると判定した場合（Ｓ１０７でＮｏ）、絶対誤差ｅが２００〔ｍｓ〕より大きいか否かを判定する（Ｓ１０８）。
【０２３３】
つまり、相関度演算部１１３は、第２判定の結果、標準偏差ＳＤＲＧＢが第４の閾値を超えており、かつ、標準偏差ＳＤＩＲが第４の閾値を超えていると判定した場合、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の絶対誤差ｅ（時間差）が第５の閾値未満であるか否かの第３判定、および、第５の閾値よりも大きい第６の閾値より時間差が大きいか否かの第４判定を行う。
【０２３４】
相関度演算部１１３は、絶対誤差ｅが２００〔ｍｓ〕より大きいと判定した場合（Ｓ１０８でＹｅｓ）、「Ｆａｌｓｅ，ＩＲ」の信号を光源制御部１１４に送信する（Ｓ１１０）。
【０２３５】
相関度演算部１１３は、絶対誤差ｅが２００〔ｍｓ〕以下であると判定した場合（Ｓ１０８でＮｏ）、「Ｆａｌｓｅ，Ｂｏｔｈ」の信号を光源制御部１１４に送信する（Ｓ１１１）。
【０２３６】
図２５は、本実施の形態における相関度の演算処理の詳細を示すフローチャートである。
【０２３７】
まず、相関度演算部１１３は、複数の第１心拍間隔時間と複数の第２心拍間隔時間との相関度を演算する（Ｓ２０１）。
【０２３８】
相関度演算部１１３は、演算することにより得られた相関度が第２の閾値より大きいか否かを判定する（Ｓ２０２）。つまり、相関度演算部１１３は、演算した相関度が第２の閾値以上であるか否かを判定する第１判定を行う。
【０２３９】
相関度演算部１１３は、相関度が第２の閾値より大きいと判定した場合（Ｓ２０２でＹｅｓ）、「Ｔｒｕｅ」の信号を光源制御部１１４に送信する（Ｓ２０３）。
【０２４０】
一方で、相関度演算部１１３は、相関度が第２の閾値以下で有ると判定した場合（Ｓ２０２でＮｏ）、「Ｆａｌｓｅ」の信号を光源制御部１１４に送信する（Ｓ２０４）。
【０２４１】
図２６は、本実施の形態における光量の調整処理の詳細を示すフローチャートである。
【０２４２】
光源制御部１１４は、相関度演算部１１３から受信した信号が、「Ｔｒｕｅ」、「Ｆａｌｓｅ」、「Ｆａｌｓｅ，ＩＲ」、「Ｆａｌｓｅ，ＲＧＢ」および「Ｆａｌｓｅ，Ｂｏｔｈ」の信号のいずれの信号であるかを判定する（Ｓ３０１）。
【０２４３】
光源制御部１１４は、受信した信号が「Ｔｒｕｅ」の信号である場合、可視光の光量を減少させ、かつ、赤外光の光量を増加させる（Ｓ３０２）。
【０２４４】
光源制御部１１４は、受信した信号が「Ｆａｌｓｅ」または「Ｆａｌｓｅ，ＩＲ」の信号である場合、赤外光の光量のみを増加させる（Ｓ３０３）。つまり、光源制御部１１４は、絶対誤差ｅが第６の閾値より大きいと相関度演算部１１３により判定された場合、「Ｆａｌｓｅ，ＩＲ」の信号を受信するため、赤外光光源１２３における赤外光の光量を増加させる制御信号を第２制御信号として赤外光光源１２３に出力する。
【０２４５】
光源制御部１１４は、ステップＳ３０２またはステップＳ３０３において、赤外光の光量を増加させた場合、赤外光波形の第２の傾きがメモリに記憶している第１の傾きＡに等しいか否かを判定する（Ｓ３０４）。
【０２４６】
光源制御部１１４は、第２の傾きが第１の傾きに等しいと判定すれば（Ｓ３０４でＹｅｓ）、光量の調整処理を終了する。
【０２４７】
光源制御部１１４は、受信した信号が「Ｆａｌｓｅ，ＲＧＢ」である場合、標準偏差ＳＤＩＲが第４の閾値以下であるか否かを判定する（Ｓ３０５）。つまり、光源制御部１１４は、絶対誤差ｅが第５の閾値よりも小さいと相関度演算部１１３により判定された場合、標準偏差ＳＤＩＲが第４の閾値以下であるか否かを判定する第５判定を行う。
【０２４８】
光源制御部１１４は、標準偏差ＳＤＩＲが第４の閾値以下であると判定した場合（Ｓ３０５でＹｅｓ）、ステップＳ３０２の処理を行う。つまり、光源制御部１１４は、標準偏差ＳＤＩＲが第４の閾値以下であると相関度演算部１１３により判定された場合、可視光光源１２１における可視光の光量を減少させる第１制御信号を可視光光源１２１に出力し、かつ、赤外光光源１２３における赤外光の光量を増加させる第２制御信号を赤外光光源１２３に出力する。
【０２４９】
光源制御部１１４は、受信した信号が「Ｆａｌｓｅ，Ｂｏｔｈ」である場合、または、標準偏差ＳＤＩＲが第４の閾値より大きいと判定した場合（Ｓ３０５でＮｏ）、可視光の光量を増加させて初期の光量に戻し、かつ、赤外光の光量を減少させ赤外光光源１２３をＯＦＦにする（Ｓ３０６）。つまり、光源制御部１１４は、絶対誤差ｅが第５の閾値以上第６の閾値以下であると相関度演算部１１３により判定された場合、「Ｆａｌｓｅ，Ｂｏｔｈ」の信号を受信するため、可視光光源１２１における可視光の光量を増加させる制御信号を第１制御信号として可視光光源１２１に出力し、かつ、赤外光光源１２３における赤外光の光量を減少させる制御信号を第２制御信号として赤外光光源１２３に出力する。または、光源制御部１１４は、標準偏差ＳＤＩＲが第４の閾値より大きいと相関度演算部１１３により判定された場合、可視光光源１２１における可視光の光量を増加させる制御信号を第１制御信号として可視光光源１２１に出力し、かつ、赤外光光源１２３における赤外光の光量を減少させる制御信号を第２制御信号として赤外光光源１２３に出力する。
【０２５０】
光源制御部１１４は、ステップＳ３０４において第２の傾きが第１の傾きＡと異なると判定した場合（Ｓ３０４でＮｏ）またはステップＳ３０６が終了した場合、ステップＳ００１に戻る。つまり、脈波計測装置１０は、この場合、可視光光源１２１における可視光の光量、および、赤外光光源１２３における赤外線の光量の変更を行ってもステップＳ３０４の判定条件を満たさない場合、ステップＳ００１に戻り、可視光画像の取得、赤外光画像の取得、可視光波形の抽出、赤外光波形の抽出、および、相関度の演算を繰り返し、繰り返し行われた相関度の演算の結果に応じて、第１制御信号の出力、および、第２制御信号の出力を行う。つまり、可視光画像の取得、赤外光画像の取得、可視光波形の抽出、赤外光波形の抽出、相関度の演算、第１制御信号の出力、および、第２制御信号の出力は、ステップＳ３０４の判定条件を満たすまで繰り返し行われる。なお、２回目以降の処理で繰り返し取得された可視光画像を第２可視光画像とし、２回目以降の処理で繰り返し取得された赤外光画像を第２赤外光画像とし、２回目以降の処理で繰り返し抽出された可視光波形を第２可視光波形とし、２回目以降の処理で繰り返し抽出された赤外光波形を第２赤外光波形とする。
【０２５１】
例えば、第１可視光画像は、第１制御信号または第３制御信号が出力される前に可視光撮像部１２２により撮像された可視光画像であり、第２可視光画像は、第１制御信号または第３制御信号が出力された後に可視光撮像部１２２により撮像された可視光画像である。また、第１赤外光画像は、第２制御信号または第４制御信号が出力される前に赤外光撮像部１２４により撮像された赤外光画像であり、第２赤外光画像は、第２制御信号または第４制御信号が出力された後に赤外光撮像部１２４により撮像された赤外光画像である。
【０２５２】
［１−４．効果など］
本実施の形態に係る脈波計測装置１０によれば、ユーザの脈波が撮像された可視光画像から得られた可視光波形と、同一の脈波が撮像された赤外光画像赤外光波形から得られた赤外光波形との相関度を演算し、相関度に応じて赤外光光源が発する赤外光の光量を制御する。このため、赤外光光量の調整を適切に行うことができ、睡眠中などの暗闇状態であっても、ユーザの生体情報を取得することができる。これにより、人に接触する生体センサを設けることなく、非接触での睡眠時の生体モニタリング等が可能になる。
【０２５３】
また、脈波計測装置１０によれば、相関度演算部１１３は、可視光波形から算出した第１心拍間隔時間と、赤外光波形から算出した第２心拍間隔時間とを比較することで、相関度を演算する。このため、可視光波形と赤外光波形との間の相関度を容易に演算できる。
【０２５４】
また、脈波計測装置１０によれば、赤外光光源の光量を調整した後の赤外光波形における第２の傾きとメモリに記憶している第１の傾きＡとを比較するため、赤外光光源の光量が適切な光量になったか否かを判定できる。
【０２５５】
また、脈波計測装置１０によれば、絶対誤差ｅが第３の閾値を超えている場合、第３の閾値を超えていると判定された第１心拍間隔時間および第２心拍間隔時間のうち、所定の特徴点が多い方の波形における心拍間隔時間の演算の基準となった所定の特徴点を当該心拍間隔時間の演算対象から除外する。このため、過剰に取得されたピーク点を削除することができ、適切な値の第１心拍間隔時間または第２心拍間隔時間を求めることができる。
【０２５６】
また、脈波計測装置１０によれば、演算した相関度と、可視光波形および赤外光波形からの所定の特徴点の抽出結果とに応じて、可視光光源および赤外光光源における光量をそれぞれ、増加させるか、減少させるか、維持するかのいずれかに決定し、決定結果に応じた制御信号を可視光光源および赤外光光源に出力する。これにより、適切に可視光光源および赤外光光源の光量を調整することができる。
【０２５７】
また、脈波計測装置１０によれば、制御信号により可視光光源１２１または赤外光光源１２３の光量を制御している間において取得された可視光波形または赤外光波形から所定の特徴点を抽出しない。このため、所定の特徴点を適切に抽出でき、精度よく生体情報を算出できる。
【０２５８】
また、脈波計測装置１０によれば、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、可視光光源１２１における可視光の光量を制御する制御信号、または、赤外光光源における赤外光の光量を制御する制御信号の出力を待機する。このため、所定の特徴点を適切に抽出でき、精度よく生体情報を算出できる。
【０２５９】
［１−５．変形例］
上記実施の形態では、特に言及していないが、可視光光源１２１は、光量０から起動する場合、光量をあらかじめ設定した初期値になるように制御してもよい。これにより、ユーザが好みの照度、または、ユーザによって、脈波が取得しやすい照度があった場合、すぐにその状態にすることができる。
【０２６０】
また、可視光波形演算部１１１により、可視光波形が取得でき、かつ、可視光波形の頂点−底点間の傾きが最も大きかった時の、可視光光源１２１の光量を記録し、ユーザが部屋に入るたびに、可視光光源１２１の光量が記録した値になるように制御してもよい。
【０２６１】
また、本実施の形態における可視光光源１２１は、固定された状態、例えば、蛍光灯や白色ＬＥＤにより実現されるとしたが、これに限るものではない。例えば、可視光光源１２１は、照射する光量だけでなく、光を照射する方向および撮像する方向を変更できるよう、駆動部を有する構成としてもよい。図２７にその例を示す。
【０２６２】
図２７は、変形例に係る脈波計測装置１０Ａの特徴を説明するための図である。図２７の（ａ）は、脈波計測装置１０ＡとユーザＵとの側方から見た図である。図２７の（ｂ）は、脈波計測装置１０ＡおよびユーザＵを天井側から見た図である。図２７の（ｃ）は、脈波計測装置１０Ａの光源による光がユーザＵの顔に照射された場合の可視光波形または赤外光波形を示す図である。図２７の（ｄ）は、脈波計測装置１０Ａの光源による光が布団の表面（ユーザＵの肌を除く部分）に照射された場合の可視光波形または赤外光波形を示す図である。
【０２６３】
図２７の（ａ）および（ｂ）に示すように、脈波計測装置１０Ａは、天井に沿った方向を軸として、可視光または赤外光を照射する方向を、駆動部２５を駆動させることで変更できる。これにより、例えば、図２７の（ｂ）に示すように、顔より身体側の部分（つまり布団の表面）に光を照射している状態から、駆動部２５を駆動させることで、ユーザＵの顔に光の照射範囲および撮像範囲を変えることで、可視光波形および赤外光波形の特徴量を精度よく取得できる。なお、この光を照射部位および撮像部位の特定方法として、例えば、撮像された画像において顔認識を行うことで、ユーザＵの顔の位置を特定し、特定した顔のうちの例えば頬を狙って光を照射するように脈波計測装置１０Ａの角度を駆動部２５を駆動させることにより調整してもよい。
【０２６４】
なお、駆動部２５は、図２７の（ａ）および（ｂ）に示すように、脈波計測装置１０Ａの上側に装着されており、モータを備える。そして、ユーザが携帯端末３０などのコントローラを用いてモータを制御するための制御信号を脈波計測装置１０に送信することで、例えば、ユーザの身長方向に脈波計測装置１０の角度を変化させることができるので、縦方向の照射位置の大きなずれに対して対応することができる。また、脈波計測装置１０は、顔認識の結果に応じて、モータを制御し、顔を撮像するように制御してもよい。
【０２６５】
なお、図２７の例では、ユーザの身長方向（ユーザが横たわっている状態でのユーザの上下方向）のみの角度制御としたが、これに限ったものではない。例えば、ユーザの横方向（ユーザが横たわっている状態でのユーザの左右方向）においての角度が制御できるようにしてもよい。これにより、より広範囲な微調整ができるようになり、例えば、ユーザによって、寝る方向、寝る位置が異なっても、ユーザの顔を特定し、脈波を取得することができる。
【０２６６】
この場合、可視光光源１２１の照射方向により、脈波が取得できない場合があるため、光源制御部１１４において、可視光の光量が所定の閾値を超えているかつ、可視光波形演算部１１１において、脈波の特徴量が取得できていない場合、可視光撮像部１２２で得られた画像に対し顔認識プログラムを用いてユーザの顔を特定し、顔の方向に光の照射方向を変更してもよい。さらにその時、顔全体に光を照射した場合、強い光がユーザの目に入ってしまうため、例えば、可視光光源１２１をレーザー光のように、場所を絞って照射できる光源の場合、目を認識し、目の下の頬周辺に光を絞ってもよい。
【０２６７】
また、上記実施の形態では特に言及していないが、赤外光は、人の目に照射し続けると、視力が下がる可能性がある。このため、赤外光光源１２３は、ユーザの顔のうちで、人の目を除く領域にＲＯＩを限定して、赤外光を照射してもよい。赤外光光源１２３は、例えば、ユーザの顔に光を照射する場合、特に頬において脈波が取得しやすい。このため、光源制御部１１４は、例えばユーザの目の下の部分を特定し、当該部分のみに向けて赤外光光源１２３に赤外光を照射させてもよい。光源制御部１１４は、例えば、赤外光撮像部１２４により撮像された画像を解析することでユーザの顔認識を行い、顔認識の結果を用いて、ユーザの目の下の部分を特定する。また、光源制御部１１４は、赤外光光源１２３から照射されている赤外光のパワーが所定の閾値以上であり、かつ、所定の時間以上経っている場合、赤外光の光量を所定の光量未満に抑えるように赤外光光源１２３の光量を調整してもよい。また、前述したように、赤外光の場合、ユーザの視力に影響を及ぼすため、ユーザの顔認識から頬の場所を特定し、ユーザの頬のみに赤外光が照射するように、照射領域を絞ってもよい。
【０２６８】
また、上記実施の形態では、脈波計測装置１０における脈波演算装置１００は、脈波計測装置１０に内蔵されているが、これに限らない。例えば、脈波演算装置１００は、外部のサーバ装置として実現されてもよいし、携帯端末３０により実現されてもよいし、ＰＣなどの情報端末により実現されてもよい。つまり、この場合、可視光撮像部１２２および赤外光撮像部１２４から撮像された画像を取得でき、かつ、可視光光源１２１および赤外光光源１２３の光量を制御できる構成であれば、脈波演算装置１００は、どの装置により実現されてもよい。
【０２６９】
また、脈波計測装置等に含まれる各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。つまり、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。
【０２７０】
また、各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の表示制御方法などを実現するソフトウェアは、次のようなプログラムである。
【０２７１】
すなわち、このプログラムは、コンピュータに、プロセッサおよびメモリを備える脈波計測装置が実行する脈波計測方法であって、可視光光源により可視光を照射されたユーザを可視光領域において撮像することにより得られた可視光画像を取得し、赤外光光源により赤外光を照射されたユーザを赤外光領域において撮像することにより得られた赤外光画像を取得し、取得した前記可視光画像から、前記ユーザの脈波を示す波形である可視光波形を抽出し、取得した前記赤外光画像から、前記ユーザの脈波を示す波形である赤外光波形を抽出し、抽出した前記可視光波形と、抽出した前記赤外光波形との間の相関度を演算し、演算した前記相関度に応じて、前記赤外光光源が発する赤外光の光量を制御する制御信号を前記赤外光光源に出力し、前記可視光波形の特徴量および前記赤外光波形の特徴量の少なくとも一方から、生体情報を算出し、算出した前記生体情報を出力する脈波計測方法を実行させる。
【０２７２】
以上、一つまたは複数の態様に係る脈波計測装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【０２７３】
例えば、上記実施の形態において、特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
【産業上の利用可能性】
【０２７４】
本開示は、精度よく生体情報を算出できる脈波計測装置などとして有用である。
【符号の説明】
【０２７５】
１０、１０Ａ    脈波計測装置
２０    筐体
２１    可視光ＬＥＤ
２２    可視光カメラ
２３    赤外光ＬＥＤ
２４    赤外光カメラ
２５    駆動部
３０    携帯端末
４０    提示装置
１００    脈波演算装置
１０１    ＣＰＵ
１０２    メインメモリ
１０３    ストレージ
１０４    通信ＩＦ
１１１    可視光波形演算部
１１２    赤外光波形演算部
１１３    相関度演算部
１１４    光源制御部
１１５    生体情報算出部
１２１    可視光光源
１２２    可視光撮像部
１２３    赤外光光源
１２４    赤外光撮像部
２０１    ＣＰＵ
２０２    メインメモリ
２０３    ストレージ
２０４    ディスプレイ
２０５    通信ＩＦ
２０６    入力ＩＦ
【図１】
2018033931.tif 000011
【図２】
2018033931.tif 000012
【図３】
2018033931.tif 000013
【図４】
2018033931.tif 000014
【図５】
2018033931.tif 000015
【図６】
2018033931.tif 000016
【図７】
2018033931.tif 000017
【図８】
2018033931.tif 000018
【図９】
2018033931.tif 000019
【図１０】
2018033931.tif 000020
【図１１】
2018033931.tif 000021
【図１２】
2018033931.tif 000022
【図１３】
2018033931.tif 000023
【図１４】
2018033931.tif 000024
【図１５】
2018033931.tif 000025
【図１６】
2018033931.tif 000026
【図１７】
2018033931.tif 000027
【図１８】
2018033931.tif 000028
【図１９】
2018033931.tif 000029
【図２０】
2018033931.tif 000030
【図２１】
2018033931.tif 000031
【図２２】
2018033931.tif 000032
【図２３】
2018033931.tif 000033
【図２４】
2018033931.tif 000034
【図２５】
2018033931.tif 000035
【図２６】
2018033931.tif 000036
【図２７】
2018033931.tif 000037