(57)【要約】【課題】生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システムを提供する。【解決手段】計測システム１００は、光源２０と、撮像装置１０と、情報処理装置３０とを備える。被験体１の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材４０が配置され、光源から被験体に向けて光が放射されたときにおいて、情報処理装置は、撮像装置から動画像を受け取り、複数のフレーム画像のうち少なくとも１つのフレーム画像における反射パターンの座標位置を算出し、かつ、複数の分割領域を座標位置に基づいて各フレーム画像内に設定し、分割領域毎に生成した呼吸波形に基づいて被験体の呼吸に起因する生体活動を計測する。【選択図】図１
2017055949.tif 000002
【特許請求の範囲】
【請求項１】
光源から放射される光を受けた撮像装置によって生成された被験体の動画像を利用して前記被験体の生体活動を計測する計測装置であって、
前記動画像を受け取る入力インタフェースと、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
を備え、
前記動画像は、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときに、複数の時刻において前記再帰性反射材で反射された前記光に基づく時系列の複数のフレーム画像から構成され、
前記画像処理回路は、
前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、
前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測装置。
【請求項２】
前記画像処理回路は、各分割領域の前記呼吸波形上の呼吸起点を特定するための指標を用いて前記被験体の呼吸に起因する生体活動を計測する、請求項１に記載の計測装置。
【請求項３】
前記画像処理回路は、前記複数のフレーム画像のうち２つのフレーム画像の間の画像変化を検出し、前記画像変化を検出したフレーム画像に関する呼吸波形を、前記被験体の呼吸に起因する生体活動の計測には使用しない、請求項２に記載の計測装置。
【請求項４】
前記画像処理回路は、分割領域毎の前記呼吸波形のノイズを除去するローパスフィルタまたはフィルタバンクを有し、
前記画像処理回路は、前記ローパスフィルタまたはフィルタバンクを通過した前記呼吸波形を数値微分することで、前記呼吸波形における時系列のｎ個（ｎは１以上の整数）の極小点を、呼吸の吸い込みまたは吐き出しの開始点を意味する前記呼吸起点の候補として特定する、請求項２または３に記載の計測装置。
【請求項５】
前記画像処理回路は、前記呼吸起点のｎ個の候補のうちのｉ番目（ｉは１からｎまでの整数）の第１候補と、前記第１候補よりも１つ前の極小点である第２候補とに着目し、
前記第１および第２候補の極小点の間の極大点と、前記第１候補の極小点と、の間の輝度値の差分を示すテイル側振幅、
前記極大点と前記第２候補の極小点との間の輝度値の差分を示すヘッド側振幅、
および前記テイル側振幅と前記ヘッド側振幅との比率を示すヘッドテイル比を含む前記指標を用いて、前記第１候補が前記呼吸起点であるかどうかを判定する、請求項４に記載の計測装置。
【請求項６】
前記画像処理回路は、所定期間にわたって前記ヘッドテイル比が略１となり、かつ、前記所定期間における前記テイル側振幅および前記ヘッド側振幅の平均値がそれぞれ大きいか、または分散がそれぞれ小さい分割領域を前記複数の分割領域から選択し、選択された分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測する、請求項５に記載の計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の映像から被験者の呼吸数等の、呼吸に起因する生体活動を計測するための技術に関する。なお、本明細書では、被験者は人であるとして説明するが、人以外の動物であってもよい。観測対象としての動物（人を含む。）を総称して「被験体」と呼ぶことがある。
【背景技術】
【０００２】
カメラで被験者を撮影し、その動画像から体動や血流などの生体反応による輝度値の変化を検出し、被験者の呼吸数、心拍数等の生体活動を計測する技術が知られている。被験者が写る画像領域は、観測者が予め指定したり、輪郭抽出技術を用いたりすることによって特定される。呼吸に起因する生体活動を計測する計測装置として、呼吸モニタリング装置や心拍数計測装置などがあり、例えば特許文献１および２がそのような装置を開示している。
【０００３】
特許文献１の呼吸モニタリング装置は、被験者を撮影した画像を局所領域に分割し、それぞれの局所領域の明度情報を解析する。そして、三種類のしきい値を用いて、被験者の胸部周辺の動きを観測しているのか、寝返りなどの非呼吸体動を観測しているかを判定する。
【０００４】
特許文献２の心拍数計測装置は、赤外線光源を搭載したカメラで被験者の顔面を撮影し、フレームごとの顔画像から、眉間の特定領域を抽出してその平均輝度を補正する。心拍数計測装置は、補正された平均輝度の時系列から補正輝度の時間的変化の波形を得て、この波形を心拍数に対応する周波数帯でフィルタリングすることで、被験者の心拍数を算出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２７６４４３号公報
【特許文献２】特開２０１１−１３０９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の呼吸モニタリング装置においては、非呼吸体動の判定に必要な適切なしきい値は、撮影環境に応じて大きく変動する。たとえば観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無、被撮影者以外の人や物の移動により、設定すべきしきい値は大きく変動し得る。そのため、適切なしきい値を求めることが困難となり、しきい値が不適切な場合は、呼吸などの生体情報を求めるための領域を算出することができない。
【０００７】
特許文献２の心拍数計測装置は、被験者の顔面を撮像範囲に捉えて撮影する必要がある。特許文献１と同様、照度の変化、人の動き、外部光の入射など撮影環境が変化すると、生体活動以外の原因で、被験者が写る画像領域の輝度値が大きく変化する。このような外乱ノイズが発生すると、生体反応に起因した体動個所を特定できず、生体情報が正確に抽出できないことがある。
【０００８】
また、カメラから被験者の顔面が離れると被験者の生体情報を取得する精度が落ちるので、比較的近距離から被験者の顔面を撮像し続けなければならない。その結果、被験者に圧迫感を与えてしまい、計測対象となる生体活動への影響が懸念される。
【０００９】
このように、従来の呼吸モニタリング装置および心拍数計測装置は、撮影環境の変化に対しロバストであるとは決して言えない。生体活動の計測装置には、撮影環境の変化に対するロバスト性のさらなる向上が求められていた。
【００１０】
本発明は、上記課題を解決するためになされたものであって、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システム（以下、単に「計測システム」と称する。）を提供する。
【課題を解決するための手段】
【００１１】
本発明の実施形態による計測装置は、光源から放射される光を受けた撮像装置によって生成された被験体の動画像を利用して前記被験体の生体活動を計測する計測装置であって、前記動画像を受け取る入力インタフェースと、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備え、前記動画像は、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときに、複数の時刻において前記再帰性反射材で反射された前記光に基づく時系列の複数のフレーム画像から構成され、前記画像処理回路は、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する。
【００１２】
ある実施形態において、前記画像処理回路は、各分割領域の前記呼吸波形上の呼吸起点を特定するための指標を用いて前記被験体の呼吸に起因する生体活動を計測する。
【００１３】
ある実施形態において、前記画像処理回路は、前記複数のフレーム画像のうち２つのフレーム画像の間の画像変化を検出し、前記画像変化を検出したフレーム画像に関する呼吸波形を、前記被験体の呼吸に起因する生体活動の計測には使用しなくてもよい。
【００１４】
ある実施形態において、前記画像処理回路は、所定期間において、各分割領域の平均輝度が前記反射パターンの領域内の平均輝度よりも低く、かつ、前記反射マーカの外側の領域の平均輝度よりも高くなるように、前記複数の分割領域を設定してもよい。
【００１５】
ある実施形態において、前記画像処理回路は、前記各分割領域のサイズを変更しながら、所定期間における各分割領域の輝度値の、少なくとも最大値、最小値および平均が所定の条件を満足するまで、前記複数の分割領域を設定してもよい。
【００１６】
ある実施形態において、前記画像処理回路は、分割領域毎の前記呼吸波形のノイズを除去するローパスフィルタまたはフィルタバンクを有していてもよい。
【００１７】
ある実施形態において、前記画像処理回路は、前記ローパスフィルタまたはフィルタバンクを通過した前記呼吸波形を数値微分することで、前記呼吸波形における時系列のｎ個（ｎは１以上の整数）の極小点を、呼吸の吸い込みまたは吐き出しの開始点を意味する前記呼吸起点の候補として特定してもよい。
【００１８】
ある実施形態において、前記画像処理回路は、前記呼吸起点のｎ個の候補のうちのｉ番目（ｉは１からｎまでの整数）の第１候補と、前記第１候補よりも１つ前の極小点である第２候補とに着目し、前記第１および第２候補の極小点の間の極大点と、前記第１候補の極小点と、の間の輝度値の差分を示すテイル側振幅、前記極大点と前記第２候補の極小点との間の輝度値の差分を示すヘッド側振幅、および前記テイル側振幅と前記ヘッド側振幅との比率を示すヘッドテイル比を含む前記指標を用いて、前記第１候補が前記呼吸起点であるかどうかを判定してもよい。
【００１９】
ある実施形態において、前記画像処理回路は、前記テイル側振幅が第１しきい値以上であり、前記ヘッド側振幅が第２しきい値以上であり、かつ、前記ヘッドテイル比が略１に等しい場合、前記第１候補を前記呼吸起点と判定してもよい。
【００２０】
ある実施形態において、前記画像処理回路は、前記呼吸波形の前記呼吸起点の候補に応じた数だけ、前記第１候補が前記呼吸起点であるかどうかを判定してもよい。
【００２１】
ある実施形態において、前記画像処理回路は、前記ローパスフィルタまたはフィルタバンクを通過した前記呼吸波形を用いて、前記呼吸波形の中で最小となる輝度値を下限値として設定し、かつ、前記下限値に振幅加算値を加算して呼吸起点のしきい値を前記指標として算出し、前記呼吸起点のしきい値を基準として、前記呼吸起点を判定してもよい。
【００２２】
ある実施形態において、前記画像処理回路は、前記呼吸起点のしきい値を更新期間毎に更新してもよい。
【００２３】
ある実施形態において、前記画像処理回路は、輝度値と前記呼吸起点のしきい値との差分の正負の符号が同一の方向に変化する前記呼吸波形上の隣接した２つの呼吸起点の間にある極小点を特定し、第１極小点と、前記第１極小点よりも時系列的に１つ前の第２極小点とに着目して、前記第１極および第２極小点の間の極大点と、前記第１極小点と、の間の輝度値の差分を示すテイル側振幅、前記極大点と前記第２極小点との間の輝度値の差分を示すヘッド側振幅、および前記テイル側振幅と前記ヘッド側振幅との比率を示すヘッドテイル比を含む前記指標を演算してもよい。
【００２４】
ある実施形態において、前記画像処理回路は、分割領域毎の前記呼吸波形および前記指標に基づいて前記複数の分割領域から分割領域を選択し、選択された分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測してもよい。
【００２５】
ある実施形態において、前記画像処理回路は、所定期間にわたって前記ヘッドテイル比が略１となり、かつ、前記所定期間における前記テイル側振幅および前記ヘッド側振幅の平均値がそれぞれ大きいか、または分散がそれぞれ小さい分割領域を前記複数の分割領域から選択し、選択された分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測してもよい。
【００２６】
ある実施形態において、前記画像処理回路は、所定期間にわたって前記ヘッドテイル比の平均値が第３しきい値以上になる分割領域の候補を前記複数の分割領域から選択し、前記分割領域の候補のうち、前記所定期間において前記テイル側振幅および前記ヘッド側振幅の平均値がそれぞれ最大となる分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測してもよい。
【００２７】
ある実施形態において、前記画像処理回路は、過去のデータほど重みが小さくなる重み付けによって前記ヘッドテイル比の加重平均値を算出し、前記加重平均が前記第３しきい値以上になる前記分割領域の候補を選択してもよい。
【００２８】
ある実施形態において、前記計測装置は、前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、および前記動画像を表示してもよい。
【００２９】
本発明の実施形態による計測システムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置は、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する。
【００３０】
本発明の実施形態による計測方法は、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムを用いて、前記被験体の呼吸に起因する生体活動を計測する方法であって、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材を配置するステップと、前記光源が、前記光で前記被験体を照射するステップと、前記撮像装置が、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップと、前記画像処理回路が、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、前記画像処理回路が、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、を包含する。
【００３１】
本発明の実施形態によるコンピュータプログラムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、前記被験体の呼吸に伴う体動の発生位置に、反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、を包含する。
【発明の効果】
【００３２】
本発明の一実施形態によれば、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システムが提供される。
【図面の簡単な説明】
【００３３】
【図１】第１の実施形態による計測システム１００の構成図である。
【図２】第１の実施形態による情報処理装置３０のハードウェア構成図である。
【図３】第１の実施形態による計測システム１００で行われる計測処理の手順を示すフローチャートである。
【図４】再帰性反射材４０を装着した被験者１を撮影したフレーム画像１０２を示す模式図である。
【図５】再帰性反射材４０を装着しない被験者を撮影したフレーム画像１０６を示す模式図である。
【図６】反射マーカとして機能する再帰性反射材４０の反射パターンの一例示す模式図である。
【図７】被験者１以外の人物や被験者１の体動の影響を受けて呼吸波形に変化が生じる様子を示す模式図である。
【図８】被験者１とカメラ１０との位置関係によって、異なる領域Ａ、ＢおよびＣの間で各領域から取得された呼吸波形が異なる様子を示す模式図である。
【図９Ａ】分割領域５１が適切に設定された場合の呼吸波形を示すグラフである。
【図９Ｂ】分割領域５１が適切に設定されなかった場合の呼吸波形を示すグラフである。
【図１０】複数の分割領域５１の設定の手順を示すフローチャートである。
【図１１】数値微分によって呼吸起点を判定する手順を示すフローチャートである。
【図１２】呼吸波形において特定の呼吸起点が複数の呼吸起点の候補から決定される様子を示す模式図である。
【図１３】呼吸波形における、テイルポイント、ヘッドポイント、マックスポイント、テイル側振幅、およびヘッド側振幅をそれぞれ示す模式図である。
【図１４】最適な分割領域５１を選択する処理の手順を示すフローチャートである。
【図１５】呼吸数の計測に用いられる呼吸起点および呼吸周期（ｓ）を呼吸波形上にそれぞれ示した模式図である。
【図１６】ディスプレイ３２に表示された表示内容を例示する模式図である。
【図１７】呼吸起点のしきい値を用いて呼吸起点を判定する手順を示すフローチャートである。
【図１８】ある分割領域５１の呼吸波形を示す模式図である。
【図１９】所定期間毎に呼吸起点のしきい値が更新される様子を示す模式図である。
【発明を実施するための形態】
【００３４】
本発明の実施形態による計測システムは、光を放射する光源と、光を受けて動画像を生成する撮像装置と、動画像を利用して被験者の生体活動を計測する画像処理回路とを備える。光源には赤外線光源が好適に用いられる。被験者の呼吸に伴う体動の発生位置（例えば胸部の位置）に反射パターンを有する再帰性反射材が配置され、光源から被験者に向けて光が放射されたときにおいて、撮像装置は、再帰性反射材で反射された光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される動画像を生成する。画像処理回路は、撮像装置から動画像を受け取り、複数のフレーム画像のうち少なくとも１つのフレーム画像における反射パターンの座標位置を算出し、かつ、各フレーム画像内で、反射パターンの領域の少なくとも一部を囲む複数の分割領域を反射パターンの座標位置に基づいて設定する。画像処理回路は、各分割領域において、複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、各分割領域の呼吸波形に基づいて被験者の呼吸に起因する生体活動を計測する。
【００３５】
本発明の実施形態による計測システムによると、種々の手法を用いて、計測に最も相応しい分割領域を複数の分割領域から選択し、その分割領域の呼吸波形に基づいて、被験者の呼吸に起因する生体活動を計測することが可能になる。
【００３６】
計測システム１００は、呼吸起点を呼吸波形上で特定する。呼吸起点は、被験者の呼吸に起因する生体活動を計測するために用いられる。本実施形態においては、呼吸起点は、呼吸の吸い込みまたは吐き出しの開始点を意味する。本明細書においては、呼吸起点に基づいて主として呼吸数を計測する例を説明する。しかしながら、呼吸数は被験者の呼吸に起因する生体活動の一例であり、被験者の呼吸に起因する他の生体活動を計測してもよい。計測システムは、被験者の呼吸動作を計測し、呼吸による体動から呼吸に起因する波形（呼吸波形に相当する波形である。）を導出する。典型的には、その波形を利用して評価可能な他の生体活動、たとえば、呼吸の深さ、乱れ、無呼吸期間、無呼吸期間が発生する頻度などの生体活動は、本明細書において、計測対象である生体活動の範疇である。計測システムは、呼吸数および呼吸数のトレンドなどをディスプレイ上に表示することができる。
【００３７】
以下、添付の図面を参照しながら、本発明の実施形態による計測システムおよび計測方法を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。なお、本発明の実施形態による計測システムおよび計測方法は、以下で例示するものに限られない。例えば、一の実施形態と、他の実施形態とを組み合わせることも可能である。
【００３８】
（第１の実施形態）
図１は、本実施形態による計測システム１００の構成を模式的に示す。計測システム１００は、カメラ１０と、光源２０と、情報処理装置３０と、再帰性反射材４０とを含む。図１には被験者１が示されているが、被験者１は計測システム１００に含まれない。
【００３９】
計測システム１００は、被験者１の生体活動を観察するために利用される。本実施形態では、生体活動は被験者１の呼吸であるとし、計測システム１００は所定期間内の呼吸数を計測する。
【００４０】
カメラ１０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサおよび光学系を有する、いわゆる撮像装置であり、被験者１を撮影して動画像を生成する。カメラ１０は、有線または無線で動画像のデータを情報処理装置３０に送る。
【００４１】
光源２０は光２０ａを放射する光源である。光は可視光であってもよく、不可視光（例えば赤外光）であってもよい。本実施形態では、赤外光を例に挙げて説明する。以下では、光２０ａを「赤外光２０ａ」と記述する。
【００４２】
情報処理装置３０は、カメラ１０から動画像を受け取り、後述するような手法を用いて呼吸波形における呼吸起点を特定し、呼吸起点に基づいて被験者１の呼吸数を計測する。情報処理装置３０の動作の詳細は後述する。
【００４３】
再帰性反射材４０は、入射してきた光を、その入射方向に向けて反射する光学特性を有する反射材である。つまり、再帰性反射材４０に入射する光の入射角と、再帰性反射材４０によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には一部の入射方向とは異なる方向に反射され得る。本実施形態では、光源２０の光軸とカメラ１０の光軸とを近接して配置させている。これにより、光源２０から放射された赤外光２０ａは再帰性反射材４０に反射され、その多くが赤外光２０ｂとしてカメラ１０に入射する。よって、カメラ１０は十分な光量で被験者１を撮影することができる。例えば再帰性反射材４０として、ガラスビーズを塗布した布を用いることができる。
【００４４】
なお、再帰性反射材４０を設けることにより、再帰性反射材４０に入射した外乱光２１ａは、反射光２１ｂとしてその入射方向に反射される。反射光２１ｂは実質的にカメラ１０に入射しないので、カメラ１０によって撮影される動画像は外乱光の影響を受けにくくなる。
【００４５】
図２は、計測システム１００の、主として情報処理装置３０のハードウェア構成の例を示す。本実施形態では、情報処理装置３０は、カメラ１０とディスプレイ３２とに電気的に接続されている。情報処理装置３０は、カメラ１０から、撮影された動画像のデータを受け取る。またディスプレイ３２は、処理の結果であり、被験者１の生体活動である呼吸数の計測結果および呼吸数のトレンドなどを表示する。情報処理装置３０は、カメラ１０の撮影方向が適切でないと測定結果に基づいて判断した場合には、ディスプレイ３２に警告を表示してもよい。
【００４６】
情報処理装置３０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ハードディスクドライブ（ＨＤＤ）３０４と、インタフェース（Ｉ／Ｆ）３０５と、画像処理回路３０６とを有する。ＣＰＵ３０１は情報処理装置３０の動作を制御する。ＲＯＭ３０２は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理をＣＰＵ３０１または画像処理回路３０６に行わせるための命令群である。ＲＡＭ３０３は、ＣＰＵ３０１による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。ＨＤＤ３０４は、カメラ１０から受信した動画像のデータ、または計測された被験者１の呼吸数のデータを格納する記憶装置である。
【００４７】
Ｉ／Ｆ３０５は、情報処理装置３０がカメラ１０から動画像のデータを受け取るためのインタフェースである。情報処理装置３０が有線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばイーサネット（登録商標）端子であり得る。情報処理装置３０が無線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばＷｉ−Ｆｉ（登録商標）規格に準拠した通信を行う送受信回路であり得る。またはＩ／Ｆ３０５は、有線の映像入力端子であってもよい。
【００４８】
画像処理回路３０６は、動画像のデータを解析する、いわゆるグラフィックスプロセッサである。画像処理回路３０６は、カメラ１０から動画像を受け取り、複数のフレーム画像のうち少なくとも１つのフレーム画像における再帰性反射材４０の反射パターンの座標位置を算出し、かつ、反射パターンの領域の少なくとも一部を囲む複数の分割領域５１（図９Ａを参照）をその座標位置に基づいて各フレーム画像の同じ位置に設定する。画像処理回路３０６は、分割領域５１毎に複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、分割領域５１の呼吸波形に基づいて被験者１の呼吸数を計測する。なお、反射パターンおよび分割領域５１の詳細は後述する。
【００４９】
本実施形態ではＣＰＵ３０１とは別に画像処理回路３０６を設けているが、これは一例である。ＣＰＵ３０１と画像処理回路３０６とを統合した集積回路を用いてもよいし、画像処理回路３０６の処理の一部を、ＣＰＵ３０１が行ってもよい。
【００５０】
図３を参照して、計測システム１００の全体の動作を説明する。
【００５１】
図３は、計測システム１００で行われる計測処理の手順を示している。この処理は主としてＣＰＵ３０１および／または画像処理回路３０６によって実行される。以下では、実行主体は画像処理回路３０６であるとして説明する。
【００５２】
〔再帰性反射材４０の配置および動画像の取得：ステップＳ１〕
まず、観測者または被験者１が、被験者１の呼吸に伴う体動の発生位置に、所定の反射パターンを有する再帰性反射材４０を反射マーカとして配置する。光源２０が赤外光で被験者１を照射すると、カメラ１０は再帰性反射材４０で反射された赤外光を受けて、被験者１の動画像を撮影する。
【００５３】
図４は、再帰性反射材４０を装着した被験者１を撮影したフレーム画像１０２を例示している。画像中央部の、反射パターンに相当する高輝度領域（白い領域）１０４が、再帰性反射材４０からの反射光が検出された領域である。情報処理装置３０は、その領域を反射マーカとして認識する。参考として、図５は、再帰性反射材４０を装着しない被験者を撮影したフレーム画像１０６を例示する。再帰性反射材４０が存在しない場合には撮影されたフレーム画像内の輝度変化は非常に小さいと言える。なお、図４および図５には、複数の縦線および横線が示されているが、これは画像処理のために仮想的に設けられた境界線である。境界線によって区画される画像の領域は分割領域５１とは異なるので留意されたい。
【００５４】
図６は、反射マーカとして機能する再帰性反射材４０の反射パターンの一例を示している。再帰性反射材４０は、例えば三角形状、矩形状およびひし形状の反射パターンを含むことができる。反射パターンに相当する高反射領域２００の反射率はその周囲の領域の反射率に比べて相対的に高い。なお、高反射領域２００は図４に示される高輝度領域１０４に対応している。
【００５５】
〔画像変化の検出：ステップＳ２〕
図７は、被験者１以外の人物や被験者１の体動の影響を受けて呼吸波形に変化が生じる様子を示している。図７（ａ）は、ベッド上の被験者１の様子を示し、図７（ｂ）は、被験者１以外の人物がベッドの前を横切る様子を示し、図７（ｃ）は、ベッド上の被験者１が寝返った様子を示している。図７（ｄ）は、それぞれの状態における輝度値の変化を示している。図７（ｄ）のグラフで（ｉ）の波形は、通常の呼吸波形を示し、（ｉｉ）の波形は、外乱や被験者１の体動の影響を受けて変動した呼吸波形を示している。
【００５６】
呼吸数などを計測する従来の計測システムは、例えば図４や図５に示される区画されたある領域（単体のブロック）の平均輝度値の時間変化に基づいて呼吸波形を生成する。呼吸の動きを忠実に再現した呼吸波形を取得し、その呼吸波形から呼吸起点を正確に特定することが必要である。しかしながら、計測中に被験者１以外の人物がベッドの前を横切ったり、被験者１が寝返ったりすると、図７（ｄ）に示されるように呼吸波形は大きく変動し、被験者１の呼吸に伴う輝度変化以外のノイズ成分を含んでしまう。ノイズを含んだ呼吸波形を用いると、呼吸起点が誤って特定されて、正確な呼吸数を計測できない可能性がある。
【００５７】
図８は、被験者１とカメラ１０との位置関係によって、異なる領域Ａ、ＢおよびＣの間で各領域から取得された呼吸波形が異なる様子を示している。生体活動の測定環境は様々であり、カメラ１０と被験者１との位置関係は必ずしも一定ではない。被験者１の呼吸の態様も様々である。そのため、画角が固定されていたとしても、体動に伴い発生する反射マーカの微細な振動の様子は設定される領域毎に異なる。従って、呼吸数の計測に最適な呼吸波形を取得できるかどうかは領域の設定の仕方に大きく依存する。このように、最適な呼吸波形を取得することは容易ではなく、複数の領域（例えば領域Ａ、ＢおよびＣ）を設定したとしても、全ての領域から最適な呼吸波形を取得できるとは限らない。従来の計測システムは、環境変化に対する高いロバスト性を必ずしも備えていない。
【００５８】
再び図３を参照する。画像処理回路３０６は、例えば被験者１以外の人物や被験者１の体動によってフレーム画像に変化があったかどうかを検出する。具体的に説明すると、画像処理回路３０６は、例えばフレーム間差分または背景差分を用いてその変化を検出する。画像処理回路３０６は、その変化を検出した、フレーム画像内の領域や期間に取得された呼吸波形を呼吸数の計測には使用しないようにしている。以下、フレーム間差分を用いて検出する例を説明する。
【００５９】
フレーム間差分とは、時系列でｉ―ｎ番目に取得されたフレーム画像とｉ番目に取得されたフレーム画像とをフレーム画像の間で差分を取ることにより、画素が大きく変化したフレーム画像内の領域を特定する手法である。ここで、ｉおよびｎは１以上の整数であるとする。
【００６０】
画像処理回路３０６はフレーム画像の画素毎にフレーム画像の間で差分を取り、差分値を求める。差分値が所定のしきい値を超えた画素を「変化画素」と記述し、変化画素が集合する領域を「変化ブロック」と記述する。画像処理回路３０６は、変化画素または変化ブロックの数が所定のしきい値以上であれば、フレーム画像に変化があったと判定する。
【００６１】
画像処理回路３０６は、画素単位ではなくブロック単位で、フレーム画像間の変化を検出することもできる。画像処理回路３０６は、例えば８×８画素の領域をブロック（図４や図５に示される、境界線によって区画される画像の領域に対応する。）単位として、ブロック内の画素の輝度平均を算出し、フレーム画像の間でそれらの差分を取ってもよい。
【００６２】
通常、フレーム画像の反射マーカ以外の領域においてフレーム画像の間で画像の変化が生じても、そのことが、被験者１の呼吸に伴う輝度変化に大きく影響することは少ないと考えられる。従って、演算処理の高速化などの観点から、上述した検出処理は、反射マーカ以外の領域に適用することが好ましい。さらに、例えば被験者１の手足が動くと、小さな体動が発生し得る。そのような体動による影響を除去するために、画像処理回路３０６は、反射マーカから被験者１の頭、手および足までの領域を推定し、上記の検出処理をその領域だけに適用しても構わない。また、画像処理回路３０６は被験者の各部位（例えば、顔、手および足）の領域を推定し、その部位が動いたかどうかを検出してもよい。
【００６３】
画像処理回路３０６は、画像の変化を検出した場合、その変化を検出した期間に取得された呼吸波形を呼吸数の計測には使用しない。これにより、被験者１の体動や外乱による呼吸計測への影響を抑制することができる。
【００６４】
後述するように、画像処理回路３０６は、生成した呼吸波形をローパスフィルタを用いてフィルタリングすることが可能である。ローパスフィルタの次数（例えば１６次）分のデータは呼吸以外の成分を含むので、画像処理回路３０６は、フィルタリングする際にはその次数分のデータ（例えば１６サンプル）を呼吸数の計測には使用しないようにしている。
【００６５】
〔反射パターンの座標位置を特定：ステップＳ３〕
画像処理回路３０６は、カメラ１０から動画像を受け取り、例えば公知のパターン認識手法を用いて、複数のフレーム画像のうち少なくとも１つのフレーム画像における反射パターンの座標位置を特定する。反射パターンの座標位置は、例えば図６に示される高反射領域２００の各頂点、中心または重心の座標を意味する。
【００６６】
画像処理回路３０６は、コーナ検出法およびエッジ検出法を用いて反射パターンの座標位置を特定することもできる。このような特定方法は、本出願人による未公開の特許出願である特願２０１５−１０２７２６号に記載されている。これらの開示内容の全てを参考のために本明細書に援用する。コーナ検出法およびエッジ検出法を併用することにより、環境変化に対するロバスト性をさらに向上させることができる。
【００６７】
反射パターンの座標位置に関する情報を更新するタイミングを説明する。上述したとおり、画像処理回路３０６は、複数のフレーム画像のうち少なくとも１つにおける反射パターンの座標位置を特定する。例えば、画像処理回路３０６は、１０秒毎にその座標位置を更新する。動画像が３０ｆｐｓで撮影される場合、画像処理回路３０６は、３００フレーム毎にその画像内の反射パターンの座標位置を特定する。換言すると、３００フレーム毎にその座標位置に関する情報は更新される。例えばその更新間隔は、被験者１の呼吸数６回分に相当する。
【００６８】
〔複数の分割領域５１の設定および呼吸波形の生成：ステップＳ４〕
図９Ａは、分割領域５１が適切に設定された場合の呼吸波形を例示している。図９Ｂは、分割領域５１が適切に設定されなかった場合の呼吸波形を例示している。
【００６９】
再帰性反射材４０の反射マーカを囲むように、監視領域５０が設定される。監視領域５０は複数の分割領域５１から構成されている。監視領域５０は、反射マーカの領域を例えば３×３以上に分割する複数の分割領域５１を含んでいる。分割領域５１のサイズは、カメラ１０の解像度や画角などに依存して決定され、例えば１６×１６画素とすることができる。
【００７０】
被験者１の呼吸の大きさやカメラ１０の画角などの測定環境によって、呼吸に伴う反射マーカの微細な振動（上下方向）の動き量は異なる。従って、その動き量は、分割領域５１の位置やサイズに大きく依存する。図９Ａは、呼吸波形が忠実に再現される位置に分割領域Ｐが設定されたときに取得された波形を示している。呼吸波形は歪みを含まず、滑らかな曲線によって描かれていることが分かる。以降、このような呼吸波形を「正常な呼吸波形」と記述する。適切な位置に分割領域５１を設定することで、正常な呼吸波形が取得され、被験者１の呼吸数を正確に計測することができる。
【００７１】
図９Ｂは、呼吸波形が忠実に再現されない位置に分割領域Ｐが設定されたときに取得された波形を示している。呼吸波形は、その一部に矩形波のような歪んだ波形を含んでおり、滑らかな曲線によって描かれているとは言えない。このように、部分領域５１の位置やサイズによっては、正常な呼吸波形を取得できない可能性があることが分かる。一部が歪んだ呼吸波形を用いると、後述する呼吸起点を誤って特定してしまう可能性がある。その結果、被験者１の呼吸数を正確に計測することはできない。
【００７２】
上記の課題を解決するために、本実施形態による画像処理回路３０６は、ステップＳ３で取得した反射マーカの座標情報に基づいて、反射パターンの領域の少なくとも一部を囲むように複数の分割領域５１を各フレーム画像の同じ位置に設定する。
【００７３】
呼吸数の計測に適した分割領域として、例えば図９Ａに示されるように、吸って吐いての期間（つまり、１呼吸期間の半分の期間）で、反射マーカの移動（上下移動）が各領域の範囲内で発生する分割領域５１を採用することが好ましい。それを実現するため、画像処理回路３０６は、吸って吐いての期間において、分割領域５１の輝度平均が反射パターンの領域内の輝度平均よりも低く、かつ、反射マーカの外側の領域の輝度平均よりも高くなるように、複数の分割領域５１を設定することが好ましい。画像処理回路３０６は、この条件を満足するまで、分割領域５１の位置やサイズを変更しながら複数の分割領域５１の設定を繰り返す。
【００７４】
図１０は、複数の分割領域５１の設定の手順の一例を示している。その手順はステップＳ４のサブルーチンに相当する。
【００７５】
（積分画像の生成：ステップＳ４１）
ステップＳ４１は任意に設けることができる。画像処理回路３０６は、カメラ１０から取得した動画像から積分画像を生成する。積分画像を用いることで後段の演算処理の高速化が図れるので、ステップ４１は設けておくことが好ましい。以下では、積分画像を用いて演算処理を行う例を説明する。
【００７６】
（複数の分割領域５１を設定：ステップＳ４２）
画像処理回路３０６は、ステップＳ３で取得した反射マーカの座標情報に基づいて、各フレーム画像において反射パターンの領域の少なくとも一部を囲むように複数の分割領域５１を設定する。画像処理回路３０６は最初、個々の分割領域５１のサイズを例えば８×８画素に設定する。
【００７７】
（輝度平均を算出して呼吸波形を生成：ステップＳ４３）
画像処理回路３０６は、分割領域５１毎に画素の輝度平均を算出して、所定期間（例えば過去の２０秒間）の輝度平均の変化を示す時系列データに基づいて呼吸波形を生成する。または、画像処理回路３０６は、所定期間における分割領域の画素の積算値の変化を示す時系列データに基づいて呼吸波形を生成してもよい。本明細書では、「領域の輝度」とは、例えば領域内の画素の平均値、積算値または代表値を指す。
【００７８】
図９Ａに示される例では、画像処理回路３０６は、３×４の分割領域５１に対して１２個の呼吸波形を生成する。例えば所定期間２０秒は被験者の一般的な呼吸数３ｂｐｍに相当する。その場合、画像処理回路３０６はＲＡＭ３０３やＨＤＤ３０４にアクセスしながら、現時点から遡って過去の２０秒間（フレームレートが３０ｆｐｓの場合、６００フレームに相当）の時系列データに基づいて呼吸波形を生成する。
【００７９】
（輝度値の最小値、最大値および平均値を算出：ステップＳ４４）
画像処理回路３０６は、例えば過去の２０秒間の時系列データに基づいて生成した呼吸波形から、上述した「領域の輝度」の、最小値、最大値および平均値を分割領域５１毎に算出する。
【００８０】
（所定の条件が満たされているか否かを判定：ステップＳ４５）
画像処理回路３０６は、分割領域５１毎に輝度の最小値、最大値および平均値の全てが所定の条件を満たしているか否かを個別に判定することができる。具体的に説明すると、画像処理回路３０６は、輝度の最小値、最大値および平均値が所定の範囲内にあるかどうかをそれぞれ判定することができる。より具体的に説明すると、画像処理回路は、領域の輝度の最大値および最小値が、最大値＜「反射パターンの領域内の輝度平均」―「しきい値」、かつ、最小値＞「反射マーカの外側の領域の輝度平均」＋「しきい値」となる条件を満足するか否かを判定することができる。
【００８１】
複数の分割領域５１のうち、上述した条件を満たす分割領域５１のブロック数が予め設定されたしきい値以上であれば（Ｓ４５のＹｅｓ）、処理は呼吸起点を特定する次のステップＳ５に移行する。この条件を満たす分割領域５１の数が予め設定されたしきい値未満であれば（Ｓ４５のＮｏ）、処理は再びステップＳ４２に戻る。画像処理回路３０６は、分割領域５１のサイズや位置を変更して複数の分割領域５１を再度設定する。
【００８２】
画像処理回路３０６は、ステップＳ４５の条件が満たされるまでステップＳ４２からＳ４５までの処理を繰り返す。
【００８３】
〔呼吸起点の判定：ステップＳ５〕
本実施形態による画像処理回路３０６は、呼吸波形を数値微分することで呼吸起点を分割領域５１毎に判定する。ステップＳ４で生成された呼吸波形には呼吸以外のノイズ成分が含まれている。ノイズが含まれた呼吸波形をそのまま微分すると、ノイズ成分が強調されてしまうので、呼吸起点を正確に特定することができなくなる。そこで、画像処理回路３０６は、数値微分を行う前にフィルタ３０７（図２を参照）を用いて呼吸波形からノイズを除去する。
【００８４】
図１１は、数値微分によって呼吸起点を判定する手順を示している。その手順はステップＳ５のサブルーチンに相当する。
【００８５】
（呼吸波形のノイズを除去：ステップＳ５１）
画像処理回路３０６は、分割領域５１毎の呼吸波形のノイズを除去するフィルタ３０７（図２を参照）を有している。フィルタ３０７はローパスフィルタまたはフィルタバンクである。例えば呼吸数として０から１５０ｂｐｍまでを想定すると、遮断周波数２．５Ｈｚを有するローパスフィルタを用いることができる。
【００８６】
画像処理回路３０６は、０から２．５Ｈｚまでの信号を通過させるフィルタを用いると、被験者１の呼吸が遅いときに呼吸起点を誤検出する可能性がある。その点を考慮すると、例えば複数のフィルタから構成されたフィルタバンクを用いることが好ましいと言える。画像処理回路３０６は、フィルタバンクの各フィルタを透過した呼吸波形の中から最適な呼吸波形、例えば振幅が最も大きい呼吸波形を選択するとよい。
【００８７】
（呼吸波形を微分して呼吸起点の候補を抽出：ステップＳ５２）
画像処理回路３０６は、フィルタ３０７を通過した分割領域５１毎の呼吸波形を数値微分（１次微分）する。画像処理回路３０６は、微分して得られた、呼吸波形における時系列のｎ個（ｎは１以上の整数）の極小点を、呼吸起点の候補として抽出する。呼吸起点の候補に対応した極小点は、微分値がマイナスからプラスに変化する、いわゆる上向きゼロクロス点である。
【００８８】
（呼吸起点かどうかを判定：ステップＳ５３）
ステップＳ５２で得られた呼吸起点の候補、すなわち上向きゼロクロス点を呼吸起点とそのまま判定すると、呼吸数の計測において誤検出が多くなる。その理由は、呼吸以外による微妙な振動、外乱光、およびフィルタリングによるリンギングなどによっても、上向きゼロクロス点が生じてしまう可能性があるためである。画像処理回路３０６は、誤検出を防ぐために、呼吸起点の候補が呼吸起点であるかどうかを判定する。
【００８９】
図１２は、呼吸波形において特定の呼吸起点が複数の呼吸起点の候補から決定される様子を示している。図１３は、呼吸波形における、テイルポイント、ヘッドポイント、マックスポイント、テイル側振幅、およびヘッド側振幅をそれぞれ示している。
【００９０】
画像処理回路３０６は、呼吸起点のｎ個の候補のうちのｉ番目の第１候補と、第１候補よりも時系列で１つ前の第２候補とを選択する。ｉは、１からｎまでの整数である。ここで、本明細書に用いられる用語を説明する。まず、第１候補の点を「テイルポイント」と表記し、第２候補の点を「ヘッドポイント」と表記し、第１および第２候補の極小点、つまりテイルポイントとヘッドポイントとの間の極大点を「マックスポイント」と表記する。次に、マックスポイントとテイルポイントとの間の輝度値の差分を「テイル側振幅（図１３中の「ＴＡ」）」と表記し、マックスポイントとヘッドポイントとの間の輝度値の差分を「ヘッド側振幅（図１３中の「ＨＡ」）」と表記する。最後に、テイル側振幅とヘッド側振幅との比率を「ヘッドテイル比」と表記する。
【００９１】
図１３において、ｉ番目の第１候補、すなわちｉ番目のテイルポイント（ｉ）に着目する。テイルポイント（ｉ）、第２候補に相当するヘッドポイント（ｉ）、およびそれらの間のマックスポイント（ｉ）の一組を用いて、ヘッド側振幅（ｉ）、テイル側振幅（ｉ）およびヘッドテイル比（ｉ）の３つの指標が定義される。
【００９２】
画像処理回路３０６は、第１候補、つまりテイルポイント（ｉ）が呼吸起点であるかどうかを分割領域５１毎に３つの指標を用いて判定する。具体的には、画像処理回路３０６は、テイル側振幅およびヘッド側振幅がそれぞれ所定のしきい値以上であり、かつ、ヘッドテイル比が略１に等しい場合に、テイルポイント（ｉ）を呼吸起点と判定する。所定のしきい値は、画像上の反射マーカの大きさ、および分割領域５１のサイズに従って決定される。例えば画素の輝度値を８ｂｉｔの信号で示す場合、所定のしきい値を３とすることができる。
【００９３】
画像処理回路３０６は、呼吸起点の候補に応じた数だけ、すなわちｉ＝１からｎに対してテイルポイント（ｉ）が呼吸起点であるかどうかをそれぞれ判定する。このようにして、画像処理回路３０６は、テイルポイント（ｉ）に関するヘッド側振幅、テイル側振幅およびヘッドテイル比などの呼吸起点の情報を分割領域５１毎に取得する。呼吸起点に関する一連の情報は例えばＲＡＭ３０３などに保持される。
【００９４】
ヘッドテイル比は、テイル側振幅／ヘッド側振幅であってもよいし、ヘッド側振幅／テイル側振幅であってもよい。また、本実施形態では、演算の効率化を考慮して、ヘッドテイル比を、下記の数式（１）に示されるように常用対数の絶対値を用いて設定している。
ヘッドテイル比＝｜ｌｏｇ１０（ヘッド側振幅／テイル側振幅）｜      数式（１）
【００９５】
〔最適な分割領域５１を決定し、呼吸起点を特定：ステップＳ６〕
再び図３を参照する。画像処理回路３０６は、分割領域５１毎の呼吸波形および呼吸起点の情報に基づいて、呼吸数の計測に最適な分割領域５１を複数の分割領域５１から選択する。画像処理回路３０６は、選択した分割領域５１の呼吸波形において、呼吸数の計測に用いられる呼吸起点を特定する。
【００９６】
図１４は、最適な分割領域５１を選択する処理の手順の一例を示している。その手順はステップＳ６のサブルーチンに相当する。
【００９７】
（分割領域５１毎にヘッド側振幅およびテイル側振幅の平均値をそれぞれ算出：ステップＳ６１）
画像処理回路３０６は、過去の数拍分（例えば６０秒）のヘッド側振幅およびテイル側振幅を分割領域５１毎にそれぞれ平均する。なお、画像処理回路３０６は、過去の数拍分のヘッド側振幅およびテイル側振幅の分散をそれぞれ求めてもよい。呼吸数の計測に最適な分割領域５１では、それぞれの平均値は大きくなり、分散は小さくなるという特徴がある。
【００９８】
（分割領域毎にヘッドテイル比の平均値を算出：ステップＳ６２）
画像処理回路３０６は、過去の数拍分のヘッドテイル比の平均値を分割領域５１毎に算出する。画像処理回路３０６は、過去の数拍分のヘッドテイル比に重み付をして加重平均を分割領域５１毎に算出してもよい。その際、過去のデータになるほど重みが小さくなるように重み付を行う。呼吸数の計測に最適な分割領域５１には、過去の数拍分のヘッドテイル比の変化は小さくなり、ヘッドテイル比は略１に等しくなるという特徴がある。換言すると、分散は小さくなるという特徴がある。
【００９９】
（最適な分割領域５１の決定：ステップＳ６３）
画像処理回路３０６は、下記の（Ａ）から（Ｃ）のいずれかを条件として最適な分割領域５１を選択することができる。画像処理回路３０６は、選択した分割領域５１の呼吸波形において、呼吸数の計測に用いられる呼吸起点を特定する。
（Ａ）過去の数拍分のヘッドテイル比が略１と一定であり、かつ、過去の数拍分のテイル側振幅およびヘッド側振幅の平均値がそれぞれ大きい。
（Ｂ）過去の数拍分のヘッドテイル比が略１と一定であり、かつ、過去の数拍分のテイル側振幅およびヘッド側振幅の分散がそれぞれ小さい。
（Ｃ）過去の数拍分のヘッドテイル比が略１と一定であり、かつ、過去の数拍分のテイル側振幅およびヘッド側振幅の分散が所定のしきい値以上であり、かつ、過去の数拍において、テイル側振幅およびヘッド側振幅の平均値のそれぞれが最も大きい。例えば、所定のしきい値を０．１に設定することができる。
【０１００】
画像処理回路３０６は、過去の数拍分のヘッドテイル比の平均が所定のしきい値以上になる分割領域の候補を選択する。画像処理回路３０６は、分割領域の候補のうち、過去の数拍分のテイル側振幅およびヘッド側振幅の平均値がそれぞれ最大となる分割領域５１を、最適な分割領域５１として選択してもよい。本実施形態では、上述したように、上記の数式（１）で表されるヘッドテイル比を用いていており、所定のしきい値を例えば１／２とすることができる。
【０１０１】
例えば図８に示される複数の呼吸波形においては、画像処理回路３０６は、分割領域Ａ、ＢおよびＣのうち、テイル側振幅およびヘッド側振幅はいずれも大きく、かつ、ヘッドテイル比の分散は小さい分割領域Ａを最適な分割領域５１として決定することができる。
【０１０２】
〔被験者１の呼吸数をカウント：ステップＳ７〕
図１５は、呼吸数の計測に用いられる、ステップＳ６で特定された呼吸起点、および呼吸波形における呼吸周期（ｓ）を示している。隣接する２つの呼吸起点の間の時間差が被験者１の呼吸の呼吸周期（ｓ）である。呼吸数（ｂｐｍ）は６０／呼吸周期（ｓ）で表される。
【０１０３】
画像処理回路３０６は、ステップＳ６で選択された最適な分割領域５１の呼吸波形および呼吸起点の情報に基づいて被験者１の呼吸数を計測する。例えば図８に示される複数の呼吸波形では、画像処理回路３０６は、分割領域Ａの呼吸波形および呼吸起点の情報に基づいて被験者１の呼吸数を計測する。画像処理回路３０６は所定期間内の呼吸数をカウントすることができる。
【０１０４】
〔計測結果の表示：ステップＳ８〕
図１６は、ディスプレイ３２に表示された表示内容の一例を示す。ディスプレイ３２は、被験者１の呼吸に起因する生体活動の計測結果を表示する。その生体活動の計測結果に関する情報は、被験者１の呼吸数および呼吸数のトレンドを示す情報を含んでいる。呼吸数のトレンドを示す情報は、呼吸数の時間的な変化を示す波形としてディスプレイ３２に表示される。また、呼吸数の情報は所定の間隔で更新される。
【０１０５】
ディスプレイ３２には、最適な分割領域５１の輝度値の変化を示す呼吸波形も表示されている。さらに、計測システム１００の状態を表すシステム情報が表示される。その情報は、例えば、検索中、測定中および停止中などの内部で起動しているプログラムの状態を意味する。
【０１０６】
また、ディスプレイ３２にはカメラ１０により撮像された動画像がリアルタイムで表示されている。反射マーカの検出位置と呼吸数の計測に用いられている分割領域５１とを特定する矩形状の枠を、その動画像に重畳的に表示することもできる。
【０１０７】
反射マーカ、つまり再帰性反射材４０の検出位置を表示することにより、測定システム１００のオペレータ（例えば医師など）は正確に反射マーカが認識されていることをディスプレイ３２上で確認することができる。もし、反射マーカが正確に配置されていなければ、ディスプレイ３２には反射マーカの検出位置や呼吸数は表示されないので、オペレータはこの不具合を確実に確認することができる。
【０１０８】
本実施形態によると、周囲の環境の変化に対して高いロバスト性を備えた計測システムが提供される。
【０１０９】
（第２の実施形態）
第２の実施形態による画像処理回路３０６は、呼吸起点を判別するためのしきい値（以下。「呼吸起点のしきい値」と表記する。）を用いて呼吸起点を判定する点で、第１の実施形態による画像処理回路３０６とは異なる。本実施形態による呼吸起点は、輝度値が呼吸起点のしきい値に等しくなる呼吸波形上の点を指す。以下、共通する部分の説明は省略し、差異点を中心に説明する。
【０１１０】
図１７は、呼吸起点のしきい値を用いて呼吸起点を判定する手順を示している。その手順は第１の実施形態とは異なるステップＳ６のサブルーチンに相当する。
【０１１１】
画像処理回路３０６は、図１７の手順に従って呼吸起点を判定する。
【０１１２】
（分割領域５１毎に呼吸波形のノイズを除去：ステップＳ５１）
画像処理回路３０６は、第１の実施形態と同様に、分割領域５１毎に呼吸波形のノイズを除去する。
【０１１３】
（下限値を算出：ステップＳ５４）
図１８は、ある分割領域５１の呼吸波形を示している。図１９は、所定期間毎に呼吸起点のしきい値が更新される様子を示している。
【０１１４】
画像処理回路３０６は、所定期間のデータを基にして呼吸起点のしきい値を算出するための下限値を設定する。画像処理回路３０６は、例えば過去２０秒間における輝度値の最小値をその下限値として設定する。下限値は、所定期間、例えば２０秒毎に更新されることになる。
【０１１５】
（呼吸起点のしきい値を算出：ステップＳ５５）
画像処理回路３０６は、下限値に加算値を加えて呼吸起点のしきい値を求める。例えば、加算値を「１」とすることができる。上述したように、下限値は所定期間毎に更新されるので、呼吸起点のしきい値も所定期間毎に更新される。図１９には、３区間における呼吸波形のＤＣ成分の変動の様子を示している。呼吸波形のＤＣ成分は区間毎に変動することが分かる。本実施形態では、呼吸起点のしきい値はＤＣ成分の変動に応じて区間毎に更新される。これにより、ＤＣ成分の変動に追従して、呼吸起点を正確に判定することができる。
【０１１６】
（呼吸起点を判定：ステップＳ５６）
画像処理回路３０６は、呼吸起点のしきい値を基準として呼吸起点を判定する。具体的に説明すると、例えば画像処理回路３０６は、輝度値と呼吸起点のしきい値との差分の正負の符号が負から正に変化する呼吸波形上の点を呼吸起点と判定する。または、画像処理回路３０６は、その逆に正負の符号が変化する呼吸波形上の点を呼吸起点と判定してもよい。
【０１１７】
本実施形態による画像処理回路３０６は、呼吸起点を判定した後は、第１の実施形態と同様に、最適な分割領域を決定し、呼吸起点を特定して（ステップＳ６）、被験者の呼吸数を計測する（ステップＳ７）。具体的に説明すると、例えば、画像処理回路３０６は、輝度値と呼吸起点のしきい値との差分の正負の符号が負から正に変化する呼吸波形上の隣接した２つの呼吸起点の間にある極小点を把握し、それらの極小点に基づいてヘッド側振幅、テイル側振幅、およびヘッドテイル比を演算する。画像処理回路３０６は、それらの指標を用いて第１の実施形態で説明した同一の条件に基づいて最適な分割領域を決定することができる。
【０１１８】
なお、第１の実施形態による計測システム１００は、第２の実施形態による計測システム１００と比べて呼吸波形のＤＣ成分の変動を受けにくい。そのため、ＤＣ成分の変動が顕著な測定環境などでは、第１の実施形態による計測システム１００を用いることが好ましいと言える。
【０１１９】
本実施形態によると、周囲の環境の変化に対して高いロバスト性を備えた計測システムが提供される。特に、微小なノイズの影響を受けにくい計測システムが提供される。
【０１２０】
（第３の実施形態）
第３の実施形態による計測システム１００は、カメラ１０が光学フィルタを装着している点で、第１の実施形態による計測システム１００とは異なる。以下、共通する部分の説明は省略し、差異点を中心に説明する。
【０１２１】
カメラ１０は、可視光領域の波長を遮る光学フィルタ（不図示）を装着していてもよい。その光学フィルタは、例えば赤外フィルタとも呼ばれる。光学フィルタは、光源２０から放射され、再帰性反射材４０において反射された赤外光は透過するが、可視光は遮断する。
【０１２２】
本実施形態によると、光学フィルタを設けることにより、赤外光以外の光、より具体的には可視光がカメラ１０に入射することを防ぎ、それにより、撮影された動画像の輝度値の変化への影響を低減できる。可視光に起因する各フレーム画像の輝度値の変動を抑制できるので、可視光のみに起因し、生体反応に起因しない外乱ノイズの発生を効果的に低減できる。換言すると、再帰性反射材４０において反射された赤外光のみによる輝度値の変化を確実に捉えることができる。
【０１２３】
第１、第２および第３の実施形態では、カメラ１０で撮像した動画像のリアルタイム処理を前提とした計測システム１００を説明したが、本発明はこれに限定されない。例えば、カメラ１０で撮像された被験者１の動画像は一旦、外部メモリなどに保存されてもよい。画像処理回路３０６は、外部メモリから動画像データを読み出して、そのデータに基づいて事後的に被験者１の呼吸数を計測しても構わない。画像処理回路３０６を含む情報処理装置３０は、計測システム１００の構成要素であってもよいし、それとは独立して市場に流通し得る単体の計測装置であってもよい。
【０１２４】
本明細書は、以下の項目に記載の計測装置、計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラムを開示している。
【０１２５】
〔項目１〕
光源から放射される光を受けた撮像装置によって生成された被験体の動画像を利用して前記被験体の生体活動を計測する計測装置であって、
前記動画像を受け取る入力インタフェースと、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
を備え、
前記動画像は、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときに、複数の時刻において前記再帰性反射材で反射された前記光に基づく時系列の複数のフレーム画像から構成され、
前記画像処理回路は、
前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、
前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測装置。
【０１２６】
項目１に記載の計測装置によると、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測装置が提供される。
【０１２７】
〔項目２〕
前記画像処理回路は、各分割領域の前記呼吸波形上の呼吸起点を特定するための指標を用いて前記被験体の呼吸に起因する生体活動を計測する、項目１に記載の計測装置。
【０１２８】
項目２に記載の計測装置によると、呼吸起点を正確に特定することができる。
【０１２９】
〔項目３〕
前記画像処理回路は、前記複数のフレーム画像のうち２つのフレーム画像の間の画像変化を検出し、前記画像変化を検出したフレーム画像に関する呼吸波形を、前記被験体の呼吸に起因する生体活動の計測には使用しない、項目２に記載の計測装置。
【０１３０】
項目３に記載の計測装置によると、被験体の体動や外乱による呼吸計測への影響を抑制することができる。
【０１３１】
〔項目４〕
前記画像処理回路は、所定期間において、各分割領域の平均輝度が前記反射パターンの領域内の平均輝度よりも低く、かつ、前記反射マーカの外側の領域の平均輝度よりも高くなるように、前記複数の分割領域を設定する、項目２または３に記載の計測装置。
【０１３２】
項目４に記載の計測装置によると、適切な位置に複数の分割領域を設定することで、正常な呼吸波形が取得され、被験体の呼吸数を正確に計測することができる。
【０１３３】
〔項目５〕
前記画像処理回路は、前記各分割領域のサイズを変更しながら、所定期間における各分割領域の輝度値の、少なくとも最大値、最小値および平均が所定の条件を満足するまで、前記複数の分割領域を設定する、項目２または３に記載の計測装置。
【０１３４】
項目５に記載の計測装置によると、適切な位置に複数の分割領域を設定することで、正常な呼吸波形が取得され、被験体の呼吸数を正確に計測することができる。
【０１３５】
〔項目６〕
前記画像処理回路は、分割領域毎の前記呼吸波形のノイズを除去するローパスフィルタまたはフィルタバンクを有している、項目２から５のいずれかに記載の計測装置。
【０１３６】
項目６に記載の計測装置によると、呼吸波形からノイズを除去することができる。
【０１３７】
〔項目７〕
前記画像処理回路は、前記ローパスフィルタまたはフィルタバンクを通過した前記呼吸波形を数値微分することで、前記呼吸波形における時系列のｎ個（ｎは１以上の整数）の極小点を、呼吸の吸い込みまたは吐き出しの開始点を意味する前記呼吸起点の候補として特定する、項目６に記載の計測装置。
【０１３８】
項目７に記載の計測装置によると、呼吸起点のＤＣ成分の変動を受けにくい計測装置が提供される。
【０１３９】
〔項目８〕
前記画像処理回路は、前記呼吸起点のｎ個の候補のうちのｉ番目（ｉは１からｎまでの整数）の第１候補と、前記第１候補よりも１つ前の極小点である第２候補とに着目し、
前記第１および第２候補の極小点の間の極大点と、前記第１候補の極小点と、の間の輝度値の差分を示すテイル側振幅、
前記極大点と前記第２候補の極小点との間の輝度値の差分を示すヘッド側振幅、
および前記テイル側振幅と前記ヘッド側振幅との比率を示すヘッドテイル比を含む前記指標を用いて、前記第１候補が前記呼吸起点であるかどうかを判定する、項目７に記載の計測装置。
【０１４０】
項目8に記載の計測装置によると、３つの指標を用いて、呼吸起点の候補が呼吸起点であるかどうかをより正確に判定することができる。
【０１４１】
〔項目９〕
前記画像処理回路は、前記テイル側振幅が第１しきい値以上であり、前記ヘッド側振幅が第２しきい値以上であり、かつ、前記ヘッドテイル比が略１に等しい場合、前記第１候補を前記呼吸起点と判定する、項目８に記載の計測装置。
【０１４２】
項目９に記載の計測装置によると、３つの指標を用いて、呼吸起点の候補が呼吸起点であるかどうかをより正確に判定することができる。
【０１４３】
〔項目１０〕
前記画像処理回路は、前記呼吸波形の前記呼吸起点の候補に応じた数だけ、前記第１候補が前記呼吸起点であるかどうかを判定する、項目９に記載の計測装置。
【０１４４】
〔項目１１〕
前記画像処理回路は、前記ローパスフィルタまたはフィルタバンクを通過した前記呼吸波形を用いて、前記呼吸波形の中で最小となる輝度値を下限値として設定し、かつ、前記下限値に振幅加算値を加算して呼吸起点のしきい値を前記指標として算出し、
前記呼吸起点のしきい値を基準として、前記呼吸起点を判定する、項目６に記載の計測装置。
【０１４５】
項目１１に記載の計測装置によると、微小なノイズの影響を受けにくい計測装置が提供される。
【０１４６】
〔項目１２〕
前記画像処理回路は、前記呼吸起点のしきい値を更新期間毎に更新する、項目１１に記載の計測装置。
【０１４７】
項目１２に記載の計測装置によると、微小なノイズの影響を受けにくい計測装置が提供される。
【０１４８】
〔項目１３〕
前記画像処理回路は、輝度値と前記呼吸起点のしきい値との差分の正負の符号が同一の方向に変化する前記呼吸波形上の隣接した２つの呼吸起点の間にある極小点を特定し、
第１極小点と、前記第１極小点よりも時系列的に１つ前の第２極小点とに着目して、
前記第１極および第２極小点の間の極大点と、前記第１極小点と、の間の輝度値の差分を示すテイル側振幅、
前記極大点と前記第２極小点との間の輝度値の差分を示すヘッド側振幅、
および前記テイル側振幅と前記ヘッド側振幅との比率を示すヘッドテイル比を含む前記指標を演算する、項目１１または１２に記載の計測装置。
【０１４９】
〔項目１４〕
前記画像処理回路は、分割領域毎の前記呼吸波形および前記指標に基づいて前記複数の分割領域から分割領域を選択し、選択された分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測する、項目７から１３のいずれかに記載の計測装置。
【０１５０】
項目１４に記載の計測装置によると、生体活動の計測に最適な分割領域を選択することができる。
【０１５１】
〔項目１５〕
前記画像処理回路は、所定期間にわたって前記ヘッドテイル比が略１となり、かつ、前記所定期間における前記テイル側振幅および前記ヘッド側振幅の平均値がそれぞれ大きいか、または分散がそれぞれ小さい分割領域を前記複数の分割領域から選択し、選択された分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測する、項目７から１０、および１３のいずれかに記載の計測装置。
【０１５２】
項目１５に記載の計測装置によると、選択された分割領域の呼吸起点に基づいて被験体の呼吸に起因する生体活動を正確に計測することができる。
【０１５３】
〔項目１６〕
前記画像処理回路は、所定期間にわたって前記ヘッドテイル比の平均値が第３しきい値以上になる分割領域の候補を前記複数の分割領域から選択し、
前記分割領域の候補のうち、前記所定期間において前記テイル側振幅および前記ヘッド側振幅の平均値がそれぞれ最大となる分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測する、項目７から１０、および１３のいずれかに記載の計測装置。
【０１５４】
〔項目１７〕
前記画像処理回路は、過去のデータほど重みが小さくなる重み付けによって前記ヘッドテイル比の加重平均値を算出し、前記加重平均が前記第３しきい値以上になる前記分割領域の候補を選択する、項目１６に記載の計測装置。
【０１５５】
項目１７に記載の計測装置によると、過去に比べて現在のデータをより重視した分割領域の候補の選択が可能になる。
【０１５６】
〔項目１８〕
前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、
前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、および前記動画像を表示する、項目１から１７のいずれかに記載の計測装置。
【０１５７】
項目１８に記載の計測装置によると、オペレータや被験者は計測結果を表示装置上で確認することができる。
【０１５８】
〔項目１９〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記画像処理回路は、
前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、
前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。
【０１５９】
項目１９に記載の計測システムによると、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システムが提供される。
【０１６０】
〔項目２０〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムを用いて、前記被験体の呼吸に起因する生体活動を計測する計測方法であって、
前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材を配置するステップと、
前記光源が、前記光で前記被験体を照射するステップと、
前記撮像装置が、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップと、
前記画像処理回路が、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、
前記画像処理回路が、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、
を包含する、計測方法。
【０１６１】
項目２０に記載の計測方法によると、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測が可能になる。
【０１６２】
〔項目２１〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、
前記被験体の呼吸に伴う体動の発生位置に、反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、
前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、
前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、
を包含する、コンピュータプログラム。
【０１６３】
項目２１に記載のコンピュータプログラムによると、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測を可能にするコンピュータプログラムが提供される。
【産業上の利用可能性】
【０１６４】
本発明は、被験体を撮影した動画像を解析して、被験体の生体活動、特に呼吸の数を非接触で計測する方法として利用することができる。また本発明は、そのような動画像の解析および生体活動の計測のための装置、システム、コンピュータプログラムとして利用することができる。
【符号の説明】
【０１６５】
１  被験者
１０  カメラ
２０  光源
３０  情報処理装置
３２  ディスプレイ
４０  再帰性反射材
５０  監視領域
５１  分割領域
１００  計測システム
２００  高反射領域
３０１  ＣＰＵ
３０２  ＲＯＭ
３０３  ＲＡＭ
３０４  ＨＤＤ
３０５  Ｉ／Ｆ
３０６  画像処理回路
３０７  フィルタ
【図１】
2017055949.tif 000003
【図２】
2017055949.tif 000004
【図３】
2017055949.tif 000005
【図４】
2017055949.tif 000006
【図５】
2017055949.tif 000007
【図６】
2017055949.tif 000008
【図７】
2017055949.tif 000009
【図８】
2017055949.tif 000010
【図９Ａ】
2017055949.tif 000011
【図９Ｂ】
2017055949.tif 000012
【図１０】
2017055949.tif 000013
【図１１】
2017055949.tif 000014
【図１２】
2017055949.tif 000015
【図１３】
2017055949.tif 000016
【図１４】
2017055949.tif 000017
【図１５】
2017055949.tif 000018
【図１６】
2017055949.tif 000019
【図１７】
2017055949.tif 000020
【図１８】
2017055949.tif 000021
【図１９】
2017055949.tif 000022
【手続補正書】
【提出日】平成29年1月27日(2017.1.27)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の実施形態による計測装置は、光源から放射される光を受けた撮像装置によって生成された被験体の動画像を利用して前記被験体の生体活動を計測する計測装置であって、前記動画像を受け取る入力インタフェースと、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備え、前記動画像は、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときに、複数の時刻において前記再帰性反射材で反射された前記光に基づく時系列の複数のフレーム画像から構成され、前記画像処理回路は、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
本発明の実施形態による計測システムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置は、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
本発明の実施形態による計測方法は、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムを用いて、前記被験体の呼吸に起因する生体活動を計測する方法であって、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材を配置するステップと、前記光源が、前記光で前記被験体を照射するステップと、前記撮像装置が、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップと、前記画像処理回路が、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、前記画像処理回路が、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、を包含する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
本発明の実施形態によるコンピュータプログラムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、前記被験体の呼吸に伴う体動の発生位置に、反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、を包含する。
【手続補正６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光源から放射される光を受けた撮像装置によって生成された被験体の動画像を利用して前記被験体の生体活動を計測する計測装置であって、
前記動画像を受け取る入力インタフェースと、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
を備え、
前記動画像は、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときに、複数の時刻において前記再帰性反射材で反射された前記光に基づく時系列の複数のフレーム画像から構成され、
前記画像処理回路は、
前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、
前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測装置。
【請求項２】
前記画像処理回路は、各分割領域の前記呼吸波形上の呼吸起点を特定するための指標を用いて前記被験体の呼吸に起因する生体活動を計測する、請求項１に記載の計測装置。
【請求項３】
前記画像処理回路は、前記複数のフレーム画像のうち２つのフレーム画像の間の画像変化を検出し、前記画像変化を検出したフレーム画像に関する呼吸波形を、前記被験体の呼吸に起因する生体活動の計測には使用しない、請求項２に記載の計測装置。
【請求項４】
前記画像処理回路は、分割領域毎の前記呼吸波形のノイズを除去するローパスフィルタまたはフィルタバンクを有し、
前記画像処理回路は、前記ローパスフィルタまたはフィルタバンクを通過した前記呼吸波形を数値微分することで、前記呼吸波形における時系列のｎ個（ｎは１以上の整数）の極小点を、呼吸の吸い込みまたは吐き出しの開始点を意味する前記呼吸起点の候補として特定する、請求項２または３に記載の計測装置。
【請求項５】
前記画像処理回路は、前記呼吸起点のｎ個の候補のうちのｉ番目（ｉは１からｎまでの整数）の第１候補と、前記第１候補よりも１つ前の極小点である第２候補とに着目し、
前記第１および第２候補の極小点の間の極大点と、前記第１候補の極小点と、の間の輝度値の差分を示すテイル側振幅、
前記極大点と前記第２候補の極小点との間の輝度値の差分を示すヘッド側振幅、
および前記テイル側振幅と前記ヘッド側振幅との比率を示すヘッドテイル比を含む前記指標を用いて、前記第１候補が前記呼吸起点であるかどうかを判定する、請求項４に記載の計測装置。
【請求項６】
前記画像処理回路は、所定期間にわたって前記ヘッドテイル比が略１となり、かつ、前記所定期間における前記テイル側振幅および前記ヘッド側振幅の平均値がそれぞれ大きいか、または分散がそれぞれ小さい分割領域を前記複数の分割領域から選択し、選択された分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測する、請求項５に記載の計測装置。
【請求項７】
光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記画像処理回路は、
前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、
前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。
【請求項８】
光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムを用いて、前記被験体の呼吸に起因する生体活動を計測する方法であって、
前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材を配置するステップと、
前記光源が、前記光で前記被験体を照射するステップと、前記撮像装置が、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップと、
前記画像処理回路が、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、
前記画像処理回路が、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、を包含する、計測方法。
【請求項９】
光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、
前記被験体の呼吸に伴う体動の発生位置に、反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、
前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、
前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、を包含する、コンピュータプログラム。
【請求項１０】
光源から放射される光を受けた撮像装置によって生成された被験体の動画像を利用して前記被験体の生体活動を計測する計測装置であって、
前記動画像を受け取る入力インタフェースと、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
を備え、
前記動画像は、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときに、複数の時刻において前記再帰性反射材で反射された前記光に基づく時系列の複数のフレーム画像から構成され、
前記画像処理回路は、
前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、
前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測し、
前記画像処理回路は、前記複数のフレーム画像のうち２つのフレーム画像の間の画像変化を検出し、前記画像変化を検出したフレーム画像に関する呼吸波形を、前記被験体の呼吸に起因する生体活動の計測には使用しない、計測装置。