(57)【要約】      （修正有）【課題】被検体の映像から被検体の呼吸パターンを判定するシステム及び方法を提供する。【解決手段】被検体の呼吸機能に対応する信号が映像撮像装置の少なくとも１つの撮像チャンネルによって登録されることができる被検体の関心領域（ＲＯＩ）のＮ≧２個の時系列画像フレームを含む映像を受信することを含む。ＲＯＩは、Ｐ個の画素を含む。持続時間Ｎの時系列信号がＲＯＩ内の分離された画素から生成される。特徴は、時系列信号から抽出され、Ｐ個のＭ次元ベクトルに形成される。特徴ベクトルは、Ｋ個のクラスタにクラスタリングされる。各クラスタにおける特徴ベクトルによって表される画素に対応する時系列信号は、各クラスタの代表的信号を得るために時間的方向に沿って平均化される。クラスタのうちの１つが選択される。代表的信号に基づいて呼吸パターンが被検体について判定される。【選択図】図２
2017006649.tif 000002
【特許請求の範囲】
【請求項１】
映像から被検体の呼吸パターンを判定するための方法において、
Ｐ≧２であるＰ個の画素を含む被検体の関心領域のＮ≧２個の画像フレームを含む前記被検体の映像を受信することであり、被検体の呼吸機能に対応する信号が前記映像をキャプチャするために使用される映像撮像装置の少なくとも１つの撮像チャンネルによって登録されることができることと、
持続時間Ｎのそれぞれの複数の時系列信号Ｓ１，・・・，ＳＰを生成することであり、サンプルが前記画像フレーム内の前記関心領域における画素値であることと、
前記時系列信号のそれぞれについて、特徴のセットを抽出し、Ｍ≧２であるＰ個のＭ次元の特徴ベクトルを形成することと、
前記特徴ベクトルをＫ≧２個のクラスタにクラスタリングすることと、
時間的方向において、各クラスタについての代表的信号を取得するために、前記クラスタのそれぞれにおける前記特徴ベクトルによって表される画素に対応する全ての時系列信号を平均化することと、
前記クラスタのうちの１つを選択することと、
前記選択されたクラスタの代表的信号に基づいて前記被検体についての呼吸パターンを判定することとを備える、方法。
【請求項２】
前記映像撮像装置が、カラー映像カメラ、赤外線映像カメラ、モノクロ映像カメラ、マルチスペクトル映像撮像装置、ハイパースペクトル映像カメラ及びそれらの任意の組み合わせを含むハイブリッド装置のいずれかである、請求項１に記載の方法。
【請求項３】
処理のために前記映像撮像装置の前記撮像チャンネルのうちの少なくとも１つから画素を選択することを備える、請求項２に記載の方法。
【請求項４】
前記選択されたクラスタの代表的信号から前記被検体の呼吸パターンを判定することが、独立成分分析（ＩＣＡ）法及び非負値行列因子分解（ＮＭＦ）法のうちのいずれかを備える、請求項１に記載の方法。
【請求項５】
さらに、
前記被検体の少なくとも２つの呼吸サイクルのウィンドウを画定することと、
前記ウィンドウ内のＮＭＦチャンネルのパワースペクトル密度を計算することと、
全てのチャンネルのスペクトル圧縮を定量化するために全てのＮＭＦチャンネルの前記パワースペクトル密度のゼロ要素の数（ｌ０−ｎｏｒｍ）を計算することと、
ゼロ要素の最小数を有するチャンネルを選択することと、
前記選択されたチャンネルから呼吸パターンを特定することとを備える、請求項４に記載の方法。
【請求項６】
さらに、
前記被検体の少なくとも２つの呼吸サイクルのウィンドウを画定することと、
前記ウィンドウ内のＩＣＡチャンネルにおけるパワースペクトル密度を計算することと、
全てのチャンネルのスペクトル圧縮を定量化するために全てのＩＣＡチャンネルの前記パワースペクトル密度のゼロ要素の数（ｌ０−ｎｏｒｍ）を計算することと、
ゼロ要素の最小数を有するチャンネルを選択することと、
前記選択されたチャンネルから呼吸パターンを特定することとを備える、請求項４に記載の方法。
【請求項７】
映像から被検体の呼吸パターンを判定するためのシステムにおいて、
表示装置と、
メモリ及び前記表示装置と通信するプロセッサとを備え、前記プロセッサが、
Ｐ≧２であるＰ個の画素を含む被検体の関心領域のＮ≧２個の画像フレームを含む前記被検体の映像を受信することであり、被検体の呼吸機能に対応する信号が前記映像をキャプチャするために使用される映像撮像装置の少なくとも１つの撮像チャンネルによって登録されることができることと、
持続時間Ｎのそれぞれの複数の時系列信号Ｓ１，・・・，ＳＰを生成することであり、サンプルが前記画像フレーム内の前記関心領域における画素値であることと、
前記時系列信号のそれぞれについて、特徴のセットを抽出し、Ｍ≧２であるＰ個のＭ次元の特徴ベクトルを形成することと、
前記特徴ベクトルをＫ≧２個のクラスタにクラスタリングすることと、
時間的方向において、各クラスタについての代表的信号を取得するために、前記クラスタのそれぞれにおける前記特徴ベクトルによって表される画素に対応する全ての時系列信号を平均化することと、
前記クラスタのうちの１つを選択することと、
前記選択されたクラスタの代表的信号に基づいて前記被検体についての呼吸パターンを判定することと、
前記表示装置に対して前記呼吸パターンを通信することとを実行するための機械読み取り可能な命令を実行する、システム。
【請求項８】
前記映像撮像装置が、カラー映像カメラ、赤外線映像カメラ、モノクロ映像カメラ、マルチスペクトル映像撮像装置、ハイパースペクトル映像カメラ及びそれらの任意の組み合わせを含むハイブリッド装置のいずれかである、請求項７に記載のシステム。
【請求項９】
前記選択されたクラスタの代表的信号から前記被検体の呼吸パターンを判定することが、独立成分分析（ＩＣＡ）法及び非負値行列因子分解（ＮＭＦ）法のうちのいずれかを備える、請求項８に記載のシステム。
【請求項１０】
さらに、
前記被検体の少なくとも２つの呼吸サイクルのウィンドウを画定することと、
前記ウィンドウ内のＮＭＦチャンネルにおけるパワースペクトル密度を計算することと、
全てのチャンネルのスペクトル圧縮を定量化するために全ての前記チャンネルの前記パワースペクトル密度のゼロ要素の数（ｌ０−ｎｏｒｍ）を計算することと、
ゼロ要素の最小数を有するチャンネルを選択することと、
前記選択されたチャンネルから呼吸パターンを特定することとを備える、請求項９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の映像から被検体の呼吸パターンを判定するためのシステム及び方法に関する。
【背景技術】
【０００２】
呼吸事象の継続的な監視は、急性呼吸不全や肺疾患などの潜在的な致命的生理学的事象の検出に役立つことから、重要な臨床的要件である。広く使用されている既存の方法は、呼吸事象の機能である信号を生成する患者の胸部領域にわたって着用される接触センサ（肺活量計）を採用する。そのような装置は、正確にもかかわらず、不快感や精神的依存に関連している。さらにまた、呼吸事象の遠隔監視は、被検体との接触が世話人において病気の同様の兆候をもたらすことがあり且つ接触者追跡が非常に面倒になる、動物園における動物の監視、獣医スポット又はエボラ患者のような感染被検体の監視などの状況における用途を助けることができる。
【０００３】
最近、呼吸パターンの推定に関心があった。色変化単独に基づく方法は、浅い呼吸中は不正確であることが知られていることから、呼吸サイクルによって引き起こされる胸壁の動きを追跡することによって呼吸量の微妙な変化を検出するために３Ｄカメラ（又は深さセンサ）が利用されてきた。これらの方法は、大抵の場合、被検体が呼吸するのにともなって表面からの反射光において検出された色変化のみに依存するものよりも優れていると考えられている。これは、深さセンサが呼吸サイクルによって引き起こされる胸部領域における３Ｄ変動を利用するためである。さらに他の方法において、被験体についての呼吸パターンを特定するために胸部領域の３Ｄ表面マップのシーケンスを構築するために使用される予め指定されたパターン化された布が被検体によって着用される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、この技術分野において必要とされるものは、その被検体の映像から被検体の呼吸パターンを判定するためのますます洗練されたシステム及び方法である。
【課題を解決するための手段】
【０００５】
開示されているものは、その被検体の映像から被検体の呼吸パターンを判定するためのシステム及び方法である。本願明細書の教示のうちの１つの実施形態は、被検体の呼吸機能に対応する信号が映像をキャプチャするために使用される映像撮像装置の少なくとも１つの撮像チャンネルによって登録されることができる被検体の関心領域（ＲＯＩ）のＮ≧２個の時系列画像フレームを含む映像を受信することを含む。ＲＯＩは、Ｐ個の画素を含む領域を含む。持続時間Ｎの複数の時系列信号Ｓ１，・・・，ＳＰがＲＯＩ内の画素から生成される。特徴は、時系列信号のそれぞれから抽出される。抽出された特徴は、各特徴ベクトルが各時系列信号の全体の時間的配向を個々に定量化するＰ個のＭ次元特徴ベクトルに形成される。特徴ベクトルは、Ｋ個のクラスタにクラスタリングされる。クラスタのそれぞれにおける特徴ベクトルによって表される画素に対応する時系列信号は、各クラスタの代表的信号を得るために時間的方向に沿って平均化される。クラスタのうちの１つが距離メトリックを使用して選択される。選択されたクラスタの代表的信号に基づいて呼吸パターンが被検体について判定される。代表的信号から呼吸パターンを判定するための１つの実施形態は、非負値行列因子分解（ＮＭＦ）によるブラインドソース分離を含む。様々な実施形態が開示される。
【０００６】
上述した方法の特徴及び利点は、以下の詳細な説明から容易に明らかとなるであろう。
【０００７】
本願明細書において開示される主題の上記及び他の特徴及び利点は、添付図面とあわせて以下の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【０００８】
【図１】図１は、成人被検体の正面図及び背面図である。
【図２】図２は、図１の被検体の関心領域の画像フレームをキャプチャする例示的な映像撮像装置を示している。
【図３】図３は、その被検体の映像から被検体についての呼吸パターンを判定するための本方法の１つの例示的な実施形態を示すフロー図である。
【図４】図４は、ノードＡに対して継続するフロー処理を有する図３のフロー図の続きである。
【図５】図５は、ノードＣに対して継続するフロー処理を有する図４のフロー図の続きである。
【図６】図６は、ノードＤ又はノードＥのいずれかに対して継続するフロー処理を有する図５のフロー図の続きである。
【図７】図７は、図３〜図６のフロー図に関連して記載される実施形態にかかる映像を処理するための１つの例示的な映像処理システム７００のブロック図である。
【図８】図８は、画素時系列（ＰＴＳ）信号及びそれに対する二次多項式フィッティングのローカルトレンドの表現の図である。
【図９】図９は、データに対して実行されるＮＭＦのチャンネルを示している。
【図１０】図１０は、図９のチャンネル１及び６に対応するＮＭＦチャンネルのパワースペクトル密度のｌ０−ｎｏｒｍにおける差異を示している。
【図１１】図１１は、本願明細書に開示される方法の出力と３Ｄ深さ検知カメラを使用する方法との間の一致を示している。
【図１２】図１２は、本願明細書に開示された方法を検証するために使用される第１の実験の結果の表１を示している。
【図１３】図１３は、本願明細書に開示された方法を検証するために使用される第２の実験の結果の表２を示している。
【発明を実施するための形態】
【０００９】
開示されているものは、その被検体の映像から被検体についての呼吸パターンを判定するためのシステム及び方法である。
【００１０】
当業者は、Ｌａｌｉｔ  Ｋ．  Ｍｅｓｔｈａ、Ｅｄｇａｒ  Ｂｅｒｎａｌ、Ｂｅｉｌｅｉ  Ｘｕ及びＳｕｒｖｉ  Ｋｙａｌによる組み込み参照のいくつかに開示されているように、画像フレーム、画素、撮像処理、画像フレームのバッチ処理から得られた画素値から時系列信号を生成するための方法の様々な態様を容易に理解するであろうし、信号処理技術の実用的知識を有するであろうことが理解されるべきである。そのような人はまた、基礎となるソースの線形混合から構成された観察セットから独立したソース信号成分を解明するための方法を容易に理解するであろう。調査のために、「Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ」、Ｗｉｌｅｙ（２００１）、ＩＳＢＮ−１３：９７８−０４７１４０５４０５、及び、「Ｂｌｉｎｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ：  Ｔｈｅｏｒｙ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ」、Ｗｉｌｅｙ（２０１４）、ＩＳＢＮ−１３：９７８−１１１８６７９８４５を参照のこと。当業者はまた、非負値行列因子分解を達成するために必要とされるような多変量解析及び線形代数を含むアルゴリズムの実用的知識を有するであろう。ＮＭＦアルゴリズムの調査のために、「Ｎｏｎｎｅｇａｔｉｖｅ  Ｍａｔｒｉｘ  ａｎｄ  Ｔｅｎｓｏｒ  Ｆａｃｔｏｒｉｚａｔｉｏｎｓ：  Ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  Ｅｘｐｌｏｒａｔｏｒｙ  Ｍｕｌｔｉ−Ｗａｙ  Ｄａｔａ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｂｌｉｎｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ」、Ｗｉｌｅｙ（２００９）、ＩＳＢＮ−１３：９７８−０４７０７４６６６０を参照のこと。
【００１１】
「被検体」は、生物を意味する。用語「個人」又は「患者」は、本願明細書全体にわたって使用されることができるが、被検体は、例えば霊長類などのヒト以外のものであってもよいことが理解されるべきである。したがって、そのような用語の使用は、添付した特許請求の範囲を、呼吸機能を有する人間に厳密に限定するものとみなされるべきではない。図１は、成人の前方（正面）図１０１及び後方（背面）図１０２を示している。映像内の被検体は、被検体の映像が有線又は無線ネットワークを介してワークステーションに通信接続されている医師から任意距離だけ離れることができる。
【００１２】
「呼吸機能」は、通常は理解されるように、肺に空気を吸入して後の呼吸休止によって空気を肺から吐き出すプロセスである。肺及び胸壁の膨張及び収縮は、被検体の映像にキャプチャされる被検体の身体の動きを誘導する。
【００１３】
「映像」は、被検体の呼吸機能に対応する信号がその映像を取得するために使用される映像撮像装置の少なくとも１つの撮像チャンネルによって登録されることができる被検体の１つ以上の関心領域のキャプチャされた複数の時系列画像フレームを意味する。映像はまた、音声、時間、日付、基準信号、フレーム情報などの他の成分を含むことができる。映像は、動き誘発ボケ、撮像ボケ又は遅い発光変動を補償するために処理されることができる。映像はまた、コントラストや明るさを向上させるために処理されることができる。独立領域の選択は、例えば、露出した皮膚の領域を含む領域などの映像内の所定のコンテンツを強調するために使用することができる。カメラに関連するノイズや環境要因が時系列信号の抽出に悪影響を与える場合、補償は、Ｍｅｓｔｈａらによる文献「Ｒｅｍｏｖｉｎｇ  Ｅｎｖｉｒｏｎｍｅｎｔ  Ｆａｃｔｏｒｓ  Ｆｒｏｍ  Ｓｉｇｎａｌｓ  Ｇｅｎｅｒａｔｅｄ  Ｆｒｏｍ  Ｖｉｄｅｏ  Ｉｍａｇｅｓ  Ｃａｐｔｕｒｅｄ  Ｆｏｒ  Ｂｉｏｍｅｄｉｃａｌ  Ｍｅａｓｕｒｅｍｅｎｔｓ」に開示された方法を用いて達成することができる。映像は、本願明細書において開示される方法での処理のために受信される。
【００１４】
「映像の受信」は、広く解釈されるように意図され、処理するために映像画像フレームを検索、キャプチャ、取得又は獲得する他の方法を含む。映像は、ネットワークを介して遠隔装置から又はＣＤＲＯＭ若しくはＤＶＤなどの媒体から受信されるか又は取得されることができる。映像は、本願明細書に開示される方法にしたがって処理のために映像を利用可能とするウェブベースのシステム又はアプリケーションからダウンロードされてもよい。映像はまた、ハンドヘルド携帯機器で利用可能であり且つ携帯電話又はｉＰａｄ（登録商標）やタブレットＰＣなどの他のハンドヘルドコンピューティング装置において処理されるものなどのアプリケーションから受信することができる。ユーザは、処理のために映像の画像フレームのサブセットを選択することができる。映像は、映像撮像装置のメモリ又は記憶装置から直接受信することができる。
【００１５】
「映像撮像装置」は、映像をキャプチャ又は取得するための単一チャンネル又はマルチチャンネル映像カメラを意味する。映像撮像装置は、カラー映像カメラ、モノクロ映像カメラ、赤外線映像カメラ、マルチスペクトル映像撮像装置、ハイパースペクトル映像カメラ又はそれらの任意の組み合わせを含むハイブリッド装置を含む。１つの実施形態において、ハイブリッド映像撮像装置は、カラー及び赤外線画像の双方をキャプチャする。映像撮像装置は、ウェブカメラであってもよい。図２は、図１の被検体の関心領域１０３の画像フレームを（２０１において個別に）キャプチャする例示的な映像撮像装置２００を示している。映像撮像装置は、画像フレームが本願明細書に開示された方法にしたがって処理のために受信される、無線ネットワークを介してコンピュータワークステーションなどの遠隔装置との双方向通信を達成するアンテナとして示される通信要素２０２を有して示されている。映像カメラは、受光した反射光を集束するように機能する１つ以上のレンズを含む。集束されてフィルタリングされた光は、多次元グリッドに沿った複数の画素位置における強度値を独立して記録する１つ以上の光検出器へ向けられる。受光した光は、画像を形成するために空間的に分解される。被検体の映像をキャプチャするために使用される映像撮像装置が、赤色、緑色、青色（ＲＧＢ）チャンネルを有するカラー映像カメラである場合、輝度成分は、画素毎における撮像チャンネルのいずれか又は組み合わせから得ることができる。映像撮像装置は、メモリ、記憶装置、及び、本願明細書の教示にしたがって受信した映像を分析するための機械読み取り可能なプログラム命令を実行するための１つ以上のマイクロプロセッサを備える映像分析モジュールを組み込むことができる。そのような映像分析モジュールは、全体的に又は部分的に、単独で又は１つ以上のハードウェア資源と連携して作動するソフトウェアアプリケーションを備えることができる。ソフトウェアアプリケーションは、異なるハードウェアプラットフォーム上のプロセッサによって実行されるか又は仮想環境でエミュレートされることができ、既製のソフトウェアを利用することができる。受信した映像は、１つ以上の関心領域を分離するために処理される。
【００１６】
「関心領域」は、呼吸機能に対応する呼吸信号がその映像をキャプチャするために使用される映像撮像装置の少なくとも１つの撮像チャンネルによって登録されることができる映像撮像装置のアパチャを介してみられるような被検体の少なくとも部分的な視点を意味する。そのような領域は、呼吸サイクル中に移動する身体の領域である。呼吸サイクル中に移動する身体領域は、胸部領域と、鼻孔、唇、頬などの顔領域とを含む。関心領域は、Ｐ≧２個の画素を含む。図１は、成人の前方（正面）図１０１及び後方（背面）図１０２を示している。図１の実施形態において、関心領域１０３及び１０４は、それぞれ、被検体の前方胸部領域及び後方胸部領域の外形を示し、呼吸信号は、映像撮像装置によって取得することができる。呼吸機能に関連する信号はまた、顔領域１０５において映像撮像装置によって検出されることができる。関心領域は、露出した皮膚の領域又はシート若しくは衣類によって覆われた領域であってもよい。関心領域はまた、ユーザ入力又は選択によって画像フレーム内で特定することができる。例えば、システムセットアップ及び構成中に、オペレータ又は技術者は、モニタ又は表示装置上に表示された被検体の映像の１つ以上の領域の周囲にゴムバンドボックスを手動で描くためにマウス又はタッチスクリーンディスプレイを使用することができ、それによって関心領域を画定する。関心領域内の画素は、処理のために分離される。
【００１７】
関心領域における「画素分離」は、色、テクスチャ、空間的特徴、顔認識、パターン認識、胸部領域認識などのオブジェクト識別、及び、スペクトル情報に基づく画素分類を含む画像処理分野において確立された技術の広いアレイのいずれかを使用して達成することができる。画素は、必要に応じて、重み付けされ、平均化され、正規化され又は廃棄されることができる。関心領域からの画素は、処理のためにともにグループ化することができる。画素のグループは、ノイズを低減するために空間的にフィルタリング又は振幅フィルタリングすることができる。時系列信号は、分離された個々の画素又は画素のグループについて生成される。
【００１８】
「時系列信号」は、呼吸機能に起因する動きに関連する周波数成分を含む信号である。時系列信号は、時系列画像フレームの所望のセットにわたって時間的方向において関心領域において分離された画素値から生成される。信号は、望ましくない周波数を除去するために正規化されてプレフィルタリングされることができる。時系列信号の一部又は全てが重み付けされてもよい。ｆＬ及びｆＨが被検体の周期的な呼吸速度の関数である低カットオフ周波数ｆＬ及び高カットオフ周波数ｆＨを有するフィルタが信号をフィルタリングするために使用されてもよい。カットオフ周波数は、被検体の呼吸器健康状態及び年齢の関数であってもよい。一般に理解されるように、望ましくない成分を排除しながらフィルタが所望の成分を保持するようにフィルタのカットオフ周波数が選択されることが好ましい。時系列信号は、有線又は無線ネットワークを介してワークステーションなどの遠隔装置から受信されるか又は取得されることができ、映像は、リアルタイムで時系列信号の生成のために遠隔装置に通信されている。そして、特徴は、時系列信号から抽出され、ベクトルに形成される。
【００１９】
「特徴ベクトル」は、時系列信号から抽出された特徴を含む。ベクトルを生成する方法は、数学分野においてよく理解されている。１つの実施形態において、特徴は、時系列信号の１つ以上の信号セグメントに対する二次多項式フィッティングの係数である。他の実施形態において、それぞれの時系列信号から抽出された特徴は、信号の固有の特徴、フィルタの係数、離散コサイン変換の係数、及び、ウェーブレット変換の係数である。追加の特徴は、さらに、強度値、画像フレームにおける画素位置、時間／基準データ、隣接するフレーム間の画素移動量などの動き成分情報、信号の標準偏差、信号の二乗平均平方根値、信号のノルム、吸気終了及び呼気終了点における信号値、これらの点の間隔、深い学習アルゴリズムから得られた特徴などを含むことができる。関心領域内の画素はグループ化することができ、それらの平均値、中央値、標準偏差又は高次の統計量が計算され、各特徴ベクトルに加算された。値は、例えば、映像撮像装置の撮像チャンネルのそれぞれから得られた画素値の代数和などの特徴として集約して使用することができる。そのような代替は、添付した特許請求の範囲内に含まれるように意図される。特徴ベクトルは、好ましくは、それらの時間的な配列に応じてＫ≧２個のクラスタにクラスタリングされる。
【００２０】
「クラスタ」は、時系列信号から抽出された１つ以上の特徴を含む。クラスタを形成するための方法は、当該技術分野において理解されるようなＫ−平均テスト、（リンデ−ブゾ−グレーアルゴリズムなどの）ベクトル量子化、制約付きクラスタリング、ファジィクラスタリング、最近傍クラスタリング、線形判別分析、ガウス混合モデル及びサポートベクトルマシンを含む。クラスタリングは、教師なしとすることができる。クラスタリング目的のために特徴間での識別を容易とするために様々な閾値が使用されてもよい。クラスタは、呼吸器疾患、呼吸関連事象、病歴などの先験的知識に基づいてラベル付けされることができる。クラスタは、手動で又は自動で形成されることができる。クラスタのそれぞれにおける特徴ベクトルによって表される画素に対応する時系列信号は、各クラスタの代表的信号を得るために時間的方向において平均化される。信号をともに平均化するための方法は、数学分野において確立されている。クラスタのうちの１つが選択される。
【００２１】
「クラスタ選択」は、手動で又は自動で複数のＫ個のクラスタから１つのクラスタを特定又は選択することを意味する。自動クラスタ選択のための１つの実施形態において、以下に記載されるスペクトル圧縮アプローチが使用される。他の実施形態において、クラスタ選択は、例えば、被検体の呼吸パターンを表す既知の基準信号に対するユークリッド、マハラノビス、バタチャリヤ、ハミング又はヘリンガー距離などの距離メトリックに基づいている。距離メトリックは、例えば、クラスタの中心、クラスタの境界要素又はクラスタ内の少なくとも一部の特徴の加重和との関係で判定することができる。さらに他の実施形態は、例えば、ユーザがマウスやキーボードを介して選択を行うことによって作成することができる所望のクラスタの手動選択である。選択されたクラスタの代表的信号は、被検体についての呼吸パターンを特定するために分析される。
【００２２】
「呼吸パターン」は、一般に医療分野において理解されているように、正常呼吸、緩徐呼吸、頻呼吸、呼吸低下、無呼吸、クスマウル、チェーン−ストークス、ビオ、運動失調、持続性吸息、末期及び胸腹部などの正常な呼吸パターン又は異常な呼吸パターンを含む。映像ストリームからの被検体についての呼吸パターンの分離及び特定を容易とするために独立成分分析法及び／又は非負値行列因子分解が使用される。
【００２３】
「独立成分分析」（ＩＣＡ）は、（無相関要因ではなく）データにおいて統計的に独立な因子を探すことによってソース信号内の独立成分（ＩＣ）を暴く分解技術である。得られた要素の順序は任意である。一般に、ＩＣＡは、追加の制約なしにさらに小さくすることができない固有の不確定性を有する。回復された信号は、例えば、適切なサイズの移動ウィンドウを有する移動平均フィルタを使用してフィルタリングすることができる。回復された信号はまた、例えば、ＦＦＴベース位相保存フィルタ、ゼロ位相ディジタルフィルタ、線形時不変（ＬＴＩ）フィルタ、線形時変（ＬＴＶ）フィルタ、有限インパルス応答（ＦＩＲ）フィルタ、無限インパルス応答（ＩＩＲ）フィルタ又はメディアンフィルタなどの非線形フィルタを使用してフィルタリングすることができる。
【００２４】
「制約付き独立成分分析」（ｃＩＣＡ）は、制約として基準呼吸信号を使用して付加的なサブ成分に信号を分離する関連分解技術である。当業者は、いくつかの制約が古典のＩＣＡ等価特性を侵害することから、全ての制約がｃＩＣＡについて使用することができるわけではないことを理解するであろう。追加の条件は、例えば、基礎となる信号の成分を分離するグローバル最適解をみつけるのを助けるためにスパース分解又は四次キュムラントを使用してコントラスト関数に組み込むことができる。
【００２５】
「非負値行列因子分解」（ＮＭＦ）は、３つ全ての行列が負の要素を有しない特性で行列Ｖが行列Ｗ及びＨに因数分解される多変量解析及び線形代数におけるアルゴリズムのグループである。呼吸機能に関連する周波数成分を有する信号処理などの用途において、非負値は固有のものである。通常、列数Ｗ及び行数Ｈは、Ｖ＝ＷＨ＋Ｕであるように、積ＷＨがＶに対する近似であるようなものである。ここで、Ｕは残差行列である。残差行列の要素は、正又は負のいずれかとすることができる。Ｗ及びＨがＶよりも小さいとき、それらは、動作するのが容易となる。ＮＭＦは、固有のクラスタリング特性を有する、すなわち、それは入力データＶ＝（ｖ１，・・・，ｖｎ）の列を自動的にクラスタリングすることに留意すべきである。１つの実施形態において、被検体の少なくとも２つの呼吸サイクルのウィンドウが画定され、ウィンドウ内のＮＭＦチャンネル上でパワースペクトル密度（ＰＳＤ）が計算される。ＰＳＤのゼロ要素の数（ｌ０−ｎｏｒｍ）は、全てのチャンネルのスペクトル圧縮を定量化するように全てのＮＭＦチャンネルから計算され、ゼロ要素の最小数を有するチャンネルは、関心のあるチャンネルとして選択される。その後、呼吸パターンは、選択されたチャンネルから被検体について特定されることができる。そして、被検体について特定された呼吸パターンは、乳幼児突然死症候群、幼児呼吸窮迫症候群、慢性閉塞性肺疾患、呼吸窮迫、無呼吸、肺疾患、肺線維症、気胸、喘息、気管支炎、肺気腫及び呼吸不全のうちのいずれかを判定するために訓練された施術者によって使用されることができる。呼吸速度、すなわち、所定の時間単位にわたって被検体によって行われた呼吸数は、被検体の呼吸パターンから容易に確認することができる。
【００２６】
「受信」、「抽出」、「形成」、「クラスタリング」、「平均化」、「選択」、「判定」、「実行」、「フィルタリング」などの方法ステップは、信号処理分野において知られているような様々な信号処理技術及び任意の特定の状況又は任意の特定の目的に応じた様々な数学演算のいずれかの用途を含むことを理解すべきである。そのようなステップは、目的の機能を効果的に行うことができるように、機械読み取り可能なプログラム命令を実行するマイクロプロセッサによって容易とすることができるか又は達成されることができることが理解されるべきである。
【００２７】
その被検体の映像から被検体についての呼吸パターンを判定するための本方法の１つの実施形態を示す図３のフロー図がここで参照される。フロー処理は、ステップ３００において開始し、直ちにステップ３０２に進む。
【００２８】
ステップ３０２において、呼吸機能に対応する信号が映像撮像装置の少なくとも１つの撮像チャンネルによって登録されることができる被検体の映像を受信する。
【００２９】
ステップ３０４において、映像の時系列画像フレームの所望のセットにおいて少なくとも１つの関心領域（ＲＯＩ）における画素を分離する。
【００３０】
ステップ３０６において、分離された画素のそれぞれについて、サンプルが時系列画像フレームにわたる時間的方向における各画素値である時系列信号を生成する。
【００３１】
ステップ３０８において、処理するために第１の時系列信号を選択する。
【００３２】
ステップ３１０において、選択された時系列信号から特徴を抽出する。
【００３３】
ステップ３１２において、抽出された特徴から特徴ベクトルを形成する。
【００３４】
ノードＡに対して継続するフロー処理を有する図３のフロー図の続きである図４のフロー図がここで参照される。
【００３５】
ステップ３１４において、任意のより多くの時系列信号が処理されるかどうかの判定が行われる。そうである場合、ノードＢに対して処理を反復し、ステップ３０８において、処理するために次の時系列信号が選択されるか又は特定される。この次の時系列信号から特徴が抽出され、特徴ベクトルに形成される。これ以上の時系列信号が選択されるようには残っていないまで処理を同様に反復する。
【００３６】
ステップ３１６において、特徴ベクトルをＫ個のクラスタにクラスタリングする。１つの実施形態において、Ｋ＝６個のクラスタである。
【００３７】
ステップ３１８において、Ｋ個のクラスタのセットから第１のクラスタを選択する。
【００３８】
ステップ３２０において、このクラスタの代表的信号を得るために選択されたクラスタにおける特徴ベクトルによって表される画素に対応する時系列信号を時間的方向において平均化する。
【００３９】
ステップ３２２において、より多くのクラスタが選択されるように残っているかどうかが判定される。そうである場合、ステップ３１８に関して処理を反復し、次のクラスタが処理のためにＫ個のクラスタのセットから選択されるか又は特定される。この次の選択されたクラスタにおける特徴ベクトルによって表される画素に対応する全ての時系列信号は、このクラスタの代表的信号を得るために平均化される。これ以上のクラスタが処理されるようには残っていないまで処理を同様に反復する。
【００４０】
ノードＣに対して継続するフロー処理を有する図４のフロー図の続きである図５のフロー図がここで参照される。
【００４１】
ステップ３２４において、Ｋ個のクラスタのセットからクラスタのうちの１つを選択する。この選択は、距離メトリック又はスペクトル圧縮方法に基づくことができる。
【００４２】
ステップ３２６において、選択されたクラスタの代表的信号に基づいて被検体についての呼吸パターンを判定する。
【００４３】
ステップ３２８において、呼吸パターンから被検体についての呼吸速度を判定する。
【００４４】
ステップ３３０において、表示装置に対して呼吸パターン及び呼吸速度を通信する。
【００４５】
ステップ３３２において、医療専門家によって定義されるように、被検体の呼吸パターン及び呼吸速度が許容可能なパラメータ内にあるかどうかが判定される。１つの実施形態において、警告状態が存在するかどうかを判定するために人工知能アルゴリズムが使用される。そうでない場合、ノードＤに対して処理を継続する。それ以外は、ノードＥに対して処理を継続する。
【００４６】
ノードＤ又はノードＥのいずれかに対して継続するフロー処理を有する図５のフロー図の続きである図６のフロー図がここで参照される。
【００４７】
ステップ３３４において、警告信号を開始する。警告信号は、医師又は医療応答センタに送信することができる。警告信号は、例えば、病院、医師のオフィス又は医療キオスクなどの遠隔場所においてモニタ上で点滅する警告又はメッセージを含むことができる。そのような通知は、看護師、家庭医又は呼吸療法士に送信されたテキストメッセージの形態をとることができる。そのような通知は、警告状態の性質を示す予め録音された音声、テキスト又は映像メッセージを含むことができ、さらに、名前、住所、連絡先情報、ＧＰＳ座標を介した現在位置などの患者に関する情報を含むことができる。そのような通知は、様々な形態のいずれかをとることができ、特定の環境に依存するであろう。本願明細書の教示は、それらの使用目的を見出す。他の実施形態において、警告信号が開始されるときにさらなる処理が停止する。
【００４８】
ステップ３３６において、呼吸機能についてこの被検体の監視を継続するかどうかの判定が行われる。そうでない場合、この実施形態において、さらなる処理が停止する。それ以外は、ノードＦに対して処理を継続し、ステップ３０２において、被検体の他の映像（又は複数の映像）が処理するために受信される。処理が同様に反復される。映像は、ワークステーションに対して継続的ベースでストリーミングすることができ、その場合、映像撮像装置がオフにされてこれ以上の被検体の映像が受信されなくなるまで、フロー処理をリアルタイムで継続的に反復されるであろうことを理解すべきである。
【００４９】
本願明細書に示されたフロー図は例示である。フロー図に示されている動作のうちの１つ以上は、異なる順序で実行されてもよい。他の動作が追加、変更、強化又は統合されてもよい。それらの変形は、添付した特許請求の範囲内に含まれるように意図される。
【００５０】
図３〜図６のフロー図に関して記載された実施形態にしたがって映像を処理するための一例示的な映像処理システム７００のブロック図を示している図７がここで参照される。
【００５１】
映像受信機７０１は、図２の映像撮像装置２００から送信された映像を、アンテナ７０２を介して無線受信する。画素分離部７０３は、受信した映像を処理し、関心領域内の画素を分離するために進む。時系列信号生成器７０４は、時系列画像フレームの定義された期間にわたって時間的方向において、分離した画素のそれぞれについてあるいは分離した画素のグループについての時系列信号を生成する。特徴抽出部７０５は、時系列信号を受信し、それらの信号から特徴を抽出する。抽出された特徴は、特徴ベクトルに形成され、記憶装置７０６に記憶される。クラスタ生成器７０７は、記憶装置から特徴ベクトルを取得し、特徴ベクトルをＫ個のクラスタにソートする。信号平均化モジュール７０８は、各クラスタについて代表的信号（７０９において総称）を得るためにクラスタのそれぞれにおける特徴ベクトルのそれぞれに関連する時系列信号を平均化する。クラスタセレクタ７１０は、距離メトリックに基づいてクラスタのうちの１つを自動的に選択する。あるいは、ユーザは、例えば、図７のコンピュータワークステーションを使用してクラスタのうちの１つを手動で選択する。呼吸パターン判定器７１１は、選択されたクラスタを受信し、選択されたクラスタの対応する関連する代表的信号に基づいて、被検体についての呼吸パターンを判定する。呼吸速度判定部７１２は、被検体の呼吸パターンに基づいて被検体についての呼吸速度を判定する。警告発生器７１３は、許容可能なパラメータの範囲内ではない呼吸パターン及び呼吸速度の１つ又は双方に応答してアンテナ７１４を介して警告信号を発する。中央処理装置（７１５）は、メモリ７１６から機械読み取り可能なプログラム命令を取得し、システム７００のモジュールのいずれかの機能を容易とするように設けられている。単独で又は他のプロセッサと連携して動作するＣＰＵ７１５は、システム７００とワークステーション７２０との間の通信を容易とするとともに、システム７００のモジュール又は処理ユニットのいずれかの機能を支援するか又は実行するように構成されることができる。
【００５２】
ワークステーション７２０は、プロセッサ及びメモリを有するマザーボード、ネットワークカード、ビデオカード、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープなどの機械読み取り可能な媒体７２２への書き込み／読み出しが可能なハードドライブなど、並びに、コンピュータワークステーションの機能を実行するのに必要であるような他のソフトウェア及びハードウェアなどの様々な構成要素を収容するコンピュータケースを有する。ワークステーションは、システム７００のモジュール又は処理ユニットのいずれかによって生成されるか又は作成される情報、振幅、特徴ベクトル、計算値、医療情報、検査結果などを表示するためのＣＲＴ、ＬＣＤ又はタッチスクリーンディスプレイなどの表示装置７２３を含む。ユーザは、任意のそのような情報をみることができ、それに表示された各種メニューオプションから選択を行うことができる。キーボード７２４及びマウス７２５は、ユーザの入力や選択を達成する。
【００５３】
ワークステーション７２０は、オペレーティングシステム、及び、本願明細書に開示された方法の様々な態様を実行するために必要な情報を入力、選択、変更及び受け付けるための英数字値、メニュー、スクロールバー、ダイヤル、スライド可能バー、プルダウンオプション、選択ボタンなどを表示するように構成された他の特別なソフトウェアを有することが理解されるべきである。ユーザは、関心のある画像フレームのセットを特定し、特徴を定義し、クラスタを選択し、様々なパラメータを設定し、システム７００のモジュール又は処理ユニットのいずれかの機能を容易とするために、ワークステーションを使用することができる。ユーザ又は技術者は、適切と判断されるように特徴ベクトルのいずれかを変更、追加又は削除するためにワークステーションを利用することができる。ユーザ又は技術者は、適切と判断されるように、クラスタをさらに定義し、クラスタを追加し、クラスタを削除し、クラスタを結合し、様々なクラスタに特徴ベクトルを移動するためにワークステーションを利用することができる。ユーザは、利用される様々なパラメータを調整することができるか、又は、時系列信号を捕捉するために使用されるシステム又は任意の装置の設定をリアルタイムで動的に調整することができる。ユーザ入力及び選択は、記憶装置７０６、７２２及び７２６のいずれかで記憶／取得されることができる。デフォルト設定及び初期パラメータは、記憶装置のいずれかから取得することができる。警告発生器７１３によって開始される警告信号が受信され、ワークステーションの表示装置７２３上でみることができる、及び／又は、有線、無線若しくはセルラー通信プロトコルを利用することができるネットワーク７２８を介して１つ以上の遠隔装置に通信することができる。デスクトップコンピュータとして示されているが、ワークステーションは、ラップトップ、メインフレーム、タブレット、ノートブック、スマートフォン、又は、ＡＳＩＣなどの専用コンピュータなどであってもよいことが理解されるべきである。ワークステーションの実施形態は例示であり、当該技術分野において知られている他の機能を含んでもよい。
【００５４】
ワークステーションは、記憶装置７２６内のデータベースを実装し、患者記録は、クエリに応答して記憶、操作及び検索される。そのような記録は、様々な実施形態において、患者を特定する情報に関連付けて記憶された患者病歴の形態をとる（７２７において総称）。データベース７２６は、記憶装置７０６と同じであってもよく、又は、別個の装置の場合には、いずれかの装置に含まれる情報の一部又は全てを含んでもよいことが理解されるべきである。データベースは、外部装置として示されているが、データベースは取り付けられたワークステーションの内部、例えば、その中のハードディスク上にあってもよい。
【００５５】
ワークステーションの構成要素のいずれかは、システム７００のモジュール又はそれと通信するように配置された任意の装置のいずれかと通信するように配置されてもよい。また、システム７００のモジュールのいずれかは、記憶装置７２６及び／又はコンピュータ読み取り可能な媒体７２２と通信するように配置されることができ、それらの意図された機能を実行するために必要に応じて、データ、変数、レコード、パラメータ、機能、及び／又は、機械読み取り可能／実行可能なプログラム命令をそこから記憶／取得することができる。さらに、システム７００のモジュール又は処理ユニットのいずれかは、ネットワーク７２８を介して１つ以上の遠隔装置と通信するように配置されることができる。システム７００のモジュール又は処理ユニットのいずれかによって実行される機能の一部又は全ては、ワークステーションによって全体的に又は部分的に実行されることができることが理解されるべきである。示された実施形態は例示であり、その構成に対して厳密に添付した特許請求の範囲を限定するものとみなされるべきではない。様々なモジュールは、順次、意図された機能を実行するように設計されたソフトウェア及び／又はハードウェアを含むことができる１つ以上の構成要素を指定することができる。
【００５６】
２５歳から４０歳の年齢の５人の被検体（男女双方）のそれぞれは、既知の呼吸パターンを生成するために呼吸するように指示した。すなわち、彼らは、５〜６サイクルについて最初に正常に呼吸するのを許可され、その後、数秒間の正常な呼吸期間に続く短時間だけ呼吸を保持するように要求された。この実験の全期間中に、被検体の側面図をキャプチャする消費者グレードの２ＤのＲＧＢカメラと、被検体に面する３Ｄ深さ検知カメラとを用いて映像が撮像された。２Ｄカメラは、６４０×４８０画素の解像度及び毎秒３０フレームのフレームレートでＡＶＩ形式の映像を記録するために使用されたラップトップコンピュータに接続された通常のＲＧＢウェブカメラ（解像度０．３ＭＰ）である。深さ検知について、マイクロソフト・キネクトカメラを使用した。２つの実験条件は、本方法の有効性を定量化するために考えられた。
（ｉ）３Ｄカメラの出力によって本方法の出力の（予め定義された意味で）近さを計算する。それをベースライン平均ベースの処理方法の出力と比較する。３Ｄカメラの出力は、既に呼吸パターンが深さ検知方法を用いて得ることができることが確立されているため、グランドトゥルースを取得する方法と考えられた。
（ｉｉ）合計スペクトルエネルギに対して呼吸帯域（毎分５から３０サイクル）内のスペクトルエネルギとして定義される−ベースライン信号及び本方法の出力についての信号対雑音比（ＳＮＲ）を計算する。
【００５７】
検証前に、全ての信号は、公平な比較を保証するために０から１の値を有するようにスケーリングされた。信号ｓ１及びｓ２の近さは、信号ｓ１及びｓ２のパワースペクトル密度の差異のｌ０−ｎｏｒｍによって定量化された。これは、信号ｓ１及びｓ２の時間的な近さの定量化を容易とした。したがって、この測定が少ないほど、信号間の一致が多い。
【００５８】
データ抽出に向けた第１のステップとして、関心領域内の各画素によって提供される情報は、以下を使用してノイズから信号を抽出するために別個に分析された。
１．映像は持続期間Ｎからなり、関心領域における画素数Ｐがあった。
２．ＲＧＢチャンネルのうちの１つから（我々は任意に赤色を選択した）、Ｐ個の時系列は持続時間Ｎのそれぞれが抽出され、そのサンプルは、各時間間隔（フレーム数）における各画素の値である。得られたＰ個の時系列信号のそれぞれが画素時系列（ＰＴＳ）信号として参照される。
【００５９】
ＰＴＳの数Ｐ’＜Ｐのみが実際の呼吸情報に対応したと仮定されたことから、適切に選択された特徴表現のもとに、有用な信号情報が含まれるＰＴＳをグループにクラスタリングすることを前提とするのが合理的であった。利用されたものは、特徴によって表されるＰＴＳの教師なしクラスタリングであった。
【００６０】
呼吸速度がゆっくりと変化する生理的現象であることが知られているので、呼吸値の変化を表す任意の信号の合理的に小さなセグメントは、合理的な精度で滑らかな二次多項式で近似することができると仮定した。この仮定に基づいて、各ＰＴＳは、それの小さな部分にフィッティングする二次多項式の係数のセットで表された。具体的には、長さＮの各ＰＴＳは、それぞれ長さＮ＝５の５つの部分に直線的に分割された。その後、二次多項式は、サブ部分のそれぞれに最小二乗アプローチを使用してフィッティングした。ＰＴＳの全てのサブ部分は、それに二次多項式フィッティングの３つの係数によって表されたことから、ＰＴＳ全体は、１５次元ベクトルによって表された。ＰＴＳのサブ部分のいずれかに対するサンプル多項式フィッティングが図８に示されている。信号のローカルトレンドは、それに対する多項式フィッティングによってよく表されていることがわかる。
【００６１】
それゆえに抽出された１５次元の特徴ベクトルは、全てのＰＴＳの全体の時間的方向（又は形状）を定量化することに留意されたい。したがって、非常に類似する時間的方向（又は形状）を有するそれらのＰＴＳは、１５次元の特徴空間における近接したベクトルを生じるべきである。この観察に基づいて、Ｐ個の１５次元ベクトルは、ユークリッド距離に基づいてＫ−平均クラスタリングアルゴリズムを使用して教師なしフレームワークにおいてＫ個のグループにクラスタリングされた。さらに、代表的なＰＴＳ（ＲＰＴＳと表記）は、指定されたクラスタ内の全てのＰＴＳの時間的方向に沿ってアンサンブル平均を行うことによってクラスタのそれぞれから形成された。これは、Ｋ個のＲＰＴＳをもたらした。クラスタリング手順は、それらの時間的配列に応じてグループ化されたＰＴＳを記載した。しかしながら、クラスタの１つが呼吸変動において正しい傾向を常に正しく表していることを保証するものではない。これは、クラスタリングの誤差及び動きアーチファクトのためとすることができる。さらに、各ＲＰＴＳは、いくつかの現象の混合を表すことができる。
【００６２】
上述した欠点を軽減するために、非負値行列因子分解技術（ＮＭＦ）を使用してＲＰＴＳにおいてブラインドソース分離が実施された。ＲＰＴＳは、全て正である画素値であるため、ＮＭＦは、そのベース又はソースの１つとして呼吸パターンと非常に相関がある信号を生成する。ＮＭＦは、ＩＣＡ及びＰＣＡなどの他のブラインドソース分離技術と比較して現在の問題に対してより良好にフィッティングする。
（ｉ）ＰＣＡ及びＩＣＡは、呼吸パターンを表すＲＰＴＳの場合には常に真ではないことがある貢献ソースの厳格な統計的独立性基準を課す。
（ｉｉ）ＮＭＦは、貢献ソースが全て非負であること−ＲＰＴＳが全て正の画素値である場合を前提としている。
（ｉｉｉ）ＮＭＦは、チャンネル順序の不明瞭さを有しない。すなわち、チャンネルの順序及びそれらの振幅は、異なる時間に同じデータに適用された場合には、ＩＣＡの場合に変更されることがある。これは、前のバッチからの推定されたソース情報がデータの次のバッチに伝播される必要があるリアルタイム処理を困難とする。そのような不明瞭さは、ＮＭＦに存在しない。
【００６３】
データに対して実行されるＮＭＦのチャンネルが図９に示されている。チャンネル（チャンネル１及び５）の少なくとも一方は、グランドトゥルースとよく相関があることが明らかである。それゆえに、本方法は、平均ベースの推定手順を用いて得られた信号と比較して呼吸パターンの値の実際の変動とよく相関がある信号を少なくとも生成する旨を主張することができる。
【００６４】
ソースがＮＭＦを使用して分離されると、次のステップは、呼吸パターンに実際に対応するチャンネルを自動的に特定することである。このため、通常の呼吸パターンについて、呼吸信号が本質的に正弦波である傾向がある生理学的観察に基づいてスペクトル圧縮基準が使用される手順が実行された。純粋正弦波信号について、そのフーリエスペクトルは、その周波数でのインパルスのみから構成されることが知られている。これは、より広い範囲の周波数においてかなりの量のエネルギを有する非正弦波信号について一般にはあてはまらない。
【００６５】
被検体が少なくとも２〜３サイクルについて正常に呼吸すると仮定すると、呼吸パターンに対応するＮＭＦの正しいチャンネルを特定するために以下が使用された。
１．分析について２０秒のウィンドウを考える。これは、最小呼吸速度が毎分６サイクルであると仮定して、ウィンドウが少なくとも２つの呼吸サイクルを含むことを保証することであった。
２．このウィンドウ内のＮＭＦチャンネルのパワースペクトル密度（ＰＳＤ）を計算する。
３．全てのチャンネルのＰＳＤのｌ０−ｎｏｒｍ（非ゼロ要素の数）を計算する。これは、全てのチャンネルのスペクトル圧縮を定量化する。
４．関心のあるチャンネルとして最小のｌ０−ｎｏｒｍを有するチャンネルを選択する。
５．選択されたチャンネルからの呼吸パターンを特定する。
【００６６】
図１０は、図９のチャンネル１及び６について計算されたパワースペクトル密度を示している。これは、実際の呼吸パターンに近いチャンネルが雑音のあるチャンネルよりもはるかに疎であることを示している。チャンネル１についてのｌ０−ｎｏｒｍは、チャンネル６についてのもののほぼ１０分の１である。ＮＭＦの複数のチャンネルが実際の信号に対応することができることに注目すべきである。しかしながら、記載された手順は、正しいチャンネルのうちの１つを抽出した。
【００６７】
図１１は、本方法の出力及び深さセンサ方法のものを示している。双方の方法は、かなりの程度の正確さまで基礎となる呼吸パターンをキャプチャしたことがわかる。
【００６８】
図１２は、表１において一覧にされた第１の実験の結果を示している。２列目のエントリは、平均ベース方法（ベースライン−表１におけるＢＳ）を使用して得られた信号と深さセンサの出力（ＧＴ）との間において計算された親密メトリックの値である。３列目のエントリは、ＧＴと本方法の出力との間において計算された親密メトリックの値である。本方法の出力が平均ベース方法と比較してグランドトゥルースに近いことが一貫して観察される。
【００６９】
図１３は、表２において一覧にされた第２の実験の結果を示している。表２の２及び３列目のエントリは、それぞれ、平均ベース方法（ベースライン−ＢＳ）及び本方法を使用して得られた信号のＳＮＲである。これらの実験はまた、本願明細書に開示された方法が呼吸信号のＳＮＲを改善することを確認する。これらの実験は、本方法が２Ｄカメラを使用して取得された被検体の映像からの呼吸パターンと相関がある信号の抽出に比較的成功したことを示している。
【００７０】
結論として、本方法は、消費者グレードの２ＤのＲＧＢカメラからキャプチャされた映像からの呼吸パターンと相関がある信号を抽出するために本願明細書に開示した。我々は、被検体に対するカメラの所定の向きが抽出手順を良好に助けることができるという仮説を正確に立てた。我々は、画素単位レベルで映像信号を分析するための方法を採用した。画素時系列（ＰＴＳ）信号の時間的方向の類似性に基づいて多項式フィッティング及びＫ−平均クラスタリングを用いて画素時系列圧縮方法が使用された。クラスタリングから形成されたＰＴＳにおけるＮＭＦの使用は、ＮＭＦのチャンネルの１つが呼吸に正確に対応することを実証した。我々は、さらに、正確なチャンネルが本願明細書に開示された方法においてスペクトル圧縮基準を用いて自動的に選択されることができることを実証した。
【００７１】
本願明細書の教示は、関連技術の一般知識によって本願明細書において提供される機能的な説明から、過度の実験をすることなく適用可能な分野における当業者によって任意の公知の又は今後開発されるシステム、構造、装置及び／又はソフトウェアを使用してハードウェア又はソフトウェアにおいて実装されることができる。本願明細書に記載された方法の１つ以上の態様は、製品に組み込まれるように意図される。製品は、出荷、販売、リース、又は、単独で又は製品スイート若しくはサービスの一部として別個に提供されてもよい。
【図１】
2017006649.tif 000003
【図２】
2017006649.tif 000004
【図３】
2017006649.tif 000005
【図４】
2017006649.tif 000006
【図５】
2017006649.tif 000007
【図６】
2017006649.tif 000008
【図７】
2017006649.tif 000009
【図８】
2017006649.tif 000010
【図９】
2017006649.tif 000011
【図１０】
2017006649.tif 000012
【図１１】
2017006649.tif 000013
【図１２】
2017006649.tif 000014
【図１３】
2017006649.tif 000015