(57)【特許請求の範囲】
【請求項１】
呼吸機能がモニタリングされている対象被験者の獲得されたビデオから胸郭体積を決定する方法であって、
各々重なり合うスペクトル帯を有する少なくとも１つの構造化されたイルミネーション光源及び少なくとも１つの構造化されていないイルミネーション光源の双方からの反射されたエネルギーがフィルタリングを介して回復されるように、前記少なくとも１つの構造化されたイルミネーション光源の波長の範囲が前記少なくとも１つの構造化されていないイルミネーション光源の波長の範囲より狭くなるようにすることによって、前記少なくとも１つの構造化されたイルミネーション光源及び前記少なくとも１つの構造化されていないイルミネーション光源をスペクトル多重化することを含むと共に、画像の乱れを減少させるために、呼吸機能がモニタリングされている対象被験者の胸部の少なくとも部分的なビューを含む標的領域のビデオを積極的に取得するビデオシステムによって獲得されるシーンを照明する前記少なくとも１つの構造化されたイルミネーション光源及び前記少なくとも１つの構造化されていないイルミネーション光源を操作することと、
前記獲得された画像の各々について、獲得されたパターンの空間歪みが特徴付けられるように、歪みのない投影されたパターンの空間特性であって前記標的領域の表面からずれた前記獲得されたパターンの反射によって引き起こされる前記空間特性を知るために、前記獲得された画像における前記反射の空間特性を比較することと、
前記獲得された画像の各々について特徴付けられる、前記空間歪みから連続した深さマップを計算することと、
前記連続した深さマップでの深さマップの各々について、前記深さマップに対応する空間座標を決定し且つ前記連続した深さマップにおける各深さマップについて３Ｄ胸郭体積を推定することと、
試験室試験によって測定された胸郭体積の近似に推定された３Ｄ胸郭体積を変換する比例定数を用いて、前記対象被験者の胸郭体積を計算することと、
プロセッサを用いて、前記対象被験者の胸郭体積を記憶装置に記憶することと、
を備える、胸郭体積を決定する方法。
【請求項２】
前記標的領域は、前記対象被験者の前側の胸部、前記対象被験者の背胸体の後ろ側の領域、及び前記胸部のサイドビューのいずれかを備える、請求項１に記載の胸郭体積を決定する方法。
【請求項３】
前記３Ｄ胸郭体積を推定することに先立って、前記対象被験者の標的領域に対応する領域に前記深さマップを分割することを更に備える、請求項１に記載の胸郭体積を決定する方法。
【請求項４】
前記対象被験者の呼吸サイクル及び呼吸速度のいずれかを推定するために、経時的に、呼吸器胸部をトラッキングすることを更に含む請求項１に記載の胸郭体積を決定する方法。
【請求項５】
ビデオベースの画像判定化及び３Ｄ表面判定化のいずれかによって前記対象被験者の体の動きの現象を補償することを更に備える請求項１に記載の胸郭体積を決定する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、呼吸機能がモニタリングされている患者の胸部の少なくとも部分的なビューを含むビデオでキャプチャされた構造化されたイルミネーションパターンの反射歪みを解析することによって呼吸速度を推定するためのシステムおよび方法に関する。
【背景技術】
【０００２】
呼吸事象をモニタリングすることは致命的ともなり得る状態の早期発見に臨床的にもきわめて重要なことである。現在の技術では、人が常時着用しなければならない接触型センサを必要とする。このような必要条件は患者が不快感、依存性、尊厳の損失を感じることにつながり、さらには、モニタリング装置の着用拒否を含むさまざまな理由によって結果的にモニタリングの失敗に至ることもある。また、高齢者や乳幼児に至っては長時間のモニタリングによる悪影響を受けやすい傾向にある。したがって、患者に負担を掛けない非接触型の撮像ベースの呼吸機能モニタリング方法に対する要望は高まる一方である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来の方法は、被験者の対象となる部位のビデオ画像をキャプチャし心臓や呼吸機能に対する生理学上の測定値を取得するためにビデオプロセッシングを行ってきた。これらのシステムは、皮膚の露出部位から反射するフォトプレチスモグラフィ（光電式体積脈波記録）信号をトラッキングする。反射した信号は、脈動する血液量に関連する成分を識別して分離させるように処理される。皮膚の露出部位がない場合、ビデオカメラはこれらの信号を登録することができない。皮膚以外の部位の２次元（２Ｄ）ビデオの録画はモーションに関わる情報を含むが、モーションに基づく呼吸信号だけを単離させる従来の試みは依然として効を奏していない。本発明はこれらの欠点を克服するために提供されている。
【課題を解決するための手段】
【０００４】
本発明は対象被験者の胸部のビューを含むビデオにおいてキャプチャされた対象被験者の呼吸速度を推定するためのシステムおよび方法に関する。一実施形態において対象被験者の身体の標的部位のビデオを受信する。本明細書中により詳細に開示されているように、被験者の胸部部位のモーションがビデオに記録される。ビデオ画像コマは連続的な時系列信号を得るために処理される。その後、この信号は被験者の呼吸速度が単離される周波数情報を取得するために処理される。有利には、測定値は、患者に負担を掛けない様々な照射条件の設定下で得ることができる。本発明の教示は、呼吸速度の変化による生理学上の状態の突然の悪化の検出を助けるために特に集中治療室や自宅において有用な呼吸機能のモニタリングの非接触型のアプローチを提供する。本明細書中に開示されているシステムおよび方法は、接触しない呼吸機能の解析に有効なツールを提供する。
【図面の簡単な説明】
【０００５】
【図１】図１は、成人男性の前後それぞれを示す正面図と背面図である。
【図２】図２は、最大吸気と最大呼気を伴って７回の呼吸をする健常者の肺活量計の出力を示す図である。
【図３】図３は、構造化された光源によって照射された例示的なシーンと本発明の教示による呼吸速度推定のための被験者の胸部領域のビデオをアクティブに取得するビデオカメラとを示す図である。
【図４】図４は、三角測量に関して表されている撮像センサ、構造化された光プロジェクタ、オブジェクトの表面ポイントの互いの幾何学的関係を示す図である。
【図５】図５は、３つの投影パターンを有する位相シフトと１つの例示的なフリンジ画像とを示す図である。
【図６】図６は、本発明の例示的な一実施形態による位相アンラッピング処理を示す図である。
【図７】図７は、本発明の一実施形態によるパターン化された光源プロジェクタによって放たれた反射光を検知するために画像センサを使用するシステムを示す図である。
【図８】図８は、男性被験者からの測定値から得られた６０秒間の正規化されたゼロ平均値体積測定の時系列サンプル信号とトレンド除去された時系列信号を示す図である。
【図９Ａ】図９Ａは、トレンド除去前の呼吸信号のパワースペクトル密度曲線を示す図である。
【図９Ｂ】図９Ｂは、トレンド除去後（λ＝８０）の呼吸信号のパワースペクトル密度曲線を示す図である。
【図１０】図１０は、本発明の１つの例示的な実施形態による、呼吸機能がモニタリングされている対象被験者の呼吸速度を判断する方法を示す流れ図である。
【図１１】図１１は、図１０の流れ図に関して説明したように本発明の方法の様々な態様を実施するための１つの例示的なビデオプロセッシングシステムを示すブロック図である。
【発明を実施するための形態】
【０００６】
「対象被験者」とは、本発明の教示に基づいてこの被験者の呼吸速度を判断され得るように呼吸機能をモニタリングされている被験者をいう。図１は成人の前（正面図）１０１および後ろ（背面図）１０２を示す図である。標的部位１０３は被験者の前の胸部を概略的に示している。標的部位１０４は被験者の後ろの胸部を概略的に示している。本明細書で使用されているように、標的部位はまた、呼吸機能を行う被験者の身体の部位の任意のビューをさす。本明細書中の用語「人間」、「人」、または「患者」の使用によって添付クレームの範囲を人間の対象被験者のみに限定するものとして見なされるべきではないことを理解されたい。本発明の教示はやはり呼吸機能を持っている他の対象被験者にも等しく適用されるものである。このような更なる被験者としては、例えば、哺乳類、鳥類、魚類、爬虫類が挙げられる。
【０００７】
「呼吸機能」は肺に空気を吸い込み（吸息）、ガスを交換し、肺から空気を吐き出し（呼息）、その後の呼気後休止を含む多段プロセスである。空気の吸入は胸腔内にある肺を空気で満たして肺体積を拡大させる。空気の吸入は、横隔膜筋によって始動され、肋間筋によって補助される。通常の条件下では横隔膜は空気吸入の主要な駆動子である。横隔膜が収縮すると、胸郭が広がり、腹部の内容物が下方へ移動する。これによって胸部の体積が大きくなり胸部内側に負圧（大気圧に対して）が生じる。ガス交換は呼吸器系の主要機能である。ガスの分子が外部環境と肺回路内の血液循環系との間で交換される。この交換は、血液のみならず組織の酸素化し、体内から二酸化炭素や他の代謝性廃棄物を除去することを容易にする。ガス交換はまた身体の酸塩基平衡を維持するのを助ける。ガス交換の細胞メカニズムは圧力差の単純な現象によって行われる。外気圧が低い時は、空気は肺から周囲へ流れ出る。肺内部の空気圧が低い時にはこの反対のことが起こる。呼息は、吸息による膨張に反発して胸内圧力と外の大気圧力が平衡になるまで空気を無理に押し出すような肺組織の自然の弾性による受動的プロセスである。ろうそくを吹き消すときのような強制的な呼息の間、腹筋と内部肋間筋とを含む呼息筋は肺から空気を押し出すことを補助する腹圧と胸圧を生成する。深呼吸するときのような強制的な吸息の間、外肋間筋と付帯筋肉は胸腔を膨張させてより多くの空気を肺に取り込むのを補助する。積極的な吸息の間（毎分３５回の呼吸を超える速度）、または呼吸不全に近い場合に於いて、胸鎖乳突筋、広頸筋、首の斜角筋だけでなく、胸筋および呼吸の広背筋などの付帯筋肉が呼吸を補助するために必要とされる。肺と大気との圧力間の平衡化があれば、呼息後休止が発生する。呼息後休止の継続時間は、身体活動量が増えるにつれて短くなり、身体エネルギの使用がきわめて高ければ、ゼロになる場合もある。被験者が安静時にあるとき、呼息後休止の継続時間は比較的長い。被験者の呼吸周期は、吸息の開始と呼息後休止の終わりとの間の時間間隔である。呼息後休止の後はすぐに次の周期がスタートする。
【０００８】
「呼吸速度」は被験者がある一定の時間以内に行う呼吸（吸息と呼息）の数（一般に毎分当たりの呼吸数）をいう。呼吸速度は、被験者の安静時に測定される場合が多く、単に被験者が一分当たりに行う呼吸気の数を判断することを含む。安静時の成人は、その人の心血管系および呼吸器系の全体的な状態にもよるが、毎分１２〜２０回の呼吸気を行う。平均的成人の全肺気量は、空気の約６．０Ｌであるから、肺は、一回の呼吸気の間に吸息と呼息の後で比較的少量の体積を移動させる。肺線維症、気胸、乳児呼吸窮迫症候群などの拘束性肺疾患は肺体積を小さくするが、喘息、気管支炎、肺気腫などの閉塞性肺疾患は空気の流れを遮断する。図２は、最大吸息と最大呼息を伴う、７回の呼吸気を行う健常者の肺活量計の出力を示している。
【０００９】
「リモートセンシング環境」は接触せずに被験者からデータを取得する被験者の動きを拘束しない非侵襲的な手段であり、即ち、検知デバイスは検知されている被験者に物理的接触をしない。検知デバイスは被験者から任意の距離だけ離間されて配設することができる。例えば、１インチ未満接近して配設されてもよいし、遠隔医療の場合は数マイルも遠くに離間されて配設されてもよい。本明細書の教示によれば、安静時の心臓病患者が平穏にしていられるこのようなリモートセンシング環境において所望される用途を見つけるに至った。
【００１０】
「ビデオ」とは、一般的に理解されているように、ビデオカメラの１シーンを使用して経時的にキャプチャされた時系列の画像コマである。例えば、３チャンネルのカラービデオカメラを使用してキャプチャされた完全実装された２Ｄ画像は、アレイ内の各ピクセルがこれらのチャンネルの各々からピクセルに対する収集されたカラー値を有しているピクセルの２Ｄアレイである。例えば、単一チャンネルのビデオカメラを使用してキャプチャされた完全実装の２Ｄ画像はアレイ内の各ピクセルが対象となる所望の波長帯域で測定されたそのピクセルロケーションの強度値を有しているピクセルの２Ｄアレイである。ビデオはまた、オーディオ（音声）、時間基準信号などの他の成分を含むこともある。ビデオデータの大きさはビデオシーケンスが長さに比例して大きくなる。ビデオはまた、皮膚の表面の湾曲による非均一な照射を補償し、身体や表面の動きによるモーション誘発のブレや撮像ブレや低速のイルミナント（発光体）の変化を補償するために、処理または前処理される。ビデオ内のモーションは、例えば、ビデオベースの２Ｄ画像や３次元（３Ｄ）表面の安定化技術を用いて補償することができる。
【００１１】
「ビデオを受信すること」は広い意味で解釈されるように意図されており、ビデオカメラで検索し、受信し、キャプチャし、さもなければ、本発明の方法に基づいて呼吸気胸郭体積推定を処理するためにビデオを取得することを意味する。ビデオはビデオカメラシステムのメモリまたは内部記憶装置から受信するかまたはネットワークを介してリモートデバイスから得ることができる。ビデオはまた、ＣＤＲＯＭやＤＶＤなどの媒体から検索することもできる。ビデオは、前処理や後処理のためのこのようなビデオを利用できるようにしたウェブサイトからダウンロードして受信することができる。ビデオはまたハンドヘルド携帯デバイスとして広い範囲で入手可能なアプリケーションを用いて検索することができ、ユーザの携帯電話やｉＰａｄなどの他のハンドヘルドコンピューティングデバイス上でも処理することができる。
【００１２】
「ビデオカメラ」はビデオをキャプチャするためのデバイスをさす。ビデオカメラは、可視波長域において感応しやすいビデオカメラであってもよいし、近赤外（ＮＩＲ）、短波長赤外赤（ＳＷＩＲ）、中波長赤外（ＭＷＩＲ）、および長波超赤外（ＬＷＩＲ）などの赤外波長範囲において感応しやすい赤外線ビデオカメラであってもよい。ビデオカメラは、可視および赤外波長の両方でビデオをキャプチャするハイブリッドデバイスを含むことができる。
【００１３】
「構造化されたイルミネーション光源」は知られている空間的特性を有するパターン化された格子または窓を通して光源を投影する光源である。パターンは既知の空間特性を有する擬似ランダムパターンである。シーン内のオブジェクトの正確な３Ｄ表面のプロファイル（外形）は構造化された光の原則と三角測量ベースの画像の再構築技術を用いて計算することができる。
【００１４】
ここで、図３を参照されたい。図３は、図１の対象被験者の胸部の標的部位３０３がキャプチャされている単一の２Ｄ画像コマ３００を示している。ビデオカメラ３１０は、構造化されたイルミネーション光源３１１によって放たれた標的部位から反射されたエネルギをキャプチャする。ビデオカメラ３１０は、ビデオが処理のために受信されるコンピュータワークステーションなどのリモートデバイスと双方向通信を実施するために通信エレメント３１３を有しているのが示されている。コントローラ３１４および３１５が示されており、アーチファクトを削減するために、構造化されたイルミネーション光源３１１および３１２の各々の操作を実施する。他のパラメータとは対照的に、操作は呼吸速度を抽出するためのビデオをキャプチャするためだけに必要とされる。本出願において、ハイブリッドビデオキャプチャは、呼吸速度を推定するために構造化されたイルミネーションによって第１の２Ｄ画像をキャプチャし、次に、心拍数を推定するための非構造化されたイルミネーションによって第２の２Ｄ画像をキャプチャするために使用することができる。このようなシステムは他の重要な生理学的パラメータを抽出するために非構造化されたイルミネーション光源を必要とするシステムと協働するときに想定されるシステムであることが理解されよう。ビデオキャプチャシステムはビデオ解析モジュールを更に含む。本発明の一実施形態において、ビデオ解析モジュールは、本発明の教示による高級速度の推定のためのコマベースでビデオ画像を解析するためにマシン可読プログラム命令を実行することが可能な少なくとも１つのプロセッサを搭載したＡＳＩＣ（特定用途向け集積回路）などのハードウェアデバイスを含む。このようなモジュールはまた、全体的または部分的に単独でまたは１つ以上のハードウェアリソースと協働して動作するソフトウェアアプリケーションを含むことができる。ソフトウェアアプリケーションは、異なるハードウェアプラットフォーム上のプロセッサによって実行されるかまたは仮想環境においてエミュレートされる。ビデオ解析モジュールのアスペクトは市販されているソフトウェアを活用することができる。
【００１５】
「深さマップ」は、画像のその部位内の表面から反射された構造化された光パターンの歪みの量の解析に基づいた深さの値を含むマップである。一旦、深さマップが作成されると、体積を計算することができる。図４において、構造化されたイルミネーション光源４０３はオブジェクト４０５へ正弦波格子４０４を投射し、射突している正弦波格子の反射はこれらがオブジェクトから反射する時にカメラシステム４０２によってキャプチャされる。正弦波格子は歪みのない投影されたパターンの既知の空間特性を有している。図示したように、カメラシステム４０２は、キャプチャされたビデオが処理のために連絡されるワークステーション（図示せず）などのリモートデバイスと双方向通信を行うための通信エレメント４０６を有している。シーン（場面）が３Ｄで表面変形されない平坦な表面でありかつカメラセンサと略平行に配向されている場合、取得した画像に示されているパターンは投影された構造化された光パターンのパターンに類似している。しかしながら、表面が平坦でなく、カメラセンサと平行配向されておらず、なおかつ、３Ｄオブジェクト４０５を含む場合、オブジェクトの形状は投影された構造化された光パターンを歪曲させる。このような光の歪みはカメラ４０２によって検出することができる。カメラ４０２と構造化されたイルミネーション光源４０３と３Ｄオブジェクト４０５の表面上のポイントＰの互いの幾何学的関係は、以下のように、三角測量として表すことができる。
【数１】
0005980720.tif 000002
【００１６】
正確な３Ｄ画像の再構築は、オブジェクトの表面上の異なるロケーションにおける位相を測定しかつこれらの位相からの深さ情報を計算する位相シフトまたは位相変調技術に基づいて行うことができる。図５は、オブジェクト表面に投影された総称して参照番号５０１が付された三つの投影されたパターンを有する位相シフトと、例示的なフリンジ画像５０２と、を示している。位相シフトを介した画像の再構築は、三つの投影されたフリンジ変調パターンのピクセル（ｘ、ｙ）ごとの強度が以下の関係式、
【数２】
0005980720.tif 000003
によって記述されているよく知られている方法である：
式中、Ｉ１（ｘ，ｙ），Ｉ２（ｘ，ｙ）およびＩ３（ｘ，ｙ）は三つのフリンジパターンの強度であり、Ｉ０（ｘ，ｙ）はＤＣ成分（背景）で、Ｉｍｏｄ（ｘ，ｙ）は変調信号の振幅、φ（ｘ，ｙ）は位相であり、θは一定の位相シフト角である。位相アンラッピングは、絶対位相にラッピングされた位相を変換するプロセスである。位相情報φ（ｘ，ｙ）は、次の三つのフリンジパターンの強度から検索（すなわち、アンラッピング）することができる。
【数３】
0005980720.tif 000004
【００１７】
２πにおけるアークタンジェント関数の不連続値はφ’（ｘ，ｙ）値（図６参照）の倍数を加算または減算することによって取り除くことができる。
【数４】
0005980720.tif 000005
式中、ｋは投影期間を表す整数である。アンラッピング方法は相対的なアンラッピングを提供するにすぎず、絶対位相を解くわけではないことに注目されたい。３Ｄ（ｘ，ｙ，ｚ）座標は測定された位相φ（ｘ，ｙ）と基準面からの位相値との差に基づいて算出することができる。
【００１８】
図７のシステムを参照されたい。図７は、ビデオカメラ７０２を利用して、パターン化されたイルミネーション光源プロジェクタ７０５によって投影され（７０４において）放たれた反射光がオブジェクト７０６のポイントＰ、即ち、被験者の胸部部位におけるロケーション、から反射されていることを検知する。深さの値は以下の式によって付与される幾何学によって計算される。
【数５】
0005980720.tif 000006
この式は、
【数６】
0005980720.tif 000007
と、解くことができる。
【００１９】
ストライプ索引付けはまた、ストライプが観察される順序が三角測量ベースの３Ｄ表面イメージングシステムに存在する固有の視差によっておよび３Ｄの表面特徴の閉塞によって取得画像から欠落しているストライプを有する可能性によってストライプが投影される順序とは必ずしも同じ順序である必要がないため、３Ｄ表面の再構築を達成するために使用することができる。ピクセルの集合は画像を形成する。投影パターンのストライプ索引付けのためのカラーの使用は単色パターンを用いた位相シフトまたは複数のストライプ技術が直面している曖昧さの問題を緩和するのに役立つ。このタイプのシステムは、各パターンが特有のカラー値を処理することで複数のパターンを単一カラー投影画像へ符号化することが可能にする。各カラーは、復号化エラー率を下げるためにセット内の任意の他のカラーから最大距離にあるカラーセットを選択することができる。カラーの最大数は取得された画像内で発生するクロストークを最小限に抑えられるカラー間の距離に限定される。呼吸が短時間停止した場合におけるように、ターゲットとなる３Ｄオブジェクトが動いておらず、アプリケーションの取得時間が厳しい制約を課されていない場合には（シーケンシャルな）複数の撮影技術を使用することができ、より確実で精度のよい結果がもたらされることが理解されよう。一方、ターゲットが動いていれば、単一撮影技術は特定の時間において３Ｄオブジェクトのスナップショットの３Ｄ表面画像を取得するために使用される。単一撮影技術は、連続的に変化する構造化された光パターンを用いた技術、一次元（１Ｄ）の符号化スキームを用いた技術（ストリップ索引付け）、二次元（２Ｄ）の符号化スキーム（格子索引付け）を用いた技術へ分類することができる。各技術は特定のアプリケーションによって利点もあれば欠点もある。いくつかの技術を組み合わせてもよい。
【００２０】
また、イルミネーション光源は、操作できる、具体的には、ビデオカメラによるビデオのキャプチャ中に空間的および／またはスペクトル状に変化させることができることを理解されたい。イルミネーション光源は、異なる角度からそのシーン内のいくつかの部位へ光源光が投影されるように、例えば、そのイルミネーション光源を移動させることによって空間的に変化させることができる。イルミネーション光源は、スケジュールまたは所望される周期に応じて、例えば、光源光の投影をトグルオン／オフすることによって時間的に変化させることができる。イルミネーション光源は、例えば、電磁放射の波長帯域を変更することによってスペクトル状に変化させることができ、これによって、イルミネーション光源はシステム内の他のイルミネーション光源および／またはビデオカメラに干渉しない。デバイスコントローラは、イルミネーション光源が投影する光源光の強度を変化させるように構成することができる。
【００２１】
デバイス依存型の深さの示度（単位：バイト）をデバイス非依存型の周知のメトリックへ変換するために較正を実行する必要がある。デバイスの空間座標（ピクセルからミリリットルまたはメートルまたはインチへ）の較正は従来のＲＧＢカメラが較正される方法にほぼ類似した方法で実行することができる。深さの出力の較正はステレオ写真（イルミネーションと撮像モジュール）の幾何学的構成の知識を必要とする。空間座標と３Ｄ画像センサからの深さ示度は（ミリリットルまたはメートルまたはインチなどの）デバイス非依存型の単位に変換することができる。しかしながら、このことが、胸郭体積の変化と肺容積の変化は胸郭と肺の弾性差によって互いに一致しないかもしれないということもあり、推定される体積が測定されている体積に一致することを保証するものではない。よって、更なる較正が望まれる。推定値と実際の体積との互い線形関係を仮定した場合、比例定数は、測定が必要とされる範囲にわたって異なる呼吸レベルについて行われる臨床検査を通して推定することができる。実際の体積は肺活量計を用いて測定することができる。肺活量計の測定値と３Ｄイメージングシステムを用いて得られた測定値の回帰直線の傾斜は較正定数を提供する。
【００２２】
呼吸速度が推定される前に、好ましくは、被験者の身体に対応する深さマップの部位が画像内でセグメント化される。これは複数の方法にて達成することができる。例えば、カメラから寝台の表面までの距離が分かっているので、被験者の身体のロケーションは寝台表面によって囲まれかつ寝台自体よりもカメラに接近して配置されているピクセルを検出することによって抽出することができる。もう１つの方法は、局所化を実行しその後に同様の深さ情報を有するピクセルを含むようにターゲット部分を領域成長させることである。これは最終的にバイナリマスクを生成する。胸郭の局所化は、身体のセグメント化のステージから得られるこのバイナリマスク上のモルフォロジー演算の賢明なアプリケーションによって実行することができる。例えば、適切なサイズの構造化エレメントを有するマスクのモルフォロジカルな開口部は、胸部に対しての相対的なサイズが付与された場合に四肢や頭部に対応するピクセルを取り除くことによって行う。別の方法としては、マスクにモルフォロジカルなスケルトンを適用して得られたスケルトンの分岐ポイントを判断することである。これらの分岐点は、大体が首や肩に配置されていることから、被験者の胸部部位のロケーションを表示する。
【００２３】
３Ｄ時系列データの推定
時系列データは、受信したビデオの各画像コマを処理することによって推定される。画像コマを処理することには、歪みが画像内に特徴付けられるようにキャプチャされた空間歪みの空間属性を歪み無しの投影パターンの知られている空間属性と比較することが含まれる。深さマップは、標的部位の表面上の様々なロケーションで特徴付けられた歪みから計算される。３Ｄ体積は、関連する深さマップから、画像ごとに推定される。その後、処理された画像コマから得られた推定される３Ｄ体積は共に結合されて推定される３Ｄ時系列データを生成する。本発明の方法の次のステージにおいて周波数解析を実行するために、得られた時系列データの正規化と平均値減算が行われる。正規化はデータの最大値によって信号を分割することによって達成される。図８は、男性被験者を測定して得られた６０秒期間の正規化されたゼロ平均値体積の時系列信号のサンプルを示している。
【００２４】
呼吸速度は従来のＦＦＴ（高速フーリエ変換）（すなわち、スペクトル解析）方法を用いて正規化されたゼロ平均値の時系列信号から抽出されるので、長期間の連続的なモニタリングを行うために信号が定常化していることが重要である。時系列信号の低速変化トレンドは非定常信号成分につながり、その後、呼吸周波数の周りの大きなサブバンド（小帯域）につながる。また、この特定の場合においては、トレンド除去が低速で変化するモーション誘導型の周波数成分を除去することができる。１つの方法は、低周波数成分を除去することにより、時変性の高域通過ＦＩＲ（遠赤外線）フィルタのように動作する円滑なアプローチを使用する。トレンド除去されたほぼ定常化した呼吸信号Ｒｓｔａｔは、以下の式によって得ることができる。
【数７】
0005980720.tif 000008
式中、Ｒｏｒｉｇｉｎａｌは正規化されたゼロ除去された時系列信号、Ｉは識別メトリック、λはトレンド除去アルゴリズムの周波数応答を調整するために使用されるパラメータ、Ｔはマトリックス変換オペレーション、およびＤ２は以下の形式を有する２階微分マトリックスを表している。
【数８】
0005980720.tif 000009
【００２５】
ＲｏｒｉｇｉｎａｌがＮサイズの信号である場合、ＩはＮ×Ｎサイズの識別マトリックスである。パラメータλは、低周波数成分から有用な情報を失うことがないようにサンプルデータで臨床／家庭／作業環境別に患者に実験することで先験的に設定される。
【００２６】
次に、図９Ａ〜図９Ｂを参照されたい。これらの図はトレンド除去された呼吸の時系列信号のスペクトルを解析するために高速フーリエ変換（ＦＦＴベースの）ノンパラメトリックな手法の使用について示している。ＦＦＴに代えて、自己回帰（ＡＲ）時系列モデリングなどのノンパラメトリックな手法を使用することもできる。図９Ａはトレンド除去前の呼吸信号に対するパワースペクトル密度曲線を示している。図９Ｂはトレンド除去後（λ＝８０）の呼吸信号のパワースペクトル密度曲線を示している。呼吸速度は、スペクトル標識が最大となるロケーションを判断することによって推定された。この解析に基づいて、毎分１０サイクルの記録はオリジナルの時系列信号における吸息および呼息サイクルの数に匹敵する１分間隔において観察された。
【００２７】
次に図１０の流れ図を参照されたい。図１０は本発明の例示的な実施形態による呼吸機能がモニタリングされている対象被験者の呼吸速度を判断するための方法を示している。流れの手順は、ステップ１０００で開始後、ステップ１００２へ進む。
【００２８】
ステップ１００２において呼吸機能がモニタリングされている対象被験者の標的部位のビデオを受信する。ビデオは、ビデオカメラと構造化された照射のパターンを投影するように構成されているイルミネータとを用いてキャプチャされた。ビデオカメラは構造化された照射の波長において電磁放射に感応し易いように構成されている。キャプチャされたビデオの各画像は構造化された照射が標的部位から反射することによって放たれる放射のサンプリングを含む。空間歪みは投影されたパターンがその表面から反射することで生じる。対象被験者の例示的な標的部位は図１に示されている。
【００２９】
ステップ１００４において標的部位に対して推定される３Ｄ時系列データを取得するためにビデオ画像を処理する。
【００３０】
ステップ１００６において３Ｄ時系列データから被験者に対する呼吸速度を推定する。
【００３１】
ステップ１００８においてディスプレイデバイスへ呼吸速度を伝える。この実施形態では更なる処理は停止する。別の実施形態では、被験者の呼吸速度が許容可能なパラメータ範囲外であることを示すアラームが開始される。アラームを開始することは、例えば、光を活性化し、可聴ノイズを作るか、あるいは、アクションを実行するかまたは通知を行うデバイスを作動させる信号を生成することである。生成されているアラーム信号の種類は、本発明の教示が実施される特定の実施形態によって異なる。この別の実施形態では、一旦警報信号が作動すると、更なる処理は停止する。別の実施形態では、被験者の呼吸速度が連続的にモニタリングされるように処理が繰り返される。本発明のシステムは他の健康モニタリング機器と協働するかまたは一体化して使用され、開始されたアラーム信号は他のデバイスに所望の機能を実行させることができる。
【００３２】
図１０の流れ図は例示目的に提供されていることを理解されたい。流れ図のいずれかに図示されているオペレーションステップの１つ以上が異なる順序で実行されてもよい。その他のオペレーションは、例えば、追加、変更、拡張、縮小、統合、またはそれらのステップと結合されてもよい。このような変形は、添付の特許請求の範囲に含まれることを前提とする。流れ図の全てまたは一部はマシン実行可能な命令と協働してハードウェアで部分的または全体的に実施される。
【００３３】
次に図１１を参照されたい。図１１は図１０の流れ図に関して説明したように本発明の方法の様々な態様を実施するための１つの例示的なビデオプロセッシングシステムを示すブロック図である。
【００３４】
図１１は、ワークステーション１１００は、例えば、図３のビデオカメラ３１０から検出された構造化されたイルミネーションパターンを受信するために、あるいは、ネットワーク１１０１を介してさまざまなデバイスとコンピュータワークステーション１１００の間で通信を実施するために、通信エレメント１１０２と情報をやりとりするように配置されている。コンピュータ１１００は情報のディスプレイをイネーブルとするためのディスプレイデバイス１１０３と、ユーザの入力や選択を実施するためのキーボード１１０５と、を含む。本発明のシステムのオペレータは、プロセッシングまたはプリプロセッシングするためにビデオの画像を識別しそうでなければ選択しかつシステムの実施のために必要とされるユーザ入力を提供するために、ワークステーションのグラフィカル・ユーザ・インターフェースを使用する。受信されたビデオは、ネットワーク１１０１を介してリモートデバイスから検索することができる。ビデオの様々な部分は、ワークステーション１１００と通信するメモリまたは記憶装置（図示せず）に格納されるかまたはリモートストレージや更なるプロセッシングのためにデバイス１１０２などの通信を介してネットワーク１１０１上でリモートデバイスに伝達される。ワークステーション１１００および通信装置１１０２は本発明の教示に基づいてビデオをプロセッシングするためのビデオプロセッシングユニット１１０６と通信する。
【００３５】
図示されているように、ビデオプロセッシングユニット１１０６は、バッファ１１０７を含む。このようなバッファは、例えば、画像コマ内の１つ以上の標的部位、ビデオのサイズ、時間／日付情報などの受信した画像についての情報をキューイングするために使用される。バッファは、本発明の教示に基づいて画像のプロセッシングを容易にするためにデータ、数式、他の表現を格納するように構成される。ビデオプリプロセッサ１１０８は、皮膚の表面の湾曲による非均一な照射を補償し、身体や表面の動きによるモーション誘発のブレや撮像ブレや低速のイルミナントの変化を補償するために所望や必要に応じて、任意のプリプロセッシングを行う。ビデオプリプロセッサ１１０８はデータの次元性を削減しかつビデオ信号へ独立した成分解析（ＩＣＡ）を行うようにプログラミングされる。光歪み判断子１００９は受信した反射構造化光パターンの歪み量を判断する。空間歪みプロセッサ１１１０は判断された歪み量を受信し、判断された空間歪みの空間属性を歪み無しの統制パターンの知られている空間属性と比較することで、この歪みが各画像コマにおいて特徴付けられる。空間歪みは記憶装置１１１１に送信される。深さマッププロセッサ１１１２は、記憶装置１１１１からの空間の歪みの判断された量を検索し、この歪みをビデオのコマごとにピクセル×ピクセルベースで深さ値へ変換する。その後、深さマップは標的部位の表面上の異なるロケーションで特徴付けられた歪みから生成されて記憶装置１１１１に格納される。３Ｄ体積推定子１１１３は深さマップから３Ｄ体積を一コマ単位で推定する。時系列信号生成子１１１４は得られた推定３Ｄ体積を検索しこれらを結合して推定３Ｄ時系列データを得る。呼吸速度推定子モジュール１１１５は、本明細書中に開示されているように、３Ｄ時系列データから、被験者の呼吸速度を推定する。被験者の呼吸速度は送信エレメント１１１６へ伝達され、送信エレメント１１１６がまた、呼吸速度を、例えば、患者の医師または看護師や呼吸療法士に送信する。このような通信にはオリジナルのビデオの一部またはすべておよび／または得られた３Ｄ時系列データの一部または全てが含まれている。その後、送信された信号の一部または全部はワークステーション１１００に伝達され、目視による再検討のためにグラフィカルディスプレイデバイス１１０３にディスプレイされる。別の実施形態において、患者の呼吸速度はこの患者に対して設定されていた１つ以上のパラメータと比較され、被験者の呼吸速度が許容限界外または範囲外であると判断された時点で通知信号が生成される。通知信号は、被験者が喚起したいユーザや専門家へ表示するためにしるしとして可聴音を含む。このような通知は缶入り音声メッセージや、例えば、ベルの音や警報音の形式をとる。伝達された通知メッセージは、ハンドヘルド携帯デバイスに直接伝達することができるテキスト、音声、および／またはビデオメッセージである。このような通知は、例えば、点滅するカラーライトなどの視覚的な通知を提供する可視光を起動させることを含むかまたはこれを付加的に含む。このような実施形態は添付の特許請求の範囲に含まれるように意図されている。
【００３６】
図１１のさまざまなモジュールおよびプロセッシングユニットはモニタ１１０３と情報をやり取りしてユーザの選択のためのその上へ情報を提示する。図１１のモジュールおよび／またはプロセッシングユニットのいずれかは場合によっては図示されている経路を介して記憶装置１１１１と情報をやり取りし、データ、パラメータ値、関数、ページ、記録、およびそれらの様々な機能を実行するために必要とされるマシン可読／実行可能プログラム命令を格納／検索する。ビデオプロセッシングシステム１１０６のモジュールやプロセッシングユニットの各々もまた、図示していない経路を介してワークステーション１１００と情報をやり取りし、更に、ネットワーク１１０１上で１つ以上のリモートデバイスとも情報をやり取りする。モジュールのいずれかに対する機能性の一部または全てがワークステーション内のコンポーネントによって全体的または部分的に実行されることを理解されたい。また、ワークステーションがディスプレイデバイス１１０３にディスプレイされた情報を入力、選択、または変更するために様々な数値、テキスト、スクロールバー、ユーザ選択可能なオプション付きのプルダウンメニューなどをディスプレイするように構成されているオペレーティングシステムおよび他の専用ソフトウェアを有していることも理解されたい。
【００３７】
本発明の実施形態の様々なモジュールは１つ以上のコンポーネントを指定し、これがまた、所望の機能を実行するように設計されているソフトウェアおよび／またはハードウェアを含む。複数のモジュールはまとまって１つの機能を実行する。各モジュールはマシン可読プログラム命令を実施することが可能な専用プロセッサを有している。モジュールは、ＡＳＩＣ、電子回路、または特殊用途のプロセッサなどの単体のハードウェアを含む。複数のモジュールは、単一の特殊用途のコンピュータシステムまたは並列配設された複数の特殊用途のコンピュータシステムのいずれかによって実施される。モジュール間の接続は物理的および論理的接続を含む。モジュールは１つ以上のソフトウェア／ハードウェアモジュールを更に含み、これらのモジュールはオペレーティングシステム、ドライバ、デバイスコントローラ、およびその一部またはすべてがネットワークを介して連結される他の装置を更に含む。また、本発明の方法の１つ以上の態様は専用コンピュータシステム上で実施され、また、タスクがネットワークを介して互いにリンクされるリモートデバイスによって実行される分散型コンピューティング環境で実用化されると考えられる。
【００３８】
上記に説明した実施形態に対して、本発明の精神および範囲から逸脱しない限りにおいて、様々な変更を加えることができる。
【図１】
0005980720.tif 000010
【図２】
0005980720.tif 000011
【図３】
0005980720.tif 000012
【図４】
0005980720.tif 000013
【図６】
0005980720.tif 000014
【図７】
0005980720.tif 000015
【図８】
0005980720.tif 000016
【図９Ａ】
0005980720.tif 000017
【図９Ｂ】
0005980720.tif 000018
【図１０】
0005980720.tif 000019
【図１１】
0005980720.tif 000020
【図５】
0005980720.tif 000021