(57)【要約】      （修正有）【課題】対象の被検者の皮膚露出部の領域について記録したビデオ画像から心臓機能を判断するためのシステムおよび方法を提供する。【解決手段】可視チャネル上で画素に対する明度を記録するビデオカメラと、対象の波長範囲で画素強度値を測定するＩＲカメラとを用いて、皮膚露出部の領域のビデオを記録する。血管経路に対応する画素位置を示す血管バイナリマスクを生成するために画素強度値を処理する。ＩＲ画像とカメラの可視チャネルからの対応するデータとの見当を合わせて、可視カラーデータのビデオの各フレーム内の血管パターンに対応する画素を分離できるようにする。処理が行われると、望ましい心臓機能パラメータを決定するために、分離した血管パターンに関連する画素を分析する。【選択図】図５
2013248386.tif 000002
【特許請求の範囲】
【請求項１】
非接触リモートセンシング環境で取得した対象の被検者のビデオから心臓機能パラメータを決定する方法であって、
心臓機能を監視中の対象の被検者の皮膚露出部の領域のビデオを受け取ることであって、前記ビデオは、少なくとも１つの可視チャネルにより画素に対して収集された明度を含むデータを出力する少なくとも１つのビデオカメラと、少なくとも１つの赤外チャネルにより画素に対して収集された強度値を含むデータを出力する少なくとも１つの赤外線（ＩＲ）ビデオカメラと、を含むビデオシステムを用いて記録される、受け取ることと、
皮膚露出部の前記領域の中の前記被検者の血管経路と一致する画素の前記位置を示す血管バイナリマスクを生成するために前記赤外線画素強度値を処理することと、
前記ＩＲ画素データと前記可視チャネルの画素との見当を合わせて、前記ビデオ内の前記被検者の血管パターンに関連する画素を分離できるようにすることと、
前記分離された血管パターンに関連する画素を分析して、前記被検者に対する少なくとも１つの心臓機能パラメータを決定すること、とを含む、
方法。
【請求項２】
物体認知、画素分類、物質解析、テクスチャ識別、およびパターン認識のうちのいずれかを用いて皮膚露出部の前記領域を特定することをさらに含む、請求項１に記載の方法。
【請求項３】
前記心臓機能パラメータが、動脈拍動、心拍周波数、拍動経過時間、心拍出量、血圧、血管径、血液密度、血管閉塞、および末梢神経障害のうちのいずれかを含む、請求項１に記載の方法。
【請求項４】
前記赤外チャネルが、近赤外線（ＮＩＲ）、短波長赤外線（ＳＷＩＲ）、中波長赤外線（ＭＷＩＲ）、および長波長赤外線（ＬＷＩＲ）のうちのいずれかの波長範囲を含む、請求項１に記載の方法。
【請求項５】
非接触リモートセンシング環境で取得した対象の被検者のビデオから心臓機能パラメータを決定するシステムであって、
ビデオシステムであって、少なくとも１つの可視チャネルにより画素に対して収集された明度を含むデータを出力する少なくとも１つのビデオカメラと、少なくとも１つの赤外チャネルにより画素に対して収集された強度値を含むデータを出力する少なくとも１つの赤外線ビデオカメラと、を含む、ビデオシステムと、
前記ビデオカメラシステムおよびメモリと通信するプロセッサであって、
心臓機能を監視中の対象の被検者の皮膚露出部の領域について、前記ビデオシステムを用いて記録したビデオを受け取ることと、
皮膚露出部の前記領域の中の前記被検者の血管経路と一致する画素の位置を示す血管バイナリマスクを生成するために前記赤外線画素強度値を処理することと、
前記血管バイナリマスクと前記可視チャネルの画素との見当を合わせて、前記ビデオ内の前記被検者の血管パターンに関連する画素を分離できるようにすることと、
前記分離された血管パターンに関連する画素を分析して、前記被検者に対する少なくとも１つの心臓機能パラメータを決定すること、とを実行する機械可読命令を実行処理する、前記プロセッサとを含む、
システム。
【請求項６】
物体認知、画素分類、物質解析、テクスチャ識別、およびパターン認識のうちのいずれかを用いて皮膚露出部の前記領域を特定することをさらに含む、請求項５に記載のシステム。
【請求項７】
前記心臓機能パラメータが、動脈拍動、心拍周波数、拍動経過時間、心拍出量、血圧、血管径、血液密度、血管閉塞、および末梢神経障害のうちのいずれかを含む、請求項５に記載のシステム。
【請求項８】
前記赤外チャネルが、近赤外線（ＮＩＲ）、短波長赤外線（ＳＷＩＲ）、中波長赤外線（ＭＷＩＲ）、および長波長赤外線（ＬＷＩＲ）のうちのいずれかの波長範囲を含む、請求項５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象の被検者の腕、胸、首などの皮膚露出部の領域のビデオ画像を記録して、そのビデオを分析して、その領域内の血管パターンを特定して、その後、特定した血管パターンに関連する画素を処理して、被検者に対するさまざまな心臓機能を決定するシステムおよび方法に関する。
【背景技術】
【０００２】
潜在的に致死的な状態の早期発見では、心イベントを監視することが臨床上重要である。現在の技術は、個人が常に着用していなければならない接触センサを含んでいる。このような要求は、患者の不快、依存、尊厳の喪失につながる可能性があり、さらに、監視装置の着用の拒否を含むさまざまな理由によりうまくいかない可能性がある。高齢の患者および心臓病状態に苦しむ患者の場合、連続的な監視の悪影響に悩む可能性がより一層高くなる。心臓機能を監視するための画像化に基づく非接触で邪魔にならない方法が、ますます必要とされている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、当技術分野で必要とされているのは、対象の被検者の皮膚露出部の領域について記録したビデオ画像から心臓機能を判断するためのシステムおよび方法である。
【課題を解決するための手段】
【０００４】
開示しているのは、対象の被検者の皮膚露出部の領域について同時に記録したＲＧＢおよび／またはＩＲビデオ信号から特定した血管パターンから心臓機能パラメータを決定するための非接触システムおよび方法である。一実施形態では、主要な可視カラー（通常ＲＧＢ）にほぼ対応する可視チャネル上で画素に対する明度を記録するビデオカメラと、対象の１つ以上の波長範囲で画素強度値を測定する赤外線（ＩＲ）カメラとを用いて、皮膚露出部の領域のビデオを記録する。被検者の血管経路と一致する画素の位置を示す血管バイナリマスクを生成するために、ＩＲチャネルにより取得した画素強度値を処理する。その後、ＩＲ画像フレームとカメラの可視チャネルにより取得した対応するデータとの見当を合わせて、可視カラーデータの動画像列の各フレーム内の被検者の血管パターンに対応する画素を分離できるようにする。処理は、ＩＲチャネルからのすべてのフレームに対して、もしくは所定の時間間隔で、選択されたフレームに対して、フレームごとに実行でき、または可視チャネルもしくはＩＲチャネルで対象の対象から検出された動きなどの事象によりきっかけを与えて処理を始動できる。不連続な血管経路検出では、検出した血管パターンは、新しい更新を受け取るまで、フレームの至る所に伝搬できる。処理が行われると、フレームごとに、または選択されたフレームを用いて、分離した血管パターンに関連する画素を分析して、それらの画素が運んでいる心臓機能情報を処理して、望ましい心臓機能パラメータを決定できるようになっている。本明細書の開示の実施態様では、皮膚露出部の領域内の血管パターンをすばやく発見して分離でき、心臓病患者の安静を妨げることなく心臓機能パラメータをリアルタイムで決定できる（またはオフラインで処理できる）。本明細書で開示するシステムおよび方法は、動脈および静脈パターン研究ならびに心臓機能分析のための有効な手段を提供する。
【０００５】
ここで開示された上記の、および他の特徴、発明の利点を添付図面に伴う以下の詳述から明らかにするでしょう。
【図面の簡単な説明】
【０００６】
【図１】図１は、人間の手の皮膚露出部の領域の下の血管パターンの画像である。
【図２】図２は、ＮＩＲ照明の下で人間の手の奥の血管パターンが見えるＩＲ画像である。
【図３Ａ】図３Ａは、人間の手の画像である。
【図３Ｂ】図３Ｂは、被検者の血管パターンに関連するオン画素を含む画像である。
【図４】図４は、被検者の腕のＲＧＢおよびＩＲビデオ４０４を記録するための照明光源と、３チャネルＲＧＢカメラと、単一のＮＩＲカメラと、を含むビデオシステム例を示す図である。
【図５】図５は、非接触リモートセンシング環境で対象の被検者のビデオを分析して心臓機能パラメータを決定するための本方法の一実施形態を示すフローチャートである。
【図６Ａ】図６Ａは、血管パターンを分離せずに取得した画素からの心拍周波数に対する信号の検出力内容を示す図である。
【図６Ｂ】図６Ｂは、特定された血管パターンの血管に関連すると特定された画素だけを用いて取得した画素からの心拍周波数に対する信号の検出力内容を示す図である。
【図７】図７は、ビデオ処理システムの実施形態例を示しており、この実施形態例では、図４のビデオシステムのＲＧＢカメラおよびＩＲカメラが、それぞれ同時に記録した皮膚露出部の領域のビデオの画像フレームを、ネットワークで結ばれたコンピュータワークステーションに伝達し、このコンピュータワークステーションでは、図５のフローチャートに関して説明した方法のさまざまな態様を実行する。
【図８】図８は、図５のフローチャートおよび図７のワークステーションに関して説明したように本方法のさまざまな態様を実現するためのビデオ分析システム例のブロック図を示している。
【発明を実施するための形態】
【０００７】
「ビデオ」は、本明細書で使用する場合、対象の被検者の画像フレームの時系列を含む、当技術分野で周知であるような時変ビデオ信号を示している。また、このようなビデオは、例えば、音声信号および時間基準信号などの付加的な成分を含んでいてもよい。より長い動画像列では、ビデオデータの大きさが大きくなってもよい。資源の限られたそれらのシステムでは、データの次元数を下げるために画像フレームの２次元配列を含む記録されたビデオを、より低次元の部分空間上に射影でき、射影されたデータに関して、信号内の独立成分を特定する独立成分分析（ＩＣＡ）を行うことができる。これは可逆的操作ではないことを理解すべきである。
【０００８】
「対象の被検者」は、皮膚組織の下に皮下血管網を有する任意の被検者を示している。本明細書で使用する「人」または「患者」などの用語により添付クレームの範囲が人間の被検者だけに限定されているとは考えるべきではない。被検者は、哺乳類、鳥類、爬虫類、魚、および特定の昆虫さえも含んでいる。
【０００９】
「皮膚露出部の領域」は、被検者の皮膚のうちの遮るもののない領域である。このような領域は、例えば、物体認知法、画素分類法、物質解析法、テクスチャ識別法、およびパターン認識法などを用いてビデオの画像フレーム内で特定できる。
【００１０】
「血管パターン」は、被検者の全身に血液を運ぶ皮下血管網（静脈、動脈、毛細血管、細動脈など）を示している。図１は、人間の手の皮膚露出部の領域の下の血管パターンの画像１００を示している。
【００１１】
「血管バイナリマスク」は、１および０に等しい画素値を用いて、被検者の血管パターンと一致する画素の位置を示す２値画像である。一実施形態では、画素位置が血管パターンに対応しているとき、それらの画素位置に１の値を割り当て、画素位置が血管パターンに対応していないとき、それらの画素位置に０の値を割り当てる。他の実施形態では、バイナリマスクに対して異なる値を使用してもよい。被検者の血管パターンは、ヘモグロビンを運ぶ血管を含んでいる。ヘモグロビンは、他の組織と比較すると、近赤外線（ＮＩＲ）の高い吸収率を有している。ＩＲ照明下では、吸収率の差により、一組のＩＲ画像内の被検者の血管パターンを検出でき、はっきり描くことができる。図２は、ＮＩＲ照明の下で人間の手の奥の血管パターンが見えるＩＲ画像２００を示している。図３Ａ〜図３Ｂは、人間の手の画像３０１と、画像３０１内の手の、被検者の血管パターンに関連するオン画素を含む対応する画像３０２と、を示している。
【００１２】
「心臓機能パラメータ」は、被検者の心臓機能に関連するパラメータを示している。パラメータは、動脈拍動、心拍周波数、拍動経過時間、心拍出量、血圧、血管径、血液密度、血管閉塞、および末梢神経障害を含んでいる。心臓機能パラメータは、出力として与えられる場合、例えば、曲線、プロット、図表、グラフ、文字列、数値または２進値、および可聴音などを含むさまざまな形態を取ってもよく、心臓機能パラメータは、処理の結果としてソースビデオ信号に対して行われた変更をさらに含んでいてもよい。心臓機能パラメータは、例えば、電子メール、ボイスメール、テキストメッセージ、ハードコピー印刷、グラフ表示、ウェブページ、ユーザが結果をダウンロードできるウェブページ、またはユーザが見て、編集して、変更して、結果に注釈を付けることができる文書などを含む、さまざまな方法で伝達してもよい。結果をユーザに伝達することは、結果を第三者に伝達することと、ローカルエリアネットワークまたは広域ネットワークを介して結果を記憶デバイスまたは遠隔装置に保存することと、を含むよう意図されている。被検者の心臓機能パラメータを取得することに、ならびに／またはこのような結果をユーザおよび第三者に提供することに、手数料を関連付けてもよい。
【００１３】
「動脈拍動」は、被検者の心臓が収縮して血管網を通して血液を押し流すことにより作り出される圧力波である。動脈拍動は、収縮時に作り出される前進波と、末梢から戻ってくる反射波と、を一般に含んでいる。心臓が鼓動するときに被検者の血管の壁を圧迫するこの波は、被検者の血圧と相互に関連がある。
【００１４】
「心拍周波数」は、１分間当たりの脈拍数（ｂｐｍ）で一般に与えられる拍動圧力波の周波数である。成人の心拍周波数は約７２ｂｐｍである。それぞれの種は、それら自身の標準的な心拍周波数範囲を有している。
【００１５】
「心拍出量」は、心筋が送り出すことができる血液量を示しており、Ｌ／ｍｉｎで一般に表される。成人の心拍出量は約５Ｌ／ｍｉｎである。心拍出量は次式ＣＯ＝ＳＶ・ＨＲで与えられ、ここで、ＳＶは１回拍出量、ＨＲはｂｐｍで表した心拍数である。１回拍出量は、弁機能不全および心室形状により影響を受ける可能性がある。
【００１６】
「拍動経過時間」は、被検者の血管網の近位位置（上流）から遠位位置（下流）まで拍動圧力波が伝わるのにかかる時間を示している。拍動経過時間（ＰＴＴ）は波の速度の関数であり、波の速度は血圧、血管径、血液密度の関数である。局所化されたＰＴＴは、例えば、２点間の血管閉塞および末梢神経障害などの、さまざまな病態の間接的マーカとして使用される。
【００１７】
「ビデオシステム」は、対象の被検者のビデオを記録するための装置である。本明細書で使用する場合、ビデオシステムは、主要な可視カラー（通常ＲＧＢ）にほぼ対応する可視スペクトルで画像を記録するための少なくとも１つのビデオ装置と、近赤外（ＮＩＲ）波長範囲、短波長赤外（ＳＷＩＲ）波長範囲、中波長赤外（ＭＷＩＲ）波長範囲、および長波長赤外（ＬＷＩＲ）波長範囲のうちのいずれかでＩＲ画像を記録するための少なくとも１つのＩＲビデオカメラと、を含んでいる。ＩＲビデオカメラは、マルチスペクトル・ビデオ・カメラまたはハイパースペクトル・ビデオ・カメラをさらに含んでいてもよい。このようなカメラは、機械可読プログラム命令を実行するためのプロセッサと、メモリなどの記憶デバイスと、を含んでいてもよく、１チャネル単位でデータを出力するための複数の出力をさらに含んでいてもよい。ビデオシステムは、高フレームレートと高空間分解能とを備えた従来のビデオモードと、低フレームレートと高スペクトル分解能とを備えたスペクトルモードと、で運転できるハイブリッドカメラであってもよい。カラーカメラとスペクトルセンサとを含むビデオシステムは、商業のさまざまな流れの中でさまざまな業者から入手できる。図４は、被検者の腕４０５のＲＧＢおよびＩＲビデオ４０４を記録するための照明光源４０１と、３チャネルＲＧＢカメラ４０２と、単一のＮＩＲカメラ４０３と、を含むビデオシステム例４００を示している。照明光源４０１は被検者の腕に光を投射するように構成されてもよく、あるいは、照明光源４０１は周辺光を表してもよい。図４のビデオシステムは、ＲＧＢカメラとＩＲカメラとを単一の複合ビデオキャプチャ装置に一体化したカメラシステムを含んでいてもよい。反対に、望ましい可視チャネル、すなわち、Ｒ、Ｇ、およびＢ、の各々に対して、および対象の望ましいＩＲ波長範囲の各々に対して、個別のビデオカメラを使用する。このようなビデオシステムは、本明細書で図８について説明するように、ビデオ分析モジュールをさらに含んでいてもよい。
【００１８】
「ビデオ分析モジュール」は、一実施形態では、ビデオ画像を分析して画像フレームからフレームごとに血管パターンを分離して、そのパターン内の血管に対応する画素から心臓機能パラメータを決定するために機械可読プログラム命令を実行する少なくとも１つのプロセッサを有するハードウェアデバイスである。このようなモジュールは、全体として、または一部において、単独で動作する、または１つ以上のハードウェア資源と連動して動作するソフトウェアアプリケーションを含んでいてもよい。このようなソフトウェアアプリケーションは、異なるハードウェアプラットフォーム上のプロセッサで実行したり、または仮想環境でエミュレートしたりしてもよい。ビデオ分析モジュールの態様は、既製のソフトウェアを利用してもよい。さまざまな実施形態では、血管パターンを分析して心臓機能パラメータを決定することが、独立成分分析を含んでいる。
【００１９】
「独立成分分析」（ＩＣＡ）は、観察されたデータの「独立成分」と呼ばれる基礎をなすソースの線形混合から構成された一組の観察結果から独立ソース信号成分を見つけるための分解法である。ＩＣＡは、データ内の統計的に独立した要素を探すことによりソース信号内のこれらの独立成分（ＩＣ）を見つける（無相関要素とは対照的に）。結果として見つけられた独立成分の順番は任意である。一般に、ＩＣＡは、追加の制約条件なしには、さらに低減することができない内在する不確定性を有している。本明細書のさまざまな実施形態に基づいて、ＩＣＡにより求めた独立成分を使用して、次に、心臓機能パラメータを決定する。
【００２０】
「リモートセンシング環境」は、被検者からデータを取得する非接触で邪魔にならず非侵襲的な手段を示しており、すなわち、検出装置が検出中の被検者に対して物理的に接触していない。検出装置は、被検者から任意の距離、例えば、１インチ未満の近い距離から、遠隔治療の場合には何マイルもの遠い距離まで、離れている可能性がある。本明細書の教示の使用目的が、心臓病患者の安静を乱さないようにするこのようなリモートセンシング環境にあることが分かる。
【００２１】
ここで、リモートセンシング環境で対象の被検者のビデオを分析して心臓機能パラメータを決定するための本方法の一実施形態例を示す図５のフローチャートを参照する。フロー処理がステップ５００から始まり、すぐにステップ５０２に進む。
【００２２】
ステップ５０２で、心臓機能を監視中の対象の被検者の皮膚露出部の領域のビデオを受け取る。このビデオは、少なくとも１つの可視チャネルにより画素に対して収集された明度を含むデータを出力する少なくとも１つのビデオカメラと、少なくとも１つの赤外チャネル上で画素に対して収集された強度値を含むデータを出力する少なくとも１つの赤外線ビデオカメラと、を含むビデオシステムを用いて記録されている。可視波長範囲と赤外波長範囲の両方でビデオを同時に記録する１つのビデオシステム例を図４に示している。血管経路検出では、皮膚露出部の領域の表面の湾曲のせいで不均一になっている照明を補正するために赤外線ビデオを前処理してもよい。動作誘発性のぶれ、画像化のぼやけ、またはゆっくりとした光源変動を補正するためにビデオを処理してもよい。皮膚露出部の領域の表面から肌の質感を除去するために平滑化を実行してもよい。平滑化は、よく理解されているように、例えば、ガウス平滑化などを用いて達成できる。コントラストまたは輝度を改善するためにビデオを処理してもよい。また、例えば、より大きな血管を含む領域などのビデオ内の特定の内容を強調するために独立成分選択を使用できる。
【００２３】
ステップ５０４で、ＩＲチャネルにより測定した画素強度値をフレームごとに処理して、皮膚露出部の領域の中の被検者の血管経路に対応する画素の位置を示す血管バイナリマスクを生成する。あるいは、このような処理は指定したフレームごとに行われたり、または検出された被検者の動きなどの事象によりきっかけを与えて、このような処理を始動させたりする。図２および図３について説明するように、ヘモグロビンの吸収率の差により、一組のＩＲ画像内の被検者の血管パターンを検出できる。処理されたＩＲ画像フレームの各々の中の検出された血管パターンをはっきり描き出す。
【００２４】
その後、ステップ５０６で、ＩＲフレームと可視チャネルの画素データとの見当を合わせて、すべてのデータ収集チャネル（すなわち、ＲＧＢデータの３チャネル、およびＩＲデータの１チャネル）に対してビデオの各フレーム内の被検者の血管パターンの血管を分離できるようにする。ＩＲフレームと可視チャネルデータとの見当を合わせることは、対応するＩＲフレームおよび可視フレーム内の特徴を抽出することと、二組の特徴の間の対応を判断することと、前記対応するＩＲフレームおよび可視フレームの間の特徴位置が一致するように１つのフレームを変更すること（例えば、平行移動、回転、またはアフィン変換および射影変換などの他の幾何学変換を行うことにより）と、を含んでいる。特徴を抽出して、特徴の対応を判断するための方法が確立している。ＩＲ画像フレームおよび可視画像フレームの前記対、または一組の選択されたＩＲフレームおよび可視フレームの対の見当を合わせると、処理のために血管パターンの血管に対応する可視チャネル内の画素を分離できる（抽出することが好ましい）。
【００２５】
その後、ステップ５０８で、血管パターンの血管に関連する分離された画素をフレームごとに、または指定したフレームごとに分析して、ビデオ内の被検者に対する望ましい心臓機能パラメータを決定する。その後、この特定の実施形態では、さらなる処理が終了する。また、これは、所定の時間間隔で、選択されたフレームで実行でき、または場面内の対象の動きなどの事象によりきっかけを与えて、これを始動できる。検出された血管パターンを間隔の画像フレーム全体に伝える。
【００２６】
例えば、望ましい心臓機能パラメータが拍動経過時間であると仮定する。したがって、各チャネルに対する時系列信号を求めるために、分離された血管パターン内の血管の近位領域および遠位領域を画像フレーム全体にわたって特定して処理する必要がある。各画像フレーム内の近位領域および遠位領域のそれぞれの中のすべての画素値の平均を計算して、フレームごとのチャネル平均を取得する。その後、複数の画像フレーム全体にわたってチャネル平均を加えて、フレームの総数で割ることにより、各チャネルに対する広範囲のチャネル平均を計算できる。その後、広範囲のチャネル平均からチャネル平均を差し引き、その結果を広範囲のチャネルの標準偏差で割って、近位領域および遠位領域のそれぞれに対するゼロ平均単位分散の時系列信号を求める。これらの時系列信号は周波数成分を含んでいる。好ましくは被検者の心臓の病歴についての先験的な知識から求めた値を用いて、近位領域および遠位領域のそれぞれに対して求めた時系列信号を正規化する。正規化すると、各画像フレームに対して、時系列信号は、例えば、高速フーリエ変換（ＦＦＴ）を用いてフィルタリングされて、望ましくない周波数を取り除く。近位領域および遠位領域のそれぞれに対して結果として得られた処理されフィルタ処理された時系列信号は、それらの近位領域および遠位領域のそれぞれの中の体積圧力変化の総和を含んでいる。独立成分分析を用いて、例えば、プレチスモグラフ信号を抽出するために、さらなる処理を行うことができる。動脈拍動は、これらのプレチスモグラフ信号の主成分を含んでおり、この主成分からは、例えば、動脈拍動と心拍周波数とを復元できる。
【００２７】
本方法は、皮膚露出部の領域の血管パターンの血管に関連する画素の位置を決定することで構成される。心拍数推定値は、血管パターン識別を用いて、および用いずに取得した画素値から決定される。実際の心拍数は、指酸素濃度計を用いて７７〜８１ｂｐｍ（平均値＝７９ｂｐｍ）で記録された。図６のプロットは、血管パターンを分離せずに取得した画素から（すなわち、図３の画像３０１から）決定した心拍数推定値（図６Ａ）と、その後、血管パターンの血管に関連すると特定されたそれらの画素だけを用いて（すなわち、図３の画像３０２から）決定した心拍数推定値（図６Ｂ）と、を比較している。信号強度を大幅に改善するとともに、完全なＮＩＲデータを提供するであろう装置の開発を促進することで、なお一層の改善が期待されることが明らかである。
【００２８】
ここで、ビデオ処理システム７００の実施形態例を示す図７を参照し、この実施形態例では、図４のビデオシステムのＲＧＢカメラ４０２およびＩＲカメラ４０３が、複数のＲＧＢ画像フレーム７０２と複数のＩＲ画像フレーム７０３と（まとめて７０１で示す）を、それぞれ、ネットワークで結ばれたワークステーション７０４に伝達し、このワークステーション７０４では、図５のフローチャートに関して説明した方法のさまざまな態様を実行する。
【００２９】
ワークステーション７０４は、ＩＲビデオとＲＧＢビデオとを含むビデオ信号を受け取る。（各ビデオの画像フレームを１からＮまで並べており、ここで、Ｎは、同時に記録されたＩＲビデオおよびＲＧＢビデオの各々のフレーム間の一対一対応を示す説明のための全フレーム記録である。ビデオを同時に記録していない場合、ＩＲビデオ信号およびＲＧＢビデオ信号の各画像フレーム間の一対一対応があるようにビデオの間の位置合わせを達成するためにビデオを前処理してもよい。ワークステーション３００が、当技術分野で一般的であるようなデスクトップ、ラップトップ、サーバ、またはメインフレームなどを含んでいてもよく、例えば、中央演算処理装置（ＣＰＵ）、さまざまな通信ポート、およびメモリで構成されたマザーボード（図示せず）などのさまざまな構成要素を内蔵するコンピュータケース７０６を有するワークステーション３００を示している。これらもまた同様にコンピュータケース７０６の内部にある図示されていない他の構成要素が、記憶デバイスと、ワークステーション７０４のさまざまな構成要素がネットワーク７０５を介して１つ以上の遠隔装置と通信できるようにするためのネットワークカードなどの通信リンクと、である。また、必要に応じてユーザ入力を達成するための英数字キーボード７０８およびマウス（図示せず）とともに、ＣＲＴ、ＬＣＤ、およびタッチスクリーンデバイスなどの表示装置７０７を有する図７のワークステーションを示している。コンピュータ可読媒体７０９が、本明細書で説明するように、本方法の機能および特徴のさまざまな態様を実現するための、および本明細書の教示のさまざまな態様を運ぶための機械可読プログラム命令を含んでいる。また、ワークステーション７０４は、外部ＵＳＢ記憶デバイス７１０と通信しており、この外部ＵＳＢ記憶デバイス７１０には、任意の計算結果とともに、さまざまな望ましい心臓機能パラメータの計算に必要とされるような数式、変数、および数値などを保存している。また、受け取ったビデオは、保存および処理のためにデバイス７１０内に保存してもよい。
【００３０】
コンピュータシステム７０４は、インストールされたアプリケーションをホスティングするためにサーバソフトウェアを実行できる（またはサーバハードウェアを内蔵できる）とともに、本明細書の教示のさまざまな態様を実行するために複数のサービスプロキシをさらに作成および／または実行してもよい。例えば、１つのプロキシサービスが、図４のＲＧＢカメラおよびＩＲカメラのタイミング成分を制御して、それらのカメラが取得するビデオを同時に記録するようにするであろう。例えば、他のプロキシサービスが、取得した画像フレームを、処理を行うためにネットワーク７０５を介してワークステーションに伝達し、他方、さらに他のプロキシサービスが、受け取ったビデオに対して、必要とされるような、または他の方法で望まれるような任意の前処理を行う。ワークステーションは、カメラ装置のうちのいずれかに装置固有の制御命令を提供する１つ以上のコントローラ上に常駐するプロセスに対するサーバとして機能してもよい。
【００３１】
ワークステーション７０４にロードされた専用プログラム命令が、ワークステーション７０４の中央処理装置に、本明細書のフローチャートに関して説明する決定、比較、計算などのうちのいずれかを実行させ、および／または専用プログラム命令が、選択可能なメニューオプションをディスプレイ７０７またはユーザインタフェース７０８を通じてユーザまたはオペレータに提供し、専用プログラム命令が、図８のビデオ分析システムの機能ブロック図に関して図示して説明するように、モジュールのうちのいずれかに伝達される命令および／または提案をさらに提供する。このようなユーザ選択に必要な情報を記憶デバイス７１０から取り出したり、および／または記憶デバイス７１０に保存したりしてもよい。図７のワークステーションのユーザは、処理もしくは再処理のために画素および／もしくは１つ以上のビデオフレームの候補下位画像区分を確認したり、またはそうでなければ選択したりするのにグラフィカル・ユーザ・インタフェースを使用してもよい。ユーザにより選択されるメニューオプションと、皮膚露出部の領域、ビデオフレーム、候補画像小区分、ならびに近位領域および遠位領域などの他の任意の選択とをワークステーションに伝達できる。望ましい心臓機能パラメータを取得するために実行することを目的としている分析を促進するために、必要に応じて、受け取ったビデオ７０１の一部またはすべてを、ワークステーション７０４のオペレータが再生して、ディスプレイ７０７上で見てもよい。このような促進は、分析および処理のためにオペレータがビデオの１つ以上のフレームを選択するという形をとってもよい。オペレータは、受け取ったビデオ信号の特定のビデオフレームまたは一部分を、図８のビデオ分析システムの特定のモジュールおよび／またはプロセッサにさらに導いてもよい。生成されたビデオ分析結果をユーザが再検討してもよい。オペレータは必要に応じて結果を変更してもよく、変更した結果を再び同じまたは異なるモジュールに導いて、さらなる処理または再処理を行ってもよい。ワークステーションは、表示装置７０７上に表示される情報を入力したり、選択したり、または変更したりするために、さまざまな数値、文字列、スクロールバー、およびユーザが選べる選択肢を有するプルダウンメニューなどを表示するように構成されたオペレーティングシステムおよび他の専用ソフトウェアを有していることを理解すべきである。計算結果を見て、ユーザは異なる関心領域を選択して、それらの異なる関心領域を他のモジュールに提供して処理または再処理を行ってもよい。他の実施形態では、生成された心臓機能パラメータ結果はネットワーク７０５を介して直接、サーバに提供され、２、３例を挙げると、医師、看護師、技術者、心臓専門医などのユーザ／オペレータに伝達される。本明細書の教示を実行するさまざまなモジュールおよび処理装置の実施形態例を、図８の機能ブロック図に関して図示して説明する。
【００３２】
ここで、図５のフローチャートおよび図７のワークステーションに関して説明したように本方法のさまざまな態様を実現するための、処理装置およびモジュールの集合を含む、１つのビデオ分析システム例８００のブロック図を示す図８を参照する。
【００３３】
図８では、処理のために画像フレームまたはビデオ信号を待ち行列に入れるビデオ受信モジュール８０２にビデオを提供するシステム８００に、記録されたＲＧＢビデオおよびＩＲビデオ７０１を伝達する。また、このようなバッファが、ビデオ分析システム８００のモジュールおよび処理装置のうちのいずれかが必要とするような、またはそうでなければ要求するような、例えば、関心領域、皮膚露出部の領域、処理のために選択されたビデオフレームまたはその一部分、決定される予定の望ましい心臓機能パラメータ、日時の情報、患者の心臓の病歴、ユーザ入力、閾値、パラメータ、数式などについての情報を受け取ってもよい。不均一照明補正器８０３が、ビデオ受信モジュール８０２のバッファからビデオの１つ以上の画像フレームを取り出して、皮膚露出部の領域の表面の湾曲のせいで不均一になっている照明を補正するために画像を前処理する。また、補正モジュール８０３は、動作誘発性のぶれ、画像化のぼやけ、またはゆっくりとした光源変動を補正するために１つ以上の画像フレームを前処理するように構成されてもよい。テクスチャ除去プロセッサ８０４が、皮膚露出部の領域の表面から肌の質感を除去するためにビデオ画像の一部またはすべてについて平滑化アルゴリズムを実行する。テクスチャ除去プロセッサ８０４は、ビデオ受信モジュール８０２のバッファから直接取り出したビデオを平滑化してもよく、前処理されたビデオを直接、補正モジュール８０３に提供してもよく、あるいは、補正されたビデオを補正モジュール８０３から受け取ってもよい。このような実施形態は、ビデオの分析により取得することを意図している望ましい心臓機能パラメータと、ユーザの好ましいシステム構成と、に非常に依存することになる。この特定の実施形態では、コントラスト改善器８０５が、処理されたビデオを取り出して、そのコントラストを改善する。輝度を効果的に増減できるとともに、ビデオのコントラストまたはビデオの画像フレームを効果的に改善できるシステムおよび方法が確立している。例えば、より大きな血管を含む領域などの、ビデオ内の特定の内容を強調することがユーザの意図であるそれらの実施形態では、独立成分選択プロセッサ８０６を利用する。カメラ関連ノイズまたは環境要因がビデオ信号に悪影響を与えており、補正が求められるとユーザが判断したそれらの実施形態では、ノイズ補正プロセッサ８０７を提供する。補正後のビデオは、それぞれの処理された画像フレームに対して環境面で補正されたビデオ信号を含んでいる。画素強度プロセッサ８０８が、ビデオシステムのＩＲチャネルにより測定された画素強度値を受け取り、処理されるＩＲビデオの画像フレームの各々に対して、これらの画素強度値を処理して、皮膚露出部の領域の中の被検者の血管経路に対応する画素の位置を示す血管バイナリマスクを生成する。ユーザは、血管バイナリマスクの計算に対して、ＩＲ画像フレームの望ましい配列順序を選択してもよい。画素見当合わせモジュール８１０がＩＲ画像を受け取り、つづけて、ＩＲの画素と可視チャネルにより記録した画像の画素との見当を合わせて、ＲＧＢビデオの同じ対応するフレームの各々の中の皮膚露出部の特定された領域内の被検者の血管パターンを分離できるようにする。一実施形態では、ＩＲ画像と可視チャネルによるデータ出力との見当を合わせることが、ビデオ信号を取得するのに使用したチャネルの各々の中の対応する特徴を一致させることを含んでいる。処理された画像フレームの各々の中の特定された血管パターンに対応する見当合わせされた画素を記憶デバイス７１０に保存して、この実施形態では、これらの見当合わせされた画素を図７のワークステーションの表示装置７０７に伝達して、ユーザが再検討する。これらの結果を見て、ユーザは、画像フレームの異なる領域、異なる集合を選択して、入力を提供して、パラメータなどを調節して、その入力を再びもとのシステム８００のさまざまなモジュールに提供して処理または再処理を行ってもよい。心臓機能パラメータ生成器８１１が、記憶デバイス７１０から、処理された画像を取り出して、つづけて、血管網の血管に関連する画素を処理して被検者に対する１つ以上の望ましい心臓機能パラメータを決定できるようにする。これらの結果もまた同様にディスプレイ７０７上に表示する。これらの結果をリアルタイムで視覚表示装置に伝達してもよく、またはオフラインで処理してもよい。この実施形態では、通知モジュール８１２が、決定された心臓機能パラメータを受け取り、計算されたパラメータが、例えば、被検者の心臓専門医などが設定した閾値の中に入っていない場合には、例えば、送信要素８１３などを用いて通知信号を送るが、この送信要素８１３は、本明細書の教示の使用目的がその中にあるシステムの設計に応じて、さまざまな通信要素のうちのどれを想定してもよい。通知は、決定された心臓機能パラメータは注意を要するという指示をユーザまたは専門家に提供する可聴音を開始することをさらに含んでいてもよい。このような通知は、録音された音声メッセージ、または例えばベル音もしくは作動中の音響警報など、または例えば点滅する着色光などの表示を提供する可視光を開始することという形をとってもよい。伝達される通知メッセージは、文字列、音声、および／またはビデオメッセージである可能性がある。このような実施形態は添付クレームの範囲内に含まれるものとする。
【００３４】
図８のブロック図のさまざまなモジュールは、１つ以上の特定の機能を実行するように設計されたソフトウェアおよび／またはハードウェアを含んでいてもよいシステムを示していることを理解されたい。複数のモジュールが共同で単一機能を実行してもよい。モジュールは、それらが目的とする機能を実行するための機械実行可能プログラム命令を読み取るための専用プロセッサを有していてもよい。モジュールは、ＡＳＩＣ、電子回路、または専用コンピュータなどの単一のハードウェアを含んでいてもよい。複数のモジュールの機能は、単一の専用コンピュータまたは並列運転している複数の専用コンピュータのどちらで実行してもよい。モジュール間の接続が、物理接続と論理接続の両方を含んでいる。モジュールは、１つ以上のソフトウェア／ハードウェアモジュールをさらに含んでいてもよく、この１つ以上のソフトウェア／ハードウェアモジュールは、オペレーティングシステム、ドライバ、デバイスコントローラ、および他の装置をさらに含んでいてもよく、この１つ以上のソフトウェア／ハードウェアモジュールの一部またはすべてを、ネットワークを介して接続してもよい。ビデオ分析システム８００は、ＬＡＮまたはＷＡＮなどのネットワークを介してサーバに接続してもよい。
【００３５】
上述の実施形態の特徴または機能のいずれかが、全体として、または一部において、専用コンピュータを含んでいてもよく、この専用コンピュータは、本明細書の教示の１つ以上の態様を実行するための機械可読プログラム命令を実行できるプロセッサを含んでいる。このような専用コンピュータは、本明細書の方法の一部またはすべてを実行するように設計された、例えば、マイクロプロセッサ、マイクロコントローラ、デバイスドライバ、電子回路、またはＡＳＩＣなどを含んでいてもよい。本システムおよび方法の図のすべてまたは一部分が、本明細書で示すように、このようなシステムのさまざまな構成要素と通信し、機械実行可能命令と関連するハードウェアで、部分的に、または全体的に実現してもよい。実施態様の正確な特徴が、本方法の用途がその中にある画像処理環境に依存するであろう。このようなシステムは、全体として、または一部において、ネットワークで結ばれた環境内のコンピュータデバイスを含む多くのコンピュータデバイスのうちのいずれかと一体化できる。図５のフローチャートおよび図８のブロック図のすべてまたは一部分が、このようなシステムのさまざまな構成要素と通信し、機械実行可能命令と関連するハードウェアで、部分的に、または全体的に実現してもよい。
【図４】
2013248386.tif 000003
【図５】
2013248386.tif 000004
【図６Ａ】
2013248386.tif 000005
【図６Ｂ】
2013248386.tif 000006
【図７】
2013248386.tif 000007
【図８】
2013248386.tif 000008
【図１】
2013248386.tif 000009
【図２】
2013248386.tif 000010
【図３Ａ】
2013248386.tif 000011
【図３Ｂ】
2013248386.tif 000012