(57)【特許請求の範囲】
【請求項１】
遠隔検出された電磁放射線から生理学的情報を抽出する遠隔ＰＰＧモニタリングシステムであって、
少なくとも１人の対象被検者を含む観察される全領域を示す画像データを含むデータストリームを受信するインタフェースを含み、
前記全領域内の複数のサブ領域を定義する分割ユニットと、
前記複数のサブ領域を少なくとも１つの表示タイプの領域及び少なくとも１つの補助タイプの領域に分類する分類器であって、前記少なくとも１つの表示タイプの領域は、前記対象被検者を少なくとも部分的に示す少なくとも１つの対象領域を含む、分類器と、
前記対象領域として分類された少なくとも１つのサブ領域を処理することによってバイタル情報を取得するデータプロセッサと、
によって特徴付けられる、遠隔ＰＰＧモニタリングシステム。
【請求項２】
前記少なくとも１つの補助タイプの領域は、少なくとも１つの基準領域を含み、前記データプロセッサは更に、基準領域として分類された少なくとも１つのサブ領域を考慮して前記少なくとも１つの対象領域をトラッキングする、請求項１に記載のシステム。
【請求項３】
前記少なくとも１つの補助タイプの領域は、信号基準領域、トラッキング基準領域、相対運動基準領域、決定不能領域、及びそれらの組み合わせから成る群から選ばれた少なくとも１つの領域を含む、請求項１に記載のシステム。
【請求項４】
前記対象領域は、前記対象被検者の皮膚部分を含む、請求項１に記載のシステム。
【請求項５】
サブ領域のパターンを前記全領域に適用するパターンアプリケータ
を更に含む、請求項１に記載のシステム。
【請求項６】
前記分類器は更に、分類スキームに従って前記サブ領域を分類し、前記分類スキームは、色モデルの一致、特徴の存在、画像コントラスト、照明条件、空間的又は時間的な照明変動、反射率、解剖学的位置、身体部位の存在、バイタル情報の精度、バイタル情報の信頼性、及びそれらの組み合わせから成る群から選ばれた少なくとも１つの分類パラメータを含む、請求項１に記載のシステム。
【請求項７】
前記分類器は更に、前記少なくとも１つの表示タイプの領域及び前記少なくとも１つの補助タイプの領域の前記サブ領域の少なくとも幾つかの順位付けを行う、請求項１に記載のシステム。
【請求項８】
前記データストリームは、深さを示す情報を含む画像データの少なくとも１つのチャネルを含む、請求項１に記載のシステム。
【請求項９】
前記データストリームは、異なる波長範囲を示す画像データの少なくとも２つのチャネルを含む、請求項１に記載のシステム。
【請求項１０】
遠隔検出された電磁放射線から生理学的情報を抽出する遠隔ＰＰＧモニタリング方法であって、
対象被検者を含む観察される全領域を示す画像データを含むデータストリームを受信するステップと、
前記全領域内の複数のサブ領域を定義するステップと、
前記複数のサブ領域を少なくとも１つの表示タイプの領域及び少なくとも１つの補助タイプの領域に分類するステップであって、前記少なくとも１つの表示タイプの領域は、前記対象被検者を少なくとも部分的に示す少なくとも１つの対象領域を含む、ステップと、
前記対象領域として分類された少なくとも１つのサブ領域を処理することによってバイタル情報を取得するステップと、
を含む、遠隔ＰＰＧモニタリング方法。
【請求項１１】
サブ領域のパターンを前記全領域に適用するステップと、
分類スキームに従って前記サブ領域を分類するステップであって、前記分類スキームは、色モデルの一致、特徴の存在、画像コントラスト、照明条件、空間的又は時間的な照明変動、反射率、解剖学的位置、身体部位の存在、バイタル情報の精度、バイタル情報の信頼性、及びそれらの組み合わせから成る群から選ばれた少なくとも１つの分類パラメータを含む、ステップと、
前記少なくとも１つの表示タイプの領域及び前記少なくとも１つの補助タイプの領域の前記サブ領域の少なくとも幾つかの順位付けを行うステップと、
の内の少なくとも１つを更に含む、請求項１０に記載の方法。
【請求項１２】
前記対象領域として分類された少なくとも２つのサブ領域を処理することによって、それらの領域の各々から同一のバイタルパラメータを導出するステップと、
単一の最終バイタルパラメータを取得する為に各領域からの結果をまとめるステップであって、好ましくは、平均化、重み付け平均化、及び／又は中央値を求めることを含むステップと、
を更に含む、請求項１０に記載の方法。
【請求項１３】
プログラムコード手段を含むコンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行された際に、請求項１０に記載の方法の前記ステップを前記コンピュータに行わせる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔検出された電磁放射線から生理学的情報を抽出するシステム及び方法に関する。より詳細には、本発明は、対象被検者によって再放射された電磁放射線からのバイタルパラメータ又はより一般的にバイタルサイン情報の検出に関する。より詳細には、但し同様に非限定的に、本発明は更に、少なくとも部分的に可視放射線を含む遠隔検出された電磁放射線からの情報の抽出に関し得る。可視放射線は、人の目に見える特定の波長範囲の放射線に関し得る。更により詳細には、本発明は、例えば、遠隔フォトプレチスモグラフィックモニタリング、遠隔酸素飽和度検出及び関連の適用例等の遠隔モニタリングの分野において適用することできる、バイタルパラメータを検出及びモニタリングする画像処理システム及び方法に関し得る。
【０００２】
本発明は、更に、対応するコンピュータプログラムに関する。
【背景技術】
【０００３】
国際公開第２００８／１２５９９５Ａ１号は、患者のバイタルサインデータ及び画像を同時に捕捉するシステム及び方法を開示し、このシステムは、
−  患者のパラメータデータ及び画像データを受信するバイタルサインモニタと、
−  バイタルサインモニタに連結され、患者の画像を捕捉する及び画像データをバイタルサインモニタに送信する撮像素子と、
−  少なくとも１つの患者のバイタルサインをモニタリングする及び少なくとも１つのバイタルサインを表す患者のパラメータデータをバイタルサインモニタに送信する１つ又は複数のセンサと、
を含む。
【０００４】
国際公開第２０１０／１００５９４Ａ２号は、少なくとも１つの生物の画像を処理する方法及びシステムを開示し、
−  時間の連続点で撮像されたデジタル画像シーケンスを取得するステップと、
−  複数の画像点を含む少なくとも１つの測定ゾーンを選択するステップであって、
−  この少なくとも１つの測定ゾーンを選択するステップは、画像の少なくとも１つにおける複数の画像部分のピクセルデータに基づいて情報を解析するステップであって、各画像部分が少なくとも１つの画像点を含むステップと、類似の特徴を持つと判断された隣接部分から各測定ゾーンを選択するステップとを含む、ステップと、
−  各々の測定ゾーン毎に、周期的生理現象の周波数に対応する信号のスペクトルにおける少なくとも１つのピークの存在及び周波数値の少なくとも一方を決定する際に用いる為の少なくとも幾つかの画像点におけるピクセル値の組み合わせの時変平均値の少なくとも変動を表す信号を取得するステップと、
を含む。
【０００５】
この文献は、更に、当該方法及び当該システムの幾つかの改良を開示する。例えば、フォトプレチスモグラフィック（ＰＰＧ:photoplethysmographic）イメージングの使用が考えられる。
【０００６】
フォトプレチスモグラフィック手法は、対象被検者をモニタリングする為、例えば患者の血中酸素飽和度をモニタリングする為に一般的に構成された所謂パルスオキシメータにおいて利用され得る。しばしば、（動脈）血中酸素飽和度の間接的検出は、ＳｐＯ２測定と称される。
【０００７】
近年、患者の情報又は生物一般の生理学的情報を取得する遠隔デジタル画像ベースモニタリングシステムが記述及び実例説明されている。
【０００８】
本明細書においては、「遠隔検出された電磁放射線」という用語は、放射線源から対象被検者へと送られ、対象被検者の皮膚部分によって「反射された」放射線成分を指し得る。被検者の皮膚における反射メカニズムはかなり複雑であり、波長、貫通深さ、皮膚組成、血管系構造、及び更なる影響パラメータ等の要因に複数依存するので、「放射された」、「透過された」及び「反射された」等の用語は、限定的に理解されるものではない。一般的に、入射放射線の一部は、皮膚の（上）表面で反射され得る。更に、入射放射線の一部は、皮膚を貫通して皮膚層を通過し得る。最終的に、入射した貫通放射線の少なくとも一部が皮膚に吸収され得る一方で、入射した貫通放射線の少なくとも別の部分は、皮膚内で散乱され得る（皮膚の表面で反射されるのではなく）。そのため、センサによって捕捉され得る対象被検者を示す放射線成分は、再放射された放射線と称することができる。
【０００９】
遠隔モニタリング及び測定手法に関して、カメラの使用が実例説明されている。カメラは、特に、画像フレームのシーケンスを捕捉可能なビデオカメラを含み得る。好ましくは、可視光を捕捉可能なカメラが使用され得る。これらのカメラは、電磁スペクトルの可視光範囲の少なくともかなりの部分を包含する特定の応答特性を含み得る。本明細書においては、可視光は、更なる技術的補助なしに人の目によって感知することができる電磁スペクトルの部分として理解されるものである。
【００１０】
遠隔被検者モニタリング（例えば患者モニタリング）は、この方法では目立たない測定を実施することができるので、有利であると考えられる。これに対して、非遠隔（接触）測定は、一般的に、センサ及びマーカーまでもがモニタリング対象の被検者の対象皮膚部分に取り付けられることを必要とする。多くの場合、これは、特に長期のモニタリングの場合、不快であると考えられる。
【００１１】
従って、目立つ（接触）測定の必要性の克服に更に貢献する遠隔モニタリングのシステム及び方法を提供することが有利となるであろう。
【００１２】
これに関連して、Verkruysse et al.,“Remote plethysmographic imaging using ambient light”, Optics Express, 16(26),2008年12月22日, pp.21434-21445は、通常の環境光及びどちらかと言えば従来のビデオカメラを用いてフォトプレチスモグラフィック信号が遠隔的に測定され得ることを実例説明する。しかしながら、遠隔測定の場合、大きな外乱が予期される必要がある。外乱は、対象被検者とモニタリングデバイスとの間の望ましくない相対運動を含み得る。更に、変化する照明条件がモニタリングの信頼性及びモニタリングの精度に悪影響を与え得る。加えて、画像捕捉センサ（例えばカメラ）は、一般的に、対象被検者及び更に周囲の物体が同時に存在する視野（例えばフレームサイズに相当する）を捕捉することができるので、対象領域が選択される必要がある及び可能であればトラッキングされるべきである。対象被検者に関しても、所望の生理学的情報を含む表示部分（例えば皮膚部分）及び非表示部分（例えば、髪及び衣服）が存在し得る。また、複数の被検者（例えば患者）が、１つの捕捉されたフレーム内に存在し得る。目立つ触知測定の場合、これらの妨げとなる悪影響は最小限に抑えられ得るが、遠隔の目立たない手法では、この点において大きな課題に直面している。
【００１３】
対象信号が僅かな皮膚の色の変動又はほんの僅かな動きパターンに埋め込まれ得る、言わば隠され得る場合、捕捉されたデータを損ない得る外乱及び歪みの大きな悪影響を考慮して、かなり低い信号対雑音比が予期される必要がある。
【００１４】
適用例の一部の分野においては、信号対雑音比は、更に低くなり得る。これは、モニタリング又は測定が、最終的に、捕捉されたデータから直接取得することができる信号に基づいて間接的な方法で基本的に決定される必要がある導出バイタルサイン情報の決定を目的としたケースの可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、上記問題点の少なくとも幾つかに対処する、遠隔検出された電磁放射線から生理学的情報を抽出するシステム及び方法を提供することであり、更に、かなり悪いモニタリング条件下でさえ所望の情報が取得され得るような、捕捉された信号の処理における更なる改良を提供する。モニタリングプロセスを容易にする及びより好ましくは自動化する助けとなり得るシステム及び方法を提供することは、更に有利となるであろう。特に、モニタリング工程中の人の介入及び作業の必要性が減少するであろう。
【課題を解決するための手段】
【００１６】
本発明の第１の態様では、遠隔検出された電磁放射線から生理学的情報を抽出するシステムが提示され、このシステムは、
−  少なくとも１人の対象被検者を含む観察される全領域を示す画像データを含むデータストリームを受信するように構成されたインタフェースと、
−  全領域内の複数のサブ領域を定義するように構成された分割ユニットと、
−  複数のサブ領域を少なくとも１つの表示タイプの領域及び少なくとも１つの補助タイプの領域に分類するように構成された分類器であって、少なくとも１つの表示タイプの領域は、対象被検者を少なくとも部分的に示す少なくとも１つの対象表示領域を含む、分類器と、
−  対象領域として分類された少なくとも１つのサブ領域を処理することによってバイタル情報を取得するように構成されたデータプロセッサと、
を含む。
【００１７】
本発明は、かなり悪いモニタリング条件下でさえ改善された信号導出結果を達成する為には、捕捉された画像データにおける領域選択が極めて重要であるという洞察に基づく。一般的に、対象被検者だけでなく、周囲の物体又はモニタリング中に使用されるセンサ（即ちカメラ）も互いに対して移動し得るので、一般的に、対象領域も捕捉された画像データにおいて時間と共に「移動する」又は「流動する」。従って基本的に、例えば対象領域の初期選択及び継続的な再選択といった人による作業が必要とされるであろう。その結果、モニタリングの精度は、実際のオペレータの経験に大きく左右される。
【００１８】
自動化された分類及び選択プロセスは、被検者をモニタリングする際の対象領域（ＲＯＩ:region of interest）に関する人の介入の必要性を減らすことができる。サブ領域の選択及び分類は、予め定義されたアルゴリズムの実行を含み得るので、人（即ちオペレータ）の入力の必要なしに行うことができる。更に、分類器は、所望の信号を示す「良好な」サブ領域を検出する為だけに構成されるのではなく、後続のバイタル情報抽出プロセス中に利用することができる。分類器は、どちらかと言えば「非表示の」サブ領域（所望の信号に関して）（一方これは、外乱及び歪みの低減の為の基準領域として機能できる）の決定に更に利用することができる。これに関連して、少なくとも１つの補助タイプの領域が少なくとも１つの基準領域を含むことが好ましい。
【００１９】
従って、一般的に基準領域における主要な変化及び変動は、動き又は変化する照明条件等の外乱に起因し得るので、主に所望の情報の抽出の為に指定された対象領域における信号対雑音比を更に改善させる為に、基準領域を比較して利用及び処理することができる。
【００２０】
本明細書においては、画像データは、画像フレームの少なくとも１つのシーケンス等のデジタル画像データを含み得る。一部の実施形態では、画像フレームのシーケンスは、ビデオストリームとも称され得る。好ましくは、画像データは、少なくとも部分的に可視放射線情報を含む。可視放射線は、可視光とも称され得る。可視光という用語は、人の目に見える放射線のスペクトル範囲と称され得る。例えば、可視光又は可視放射線は、約３９０〜約７５０ナノメートル（ｎｍ）の波長を含み得る。可視光という用語はまた、全可視光範囲のサブレンジも指し得ることは言うまでもない。
【００２１】
より一般的に、画像データは、光学放射線情報を含み得る。光学放射線は、約１００ナノメートル（ｎｍ）〜約１ミリメートル（ｍｍ）の波長を含み得る。一部の実施形態では、画像データは、非可視放射線情報を更に含んでも良い。非可視放射線は、赤外（ＩＲ）放射線及び紫外（ＵＶ）放射線を含み得るが、これらに限定されない。従って、画像データは、可視及び非可視情報（人の目の波長応答度に関して）を含み得る。
【００２２】
一例として、画像データは、マルチチャネル画像情報を含んでも良い。例えば、画像データは、ＲＧＢデータから構成されても良い。ＲＧＢは、特定の色モデル又は色表現規定に関係し得る。当然ながら、画像データを定義する為に様々な色モデル規定を利用することができる。一般的に、画像データは、波長依存組成を含む。この関連で、画像データは、単一（モノクロ）色チャネル並びにＲＧＢ、ＣＭＹＫ、及び類似の色チャネル又は色成分規定等の多色チャネルを含み得る幾つかの色チャネルから構成されても良い。更に、一部の実施形態では、画像データは、例えばＩＲチャネル又はＵＶチャネル等の非可視放射線チャネルといった更なるチャネル又は成分を加えることによって改良することができる。
【００２３】
分類器によって分類されるサブ領域は、同一又は異なるサイズ及び形状を有しても良い。サブ領域は、互いに隣接して配置されても良い。あるいは、サブ領域は、少なくとも部分的に重なり合っても良い。あるいは、サブ領域は、互いに間隔を空けても良い。また、サブ領域の少なくとも幾つかは、他のサブ領域のサブセットでも良い。サブ領域のサイズ及び形状は、適応性を持つことができ、それらは、上記の段落に記載された画像チャネル毎に異なって定義することができる。このように、マッチング結果及び従って信号品質を更に向上させる為に、サイズを時間と共に適応及び変化させることができる。サブ領域の少なくとも１つ又は幾つかが、時間と共に観察される全領域内で流動又は移動し得るので、サイズ、重なり、位置等に関するサブ領域の少なくとも一部間の相互関係も同様に時間と共に変化し得る。
【００２４】
その結果、分類されたサブ領域のパターンを観察される全領域内に生成することができる。また、表示サブ領域は、非表示破損領域から分離することができる。このように、対象表示領域を識別する為に、言わばヒューリスティックな手法が採用されても良い。
【００２５】
分類器は、複数のサブ領域を決定不能タイプの領域に分類するように更に構成されても良い。このように、分類器は、サブ領域を表示タイプの領域、補助タイプの領域、及び決定不能タイプの領域に分類することができる。例えば、一部のサブ領域は、少なくとも部分的に対象被検者の表示部分の表示を含み得ると同時に、非表示領域も含む。このように、分類器は、不確かなケースを避ける為に、このタイプの領域を決定不能タイプの領域に割り当てる。
【００２６】
バイタル情報は、バイタルサイン情報又は他の生理学的パラメータを指し得る。一部の実施形態では、血中酸素飽和度、脈拍数、呼吸数、並びに類似のバイタル信号及び／又はそれらの組み合わせ及び派生パラメータを含む生理学的パラメータ一般を検出することができる。モニタリング対象の対象被検者は、生物又は少なくとも臓器の様な生物の一部でも良い。例えば、人及び動物に対応することができる。観察される全領域が必ずしも対象被検者の全身表示を含む必要がないことは言うまでもない。また、バイタルサイン情報を導出する為に、対象被検者の部分的表示が処理されても良い。一部の実施形態では、システムは、２人以上の対象被検者の表示を含む画像データを処理するように更に構成されても良い。この為に、個人個人の検出を目的とした公知の手法が適用されても良い。従って、複数の対象被検者が全領域内に存在してもよく、それに応じて複数被検者をモニタリングする目的で、複数の対象被検者を処理することができる。
【００２７】
データプロセッサは、少なくとも１つの対象表示領域をトラッキングするように更に構成されても良い。具体的には、データプロセッサは、基準領域として分類された少なくとも１つのサブ領域を考慮して少なくとも１つの対象領域をトラッキングするように更に構成されても良い。上述の通り、少なくとも１つの基準領域の存在及び特徴に関する知識は、システムによって有効利用することができる。当然ながら、それに応じて少なくとも１つの基準領域もまた、少なくとも１つの対象領域が経験するシフトに対応し得る該当シフトを検出する為に、トラッキングされても良い。
【００２８】
更なる実施形態によれば、少なくとも１つの補助タイプの領域は、少なくとも１つの基準領域を含み、少なくとも１つの補助タイプの領域は、信号基準領域、トラッキング基準領域、相対運動基準領域、及びそれらの組み合わせから成る群から選ばれた少なくとも１つの領域を含む。
【００２９】
各基準領域は、少なくとも１つの対象領域をトラッキングする際に使用することができる所定の特徴を含み得る。例えば、トラッキング基準領域は、容易にトラッキングすることができる対象被検者の顕著な特徴の表示を含んでも良い。従って、少なくとも１つの対象領域をトラッキングする為に、例えば、トラッキング基準領域と対象領域との間の相対オフセットがトラッキングされるトラッキング基準領域に経時的に適用されても良い。一例として、トラッキング基準領域は、顔の表示を含んでも良い。一般的に、被検者の顔は、容易にトラッキングすることができる。更に、対象領域は、モニタリング対象の被検者の額部分を含んでも良い。このように、対象領域は、トラッキング基準領域のサブセットでも良い。しかしながら、代替実施形態では、各領域は、互いに間隔を空けても良い又は重なり合っても良い。各シフトに関する動きは、動き補償法に有効利用され得る。
【００３０】
相対運動基準領域は、通常移動しない周囲の物体又は背景の物体の表示を含んでも良い。このように、対象物体と静止物体との相対運動が決定され得る。更に、センサ（例えばカメラ）と不動構成要素との相対運動が決定され得る。
【００３１】
信号基準領域は、被検者トラッキングにとって主要興味ではない情報を含み得る。信号基準領域は、少なくとも１つの対象領域に近いが、表示構成要素を含まない（所望のバイタルサイン情報に関して）領域でも良い。例えば、信号基準領域は、衣服によって又は寝具によって覆われた対象被検者の一部の表示を含んでも良い。このように、信号基準領域は、一般的に、少なくとも１つの対象領域に影響を与える類似又は同一の外乱に曝される。従って、信号基準領域は、対象表示領域の実際の雑音に依存する破損の指標又は基準尺度として機能することができる。このように、妨げとなる影響を検出して、少なくとも１つの対象表示領域から「差し引く」ことができる。従って、少なくとも１つの対象領域における信号対雑音比を改善させることができる。
【００３２】
対象領域が少なくとも１人の対象被検者の皮膚部分を含むならば更に好ましい。一般的に、所望のバイタル情報は、皮膚の色の僅かな変動又は皮膚上に存在し得る微細な動きパターンに埋め込まれる。従って、対象表示領域の少なくともかなりの部分は、皮膚の表示を含むべきである。
【００３３】
別の態様によれば、システムは、サブ領域のパターンを全領域に適用するように構成されたパターンアプリケータを更に含む。具体的には、パターンアプリケータは、モニタリングイベントの初めにサブ領域の初期パターンを適用するように構成されても良い。初期パターンは、選択及び分類することができるサブ領域の初期セットを形成し得る。代替的又は追加的に、パターンアプリケータは、モニタリングイベントの間に、サブ領域のパターンを再適用するように構成されても良い。一部の品質チェック値が所定の閾値を超える場合に、パターン適用が再トリガされても良い。分割ユニットは、パターンの各サブ領域を定義するように構成されても良い。あるいは、分割ユニットは、パターンのサブ領域の一部のみを定義するように構成されても良い。所定のサブ領域が分類されると、システムがサブ領域の一部を無視する一方で、データ処理が残りの分類されたサブ領域に基づいても良い。更に別の態様によれば、分類器は、分類スキームに従ってサブ領域を分類するように更に構成され、分類スキームは、色モデルの一致、特徴の存在、画像コントラスト、照明条件、空間的又は時間的な照明変動、反射率、解剖学的位置、身体部位の存在、バイタル情報の精度、バイタル情報の信頼性、及びそれらの変形形態から成る群から選ばれた少なくとも１つの分類パラメータを含む。
【００３４】
一例として、色モデル一致分類パラメータは、皮膚色モデルに基づいても良い。このように、皮膚の色の存在を検出することができる。予め定義された及び／又は適応皮膚色モデルが利用されても良い。皮膚色モデルは、検出された皮膚部分に応じて調整されても良い。皮膚色モデル適応は、身体部位検出と組み合わせられても良い。特徴存在分類パラメータは、血管の存在、線維組織（例えば瘢痕）、顕著な皮膚の特徴、色素斑、目の存在、口の存在、鼻の存在、顔の存在等に関連し得る。
【００３５】
例えば、少なくとも１つの対象表示領域は、皮膚の検出に強く依存する分類スキームに基づいて分類されるべきであり、従って、皮膚色モデルに一致するべきである。代替的又は追加的に、対象表示領域は、身体部位検出に基づいて取得され得る。身体部位検出は、身体部位と非身体部位との分離の様に単純なもの又は具体的な解剖学的位置（例えば、額対頬対手、又は中心対末梢等）の分類の様な非常に高度なものでも良い。更に、一部の実施形態では、表示タイプの領域は、低い画像コントラストを有するべきである。好ましくは、少なくとも１つの選択された対象表示領域において、照明変化及び皮膚の表面反射（例えば鏡面反射）が存在しない、又は限られた範囲内でのみ存在する。更に、問題の対象表示領域の処理が妥当な結果（例えば、信頼性のあるバイタルサイン情報の観点から）につながるならば、各領域が対象表示領域として分類され得る可能性が高くなる。このように、遡及的分類手法が適用されても良い。例えば、問題の領域は、心拍数、酸素飽和度、及び／又は派生信号を導出する為に処理されても良い。これらの信号が妥当な範囲内であるならば、問題の領域が対象表示領域である可能性は更に高くなる。
【００３６】
少なくとも１つの信号基準領域は、例えば変化する周囲照明条件等の周囲雑音の基準として使用することができる。従って、各分類スキームは、かなり高い反射率及びかなり低い画像コントラストに焦点を当てたパラメータを含み得る。更に、信号基準領域は、対象表示領域の近くに配置されても良い。
【００３７】
少なくとも１つのトラッキング基準領域は、主にトラッキング目的で機能する。一般的に動きが信号対雑音比を大きく損なうので、対象の信号を十分に改善させる為には、動き補正が極めて重要である。一部の実施形態では、対象表示領域それ自体のトラッキングは、対象表示領域が低画像コントラストを提供するだけなので、殆ど不可能である。従って、トラッキング基準領域として機能し得る追加領域を選択することが有利となるであろう。一般的に、高画像コントラストを提供する領域が、それらが低画像コントラスト領域よりも簡単にトラッキングされることが可能であることから、選択されても良い。従って、トラッキング基準領域は、顕著なランドマーク及び構造を含み得る。トラッキング目的の特徴マッチング手法がトラッキング基準領域におけるこれらのランドマークに適用されても良い。
【００３８】
少なくとも１つの相対運動基準領域は、観察される全領域内の背景表示を含んでも良い。一般的に、一部の実施形態の場合、相対運動基準領域は、生理学的信号成分を含まない。相対運動基準領域は、かなり良好な反射特性を含むことが好ましい。更に、（相対）運動検出を単純化する為に、少なくとも１つの相対運動基準領域が良好な画像コントラストを提供することが好ましい。
【００３９】
本開示の更に別の態様によれば、分類器は、少なくとも１つの表示タイプの領域及び少なくとも１つの補助タイプの領域のサブ領域の少なくとも幾つかを順位付けするように更に構成される。このように、複数の分類された領域の中から、２つ以上のサブ領域が対象表示領域として又はそれぞれの基準領域として分類され得る場合には、かなり高品質のもののみが選択されて、更なる処理の間、考慮されても良い。このように、処理精度及び信号対雑音比を更に改善させることができる。例えば、最も高く順位付けされた各対象領域又は基準領域のみが更なる処理の為に選択されても良い。あるいは、例えば上位１０又は上位１０パーセント等の領域の相対的又は絶対的構成比が選択されても良い。少なくとも１つの補助タイプの領域に関して、順位付けは、少なくとも１つの信号基準領域、少なくとも１つのトラッキング基準領域、及び少なくとも１つの相対運動基準領域の内の少なくとも幾つか又は各々に適用されても良い。
【００４０】
従って、初めに全領域内で多数のサブ領域が定義及び選択され得る場合、所望のバイタルサイン情報を取得する為に、最も期待できる領域のみが更なる処理の為に利用されても良い。
【００４１】
サブ領域の分類及び／又は順位付けを行う間、複数の分類パラメータが考慮され得るので、分類パラメータの組み合わせが選択されても良い。１つ又は複数の対象表示領域、１つ又は複数の信号基準領域、１つ又は複数のトラッキング基準領域、及び１つ又は複数の相対運動基準領域の各々は、それぞれの分類パラメータの異なる組み合わせにリンクされても良い（即ち結び付けられても良い）。更に、分類パラメータの組み合わせを形成する為に分類パラメータの少なくとも幾つかに重み付け係数が適用されても良い。一部の実施形態では、分類パラメータの少なくとも幾つかは、所謂ノックアウト基準として定義されても良い。このように、一部のパラメータの最低必要条件を設定し得る特定の閾値が定義されても良い。例えば、（皮膚）色モデル一致パラメータに関しては、少なくとも１つの対象表示領域として皮膚部分を用いることが一般的に不可欠であるので、ノックアウト基準が定義されても良い。
【００４２】
また更なる態様によれば、システムは、特定の波長範囲の電磁放射線を感知可能な少なくとも１つのセンサも含み、少なくとも１つのセンサの少なくとも１つは、少なくとも１つの可視光波長部分を感知可能である。
【００４３】
上述の通り、本発明のシステムは、標準的なＣＣＤ若しくはＣＭＯＳセンサ又は例えばサーマルイメージングに使用されるセンサによって感知することができる光学放射線を利用した画像ベースモニタリングに特に適している。少なくとも１つのセンサは、画像データを含むデータストリームを捕捉可能でも良い。少なくとも１つのセンサは、光学光波長範囲に適応させられた所定の分光感度又は応答度を有しても良い。少なくとも１つのセンサは、例えばＣＣＤセンサ又はＣＭＯＳセンサといった画像センサとして具体化されても良い。当然ながら、処理対象の画像データを捕捉する為に電磁放射線を感知することを目的として、複数のセンサを利用することもできる。
【００４４】
更なる展開によれば、システムは、少なくとも１つの表示波長部分を感知可能な少なくとも１つのセンサを含む第１のセンサ組及び少なくとも１つの補助波長部分を感知可能な少なくとも１つのセンサを含む第２のセンサ組を含む。
【００４５】
例えば、少なくとも更なる補助波長部分を感知可能でも良い第３のセンサ組といった更なるセンサグループを構想することができる。当然ながら、それぞれの波長部分は、電磁スペクトルにおいて、隣接して、間隔を空けて、又は少なくとも部分的に重なり合って配置されても良い。
【００４６】
これに関連して、少なくとも１つの補助波長部分が、少なくとも１つの表示波長部分と比較して、より大きな貫通深さを持つ波長部分であれば更に好ましい。このように、システムは、皮膚に深く貫通可能な放射線が、容易にトラッキングすることができる顕著な皮膚特徴を、それらが捕捉された画像データ内に存在する場合に強めることができるという事実を利用することができる。逆に、少なくとも１つの表示波長部分は、所望のバイタルサイン情報を強く示すことができる皮膚の色の変動を強める為に適切に選択されても良い。
【００４７】
更に別の実施形態によれば、第２のセンサ組は、深さを示す情報を感知可能な少なくとも１つの起伏センサを含む。これに関連して、システムは、例えばレーザといった電磁放射線源を更に含んでも良い。このような特定の電磁放射線源は、全領域又は少なくとも１つの対象表示領域内の所定の位置に選択的に向けられ、最終的に少なくとも１つの起伏センサによって捕捉されても良い。このように、起伏データを取得する為に、全領域、特に少なくとも１つの対象表示領域がスキャンされても良い。起伏データは、少なくとも１つの対象領域をトラッキングする為の更なる指標として使用されても良い。従って、波長依存画像データに加えて、システムは、少なくとも１つの起伏センサと組み合わせて電磁放射線源によって放射された所定の放射線の移動時間測定に基づいた深さ依存情報を更に捕捉しても良い。より一般的には、この点において、データストリームが深さを示す情報を含む画像データの少なくとも１つのチャネルを含むと好ましい場合がある。
【００４８】
更に別の態様によれば、データストリームは、異なる波長範囲を示す画像データの少なくとも２つのチャネルを含む。異なる波長チャネルは、フィルタを備えた別々のカメラ、時分割照明、チューナブルフィルタを備えた単一センサ等によって実現することができる。
【００４９】
更に別の態様によれば、システムは、所定の波長部分の電磁放射線を選択的に透過させる少なくとも１つのフィルタを含むフィルタ構成を更に含む。少なくとも１つのフィルタは、光学フィルタ、電子フィルタ、ハードウェアフィルタ及び／又はソフトウェアフィルタを用いて具体化されても良い。またこのようにして、２つ以上のセンサ組を設けるという絶対的必要性に直面することなく、少なくとも１つの表示波長部分及び少なくとも１つの補助波長部分を捕捉することができる。一例として、フィルタ構成は、スイッチングフィルタを含んでも良い。このように、交互に、少なくとも１つの表示波長部分及び少なくとも１つの補助波長部分が同じセンサ組によって感知されても良い。
【００５０】
本発明の更なる態様では、遠隔検出された電磁放射線から生理学的情報を抽出する方法が提示され、この方法は、
−  対象被検者を含む観察される全領域を示す画像データを含むデータストリームを受信するステップと、
−  全領域内の複数のサブ領域を定義するステップと、
−  複数のサブ領域を少なくとも１つの表示タイプの領域及び少なくとも１つの補助タイプの領域に分類するステップであって、少なくとも１つの表示タイプの領域は、対象被検者を少なくとも部分的に示す少なくとも１つの対象表示領域を含む、ステップと、
−  対象領域として分類された少なくとも１つのサブ領域を処理することによってバイタル情報を取得するステップと、
を含む。
【００５１】
好ましくは、この方法は、
−  サブ領域のパターンを全領域に適用するステップと、
−  分類スキームに従ってサブ領域を分類するステップであって、分類スキームは、色モデルの一致、特徴の存在、画像コントラスト、照明条件、空間的又は時間的な照明変動、反射率、身体部位の存在、バイタル情報の精度、バイタル情報の信頼性、及びそれらの組み合わせから成る群から選ばれた少なくとも１つの分類パラメータを含む、ステップと、
−  少なくとも１つの表示タイプの領域及び少なくとも１つの補助タイプの領域のサブ領域の少なくとも幾つかの順位付けを行うステップと、
の内の少なくとも１つを更に含む。
【００５２】
更に別の態様によれば、この方法は、
−  対象表示領域として分類された少なくとも２つのサブ領域を処理することによって、それらの領域の各々から同一のバイタルパラメータを導出するステップと、
−  単一の最終バイタルパラメータを取得する為に各領域からの結果をまとめるステップであって、好ましくは、平均化、重み付け平均化、及び／又は中央値を求めることを含むステップと、
を更に含んでも良い。
【００５３】
本発明の更に別の態様では、プログラムコード手段を含むコンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行された際に、上記処理方法のステップをそのコンピュータに行わせるコンピュータプログラムが提供される。
【００５４】
本明細書においては、「コンピュータ」という用語は、多数の処理デバイスを表す。つまり、かなりの計算能力を有するモバイル機器も、標準的なデスクトップコンピュータと比べて低い処理能力リソースを提供するけれども、コンピューティングデバイスと呼ばれ得る。更に、「コンピュータ」という用語は、クラウド環境において提供される計算能力を含み得る又は利用し得る分散コンピューティングデバイスも指し得る。「コンピュータ」という用語は、データ処理が可能な医療技術デバイス、フィットネス機器デバイス、及びモニタリングデバイス一般にも関連し得る。
【００５５】
本発明の好ましい実施形態は、従属クレームに定義される。請求項に係る方法及び請求項に係るコンピュータプログラムが請求項に係る装置及び従属装置クレームに定義されたものと類似の好適な実施形態を有し得ることを理解されたい。
【００５６】
本発明のこれら及び他の態様は、以下に記載される１つ又は複数の実施形態を参照して明白となる及び解明されるであろう。
【図面の簡単な説明】
【００５７】
【図１】本発明を用いることができるシステムの一般レイアウトの模式図を示す。
【図２】本発明を用いることができるシステムの代替一般レイアウトの模式図を示す。
【図３】全領域のモニタリングが可能なセンサが存在するモニタリング構成例を示す。
【図４】対象被検者及び周囲の物体が存在するモニタリングされる全領域の一部を示す。
【図５ａ−５ｂ】異なる波長応答度で捕捉された画像部分例を示す。
【図６ａ−６ｄ】分類及びトラッキングすることができる複数のサブ領域が存在する全領域の模式図を示す。
【図７】本発明による方法の一実施形態の幾つかのステップを示す例示的ブロック図を示す。
【発明を実施するための形態】
【００５８】
以下のセクションは、本発明のシステム及び方法の幾つかの態様を利用した、対象被検者の遠隔モニタリング、特に遠隔フォトプレチスモグラフィ（遠隔ＰＰＧ）に対する例示的手法を説明する。示された手法の各ステップ及び特徴は、それぞれの総体的手法又は実施形態の文脈から抜き出すことができることを理解されたい。従って、これらのステップ及び特徴は、やはり本発明の範囲に含まれる別個の実施形態の一部となり得る。
【００５９】
図１は、参照符号１０によって示されるバイタルサイン情報を検出する為のシステムの模式図を示す。バイタルサイン情報は、バイタルサインそれ自体を指し得るが、目立たない遠隔モニタリングによって取得することができる更に関連した又は導出された生理学的情報も指し得る。具体的には、画像ベースモニタリングを利用することができる。画像ベースモニタリングは、ビデオカメラ等の可視光捕捉デバイスを利用した映像ベースモニタリングを含み得る。
【００６０】
一例として、システム１０は、遠隔モニタリングを目的として、特に遠隔ＰＰＧモニタリングを目的として、遠隔の対象被検者１２又は被検者１２の少なくとも一部を示す画像フレームを含む画像シーケンスを記録する為に利用することができる。対象被検者１２は、被検者全体（即ち患者）又は少なくとも被検者の一部（例えば顔）と称される場合がある。記録画像データは、被検者１２によって再放射された電磁放射線１８から導出することができる。場合により、特定の条件下では、電磁放射線１８の少なくとも一部が、被検者１２自身によって放射、反射、又は透過され得る。放射線透過は、例えば、被検者１２を通って光る強い照明源に被検者１２が曝された時に生じ得る。放射線の放射は、体温によって引き起こされた赤外放射線が指定及び捕捉された際に生じ得る。しかしながら、例えば遠隔ＰＰＧ適用例の場合、一般的に捕捉される電磁放射線１８の大部分は、被検者１２によって再放射された放射線と見なされ得る。被検者１２は、人又は動物、即ち一般的に生物であり得る。
【００６１】
太陽光又は人工放射線源等の放射線源１４は、被検者１２に光を当てることができる。放射線源１４は、基本的に被検者１２に当たる入射放射線１６を放射する。一部の実施形態では、照明源１４は、システム１０の一部でも良い。システム１０は、捕捉された画像データから最終的にバイタルサイン情報２０、２２を導出するように構成することができる。バイタルサイン情報２０、２２は、例えば、心拍数、血中酸素飽和度、呼吸数等を含んでも良い。一部の実施形態では、システム１０によって、派生バイタルサイン及び／又はバイタルパラメータが検出及び計算されても良い。システム１０は、少なくとも１つのセンサ２４、例えば画像センサを利用しても良い。センサ２４は、少なくともビデオカメラによって具体化されても良い。センサ２４は、例えば、ＣＣＤカメラ又はＣＭＯＳカメラを含んでも良い。当然ながら、システム１０によって利用されるカメラは、複数の（画像）センサ２４を含んでも良い。
【００６２】
一部の実施形態では、システム１０は、必ずしもセンサ２４を含む必要がない。そのため、システム１０は、入力信号、即ち前もって既に記録された、及びそのうちに保存又はバッファリングされた画像データを含む入力データストリーム２６を処理するように適応させられても良い。データストリーム２６は、インタフェース２８に送られても良い。当然ながら、同様にバッファ手段がセンサ２４とインタフェース２８との間に介在されても良い。インタフェース２８の下流では、入力データストリーム３０が分割ユニット３２に送られても良い。前述の通り、入力データストリーム３０は、全領域を構成する画像フレームシーケンスを含み得る。分割ユニット３２は、入力データストリーム３０における全領域内の複数のサブ領域を定義するように構成されても良い。
【００６３】
このシステムは、各フレームにおいてサブ領域のパターンを全領域に適用するパターンアプリケータ３１を更に含んでも良い。このように、サブ領域の初期セットが定義されても良い。図１では、（任意選択的）パターンアプリケータ３１は、破線ボックスによって示される。一部の実施形態では、パターンアプリケータは、ブラインド動作モードを含み得る。モニタリングイベントの初めに、各領域に関して限られた情報のみが利用可能となり得る場合、可能な手法は、かなりの数のサブ領域を有するパターンを全領域に「やみくもに」適用することに関与し得る。おそらく、少数のサブ領域が、更なる信号処理ステップの基礎又はアンカーとして明確に分類され機能し得る。パターンアプリケータ３１は、全領域内の適用されるサブ領域の数、寸法及び位置を変えるように更に構成されても良い。これにより、サブ領域の柔軟な形成及び分布が達成され得る。
【００６４】
選択されたデータ３４、例えば全領域内の所定のサブ領域は、分類器３６に送られても良い。分類器３６は、複数のサブ領域を少なくとも１つの表示タイプの領域及び少なくとも１つの補助タイプの領域に分類するように構成されても良い。このように、更なる処理の為に、対象表示領域が識別及び選択され得る。少なくとも１つの補助タイプの領域の中から、少なくとも１つの対象領域における雑音及び外乱の補償の為に基準領域として使用され得る少なくとも幾つかのサブ領域が選択されても良い。
【００６５】
分類されたデータ３８（即ち分類されたサブ領域）は、データプロセッサ４０に送られても良い。データプロセッサ４０は、具体的には少なくとも１つの基準領域を考慮して対象領域として分類された少なくとも１つのサブ領域を処理するように構成されても良い。例えば、少なくとも１つのサブ領域は、皮膚の表示を含み得る。最終的に所望のバイタルサイン情報を取得する為に、皮膚の色の変動が検出及び処理されても良い。最終的に、処理されたデータ４２は、ユーザに又は更なる処理の為に提供されても良い。なお、（出力）インタフェースが使用されても良い。更に、ディスプレイ等の表示デバイスが利用されても良い。インタフェース２８、パターンアプリケータ３１（もしあれば）、分割ユニット３２、分類器３６及びデータプロセッサ４０の幾つか又は各々は、処理装置４６内で結合又は実装されても良い。処理装置４６は、コンピューティングデバイス、又は少なくとも所望のデータ処理を提供する為に各論理命令（プログラムコード）によって駆動されるコンピューティングデバイスの一部と見なされ得る。処理装置４６は、仮想的又は個々に実装され得る幾つかの構成要素又はユニットを含み得る。例えば、処理装置４６は、マルチコプロセッサ又はシングルコアプロセッサ等の幾つかのプロセッサを含んでも良い。少なくとも１つのプロセッサが処理装置４６によって利用され得る。各プロセッサは、標準プロセッサ（例えば中央処理装置）として又は専用プロセッサ（例えばグラフィックプロセッサ）として構成されても良い。従って、処理装置４６は、データ処理の幾つかのタスクを適切なプロセッサに分配するように適切に動作することができる。
【００６６】
システム１０は、フィルタ４８又はそれぞれのフィルタ構成を更に含んでも良い。フィルタ４８は、センサ２４に連結されても良い。フィルタ４８は、センサ２４の応答度を選択的に適応させる為に利用されても良い。更に、センサ２４及びフィルタ４８を適切に動作させる為にイメージング制御プロセッサ５０が実装されても良い。このように、例えば、複数の異なる波長組成を有する画像データを捕捉することができる。イメージング制御プロセッサ５０は、処理装置４６の一部を形成しても良い。代替的に、イメージング制御プロセッサ５０は、センサ２４及び／又は放射線源１４の一部を形成しても良い又はセンサ２４及び／又は放射線源１４に連結されても良い。
【００６７】
図２は、参照符号１０ａによって示されるバイタルサイン情報を抽出する為の代替的システムの模式図を示す。図１と比較して、図２における類似又は同一の要素は、同じ参照符号によって示される。図２に示されたシステム１０ａは、第１の波長応答度を有する電磁放射線１８を感知可能な第１のセンサ２４を含む。更に、第２の波長応答度を有する電磁放射線１８ａを感知可能な第２のセンサ２４ａが設けられる。当然ながら、一部の実施形態では、３つ以上のセンサ２４、２４ａが実装されても良い。例えば、センサ２４は、血管活動による特に微細な皮膚の色の変化が存在する波長部分の放射線を捕捉するように適切に適応させられても良い。更に、センサ２４ａは、簡単にトラッキングすることができる皮膚の特徴を強める為に放射線が皮膚に深く貫通できる波長範囲の電磁放射線を捕捉するように構成されても良い。従って、複数のセンサ２４、２４ａを用いて、マルチチャネル入力画像データを捕捉することができる。更に、少なくともセンサ２４、２４ａの一部に関して、マルチチャネル画像入力データは、単一センサそれ自体によって捕捉することができる。例えば、幾つかの異なる放射線部分を指定できる感知素子（例えば所定の異なるスペクトル感度を含むＣＣＤ素子又はＣＭＯＳ素子）が設けられても良い。
【００６８】
破線によって示されるように、システム１０ａは、電磁放射線１６を放射可能な放射線又は照明源１４ａを更に含んでも良い。更に、同様に電磁放射線１６ａを放射可能な別の放射線源１４ｂが設けられても良い。放射線源１４ｂは、例えば、レーザ放射線を放射可能なレーザデバイスによって具体化されても良い。イメージング制御プロセッサ５０は、入射電磁放射線１６ａ（例えばレーザ光）を選択的に制御して、全領域内の所定の点へと、具体的には対象被検者１２へと向けるように放射線源１４ｂを制御するように構成されても良い。このように、センサ２４、２４ａの少なくとも一方が電磁放射線１６ａの反射された（即ち再放射された）部分を感知可能である場合に、表面（即ち起伏）をスキャンすることができる。このように、システム１０ａは、例えば移動時間測定による深さ感知を目的として構成されても良い。深さ感知は、起伏データを取得する為に利用することができる。このように、例えば顔の形又は類似の顕著な特徴といった対象被検者１２の顕著な特徴を検出することができる。従って、対象被検者１２のトラッキングを更に容易にすることができる。
【００６９】
図３は、センサ手段２４によってモニタリングされるモニタリング対象の被検者１２を含むモニタリング構成を示す。例えば、被検者１２は、ベッド５６に寝ている患者でも良い。センサ２４は、図３のフレームによって示される全領域５４をモニタリングする又は捕捉するように構成されても良い。全領域は、対象被検者１２の表示を含んでも良い。全領域５４は、１つ又は複数の画角を持つ１つ又は複数のセンサ２４によって獲得された情報を含んでも良い。異なる波長範囲からの情報は、全領域５４の別々の部分として見なされ得ることを理解されたい。更に、全領域は、ベッド５６及び例えばイス５８等の周囲の物体又は背景の物体の表示を含んでも良い。被検者１２は、例えば毛布によって又は衣服によって少なくとも部分的に隠され得る又は覆われ得る。
【００７０】
領域の分類及びデータの処理の為に、サブ領域６２のパターンが全領域５４に適用されても良い。これは、潜在的に、異なる波長範囲の異なる境界線を有するサブ領域をもたらし得る。図３では、複数のサブ領域６２が、それぞれの破線ボックスによって示される。複数のサブ領域６２は、領域分類の基礎として機能し得る。このように、サブ領域６２の少なくとも幾つかを、サブ領域６２を更に処理する際に所定の明確な目的の為に使用されるように、特別なタイプの領域に指定することができる。例えば、分類対象のサブ領域６２の少なくとも幾つかは、トラッキング基準領域として使用されても良い。基本的に、被検者１２のトラッキングは、動き補償及び外乱減少に寄与し得る。被検者１２とセンサ２４との間の相対運動は、捕捉された画像データに埋め込まれた対象のバイタルサイン情報を大きく損ない得る。更に、周囲の物体５６、５８に対する被検者１２の動きは、検出信号を損ない画像データ処理を更に困難にし得る。これは、特に遠隔モニタリング環境に当てはまる。図３では、矢印６４は、センサ２４の動きを示す。更に、矢印６６は、被検者１２の動きを示す。
【００７１】
図４は、モニタリング対象の被検者１２を示す全フレーム５４ａの一部を示す。全領域５４ａでは、サブ領域６２（図３を参照）の少なくとも幾つかは、データ処理中に更なる用途の為に選択及び分類されている。例えば、対象表示領域６８は、全フレーム５４ａ内に存在する。対象表示領域６８は、基本的に所望の信号（但し、一般的にこれらは、動きアーチファクト及び変化する照明による外乱及び歪み等の雑音によって重畳されている）を提供する領域である。
【００７２】
典型的には、一部の適用例の場合、１つ又は複数の対象表示領域６８のそれぞれの分類パラメータを定義する為に、以下の推定及び仮定の少なくとも幾つかが成され得る。この領域は、皮膚（組織）でもよく、所望の生理学的情報を導出する為に良好な信号条件を提供するべきである。従って、選択基準は、例えば、以下を含み得る。
−  皮膚の色：領域の色は、予め定義されたモデルでも良い又は身体部位検出（後に記述）によって取得されても良い皮膚色モデルに一致するべきである、
−  画像コントラスト：この領域は、低画像コントラストを有するべきである、
−  照明（反射）：血中酸素飽和度のような光度測定は、基本的に皮膚領域からの光を必要とする。どのような照明変化も、潜在的に測定に影響を与え得る。皮膚上の反射も光度測定に影響を与え得る。従って、好ましくは、照明変化及び反射は、この領域において回避されるべきである、並びに／又は
−  この領域から導出された生理学的パラメータ（例えばＰＰＧ信号）：妥当なパラメータが対象表示領域６８の存在を示しても良い。各パラメータは、脈拍数（例えば３０〜２５０ｂｐｍ、それが生理学的に妥当な限度内の導出された脈拍数値の履歴に一致するか否か、及び／若しくはそれが他の領域の脈拍数に一致するか否か）、妥当な酸素飽和度（比率の比は、全ケース中で５０〜１００％の酸素飽和度に相当し、これらのケースの９９％において、９５〜１００％に相当する、及び／若しくはそれが生理学的限度内の導出された酸素飽和度値の履歴と一致するか否か）、拍動振幅、パルス波形、周期性、又は１つ若しくは複数の検出信号の他の品質測定法に関与し得るが、これらに限定されない。
【００７３】
更に、信号基準領域７０が、全領域５４ａ内に存在する。信号基準領域７０は、対象表示領域６８にかなり近い。しかしながら、好ましくは、対象表示領域６８は、皮膚表示を含む。反対に、信号基準領域７０は、好ましくは、皮膚以外の表示を含む。このように、例えば、対象の僅かな皮膚色変化が信号基準領域７０に存在しないと仮定することができる。更に、それでも幾つかの経時的なばらつきが信号基準領域７０内に存在する場合、これらのばらつきは、変化する照明条件等に起因すると仮定することができる。このように、外乱補償の基準が提供される。
【００７４】
上記は、一般的に、例えば周囲照明の変動又はデータストリーム２６に存在する他の雑音といった周囲雑音及び／又は固有システム雑音に適用できる。代替的に又は追加的に、１つ又は複数の信号基準領域７０は、一般的な照明条件、例えば、異なる波長における絶対的又は相対的光レベルに関する情報を取得する為の基準として使用することができる。
【００７５】
典型的には、一部の適用例の場合、信号基準領域７０のそれぞれの分類パラメータを定義する為に、以下の推定及び仮定の少なくとも幾つかが成され得る。基本的に、１つ又は複数の各領域は、周囲雑音、例えば周囲照明条件の基準として使用されるべきである。従って、好ましくは、この１つ又は複数の領域において、減衰した生理学的信号成分のみが存在する又は生理学的信号成分が全く存在しない（例えば血液からの変調分がない）。しかしながら、この１つ又は複数の領域は、実際の測定の為には、１つ又は複数の対象表示領域６８の近くにあるべきである。選択基準は、例えば、全ての関連波長における良好な反射挙動及び１つ又は複数のこの領域における低画像コントラストを含み得る。このように、主要な照明のばらつきは、１つ又は複数の信号基準領域７０に明らかに存在する。
【００７６】
更に、トラッキング基準領域７２が図４に存在する。トラッキング基準領域７２は、被検者１２の顕著な特徴の表示を含んでも良い。例えば、トラッキング基準領域７２を識別及び分類する為に、顔認識、身体部位認識、及び類似の手法が行われ得る。一部の実施形態では、トラッキング基準領域７２は、トラッキング対象の顕著な皮膚ランドマークの形状へとサイズが縮小されても良い。好ましくは、トラッキング基準領域７２は、経時的に全領域５４ａにおいて容易にトラッキングすることができる。従って、対象表示領域６８とトラッキング基準領域７２との間の位置的（即ち空間的）オフセットを維持することによって、対象表示領域６８の位置を少なくとも近似的にトラッキングすることができる。
【００７７】
典型的には、一部の適用例の場合、トラッキング基準領域７２のそれぞれの分類パラメータを定義する為に、以下の推定及び仮定の少なくとも幾つかが成され得る。少なくとも１つの対象表示領域６８において検出される及びそこから抽出される比較的弱い生理学的信号は、その１つ又は複数の表示領域における動きによって簡単に中断され得るので、その１つ又は複数の領域の動き補正は、信号対雑音比を大幅に向上させる。しかしながら、少なくとも１つの対象表示領域６８は、一般的に、劣った低画像コントラストを含み、従って、各領域を確実にトラッキングすることがかなり難しい。従って、高画像コントラストを含み得る１つ又は複数の追加領域、少なくとも１つのトラッキング基準領域７２がトラッキングを目的としてアドレス指定及び使用される。トラッキングに使用される１つ又は複数のトラッキング基準領域７２が、点として一般化できることは注目に値する（例えばランドマーク点トラッキング）。１つ又は複数のトラッキング基準領域７２のトラッキングに基づいて、少なくとも１つの対象表示領域６８の動きを補正することができる。例えば、複数の領域が最初に被検者１２の顕著な自然ランドマーク（構造）の付近で選択されても良い。次に、これらの領域は、画像シーケンスにおいて連続的にトラッキングされても良い。トラッキングは、例えばテンプレートマッチングといった幾つかの画像及び映像解析技術に関与し得る。最後に、トラッキング精度に基づいて、バイタルサイン情報処理に最適な１つの対象表示領域６８が、１つ又は複数の最も良くトラッキングされた基準領域７２内／付近で選択されても良い。
【００７８】
代替的又は追加的に、少なくとも１つの相対運動基準領域７４が全領域５４ａ内に存在しても良い。例えば、相対運動基準領域７４は、固定された（不動の）物体、例えば背景の物体の表示を含んでも良い。このように、相対運動補償基準を取得することができる。従って、もしあれば、背景に対するセンサの動きを検出及び補償することができる。更に、背景に対する被検者１２の動きを検出及び補償することができる。このように、少なくとも部分的に相対運動補償を達成することができる。従って、対象表示領域６８のトラッキング精度を更に向上させることができる。
【００７９】
１つ又は複数の相対運動基準領域７４は、被検者１２の動きが生じた場合に利用することができる。１つ又は複数の相対運動基準領域７４は、被検者１２に接続又は連結されていない背景特徴を含んでも良い。従って、これらの１つ又は複数の領域は、被検者の動きの基準として使用することができる。関連の分類パラメータは、特に被検者の動きを確実に測定する為に、明確な画像コントラストを含み得る。
【００８０】
例示目的で、図４の全領域５４ａ内に、決定不能領域７６も示されている。決定不能領域７６は、適切に分類できないサブ領域を示し得る。好ましくは、決定不能領域７６は、更なる処理中に無視され得る。図４に示されるように、領域６８、７０、７２、７４、７６は、サイズが異なっても良い。更に、領域６８、７０、７２、７４、７６の少なくとも幾つかは、互いに重なり合っても良い。場合によっては、少なくとも幾つかの領域が、他の領域のサブセットから形成されても良い。
【００８１】
特に図４に関連して、全領域５４ａは、対象表示領域６８、信号基準領域７０、トラッキング基準領域７２、及び相対運動基準領域７４の少なくとも１つの複数も含み得ることが更に言及されるべきである。
【００８２】
図５ａ及び５ｂは、捕捉された画像、具体的には全領域の一部を示す。例えば、それぞれの可視画像部分は、トラッキング基準領域７２に対応し得る。更に、トラッキング基準領域７２のサブセットとして、モニタリング対象の被検者１２の額部分を含む対象表示領域６８が存在し得る。図５ａは、表示波長部分を強める第１の分光応答度を考慮して捕捉された画像を含み得る。対照的に、図５ｂは、補助波長部分を強める第２の分光応答度を考慮して捕捉された画像の表示を提供し得る。一般的に、図５ａに提供された画像の波長組成は、対象のバイタルサイン情報を検出及び処理する為に適切に適応させられる。一方、図５ｂに提供された画像の波長組成は、被検者１２のトラッキングを容易にする為のトラッキング基準領域７２における顕著なランドマーク又は特徴を強めるように適応させられる。一例として、図５ｂに示された画像は、図５ａに示された画像を捕捉する為に使用された放射線部分と比較して、被検者１２の皮膚により深く貫通することができる放射線部分に基づき得る。
【００８３】
図６ａ、６ｂ、６ｃ及び６ｄは、例示的モニタリング及び分類セッションの幾つかの段階における全領域５４、５４’、５４’’、５４’’’の簡略化表示を示す。上述の通り、少なくとも被検者１２は、全領域５４内に存在し得る。図６ａに示されるように、最初に、一連のサブ領域６２が全領域に適用されても良い。図６ａでは、幾つかのサブ領域が典型的に参照符号６２ａ、６２ｂ、６２ｃによって示される。サブ領域６２のパターンは、例えばパターンアプリケータ３１によって、全領域５４に有利に適用されても良い。サブ領域６２の少なくとも幾つかが選択及び分類されても良い。
【００８４】
図６ｂに典型的に示されるように、サブ領域６２は、対象表示領域６８、信号基準領域７０、トラッキング基準領域７２、相対運動基準領域７４、及び決定不能領域７６に分類されても良い。サブ領域６２の一部又は全てを分類した後、分類された領域６８、７０、７２、７４は、外乱補償及びバイタルサイン情報検出の為の更なる処理動作中に適切に使用することができる。更に、少なくとも決定不能領域７６は、無視することができる。更に、更なる処理動作中に全ての領域６８、７０、７２、７４が考慮される必要があるわけではないので、これらの領域の幾つかも無視することができる。これに関連して、各タイプの領域６８、７０、７２、７４の中で、順位付けが確立されることが好ましい。このように、特に最も良く順位付けされた領域６８、７０、７２、７４を更なる処理の為に選択することができる。
【００８５】
図６ｃに示されるように、複数の領域７８（空白のボックス）が無視される。残りの領域（模様付きボックス）は、トラッキング及び雑音補償目的並びに信号導出法の為に選択される。
【００８６】
図６ｄは、被検者１２（不図示）も明らかに移動したので、考慮される領域の少なくとも幾つか（６８’、７０’、７２’）が移動した全領域５４’’’の表示を示す。しかしながら、高いトラッキング精度を達成することができるので、それでも対象表示領域６８’が識別される及び信号処理に使用されることが可能である。システム１０が、少なくとも１つの品質及び／又は精度パラメータが妥当な範囲を超えることを検出した場合、一部の実施形態では、パターンの適用（図６ａ）、サブ領域の分類（図６ｂ）、及びサブ領域の選択（図６ｃ）を再トリガすることができる。
【００８７】
一部の実施形態では、システム１０は、選択された領域の品質を定期的にモニタリング及び制御する。この為に、品質スコアが分類パラメータに基づいて定義されても良い。分類スキームもまた、品質スコアを含んでも良い。上述の品質スコアの何れか又は全てが予め定義された閾値を下回る又は上回る場合、システムは、実際の測定をリセットして、領域の選択を再開始することができる。
【００８８】
更に、複数のパラメータ（同様に品質測定法）に基づいた分類スキーム、例えば分類パラメータのベクトルが、各領域毎に定義されても良い。一部の基準は、「ノックアウト」基準として定義され得る。例えば、一連の分類対象の領域から始めた場合、皮膚である可能性の高い領域が存在しない場合、バイタルサイン測定を導出することは全く不可能である。一方、１つ又は複数の一連の表示領域６８を選択する為に各表示領域６８からの測定法を組み合わせた「全」品質測定法を持つことにより、最適な測定を保証することが可能である。更に、異なる測定法（即ち分類パラメータ）の組み合わせに関して、異なる重みが各測定法に与えられても良い。領域の選択に関して、データ履歴又は他のセンサからの入力も考慮に入れられても良い。例えば、心拍数等のバイタル信号は、システムが使用されたＲＯＩの新しい評価を行う前の数秒間に良好な条件下で測定された場合、システムは、以前に測定されたこの特定のバイタル信号の値により「こだわり」、これに基づいて判断を下し得る。同様に、システムは、例えば他の手段（例えばケーブルレスセンサ又は容量性ＥＣＧからの間欠測定）からの脈拍数又は酸素飽和度を提供する外部（基準）データ源を使用しても良い。また、このように、精度制御データを収集することができる。
【００８９】
図７は、遠隔検出された電磁放射線から生理学的情報を抽出する方法を模式的に示す。最初に、ステップ８２において、撮像データ、例えば画像フレームのシーケンス８４ａ、８４ｂ、８４ｃが受信される。後続のステップ８６において、サブ領域の領域パターン８８が少なくともフレーム８４ａに適用される。フレーム８４ａは、全領域を表し得る。別のステップ９０では、パターン８８中の少なくとも幾つかのサブ領域が分類目的で選択される。一部の実施形態では、両ステップ８６及び９０が組み合わせられ、「複数のサブ領域を定義する」という表現で要約されても良い。ステップ９２は、サブ領域の少なくとも幾つかがデータ処理中の幾つかの目的に役立ち得る幾つかのタイプの領域に分類される分類プロセスを表しても良い。
【００９０】
分類されたサブ領域（一般的に同じタイプの領域に属する）の順位付けが行われる別のステップ９４が次に続いても良い。好ましくは、最も高く順位付けされた領域が更なる処理方法に使用される。なお、最も低く順位付けされた領域は、更なる処理中に無視されても良い。
【００９１】
次に、トラッキングサブステップ９８及びバイタルサイン情報導出サブステップ１００を含み得る処理ステップ９６が次に続いても良い。サブステップ１００は、心拍数、心拍変動、呼吸数、酸素飽和度等のバイタルサイン情報の決定を目的とする信号処理及び導出方法に関与しても良い。トラッキングステップ９８は、少なくとも１つ又は幾つかの基準領域のトラッキングに関与しても良い。領域パターン８８内の少なくとも幾つかのサブ領域を経時的にトラッキングしても良い（例示的パターン表示を含む図７のフレームシーケンス８４ａ、８４ｂ、８４ｃの表示を参照）。
【００９２】
ステップ９６において、分類パラメータ及び／又は分類スキームを適応させるのに役立ち得る補助情報が取得されても良い。一般的に、データストレージ１０４内で一連の分類パラメータが提供されても良い。分類パラメータ適応を含み得るステップ１０２は、ストレージ１０４からの入力を使用しても良い。更に、処理ステップ９６において、それに応じて分類パラメータ及び／又は分類スキームを適応させることができるようにフィードバック情報が取得されても良い。このように、分類ステップ９２に対する支配的影響を働かせることができる。更に、ステップ９６は、パターン適用ステップ８６を再トリガするトリガ信号を含み得るフィードバック情報１０６を提供しても良い。このように、例えば大量の外乱及び／又は誤りが検出された場合、サブ領域の選択及び分類を再開始することができる。
【００９３】
最終的に、処理された信号、好ましくはバイタルサイン情報を表す信号を取得することができ、表示及び／又は更なる処理方法に提供することができる。ステップ１０８において、プロセスが終了しても良い。
【００９４】
一例として、本発明は、例えば目立たない遠隔患者モニタリングといった医療分野、例えばセキュリティモニタリングといった一般的監視分野、及びフィットネス機器等の所謂ライフスタイル環境において適用することができる。適用例は、酸素飽和度（パルスオキシメトリ）、心拍数、血圧、心拍出量、血液かん流変化のモニタリング、自律神経機能の評価、及び末梢血管疾患の検出を含み得る。当然ながら、本発明による方法の一実施形態では、本明細書に記載したステップの幾つかは、変更された順序で又は同時に行われても良い。更に、これらのステップの幾つかは、本発明の範囲から逸脱することなく省略されても良い。これは、特に幾つかの代替信号処理ステップに当てはまる。開示された実施形態例の幾つかは、ハードウェア実施形態、ソフトウェア実施形態、又はハードウェア及びソフトウェア要素の両方を含む実施形態の形をとっても良い。一部の実施形態は、ファームウェア及びアプリケーションソフトウェアを含み得るソフトウェアにおいて実施される。
【００９５】
図面及び上述の説明において本発明を詳細に図示及び説明したが、このような図示及び説明は、限定的なものではなく、説明に役立つ又は例示的なものと見なされるべきものであり、本発明は開示された実施形態に限定されない。開示された実施形態に対する他の変形形態は、図面、開示内容、及び添付の特許請求の範囲の研究から、請求項に係る発明の実施において、当業者によって理解及びもたらされ得る。
【００９６】
クレームにおいて、「含む」（“comprising”）という用語は、他の要素又はステップを排除せず、不定冠詞「a」又は「an」は、複数を排除しない。単一の要素又は他のユニットが、クレームに記載された幾つかの項目の機能を果たし得る。特定の方法が互いに異なる従属クレームに記載されているという事実だけでは、これらの方法の組み合わせを有利には使用できないことを意味しない。
【００９７】
コンピュータプログラムは、他のハードウェアと共に又はその一部として供給された光学式ストレージ媒体又は固体媒体等の適切な媒体に保存／配布されても良いが、インターネット又は他の有線若しくは無線通信システムを介して等、他の形で配布されても良い。更に、異なる実施形態は、コンピュータ又は命令を実行するデバイス若しくはシステムによって又はそれに関連して使用されるプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読媒体からアクセス可能なコンピュータプログラムプロダクトの形をとっても良い。本開示の為に、コンピュータ使用可能又はコンピュータ可読媒体は、一般的に、命令実行デバイスによって又はそれに関連して使用されるプログラムを入れる、保存する、通信する、伝搬する、又は運ぶことができる任意の有形装置でも良い。
【００９８】
クレーム中の参照符号は、範囲の限定と解釈されるものではない。
【図１】
0006290248.tif 000002
【図２】
0006290248.tif 000003
【図３】
0006290248.tif 000004
【図４】
0006290248.tif 000005
【図５ａ】
0006290248.tif 000006
【図５ｂ】
0006290248.tif 000007
【図６ａ】
0006290248.tif 000008
【図６ｂ】
0006290248.tif 000009
【図６ｃ】
0006290248.tif 000010
【図６ｄ】
0006290248.tif 000011
【図７】
0006290248.tif 000012