(57)【要約】  本発明は、皮膚検出のためのデバイス、システム、及び方法に関する。信頼性が高く、正確で迅速な検出を可能にするため、提案されるデバイスは、シーンの熱センサデータを取得する熱センサ入力１５と、上記シーンの光センサデータを取得する光センサ入力１６と、上記取得された熱データ及び上記取得された光センサデータを分析し、上記分析に基づき上記シーンにおける皮膚領域を検出する評価ユニット１７とを有する。
2018510669.tif 000002
【特許請求の範囲】
【請求項１】
皮膚検出デバイスであって、
シーンの熱センサデータを取得する熱センサ入力と、
前記シーンの光センサデータを取得する光センサ入力と、
前記取得された熱センサデータと前記取得された光センサデータとを分析し、前記分析に基づき前記シーンにおける皮膚領域を検出する評価ユニットとを有し、
前記評価ユニットが、
所定の範囲のデータ値を持つ前記熱センサデータにおける第１の空間領域を選択し、
所定の範囲のデータ値を持つ前記光センサデータにおける第２の空間領域を選択し、
フォトプレチスモグラフィＰＰＧ信号を前記光センサデータから決定し、最も高いＰＰＧ信号強度及び／若しくは最も強い脈動性を持つ前記光センサデータにおける第３及び／若しくは第４の空間領域を選択することにより、第３及び／若しくは第４の空間領域を選択し、並びに／又は隣接画素のクロミナンス及び／若しくは輝度値の最も高い空間的均一性を持つ前記光センサデータにおける第５の空間領域を選択し、並びに
前記第１及び第２の空間領域を前記第３、第４及び第５の空間領域の１つ又は複数と相関させて皮膚領域を検出するよう構成される、皮膚検出デバイス。
【請求項２】
前記評価ユニットが、人間の皮膚の常温の範囲のデータ値を持つ前記熱センサデータにおける第１の空間領域を選択し、皮膚に特有の範囲のデータ値を持つ前記光センサデータにおける第２の空間領域を選択するよう構成される、請求項１に記載のデバイス。
【請求項３】
画像のシーケンスにおいて検出された皮膚領域からの画像情報に基づき、前記シーンにおける対象のバイタルサインを検出するバイタルサイン検出器を更に有する、請求項１に記載のデバイス。
【請求項４】
前記評価ユニットが、前記分析の前に、前記取得された熱センサデータと前記取得された光センサデータとを空間的に整列させるよう構成される、請求項１に記載のデバイス。
【請求項５】
皮膚検出システムであって、
シーンの熱センサデータを取得する熱センサと、
前記シーンの光センサデータを取得する光センサと、
前記取得された熱センサデータ及び前記取得された光センサデータに基づき、前記シーンにおける皮膚を検出する請求項１に記載のデバイスとを有する、システム。
【請求項６】
前記熱センサが、長波赤外線スペクトルにおける熱画像を取得する長波カメラユニットを有する、請求項５に記載のシステム。
【請求項７】
前記光センサが、可視光及び／又は赤外光スペクトルにおける画像を取得する撮像ユニットを有する、請求項５に記載のシステム。
【請求項８】
前記熱センサと前記光センサが実質的に同じ光路を持つよう構成される、請求項５に記載のシステム。
【請求項９】
皮膚検出のための方法において、
シーンの熱センサデータを取得するステップと、
前記シーンの光センサデータを取得するステップと、
所定の範囲のデータ値を持つ前記熱センサデータにおける第１の空間領域を選択し、
所定の範囲のデータ値を持つ前記光センサデータにおける第２の空間領域を選択し、
フォトプレチスモグラフィＰＰＧ信号を前記光センサデータから決定し、最も高いＰＰＧ信号強度及び／若しくは最も強い脈動性を持つ前記光センサデータにおける第３及び／若しくは第４の空間領域を選択することにより、第３及び／若しくは第４の空間領域を選択し、並びに／又は隣接画素のクロミナンス及び／若しくは輝度値の最も高い空間的均一性を持つ前記光センサデータにおける第５の空間領域を選択することで、前記取得された熱センサデータと前記取得された光センサデータとを分析するステップと、
前記第１及び第２の空間領域を前記第３、第４及び第５の空間領域の１つ又は複数と相関させることにより、前記分析に基づき、前記シーンにおける皮膚領域を検出するステップとを有する、方法。
【請求項１０】
コンピュータにより実行されるとき、請求項９に記載の方法のステップをコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、皮膚検出のためのデバイス、システム、及び方法に関する。
【背景技術】
【０００２】
例えば心拍数（ＨＲ）、呼吸数（ＲＲ）又は動脈の血中酸素飽和（ＳｐＯ２）といった人のバイタルサインは、人の現在の健康状態のインジケータとして、及び重大な医学イベントの強力な予測器として機能する。このため、バイタルサインは、入院患者及び外来患者看護環境において、在宅で、又は、更なる健康、余暇及びフィットネス環境において広範囲にモニタされる。
【０００３】
バイタルサインを測定する１つの態様は、プレチスモグラフィである。プレチスモグラフィは一般に、器官又は体部位のボリューム変化の測定を意味し、特に鼓動毎に対象の体を通り進行する心血管パルス波が原因によるボリューム変化の検出を指す。
【０００４】
フォトプレチスモグラフィ（ＰＰＧ）は、関心領域又はボリュームの光反射率又は透過率の時間変動変化を評価する光学測定技術である。ＰＰＧは、血液が周囲組織より多くの光を吸収し、そのため、すべての心拍に伴う血液量における変動が、これに対応して透過又は反射率に影響を及ぼすとの原理に基づかれる。心拍に関する情報の他に、ＰＰＧ波形は、例えば呼吸といった更なる生理的現象に起因する情報を有することができる。異なる波長（典型的に赤及び赤外線）での透過性及び／又は反射率を評価することにより、血中酸素飽和が決定されることができる。
【０００５】
近年では、目立たない測定に関して非接触の遠隔ＰＰＧ（ｒＰＰＧ）デバイス（カメラｒＰＰＧデバイスとも呼ばれる）が導入された。遠隔ＰＰＧは、光源を利用するか、又は、関心対象から離れて配置される一般の放射線源を利用する。同様に、検出器、例えば、カメラ又は光検出器も、関心対象から離れて配置されることができる。従って、遠隔フォトプレチスモグラフシステム及びデバイスは、目立たないと考えられ、医療用途だけでなく非医学的な日々の用途にもよく適している。この技術は、非常に脆弱な皮膚を持つ又は未熟児の新生児集中治療室（ＮＩＣＵ）患者といったバイタルサイン監視を必要とする極端な皮膚感受性を持つ患者に特に有利である。
【０００６】
Ｖｅｒｋｒｕｙｓｓｅらによる「Ｒｅｍｏｔｅ ｐｌｅｔｈｙｓｍｏｇｒａｐｈｉｃ ｉｍａｇｉｎｇ ｕｓｉｎｇ ａｍｂｉｅｎｔ ｌｉｇｈｔ」、Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ、１６(２６)、２２ Ｄｅｃｅｍｂｅｒ ２００８、ｐｐ. ２１４３４-２１４４５は、環境光と、赤、緑及び青色チャネルを用いる従来の消費者向けレベルのビデオカメラとを用いて、フォトプレチスモグラフ信号がリモートで測定されることができることを示す。
【０００７】
Ｗｉｅｒｉｎｇａらによる「Ｃｏｎｔａｃｔｌｅｓｓ Ｍｕｌｔｉｐｌｅ Ｗａｖｅｌｅｎｇｔｈ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｉｃ Ｉｍａｇｉｎｇ: Ａ Ｆｉｒｓｔ Ｓｔｅｐ Ｔｏｗａｒｄ "Ｓｐ０２ Ｃａｍｅｒａ" Ｔｅｃｈｎｏｌｏｇｙ」、Ａｎｎ. Ｂｉｏｍｅｄ. Ｅｎｇ. ３３、１０３４−１０４１ (２００５)は、異なる波長でのプレチスモグラフ信号の測定に基づき、組織における動脈の酸素飽和のコンタクトレスの撮像に関する遠隔ＰＰＧシステムを開示する。このシステムは、モノクロＣＭＯＳカメラと、３つの異なる波長のＬＥＤを持つ光源とを有する。カメラは、３つの異なる波長で対象の３つの動画をシーケンシャルに得る。脈拍数は、単一の波長での動画から決定されることができるが、酸素飽和を決定するには、異なる波長での少なくとも２つの動画が必要とされる。この測定は、一度に１つの波長だけを使用して暗室において実行される。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
完全に非接触であるという利点とは別に、カメラ（一般に撮像デバイスと呼ばれる）は、２Ｄ情報を提供し、これは、マルチスポット及び大面積測定を可能にし、しばしば追加のコンテキスト情報を含む。特定の測定点／領域における正確な配置に依存する接触センサとは異なり、ｒＰＰＧ技術を使用してパルス信号を測定するために使用される領域は、実際の画像から決定される。従って、任意の照明条件下で信頼できる皮膚領域の正確な検出が、カメラベースのｒＰＰＧデバイス及び方法の処理チェーンにおける重要な部分となる。
【０００９】
現在、皮膚領域の信頼できる検出及び追跡のために２つの主な方法が知られている。
【００１０】
１つのアプローチは、肌色（ＲＧＢベース）検出及びセグメンテーションに基づかれる。このアプローチによる方法は、肌色の領域の検出及び追跡の両方において迅速である。しかしながら、これらは、皮膚領域から反射された光の色を変化させる周辺光の色の変化に対して頑強ではなく、暗い照明条件又は暗闇の下で皮膚領域を検出することができない。更に、斯かる方法は、同じ色を持つ他の対象から皮膚を常に区別することができるわけではない。
【００１１】
別のアプローチは、抽出されたＰＰＧ信号（ＰＰＧベース）に基づかれる。このアプローチによる方法は、実際の皮膚領域及び同じ皮膚色の他の対象の領域を区別する際により堅牢である。このアプローチは、より強いＰＰＧ信号（最も周期的な信号）を持つ皮膚領域をセグメント化するためにも使用されることができる。しかしながら、このアプローチの信頼性は、ＰＰＧ信号抽出の堅牢性に依存し、従って、対象の動き及び血液灌流レベルにより影響される。従って、パルス信号が周期的でないか又は弱い場合、カメラベースのシステムは、皮膚領域のセグメントを検出することが困難になる。更に、このアプローチはまた、計算的に高価である。
【００１２】
皮膚領域の検出は、ｒＰＰＧ技術に基づかれるバイタルサイン検出の分野だけでなく、他の技術分野、例えば、カメラ技術を用いてプレイヤーのジェスチャーを認識する遠隔ゲーム用途、顔検出、セキュリティ（監視カメラを用いての人の堅牢な検出、マスクを着用した人の検出、又はカメラ登録において真の顔とリアルなマスクとの区別）等にも用いられる点に留意されたい。
【００１３】
ＷＯ２０１４／０１２０７０Ａ１号は、赤外線撮像モジュール、可視光カメラ、プロセッサ、ディスプレイ、通信モジュール、及びメモリを含む乳児監視システムを開示する。監視システムは、乳児の遠隔監視のために配置される可搬型又は取り付け可能なハウジングにおける赤外線撮像モジュールを用いて、乳児の少なくとも一部の表示を含むシーンの熱画像をキャプチャすることができる。乳児に関する監視情報を生成するため、様々な熱画像処理及び分析処理が、熱画像に対して実行されることができる。監視情報は、介護者に警報を能動的に提供する様々な警報、及びシーンのユーザが見ることができる画像を含むことができる。監視情報は、介護者による便利な視聴のため遠隔に配置される外部デバイス又はディスプレイに提示されてもよい。
【００１４】
ＵＳ２０１３／０２１５９２８Ａ１号は、患者又は対象の体温を決定する方法を開示する。そこでは、非接触赤外線温度計が、例えば標的領域を指すよう手動で位置決めされ、温度計を作動させることにより、それは、患者の内部温度を測定し、温度計を介して、所定の時間間隔の間に、標的領域から到来する赤外線放射の強度を読む。標的領域は、篩骨洞、眼窩、開いたまぶた又は閉じたまぶたを含む身体位置群から選択されるヒト又は動物の患者の身体表面である。
【００１５】
本発明の目的は、特に対象のバイタルサインを検出するデバイス及び方法で使用するための、信頼性が高く、正確で迅速な皮膚の検出を可能にするデバイス、対応する方法及びシステムを提供することである。
【課題を解決するための手段】
【００１６】
本発明の第１の態様では、皮膚検出のためのデバイスが提供され、
シーンの熱センサデータを取得する熱センサ入力と、
上記シーンの光センサデータを取得する光センサ入力と、
上記取得された熱センサデータと上記取得された光センサデータとを分析し、上記分析に基づき上記シーンにおける皮膚領域を検出する評価ユニットとを有し、
上記評価ユニットが、
所定の範囲のデータ値を持つ上記熱センサデータにおける第１の空間領域を選択し、
所定の範囲のデータ値を持つ上記光センサデータにおける第２の空間領域を選択し、
フォトプレチスモグラフィＰＰＧ信号を上記光センサデータから決定し、最も高いＰＰＧ信号強度及び／又は最も強い脈動性を持つ上記光センサデータにおける第３及び／又は第４の空間領域を選択することにより、第３及び／又は第４の空間領域を選択し、及び／又は隣接画素のクロミナンス及び／又は輝度値の空間的均一性が最も高い上記光センサデータにおける第５の空間領域を選択し、並びに
上記第１及び第２の空間領域を上記第３、第４及び第５の空間領域の１つ又は複数と相関させて皮膚領域を検出するよう構成される。
【００１７】
本発明の更なる側面において、対応する方法が提示される。
【００１８】
本発明の更に別の側面では、あるシステムが提示され、このシステムは、
シーンの熱センサデータを取得する熱センサと、
上記シーンの光センサデータを取得する光センサと、
上記取得された熱センサデータ及び上記取得された光センサデータに基づき、上記シーンにおける皮膚を検出する本書に開示されるデバイスとを有する。
【００１９】
本発明の更なる側面において、コンピュータで実行されるとき、コンピュータが本書に記載される方法のステップを実行することをもたらすプログラムコード手段を有するコンピュータプログラム、及びコンピュータにより実行されるとき、本書に記載される方法が実行されることをもたらすコンピュータプログラムを格納する非一時的なコンピュータ可読記録媒体が提供される。
【００２０】
本発明の好ましい実施形態は、従属項において規定される。請求項に記載の方法、システム、コンピュータプログラム及び媒体は、請求項に記載されるデバイス及び従属項に規定されるデバイスと類似する及び／又は同一の好ましい実施形態を持つ点を理解されたい。
【００２１】
本発明は、熱カメラ技術、特に長波赤外線カメラ技術を利用する。現在、コンパクトな熱カメラは、消費者物価で入手可能であり、例えばＦＬＩＲ Ｓｙｓｔｅｍｓ Ｉｎｃ.のＬｅｐｔｏｎカメラモジュールなどがある。これは、消費者のモバイルデバイスと一体化されることができる。斯かる消費者レベルの熱カメラは、プロのカメラと同じ空間的及び熱的解像度を提供することはできないが、その性能は、暖かい対象及び冷たい対象を区別するのに十分である。更に、熱カメラは、温度の空間分布に関する情報を提供することもでき、これは、皮膚温度の変化と局所血流の変化との間の関係により、ＰＰＧ脈動のより高いレベルを持つと予想される領域の選択に使用されることができる。
【００２２】
本発明は、好ましくは低コストの熱センサ（好ましくは、熱センサデータとして２次元熱撮像データを提供する）を用いる熱撮像と、特に、１つ又は複数のバイタルサインが得られるＰＰＧ信号の抽出のため、１つ又は複数の皮膚検出（関心領域、ＲＯＩとも呼ばれる）の堅牢な検出及び好ましくは追跡のためのＲＧＢ又はＩＲ（赤外線）撮像とを組み合わせるデバイス、方法及びシステムを提供する。熱センサは、任意の暖かい対象（即ち、皮膚のみならず）を検出するので、堅牢な皮膚の検出は、熱画像のみに依存することができない。従って、本発明は、皮膚ＲＯＩの堅牢な選択のため、及び好ましい実施形態では、高いＰＰＧ脈動性の可能性が高い領域へのＲＯＩのセグメント化のため、ＲＧＢ（及び／又はＩＲ）ベース及び／又はＰＰＧベースの技術と熱撮像とを組み合わせる独特な方法を提案する。
【００２３】
上記評価ユニットは、所定範囲内のデータ値を持つ上記熱センサデータにおける第１の空間領域を選択し、所定範囲内のデータ値を持つ上記光センサデータにおける第２の空間領域を選択し、皮膚領域を検出するため上記第１の空間領域と上記第２の空間領域とを相関させるよう構成される。好ましくは、上記評価ユニットは、人間の皮膚の常温の範囲（特に３０から４２℃の範囲内）のデータ値を持つ熱センサデータにおける第１の空間領域を選択し、皮膚に特有の範囲のデータ値を持つ光センサデータにおける第２の空間領域を選択するよう構成される。従って、皮膚領域の検出は、個別のセンサにより直接取得されたデータに基づかれる。皮膚に典型的な光センサデータのデータ値の範囲は、例えば、光センサが動作している特定の色空間に対して規定されることができる。例えば、ＲＧＢセンサの場合、肌の色の範囲は、赤色（Ｒ）と青色（Ｂ）の間の２０ポイントの差とすることができ、ここで緑色（Ｇ）はできるだけ中央に近い（例えば７５％Ｒ、６５％Ｇ、５５％Ｂ）。より暗い肌の場合、数字が高くなる。黄色の肌が多いほど、青の値が低くなる、等となる。他の色空間（例えば、ＹＵＶ）に対して、肌色範囲は同様の方法で、即ち各チャンネルの閾値の組み合わせとして規定される。
【００２４】
別のオプションでは、上記評価ユニットが、所定の範囲のデータ値を持つ上記熱センサデータにおける第１の空間領域を選択し、上記光センサデータからフォトプレチスモグラフィＰＰＧ信号を決定し、最高のＰＰＧ信号強度を持つ上記光センサデータにおける第３の空間領域を選択し、上記第１及び第３の空間領域を相関させて皮膚領域を検出するよう構成される。こうして、皮膚領域の検出は、個別のセンサにより直接取得されたデータだけでなく、そこから導出されたデータ、即ち、ＰＰＧ信号及びＰＰＧ信号の個別の信号強度に基づかれる。これは、検出された皮膚領域からバイタルサインが得られるべきである場合、特に有益である。
【００２５】
更に別のオプションでは、上記評価ユニットが、所定の範囲のデータ値を持つ上記熱センサデータにおける第１の空間領域を選択し、上記光センサデータからフォトプレチスモグラフィＰＰＧ信号を決定し、最も強い脈動性を持つ上記光センサデータにおける第４の空間領域を選択し、上記第１及び第４の空間領域を相関させて皮膚領域を検出するよう構成される。この実施形態でも、皮膚領域の検出は、個別のセンサにより直接取得されたデータだけでなく、そこから導出されたデータ、即ち、ＰＰＧ信号及びＰＰＧ信号の個別の脈動性に基づかれる。これは、検出された皮膚領域からバイタルサインが得られるべきである場合、特に有益である。
【００２６】
更に別のオプションでは、上記評価ユニットが、所定の範囲のデータ値を持つ上記熱センサデータにおける第１の空間領域を選択し、隣接画素のクロミナンス及び／又は輝度値の空間的均一性が最も高い上記光センサデータにおける第５の空間領域を選択し、上記第１及び第５の空間領域を相関させて皮膚領域を検出するよう構成される。再度、この実施形態でも、皮膚領域の検出は、個別のセンサにより直接的に取得されたデータだけでなく、そこから導出されたデータ、即ちクロミナンス及び／又は輝度値の均一性に基づかれる。
【００２７】
本発明の実施形態によれば、２つの空間領域が相関されるだけでなく、異なる方法で選択された更なる空間領域が相関され、皮膚領域検出の信頼性及び堅牢性を更に高めることができる。従って、上記評価ユニットが、所定の範囲のデータ値を持つ上記光センサデータにおける第２の空間領域を選択し、上記第１及び第２の空間領域を上記第３、第４及び第５の空間領域の１つ又は複数と相関させて皮膚領域を検出するよう構成される。
【００２８】
皮膚領域の検出は、様々な用途に適用されることができる。好ましい用途は、対象、特に人のバイタルサインの検出に用いられる。従って、一実施形態では、上記デバイスは、画像のシーケンスにおいて検出された皮膚領域からの画像情報に基づき、上記シーンにおける対象のバイタルサインを検出するバイタルサイン検出器を更に有する。バイタルサインは好ましくは、既知の遠隔ＰＰＧ技術を用いて、又はパルスにより引き起こされる皮膚領域の動きから得られる。呼吸情報、例えば、呼吸数も、皮膚の動き、例えば呼吸によりもたらされる胸壁又は腹部領域の動きから得られる。
【００２９】
更に、一実施形態において、上記評価ユニットが、上記分析の前に、上記取得された熱センサデータと上記取得された光センサデータとを空間的に整列させるよう構成される。この整列は、例えば、既知のレジストレーションアルゴリズムといった画像処理技術を用いて、デジタル的に実行されることができる。この実施形態は、例えば、カメラからの遠隔取得された画像データを用いて、対象のバイタルサインを得るため、特に既存のデバイスを補うことを可能にする。ここで、熱センサが皮膚検知の堅牢性を高め、遠隔ＰＰＧ技術を用いて画像データからバイタルサインが得られる。
【００３０】
熱センサデータ及び光センサデータを得るための様々な実施形態が存在する。実用的な実現において、上記熱センサが、長波赤外線スペクトルの熱画像を取得する長波カメラユニットを有し、上記光センサは、撮像ユニット、例えば可視及び／又は赤外光スペクトルの画像を取得するカメラを有する。
【００３１】
本発明は好ましくは、遠隔ＰＰＧ技術を用いるバイタルサイン取得の文脈で使用される。この目的のため、上記撮像ユニットは好ましくは、時間にわたり上記シーンの画像のシーケンスを取得するよう構成され、上記デバイスは、上記画像のシーケンスにおいて検出された皮膚領域からの画像情報に基づき、上記シーンにおける対象のバイタルサインを検出するバイタルサイン検出器を更に有する。こうして、提案される皮膚領域の検出は、バイタルサインの取得の間に皮膚領域を検出及び／又は追跡するために一度又は連続的に使用されることができる。
【図面の簡単な説明】
【００３２】
【図１】本発明によるシステム及びデバイスの第１の実施形態の概略的なダイアグラムを示す。
【図２】本発明によるデバイスの第２の実施形態の概略的なダイアグラムを示す。
【図３】本発明によるデバイスの第３の実施形態の概略的なダイアグラムを示す。
【図４】本発明による方法の一実施形態のフローチャートを示す。
【発明を実施するための形態】
【００３３】
本発明のこれらの及び他の態様が、以下に説明される実施形態より明らとなり、これらの実施形態を参照して説明されることになる。
【００３４】
図１は、本発明による皮膚検出のためのデバイス１４を含むシステム１の第１の実施形態の概略図を示す。システム１は、シーンの熱センサデータを取得する熱センサ１０を有する。シーンは、この例では、例えば病室又は他の医療施設におけるベッド３に横たわっている患者２を含むが、例えばインキュベーター／ウォーマーにいる新生児若しくは早産児、又は自宅若しくは異なる環境にいる人の環境とすることもできる。システム１は更に、シーンの光センサデータを取得する光センサ１２を有する。更に、システム１は、取得された熱センサデータ及び取得された光センサデータに基づき、シーンにおける皮膚を検出するデバイス１４を有する。
【００３５】
熱センサ１０は、例えば赤外線サーモグラフィ、熱撮像及び熱ビデオに使用される長波画像（サーモグラムとも呼ばれる）を取得する長波赤外線カメラであってもよい。斯かる熱センサ１０は特に、電磁スペクトルの赤外線範囲（約７から１４マイクロメートル）の放射線を検出し、その放射線の画像を生成する。
【００３６】
光センサ１２は、シーンの画像（以下、ＲＧＢ画像とも呼ばれ、可視及び／又は赤外光の波長範囲の画像として理解される）を取得する撮像ユニットであってもよい。撮像ユニットは特に、好ましくは患者２の皮膚領域４を含むシーンの画像を取得するよう構成されるカメラ（検出ユニット又はカメラベース若しくは遠隔ＰＰＧセンサとも呼ばれる）である。光センサ１２は、熱センサ１０の一部であってもよく、又は別個のデバイス／ユニットであってもよい。患者２のバイタルサインを得るデバイスの用途において、皮膚領域４は、好ましくは、頬又は額といった顔の領域であるが、手又は腕といった目に見える皮膚表面を持つ身体の別の領域であってもよい。
【００３７】
撮像部によりキャプチャされる画像フレームは特に、例えば（デジタル）カメラにおける、アナログ又はデジタル光センサを用いてキャプチャされるビデオシーケンスに対応することができる。斯かるカメラは、通常、特定のスペクトル範囲（可視、ｎＩＲ）で動作する、又は異なるスペクトル範囲に関する情報を提供する、特にＰＰＧ信号の抽出を可能にする例えばＣＭＯＳ又はＣＣＤセンサといった光センサを含む。カメラは、アナログ又はデジタル信号を提供することができる。画像フレームは、関連付けられる画素値を持つ複数の画像画素を含む。特に、画像フレームは、光センサの異なる感光性要素でキャプチャされる光強度値を表す画素を含む。これらの感光性要素は、特定のスペクトル範囲（即ち特定の色を表す）においてセンシティブでもよい。画像フレームは、人の皮膚部分を表す少なくともいくつかの画像画素を含む。これにより、画像画素は、光検出器及びその（アナログ又はデジタルの）出力の１つの感光性要素に対応することができるか、又は（例えば、ビン化を介して）複数の感光性要素の組み合わせに基づき決定されることができる。同様に、熱カメラにより得られる熱画像は、好ましくは撮像ユニットの画像取得と並行して時間にわたりキャプチャされる熱画像の時間シーケンスであってもよい。
【００３８】
熱センサ１０及び光センサ１２は好ましくは、実質的に同じ光路を持つよう、好ましくは共通のデバイスに一体化される。単一の光路は、熱画像及び視覚光画像における画素が空間的に整列されることを保証する。他の実施形態では、熱センサ１０及び光センサ１２は、別個のユニットとして実現され、得られたデータの整列は、画像処理技術により実現される。
【００３９】
デバイス１４は、シーンの熱センサデータを取得する熱センサ入力１５、シーンの光センサデータを取得する光センサ入力１６、及び得られた熱センサデータ及び得られた光センサデータを分析し、上記分析に基づき上記シーンにおける皮膚領域を検出する評価ユニット１７を有する。好ましくは、熱センサデータは、熱センサ１０から直接取得され、光センサデータは、光センサ１２から直接取得され、皮膚領域の検出は、オンザフライで実行される。しかしながら、他の実施形態では、個別のセンサにより取得される熱センサデータ及び光センサデータは、後の使用及び評価のためバッファリングされ、その結果、デバイス１４は、バッファ又は他の記憶媒体から取得する。
【００４０】
デバイス１４は、システム１の他の要素を制御するコントローラと、デバイス１を制御するためのコマンドを入力するための、及び／又は取得されたバイタルサインといった生成された情報を出力するための、キーボード及び／又はディスプレイといったユーザインタフェースとを更に有する。更に、デバイス１４は好ましくは、光センサ１２により取得された画像のシーケンスにおける検出された皮膚領域からの画像情報に基づき、シーンにおける対象のバイタルサインを検出するバイタルサイン検出器１８を有する。
【００４１】
ユニット１５から１８は、専用のハードウェア要素として構成されることができるが、これに従ってプログラムされるプロセッサ又はコンピュータとして構成されることもできる。デバイス１４は、そのすべての要素及びユニットを含む一体化されたデバイスとして共通のハウジング（例えば、熱センサ１０及び光センサ１２の共通のハウジング）において構成されることができるか、又は図１に示すように分散型デバイスとして構成されることができる。この場合、要素及びユニットは、分散されることができ、即ち、異なる位置に配置された別個の要素及びユニットとして実現されることができる。
【００４２】
本発明によるシステム１'及びデバイス１４'の別の実施形態の概略図が、図２に示される。熱センサ１０及び光センサ１２は、（共通の）カメラ１１からデータを得る。温度の特定の範囲に対応する値を持つ画素が、第１の選択ユニット１７１により熱画像上で選択される。例えば、この範囲は３０から４２℃の間であり得る。選択された画素は、皮膚領域だけでなく、同じ温度の他の表面にも対応する。例えば、人のシャツ上の画素は、実質的に皮膚画素と同じ温度値を持つ。従って、熱撮像のみに基づかれる皮膚画素の選択は、十分な信頼性を持つものではない。
【００４３】
第２の選択ユニット１７２は、光センサ１２から得られる画像を処理し、肌の画素に対応する予め選択された値の範囲にフィットする光画素（例えば、ＲＧＢ画素及び／又は赤外線画素）を選択する。
【００４４】
相関ユニット１７３において、関心領域（ＲＯＩ）を皮膚領域として検出するため、第１及び第２の選択ユニット１７１,１７２で選択された熱画像及びＲＧＢ画像における隣接画素又は画素領域の空間的相関が行われる。熱センサとＲＧＢセンサの両方の基準に対応するそれらの隣接画素のみが皮膚領域とみなされる。この（これらの）皮膚領域から、バイタルサイン検出ユニット１８により、ｒＰＰＧ技術を用いてバイタルサインが得られることができる。
【００４５】
本発明の更なる実施形態では、ＲＧＢ画像が、ＰＰＧ抽出アルゴリズムにより処理され、ＰＰＧ信号の所望の特性を満たす時間的信号を持つ空間ブロックが選択される。特に、ＲＧＢ画像が、ブロック分割ユニット１７４によりブロックに分割され、ブロックベースのＰＰＧ抽出ユニット１７５によりＰＰＧ信号がブロックから抽出される。第３の選択ユニット１７６は、最も強いＰＰＧ信号強度を持つ空間ブロックを選択する。この実施形態において、相関ユニット１７３は、ＲＯＩを皮膚領域として検出（規定）するため、第３の選択ユニット１７６により選択された画素だけでなく、熱画像及びＲＧＢ画像における隣接画素又は画素領域の空間的相関を実行するよう構成される。
【００４６】
本発明の別の実施形態では、強力なＰＰＧ信号を持つかもしれない領域を選択するため、組み合わされた熱撮像及びＲＧＢ撮像が適用される。これらの領域は、より高い値を持つ熱画像のいくつかの画素に対応する。しかしながら、すべての「高温」画素が抽出された強いＰＰＧ信号を持つ位置に対応するわけではない。例えば、目と口の近くに位置する熱画素は、より高い振幅を持つ。口の唇は確かに高い血液灌流を持つが、ＰＰＧ信号の脈動性は高くない。目及び口の周りの皮膚領域から抽出されるＰＰＧ信号は、非常にノイズが多く、信頼性がない。同時に、頬から抽出されるＰＰＧ信号は、皮膚領域の均一性のために強くなる。
【００４７】
従って、提案されるシステム１"及びデバイス１４"の別の実施形態では、図３に概略的に示されるように、熱画像から選択された画素のブロックが好ましくは、相関ユニット１７３においてＲＧＢ画像から選択された画素と比較される。隣接するＲＧＢ画素は、クロミナンス及び／又は輝度における、好ましくはクロミナンス及び輝度の両方におけるそれらの空間的均一性に基づき、第４の選択ユニット１７７において候補として選択される。第４の選択ユニット１７７は特に、クロミナンス要素（ＲＧＢの場合）及び／又は強度（ＩＲセンサの場合）における画素の空間的に均一な値を持つセグメントを検出する。こうして、口、目、髪の毛の周りの画素は、セグメント化ユニット１７８において、強いＰＰＧ信号を持つと予想されるＲＯＩから拒絶される。
【００４８】
本発明の更に別の実施形態では、熱センサ及びＲＧＢセンサは同じ光路を共有しない。この場合、熱センサ及びＲＧＢセンサからの画像の整列は、画像処理技術を使用してデジタルで実行されることができる。この実施形態は、ＲＧＢ画像を取得しそこからバイタルサインを得るのに、従来使用される既存のカメラデバイスに、熱カメラ付きの拡張ユニットを追加することにより、バイタルサインカメラシステムの構築を可能にする。
【００４９】
本発明は好ましくは、人のバイタルサインの取得のためのｒＰＰＧの分野に適用される。従って、（光センサとして使用される）撮像ユニットにより得られた画像が、上述のように皮膚領域を検出するために用いられるだけでなく、検出される（及び好ましくは本発明を用いて追跡もされる）皮膚領域からＰＰＧ信号が得られる。これは、心拍、Ｓｐ０２といった人のバイタルサインを得るのに使用される。光センサ１２は、シーンが（周囲光及び／又は照明により）照らされる波長又は波長範囲において少なくともセンシティブであるが、特に所望のバイタルサインを得るのに必要であれば、他の波長に対してもセンシティブであり得る。更に、評価ユニット１７は、光センサデータから適切な波長を選択して皮膚領域を検出し、必要に応じて、ｒＰＰＧ技術を用いて検出された皮膚領域からバイタルサインを得る、及び／又は呼吸速度といった呼吸情報を得るため、周期的な動きを分析するよう構成されることができる。
【００５０】
本発明の別の実施形態では、皮膚検出のための提案された分析は、皮膚検出のための他の方法、例えば、一般的に知られているように、皮膚領域から反射された構造光のクロミナンス又は時間的脈動性の分析と組み合わせられることができる。
【００５１】
図４は、本発明による皮膚検出方法の実施形態のフローチャートを示す。第１ステップＳ１０において、シーンの熱センサデータが取得される。第２のステップＳ１２（好ましくは、第１のステップＳ１０と同時）において、シーンの光センサデータが取得される。第３のステップＳ１４において、得られた熱センサデータ及び得られた光センサデータが分析される。最後に、第４のステップＳ１６において、上記分析に基づき上記シーンにおける皮膚領域が検出される。オプションで、第５のステップＳ１８において、（光センサデータを表す）画像のシーケンスにおける検出された皮膚領域からの画像情報に基づき、シーンにおける対象のバイタルサインが検出される。この方法は、更なるステップを有することができ、デバイスの様々な実施形態について上述したように、及び本明細書に開示するように変更されることができる。
【００５２】
提案されるデバイス及び方法は、ＰＰＧに関連するバイタルサイン（例えば、心拍、ＳｐＯ２、呼吸）の連続した目立たない監視に使用されることができ、ＮＩＣＵ、手術室、又は一般病棟で使用されることができる。提案されるデバイス及び方法は、個人の健康状態の監視にも使用されることができる。一般に、本発明は、シーンの画像において皮膚が検出される必要があり、特に非皮膚と区別される必要がある全ての用途に使用されることができる。
【００５３】
本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。
【００５４】
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「ａ」又は「ａｎ」は複数性を除外するものではない。単一の要素又は他のユニットが、請求項に記載される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。
【００５５】
コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な非一時的媒体において格納／配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。
【００５６】
請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。
【図１】
2018510669.tif 000003
【図２】
2018510669.tif 000004
【図３】
2018510669.tif 000005
【図４】
2018510669.tif 000006
【国際調査報告】
2018510669.tif 000007
2018510669.tif 000008
2018510669.tif 000009