(57)【要約】  一連の画像フレームからの生理学的情報抽出のための品質計測量を生成するシステムを設けることにより、信号の抽出の品質及び生理学的測定の信頼度を評価するシステム及び方法が提供される。該システムは、複数の画像フレームから生理学的特徴を示す信号を抽出するように構成された信号抽出ユニットと、該信号から複数の計算関数を用いて複数の生理学的情報結果を計算するよう構成された信号分析器であって、前記複数の計算関数が計算関数のリスト内に含まれ、各生理学的情報結果が異なる計算関数を用いて計算される信号分析器と、前記複数の生理学的情報結果における生理学的情報結果の間の比較から導出される信号分析計測量に基づいて品質計測値を計算する品質計測量計算器とを有する。
2019503751.tif 000002
【特許請求の範囲】
【請求項１】
一連の画像フレームからの生理学的情報抽出のための品質計測量を生成するシステムであって、
前記画像フレームにおける複数から生理学的特徴を示す信号を抽出する信号抽出ユニットと、
前記信号から複数の計算関数を用いて複数の生理学的情報結果を計算する信号分析器であって、前記複数の計算関数は計算関数のリスト内に含まれ、各生理学的情報結果が異なる計算関数を用いて計算される信号分析器と、
前記複数の生理学的情報結果における生理学的情報結果の間の比較から導出される信号分析計測量に基づいて品質計測値を計算する品質計測量計算器と、
を有する、システム。
【請求項２】
前記計算関数のリストが、
自己相関関数、
フーリエ変換関数、
パワースペクトル密度関数、及び
ラプラス変換、
を含む、請求項１に記載のシステム。
【請求項３】
前記信号の振幅を示す照明値を生成する照明品質評価器を更に有する、請求項１又は請求項２に記載のシステム。
【請求項４】
前記信号の振幅の変化及び前記複数の画像フレームにおける画像フレーム間の画像特徴の相対運動を示す変位ベクトルの少なくとも一方から導出される動き補償計測量を生成する動き補償評価器を更に有する、請求項３に記載のシステム。
【請求項５】
反射された照明のレベルの測定から導出される照明角計測量を生成する照明角評価器を更に有する、請求項１ないし４の何れか一項に記載のシステム。
【請求項６】
前記照明角計測量が、ピクセル値のヒストグラム、標準偏差、ピクセル値の分散、関心領域にわたる前記ピクセル値の勾配の測定値及び指向性フォトダイオードからの測定値のうちの少なくとも１つに基づくものである、請求項５に記載のシステム。
【請求項７】
前記品質計測値を、信号比較計測量、照明品質計測量、動き補償計測量及び照明角計測量のうちの少なくとも２つの組み合わせに基づいて計算する、請求項１ないし６の何れか一項に記載のシステム。
【請求項８】
選択された期間にわたり品質計測値を第１の選択された限界と比較すると共に合格／不合格結果を記録し、前記選択された期間における合格／不合格結果の数を第２の選択された限界と比較して前記選択された期間に対して導出される品質計測量を生成する、請求項１ないし７の何れか一項に記載のシステム。
【請求項９】
前記抽出された生理学的情報の品質の指示情報を供給する、請求項１ないし８の何れか一項に記載のシステム。
【請求項１０】
生理学的情報結果の抽出のための品質計測量を生成する方法であって、
生理学的特徴を示す信号を抽出するステップと、
前記信号から複数の計算関数を用いて複数の生理学的情報結果を計算するステップであって、前記複数の計算関数は計算関数のリスト内に含まれ、各生理学的情報結果が異なる計算関数を用いて計算されるステップと、
前記複数の生理学的情報結果における生理学的情報結果の間の比較に基づいて品質計測量を計算するステップと、
を有する、方法。
【請求項１１】
前記計算関数のリストが、
自己相関関数、
フーリエ変換関数、
パワースペクトル密度関数、及び
ラプラス変換、
を含む、請求項１０に記載の方法。
【請求項１２】
前記信号の振幅を測定するステップを更に有する、請求項１０又は請求項１１に記載の方法。
【請求項１３】
前記信号の振幅の変化を測定するステップを更に有する、請求項１０ないし１２の何れか一項に記載の方法。
【請求項１４】
関心領域からの反射された照明のレベルの角度を測定するステップを更に有する、請求項１０ないし１３の何れか一項に記載の方法。
【請求項１５】
前記角度を測定するステップが、前記関心領域にわたる反射された照明のレベルのヒストグラムを計算するステップ、前記関心領域にわたる前記照明のレベルの勾配を測定するステップ及び指向性フォトダイオードを用いて反射された照明のレベルを測定するステップのうちの少なくとも１つを有する、請求項１４に記載の方法。
【請求項１６】
コンピュータ上で実行された場合に、該コンピュータに請求項１０ないし１５の何れか一項に記載の方法を実行させる命令を有する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、他のデータからの周期的信号の抽出、特にはビデオシーケンスからの生理学的特徴を表す信号の抽出に関する。
【背景技術】
【０００２】
生きている被検体のビデオシーケンス（動画系列）を分析し、これら画像における当該被検体の生理学的過程の結果である小さな変化を検出することが可能である。これらの生理学的過程の中には、血流、呼吸及び発汗等の事象がある。
【０００３】
特定の生理学的過程は、皮膚反射率の変化を介して観測することができる。人の皮膚は少なくとも２つの層を備える物体としてモデル化することができ、これら層のうちの一方は表皮（薄い表面層）であり、他方は真皮（表皮の下の厚い層）である。入射する光線の５％なる幾らかのパーセンテージは、皮膚表面で反射される。残りの光は、人体反射（二色性反射モデルで記述される）として知られた現象において上記２つの皮膚層内で散乱及び吸収される。メラニン（典型的に、表皮及び真皮の境界に存在する）は、光学フィルタのように振る舞い、主に光を吸収する。真皮において、光は散乱されると共に吸収される。当該吸収は、血液組成に依存し、該吸収は血流変化に対し敏感である。真皮は血管の密な網状構造を含み、成人の全血管網状構造の約１０％である。これらの血管は、身体内の血流に従って収縮及び拡張する。これらは結果として真皮の構造を変化させ、このことは、上記皮膚層の反射率に影響を与える。
【０００４】
呼吸等の他の生理学的過程は、患者の表面の運動を生じさせる。
【０００５】
血中酸素濃度レベルの変化等の他の生理学的過程は、小さな色変化として現われ得る。
【０００６】
これらの変化内に幾らかの周期的内容を有する信号を検出及び抽出し、これら信号から、周期的過程の場合における周波数等の結果を得ることが可能である。例えば、被検者を周囲光で照明し、ビデオカメラで撮影することができる。画像のシーケンスにおけるフレーム間の対応するピクセルの値の変化を分析することにより、時間的に変化する信号を抽出することができる。この信号は高速フーリエ変換等の何かを用いて周波数的ドメインに変換することができ、該周波数ドメインスペクトルから、生理学的測定値として、当該被検者の心拍数に関する値に到達することができる。これらの生理学的測定値は、しばしば、バイタルサインと呼ばれる。
【０００７】
上記ピクセル値の変化は、時には小さく、時には１つのカラーチャンネルにおいて他のものより目立つ。このように、探される信号は、これに対応して小さい。
【０００８】
ピクセル値には、全体の画像の変化によるもの等の他の変化も存在し、これら変化は
比較的大きなものであり得る。また、ピクセル値には、画像センサにおけるノイズ及び照明の変動（ちらつき等）等のランダムな変化の原因も存在する。これらの全ては、事実上、探される信号とは相関しない。かくして、当該信号対雑音比は小さく、生理学的測定は時には疑わしい信頼度のものとなり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従って、一連の画像フレームから生理学的情報抽出のための品質計測量（quality metric）を生成するシステムを設けることにより、信号の抽出の品質及び生理学的測定の信頼度を評価する方法及びシステムを提供することが望ましい。
【課題を解決するための手段】
【００１０】
当該システムは、前記画像フレームの複数から生理学的特徴を示す信号を抽出するように構成された信号抽出ユニットと、該信号から複数の計算関数を用いて複数の生理学的情報結果を計算するよう構成された信号分析器であって、前記複数の計算関数が計算関数のリスト内に含まれ、各生理学的情報結果が異なる計算関数を用いて計算される信号分析器と、前記複数の生理学的情報結果における生理学的情報結果の間の比較から導出される信号分析計測量に基づいて品質計測値を計算する品質計測量計算器とを有する。この構成は、異なる計算関数の結果が一致する度合いが、抽出された信号の品質の指示情報となり得、これに貢献した画像処理を導出することができるという利点を提供する。
【００１１】
一実施態様によれば、前記計算関数のリストは、自己相関関数、フーリエ変換関数、パワースペクトル密度関数、及びラプラス変換を含む。これらは、僅かに異なる特徴及び感度（感受性）を有するという利点を有する。従って、一致の程度は、全体の処理の品質に関する有用な指示情報となり得る。
【００１２】
一実施態様によれば、何れかの先行する請求項のシステムは、前記信号の振幅を示す照明値を生成するように構成された照明品質評価器を更に有する。この構成は、当該“分析方法の比較”により提供される当該処理の全般的評価に加えて、当該品質計測量が照明品質に対する感受性も有し、ユーザにより照明を調整するために使用することができるという利点を有する。
【００１３】
一実施態様によれば、当該システムは、前記信号の振幅の変化及び前記複数の画像フレームにおける画像フレーム間の画像特徴の相対運動を示す変位ベクトルの少なくとも一方から導出される動き補償計測量を生成するように構成された動き補償評価器を更に有する。この構成は、当該“分析方法の比較”により提供される当該処理の全般的評価に加えて、当該品質計測量が動き補償品質に対しても感受性を有するという利点を有する。該品質計測量は、ユーザによりシステム設定を調整するため、又は被検者を安定化させ若しくは被検者を余り動かないように促すために用いることができる。他の可能性は、当該品質計測量を前記コントローラにより前記信号抽出ユニットの設定を制御するために使用することができるということである。
【００１４】
一実施態様によれば、当該システムは、反射された照明のレベルの測定から導出される照明角計測量を生成するように構成された照明角評価器を更に有する。該システムは、斜め照明が結果に影響を与えている程度を種々のやり方で測定することができる。該システムは照明品質計測量に、反射された照明のレベルから照明の均質性又は角度を測定するための照明角評価器を使用することにより寄与することができる。この構成は、全体のシステムの設定（設置）又は環境の結果である欠陥又は問題に対して一層敏感となるという利点を有している。
【００１５】
一実施態様によれば、当該照明角計測量は、ピクセル値のヒストグラム、標準偏差、ピクセル値の分散、関心領域にわたる前記ピクセル値の勾配の測定値及び指向性フォトダイオードからの測定値のうちの少なくとも１つに基づくものである。このヒストグラムは、当該信号処理のために既に必要とされている計算に情報内容が類似しており、従って、当該品質計測量の一部として同様のやり方で容易に実施化することができる。これは、ヒストグラムよりも当該照明品質の一層正確な指示情報となり得るものである一方、より正確なものを含めることの利点は、ユーザに当該設定をどの様に改善するかを指示することができるフィードバックを発生するために使用することができるということである。
【００１６】
一実施態様によれば、先行する請求項の何れかのシステムは、当該品質計測値を、信号比較計測量、照明品質計測量、動き補償計測量及び照明均質性計測量のうちの少なくとも２つの組み合わせに基づいて計算するように構成される。指向性フォトダイオードの利点は、これらダイオードが相対的に安価であり、実際の状況を考慮に入れるために配置及び配向することができるということである。
【００１７】
一実施態様によれば、先行する請求項の何れかのシステムは、選択された期間にわたり品質計測値を第１の選択された限界と比較すると共に合格／不合格結果を記録し、前記選択された期間における合格／不合格結果の数を第２の選択された限界と比較して前記選択された期間に対して導出された品質計測量を生成するように構成される。
【００１８】
一実施態様によれば、先行する請求項の何れかのシステムは、前記抽出された生理学的情報の品質の指示情報を供給するように構成される。
【００１９】
他の態様においては、生理学的情報結果の抽出のための品質計測量を生成する方法が提供され、該方法は、生理学的特徴を示す信号を抽出するステップと、前記信号から複数の計算関数を用いて複数の生理学的情報結果を計算するステップであって、前記複数の計算関数は計算関数のリスト内に含まれ、各生理学的情報結果が異なる計算関数を用いて計算されるステップと、前記複数の生理学的情報結果における生理学的情報結果の間の比較に基づいて品質計測量を計算するステップと、を有する。
【００２０】
一実施態様によれば、前記計算関数のリストは、自己相関関数、フーリエ変換関数、パワースペクトル密度関数（Power Spectral Density function）、及びラプラス変換を含む。
【００２１】
一実施態様によれば、当該方法は、前記信号の振幅を測定するステップを更に有する。
【００２２】
一実施態様によれば、当該方法は、前記信号の振幅の変化を測定するステップを更に有する。
【００２３】
一実施態様によれば、当該方法は、関心領域からの反射された照明のレベルの角度を測定するステップを更に有する。
【００２４】
一実施態様によれば、前記角度を測定するステップは、前記関心領域にわたる反射された照明のレベルのヒストグラムを計算するステップ、前記関心領域にわたる前記照明のレベルの勾配を測定するステップ及び指向性フォトダイオードを用いて反射された照明のレベルを測定するステップのうちの少なくとも１つを有する。
【００２５】
他の態様においては、コンピュータ上で実行された場合に、該コンピュータに前記方法及び本明細書に記載される何れかの変形例を実施させる命令を有するコンピュータプログラム製品が提供される。
【００２６】
開示される装置、システム及び方法の上記並びに更なる目的、フィーチャ及び利点は、添付図面を参照してなされる装置及び方法の実施態様の以下の解説的且つ限定するものでない詳細な説明により一層良く理解されるであろう。
【図面の簡単な説明】
【００２７】
【図１】図１は、被検者内の生理学的過程を測定するためのシステムを示す。
【図２】図２は、一連のビデオ画像から生理学的情報を抽出するための信号処理チェーンを示す。
【図３】図３は、図２の信号処理チェーンにより実行されるべき処理の流れを示す。
【図４】図４は、図２の処理チェーンの出力から品質計測量を供給するための一実施態様による構成を示す。
【図５】図５は、図４の構成により実行される一実施態様による流れを示す。
【図６】図６は、画像処理システムに関連して構成された、図２の処理チェーンの出力から品質計測量を供給するための一実施態様による構成を示す。
【図７】図７は、図１等のシステムに関連する図６の構成を示す。
【発明を実施するための形態】
【００２８】
以下の説明において、同一の符号は同様の要素を示す。或る要素が説明された場合、該要素は更なる説明が必要とされない限り再度説明されることはない。
【００２９】
図１は、被検者内で生じる生理学的過程に関する情報（“生理学的情報”）を抽出するために該被検者からの一連のビデオ画像をキャプチャ及び分析するための装置を示す。被検者１は光源２により照明されると共にカメラ３を用いて撮影される、該カメラはビデオ画像の系列（シーケンス）をキャプチャするように設定されている。カメラ３からのビデオ画像の系列は処理装置（ＰＲＯＣ）４に供給され、該処理装置は上記ビデオ画像の系列を分析し、該系列から信号を抽出し、該信号から心拍数等の結果を抽出する。上記信号の表現である該結果は（望まれる場合）、次いで、表示器５（ＤＩＳ）に供給される。
【００３０】
当該被検者の幾つかの部分は、他の部分より当該信号の抽出に一層良く適している。例えば、血流及び心拍数分析の場合、顔面上の皮膚領域が一層良好に作用する傾向にあることが分かっている。従って、特定の領域（関心領域、又は短くＲＯＩ）又は“実際には”斯かるＲＯＩ内に含まれる小さなパッチ（区域）を選択することが好ましい。当該信号は所与のパッチに関するフレーム間の変化からなるので、これらパッチはフレーム間で追跡されねばならない。
【００３１】
当該照明は均一とは反して、しばしば、指向性のものであり、かくして、光源２の向きに依存して被検者に対し異なる経路をとり得る。該照明は、光源２から被検者１へと直接的経路６をとり得るか、又は天井等の何らかの表面８から反射されて間接的経路７をとり得る。当該光は、次いで、反射経路９に沿ってカメラ３へと反射される。光源２が被検者１に向けられた場合、当該照明は被検者の一部に略均一な分布で到達し得る一方、間接経路７を辿る光は斜めの角度で到達し得る。
【００３２】
被検者１の背後に図示された矢印により示されるように、被検者１はカメラ３に対して、特には光源２及び面８に対して大幅に移動する傾向がある。この運動は２つの問題を生じる。このことは、パッチを追跡することを一層困難にすると共に、一層重要なことに、当該追跡が完全なものより劣る場合にピクセル値の大きな変動を生じる。
【００３３】
被検者１、光源２、カメラ３及び面８の相対位置は状況の間において大幅に変化し得るので、被検者１に対する照明の強度及び均一性も大幅に変動し得る。照明強度の絶対変動は、ある程度、補償することができるが、照明の均一性の変動は信号抽出の品質に対して重大な影響を有し得る。
【００３４】
被検者の動き及び照明の不均一性の影響は、互いに混ざり合う。
【００３５】
図２は、生理学的過程を示す信号を抽出すると共に該信号から生理学的測定値を導出するための処理チェーン（連鎖）２０を示す。該処理チェーン２０は処理装置４の一部として都合良く実施化することができる。パッチ選択ユニット（ＲＯＩ）２１は、追跡されるべきパッチ又はＲＯＩを選択する。後続の処理のために選択される１以上のパッチが存在し得る。パッチ選択ユニット２１は、一連の動き補償されたパッチを信号抽出器（抽出ユニット：ＥＸＴ）２２に供給するために、選択されたパッチに関する画像に対して動き補償を実行する。信号抽出器２２は、該信号に対して、時間的に変化する（時変的）関心信号に到るために処理を実行する。これらの処理は、カラーチャンネルの合成及び／又は信号の正規化を含むことができる。動き補償の作業を一層容易にするために、上記パッチの系列は一層短い系列に分割されることもあり得る。この場合、抽出ユニット２２は、一層短い系列を一層長い系列に合成することもできる。抽出された時変的信号は、次いで、信号分析器（ＡＮＡ）２３に供給され、該信号分析器は、生理学的情報計算器の役割において、関心の生理学的情報結果に到るための処理を実行する。
【００３６】
パッチ選択ユニット２１、信号抽出ユニット２２及び信号分析器２３は、適切なソフトウェアを実行する１以上の汎用プロセッサ内で実施化することができる。このことは、既存のハードウェアで可能であると共に後の修正及び調整を可能にするという利点を有している。しかしながら、この結果、モード専用解決策よりも、遅く及び／又は高価な解決策となり得る。代わりに、上記ユニット等は、関連する機能を実施するように設計されたファームウエアを実行するマイクロコントローラで実施化することもできる。この解決策は、生産量が十分に多い場合は、余り高価とならない可能性がある。更に他の可能性は、当該機能を専用のハードウェアで実施化することである。大量の場合、この構成は、しばしば、一層安価であると共に単位コスト当たりの一層高い処理速度を提供する。
【００３７】
図３は処理チェーン２０により適用される処理を示す。ステップｓ３１（ＳＥＱ）において、フレームの系列が処理チェーン２０に供給される。
【００３８】
ステップｓ３２（ＳＥＬ）において、パッチ選択ユニット２１は複数の方法の１以上を用いてパッチを選択する。時には“セグメント化”と呼ばれる処理が実行される。関心全般領域（general area of interest）を選択することにより開始することが好都合である。血流が当該生理学的関心過程である場合は顔面が好適であり、従って顔識別アルゴリズムを使用することができる。顔検出を実施するための好適なアルゴリズムは、Viola, P.及びJones, M.J.による“Robust real-time object detection”, Proc. of IEEE workshop on statistical and computational theories of vision, 13 July 2001に記載されている。形状及びカラーパターンを認識するための他のアルゴリズムも存在し、これらを、顔領域を検出するために使用することもできる。呼吸等の他の過程の場合、胸部を識別するための他の方法を用いることができる。
【００３９】
各ブロックは、これらブロックにおける各ピクセル内のカラーの相対値及び当該ピクセルの絶対輝度を比較することにより皮膚領域であるか否かとして分類することもできる。ブロック内及びブロック間のカラー勾配の分析も、皮膚領域を識別するための助けとなり得る。皮膚領域を識別することは多様な可能性のある皮膚色調により一層困難にされ、このことが考慮されるべきである。
【００４０】
ステップｓ３３（ＭＣ）において、動き補償の好ましいステップがパッチ選択ユニット２１により実行される。このことは、分析中のフレームの系列における同一の領域からピクセル値を取り出すことにより信号抽出を実行する方が優れているので好ましい。
【００４１】
このことは、パッチ選択ユニット２１が選択されたパッチ（又は複数のパッチ）内の特有のフィーチャ（特徴）を含むブロックを識別すると共に、これらブロックが各フレーム内で他のフレームに対してどの様に位置を変化するかを決定することにより実施することができる。このためには、種々の解決策が存在する。これらの変化から、パッチ選択ユニット２１は、選択されたパッチ（又は複数のパッチ）をフレームからフレームへと“位置合わせ”するために用いることが可能な予測動きベクトルを導出することができる。
【００４２】
前記関心全般領域内のピクセルの１以上の部分集合を選択することも、時には、有効である。また、処理能力要件、処理時間及び精度の間での妥協が必要とされ、より少ないピクセルで許容可能な結果を達成することができることもあり得る。
【００４３】
ステップｓ３４（ＳＵＢＳ）において、このような少なくとも１つのピクセルを含み、時には複数のピクセルを含む部分集合が、パッチ選択ユニット２１により選択される。当該系列における全フレームからの対応する部分集合が識別されて、グループを形成する。これらの対応する部分集合は、選択された類似性の基準に従って最良に合致するものである。このような基準は、例えば、三色の標準偏差等の統計的尺度に基づくものであり得る。複数の部分集合が併行して処理される場合、複数のグループが存在する。これらグループを確立する処理は、種々の方法で実施することができる。前記関心全般領域において類似の部分集合の網羅的検索を実行することができる。このことは、検索される領域にわたって、小さな組のピクセルを選択する選択窓を移動させることにより実施することができる。この場合、小さな各組は、動き補償の目的で原点として取られたフレーム内の小さな基準組と比較される。この方法は、一層正確であるが、計算的に費用が掛かる。他の例として、先に導出された予測動きベクトルを少なくとも部分的に用いることができる。この方法は、計算的コストは低いが、余り正確でない。検索が実行される場合、新たな予測動きベクトルが導出され得る。検索及び予測動きベクトルの両方を用いて、前記種々の方法を多段処理で組み合わせることも可能である。このような解決策は、精度及び計算的費用の間の許容可能な妥協であり得る。
【００４４】
複数のグループが使用されている場合、基準を満たさないグループを破棄するためのオプション的ステップｓ３５（ＤＩＳ）を実行することが時には有効である。このことは、信号抽出器２２により実行することができる。当該基準は、典型的に、例えば全体的な信号対雑音比を悪化させることにより劣った信号抽出結果をもたらすようなグループを削除するように選択される。このような基準は、カラー及び／又はテクスチャの空間的均一性であり得る。他の可能性は、当該系列におけるフレーム間の動きの程度であり、従って、過度に多い動きを呈するグループは削除され得る。
【００４５】
ステップｓ３６（ＳＥＧ）において、信号抽出器２２は各グループからの抽出された信号セグメントを構築する。このことは、当該グループに関してフレーム間のピクセル値の差違を見付けることにより達成される。種々の準備処理が可能である。例えば、グループ内のピクセル値は正規化することができる。即ち、これらの値は平均値により除算することができる。例えば、１つの部分集合に関する全ピクセル値を、フレーム毎に組み合わせることができる。この組み合わせは平均値（適切に重みを付された）を見付けることによるものであり得、該平均はカラーチャンネル間で重み付けを適用させることができる。全ての部分集合を単一の平均（即ち、フレーム当たりの単一の平均）に組み合わせることも可能である。このことは、ノイズに対して強いという利点を有する。抽出された信号セグメントは当該画像フレームの全系列のうちの短い区画に対するものとすることができる。このことは、フレーム間の被検者の動きに対する強さを改善するが、フレームの全系列にわたる信号を“再構築”するための更なる処理を必要とし得る。
【００４６】
ステップｓ３７（ＶＡＬ）において、生理学的関心パラメータ（即ち、生理学的情報の結果）を表す値を見付けるために、上記の抽出された信号セグメント（又は複数のセグメント）は信号分析器２３により分析される。該値は心拍数又は呼吸数等の周波数的表現であり得るか、又は被検者の呼吸の振幅等の振幅に関するものであり得る。実際には、該値は、これらのうちの１つから導出される結果でさえあり得る。
【００４７】
次に、周波数を取得することを含む状況を説明する。
【００４８】
このような処理は、離散又は高速フーリエ変換（ＤＦＴ又はＦＦＴ）等のものを用いることによりスペクトル（即ち、周波数ドメイン）へ変換することであり得る。当該スペクトルから、帯域外と見なされるＤＣ成分及び他の成分は破棄することができ、ピークは関連する生理学的過程の基本周波数に対応する。
【００４９】
Ｎ個の複素数ｘｎに対して、ＤＴＦは、
【数１】
2019503751.tif 000003
と表すことができる。
【００５０】
他の方法は、自己相関（時には、相互自己相関又は系列相関としても知られる）関数を用いて準周期的信号を示す結果に到達することであり得る。例示のみとして、ｎ個の観察がなされたと共に平均μ及び分散σ２が存在する信号に関する自己相関関数の推定の一般的形成は、
【数２】
2019503751.tif 000004
であり、ここで、ｋはｎ未満の整数である。
【００５１】
当該自己相関のピークの間の時間差（タイムラグ）の逆数から、当該周期信号の周波数を導出することができる。
【００５２】
第３の方法は、パワースペクトル密度関数（ＰＳＤＦ）を使用することであり得る。この関数は、信号のパワーの周波数分布を表す。該関数は、時には、信号のサンプルの有限時系列ｘｎに対して、これらサンプルが全期間Ｔ＝ＮΔｔに対して離散時間ｘｎ＝ｘ(ｎΔｔ)におけるものである場合、下記のように定義又は表され：
【数３】
2019503751.tif 000005
ここで、ｎは１とＮとの間である。
【００５３】
生理学的情報を抽出するシステムにおいて実施化する場合、他の項により、上記式を変更し又は異なる定式化を選択することが有効であり得る。
【００５４】
他の可能性は、これも信号の周波数ドメイン表現を時間ドメイン形態から得るために使用することが可能なラプラス変換である。
【００５５】
多信号分類（multiple signal classification: ＭＵＳＩＣ）アルゴリズム、ピッチ検出アルゴリズム（pitch detection algorithm: ＰＤＡ）、平均振幅差分関数（average magnitude difference function: ＡＭＤＦ）、平均二乗平均差関数（average squared mean difference function: ＡＳＭＤＦ）等の他の可能性も存在する。
【００５６】
図４は、実施態様による品質計測量を生成するシステム４０を示す。図２におけるのと同様に、パッチ選択ユニット２１、抽出ユニット２２及び信号分析器２３を有する信号処理チェーンが存在する。一連の動き補償されたパッチを抽出ユニット２２に供給することに加えて、一実施態様において、パッチ選択ユニット２１は入力を照明品質評価器（ＩＬＬ）４１及び動き品質評価器（ＭＯＴ）４２にも供給する。他の実施態様において、信号抽出器２２は動き品質評価器４２に情報を供給する。信号分析器２３は、生理学的測定結果を供給するのと同時に、品質計測量計算器（ＱＭＣ）４３に入力を供給する。
【００５７】
図５は、図４のシステムにより一実施態様に従って処理されるフローを示す。
【００５８】
ステップｓ５１において、パッチ選択ユニット２１は照明品質評価器４１にフレームを、又は更に詳細には選択された関心全般領域を供給する。照明品質評価器４１は全体のフレーム又は関心全般領域に関するピクセル値のヒストグラムを計算する都合良い方法を用いることができる。このことは、カラーチャンネル毎に又は組み合わされたカラーチャンネルに対して実行することができる。該ヒストグラム（又は複数のヒストグラム）から、平均値、標準偏差又は中央値等の代表的値を量子化ノイズ及びカメラノイズに関する値と組み合わせて、当該照明に依存する信号対雑音比を生成することができる。各カラーの値を記憶するために当該ピクセルで使用されるビットの数により定義される量子化及びカメラノイズは、カメラのハードウェアにより決まり、画像センサ及びカメラ光学系等の物の関数である。これらの両パラメータは、所与のシステムに関して既知であり得る。
【００５９】
ステップｓ５２において、パッチ選択ユニット２１は、ステップｓ３３の間に実行した動き補償に関する処理からの情報を動き補償評価器４２に供給する。この情報は、画像安定化に使用される予測動きベクトルに関係するものであり得る。例えば、予測動きベクトルの最大振幅を用いることができる。動き補償に使用される補正は、時には、補正された画像にエラー（時には、“アーチファクト”と呼ばれる）を生じさせる。このようなアーチファクトの例は、強く明暗の付いた領域の間の境界の近傍に存在する歪である。これらのアーチファクトを、アーチファクトが予測され得る領域のコントラスト勾配等のパラメータを比較することにより検索することが可能である。
【００６０】
代替実施態様において、信号抽出器２２は、抽出された信号に関する情報を動き品質評価器４２に供給する。該動き品質評価器は、上記抽出された信号のレベルの時間にわたる変動を計算することができる。如何なる所与の状況においても、該抽出された信号のレベルは、相対的に一定に又は少なくとも特定の限界内に留まるべきである。予測される限界外への変動は、しばしば、被検者の動きの影響の又は動き補償により生じたアーチファクトの結果である。例えば、動き補償アーチファクトは、連続するパッチの間のピクセル差を増加及び／又は減少させ得、この結果、これら時点に関して当該信号の振幅に見掛け上の振幅の変化が生じる。
【００６１】
動き品質評価器４２の上記２つの形態を組み合わせ、動き補償品質を評価する両方法を使用することも可能であることに注意すべきである。
【００６２】
特定の時点における若しくは当該画像の特定の部分からの局部的変化又は時間にわたる平均の変化を見ると共に、これらを限界若しくは予測される値と比較することも可能である。更に、所与の生理学的現象を検出する所与のシステムの一般的感度は知ることができるので、時間にわたり平均されたピクセル値に対する信号強度は特定の限界内であると予測することができる。従って、これらの限界外への変動は、エラーの存在を示すために用いることができる。このように、これらは被検者の動きの程度及び動き補償の効果を評価するために、即ち、動き補償に関する品質計測量として用いることができる。
【００６３】
ステップｓ５３において、信号分析器２３は一実施態様に従って生理学的情報結果を導出する処理を実行する。前述したように、動き補償のための及び関心領域を選択するための異なるオプションが存在する。これらは異なる特徴を有し、特定の条件下では、如何なる２つの選択された方法も異なる結果を生じ得る。更に、抽出される信号は、しばしば、背景ピクセル値と比較して弱い。
【００６４】
周波数値を抽出する場合、前述したように、種々のオプションが存在する。特に、処理する抽出信号は、しばしば、該信号が抽出される絶対ピクセル値と比較して相対的に弱いので、これらオプションは、前のステップの影響の結果、生成する結果に差違を生じ得る。例えば、ＡＣＦによれば、ピークの間のラグ（時間差）を見付けることができるように検出することが可能なピークを生成することが期待される。弱い信号及び前の処理ステップの影響により、ピーク検出は困難であり得る。このことは、実際のラグよりも長く、実際の値よりも小さな見掛け周波数として解釈されるようなラグを生じるまで達し得る。短時間又は離散フーリエ変換（ＳＴＦＴ又はＤＦＴ）の場合、低信号対雑音比の結果、出力スペクトルに偽ピークが生じ得、これらは、関心ピークを見付けることを、時には見掛け基本周波数が実際の値の２倍となる程度にまで、一層困難にさせ得る。パワースペクトル密度関数（ＰＳＤＦ）も、抽出された信号における特定の欠陥に対する感受性を有する。
【００６５】
従って、ステップｓ５３において、同一の信号に対して２以上の方法が用いられ、結果は品質計測量計算器４３により比較されて、時間／周波数変換の結果の品質を表す品質計測量を生成する（“分析方法の比較”）。該比較は、２つの結果の間の差を見付けることにより実行することができる。他の可能性は、一連の時間間隔にわたる差を記録し、これら差の分布の分散を計算するか又は当該２つ（又はそれ以上）の集団の測定値の相関係数を計算することであり得る。他の可能性も存在する。
【００６６】
このように、信号抽出ユニットを使用することにより信号を抽出し、次いで信号分析器を使用することにより、該信号から複数の計算関数を用いて複数の生理学的情報結果を計算し（各結果は異なる計算関数を用いる）、次いで品質計測量計算器を使用することにより前記複数の生理学的情報結果における生理学的情報結果の間の比較に基づいて品質計測量を計算し、これにより、一連の画像フレームからの生理学的情報抽出のための品質計測量を生成することができる。この構成は、一致する程度が、抽出された信号の品質の指示情報であり得、従って、これに貢献した画像処理を導出することができるという利点を提供する。
【００６７】
典型的に、画像フレームから抽出される信号は時間ドメイン表現である一方、生理学的情報結果は周波数ドメインの又は周波数を容易に導出することができる形態のものである。
【００６８】
当該方法は、自己相関関数、フーリエ変換及びパワースペクトル密度関数の中から選択することができる。周波数を導出する他の方法も存在し、使用することができる。これらは、僅かに異なる特徴及び感度を有するという利点を有している。従って、一致の程度は、全体の処理の品質の有効な指示情報であり得る。
【００６９】
図６は、一実施態様による品質計測量を生成するシステムを備えた、生理学的情報を生成するためのシステム６０を示す。画像キャプチャユニット６１（ＩＣ）は、一連のビデオフレームを処理チェーン２０に供給する。生理学的情報は、ディスプレイ５に結合されたコントローラ６２（ＣＯＮ）に供給される。照明品質評価器４１及び動き品質評価器４２は、図４に関連して説明したように、処理チェーン２０から入力を受信する。品質計測量計算器４３は、前述したように、信号分析器２３から入力を受信して、“分析方法の比較”を実行する。品質計測量計算器４３は、照明品質評価器４１及び動き品質評価器４２からの結果も受信する。該品質計測量計算器は、品質計測量をディスプレイ５に供給する。画像キャプチャユニット６１は、前記一連の画像、又はその一部を該ディスプレイにも供給する。該システム６０は、全体として又は部分的に、単一の装置内に組み込むことができ、該単一の装置はビデオカメラ３又はコンピュータ等の他の装置とすることができる。該装置は、スマートフォンで実施化することもできる。
【００７０】
コントローラ６２に結合されたディスプレイは、当該品質計測量を数値（例えば、パーセンテージ）として、又は表示される（又は表示された）生理学的情報の信頼度をユーザに通知するために目盛上の表示として表示することができる。該表示は、赤／琥珀／緑配列等のカラー表現とすることもできる。上記の組み合わせも可能である。
【００７１】
当該品質計測量は、計算された際に表示することができ、恐らくは測定周期後になされる更新を伴う。他の可能性は、システム６０が品質計測値を選択された限界と比較し、合格であるか又は不合格であるかを記録することである。選択された期間にわたり、システム６０は、これらの合格／不合格結果の発生率を記録することができ、該発生率自体が選択された限度より低い場合、該期間は全体として許容可能と見なすことができ、そのようにレポートされる（例えば、グリーンライトで）。他の例として、合格のパーセンテージを、導出された品質計測量としてレポートすることもできる。例えば、当該システムは、２分間にわたり、毎秒１つの率での上側／下側サンプルの数を記録することができる。５０％未満が限界外である場合、当該２分間全体は許容可能となる。
【００７２】
品質計測量計算器４３は、照明品質評価器４１からの結果を“分析方法の比較”の結果と一緒に当該品質計測量に組み合わせることができる。このことは、“分析方法の比較”により提供される当該処理の全般的評価と共に、当該品質計測量が照明品質に対する感受性も有し、ユーザにより当該照明を調整するために使用することができるという利点を有する。
【００７３】
品質計測量計算器４３は、動き品質評価器４２からの結果を“分析方法の比較”の結果と一緒に当該品質計測量に組み合わせることができる。このことは、“分析方法の比較”により提供される当該処理の全般的評価と共に、当該品質計測量が動き補償品質に対する感受性も有するという利点を有する。当該品質計測量は、ユーザにより当該システムの設定を調整し、又は被検者を安定化させ、被検者を余り動かないように促し若しくは頭部の回転等の特定の動きを制限するために使用することができる。他の可能性は、当該品質計測量をコントローラ６２により信号抽出ユニット２２の設定を制御するために使用することができるということである。
【００７４】
品質計測量計算器４３は、種々の個別の品質計測量を加重和として組み合わせることができる。該計算器は、各品質計測量を個別に限界に対してチェックし、品質計測量の単純な表示が用いられるべき場合は合格／不合格結果を加算することができる。該計算器は、対応する限界外の各値の加重和を計算することもできる。該計算器は、限界外への振れの頻度を用いることもできる。これらの方法の組み合わせも可能である。個々の品質計測量を組み合わせることは、当該処理の全体としての評価と同様に、当該品質計測量が照明品質及び動き補償等の当該処理の固有の部分から生じる問題も反映することができるという利点を有する。個々の品質計測量は、教師有り学習方法の一部として組み合わせることもできる。
【００７５】
照明の均質性は、最終的結果に対して重大な影響を有し得る。従って、これを推定すると共に、この推定を当該品質計測量の一部として使用し、及び／又は当該システムを使用する者に対して当該照明が調整されるべきかに関する指示情報を供給することが望ましいものであり得る。
【００７６】
当該照明が指向性のものであり、関心全般領域に斜めの角度で到達する場合に、特別な問題が生じる。顔等の関心全般領域は、しばしば、平坦ではなく、斜めの照明は影を生じ又は当該関心全般領域にわたり反射光のレベルの著しい（動きに誘起された）変化を生じ得る。このような効果は、部分的に信号抽出のために選択された領域上の照明の実際のレベルが一層低くなり得るか又は当該照明がユーザにとりそう思われるよりも一般的に余り均一でない故に、信号対雑音比の悪化を生じる。もっと重要なことに、照明の傾きは、当該信号処理（特に、動き補償）と相互に作用し合い、信号対雑音比を著しく悪化させ得る。実際に、この問題は被検者の動きにより生じる問題を一層増幅させる。
【００７７】
図７は、実施態様によるシステム６０を用いた、被検者において生じる生理学的過程に関する情報（“生理学的情報”）を抽出するために被検者からの一連のビデオ画像をキャプチャ及び分析するための装置を示す。図１に関連して説明した要素及びシステム６０の要素に加えて、フォトダイオード７１が選択された方向から光を受光するように配置されている。即ち、これらフォトダイオードは指向性のもので、入射する光の測定の結果をコントローラ６２に供給する。
【００７８】
面８から反射され又は放出された光は、しばしば、動き補償機能により遭遇される困難さを悪化させ得る。このことは、面８が天井であり、被検者１が直立している場合に特にそうである。何故なら、当該照明は被検者の顔に著しく浅い角度で入射するからである。天井から反射され又は放出される光が主たる光源である場合、問題は一層悪くなる。
【００７９】
当該システムは、斜め照明が結果に影響している度合いを、複数の方法で測定することができる。該システムは、反射された照明レベルから照明の均質性又は角度を測定するために照明角評価器６４１を使用することにより、照明品質計測量に寄与することができる。このことは、全体のシステムの設定又は環境の結果である欠陥又は問題に対して一層敏感となるという利点を有している。該照明角評価器は、前述した照明品質評価器４１に組み込むことができる。
【００８０】
このように、該照明角評価器は、ピクセル値のヒストグラム、傾斜の測定値又は関心全般領域にわたる前記ピクセル値の標準偏差、及び指向性フォトダイオードからの測定値のうちの少なくとも１つを使用することができる。これらの利点は、以下に説明する。
【００８１】
関心全般領域の全て又は一部にわたり分散されたピクセルのピクセル値のヒストグラムは、斜め照明を示し得る大きな広がり（広がり、標準偏差又は分散）の値を呈し得る。何故なら、このような照明は被検者のトポグラフィにより生成される陰影を目立たせるからである。このヒストグラムは、図５に関連して説明したものに情報内容が類似しており、従って当該品質計測量の一部として同様の方法で容易に実施化することができる。標準偏差又は分散等の統計的パラメータは、完全なヒストグラムを決定することなしに測定することができることに注意すべきである。このような統計的分析は、当該生理学的情報を抽出するために要する画像処理の一部であるという利点を有している。
【００８２】
他の可能性は、関心領域にわたる反射光の強度の勾配を測定することである。このことは、１以上のフレームにおいて、関心全般領域にわたり１以上の方向において、勾配の存在を明らかにするように適合化されたフィルタを用いて、ピクセルの値を検索することにより達成することができる。“フィルタ”とは、ここでは、関心凹凸構造の存在を検出又は明らかにするために１以上のピクセルの値に対して実行される数学的関数又は処理を意味する。勾配を検出するための好適なフィルタはハールライク特徴量（Haar-like features）を含み、これらは垂直及び／又は水平勾配を検出するために選択及び適用することができる。異なるハールライク特徴量の組み合わせを使用することにより、勾配の存在を検出するのみならず、方向及び程度に関して分類ことも可能である。このようにして生成された情報は、次いで、前述した方法の何れかにより当該品質計測量に組み込むことができる。これは、ヒストグラムよりも一層正確な照明品質の指示情報となり得、一層の正確さを含むことの利点は、ユーザに対して当該設定をどの様に改善するかを指示することができるフィードバックを発生するために使用することができるということである。また、両方法を組み合わせる、即ち、ヒストグラムを実行すると共に勾配検出を用いて結果を改良することも可能である。最初に分類し、ヒストグラムを用いて選択することにより、当該勾配検出に要する計算的資源を節約することも可能である。
【００８３】
他の可能性は、面８から反射された光のレベルを測定するために指向性フォトダイオード７１を使用することである。簡単な方法は、単一の測定値を選択された限界と比較することであり得る。もっと正確な方法は、面８に向けられた指向性フォトダイオード７１からの測定値を、他の検出点と比較することであり得る。他の検出点は、例えば、カメラ３と同一方向に向けられた第２の指向性フォトダイオードのもの、又は実際に該カメラ３自体により測定された光レベルによるものである。多くのカメラは周囲光センサ又は照度計を有し、これらは第２指向性フォトダイオード７１の機能を提供するために使用することができる。当該面に向けられた指向性フォトダイオード７１により検出される光のレベルの他の検出点に対する比は、１以上の選択された閾値と比較され、当該照明の角度の許容可能性の指示情報を提供することができる。他の例として、該比は前述したように全体の品質計測量に組み込むこともできる。指向性フォトダイオードの利点は、これらフォトダイオードが安価であると共に、実際の状況を考慮に入れるために配置及び配向することができるということである。
【００８４】
尚、上述した実施態様は本発明を限定するというより解説するものであり、当業者であれば添付請求項の範囲から逸脱することなしに多数の代替実施態様を設計することができることに注意すべきである。
【００８５】
また、請求項において括弧内に記載された符号は当該請求項を限定するものと見なしてはならない。“有する”なる動詞及びその活用形の使用は、請求項に記載されたもの以外の要素又はステップの存在を排除するものではない。単数形の構成要素は、複数の斯様な構成要素の存在を排除するものではない。本発明は、幾つかの個別の要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施することができる。幾つかの手段を列挙する装置の請求項において、これら手段の幾つかは１つの同一のハードウェア品目により具現化することができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせを有利に使用することがでないということを示すものではない。
【００８６】
本発明の一態様はコンピュータプログラム製品として実施化することができ、該コンピュータプログラム製品は、コンピュータにより実行され得るコンピュータ読取可能な記憶装置に記憶されたコンピュータプログラム命令の集合であり得る。本発明の命令は、これらに限定されるものではないが、スクリプト、インタプリタブルプログラム、ダイナミックリンクライブラリ（ＤＬＬ）又はジャバクラスを含む如何なる解釈可能な又は実行可能なコードメカニズムのものとすることができる。これらの命令は、完全な実行可能なプログラムとして、部分的に実行可能なプログラムとして、既存のプログラムに対する更新（例えば、アップデート）又は既存のプログラムの拡張（例えば、プラグイン）として提供することができる。更に、本発明の処理の各部は、複数のコンピュータ又はプロセッサに跨がって分散させることができる。
【００８７】
コンピュータプログラム命令を記憶するのに適した記憶媒体は、これらに限定されるものではないが、ＥＰＲＯＭ、EEPROM及びフラッシュメモリ装置、内部及び外部ハードディスクドライブ等の磁気ディスク、取り外し可能型ディスク及びCD-ROMディスクを含む全ての形態の不揮発性メモリを含む。コンピュータプログラム製品は、このような記憶媒体により分配することができ、又はHTTP,FTP、ｅメール等の適切な手段を介して若しくはインターネット等のネットワークに接続されたサーバを介してダウンロードするために提供することができる。
【図１】
2019503751.tif 000006
【図２】
2019503751.tif 000007
【図３】
2019503751.tif 000008
【図４】
2019503751.tif 000009
【図５】
2019503751.tif 000010
【図６】
2019503751.tif 000011
【図７】
2019503751.tif 000012
【国際調査報告】
2019503751.tif 000013
2019503751.tif 000014