(57)【要約】      （修正有）【課題】複数の被検者の顔面部分以外の露出した対象領域が動いている場合、周囲環境の照度が特定の閾値より低い場合、他の非静止物が存在する場合でも複数の被検者の健康状態の評価が正確にできる非侵襲的ＰＰＧを提供する。【解決手段】被検者のビデオデータを受け取る。受け取ったビデオデータの一連のフレームの各々は、複数のスペクトル成分に関連する。複数のスペクトル成分に対応する複数のピークから、第１のピーク及び第２のピークを特定する。特定される第１及び第２のピークの振幅は、第１の閾値を上回る。特定された第１のピークと特定された第２のピークの間のピーク分離を特定する。特定されるピーク分離は、所定の範囲内に存在する。この特定されたピーク分離に基づいて、被検者の心拍数を特定する。【選択図】図４
2016043263.tif 000002
【特許請求の範囲】
【請求項１】
電子装置において、
各々が複数のスペクトル成分に関連する一連のフレームを含む、被検者のビデオデータを受け取るステップと、
前記複数のスペクトル成分に対応する複数のピークから、第１の閾値を上回る振幅を有する第１のピーク及び第２のピークを特定するステップと、
前記特定された前記第１のピークと前記特定された前記第２のピークの間の、所定の範囲内に存在するピーク分離を特定するステップと、
前記特定されたピーク分離に基づいて、前記被検者の心拍数を特定するステップと、
を含むことを特徴とする方法。
【請求項２】
前記一連のフレームの各々は複数のチャネルに関連し、該複数のチャネルの各々は前記複数のスペクトル成分に関連する、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記特定された前記第１のピークの振幅は、第２の閾値を上回る、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記特定された前記第１のピークに基づいて、前記被検者の心拍数を特定するステップを含む、
ことを特徴とする請求項３に記載の方法。
【請求項５】
前記特定された前記第２のピークに関連するパラメータが前記所定の範囲内に存在しない場合、前記特定された前記第２のピークを破棄するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項６】
以前に特定された前記被検者の心拍数に基づいて、前記特定された前記第１のピーク及び前記特定された前記第２のピークの一方を選択するステップをさらに含み、前記第１のピーク及び前記第２のピークに関連するパラメータは、前記所定の範囲内に存在する、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記ピーク分離は、前記第２のピーク及び前記第１のピークに関連するパラメータ間の差分に基づいて特定される、
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記一連のフレームの各フレーム内の前記ビデオデータは、赤色（Ｒ）チャネル、緑色（Ｇ）チャネル及び青色（Ｂ）チャネルを含む複数のチャネルを含む、
ことを特徴とする請求項１に記載の方法。
【請求項９】
前記一連のフレームの各フレーム内の前記ビデオデータの信号分離に基づいて、複数のスペクトル成分を特定するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記一連のフレームの１つにおける前記被検者を検出するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項１１】
前記検出された被検者を含む前記一連のフレームの前記１つをセグメント化するステップをさらに含む、
ことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記検出された被検者の対象領域を決定するステップをさらに含み、該決定される該対象領域は、前記被検者の皮膚領域を含む、
ことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記対象領域は、識別タグを用いて前記被検者に関連付けられる、
ことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記決定された前記対象領域を、１又はそれ以上の生理的パラメータに基づいて追跡するステップをさらに含み、前記複数のスペクトル成分は、前記追跡される前記対象領域に対応する、
ことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記１又はそれ以上の生理的パラメータは、前記検出された被検者に関連する皮膚の質感、皮膚パターン、及び／又は１又はそれ以上の特徴のうちの１つ又はそれ以上を含む、
ことを特徴とする請求項１４に記載の方法。
【請求項１６】
電子装置において、
一連のフレームを含み、該一連のフレームの１つ又はそれ以上が１又はそれ以上の物体を含む、被検者のビデオデータを受け取るステップと、
前記一連のフレーム内の前記１又はそれ以上の物体に関連する、各々の曲率が曲率閾値を上回る複数の輪郭点を特定するステップと、
前記複数の輪郭点からの第１の輪郭点の組の周期的な動きに基づいて、前記一連のフレーム内の前記１又はそれ以上の物体から第１の物体の組を特定するステップと、
前記第１の輪郭点の組の前記周期的な動きの周波数スペクトルの、１つのピーク値の振幅が予め指定した閾値を上回る１又はそれ以上のピーク値を特定するステップと、
前記特定された１又はそれ以上のピーク値の１つに基づいて、前記被検者の呼吸数を特定するステップと、
を含むことを特徴とする方法。
【請求項１７】
前記第１の輪郭点の組の前記周期的な動きは、基準輪郭点に対する非ゼロの大きさを有する変位の周期的な再発に関連し、前記変位は、所定の逆方向の組に生じる、
ことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記複数の輪郭点からの第２の輪郭点の組の非周期的な動きに基づいて、前記一連のフレーム内の前記１又はそれ以上の物体から第２の物体の組を特定するステップをさらに含む、
ことを特徴とする請求項１６に記載の方法。
【請求項１９】
前記第２の輪郭点の組の前記非周期的な動きは、基準輪郭点に対する非ゼロの大きさを有する変位の周期的な再発に関連し、前記変位は、ランダム方向に生じる、
ことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記第２の輪郭点の組の前記非周期的な動きは、基準輪郭点に対するゼロの大きさを有する変位に関連する、
ことを特徴とする請求項１８に記載の方法。
【請求項２１】
前記第１の物体の組及び第２の物体の組にそれぞれ関連する前記第１の輪郭点の組及び第２の輪郭点の組を特定するステップをさらに含む、
ことを特徴とする請求項１８に記載の方法。
【請求項２２】
前記周波数スペクトルは、前記第１の輪郭点の組の前記周期的な動きのスペクトル挙動分析に基づいて決定される、
ことを特徴とする請求項１６に記載の方法。
【請求項２３】
電子装置であって、
１又はそれ以上のプロセッサを備え、該プロセッサは、
各々が複数のスペクトル成分に関連する一連のフレームを含む、被検者のビデオデータを受け取り、
前記複数のスペクトル成分に対応する複数のピークから、第１の閾値を上回る振幅を有する第１のピーク及び第２のピークを特定し、
前記特定された前記第１のピークと前記特定された前記第２のピークの間の、所定の範囲内に存在するピーク分離を特定し、
前記特定されたピーク分離に基づいて、前記被検者の心拍数を特定する、
ことを特徴とする電子装置。
【請求項２４】
前記特定された前記第１のピークの振幅は、第２の閾値を上回る、
ことを特徴とする請求項２３に記載の電子装置。
【請求項２５】
前記１又はそれ以上のプロセッサは、前記特定された前記第１のピークに基づいて、前記被検者の心拍数を特定する、
ことを特徴とする請求項２４に記載の電子装置。
【請求項２６】
前記１又はそれ以上のプロセッサは、前記特定された第２のピークに関連するパラメータが前記所定の範囲内に存在しない場合、前記特定された前記第２のピークを破棄する、
ことを特徴とする請求項２３に記載の電子装置。
【請求項２７】
前記１又はそれ以上のプロセッサは、以前に特定された前記被検者の心拍数に基づいて、前記特定された前記第１のピーク及び前記特定された前記第２のピークの一方を選択し、前記第１のピーク及び前記第２のピークに関連するパラメータは、前記所定の範囲内に存在する、
ことを特徴とする請求項２３に記載の電子装置。
【請求項２８】
前記１又はそれ以上のプロセッサは、前記一連のフレームの１つにおける前記被検者を検出する、
ことを特徴とする請求項２３に記載の電子装置。
【請求項２９】
前記１又はそれ以上のプロセッサは、前記検出された被検者を含む前記一連のフレームの前記１つをセグメント化する、
ことを特徴とする請求項２８に記載の電子装置。
【請求項３０】
前記１又はそれ以上のプロセッサは、前記検出された被検者の対象領域を決定し、該決定される該対象領域は、前記被検者の皮膚領域を含む、
ことを特徴とする請求項２９に記載の電子装置。
【請求項３１】
前記対象領域は、識別タグを用いて前記被検者に関連付けられる、
ことを特徴とする請求項３０に記載の電子装置。
【請求項３２】
前記１又はそれ以上のプロセッサは、１又はそれ以上の生理的パラメータに基づいて、前記決定された前記対象領域を追跡し、前記複数のスペクトル成分は、前記追跡される前記対象領域に対応する、
ことを特徴とする請求項３１に記載の電子装置。
【請求項３３】
電子装置であって、
１又はそれ以上のプロセッサを備え、該プロセッサは、
一連のフレームを含み、該一連のフレームの１つ又はそれ以上が１又はそれ以上の物体を含む、被検者のビデオデータを受け取り、
前記一連のフレーム内の前記１又はそれ以上の物体に関連する、各々の曲率が曲率閾値を上回る複数の輪郭点を特定し、
前記複数の輪郭点からの第１の輪郭点の組の周期的な動きに基づいて、前記一連のフレーム内の前記１又はそれ以上の物体から第１の物体の組を特定し、
前記特定された第１の輪郭点の組の前記周期的な動きの周波数スペクトルの、１つのピーク値の振幅が予め指定した閾値を上回る１又はそれ以上のピーク値を特定し、
前記特定された前記１又はそれ以上のピーク値の前記１つに基づいて、前記被検者の呼吸数を特定する、
ことを特徴とする電子装置。
【請求項３４】
前記第１の輪郭点の組の前記周期的な動きは、基準輪郭点に対する非ゼロの大きさを有する変位の周期的な再発に関連し、前記変位は、所定の逆方向の組に生じる、
ことを特徴とする請求項３３に記載の電子装置。
【請求項３５】
前記１又はそれ以上のプロセッサは、前記複数の輪郭点からの第２の輪郭点の組の非周期的な動きに基づいて、前記一連のフレーム内の前記１又はそれ以上の物体から第２の物体の組を特定する、
ことを特徴とする請求項３３に記載の電子装置。
【請求項３６】
前記第２の輪郭点の組の前記非周期的な動きは、基準輪郭点に対する非ゼロの大きさを有する変位の周期的な再発に関連し、前記変位は、ランダム方向に生じる、
ことを特徴とする請求項３５に記載の電子装置。
【請求項３７】
前記第２の輪郭点の組の前記非周期的な動きは、基準輪郭点に対するゼロの大きさを有する変位に関連する、
ことを特徴とする請求項３５に記載の電子装置。
【請求項３８】
前記１又はそれ以上のプロセッサは、前記第１の物体の組及び前記第２の物体の組にそれぞれ関連する前記第１の輪郭点の組及び前記第２の輪郭点の組を特定する、
ことを特徴とする請求項３３に記載の電子装置。
【請求項３９】
前記周波数スペクトルは、前記第１の輪郭点の組の周期的な動きのスペクトル挙動分析に基づいて決定される、
ことを特徴とする請求項３３に記載の電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の様々な実施形態は、ビデオデータ処理に関する。具体的には、本開示の様々な実施形態は、被検者のバイタルサインを測定するためのビデオデータ処理に関する。
【背景技術】
【０００２】
近年の医療科学分野の発展により、フォトプレチスモグラフィ（ＰＰＧ）などの低コスト光学技術に基づいて被検者の健康状態を評価することが可能になった。健康状態は、非接触型医療装置を用いて被検者の（心拍数、呼吸数及び／又は血圧などの）バイタルサインを測定することによって評価することができる。このような非接触型医療装置は、非侵襲的ＰＰＧを用いて被検者のバイタルサインを測定するように構成することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、シナリオによっては、複数の被検者の顔面部分以外の露出した対象領域が動いている場合、ＰＰＧによる複数の被検者のバイタルサインの測定を信頼できないことがある。さらに、複数の被検者の周囲環境の照度が特定の閾値より低い場合にも、ＰＰＧによる複数の被検者のバイタルサインの測定を信頼できないことがある。さらに、複数の被検者が動いていることに加え、風又は空気の流れによって動くことがある植物などの他の非静止物が存在する場合にも、ＰＰＧによる複数の被検者のバイタルサインの測定を信頼できないことがある。このようなシナリオでは、複数の被検者のバイタルサインの測定を信頼することができず、従って複数の被検者の健康状態の評価が正確でない場合がある。
【０００４】
当業者には、図面を参照しながら本出願の残り部分に示す本開示のいくつかの態様とこれらのシステムとの比較を通じて、従来の伝統的な方法のさらなる制限及び不利点が明らかになるであろう。
【課題を解決するための手段】
【０００５】
実質的に少なくとも１つの図に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲により完全に示すようなビデオデータ処理方法及びシステムを提供する。
【０００６】
本開示のこれらの及びその他の特徴及び利点は、全体を通じて同じ要素を同じ符号で示す添付図面と共に本開示の以下の詳細な説明を検討することによって理解することができる。
【図面の簡単な説明】
【０００７】
【図１】本開示の実施形態による、ビデオデータ処理のためのネットワーク環境を示すブロック図である。
【図２】本開示の実施形態による、例示的なビデオデータ処理装置を示すブロック図である。
【図３】本開示の実施形態による、開示するビデオデータ処理装置及び方法を実装するための第１の例示的なシナリオを示す図である。
【図４】本開示の実施形態による、開示するビデオデータ処理装置及び方法において実装される画像フォトプレチスモグラフ（ＩＰＰＧ）計算ブロック内の様々なブロックの配置を示す図である。
【図５】本開示の実施形態による、開示するビデオデータ処理装置及び方法を実装するための第２の例示的なシナリオを示す図である。
【図６】本開示の実施形態による、開示するビデオデータ処理装置及び方法を実装するための第２の例示的なシナリオを示す図である。
【図７】本開示の実施形態による、例示的なビデオデータ処理方法を示すフローチャートである。
【図８】本開示の実施形態による、別の例示的なビデオデータ処理方法を示すフローチャートである。
【発明を実施するための形態】
【０００８】
本開示の例示的な態様は、ビデオデータ処理方法を含むことができる。この方法は、電子装置において被検者のビデオデータを受け取るステップを含むことができる。受け取ったビデオデータの一連のフレームの各々は、複数のスペクトル成分に関連することができる。この複数のスペクトル成分に対応する複数のピークから、第１のピーク及び第２のピークを特定することができる。特定される第１のピーク及び特定される第２のピークの振幅は、第１の閾値を上回ることができる。特定された第１のピークと特定された第２のピークの間のピーク分離を特定することができる。特定されるピーク分離は、所定の範囲内に存在することができる。この特定されたピーク分離に基づいて、被検者の心拍数を特定することができる。
【０００９】
ある実施形態では、一連のフレームの各々が複数のチャネルに関連することができる。複数のチャネルの各々は、複数のスペクトル成分に関連することができる。ある実施形態では、特定される第１のピークの振幅が第２の閾値を上回ることができる。ある実施形態では、方法が、特定された第１のピークに基づいて、被検者の心拍数を特定するステップを含むことができる。
【００１０】
ある実施形態では、方法が、特定された第２のピークに関連するパラメータが所定の範囲内に存在しない場合、特定された第２のピークを破棄するステップを含むことができる。ある実施形態では、以前に特定された被検者の心拍数に基づいて、特定された第１のピーク及び特定された第２のピークの一方を選択するステップを含むことができる。第１のピーク及び第２のピークに関連するパラメータは、所定の範囲内に存在することができる。
【００１１】
ある実施形態では、第２のピークに関連するパラメータと第１のピークに関連するパラメータの間の差分に基づいてピーク分離を特定することができる。ある実施形態では、一連のフレームの各フレーム内のビデオデータが複数のチャネルを含むことができる。この複数のチャネルは、赤色（Ｒ）チャネル、緑色（Ｇ）チャネル、及び青色（Ｂ）チャネルを含むことができる。
【００１２】
ある実施形態では、方法が、一連のフレームの各フレーム内のビデオデータの信号分離に基づいて、複数のスペクトル成分を特定するステップを含むことができる。ある実施形態では、方法が、一連のフレームの１つにおける被検者を検出するステップを含むことができる。
【００１３】
ある実施形態では、方法が、検出された被検者を含む一連のフレームの１つをセグメント化するステップを含むことができる。ある実施形態では、方法が、検出された被検者の対象領域を決定するステップを含むことができる。決定される対象領域は、被検者の皮膚領域を含むことができる。ある実施形態では、識別タグを用いて被検者に対象領域を関連付けることができる。ある実施形態では、方法が、１又はそれ以上の生理的パラメータに基づいて、決定された対象領域を追跡するステップを含むことができる。複数のスペクトル成分は、追跡される対象領域に対応することができる。ある実施形態では、１又はそれ以上の生理的パラメータが、検出された被検者に関連する皮膚の質感、皮膚パターン、及び／又は１又はそれ以上の特徴のうちの１つ又はそれ以上を含むことができる。
【００１４】
本開示の別の例示的な態様は、電子装置におけるビデオデータ処理方法を含むことができる。この方法は、被検者のビデオデータを受け取るステップを含むことができる。受け取ったビデオデータの一連のフレームの１つ又はそれ以上は、１又はそれ以上の物体を含むことができる。この方法は、一連のフレーム内の１又はそれ以上の物体に関連する、各々に関連する曲率が曲率閾値を上回る複数の輪郭点を特定するステップをさらに含むことができる。この方法は、複数の輪郭点からの第１の輪郭点の組の周期的な動きに基づいて、一連のフレーム内の１又はそれ以上の物体から第１の物体の組を特定するステップをさらに含むことができる。特定された第１の輪郭点の組の周期的な動きの周波数スペクトルの１又はそれ以上のピーク値を特定することができる。特定された１又はそれ以上のピーク値のうちの１つのピーク値の振幅は、予め指定した閾値を上回ることができる。この特定された１又はそれ以上のピーク値の１つに基づいて、被検者の呼吸数を特定することができる。
【００１５】
ある実施形態では、第１の輪郭点の組の周期的な動きが、基準輪郭点に対する非ゼロの大きさを有する変位の周期的な再発に関連することができる。この変位は、所定の逆方向の組に生じることがある。ある実施形態では、第２の輪郭点の組の非周期的な動きが、基準輪郭点に対する非ゼロの大きさを有する変位の周期的な再発に関連することができる。この変位は、ランダム方向に生じることがある。
【００１６】
ある実施形態では、第２の輪郭点の組の非周期的な動きが、基準輪郭点に対するゼロの大きさを有する変位に関連することができる。ある実施形態では、方法が、第１の物体の組及び第２の物体の組にそれぞれ関連する第１の輪郭点の組及び第２の輪郭点の組を特定するステップを含むことができる。
【００１７】
ある実施形態では、周波数スペクトルを、第１の輪郭点の組の周期的な動きのスペクトル挙動分析に基づいて決定することができる。ある実施形態では、方法が、複数の輪郭点からの第２の輪郭点の組の非周期的な動きに基づいて、一連のフレーム内の１又はそれ以上の物体から第２の物体の組を特定するステップを含むことができる。
【００１８】
図１は、本開示の実施形態による、ビデオデータ処理のためのネットワーク環境１００を示すブロック図である。図１を参照して分かるように、ネットワーク環境１００は、ビデオデータ処理（ＶＤＰ）装置１０２、ビデオキャプチャ装置１０４、遠隔サーバ１０６、通知サーバ１０８、通信ネットワーク１１０及び被検者１１２を含むことができる。
【００１９】
ＶＤＰ装置１０２は、通信ネットワーク１１０を介して、ビデオキャプチャ装置１０４、遠隔サーバ１０６及び通知サーバ１０８に通信可能に結合することができる。ビデオキャプチャ装置１０４は、ビデオキャプチャ装置１０４に関連する被検者１１２に関するビデオデータを受け取ることができる。
【００２０】
ＶＤＰ装置１０２は、通信ネットワーク１１０を介してビデオキャプチャ装置１０４からビデオデータを受け取ることができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態では、ＶＤＰ装置が、通信ネットワーク１１０を介して遠隔サーバ１０６からプロファイルベースデータを受け取ることができる。ある実施形態では、ＶＤＰ装置が、通信ネットワーク１１０を介して通知サーバ１０８に１又はそれ以上の通知を送信することができる。ＶＤＰ装置１０２は、受け取ったビデオデータ及びプロファイルベースデータに基づいて出力データを表示することができる。この出力データは、被検者１１２に関連する受け取ったビデオデータに基づいて測定することができ、その後、ＶＤＰ装置１０２のディスプレイ画面上に表示することができる。
【００２１】
ある実施形態では、ＶＤＰ装置１０２が、遠隔制御装置（図示せず）などの遠隔ハンドヘルド装置から１又はそれ以上の命令を受け取ることができる。ＶＤＰ装置１０２は、有線接続又は近距離通信を介して遠隔ハンドヘルド装置と遠隔的に通信することができる。ＶＤＰ装置１０２は、出力データをレンダリングするディスプレイ画面を含むことができる。レンダリングされる出力データは、被検者１１２に関連する処理されたビデオデータに基づくことができる。さらに、ディスプレイ画面は、臨床オペレータなどのオペレータ（図示せず）に対し、ＶＤＰ装置１０２の１又はそれ以上の機能及び／又はアプリケーションを表示することができる。さらに、ディスプレイ画面は、タッチ画面を介してオペレータからの入力を受け取ることができる。ディスプレイ画面は、以下に限定されるわけではないが、液晶ディスプレイ（ＬＣＤ）技術、発光ダイオード（ＬＥＤ）ディスプレイ技術、及び／又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術などの複数の既知の技術を通じて実現することができる。ＶＤＰ装置１０２の例としては、専用医療装置、ラップトップ、タブレットコンピュータ、テレビ、セットトップボックス（ＳＴＢ）、ビデオディスプレイ及び／又は携帯情報端末（ＰＤＡ）装置を挙げることができる。しかしながら、本開示はこのように限定されるわけではなく、ＶＤＰ装置１０２は、本開示の範囲を限定することなくいずれの電子装置とすることもできる。
【００２２】
ビデオキャプチャ装置１０４は、ビデオデータストリームを受け取り、この受け取ったビデオデータストリームをＶＤＰ装置１０２に送信することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。このようなビデオデータは、ＶＤＰ装置１０２によって処理される一連のフレームを含むことができる。ある実施形態では、ＶＤＰ装置１０２をビデオキャプチャ装置１０４に含めることができる。別の実施形態では、ＶＤＰ装置１０２が、通信ネットワーク１１０を介してビデオキャプチャ装置１０４と遠隔的に通信することができる。ビデオキャプチャ装置１０４の例としては、以下に限定されるわけではないが、デジタルカメラ、監視カメラ、インターネットプロトコル（ＩＰ）カメラ、モーション検出器カメラ、モーションセンサカメラ、遠隔カメラ、レンジファインダーカメラ、３次元（３Ｄ）レーザカメラ、デジタルスキャナ及び／又はカムコーダを挙げることができる。
【００２３】
遠隔サーバ１０６は、被検者１１２に関するプロファイルデータを維持することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態では、遠隔サーバ１０６が、被検者１１２のプロファイルデータをＶＤＰ装置１０２に送信することができる。遠隔サーバ１０６は、被検者１１２に関するプロファイルデータを決定するための１又はそれ以上のソーシャルネットワーキングサーバ及び／又はアプリケーションサーバに関連することができる。このような被検者１１２に関するプロファイルデータは、被検者１１２の個人的詳細情報及び画像、被検者１１２の職業的詳細情報、被検者１１２の友人リスト内の１又はそれ以上の他の被検者、被検者１１２に関連する社会的集まりに関する情報、及び被検者１１２に社会的に関連する１又はそれ以上の他ユーザによって投稿された（画像、コメント及び／又は同様のものなどの）その他の情報を含むことができる。
【００２４】
通知サーバ１０８は、被検者１１２に複数の通知メッセージを送信することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。これらの通知メッセージは、ＶＤＰ装置１０２によってビデオデータが処理されたことに応答して被検者に送信することができる。ある実施形態では、出力データが所定の閾値を上回っている場合、通知サーバ１０８が、被検者１１２の友人リストに対して複数の通知を送信することができる。このような実施形態では、友人リストが、被検者１１２に関連する医師を含むことができる。通知サーバ１０８は、ネットワークオペレータ、テレコムオペレータ、テレビサービスプロバイダ、オンデマンドコンテンツプロバイダ、独立コンテンツプロバイダ会社、電子メールサービスプロバイダ、及び／又はソーシャルメディアサービスプロバイダ、及び／又は同様のものなどの１又はそれ以上のサービスオペレータに関連することができる。
【００２５】
通信ネットワーク１１０は、ＶＤＰ装置１０２がビデオキャプチャ装置１０４、遠隔サーバ１０６及び通知サーバ１０８と通信できるようにする媒体を含むことができる。通信ネットワーク１１０の例としては、以下に限定されるわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、電話回線（ＰＯＴＳ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１１０に接続することができる。このような有線及び無線通信プロトコルの例としては、以下に限定されるわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ  ８０２．１１、８０２．１６、セルラー通信プロトコル、及び／又はＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルを挙げることができる。
【００２６】
被検者１１２は、心拍数、呼吸数及び／又は血圧などの１又はそれ以上のバイタルサインを示すことができる。被検者に関連する臨床オペレータは、このようなバイタルサインの測定に基づいて被検者１１２の健康状態を評価することができる。ある実施形態では、被検者が動かないでいることができる。別の実施形態では、被検者が動いていることができる。ＶＤＰ装置１０２は、被検者１１２のバイタルサインを非接触的に測定することができる。しかしながら、本開示はこのように限定されるわけではなく、本開示の範囲を限定することなく複数の被検者をＶＤＰ装置１０２に関連付けることができる。
【００２７】
動作時には、ＶＤＰ装置１０２が、ビデオキャプチャ装置１０４から被検者１１２のライブビデオデータを受け取ることができる。このライブビデオデータは、一連のフレームを含むことができる。ある実施形態では、一連のフレームからキーフレームを取得することができる。このようなキーフレームは、被検者１１２を含むことができる。ＶＤＰ装置１０２は、取得したキーフレームと、遠隔サーバ１０６から受け取ったプロファイルデータとに基づいて被検者１１２を検出することができる。ＶＤＰ装置１０２は、検出された被検者１１２を含むキーフレームをセグメント化して複数の画像セグメントを決定することができる。この複数の画像セグメントに基づいて、検出された被検者１１２の対象領域を決定することができる。ある実施形態では、決定される対象領域が、被検者１１２の露出した皮膚領域を含むことができる。ＶＤＰ装置１０２は、遠隔サーバ１０６と連動して、被検者１１２に関連する対象領域に識別タグを関連付けることができる。さらに、ＶＤＰ装置１０２は、１又はそれ以上の生理的パラメータに基づいて、決定された対象領域を追跡することができる。ある実施形態では、連続適応平均シフト（ＣＡＭＳｈｉｆｔ）、又はＫａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ（ＫＬＴ）などの１又はそれ以上のコンピュータビジョンアルゴリズムに基づいて、決定された対象領域を追跡することができる。
【００２８】
ある実施形態では、ＶＤＰ装置１０２が、一連のフレームの各フレーム内のビデオデータの信号分離に基づいて複数のチャネル成分を特定することができる。ある実施形態では、ＶＤＰ装置１０２が、複数のチャネル成分のフーリエ分析に基づいて複数のスペクトル成分を特定することができる。ある実施形態では、ＶＤＰ装置１０２が、複数のチャネルに対して行われる独立成分分析（ＩＣＡ）アルゴリズムなどの信号分離アルゴリズムに基づいて複数のスペクトル成分を特定することができる。
【００２９】
ある実施形態では、ＶＤＰ装置１０２が、複数のスペクトル成分に対応する第１のピーク及び第２のピークを特定することができる。ある実施形態では、ＶＤＰ装置１０２が、第１の閾値を上回る振幅を有する第１のピーク及び第２のピークを特定することができる。ある実施形態では、ＶＤＰ装置１０２が、第１のピークと第２のピークの間の、所定の範囲内に存在するピーク分離を特定することができる。ある実施形態では、ＶＤＰ装置１０２が、第２のピークに関連するパラメータと第１のピークに関連するパラメータの間の差分に基づいてピーク分離を特定することができる。ある実施形態では、このパラメータが、複数のスペクトル成分からの１つのスペクトル成分のｘ軸に対応する「拍／分」などの単位に対応することができる。
【００３０】
ある実施形態では、ピーク分離が所定の範囲内に存在する場合、ＶＤＰ装置１０２が、第１のピーク及び第２のピークの一方を選択することができる。このような実施形態では、第１のピーク及び第２のピークが所定の範囲内に存在する場合、ＶＤＰ装置１０２が、以前に特定された被検者１１２の心拍数に基づいて第１のピーク及び第２のピークから一方のピークを選択することができる。ある実施形態では、ＶＤＰ装置１０２が、選択された第１又は第２のピークに基づいて、被検者１１２の心拍数を特定することができる。
【００３１】
ある実施形態では、ＶＤＰ装置１０２が、ピーク分離が所定の範囲内に存在しないと判定することができる。ある実施形態では、ＶＤＰ装置１０２が、第１のピーク及び第２のピークからの少なくとも一方のピークが所定の範囲内に存在すると判定することができる。第１のピークが所定の範囲内に存在する場合、ＶＤＰ装置１０２は、第２の閾値を上回る第１のピークの振幅を特定することができる。ＶＤＰ装置１０２は、第２のピークを破棄し、第１のピークに基づいて被検者１１２の心拍数を特定することができる。
【００３２】
ある実施形態では、ピーク分離が所定の範囲内に存在しない場合に、ＶＤＰ装置１０２が、第２のピークが所定の範囲内に存在すると判定することができる。ＶＤＰ装置１０２は、第２の閾値を上回る第２のピークの振幅を特定することができる。ＶＤＰ装置１０２は、第１のピークを破棄し、第２のピークに基づいて被検者１１２の心拍数を特定することができる。ある実施形態では、ＶＤＰ装置１０２が、この特定された心拍数を、通知サーバ１０８を介して被検者１１２に、及び／又は被検者１１２に関連する臨床オペレータに送信することができる。
【００３３】
ある実施形態では、ＶＤＰ装置１０２が、ピーク分離が所定の範囲内に存在しないと判定することができる。ＶＤＰ装置１０２は、第１のピーク及び第２のピークがいずれも所定の範囲内に存在しないとさらに判定することができる。このような実施形態では、ＶＤＰ装置１０２が、通知サーバ１０８を介して被検者１１２に、及び／又は被検者１１２に関連する臨床オペレータにエラーメッセージを送信することができる。
【００３４】
ある実施形態では、ＶＤＰ装置１０２が、一連のフレームを含むことができる受け取った被検者１１２のビデオデータから、１又はそれ以上の物体を特定することができる。この１又はそれ以上の物体の例としては、以下に限定されるわけではないが、被検者１１２などの１又はそれ以上の動いている被検者、動いている植物、及び／又は止まっている壁の装飾品を挙げることができる。これらの１又はそれ以上の物体の各々は、定常運動プロファイル又は非定常運動プロファイルなどの関連する運動プロファイルを有することができる。ある実施形態では、定常運動プロファイルが動きゼロに対応することができる。ある実施形態では、非定常運動プロファイルが周期的な動きに対応することができる。別の実施形態では、非定常運動プロファイルが非周期的な動きに対応することができる。
【００３５】
ある実施形態では、ＶＤＰ装置１０２が、１又はそれ以上の物体を含む部屋などの環境の照度レベルを判定することができる。ある実施形態では、ＶＤＰ装置１０２が、環境の周囲照度が所定の閾値よりも低いと判定した場合、１又はそれ以上の物体の照明を提供することができる。
【００３６】
ある実施形態では、ＶＤＰ装置１０２が、一連のフレームの各々における１又はそれ以上の物体に関連する複数の輪郭点を決定することができる。これらの複数の輪郭点は、複数の輪郭点の各々に関連する曲率値が曲率閾値よりも大きいことに基づいて決定することができる。ある実施形態では、ＶＤＰ装置１０２が、第１の輪郭点の組の周期的な動きに基づいて、一連のフレーム内の１又はそれ以上の物体から第１の物体の組を特定することができる。第１の輪郭点の組は、複数の輪郭点からの１又はそれ以上の輪郭点を含むことができる。
【００３７】
ある実施形態では、ＶＤＰ装置１０２が、第１の輪郭点の組の周期的な動きの周波数スペクトル内の１又はそれ以上のピーク値を特定することができる。この周波数スペクトルは、ＶＤＰ装置１０２が、第１の輪郭点の組の周期的な動きのスペクトル挙動分析に基づいて特定することができる。ある実施形態では、ＶＤＰ装置１０２が、特定された１又はそれ以上のピーク値から１つのピーク値を選択することができる。ある実施形態では、予め指定した閾値を上回る振幅を有するピーク値を選択することができる。ある実施形態では、この選択されたピーク値が、他のピークに対して最大の振幅を有することができる。ある実施形態では、ＶＤＰ装置１０２が、この選択されたピーク値に基づいて、被検者１１２の呼吸数を特定することができる。ある実施形態では、ＶＤＰ装置１０２が、この特定された呼吸数を、通知サーバ１０８を介して被検者１１２に、及び／又は被検者１１２に関連する臨床オペレータに送信することができる。
【００３８】
ある実施形態では、ＶＤＰ装置１０２が、第２の輪郭点の組の非周期的な動きに基づいて、一連のフレーム内の１又はそれ以上の物体から第２の物体の組を特定することができる。第２の輪郭点の組は、複数の輪郭点からの１又はそれ以上の輪郭点を含むことができる。ある実施形態では、ＶＤＰ装置１０２が、受け取った１又はそれ以上の物体をフィルタ処理して、非周期的な動きを伴う特定された第２の物体の組を除去することができる。
【００３９】
ある実施形態では、第１の輪郭点の組の周期的な動きが、基準輪郭点に対する非ゼロの大きさの変位の周期的な再発に関連することができる。このような変位は、所定の逆方向の組に生じることがある。ある実施形態では、第２の輪郭点の組の非周期的な動きが、基準輪郭点に対する非ゼロの大きさの変位の周期的な再発に関連することができる。このような変位は、ランダム方向に生じることがある。ある実施形態では、第２の輪郭点の組の非周期的な動きが、基準輪郭点に対するゼロの大きさの変位に関連する。
【００４０】
図２は、本開示の実施形態による、例示的なビデオデータ処理装置（ＶＤＰ）を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２には、ＶＤＰ装置１０２を示している。ＶＤＰ装置１０２は、プロセッサ２０２などの１又はそれ以上のプロセッサ、メモリ２０４、画像フォトプレチスモグラフ（ＩＰＰＧ）計算ブロック２０６、トランシーバ２０８、Ｉ／Ｏ装置２１０などの１又はそれ以上の入出力（Ｉ／Ｏ）装置、及び検出装置２１２を含むことができる。プロセッサ２０２は、トランシーバ２０８を介して遠隔サーバ１０６及び通知サーバ１０８に通信可能に結合することができる。
【００４１】
プロセッサ２０２は、メモリ２０４に記憶された命令セットを実行することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。プロセッサ２０２は、メモリ２０４、トランシーバ２０８及びＩ／Ｏ装置２１０に通信可能に結合することができる。プロセッサ２０２は、ビデオキャプチャ装置１０４から受け取ったビデオデータを処理することができる。プロセッサ２０２は、フレームの取得、顔／皮膚の検出、セグメント化、関心領域（ＲＯＩ）の計算及び／又は対象領域の追跡動作などの１又はそれ以上のコンピュータビジョン技術に基づいてビデオデータを処理することができる。これらの１又はそれ以上のコンピュータビジョン技術は、メモリ２０４に記憶された１又はそれ以上のコンピュータビジョンアルゴリズムに基づいて実装することができる。プロセッサ２０２は、当業者に周知の多くのプロセッサ技術に基づいて実装することができる。プロセッサ２０２の例としては、Ｘ８６ベースのプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、及び／又はその他のいずれかのプロセッサを挙げることができる。
【００４２】
メモリ２０４は、プロセッサ２０２が実行できる命令セットを記憶することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。メモリ２０４は、受け取ったビデオデータに対応する混合信号の組からソース信号の組を分離するためにＩＰＰＧ計算ブロック２０６が実行できるブラインド信号源分離（ＢＳＳ）アルゴリズムをさらに含むことができる。ＢＳＳアルゴリズムの様々な方法としては、以下に限定されるわけではないが、主成分分析法、特異値分解法、独立成分分析法、非負行列因子分解法、低複雑性符号化及び復号法、定常部分空間分析法及び／又は共通空間パターン法を挙げることができる。メモリ２０４は、プロセッサ２０２が、受け取ったビデオデータに基づいて数値情報又は記号情報を生成するために実行できる１又はそれ以上のコンピュータビジョンアルゴリズムをさらに含むことができる。メモリ２０４は、以下に限定されるわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ストレージサーバ及び／又はセキュアデジタル（ＳＤ）カードに基づいて実装することができる。
【００４３】
ＩＰＰＧ計算ブロック２０６は、ビデオキャプチャ装置１０４から受け取ったビデオデータに基づいて被検者１１２の心拍数及び呼吸数を特定することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態では、ＩＰＰＧ計算ブロック２０６が、メモリ２０４に記憶されたＢＢＳアルゴリズム及び１又はそれ以上のコンピュータビジョンアルゴリズムを実行して、被検者１１２の心拍数及び呼吸数を特定することができる。
【００４４】
トランシーバ２０８は、様々な通信インターフェイスを介してビデオキャプチャ装置１０４、遠隔サーバ１０６及び／又はテレビ放送局（図示せず）と通信することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。トランシーバ２０８は、通信ネットワーク１１０との有線又は無線通信をサポートするための既知の技術を実装することができる。トランシーバ２０８は、以下に限定されるわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又はそれ以上の増幅器、チューナ、１又はそれ以上の発振器、デジタルシグナルプロセッサ、コーダ／デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができる。トランシーバ２０８は、インターネット、イントラネットなどのネットワーク、及び／又は携帯電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）などの無線ネットワーク、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）と無線通信を介して通信することができる。この無線通信は、グローバルシステム・フォー・モバイル・コミュニケーション（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ  ８０２．１１ａ、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ、及び／又はＩＥＥＥ  ８０２．１１ｎなどの）ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用プロトコル、インスタントメッセージング及び／又はショートメッセージサービス（ＳＭＳ）などの複数の通信規格、プロトコル及び技術のいずれかを使用することができる。
【００４５】
Ｉ／Ｏ装置２１０は、入力を受け取り、又は被検者１１２に出力を提供できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２１０は、プロセッサ２０２と通信できる様々な入力及び出力装置を含むことができる。入力装置の例としては、以下に限定されるわけではないが、キーボード、マウス、ジョイスティック、タッチ画面、マイク、カメラ及び／又はドッキングステーションを挙げることができる。出力装置の例としては、以下に限定されるわけではないが、ディスプレイ画面及び／又はスピーカーを挙げることができる。
【００４６】
検出装置２１２は、１又はそれ以上の環境状態を検出するように構成された１又はそれ以上のセンサを含むことができる好適なロジック、回路、及び／又はインターフェイスを備えることができる。例えば、周辺光、周辺騒音及び／又は動きの検出などの、ＶＤＰ装置１０２に関する１又はそれ以上の状態を検出することができる。
【００４７】
動作時には、トランシーバ２０８が、通信ネットワーク１１０を介してビデオキャプチャ装置１０４から被検者１１２のライブビデオデータを受け取ることができる。トランシーバ２０８は、受け取ったビデオデータをプロセッサ２０２に送ることができる。ある実施形態では、受け取ったビデオデータが一連のフレームを含むことができる。一連のフレームの各々は、カラーデジタル画像を含むことができる。このカラーデジタル画像は、複数の画素を含むことができる。このような複数の画素は、赤色、緑色及び／又は青色などの複数の原色の１つ又はそれ以上の組み合わせに対応することができる。ある実施形態では、カラーデジタル画像が、赤色（Ｒ）チャネル、緑色（Ｇ）チャネル及び青色（Ｂ）チャネルなどの３つのチャネルを有することができる。ある実施形態では、カラーデジタル画像が、シアン（Ｃ）チャネル、マゼンタ（Ｍ）チャネル、黄色（Ｙ）チャネル及び黒色（Ｂ）チャネルなどの４つのチャネルを有することができる。しかしながら、本開示はこのように限定されるわけではなく、カラーデジタル画像は、本開示の範囲を限定することなく、制限のないチャネル及び関連する色を有することができる。
【００４８】
ある実施形態では、プロセッサ２０２が、受け取ったビデオデータを処理するための並列処理技術を実装することができる。このような並列処理技術は、画素レベル並列処理、命令レベル並列処理及びタスクレベル並列処理のうちの１つ又はそれ以上を含むことができる。受け取ったビデオデータを並列処理することにより、処理時間が短縮され、メモリ２０４などの１又はそれ以上のリソースを最適に使用できるようになる。このような受け取ったビデオデータのパイプライン処理は、被検者１１２に、視聴体験の向上、正確な比色分析、高度な柔軟性、低コスト、ＣＰＵ利用度の低下、帯域幅の縮小及び／又は入力画像のファイルサイズの減少をもたらすことができる。パイプライン処理を実施できる複数のビデオデータ処理ブロックの例としては、以下に限定されるわけではないが、顔検出ブロック、グラフセグメント化ブロック、皮膚関心領域（ＲＯＩ）計算ブロック、皮膚追跡ブロック、信号ミキシングブロック、信号源分離ブロック、非線形最適化ブロック、同時対角化ブロック、光状態分析器ブロック、輪郭及び形状分析器ブロック、及び／又は動き及び高調波分析器ブロックを挙げることができる。
【００４９】
ある実施形態では、プロセッサ２０２が、ビデオキャプチャ装置１０４から被検者１１２のライブビデオデータの一連のフレームを受け取ることができる。ある実施形態では、プロセッサ２０２が、この一連のフレームからキーフレームを取得することができる。このようなキーフレームは、被検者１１２を含むことができる。ある実施形態では、プロセッサ２０２が、遠隔サーバ１０６から受け取ったプロファイルデータに基づいて被検者１１２を検出することができる。ある実施形態では、プロセッサ２０２が、被検者１１２の顔領域以外の露出した皮膚領域などの対象領域を検出することができる。ある実施形態では、プロセッサ２０２が、被検者１１２に関連する皮膚の質感、皮膚パターン及び／又は１又はそれ以上の特徴などの１又はそれ以上の生理的パラメータを特定することができる。このような実施形態では、プロセッサ２０２が、遠隔サーバ１０６から受け取ったプロファイルデータ、及び被検者１１２に関連する１又はそれ以上の生理的パラメータに基づいて被検者１１２を検出することができる。
【００５０】
ある実施形態では、プロセッサ２０２が、取得したキーフレームのセグメント化を行うことができる。プロセッサ２０２は、このセグメント化に基づいて、キーフレームを複数の画素セットに分割することができる。複数の画素セットの各画素セットは、１又はそれ以上の画素を含むことができる。各画素セットでは、画素の色、画素の輝度又は画素の質感などの１又はそれ以上の特徴、或いは計算された特性に基づいて、各画素が隣接画素に類似する。隣接する画素セットは、同じ特徴又は計算された特性に基づいて、互いに大きく異なることができる。
【００５１】
ある実施形態では、プロセッサ２０２が、取得したフレーム内の被検者１１２の顔などの対象領域の関心領域（ＲＯＩ）を、この対象領域のｘ及びｙ座標に基づいて計算することができる。対象領域のｘ及びｙ座標は、メモリ２０４内のオープンコンピュータビジョン（ＯｐｅｎＣＶ）ライブラリに記憶されたＶｉｏｌａ−Ｊｏｎｅｓ（ＶＪ）顔検出アルゴリズムなどの１又はそれ以上のコンピュータビジョンアルゴリズムに基づいて、プロセッサ２０２によって決定することができる。しかしながら、本開示はこのように限定されるわけではなく、他のオープンコンピュータビジョンを用いて、本開示の範囲を限定することなく被検者１１２の顔／皮膚を検出することもできる。
【００５２】
ある実施形態では、対象領域が、被検者１１２の顔領域でない場合もある。このような実施形態では、プロセッサ２０２が、遠隔サーバ１０６と連動して、被検者１１２に関連する対象領域に識別タグを関連付けることができる。このような実施形態では、遠隔サーバ１０６から受け取ったプロファイルデータに基づいて、決定された対象領域に識別タグを介して被検者１１２の識別情報を関連付けることができる。
【００５３】
ある実施形態では、プロセッサ２０２が、１又はそれ以上の生理的パラメータに基づいて、決定された対象領域を追跡することができる。このような追跡は、一連のフレームに対して行うことができる。
【００５４】
ＩＰＰＧ計算ブロック２０６は、一連のフレームの各フレーム内のビデオデータの信号分離に基づいて複数のチャネル成分を特定するように構成することができる。ＩＰＰＧ計算ブロック２０６は、信号分離に基づいて、一連のフレームの各フレーム内の赤色（Ｒ）成分、緑色（Ｇ）成分及び青色（Ｂ）成分などの複数のチャネル成分を特定することができる。ある実施形態では、ＩＰＰＧ計算ブロック２０６が、最大化信号エントロピー、最小化信号相互情報、又はＪｏｉｎｔ  Ａｐｐｒｏｘｉｍａｔｅ  Ｄｉａｇｎｏａｌｉｚａｔｉｏｎ  ｏｆ  Ｅｉｇｅｎｍａｔｒｉｃｅｓ（ＪＡＤＥ）法などの１又はそれ以上の基準に基づいて、信号分離アルゴリズムの混合行列を推定することができる。ＩＰＰＧ計算ブロック２０６は、この混合行列を利用して、複数のチャネル成分に関連する複数のスペクトル成分を特定することができる。ある実施形態では、ＩＰＰＧ計算ブロック２０６が、複数のチャネル成分のフーリエ分析に基づいて複数のスペクトル成分を特定することができる。
【００５５】
ある実施形態では、ＩＰＰＧ計算ブロック２０６が、複数のスペクトル成分に対応する第１のピーク及び第２のピークを特定することができる。プロセッサ２０２は、第１の閾値を上回る振幅を有する第１のピーク及び第２のピークを特定することができる。ある実施形態では、この第１の閾値を、プロセッサ２０２が被検者１１２の通常の皮膚反射率変動の値及び通常の脈拍数に基づいて自動的に求めることができる。
【００５６】
ある実施形態では、ＩＰＰＧ計算ブロック２０６が、複数のスペクトル成分の各々に対応する第１のピークと第２のピークの間のピーク分離を特定することができる。このような実施形態では、プロセッサ２０２が、特定されるピーク分離が所定の範囲内に存在するような複数のスペクトル成分のうちの１つを選択することができる。ある実施形態では、この所定の範囲が、人間の正常な心拍数範囲に対応することができる。人間の正常な心拍数範囲は、毎分４０サイクル〜毎分１２０サイクルとすることができる。このような複数のスペクトル成分のうちの選択された１つは、元々のソース信号を含むことができる。複数のスペクトル成分のうちの他のスペクトル成分は、ノイズ信号を含むことができる。
【００５７】
ある実施形態では、ピーク分離が所定の範囲内に存在する場合、ＩＰＰＧ計算ブロック２０６は、第１のピーク及び第２のピークの一方を選択することができる。ある実施形態では、第１のピーク及び第２のピークが所定の範囲内に存在する場合、ＩＰＰＧ計算ブロック２０６は、以前に特定された被検者１１２の心拍数に基づいて、第１のピーク及び第２のピークから一方のピークを選択することができる。ある実施形態では、プロセッサ２０２が、選択されたピークに基づいて被検者１１２の心拍数を特定することができる。
【００５８】
ある実施形態では、ＩＰＰＧ計算ブロック２０６が、ピーク分離が所定の範囲内に存在しないと判定することができる。ある実施形態では、ＩＰＰＧ計算ブロック２０６が、第１のピーク及び第２のピークからの少なくとも一方のピークが所定の範囲内に存在すると判定することができる。第１のピークが所定の範囲内に存在する場合、ＩＰＰＧ計算ブロック２０６は、第２の閾値を上回る第１のピークの振幅を特定することができる。プロセッサ２０２は、第２のピークを破棄し、第１のピークに基づいて被検者１１２の心拍数を特定することができる。
【００５９】
ある実施形態では、ピーク分離が所定の範囲内に存在しない場合に、ＩＰＰＧ計算ブロック２０６が、第２のピークが所定の範囲内に存在すると判定することができる。ＩＰＰＧ計算ブロック２０６は、第２の閾値を上回る第２のピークの振幅を特定することができる。プロセッサ２０２は、第１のピークを破棄し、第２のピークに基づいて被検者１１２の心拍数を特定することができる。ある実施形態では、プロセッサ２０２が、この特定された心拍数を、通知サーバ１０８を介して被検者１１２に、及び／又は被検者１１２に関連する臨床オペレータに送信することができる。
【００６０】
ある実施形態では、ＩＰＰＧ計算ブロック２０６が、ピーク分離が所定の範囲内に存在しないと判定することができる。ＩＰＰＧ計算ブロック２０６は、第１のピーク又は第２のピークがいずれも所定の範囲内に存在しないとさらに判定することができる。このような実施形態では、プロセッサ２０２が、通知サーバ１０８を介して被検者１１２に、及び／又は被検者１１２に関連する臨床オペレータにエラーメッセージを送信することができる。
【００６１】
ある実施形態では、プロセッサ２０２が、８秒などの第１の期間に、特定された被検者１１２の心拍数に対応する初期読み取り値を提供することができる。この初期読み取り値は、８秒などの第２の期間の秒毎にプロセッサ２０２によって反復的に更新することができる。プロセッサ２０２は、この第２の期間から１２秒などの第３の期間までに、特定された心拍数の実際の安定化した読み取り値を提供することができる。
【００６２】
本開示の別の例示的な態様を参照すると、検出装置２１２が、一連のフレームを含むことができる被検者１１２のビデオデータを受け取ることができる。ある実施形態では、この一連のフレームのうちの１つ又はそれ以上が、１又はそれ以上の物体を含むことができる。ある実施形態では、この１又はそれ以上の物体が、被検者１１２などの動いている１又はそれ以上の被検者、ランプなどの１又はそれ以上の動いていない物体、及び風又は空気の流れによって動くことがあるカーテンなどの１又はそれ以上の動いている物体を含むことができる。検出装置２１２は、受け取ったビデオデータをプロセッサ２０２に送信することができる。プロセッサ２０２は、電子信号に関連する、輝度などの１又はそれ以上の環境状態の値を所定の閾値と比較することができる。ある実施形態では、１又はそれ以上の環境状態に関連する値が所定の閾値よりも小さいことがある。このような実施形態では、プロセッサ２０２が、照度が不十分なビデオデータを強化された電子信号に変換することができる。
【００６３】
プロセッサ２０２は、１又はそれ以上の物体を含む強化された一連のフレームからキーフレームを取得することができる。ある実施形態では、プロセッサ２０２が、キーフレーム内の１又はそれ以上の物体に関連する複数の輪郭点を決定することができる。これらの複数の輪郭点は、複数の輪郭点の各々に関連する曲率値が曲率閾値よりも大きいことに基づいて決定することができる。ある実施形態では、ＶＤＰ装置１０２が、第１の輪郭点の組の周期的な動きに基づいて、一連のフレーム内の１又はそれ以上の物体から第１の物体の組を特定することができる。第１の輪郭点の組は、複数の輪郭点からの１又はそれ以上の輪郭点を含むことができる。
【００６４】
プロセッサ２０２は、第２の輪郭点の組の非周期的な動きに基づいて、一連のフレーム内の１又はそれ以上の物体から第２の物体の組をさらに特定することができる。第２の輪郭点の組は、複数の輪郭点からの１又はそれ以上の輪郭点を含むことができる。ある実施形態では、プロセッサ２０２が、受け取った１又はそれ以上の物体をフィルタ処理して、非周期的な動きを伴う特定された第２の物体の組を除去することができる。
【００６５】
ある実施形態では、プロセッサ２０２が、１又はそれ以上の非静止物体に関連する第１の輪郭点の組及び第２の輪郭点の組の、基準点に対する変位を分析することができる。第１の輪郭点の組及び第２の輪郭点の組の変位の分析は、取得したキーフレームを含む強化された一連のキーフレームに対応することができる。ある実施形態では、プロセッサ２０２が、被検者１１２に関連する第１の輪郭点の組と、１又はそれ以上の非静止物体に関連する第２の輪郭点の組との互いに対する変位を分析することができる。
【００６６】
ある実施形態では、この分析が、第１の輪郭点の組及び第２の輪郭点の組の静止プロファイル、周期的な動き及び／又は非周期的な動きなどの運動プロファイルに基づくことができる。ある実施形態では、プロセッサ２０２が、強化された一連のフレーム内の１又はそれ以上の物体から、被検者１１２を含む第１の物体の組を特定することができる。この被検者１１２の特定は、第１の輪郭点の組の周期的な動きに基づくことができる。ある実施形態では、第１の輪郭点の組の周期的な動きが、基準輪郭点に対する非ゼロの大きさの変位の周期的な再発に関連することができる。このような変位は、上下方向又は前後方向などの所定の逆方向の組に生じることがある。
【００６７】
ある実施形態では、プロセッサ２０２が、第２の輪郭点の組の非周期的な動きに基づいて、１又はそれ以上の非静止物体を含む第２の物体の組を特定することができる。ある実施形態では、第２の輪郭点の組の非周期的な動きが、基準輪郭点に対する非ゼロの大きさの変位の非周期的な再発に関連することができる。このような変位は、左方向又は右方向などのランダム方向に生じることがある。ある実施形態では、第２の輪郭点の組の非周期的な動きが、基準輪郭点に対するゼロの大きさの変位に関連することができる。
【００６８】
ある実施形態では、プロセッサ２０２が、キーフレームからの１又はそれ以上の静止物体に関連する第２の輪郭点の組をフィルタ処理することができる。ある実施形態では、プロセッサ２０２が、第１の物体の組の周期的運動プロファイルのスペクトル分析を行って、被検者１１２などの第１の物体の組の周波数スペクトルを推定することができる。プロセッサ２０２は、第１の輪郭点の組の動きを分析し、強化された一連のフレームの偏差グラフを生成することができる。この偏差グラフは、第１の輪郭点の組及び第２の輪郭点の組内の１又はそれ以上の輪郭点の、基準値に対する変位の大きさを表すことができる。プロセッサ２０２は、この偏差グラフに基づいて、第１の輪郭点の組の周期的な動きに対応できる周波数スペクトルグラフをさらに生成することができる。この周波数スペクトルグラフは、第１の輪郭点及び第２の輪郭点の基準値に対する変位に対応する１又はそれ以上のピーク値を含むことができる。
【００６９】
ある実施形態では、プロセッサ２０２が、特定された１又はそれ以上のピーク値から１つのピーク値を選択することができる。このピーク値は、予め指定した閾値を上回る振幅を有するものを選択することができる。ある実施形態では、プロセッサ２０２が、特定された１又はそれ以上のピーク値から、振幅が最大である１つのピーク値を選択することができる。ある実施形態では、プロセッサ２０２が、選択されたピーク値の組に基づいて平均振幅値を計算することができる。プロセッサ２０２は、計算された平均振幅値又は最大振幅値に基づいて、被検者１１２の呼吸数を特定することができる。プロセッサ２０２は、この特定された被検者１１２の呼吸数を、強化された一連のフレームの一部に表示することができる。
【００７０】
ある実施形態では、プロセッサ２０２が、３０秒などの第１の期間に、特定された被検者１１２の呼吸数に対応する初期読み取り値を提供することができる。この初期読み取り値は、３０秒などの第２の期間の秒毎にプロセッサ２０２によって反復的に更新することができる。ある実施形態では、プロセッサ２０２が、この第２の期間から１２秒などの第３の期間までに、強化された一連のフレームの利用に基づいて、特定された呼吸数の実際の安定化した読み取り値を計算することができる。ある実施形態では、プロセッサ２０２が、第３の期間から６０秒などの一定の第４の期間にわたり、強化された一連のフレームの利用に基づいて、特定された呼吸数の実際の安定化した読み取り値を計算することができる。
【００７１】
図３に、本開示の実施形態による、開示するビデオデータ処理装置及び方法を実装するための第１の例示的なシナリオ３００を示す。図３の説明は、図１及び図２の要素に関連して行う。図３には、プロセッサ２０２の複数の処理ブロックの第１の構成及びＩＰＰＧ計算ブロック２０６を示している。プロセッサ２０２の複数の処理ブロックは、キーフレーム取得ブロック２０２ａ、顔／皮膚検出ブロック２０２ｂ、グラフセグメント化ブロック２０２ｄ、関心領域（ＲＯＩ）計算ブロック２０２ｅ、及び対象領域追跡ブロック２０２ｆを含むことができる。
【００７２】
図３を参照して分かるように、キーフレーム取得ブロック２０２ａは、ビデオキャプチャ装置１０４から一連のフレームを受け取ることができる。この一連のフレームは、ビデオキャプチャ装置１０４によって取り込まれたビデオデータに対応することができる。キーフレーム取得ブロック２０２ａは、この一連のフレームから、被検者１１２などの被検者の画像を含むキーフレームを取得することができる。ある実施形態では、被検者１１２が動かないでいることができる。ある実施形態では、被検者１１２が動いていることができる。
【００７３】
顔／皮膚検出ブロック２０２ｂは、この取得されたキーフレームと、遠隔サーバ１０６から受け取ったプロファイルデータとに基づいて被検者１１２を検出することができる。ある実施形態では、顔／皮膚検出ブロック２０２ｂが、メモリ２０４に記憶された顔検出アルゴリズムを実行して被検者１１２を識別することができる。ある実施形態では、被検者の顔が包帯で覆われているような時には、ビデオキャプチャ装置１０４が顔を取り込むことができない。このような実施形態では、顔／皮膚検出ブロック２０２ｂが、被検者１１２の皮膚などの対象領域を検出することができる。顔／皮膚検出ブロック２０２ｂは、皮膚の質感及び／又は皮膚パターンなどの１又はそれ以上の生理的パラメータに基づいて、検出された対象領域に識別タグを関連付けることができる。
【００７４】
グラフセグメント化ブロック２０２ｄは、この検出された顔又は対象領域に基づいて、検出された被検者１１２を含む取得されたキーフレームをセグメント化して複数の画像セグメントを決定することができる。関心領域（ＲＯＩ）計算ブロック２０２ｅは、これらの複数の画像セグメントに基づいて少なくとも１つのセグメントを選択し、この選択したＲＯＩが１又はそれ以上の生理的パラメータに基づいて対象領域追跡ブロック２０２ｆによって追跡されるようにすることができる。
【００７５】
ＩＰＰＧ計算ブロック２０６は、選択されたＲＯＩを対象領域追跡ブロック２０２ｆから受け取るように構成することができる。ＩＰＰＧ計算ブロック２０６は、図２で説明したように、第１のピーク及び／又は第２のピークなどのピークを特定するとともに、この特定されたピークに関連するピーク分離を特定することができる。ある実施形態では、プロセッサ２０２の複数の処理ブロックの１つ（図示せず）が、特定されたピークの一方を選択し、この選択されたピークに基づいて被検者１１２の心拍数を特定することができる。ある実施形態では、プロセッサ２０２の複数の処理ブロックの１つが、特定されたピークの一方を破棄し、他方のピークに基づいて被検者１１２の心拍数を特定することができる。
【００７６】
図４に、本開示の実施形態による、開示するビデオデータ処理装置及び方法において実装できる画像フォトプレチスモグラフ（ＩＰＰＧ）計算ブロック内の様々なブロックの構成を示す。図４の説明は、図１、図２及び図３の要素に関連して行う。図４を参照して分かるように、ＩＰＰＧ計算ブロック２０６は、適応的ノイズ低減ブロック２０６ａ、周期的信号推定ブロック２０６ｂ、信号分離ブロック２０６ｃ、及び最適対象領域追跡ブロック２０６ｄを含むことができる。
【００７７】
適応的ノイズ低減ブロック２０６ａは、ビデオデータに対応するフレームの組のノイズを除去することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。適応的ノイズ低減ブロック２０６ａは、画素毎の適応的時間平均化法の１つ又はそれ以上に基づいてフレームの組のノイズを除去することができる。
【００７８】
周期的信号推定ブロック２０６ｂは、複数のソース信号間の周期的な相関を推定することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態では、この複数のソース信号間の周期的な相関が、ソース信号が周期定常状態である時に存在することができる。
【００７９】
信号分離ブロック２０６ｃは、受け取ったビデオデータに関連する観察されていない独立したソース信号の未知の線形混合から独立したソース信号を回復することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。信号分離ブロック２０６ｃは、混合信号を非相関化して高次統計的依存性を低下させることができる。信号分離ブロック２０６ｃは、受け取ったビデオデータに関連するソース信号のチャネルに対応する複数のスペクトル成分を生成することができる。
【００８０】
最適対象領域追跡ブロック２０６ｄは、領域境界の部分を最適に追跡することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。領域境界の部分は、領域の統合及び分割を受けても変化しないフレームの組間に存在することができる。ある実施形態では、最適対象領域追跡ブロック２０６ｄが、複数フレームにわたる一致領域を、互いに一致する領域境界識別部分として定めることができる。ある実施形態では、最適対象領域追跡ブロック２０６ｄが、線形複雑度を有する閉じた領域輪郭を、発見的仮定に訴えることなく最適に照合することができる。
【００８１】
動作時には、適応的ノイズ低減ブロック２０６ａが、対象領域追跡ブロック２０２ｆによって追跡されたフレームの組を受け取ることができる。適応的ノイズ低減ブロック２０６ａは、１又はそれ以上の適応的時間ノイズ低減アルゴリズムを実行して、ビデオデータに対応するフレームの組のノイズを除去することができる。ある実施形態では、複数のソース信号が周期定常信号である場合、制御は周期的信号推定ブロック２０６ｂに進む。ある実施形態では、複数のソース信号が定常信号である場合、制御は信号分離ブロック２０６ｃに進む。
【００８２】
ある実施形態では、周期的信号推定ブロック２０６ｂが、ノイズ除去されたフレームの組を受け取って、複数の周期定常ソース信号間の周期的な相関を推定することができる。周期的信号推定ブロック２０６ｂは、メモリ２０４に記憶された周期定常ブラインド信号源抽出アルゴリズムを実行することができる。この周期定常ブラインド信号源抽出アルゴリズムは、周期的信号推定ブロック２０６ｂによって推定された周期周波数における周期的相関行列の対角化に基づくことができる。
【００８３】
図４を参照して分かるように、一連のフレームに対して信号分離を実行するように構成することができる信号分離ブロック２０６ｃは、１又はそれ以上のカラーデジタル画像を含むことができる。ある実施形態では、一連のフレームの各フレームに、赤色（Ｒ）チャネル４０２、緑色（Ｇ）チャネル４０４及び青色（Ｂ）チャネル４０６を関連付けることができる。Ｒチャネル４０２は、ｘ軸とｙ軸の間にプロットされた赤色値の組として表すことができる。ｘ軸は赤色値の振幅に対応し、ｙ軸は時間に対応することができる。同様に、Ｇチャネル４０５は、ｘ軸とｙ軸の間にプロットされた緑色値の組として表すことができる。ｘ軸は緑色値の振幅に対応し、ｙ軸は時間に対応することができる。同様に、Ｂチャネル４０６は、ｘ軸とｙ軸の間にプロットされた青色値の組として表すことができる。ｘ軸は青色値の振幅に対応し、ｙ軸は時間に対応することができる。
【００８４】
ある実施形態では、未知の混合行列（Ａ）によって線形混合された未知の信号（Ｓ）の組によってＲＧＢチャネル信号（Ｘ）を生成することができる。この実施形態によれば、ＲＧＢチャネル信号をＸ（Δ）＝ＡＳ（Δ）として表すことができ、式中、Δは、時間ベースの信号の時間ベースの変数、画像ベースの信号の空間座標ベースの変数、一連のフレームベースの信号の空間時間変数、又はマルチスペクトル信号の波長などの独立変数とすることができる。信号分離ブロック２０６ｃは、ブラインド信号源分離アルゴリズムを用いて独立成分分析（ＩＣＡ）を行い、混合行列Ａを推定することができる。信号分離ブロック２０６ｃは、この推定された混合行列Ａに基づいてＲＧＢチャネルソース信号Ｓ（Δ）を計算するという逆問題を解くことができる。
【００８５】
ある実施形態では、信号分離ブロック２０６ｃが、測定された信号エントロピーの最大化に基づいて混合行列Ａを推定することができる。このような実施形態では、信号分離ブロック２０６ｃが、測定された信号エントロピーに対して非線形最適化を行うことができる。
【００８６】
ある実施形態では、信号分離ブロック２０６ｃが、測定された信号相互情報の最小化に基づいて混合行列Ａを推定することができる。このような実施形態では、信号分離ブロック２０６ｃが、測定された信号相互情報の非線形最適化を実行することができる。
【００８７】
ある実施形態では、信号分離ブロック２０６ｃが、Ｊｏｉｎｔ  Ａｐｐｒｏｘｉｍａｔｅ  Ｄｉａｇｎｏａｌｉｚａｔｉｏｎ  ｏｆ  Ｅｉｇｅｎｍａｔｒｉｃｅｓ（ＪＡＤＥ）法に基づいて混合行列Ａを推定することができる。このような実施形態では、信号分離ブロック２０６ｃが、独立メトリックを対角行列の組に置き換えることができる。ＪＡＤＥ法は、ＲＧＢチャネル信号（Ｘ）の非ガウス、非定常、非平坦スペクトルに対して実施することができる。ある実施形態では、非ガウスＲＧＢチャネル信号（Ｘ）の累積４次統計に対してＪＡＤＥ法を実施することができる。
【００８８】
ある実施形態では、信号分離ブロック２０６ｃが、推定された混合行列Ａに基づいて、ＲＧＢチャネル信号に対応する第１のスペクトル成分４０８、第２のスペクトル成分４１０及び第３のスペクトル成分４１２を計算することができる。ある実施形態では、これらの第１のスペクトル成分４０８、第２のスペクトル成分４１０及び第３のスペクトル成分４１２を、ｘ軸とｙ軸の間にプロットされた複数の色値の組として表すことができる。ｘ軸は、「拍／分」という第１のパラメータに対応することができる。ｙ軸は、複数の色値の組の「スペクトル振幅」という第２のパラメータに対応することができる。
【００８９】
ある実施形態では、信号分離ブロック２０６ｃが、第１のスペクトル成分４０８、第２のスペクトル成分４１０及び第３のスペクトル成分４１２の各々に対応する複数のピーク値を特定することができる。ある実施形態では、複数のスペクトル成分のうちの選択されたスペクトル成分が、毎分４０サイクル〜毎分１２０サイクルなどの所定の範囲内の第１のピーク値４１４と第２のピーク値４１６の間のピーク分離に基づいて、第２のスペクトル成分４１０に対応することができる。
【００９０】
信号分離ブロック２０６ｃは、複数のピーク値から、第１のピーク値４１４及び第２のピーク値４１６などの１又はそれ以上のピーク値を選択することができる。この１又はそれ以上のピーク値としては、大きさ４０のスペクトル振幅などの第１の閾値を上回ることができる第１のピーク値４１４及び第２のピーク値４１６の振幅を選択することができる。信号分離ブロック２０６ｃは、第１のピーク値４１４及び第２のピーク値４１６が選択されたことに基づいて、第１のピーク値４１４と第２のピーク値４１６の間のピーク分離を特定することができる。信号分離ブロック２０６ｃは、所定の範囲内の第１のピーク値４１４と第２のピーク値４１６の間のピーク分離を特定することができる。ある実施形態では、第１のピーク値４１４及び第２のピーク値４１６が所定の範囲内に存在する場合、信号分離ブロック２０６ｃが、以前に特定された被検者１１２の心拍数に基づいて、第１のピーク値４１４及び第２のピーク値４１６から一方のピークを選択することができる。ある実施形態では、プロセッサ２０２が、この選択されたピーク値に基づいて被検者１１２の心拍数を特定することができる。
【００９１】
ある実施形態では、信号分離ブロック２０６ｃが、ピーク分離が所定の範囲内に存在しないと判定することができる。ある実施形態では、信号分離ブロック２０６ｃが、第１のピーク値４１４などの少なくとも一方のピーク値が所定の範囲内に存在すると判定することができる。第１のピーク値４１４が所定の範囲内に存在する場合、信号分離ブロック２０６ｃは、大きさ４０のスペクトル振幅などの第２の閾値を上回る第１のピーク値４１４の振幅を特定することができる。信号分離ブロック２０６ｃは、第２のピーク値４１６を破棄し、第１のピーク値４１４に基づいて被検者１１２の心拍数を特定することができる。
【００９２】
ある実施形態では、ピーク分離が所定の範囲内に存在しない場合に、信号分離ブロック２０６ｃが、第２のピーク値４１６が所定の範囲内に存在すると判定することができる。信号分離ブロック２０６ｃは、大きさ４０のスペクトル振幅などの第２の閾値を上回る第２のピーク値４１６の振幅を特定することができる。信号分離ブロック２０６ｃは、第１のピーク値４１４を破棄し、第２のピーク値４１６に基づいて被検者１１２の心拍数を特定することができる。ある実施形態では、プロセッサ２０２が、この特定された心拍数を、通知サーバ１０８を介して被検者１１２に、及び／又は被検者１１２に関連する臨床オペレータに送信することができる。
【００９３】
ある実施形態では、最適対象領域追跡ブロック２０６ｄが、一連のフレームの領域境界の部分を最適に追跡することができる。ある実施形態では、最適対象領域追跡ブロック２０６ｄが、一連のフレームにわたる一致領域を定めることができる。最適対象領域追跡ブロック２０６ｄは、この統合されたフレームを、次のキーフレームのために適応的ノイズ低減ブロック２０６ａに送ることができる。
【００９４】
図５及び図６に、本開示の実施形態による、開示するビデオデータ処理装置及び方法を実装するための第２の例示的なシナリオ３００を示す。図５及び図６の説明は、図１及び図２の要素に関連して行う。図５には、検出装置２１２の複数のセンサ及びプロセッサ２０２の複数の処理ブロックの構成を示している。検出装置２１２の複数のセンサは、標準センサ２１２ａ及び低照度センサ２１２ｂを含むことができる。プロセッサ２０２の複数の処理ブロックは、キーフレーム取得ブロック２０２ａ、光状態分析器ブロック２０２ｇ、能動的照射体ブロック２０２ｈ、輪郭及び形状分析器ブロック２０２ｉを含むことができ、この輪郭及び形状分析器ブロック２０２ｉは、輪郭点プロッティングブロック２０２ｊ、静止点フィルタ処理ブロック２０２ｋ、動き及び高調波分析器ブロック２０２ｌ、及びスペクトル挙動分析器ブロック２０２ｍを含むことができる。キーフレーム取得ブロック２０２ａについては図３で説明した。図５には、被検者１１２、一連のフレーム５０２、静止物体５０４、非静止物体５０６、一連の能動的に照射されたフレーム５０８、一連の強化されたフレーム５１０、キーフレーム５１２、第１の輪郭点の組１１２ａ、２つの第２の輪郭点の組５０４ａ及び５０６ａ、第１の輪郭点５１４、第２の輪郭点５１６、及び第１の部分５１８も示している。
【００９５】
標準センサ２１２ａは、ビデオデータを電子信号に変換することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ビデオデータは、一連のフレーム５０２を含むことができる。一連のフレーム５０２は、被検者１１２、（植物などの）非静止物体５０６及び（壁灯などの）静止物体５０４の画像を含むことができる。標準センサ２１２ａの例としては、以下に限定されるわけではないが、Ｂａｙｅｒフィルタセンサ、層状画素センサ、及び／又はダイクロイックプリズムベースのセンサを含むことができる。
【００９６】
低照度センサ２１２ｂは、照度が不十分なビデオデータを、強化された電子信号に変換することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態では、低照度センサ２１２ｂが、照度が不十分な一連のフレーム５０２を、強化された一連のフレーム５１０に変換することができる。低照度センサ２１２ｂは、照度が不十分なビデオデータのために、画像増強管又はオンチップゲイン電荷結合素子（ＣＣＤ）増倍管、及び／又は高感度相補型金属酸化物半導体（ＣＭＯＳ）センサを使用することができる。
【００９７】
光状態分析器ブロック２０２ｇは、標準センサ２１２ａから一連のフレーム５０２に対応する電子信号を受け取ることができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。光状態分析器ブロック２０２ｇは、この受け取った電子信号に基づいて、一連のフレーム５０２に関連する環境の周囲照度を分析することができる。光状態分析器ブロック２０２ｇは、環境の周囲照度を所定の閾値と比較することができる。光状態分析器ブロック２０２ｇは、この比較に基づいて、能動的照射体ブロック２０２ｈに環境を照明するように命令することができる。
【００９８】
能動的照射体２０２ｈは、環境の周囲照度が所定の閾値よりも低い時に環境を照明することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。能動的照射体ブロック２０２ｈは、近赤外線（ＮＩＲ）帯域又は短波長赤外線（ＳＷＩＲ）帯域の能動的照明源に画像強調技術を連結することができる。能動的照射体ブロック２０２ｈは、この照明に基づいて、能動的に照明された一連のフレーム５０８を生成することができる。
【００９９】
キーフレーム取得ブロック２０２ａは、強化された一連のフレーム５１０からキーフレーム５１２を取得することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。輪郭及び形状分析器ブロック２０２ｉは、１又はそれ以上の物体に関連する複数の輪郭点を特定することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。輪郭点プロッティングブロック２０２ｊは、複数の輪郭点から物体の組に関連する輪郭点の組を選択することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。選択された輪郭点の組の各々に関連する曲率（又は傾斜）は、所定の閾値よりも大きい。静止点フィルタ処理ブロック２０２ｋは、物体の組に関連する選択された輪郭点の組から１又はそれ以上の静止した輪郭点をフィルタ処理することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。
【０１００】
動き及び高調波分析器ブロック２０２ｌは、物体の組の運動プロファイルに基づいて物体の組を分析することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。物体の組の運動プロファイルは、互いに対する又は基準に対する複数の輪郭点の動きに基づいて決定することができる。運動プロファイルの例としては、以下に限定されるわけではないが、静止プロファイル、周期的な動き又は非周期的な動きを挙げることができる。
【０１０１】
スペクトル挙動分析器ブロック２０２ｍは、１又はそれ以上の物体の運動プロファイルのスペクトル分析を行うことができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。１又はそれ以上の物体の運動プロファイルにスペクトル分析を行って、１又はそれ以上の物体の周波数スペクトルを推定することができる。
【０１０２】
図５を参照して分かるように、標準センサ２１２ａは、ビデオデータに対応する一連のフレームを受け取って電子信号に変換することができる。この電子信号は、光状態分析器ブロック２０２ｇに送られる。光状態分析器ブロック２０２ｇは、電子信号に関連する輝度などの１又はそれ以上の環境状態に関連する値を所定の閾値と比較することができる。ある実施形態では、１又はそれ以上の環境状態に関連する値が所定の閾値よりも低いことがある。このような実施形態では、光状態分析器ブロック２０２ｇが、このような電子信号を能動的照射体ブロック２０２ｈに送ることができる。ある実施形態では、能動的照射体ブロック２０２ｈが、ＮＩＲ又はＳＷＩＲ帯域の能動的照明源と共に画像強調技術を使用することができる。このような実施形態では、低照度センサ２１２ｂが、照度が不十分なビデオデータを強化された電子信号に変換する上で能動的照射体２０２ｈを支援することができる。このような強化された電子信号は、キーフレーム取得ブロック２０２ａに送ることができる。
【０１０３】
キーフレーム取得ブロック２０２ａは、強化された一連のフレーム５１０からキーフレーム５１２を取得することができる。強化された一連のフレーム５１０は、１又はそれ以上の物体を含むことができる。図５を参照して分かるように、１又はそれ以上の物体は、被検者１１２、（壁灯などの）静止物体５０４及び（植物などの）非静止物体５０６を含むことができる。キーフレーム取得ブロック２０２ａは、取得したキーフレーム５１２を輪郭及び形状分析器ブロック２０２ｉに送ることができる。輪郭及び形状分析器ブロック２０２ｉは、キーフレーム５１２内の１又はそれ以上の物体に関連する複数の輪郭点を特定することができる。
【０１０４】
輪郭点プロッティングブロック２０２ｊは、被検者１１２に関連する第１の輪郭点の組１１２ａを選択することができる。輪郭点プロッティングブロック２０２ｊは、静止物体５０４に関連する第２の輪郭点の組５０４ａ、及び非静止物体５０６に関連する別の第２の輪郭点の組５０６ａをさらに選択することができる。第１の輪郭点の組１１２ａ、並びに２つの第２の輪郭点の組５０４ａ及び５０６ａの選択は、曲率値が曲率閾値よりも大きいことに基づくことができる。静止点フィルタ処理ブロック２０２ｋは、静止物体５０４に関連する第２の輪郭点の組５０４ａをキーフレーム５１２からフィルタ処理することができる。
【０１０５】
動き及び高調波分析器ブロック２０２ｌは、第１の輪郭点の組１１２ａ及び第２の輪郭点の組５０４ａの、基準点に対する変位を分析することができる。第１の輪郭点の組１１２ａ及び第２の輪郭点の組５０４ａの変位の分析は、キーフレーム５１２を含む強化された一連のフレームに基づくことができる。ある実施形態では、動き及び高調波分析器ブロック２０２ｌが、第１の輪郭点の組１１２ａと第２の輪郭点の組５０４ａの互いに対する変位を分析することができる。
【０１０６】
ある実施形態では、この分析が、第１の輪郭点の組１１２ａ及び第２の輪郭点の組５０４ａの運動プロファイルに基づくことができる。運動プロファイルの例としては、以下に限定されるわけではないが、静止プロファイル、周期的な動き及び／又は非周期的な動きを挙げることができる。ある実施形態では、動き及び高調波分析器ブロック２０２ｌが、強化された一連のフレーム５１０内の１又はそれ以上の物体から被検者１１２などの第１の物体の組を特定することができる。第１の物体の組の特定は、第１の輪郭点の組１１２ａの周期的な動きに基づくことができる。ある実施形態では、第１の輪郭点の組１１２ａの周期的な動きが、基準輪郭点に対する非ゼロの大きさの変位の周期的な再発に関連することができる。このような変位は、上下方向又は前後方向などの所定の逆方向の組で生じることがある。
【０１０７】
ある実施形態では、動き及び高調波分析器ブロック２０２ｌが、第２の輪郭点の組５０４ａの非周期的な動きに基づいて、（壁灯などの）静止物体５０４などの第２の物体の組を特定することができる。ある実施形態では、第２の輪郭点の組５０４ａの非周期的な動きが、基準輪郭点に対するゼロの大きさの変位に関連することができる。
【０１０８】
ある実施形態では、動き及び高調波分析器ブロック２０２ｌが、別の第２の輪郭点の組５０６ａの非周期的な動きに基づいて、非静止物体５０６（植物）などの別の第２の物体の組を特定することができる。ある実施形態では、別の第２の輪郭点の組５０６ａの非周期的な動きが、基準輪郭点に対する非ゼロの大きさの変位の非周期的な再発に関連することができる。このような変位は、左方向又は右方向などのランダム方向に生じることがある。
【０１０９】
ある実施形態では、スペクトル挙動分析器ブロック２０２ｍが、強化された一連のフレーム５１０内の被検者１１２などの第１の物体の組の周期的な運動プロファイルのスペクトル分析を行うことができる。１又はそれ以上の物体の運動プロファイルにスペクトル分析を行って、被検者１１２などの第１の物体の組の周波数スペクトルを推定することができる。図６を参照して分かるように、スペクトル挙動分析器ブロック２０２ｍは、５０２及び５０４などの第１の輪郭点の組の動きを分析して、強化された一連のフレーム５１０の偏差グラフ６０２を生成することができる。偏差グラフ６０２は、第１の輪郭点５１４及び第２の輪郭点５１６などの、第１の輪郭点の組１１２ａ内の１又はそれ以上の輪郭点の、基準値に対する変位の大きさを表すことができる。偏差グラフ６０２のｘ軸は、「時間」という１つのパラメータを表し、偏差グラフ６０２のｙ軸は、「偏差」という別のパラメータを表すことができる。
【０１１０】
スペクトル挙動分析器ブロック２０２ｍは、この偏差グラフに基づいて、第１の輪郭点の組１１２ａの周期的な動きに対応する周波数スペクトルグラフ６０４をさらに生成することができる。周波数スペクトルグラフ６０４のｘ軸は、「周波数」という１つのパラメータを表し、周波数スペクトルグラフ６０４のｙ軸は、「振幅」という別のパラメータを表すことができる。周波数スペクトルグラフ６０４は、第１の輪郭点５１４及び第２の輪郭点５１６の基準値に対する変位に対応する１又はそれ以上のピーク値を含むことができる。ある実施形態では、スペクトル挙動分析器ブロック２０２ｍが、特定された１又はそれ以上のピーク値からピーク値の組を選択することができる。このピーク値の組は、各々が例えば値２０の振幅などの予め指定した閾値を上回る振幅を有するものを選択することができる。このような実施形態では、スペクトル挙動分析器ブロック２０２ｍが、選択されたピーク値の組に基づいて平均振幅値を計算することができる。ある実施形態では、スペクトル挙動分析器ブロック２０２ｍが、特定された１又はそれ以上のピーク値から、最大の振幅を有するピーク６０６のピーク値などの１つのピーク値を選択することができる。
【０１１１】
プロセッサ２０２は、計算された平均振幅値又は最大振幅値に基づいて、被検者１１２などの第１の物体の組の呼吸数を特定することができる。プロセッサ２０２は、この特定された被検者１１２の呼吸数を、強化された一連のフレーム５１０の第１の部分５１８に表示することができる。図６を参照すると、特定された被検者１１２の呼吸数としての値「１５」が第１の部分５１８に示されている。特定された呼吸数が、「１２」などの推奨値よりも小さい場合又は大きい場合には、ＶＤＰ装置１０２が、この特定された呼吸数を通知サーバ１０８に送信することができる。通知サーバ１０８は、被検者１１２、及び被検者１１２に関連する医師に通知メッセージを送信することができる。
【０１１２】
図７は、本開示の実施形態によるビデオデータ処理方法７００を示すフローチャートである。図７の説明は、図１、図２、図３及び図４の要素に関連して行う。方法７００は、遠隔サーバ１０６及びビデオキャプチャ装置１０４に通信可能に結合できるＶＤＰ装置１０２に実装することができる。
【０１１３】
方法７００は、ステップ７０２から開始してステップ７０４に進む。ステップ７０４において、一連のフレームからキーフレームを取得することができる。一連のフレームは、受け取った被検者のビデオデータに対応することができる。一連のフレームの各々は、複数のチャネルに関連することができる。複数のチャネルの各々は、複数のスペクトル成分に関連することができる。ステップ７０６において、ステップ７０４で取得したキーフレーム内の被検者１１２を検出することができる。ステップ７０８において、選択したキーフレームをセグメント化して複数のセグメントを決定することができる。ステップ７１０において、セグメント化されたキーフレーム内の複数のセグメントから、検出された被検者１１２の対象領域を決定することができる。決定される対象領域は、被検者の皮膚領域を含むことができる。
【０１１４】
ステップ７１２において、識別タグを用いて被検者に対象領域を関連付けることができる。ステップ７１４において、決定された対象領域を１又はそれ以上の生理的パラメータに基づいて追跡することができる。複数のスペクトル成分は、追跡される対象領域に対応することができる。ステップ７１６において、複数のスペクトル成分に対応する複数のピークから第１のピーク及び第２のピークを特定することができる。特定される第１及び第２のピークの振幅は、第１の閾値を上回ることができる。ステップ７１８において、特定された第１のピークと特定された第２のピークの間のピーク分離を特定することができる。
【０１１５】
ステップ７２０において、このピーク分離が所定の範囲内に存在するかどうかを判定することができる。ピーク分離が所定の範囲内に存在する場合、制御はステップ７２２に進む。ステップ７２２において、以前に特定された被検者の心拍数に基づいて、関連するパラメータが所定の範囲内に存在する特定された第１のピーク及び特定された第２のピークの一方を選択することができる。ステップ７２４において、特定された第１のピーク及び特定された第２のピークのうちの選択された一方に基づいて、被検者の心拍数を特定することができる。制御は、ステップ７２６に進んで終了する。
【０１１６】
ピーク分離が所定の範囲内に存在しない場合、制御はステップ７２８に進む。ステップ７２８において、第１のピーク及び第２のピークの少なくとも一方のピークが所定の範囲内に存在するかどうかを判定することができる。第１のピーク及び第２のピークがいずれも所定の範囲内に存在しない場合、制御は終了ステップ７２６に進む。第１のピーク及び第２のピークの少なくとも一方が所定の範囲内に存在する場合、制御はステップ７３０に進む。ステップ７３０において、第１のピークが所定の範囲内に存在するかどうかを判定することができる。
【０１１７】
第１のピークが所定の範囲内に存在する場合、制御はステップ７３２に進む。ステップ７３２において、特定された第１のピークの振幅が第２の閾値を上回っているかどうかを判定することができる。第１のピークが第２の閾値を上回っていない場合、制御は終了ステップ７２６に進む。第１のピークが第２の閾値を上回っている場合、制御はステップ７３４に進む。ステップ７３４において、第２のピークを破棄することができる。ステップ７３６において、特定された第１のピークに基づいて被検者の心拍数を特定することができる。制御は、ステップ７２６に進んで終了する。
【０１１８】
第２のピークが所定の範囲内に存在する場合、制御はステップ７３８に進む。ステップ７３８において、特定された第２のピークの振幅が第２の閾値を上回っているかどうかを判定することができる。第２のピークが第２の閾値を上回っていない場合、制御はステップ７２６に進む。第２のピークが第２の閾値を上回っている場合、制御はステップ７４０に進む。ステップ７４０において、第１のピークを破棄することができる。ステップ７４２において、特定された第２のピークに基づいて被検者の心拍数を特定することができる。制御は、ステップ７２６に進んで終了する。
【０１１９】
図８は、本開示の実施形態による別のビデオデータ処理方法８００を示すフローチャートである。図８の説明は、図１、図２、図５及び図６の要素に関連して行う。方法８００は、遠隔サーバ１０６及びビデオキャプチャ装置１０４に通信可能に結合できるＶＤＰ装置１０２に実装することができる。
【０１２０】
方法８００は、ステップ８０２から開始してステップ８０４に進む。ステップ８０４において、一連のフレームを含む被検者のビデオデータを受け取ることができる。この一連のフレームのうちの１つ又はそれ以上は、１又はそれ以上の物体を含むことができる。ステップ８０６において、１又はそれ以上の物体を含む環境の周囲照度を判定することができる。周囲照度が所定の閾値よりも低い場合、制御はステップ８０８に進む。このような場合、１又はそれ以上の物体に能動的な照明を与えることができる。周囲照度が所定の閾値よりも高い場合、制御はステップ８１０に進む。ステップ８１０において、一連のフレームからキーフレームを取得することができる。一連のフレームは、受け取ったビデオデータに対応することができる。
【０１２１】
ステップ８１２において、一連のフレーム内の１又はそれ以上の物体に関連する複数の輪郭点を特定することができる。複数の輪郭点の各々の曲率は、曲率閾値を上回ることができる。ステップ８１４において、第１の輪郭点の組の周期的な動きに基づいて、一連のフレーム内の１又はそれ以上の物体から第１の物体の組を特定することができる。第１の輪郭点の組は、複数の輪郭点から特定することができる。ステップ８１６において、第２の輪郭点の組の非周期的な動きに基づいて、１又はそれ以上の物体から第２の物体の組を特定することができる。第２の輪郭点の組は、複数の輪郭点から特定することができる。
【０１２２】
ステップ８１８において、受け取った１又はそれ以上の物体から第２の物体の組をフィルタ処理することができる。ステップ８２０において、さらに多くのキーフレームが利用可能であるかどうかを判定することができる。さらに多くのキーフレームが利用可能である場合、制御はステップ８１０に戻る。さらに多くのキーフレームが利用可能でない場合、制御はステップ８２２に進む。
【０１２３】
ステップ８２２において、第１の輪郭点の組の周期的な動きの周波数スペクトルの１又はそれ以上のピーク値を特定することができる。特定された１又はそれ以上のピーク値のうちの１つのピーク値の振幅は、予め指定した閾値を上回ることができる。第１の輪郭点の組の周期的な動きのスペクトル分析を行うことができる。ステップ８２４において、特定された１又はそれ以上のピーク値の１つに基づいて、被検者の呼吸数を特定することができる。制御は、終了ステップ８２６に進む。
【０１２４】
本開示の実施形態によれば、ビデオデータ処理システムが、ビデオキャプチャ装置１０４に通信可能に結合されたＶＤＰ装置１０２（図１）を含むことができる。ＶＤＰ装置１０２は、被検者のビデオデータを受け取ることができる、プロセッサ２０２（図２）などの１又はそれ以上のプロセッサを含むことができる。ビデオデータの一連のフレームの各々は、複数のスペクトル成分に関連することができる。プロセッサ２０２は、複数のスペクトル成分に対応する複数のピークから第１のピーク及び第２のピークを特定することができる。特定される第１及び第２のピークの振幅は、第１の閾値を上回ることができる。プロセッサ２０２は、特定された第１のピークと特定された第２のピークの間のピーク分離を特定することができる。特定されるピーク分離は、所定の範囲内に存在することができる。プロセッサ２０２は、この特定されたピーク分離に基づいて被検者の心拍数を特定することができる。
【０１２５】
本開示の別の例示的な態様は、ビデオデータ処理システムを含むことができる。ビデオデータ処理システムは、ビデオキャプチャ装置１０４に通信可能に結合されたＶＤＰ装置１０２（図１）などの電子装置を含むことができる。ＶＤＰ装置１０２は、被検者のビデオデータを受け取ることができるプロセッサ２０２（図２）などの１又はそれ以上のプロセッサを含むことができる。受け取ったビデオデータの一連のフレームの１又はそれ以上は、複数の物体を含むことができる。プロセッサ２０２は、一連のフレーム内の１又はそれ以上の物体に関連する、各々に関連する曲率が曲率閾値を上回る複数の輪郭点をさらに特定することができる。プロセッサ２０２は、複数の輪郭点からの第１の輪郭点の組の周期的な動きに基づいて、一連のフレーム内の１又はそれ以上の物体から第１の物体の組をさらに特定することができる。プロセッサ２０２は、特定された第１の輪郭点の組の周期的な動きの周波数スペクトルの１又はそれ以上のピーク値をさらに特定することができる。特定される１又はそれ以上のピーク値のうちの１つのピーク値の振幅は、予め指定した閾値を上回ることができる。プロセッサ２０２は、この特定された１又はそれ以上のピーク値の１つに基づいて、被検者の呼吸数を特定することができる。
【０１２６】
本開示の様々な実施形態は、ビデオデータ処理のための機械及び／又はコンピュータによって実行できる少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを記憶した、非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を提供することができる。電子装置における少なくとも１つのコードセクションは、ビデオデータ処理装置において被検者のビデオデータを受け取ることを含むステップを機械及び／又はコンピュータに実行させることができる。受け取ったビデオデータの一連のフレームの各々は、複数のスペクトル成分に関連することができる。複数のスペクトル成分に対応する複数のピークから、第１のピーク及び第２のピークを特定することができる。特定される第１及び第２のピークの振幅は、第１の閾値を上回ることができる。特定された第１のピークと特定された第２のピークの間のピーク分離を特定することができる。特定されるピーク分離は、所定の範囲内に存在することができる。この特定されたピーク分離に基づいて、被検者の心拍数を特定することができる。
【０１２７】
本開示の別の例示的な態様は、ビデオデータ処理のための機械及び／又はコンピュータによって実行できる少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを記憶した、非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を含むことができる。電子装置における少なくとも１つのコードセクションは、被検者のビデオデータを受け取ることを含むステップを機械及び／又はコンピュータに実行させることができる。受け取ったビデオデータの一連のフレームの１つ又はそれ以上は、１又はそれ以上の物体を含むことができる。この方法は、一連のフレーム内の１又はそれ以上の物体に関連する、各々に関連する曲率が第１の閾値を上回る複数の輪郭点を特定するステップをさらに含むことができる。この方法は、複数の輪郭点からの第１の輪郭点の組の周期的な動きに基づいて、一連のフレーム内の１又はそれ以上の物体から第１の物体の組を特定するステップをさらに含むことができる。特定された第１の輪郭点の組の周期的な動きの周波数スペクトルの１又はそれ以上のピーク値を特定することができる。特定される１又はそれ以上のピーク値のうちの１つのピーク値の振幅は、予め指定した閾値を上回ることができる。この特定された１又はそれ以上のピーク値の１つに基づいて、被検者の呼吸数を特定することができる。
【０１２８】
本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に、本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。
【０１２９】
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
【０１３０】
いくつかの実施形態を参照しながら本開示について説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することができると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むことが意図されている。
【図１】
2016043263.tif 000003
【図２】
2016043263.tif 000004
【図３】
2016043263.tif 000005
【図４】
2016043263.tif 000006
【図５】
2016043263.tif 000007
【図６】
2016043263.tif 000008
【図７】
2016043263.tif 000009
【図８】
2016043263.tif 000010
【外国語明細書】
2016043263000001.pdf