(57)【要約】  生物学的情報を取得するための装置及び方法が提供される。生物学的情報を取得するための方法は、非接触方式で画像化された被検体の動脈部分の第１の画像を取得するステップと；第１の画像に基づいて、動脈部分の複数の位置に対応する個々の脈波を検出するステップと；検出した個々の脈波同士の間のシフト量を計算するステップと；シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報を計算するステップと；を含む。
2021528169.tif 000002
【特許請求の範囲】
【請求項１】
生物学的情報を取得するための方法であって、当該方法は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するステップと、
該第１の画像に基づいて、前記動脈部分の複数の位置に対応する個々の脈波を検出するステップと、
前記検出した個々の脈波同士の間のシフト量を計算するステップと、
該シフト量を用いて、前記生物学的情報として、前記被検体の動脈流に関する指標情報を計算するステップと、を含む、
方法。
【請求項２】
前記動脈部分の深度情報を含む第２の画像を取得するステップと、
該第２の画像に含まれる前記深度情報に基づいて、前記シフト量に関連する動脈部分同士の間の距離を計算するステップと、をさらに含み、
前記指標情報を計算するステップは、前記計算した動脈部分同士の間の距離及び前記シフト量を用いて前記指標情報を計算する、請求項１に記載の方法。
【請求項３】
前記動脈部分同士の間の前記距離を計算するステップは、
前記第２の画像から前景及び背景を分離するステップと、
前記前景の前記画像内の画素の特徴量に基づいて、検出ターゲットとしての前記動脈部分までの距離を計算するステップと、
該計算した距離を用いて前記動脈部分同士の間の前記距離を計算するステップと、を含む、請求項２に記載の方法。
【請求項４】
前記動脈部分同士の間の前記距離を計算するステップは、
前記深度情報に基づいて、前記動脈部分が位置する位置を推定するステップと、
該推定の結果を用いて、前記動脈部分同士の間の前記距離を計算するステップと、を含む、請求項２又は３に記載の方法。
【請求項５】
前記脈波を検出するステップは、前記第１の画像に含まれる前記動脈部分が位置する前記位置に対応する時系列信号をアップサンプリングすることによって前記脈波を検出するステップを含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記指標情報を出力するステップをさらに含む、請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
前記指標情報は脈波伝播速度（ＰＷＶ）である、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記動脈部分は頸動脈の一部である、請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記第１の画像は、近赤外線カメラを用いて取得される、請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
前記第２の画像は、深度センサを用いて取得される、請求項２乃至４のいずれか一項に記載の方法。
【請求項１１】
生物学的情報を取得するための装置であって、当該装置は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するための第１の取得ユニットと、
前記第１の画像に基づいて、前記動脈部分の複数の位置に対応する個々の脈波を検出するための検出ユニットと、
前記検出した個々の脈波同士の間のシフト量を計算するためのシフト量計算ユニットと、
前記シフト量を用いて、前記生物学的情報として、前記被検体の動脈流に関する指標情報を計算するための指標情報計算ユニットと、を含む、
装置。
【請求項１２】
前記動脈部分の深度情報を含む第２の画像を取得するための第２の取得ユニットと、
前記第２の画像に含まれる前記深度情報に基づいて、前記シフト量に関連する動脈部分同士の間の距離を計算するための計算ユニットと、をさらに含み、
前記指標情報計算ユニットは、前記計算した動脈部分同士の間の距離及び前記シフト量を用いて前記指標情報を計算するように構成される、請求項１１に記載の装置。
【請求項１３】
前記計算ユニットは、前記第２の画像から前景及び背景を分離し、前記前景の前記画像内の画素の特徴量に基づいて、検出ターゲットとしての前記動脈部分までの距離を計算し、該計算した距離を用いて前記動脈部分同士の間の前記距離を計算するように構成される、請求項１２に記載の装置。
【請求項１４】
前記計算ユニットは、前記深度情報に基づいて、検出ターゲットとしての前記動脈部分が位置する位置を推定し、該推定の結果を用いて、前記動脈部分同士の間の前記距離を計算するように構成される、請求項１２又は１３に記載の装置。
【請求項１５】
前記検出ユニットは、前記第１の画像に含まれる前記動脈部分が位置する前記位置に対応する時系列信号をアップサンプリングすることによって前記脈波を検出するように構成される、請求項１１乃至１４のいずれか一項に記載の装置。
【請求項１６】
前記指標情報を出力するための出力ユニットをさらに含む、請求項１１乃至１５のいずれか一項に記載の装置。
【請求項１７】
前記指標情報は脈波伝播速度（ＰＷＶ）である、請求項１１乃至１６のいずれか一項に記載の装置。
【請求項１８】
前記動脈部分は頸動脈の一部である、請求項１１乃至１７のいずれか一項に記載の装置。
【請求項１９】
前記第１の画像は、近赤外線カメラを用いて取得される、請求項１１乃至１８のいずれか一項に記載の装置。
【請求項２０】
前記第２の画像は、深度センサを用いて取得される、請求項１２から１４のいずれか一項に記載の装置。
【請求項２１】
装置であって、当該装置は、
請求項１１乃至２０のいずれか一項に記載の装置と、
前記第１の画像を画像化するように構成された近赤外線カメラと、
前記指標情報を取得し、前記複数の動脈部分の深度情報を取得するために使用される深度センサと、を含む、
装置。
【請求項２２】
コンピュータが、請求項１乃至１０のいずれか一項に記載の方法を実行するのを可能にするためのプログラムを記録する、コンピュータ可読記憶媒体。
【請求項２３】
コンピュータが、請求項１乃至１０のいずれか一項に記載の方法を実行するのを可能にするためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、イメージングフォトプレチスモグラフィ（ｉＰＰＧ）によって心臓血管系に関する生理学的パラメータを取得するための装置及び方法に関する。
【背景技術】
【０００２】
被検体を画像化することによって被検体の画像を取得し、この画像から脈波伝播速度（pulse  wavelength  velocity）を計算する装置が知られている。例えば、被検体の顔を画像化し、顔画像内の２つの異なるターゲット領域を特定し、且つ両方の領域の脈波のシフト量から脈波伝播速度を計算する装置が公に知られている。
【発明の概要】
【０００３】
上記の状況下で、生物学的情報を取得するための装置及び方法を説明する本開示の実施形態によって、技術的利点が提供される。
【０００４】
一実施形態の第１の態様は、以下の方法を提供する。
【０００５】
生物学的情報を取得するための方法であって、この方法は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するステップと、
第１の画像に基づいて、動脈部分の複数の位置に対応する個々の脈波を検出するステップと、
検出した個々の脈波同士の間のシフト量を計算するステップと、
シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報を計算するステップと、を含む。
【０００６】
第１の態様によれば、信頼性の高い指標情報が提供される。
【０００７】
実施形態の第１の態様は、
動脈部分の深度情報を含む第２の画像を取得するステップと、
第２の画像に含まれる深度情報に基づいて、シフト量に関連する動脈部分同士の間の距離を計算するステップと、をさらに含み、
指標情報を計算するステップは、動脈部分同士の間の計算した距離及びシフト量を用いて指標情報を計算するステップを含む。
【０００８】
この第１の態様によれば、指標情報を計算するために、動脈部分までの距離が取得される。
【０００９】
実施形態の第２の態様は、以下の装置を提供する。
【００１０】
生物学的情報を取得するための装置であって、この装置は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するための第１の取得ユニットと、
第１の画像に基づいて、動脈部分の複数の位置に対応する個々の脈波を検出するための検出ユニットと、
検出した個々の脈波同士の間のシフト量を計算するためのシフト量計算ユニットと、
シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報を計算するための指標情報計算ユニットと、を含む。
【００１１】
第２の態様によれば、信頼性の高い指標情報が提供される。
【００１２】
実施形態の第２の態様は、
動脈部分の深度情報を含む第２の画像を取得するための第２の取得ユニットと、
第２の画像に含まれる深度情報に基づいて、シフト量に関連する動脈部分同士の間の距離を計算するための計算ユニットと、をさらに含み、
指標情報計算ユニットは、動脈部分同士の間の計算した距離及びシフト量を用いて指標情報を計算するように構成される。
【００１３】
この第２の態様によれば、指標情報を計算するために、動脈部分までの距離が取得される。
【００１４】
実施形態の第３の態様は、以下の装置を提供する。
【００１５】
装置であって、この装置は、
第２の態様の装置と、
第１の画像を画像化するように構成された近赤外線カメラと、
指標情報を取得し、複数の動脈部分の深度情報を取得するために使用される深度センサと、を含む。
【００１６】
第３の態様によれば、信頼性の高い指標情報が提供される。
【００１７】
実施形態の第４の態様は、コンピュータが実施形態による方法の第１の態様を実行するのを可能にするためのプログラムを記録するコンピュータ可読記憶媒体を提供する。
【００１８】
第４の態様によれば、信頼性の高い指標情報が提供される。
【００１９】
実施形態の第５の態様は、コンピュータが実施形態による方法の第１の態様を実行するのを可能にするためのコンピュータプログラムを提供する。
【００２０】
第５の態様によれば、信頼性の高い指標情報が提供される。
【図面の簡単な説明】
【００２１】
実施形態における技術的解決策をより明確に説明するために、以下では、本実施形態を説明するために必要な添付の図面について簡単に説明する。明らかに、以下の説明の添付図面は、可能な実施形態のほんの一部を示しており、当業者は、創造的な努力なしに、これらの添付図面から他の図面をさらに導き出し得る。
【図１】一実施形態による装置の構成の一例を示す概略図である。
【図２Ａ】一実施形態による、近赤外（ＮＩＲ）光源からの光が装置内の被検体で反射される場合の態様を説明するための図である。
【図２Ｂ】一実施形態による、装置内のＮＩＲ画像及び深度画像を取得するための態様を説明するための図である。
【図３】照射光の波長とその透過深度との間の関係を説明するための図である。
【図４】一実施形態に係る装置により実施される、指標情報計算プロセスの概要を説明するための図である。
【図５】一実施形態による、装置内の２つの関心領域（ＲＯＩ）の間の距離を説明するための図である。
【図６Ａ】一実施形態による、装置内の画素サイズを説明するための図である。
【図６Ｂ】図６Ａの画素サイズの一例を示す図である。
【図７】一実施形態に係る装置の機能構成の一例を示す図である。
【図８】一実施形態に係る装置における全体的な指標情報計算プロセスの一例を示すフローチャートである。
【図９】一実施形態に係る装置内の検出ターゲットとしての動脈部分同士の間の距離を算出するために実行されるプロセスの一例を示すフローチャートである。
【図１０】図９のステップＳ２２の計算プロセスを示すフローチャートである。
【図１１】図１０のステップＳ２２１の分離プロセスを説明するための図である。
【図１２】動脈部分同士の間の距離を計算するために動脈部分の位置を推定する態様を説明するための図である。
【図１３】橈骨動脈を検出する場合の検出範囲を示す図である。
【発明を実施するための形態】
【００２２】
以下では、本開示の実施形態の添付図面を参照して、本開示の実施形態の技術的解決策について明確に説明する。明らかに、説明する実施形態は、本開示の実施形態の全てではなく、ほんの一部である。創造的な努力なしに本開示の実施形態に基づいて当業者によって取得され得る他の全ての実施形態は、本開示の実施形態の保護範囲内に含まれるものとすることに留意されたい。
【００２３】
実施形態の装置１０は、非接触方式で画像化される被検体のビデオ画像から被検体の生物学的情報（すなわち、心臓血管系に関する生理学的パラメータ）を取得するように構成される。
［装置１０の構成］
【００２４】
図１は、一実施形態による装置１０のハードウェア構成の一例を示す概略図である。
【００２５】
図１に示されるように、装置１０は、処理ユニット１１、ＲＯＭ（読取り専用メモリ）１２、ＲＡＭ（ランダムアクセスメモリ）１３、表示装置１４、入力装置１５、及びＴｏＦ（飛行時間）カメラ２０を含む。ＴｏＦカメラ２０は、近赤外線（ＮＩＲ）センサ３０、ＮＩＲ光源３１、及び深度センサ４０を含む。この実施形態では、装置１０は、例えば、携帯電話、携帯情報端末（ＰＤＡ）、パーソナルコンピュータ、ロボット、測定機器、又はゲーム機等である。
【００２６】
処理ユニット１１は、バスによって個々の構成要素に接続されて、制御信号及びデータを転送する。処理ユニット１１は、装置１０の一般的な動作を実施するための様々な種類のプログラムを実行し、算術演算及びタイミング制御等を実行する。前述したプログラムは、ＤＶＤ（デジタル多用途ディスク）−ＲＯＭ（読取り専用メモリ）、又はＣＤ（コンパクトディスク）−ＲＯＭ（読取り専用メモリ）等のコンピュータ可読記憶媒体に記憶させることができる。
【００２７】
装置１０全体の動作を制御するために必要なオペレーティングシステム用のプログラム及び様々な種類のデータは、ＲＯＭ１２に格納される。
【００２８】
ＲＡＭ１３には、データ及びプログラムを一時的に記憶するための記憶領域が設けられており、ここに、装置１０の動作に必要なプログラム及びデータ並びに他のデータが記憶される。
【００２９】
表示装置１４は、例えば、液晶ディスプレイ又はＥＬ（エレクトロルミネセンス）ディスプレイ等のフラットパネルディスプレイであり得る。入力装置１５は、操作ボタン、タッチパネル、入力ペン、及びセンサ等を含む。
【００３０】
ＴｏＦカメラ２０に取り付けられたＮＩＲカメラ３０は、ＮＩＲ光源３１からの光が被検体で反射された光を受け取る。こうして、後述する近赤外（ＮＩＲ）画像（第１の画像）ｄ１０を取得することができる。
【００３１】
深度センサ４０はまた、ＮＩＲ光源３１からの光が被検体で反射された光を受け取る。こうして、ＴｏＦカメラ２０では、被検体までの距離が、ＮＩＲカメラ３０からの照射光が深度センサ４０に戻る時間及び光速（３×１０８ｍ／ｓ）から画素毎に計算される。従って、被検体までの距離を表す深度情報を画素毎に含む、後述する深度画像（第２の画像）ｄ２０が取得される。ＮＩＲ画像ｄ１０と深度画像ｄ２０とは両方とも、非接触方式で取得するように設計され構造化される。
【００３２】
図２Ａは、ＮＩＲ光源３１からの光が被検体１００で反射される場合の態様を示す。図２Ａに示される例では、ＮＩＲ光源３１からの光が被検体１００に放射され、次に、ＮＩＲカメラ３０と深度センサ４０とは両方とも、被検体１００で反射された光を受け取る。従って、ＮＩＲカメラ３０及び深度センサ４０は、ＮＩＲ画像ｄ１０及び深度画像ｄ２０をそれぞれ取得する。
【００３３】
図２Ｂは、ＮＩＲ画像ｄ１０及び深度画像ｄ２０を取得するための態様を示す。図２Ｂに示される例では、ＮＩＲ画像ｄ１０及び深度画像ｄ２０は、同じ撮像点Ｐから取得した同じ画角の画像である。この場合に、撮像点Ｐは、ＮＩＲカメラ３０と深度センサ４０との両方の撮像点である。
【００３４】
画像ｄ１０、ｄ２０は、フレームフォーマットで同時に処理ユニット１１に定期的に出力される。このような同期タイミングには、例えば、ＮＩＲ光源３１から被検体１００にパルス光が放射されるタイミングが含まれる。ＮＩＲ画像ｄ１０及び深度画像ｄ２０の取得により、後述する脈波伝播速度（ＰＷＶ）を取得するプロセスを実行することが可能になる。
【００３５】
なお、ＴｏＦカメラ２０は、装置１０に外部から取り付けることができることに留意されたい。さらに、装置１０は、ハードディスク又は光ディスク等の外部記憶装置を用いて、ＲＯＭ１２、又はＲＡＭ１３等と同じ機能を実現するように構成することができる。
【００３６】
ＴｏＦカメラ２０は、ＮＩＲ画像ｄ１０及び深度画像ｄ２０を取得できる限り、他の代替スキームによって実施してもよい。例えば、ステレオカメラで深度を測定する場合に、ステレオカメラに含まれるカメラがＮＩＲ画像を取得することがある。深度カメラで深度を測定する場合に、深度カメラで取得した画像をＮＩＲ画像ｄ１０として扱うことができる。
［指標情報計算プロセスの概要］
【００３７】
次に、装置１０によって実施される、血流に関連する指標を示す情報としてＰＷＶを計算するプロセスの概要を、図１〜図６Ｂを参照して説明する。図３は、照射光の波長とその透過深度との間の関係を説明するための図である。図４は、測定の概要を説明するための図である。図５は、２つの関心領域（ＲＯＩ）の間の距離を説明するための図である。図６Ａは、画素サイズを説明するための図である。図６Ｂは、図６Ａに示される１つの画素ｇのサイズを例示する図である。
【００３８】
図３に示されるように、体表面から深部までの光の透過距離は、光の波長ｄ１〜ｄ８（約８００ｎｍ〜４００ｎｍの波長）によって変化する。波長が長くなると、光の深部までの透過距離が長くなる。ｄ１〜ｄ８は、赤紫色の波長から紫色の波長までの波長範囲を示す。
【００３９】
この装置１０は、波長ｄ１〜ｄ８のうち、深部までの最長距離を有する波長ｄ１の赤紫色の波長範囲を有する近赤外光を使用する。波長ｄ１は、例えば、約７５０ｎｍ〜８００ｎｍであるが、検出される人体の深部を含むＮＩＲ画像ｄ１０を取得することができれば、この波長に限定されない。
【００４０】
図３に示される例では、波長ｄ１の近赤外光は、検出ターゲットとして、人体の深部（皮膚から３．０ｍｍ以上の深さ）に位置する動脈に透過的に到達する。その結果、装置１０は、動脈で反射された赤外光を用いて、動脈を流れる血流（動脈流）の変化に応じた輝度を表す、後述するＮＩＲ画像ｄ１０を生成し、ＮＩＲ画像ｄ１０の評価結果に基づいて、被検者又は被検体１００の動脈流に関する指標情報ｄ４０を計算する。
【００４１】
波長ｄ１は、動脈での反射を可能にするだけでよく、赤紫色を表す前述した近赤外光の波長以外の波長が利用可能であり得る。
【００４２】
実施形態の装置１０によって処理される指標情報ｄ４０は、例えば、脈波伝播速度（ＰＷＶ）であるが、これに限定されない。ＰＷＶは、動脈硬化の進行率の指標として使用される。例えば、ＰＷＶの値が大きいほど、心筋梗塞が発生する可能性が高くなる。
【００４３】
実施形態の装置１０が、上記のようにその波長の光透過深度が大きい近赤外光を使用しているため、毛細血管内の血流からではなく、動脈血管内の血流の変化に応じて被検者の指標情報ｄ４０を取得することができる。この指標情報ｄ４０は、動脈血管を流れる血流の変化の反映に相当し、指標情報ｄ４０の信頼性を高める。
【００４４】
図４に示されるように、この装置１０は、同じ視点で撮像したＮＩＲ画像ｄ１０及び深度画像ｄ２０（図２Ｂ）を、ＴｏＦカメラ２０から処理ユニット１１に同期して出力する。
【００４５】
図４では、例えば、ＴｏＦカメラ２０の深度センサ４０は、ＮＩＲ光源３１から放射され、後に被検体１００で反射された光を取得し、それにより、被検体１００の深度画像ｄ２０を提供する。さらに、ＮＩＲカメラ３０が、深度センサ４０による深度画像ｄ２０の取得期間中に被検体１００を撮像するので、被検体１００のＮＩＲ画像ｄ１０が取得される。例えば、図４に示されるように、ＮＩＲ画像ｄ１０は、被検者の頸部領域を含む画像であり、この画像（フレーム画像）は、ＴｏＦカメラ２０から順番に取得される。
【００４６】
ＮＩＲ画像ｄ１０を取得した処理ユニット１１は、検出ターゲットとして、処理されるＮＩＲ画像ｄ１０に含まれる被検者の頸部に位置する動脈部分に２つの関心領域（ＲＯＩ）１及び２を設定する。図４の例では、ＲＯＩ  １は心臓から遠い動脈部分を含み、ＲＯＩ  ２は心臓に近い動脈部分を含む。この場合に、動脈部分は、例えば、橈骨動脈の一部である。従って、頸動脈内の動脈流の変化を反映した指標情報が取得され、指標情報の可用性が向上する。
【００４７】
ＲＯＩ  １及び２を設定する１つの方法は、それら（心臓から遠い動脈部分と心臓に近い動脈部分と）の間の予め設定した間隔でＲＯＩ  １及び２を設定することができるが、これに限定されないことに留意されたい。例えば、動脈部分の形状又は位置を装置１０において事前に登録することができる。こうして、処理ユニット１１は、動脈部分を特定した後に、登録された情報からＲＯＩ  １及び２を設定することができる。
【００４８】
さらに、処理ユニット１１は、ＮＩＲ画像ｄ１０に含まれる２つのＲＯＩ  １及び２内の動脈部分を流れる動脈流に応じて変化する時系列信号ｆ（ｔ）及びｇ（ｔ）を検出する。この場合に、時系列信号ｆ（ｔ）及びｇ（ｔ）は、フォトプレチスモグラフィ（ＰＰＧ）をＮＩＲ画像ｄ１０から取得するように抽出される。時系列信号ｆ（ｔ）及びｇ（ｔ）において、横方向は時間ｔを表し、縦方向は対応するＲＯＩ内の全ての画素の輝度の平均値を表す。
【００４９】
前述した時系列信号ｆ（ｔ）及びｇ（ｔ）は、Ｎ×アップサンプリング（例えば、Ｎ＝８）を受け得る。この場合に、時系列信号ｆ（ｔ）及びｇ（ｔ）の値を表すサンプル数が増大する。こうして、時系列信号ｆ（ｔ）及びｇ（ｔ）の値をより正確に与えることができる。
【００５０】
相互相関関数１１１は、２つの時系列信号の畳み込みを計算するための関数である。２つの時系列信号の相関度を示すコヒーレンスは、時系列信号の位相を変化させることによって計算される。次に、時系列信号の位相偏差と時系列信号の周期性の類似性とを結果から評価する。２つの同一の時系列信号が相互相関関数１１１に入力されると、次に相互相関関数は自己相関関数と同等になり、最大値を示す。この実施形態では、処理ユニット１１は、相互相関関数１１１の値が、位相遅延（位相オフセット）ｄ３０として最大値を示すときの時系列信号ｇ（ｔ）の位相遅延のサンプル数を示す「ｍ」の値を次のステージに出力する。
【００５１】
相互相関関数１１１は、例えば、以下の式（１）で表すことができる。
【００５２】
【数１】
2021528169.tif 000003
【００５３】
式（１）において、ｎは、時系列信号ｆ（ｔ）及びｇ（ｔ）の長さ（例えば、２サイクル）を表し、ｍは、時系列信号ｇ（ｔ）の位相遅延のサンプル数を表す。
【００５４】
さらに、図４では、処理ユニット１１は、計算プロセス１１２を介して、深度画像ｄ２０から２つのＲＯＩ  １と２との間の距離を取得する。図５では、例えば、ＲＯＩ  １の中心Ｆ０とＲＯＩ  ２の中心Ｇ０との間の距離Ｌは、２つのＲＯＩ  １と２との間の距離として設定される。ＲＯＩ  １及び２は、ＮＩＲ画像ｄ１０に示されているものと同じである。
【００５５】
距離Ｌは、図５に例示された値とは異なる値に設定され得る。例えば、２つのＲＯＩ  １と２との間の最大距離又は最小距離、或いは２つのＲＯＩ  １と２の間の予め設定された画素数の距離を距離Ｌとして使用できる。
【００５６】
この実施形態では、２つのＲＯＩ  １と２との間の距離Ｌは、検出ターゲットとしての動脈部分同士の間の距離として設定される。
【００５７】
図４では、視野（ＦＯＶ）及び解像度が、処理ユニット１１の設定ユニット１１３に設定される。さらに、処理ユニット１１は、深度画像ｄ２０の各画素のスケールを、取得プロセス１１４を介して取得する。深度センサ４０の撮像点Ｐからの水平視野がｈ０で垂直視野がｖ０の深度画像（幅６００画素、高さ３６０画素の画像）ｄ２０が、図６Ａに示されるように取得された場合に、例えば、画素（図６Ａに示される「ｇ」）あたりのサイズ（Ｌｈ、Ｌｖ）（図６Ｂ）は、次の式（２）で表される。
【００５８】
Ｌｈ＝２・ｄ・ｔａｎ（ｈ／２）／６００
Ｌｖ＝２・ｄ・ｔａｎ（ｖ／２）／３６０              （２）
【００５９】
式（２）において、ｄは、撮像点Ｐから深度画像ｄ２０までの距離を表す。対応するＲＯＩまでの平均距離（ＲＯＩ内の全ての画素の間の平均距離）が、実施形態の装置１０における距離ｄの一例として使用されるが、後述するように、距離は異なる値をとることができる。式（２）は、画素あたりのサイズの例を示しているに過ぎず、変更される可能性があることを理解されたい。サイズの値Ｌｈ及びＬｖは、解像度の値に応じて表示され得る。
【００６０】
処理ユニット１１は、式（２）に示される画素サイズ（Ｌｈ、Ｌｖ）から、ＲＯＩ  １と２との間の距離Ｌ（図５）の値を取得する。例えば、１０個の画素の垂直方向の距離Ｌが示される場合に、「Ｌ」の値はＬｖ×１０で与えられる。
【００６１】
さらに、図４では、処理ユニット１１は、被検体の動脈流に関連する指標情報ｄ４０としてＰＷＶを計算して出力する。指標情報ｄ４０としてのＰＷＶは、例えば、以下の式（３）により取得される。
【００６２】
ＰＷＶ＝Ｌ／Ｄ          （３）
【００６３】
式（３）において、Ｌは、ＲＯＩ  １と２との間の距離（図５）を表し、Ｄは、前述した位相遅延ｄ３０の時間を示す。この場合に、ｄはｍ／（ｒ×Ｎ）によって与えられ、ここで、ｍは、位相遅延ｄ３０によって示される時系列信号ｇ（ｔ）の位相遅延のサンプル数を表し、ｒは、ＮＩＲカメラ３０のフレームレートを表し、Ｎは、アップサンプリング数を表す。
【００６４】
上で説明したように、実施形態の装置１０は、ＮＩＲ画像ｄ１０及び深度画像ｄ２０から指標情報ｄ４０を取得する。
［装置１０の機能構成］
【００６５】
図７は、図１に示されるハードウェア構成で実現された装置１０の機能構成の一例を示す図である。次に、図７を参照して装置１０の機能構成を説明する。図７に示されるように、装置１０は、第１の取得ユニット１０１、検出ユニット１０２、シフト量計算ユニット１０３、第２の取得ユニット１０４、計算ユニット１０５、指標情報計算ユニット１０６、及び出力ユニット１０７を含む。
【００６６】
これらの構成要素は、図１に示される処理ユニット１１によって実装され、以下のように構成される。
【００６７】
第１の取得ユニット１０１は、非接触方式で被検体の動脈部分を画像化することによって取得したＮＩＲ画像ｄ１０を取得する。
【００６８】
検出ユニット１０２は、ＮＩＲ画像ｄ１０に基づいて、動脈部分の複数の位置に対応する個々の脈波（図４の時系列信号ｆ（ｔ）及びｇ（ｔ））を検出する。
【００６９】
シフト量計算ユニット１０３は、検出ユニット１０２によって検出した個々の脈波同士の間のシフト量（図４の位相遅延ｄ３０）を計算する。
【００７０】
第２の取得ユニット１０４は、動脈部分の深度情報を含む深度画像ｄ２０を取得する。
【００７１】
計算ユニット１０５は、深度画像ｄ２０に含まれる深度情報に基づいて、シフト量計算ユニット１０３によって計算されたシフト量に関連する動脈部分同士の間の距離（図５のＲＯＩ  １と２の間の距離Ｌ）を計算する。
【００７２】
指標情報計算ユニット１０６は、シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報（ＰＷＶ）を計算する。さらに、指標情報計算ユニット１０６は、計算ユニット１０５により計算された動脈部分同士の間の距離及びシフト量を用いて指標情報ｄ４０を計算することができる。
【００７３】
出力ユニット１０７は、指標情報ｄ４０を出力する。
【００７４】
図７に示される個々のユニット１０１〜１０７の構成要素は、ＡＳＩＣ（特定用途向け集積回路）又はＦＧＡ（フィールドプログラマブルゲートアレイ）等によって実現され得る。これらの構成要素は、必要に応じて、装置１０の動作の以下の説明において参照される。
［装置１０の動作］
【００７５】
以下では、図１〜図８を参照して、装置１０の一般的な処理を説明する。この実施形態の処理ユニット１１は、プログラムに従って、後述する様々な処理を実行することができる。
【００７６】
図８は、指標情報ｄ４０を計算する一般的なプロセスの一例を示すフローチャートである。
【００７７】
図８では、被検体１００がＴｏＦカメラ２０のＮＩＲカメラ３０によって画像化されると、処理ユニット１１は、被検体１００のＮＩＲ画像ｄ１０を取得する（ステップＳ１１）。図４では、例えば、被検体の頸部の範囲を含むＮＩＲ画像ｄ１０が取得される。
【００７８】
このステップでは、処理ユニット１１は、第１の取得ユニット１０１として実施される。
【００７９】
処理ユニット１１は、ＮＩＲ画像ｄ１０に基づいて、被検体の動脈部分の複数の位置に対応する個々の脈波を検出する（ステップＳ１２）。検出した脈波は、図４に例示されるように時系列信号ｆ（ｔ）及びｇ（ｔ）として示される。例えば、図４は、時間の経過に伴うＲＯＩ  １に位置する動脈部分を流れる動脈流の変化が時系列信号ｆ（ｔ）によって表される例を示す。図４は、時間の経過に伴うＲＯＩ  ２に位置する動脈部分を流れる動脈流の変化が時系列信号ｇ（ｔ）によって表される例も示す。ＲＯＩ  １及び２は、ＮＩＲ画像ｄ１０における検出ターゲットとして動脈部分の位置に対応して設定される。
【００８０】
ステップＳ１２において、処理ユニット１１は、時系列信号ｆ（ｔ）及びｇ（ｔ）をアップサンプリングすることによって検出を行うことができる。例えば、８×アップサンプリングの場合に、時系列信号ｆ（ｔ）及びｇ（ｔ）のサンプルは、ｔ＝０〜１の間隔に亘って、ｔ＝０．１２５、０．２５、０．３７５、０．６２５、０．７５、及び０．８７５のタイミングで補間される。こうして、時系列信号ｆ（ｔ）及びｇ（ｔ）がより正確に示される。
【００８１】
このステップでは、処理ユニット１１は、検出ユニット１０２として実施される。
【００８２】
次に、処理ユニット１１は、前述した脈波同士の間の位相遅延ｄ３０を計算する（ステップＳ１３）。図４の例では、２つの時系列信号ｆ（ｔ）及びｇ（ｔ）を参照して、処理ユニット１１は、式（１）に示される相互相関関数１１１の値が、時系列信号ｇ（ｔ）の位相をシフトすることによって最大になることを示すかどうかを判定する。相互相関関数１１１の値が最大値を示すと判定されたときに、処理ユニット１１は、時系列信号ｇ（ｔ）の位相遅延ｄ３０を計算する（例えば、「ｍ」の値は、相互相関関数１１１の値が最大値を示すときの時系列信号ｇ（ｔ）の位相遅延のサンプル数を示す）。
【００８３】
このステップでは、処理ユニット１１は、シフト量計算ユニット１０３として実施される。
【００８４】
処理ユニット１１は、位相遅延ｄ３０を用いて、生物学的情報として、被検体の動脈部分の指標情報ｄ４０（図８のＰＷＶ）を計算する（ステップＳ１４）。さらに、処理ユニット１１は、指標情報ｄ４０を出力する（ステップＳ１５）。従って、指標情報ｄ４０は視覚的に提供され得る。
【００８５】
ステップＳ１４において、処理ユニット１１は、指標情報計算ユニット１０６として実施される。さらに、ステップＳ１５において、処理ユニット１１は、出力ユニット１０７として実施される。
【００８６】
ステップＳ１４において、指標情報ｄ４０としてのＰＷＶは、前述した式（３）で表されるＰＷＶ＝Ｌ／Ｄから取得される（ここで、Ｌは、ＲＯＩ  １と２との間の距離であり、Ｄは、ステップＳ１３の計算による位相遅延ｄ３０に対応する時間である）。式（３）の「Ｌ」の値を取得するプロセスを図９のフローチャートに示す。
【００８７】
上述した「Ｌ」の値は、入力装置１５を介して入力することができる。この場合でも、式（３）から指標情報ｄ４０を取得することもできる。
【００８８】
図９は、式（３）において距離Ｌを計算するプロセスの一例を示すフローチャートである。
【００８９】
図９では、処理ユニット１１は、ＴｏＦカメラ２０から、ＮＩＲ画像ｄ１０と同期した、ＮＩＲ画像ｄ１０と同じ視点を有する深度画像ｄ２０を取得する（ステップＳ２１）。この例では、深度画像ｄ２０は、画素毎に被検体までの距離を表す深度情報を含む。
【００９０】
このステップでは、処理ユニット１１は、第２の取得ユニット１０４として実施される。
【００９１】
次に、処理ユニット１１は、深度画像ｄ２０に基づいて、検出ターゲットとしての動脈部分までの距離を計算する（ステップＳ２２）。このプロセスは、後で説明する図１０のフローチャートに詳細に示される。
【００９２】
また、処理ユニット１１は、ステップＳ２２の計算結果から、動脈部分同士の間の距離を計算する（ステップＳ２３）。図５では、例えば、ＲＯＩ  １の中心Ｆ０とＲＯＩ  ２の中心Ｇ０との間の距離Ｌは、ステップＳ２３における動脈部分同士の間の距離として計算される。
【００９３】
ステップＳ２２及びＳ２３において、処理ユニット１１は、計算ユニット１０５として実施される。
【００９４】
以下では、図１０及び図１１を参照して、ステップＳ２２の計算プロセスの例を説明する。図１０は、図９のステップＳ２２の計算プロセスを示すフローチャートである。図１１は、図１０のステップＳ２２１の分離プロセスを説明するための図である。
【００９５】
図１０では、処理ユニット１１は、図９のステップＳ２１で取得した深度画像ｄ２０から前景及び背景を分離する（ステップＳ２２１）。図１１では、前景Ｇ１及び背景Ｇ２は、例えば、ターゲットとして深度画像ｄ２０に含まれる深度情報の値（撮像点Ｐからターゲットまでの距離）が閾値以上であるかどうかを判定することによって実行されるフィルタによって区別される。次に、閾値以上の値を有する画素領域が、撮像点Ｐから遠く離れた背景Ｇ３として除去される。
【００９６】
図１１では、エッジＧ２が、アクティブな動きの一部を表し、前景Ｇ１から排除される。エッジ検出の例には、例えば、勾配を計算する閾値処理が含まれる。
【００９７】
この実施形態では、図４に示されるＲＯＩ  １及び２は、ステップＳ２２１の分離プロセスによって前景として指定される。
【００９８】
次に、図１０では、処理ユニット１１は、ターゲットとして、ＲＯＩ  １及び２（図４）の深度情報によって示される距離を含むヒストグラム（画素の特徴量）を作成する（ステップＳ２２２）。次に、処理ユニット１１は、ステップＳ２２２で作成したヒストグラムに基づいて、各ＲＯＩ  １及び２までの距離として、各ＲＯＩ  １及び２の全画素の距離（深度情報で示される距離）の平均値を計算する（ステップＳ２２３）。この場合に、例えば、作成したヒストグラムの分布において、ターゲット画素の値が他の値と閾値以上の差がある場合に、処理ユニット１１は、その値を不適合値として排除してから、平均値を計算する。
【００９９】
この実施形態では、ステップＳ２２３で計算した平均値は、撮像点Ｐから各ＲＯＩの動脈部分までの距離ｄ（図６）として設定される。その結果、画素毎のサイズ（Ｌｈ、Ｌｖ）は式（２）から取得される。さらに、動脈部分同士の間の距離は、図９のステップＳ２３で計算される。すなわち、動脈部分同士の間の距離としての２つのＲＯＩ  １と２との間の距離Ｌ（図５）は、式（２）から取得した画素サイズ（Ｌｈ、Ｌｖ）から計算される。図５では、例えば、１０個の画素の垂直方向の距離Ｌが示される場合に、例えば、「Ｌ」の値は、Ｌｖ×１０によって与えられる。
【０１００】
その結果、処理ユニット１１は、図９のステップＳ２３で計算した「Ｌ」の値を、図８のステップＳ１４の式（３）に示されるＰＷＶ＝Ｌ／Ｄに代入して、指標情報ｄ４０としてのＰＷＶの値を計算する。
【０１０１】
図８のステップＳ１４において、処理ユニット１１は、予め設定したサイクル（例えば、５サイクル、１０サイクル等）の時系列信号ｆ（ｔ）及びｇ（ｔ）について、式（３）に示されるＰＷＶを計算することができる。この場合に、例えば、ＰＷＶの平均値、最大値、又は最小値を指標情報ｄ４０として使用することもできる。従って、あるタイミングで時系列信号ｆ（ｔ）及びｇ（ｔ）からＰＷＶを正しく計算できない場合であっても、前述したサイクルの時系列信号ｆ（ｔ）及びｇ（ｔ）から取得したＰＷＶの平均値等を用いて適切な指標情報ｄ４０が得られる。
【０１０２】
実施形態によれば、上記のように、撮像点Ｐから各ＲＯＩ内の動脈部分までの距離は、深度画像ｄ２０、及びＲＯＩ  １同士の間の実際の距離Ｌ等に基づいて取得され、検出ターゲットのｗは、この距離ｄに基づいて計算される。このようにして、直接観察できない皮膚下の動脈部分までの距離ｄは、検出ターゲットとしての動脈部分の画像に基づいて、時系列信号ｆ（ｔ）及びｇ（ｔ）を取得するときに取得される。従って、検出した脈波の時系列信号は、実際の脈波を適切に反映することができる。皮膚表面の色の変化に基づいて脈波の時系列信号を取得する関連技術によれば、皮膚表面近くの毛細血管の脈波が測定される。こうして、ＰＷＶ等の指標を正確に取得することはできない。対照的に、動脈の脈波を取得することにより血流に関する指標を正確に取得する本実施形態は、上記の方法で距離ｄを取得することにより、動脈部分を確実に特定することができる。
【０１０３】
被検体の毛細血管を流れる血流の変化を反映する情報とは異なり、指標情報ｄ４０は、動脈血管を流れる血流の変化を反映するように計算される。これにより、指標情報の信頼性を高めることができる。
【０１０４】
さらに、動脈部分同士の間の距離（図５のＲＯＩ  １と２との間の距離Ｌ）は、深度画像ｄ２０から取得され、こうして距離Ｌを入力する操作の必要性を排除する。これは、入力値のエラーを排除する。こうして、正しい指標情報ｄ４０を取得することができる。
【０１０５】
さらに、同じ視野のＮＩＲ画像ｄ１０及び深度画像ｄ２０は、互いに同期してＴｏＦカメラ２０から処理ユニット１１に出力される。こうして、処理ユニット１１は、図９のステップＳ２１〜Ｓ２３を介して、互いに同期して指標情報ｄ４０を取得することができる。
【０１０６】
２つのＲＯＩ  １と２との間の距離Ｌ（図５）を、例として動脈部分同士の間の距離として説明しているが、距離は、必要に応じて変更され得る。例えば、図１２は、動脈部分７１が図４に示されるＲＯＩ  １及び２に位置している場合に、動脈部分７１の位置が推定されて、推定の結果に従って動脈部分７１同士の間の距離を計算するという態様を例示している。図１２では、処理ユニット１１は、被検体の頸部の周りの動脈部分までの距離パターンを事前に登録し、深度画像ｄ２０に含まれる深度情報を登録した距離情報パターンと比較して、動脈部分７１の位置を推定する。次に、処理ユニット１１は、動脈部分７１の推定位置に沿った動脈部分７１の全長を距離Ｌ１として計算する。その結果、動脈部分７１同士の間のより正確な距離Ｌ１を取得でき、より正確な指標情報ｄ４０を計算することができる。例えば、動脈部分の位置を推定するプロセスとして、動脈部分の形状を事前にパターン化することができ、そのパターンから、深度画像ｄ２０に含まれる動脈部分の位置を推定することができる。
【０１０７】
検出ターゲットとしての前述した動脈部分は、図４に示される被検体１００の部分に限定されない。例えば、図１３は、被検体の腕範囲８１内の橈骨動脈が、検出ターゲットである場合を例示する。この場合でも、腕の橈骨動脈の血流の変化を反映した指標情報ｄ４０が取得される。
【０１０８】
装置関連の実施形態及び方法関連の実施形態は、同じ概念に基づいているので、装置関連の実施形態によってもたらされる技術的利点も、方法関連の実施形態によってもたらされるものと同じである。特定の原理については、装置の実施形態の前述した説明を参照すべきであり、その詳細はここでは繰り返さない。
【０１０９】
前述した実施形態及び本発明の特許請求の範囲内で行われる同等の修正例を実施するプロセスの全部又は一部もまた、本発明の範囲内にあることが当業者によって理解されるであろう。
【図１】
2021528169.tif 000004
【図２Ａ】
2021528169.tif 000005
【図２Ｂ】
2021528169.tif 000006
【図３】
2021528169.tif 000007
【図４】
2021528169.tif 000008
【図５】
2021528169.tif 000009
【図６Ａ】
2021528169.tif 000010
【図６Ｂ】
2021528169.tif 000011
【図７】
2021528169.tif 000012
【図８】
2021528169.tif 000013
【図９】
2021528169.tif 000014
【図１０】
2021528169.tif 000015
【図１１】
2021528169.tif 000016
【図１２】
2021528169.tif 000017
【図１３】
2021528169.tif 000018
【手続補正書】
【提出日】令和3年1月25日(2021.1.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
生物学的情報を取得するための方法であって、当該方法は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するステップと、
該第１の画像に基づいて、前記動脈部分の複数の位置に対応する個々の脈波を検出するステップと、
前記検出した個々の脈波同士の間のシフト量を計算するステップと、
該シフト量を用いて、前記生物学的情報として、前記被検体の動脈流に関する指標情報を計算するステップと、を含む、
方法。
【請求項２】
前記動脈部分の深度情報を含む第２の画像を取得するステップと、
該第２の画像に含まれる前記深度情報に基づいて、前記シフト量に関連する動脈部分同士の間の距離を計算するステップと、をさらに含み、
前記指標情報を計算するステップは、前記計算した動脈部分同士の間の距離及び前記シフト量を用いて前記指標情報を計算するステップを含む、請求項１に記載の方法。
【請求項３】
前記動脈部分同士の間の前記距離を計算するステップは、
前記第２の画像から前景及び背景を分離するステップと、
前記前景の前記画像内の画素の特徴量に基づいて、検出ターゲットとしての前記動脈部分までの距離を計算するステップと、
該計算した距離を用いて前記動脈部分同士の間の前記距離を計算するステップと、を含む、請求項２に記載の方法。
【請求項４】
前記動脈部分同士の間の前記距離を計算するステップは、
前記深度情報に基づいて、前記動脈部分が位置する位置を推定するステップと、
該推定の結果を用いて、前記動脈部分同士の間の前記距離を計算するステップと、を含む、請求項２又は３に記載の方法。
【請求項５】
前記脈波を検出するステップは、前記第１の画像に含まれる前記動脈部分が位置する前記位置に対応する時系列信号をアップサンプリングすることによって前記脈波を検出するステップを含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記指標情報を出力するステップをさらに含む、請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
前記指標情報は脈波伝播速度（ＰＷＶ）である、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記動脈部分は頸動脈の一部である、請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記第１の画像は、近赤外線カメラを用いて取得される、請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
前記第２の画像は、深度センサを用いて取得される、請求項２乃至４のいずれか一項に記載の方法。
【請求項１１】
生物学的情報を取得するための装置であって、当該装置は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するための第１の取得ユニットと、
前記第１の画像に基づいて、前記動脈部分の複数の位置に対応する個々の脈波を検出するための検出ユニットと、
前記検出した個々の脈波同士の間のシフト量を計算するためのシフト量計算ユニットと、
前記シフト量を用いて、前記生物学的情報として、前記被検体の動脈流に関する指標情報を計算するための指標情報計算ユニットと、を含む、
装置。
【請求項１２】
前記動脈部分の深度情報を含む第２の画像を取得するための第２の取得ユニットと、
前記第２の画像に含まれる前記深度情報に基づいて、前記シフト量に関連する動脈部分同士の間の距離を計算するための計算ユニットと、をさらに含み、
前記指標情報計算ユニットは、前記計算した動脈部分同士の間の距離及び前記シフト量を用いて前記指標情報を計算するように構成される、請求項１１に記載の装置。
【請求項１３】
前記計算ユニットは、前記第２の画像から前景及び背景を分離し、前記前景の前記画像内の画素の特徴量に基づいて、検出ターゲットとしての前記動脈部分までの距離を計算し、該計算した距離を用いて前記動脈部分同士の間の前記距離を計算するように構成される、請求項１２に記載の装置。
【請求項１４】
前記計算ユニットは、前記深度情報に基づいて、検出ターゲットとしての前記動脈部分が位置する位置を推定し、該推定の結果を用いて、前記動脈部分同士の間の前記距離を計算するように構成される、請求項１２又は１３に記載の装置。
【請求項１５】
前記検出ユニットは、前記第１の画像に含まれる前記動脈部分が位置する前記位置に対応する時系列信号をアップサンプリングすることによって前記脈波を検出するように構成される、請求項１１乃至１４のいずれか一項に記載の装置。
【請求項１６】
前記指標情報を出力するための出力ユニットをさらに含む、請求項１１乃至１５のいずれか一項に記載の装置。
【請求項１７】
前記指標情報は脈波伝播速度（ＰＷＶ）である、請求項１１乃至１６のいずれか一項に記載の装置。
【請求項１８】
前記動脈部分は頸動脈の一部である、請求項１１乃至１７のいずれか一項に記載の装置。
【請求項１９】
前記第１の画像は、近赤外線カメラを用いて取得される、請求項１１乃至１８のいずれか一項に記載の装置。
【請求項２０】
前記第２の画像は、深度センサを用いて取得される、請求項１２から１４のいずれか一項に記載の装置。
【請求項２１】
装置であって、当該装置は、
請求項１１乃至２０のいずれか一項に記載の装置と、
前記第１の画像を画像化するように構成された近赤外線カメラと、
前記指標情報を取得し、前記複数の動脈部分の深度情報を取得するために使用される深度センサと、を含む、
装置。
【請求項２２】
コンピュータが、請求項１乃至１０のいずれか一項に記載の方法を実行するのを可能にするためのプログラムを記録する、コンピュータ可読記憶媒体。
【請求項２３】
コンピュータが、請求項１乃至１０のいずれか一項に記載の方法を実行するのを可能にするためのコンピュータプログラム。
【国際調査報告】
2021528169.tif 000019
2021528169.tif 000020