(57)【要約】      （修正有）【課題】マルチスペクトル医用撮像装置は標的組織を証明するよう配置される照明装置を含む。照明装置は異なる近赤外波長帯の光を発光する。【解決手段】装置１０は、対物レンズ１６、標的組織２４から反射される画像フレームをキャプチャするように位置付けられる近赤外イメージセンサ２０、及び標的組織から反射される画像フレームをキャプチャするように位置付けられる可視光イメージセンサ２２を更に含む。プロセッサ４６は、標的組織を照明するように複数の照明装置１２，１４の近赤外光出力を変調するように構成される。プロセッサは、近赤外イメージセンサによってキャプチャされた画像フレームからの反射強度を決定し、この反射強度を用いて標的組織の動的組織酸素飽和度マップを生成するように更に構成される。装置は、動的組織酸素飽和度マップを表示するために、プロセッサに接続された出力装置を更に含む。【選択図】図１
2020011079.tif 000002
【特許請求の範囲】
【請求項１】
マルチスペクトル医用撮像装置であって、
標的組織を照明するように配置された複数の照明装置であって、異なる近赤外波長帯の光を発光するように構成された複数の照明装置と、
対物レンズと、
前記対物レンズを通じて前記標的組織から反射された画像フレームをキャプチャするよう位置付けられた近赤外イメージセンサと、
前記対物レンズを通じて前記標的組織から反射された画像フレームをキャプチャするよう位置付けられた可視光イメージセンサと、
前記近赤外イメージセンサ、前記可視光イメージセンサ及び前記複数の照明装置に接続されたプロセッサであって、前記標的組織を照明するために前記複数の照明装置の近赤外光出力を変調するように構成され、更に、前記近赤外イメージセンサによってキャプチャされた前記画像フレームからの反射強度を決定し、前記反射強度を用いて前記標的組織の動的組織酸素飽和度マップを生成するように構成されたプロセッサと、
前記動的組織酸素飽和度マップを表示するための、前記プロセッサに接続された出力装置と、
を含む、装置。
【請求項２】
請求項１に記載の装置であって、前記プロセッサは、前記反射強度を参照基準と比較することによって前記標的組織の前記動的組織酸素飽和度マップを生成するように構成される、装置。
【請求項３】
請求項１に記載の装置であって、前記複数の照明装置は、前記対物レンズの周囲に環状に配置される、装置。
【請求項４】
請求項１に記載の装置であって、前記複数の照明装置は、公称ピーク波長が約７４０、７８０、８５０、及び９４０ｎｍである近赤外波長帯を有する４以上の照明装置を含む、装置。
【請求項５】
請求項１に記載の装置であって、
前記対物レンズと、前記近赤外イメージセンサおよび前記可視光イメージセンサとの間に位置付けられたダイクロイックビームスプリッタを更に含み、前記ダイクロイックビームスプリッタは、前記近赤外イメージセンサと前記可視光イメージセンサとの間の前記対物レンズからの光を分割するように配置される、装置。
【請求項６】
請求項１に記載の装置であって、前記標的組織を可視光で照明するように配置される白色光照明装置を更に含む、装置。
【請求項７】
請求項１に記載の装置であって、前記出力装置は、臨床医が見る用のディスプレイを含む、装置。
【請求項８】
請求項１に記載の装置であって、前記出力装置は、前記動的組織酸素飽和度マップを前記標的組織上の皮膚表面に投影するよう位置付けられたプロジェクターを含む、装置。
【請求項９】
請求項１に記載の装置であって、前記プロセッサは、前記複数の照明装置を順次駆動することによって前記標的組織を照明するために前記複数の照明装置を変調するように構成され、前記画像フレームのシーケンス内の各画像フレームは、異なる波長帯による前記標的組織の照明に対応する、装置。
【請求項１０】
請求項９に記載の装置であって、前記プロセッサは、前記照明装置の各々による前記標的組織の照明に対応する画像フレームのウィンドウ上でローリング処理を行うように構成される、装置。
【請求項１１】
請求項９に記載の装置であって、前記動的組織酸素飽和度マップのフレームレートは、前記複数の照明装置の全ての変調周波数の組み合わせにほぼ等しい、装置。
【請求項１２】
請求項１に記載の装置であって、前記プロセッサは、前記近赤外イメージセンサによってキャプチャされた画像フレームに動き補正を実行するように更に構成され、
前記動き補正は、前記画像フレームから参照フレームを選択し、前記画像フレームの１以上の後続のフレームについて画像レジストレーション係数を算出することを含む、
装置。
【請求項１３】
請求項１２に記載の装置であって、前記画像レジストレーション係数を算出することは、前記参照フレームおよび前記１以上の後続のフレームに空間変換を行うことを含む、装置。
【請求項１４】
請求項１２に記載の装置であって、前記画像レジストレーション係数を算出することは、前記参照フレームと前記１以上の後続のフレームとに特徴検出を行うことを含む、装置。
【請求項１５】
請求項１２に記載の装置であって、前記プロセッサは、前記近赤外イメージセンサによってキャプチャされた画像フレームのサブ領域を用いて動き補正のために画像レジストレーション係数を算出するように更に構成され、前記サブ領域は、前記画像フレームのサイズよりも小さい寸法を有し、前記画像フレームの端部から離間して位置付けられる、装置。
【請求項１６】
請求項１２に記載の装置であって、前記プロセッサは、前記可視光イメージセンサによってキャプチャされた画像フレームに動き補正を行うように更に構成される、装置。
【請求項１７】
請求項１６に記載の装置であって、前記動き補正は、前記標的組織上の皮膚表面上のインクマークの検出を含む特徴検出を行うことを含む、装置。
【請求項１８】
請求項１６に記載の装置であって、前記動き補正は、前記標的組織上の皮膚上の体毛の検出を含む特徴検出を行うことを含む、装置。
【請求項１９】
請求項１８に記載の装置であって、前記動き補正は、前記標的組織の血管系の検出を含む特徴検出を行うことを含む、装置。
【請求項２０】
請求項１に記載の装置であって、前記プロセッサは、前記標的組織上の皮膚のメラニンの補正を決定するために前記可視光イメージセンサの出力を利用し、更に、前記近赤外イメージセンサによってキャプチャされた前記画像フレームの前記反射強度に前記補正を適用するように更に構成される、装置。
【請求項２１】
請求項２０に記載の装置であって、前記プロセッサは、可視光反射強度とメラニン濃度との間の所定の関係から前記補正を決定するように構成される、装置。
【請求項２２】
請求項１に記載の装置であって、
前記プロセッサは、前記標的組織を照明しないように全ての前記照明装置を制御する際、前記標的組織の１以上の周辺赤外画像をキャプチャするために前記近赤外イメージセンサを用いるように更に構成され、
前記プロセッサは、前記周辺赤外画像を前記キャプチャされた画像フレームから減算するように更に構成される、
装置。
【請求項２３】
請求項２２に記載の装置であって、前記プロセッサは、周辺赤外画像を繰り返しキャプチャし、続いてキャプチャされる画像フレームから最新の周辺赤外画像を減算するように更に構成される、装置。
【請求項２４】
請求項２２に記載の装置であって、前記プロセッサは、閾値を超える周辺赤外照明の変化に基づいて前記周辺赤外画像のキャプチャをトリガーするように更に構成される、装置。
【請求項２５】
請求項２４に記載の装置であって、前記プロセッサに接続され、周辺赤外照明の前記変化を検出するように構成された周辺光センサーを更に含む、装置。
【請求項２６】
請求項２４に記載の装置であって、前記プロセッサに接続され、周辺赤外照明の前記変化を示唆する周辺可視照明の変化を検出するように構成された可視光イメージセンサを更に含む、装置。
【請求項２７】
請求項１に記載の装置であって、前記プロセッサは、前記動的組織酸素飽和度マップのうち、領域をマスクするように更に構成され、異なる近赤外波長帯の画像フレーム内の前記領域の強度は、前記標的組織の曲率の閾値を示す、装置。
【請求項２８】
請求項１に記載の装置であって、前記プロセッサは、前記動的組織酸素飽和度マップのフレームのシーケンスに、前記動的組織酸素飽和度マップの参照フレームに対する時間差操作を行うように更に構成される、装置。
【請求項２９】
請求項１に記載の装置であって、前記プロセッサは、静脈又は動脈閉塞を判定するために、ある期間における前記標的組織内のヘモグロビンの不飽和化速度を算出するために前記画像フレームを用いるように更に構成される、装置。
【請求項３０】
請求項１に記載の装置であって、前記プロセッサは、前記動的組織酸素飽和度マップを生成する際に、前記画像フレームを用いて前記標的組織内の静脈を識別し、反射強度を変更して前記静脈における酸素化又は脱酸素化を補償するように更に構成される、装置。
【請求項３１】
請求項１に記載の装置であって、前記標的組織上の皮膚表面に複数のレーザーポイントを発光するように位置付けられる１以上のレーザーを更に含み、前記レーザーポイントは、前記標的組織に対する前記装置の手動による位置決めを補助するものである、装置。
【請求項３２】
請求項３１に記載の装置であって、前記皮膚表面から反射された前記レーザーポイントからの光をキャプチャするための前記プロセッサに接続された可視光イメージセンサを更に含み、前記プロセッサは、前記動的組織酸素飽和度マップに前記レーザーポイントを含めるように更に構成される、装置。
【請求項３３】
請求項３１に記載の装置であって、前記１以上のレーザーは、前記動的組織酸素飽和度マップに前記レーザーポイントを含めるために、前記近赤外イメージセンサによって検出可能な赤外波長帯で前記複数のレーザーポイントを発光するように構成される、装置。
【請求項３４】
請求項３１に記載の装置であって、レーザー光の線を前記標的組織上の前記皮膚表面に発光するように構成された光学系を更に含み、前記レーザー光の線は、前記レーザーポイントを含む、装置。
【請求項３５】
請求項３４に記載の装置であって、前記レーザー光の線は矩形の箱として配置される、装置。
【請求項３６】
請求項１に記載の装置であって、
前記標的組織上の皮膚表面に第１位置決めレーザースポットを発光するために、前記対物レンズの光軸からの第１オフセット距離に配置され、前記光軸に対して第１角度を有して照準される第１位置決めレーザーと、
前記皮膚表面に第２位置決めレーザースポットを発光するために、前記対物レンズの前記光軸からの第２オフセット距離に配置され、前記光軸に対して第２角度を有して照準される第２位置決めレーザーと、を更に含み、
前記第１及び第２角度は、前記光軸を含む異なる平面上にあり、前記第１及び第２オフセット距離及び前記第１及び第２角度は、前記標的組織が前記対物レンズからの標的距離にある際に、前記第１位置決めレーザースポット及び第２位置決めレーザースポットが前記光軸において一致するように選択される、
装置。
【請求項３７】
請求項３６に記載の装置であって、前記第１及び第２オフセット距離及び前記第１及び第２角度は、前記対物レンズから前記標的組織までの距離が前記標的距離よりも大きい場合には前記第１及び第２位置決めレーザースポットを前記対物レンズの前記光軸の一方の側に位置させ、前記対物レンズから前記標的組織までの距離が前記標的距離よりも小さい場合には前記第１及び第２位置決めレーザースポットを前記標的の逆側に位置させるように構成される、装置。
【請求項３８】
請求項３６に記載の装置であって、前記第１及び第２位置決めレーザーは、前記対物レンズの光軸を中心とした円上で約９０度離間するように位置付けられる、装置。
【請求項３９】
請求項１に記載の装置であって、前記プロセッサは、メモリに格納された変位係数を用いて、キャプチャされた可視光画像フレームを、キャプチャされた近赤外画像フレームと位置合わせさせるように更に構成され、前記変位係数は、前記近赤外イメージセンサと前記可視光イメージセンサとの両方によってキャプチャされた１以上の標準画像に対して行われた画像レジストレーションに基づいてあらかじめ決定されている、
装置。
【請求項４０】
マルチスペクトル医用撮像の方法であって、
異なる近赤外波長帯の変調光で標的組織を照明すること、
前記標的組織から反射された近赤外画像フレームをキャプチャすること、
前記標的組織から反射された可視光画像フレームをキャプチャすること、
前記近赤外画像フレームからの反射強度を決定すること、
前記可視光画像フレームからの情報を用いて前記近赤外画像フレームの前記反射強度を補正すること、
前記反射強度を用いて前記標的組織の動的組織酸素飽和度マップを生成すること、及び
前記動的組織酸素飽和度マップを出力すること、
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医用撮像に関し、より具体的には、マルチスペクトル医用撮像装置及びその方法に関する。
【背景技術】
【０００２】
マルチスペクトル医用撮像は、血管及び組織の酸素化を測定するために用いられてきた。それは重要なツールである。定量化された酸素化データは、患者により良い治療を提供する上で医療専門家を補助可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
マルチスペクトル医用撮像の最先端技術には、様々な欠点がある。一部のツールには、組織の小さな領域のスポット測定の機能しかない。その他のツールは、静止画像、又は低フレームレートの動画しか提供できず、臨床評価をより困難にする可能性がある。一部のツールは、患者の標的領域の位置決め及び照準を正確かつ繰り返し行うための簡便な方法を有さない。更に、天井照明等の周囲条件、及び皮膚色等の患者固有の事項が、測定に悪影響を及ぼすことがしばしばある。
【０００４】
マルチスペクトル医用撮像の分野には改善の必要性がある。
【課題を解決するための手段】
【０００５】
本発明の一の態様によれば、マルチスペクトル医用撮像装置は、標的組織を照明するように配置された照明装置を含む。該照明装置は、異なる近赤外波長帯の光を発光するように構成される。該装置は更に、対物レンズ、前記対物レンズを通じて前記標的組織から反射された画像フレームをキャプチャするよう位置付けられた近赤外イメージセンサ、前記対物レンズを通じて前記標的組織から反射された画像フレームをキャプチャするように位置付けられた可視光イメージセンサを含む。プロセッサは、前記近赤外イメージセンサと、前記可視光イメージセンサと、前記複数の照明装置とに接続される。該プロセッサは、前記標的組織を照明するように前記複数の照明装置の近赤外光出力を変調するように構成される。該プロセッサは更に、前記近赤外イメージセンサによってキャプチャされた前記画像フレームからの反射強度を決定し、前記反射強度を用いて前記標的組織の動的組織酸素飽和度マップを生成するように構成される。該装置は更に、前記動的組織酸素飽和度マップを表示するための、前記プロセッサに接続された出力装置、を含む。
【図面の簡単な説明】
【０００６】
図面は、例示のみを目的とし、本発明の実施形態を図示する。
【図１】マルチスペクトル医用撮像装置のブロック図である。
【図２】筐体を含むマルチスペクトル医用撮像装置の一部の斜視図である。
【図３】キャプチャされた画像フレームのローリング処理の模式図である。
【図４】キャプチャされた画像フレームに対して行われる酸素飽和度計算の機能ブロック図である。
【図５】酸素飽和度計算に用いられる差分処理の図である。
【図６】メラニン補正操作の図である。
【図７】メラニン補正パラメータのグラフである。
【図８】動き補正処理を示す図である。
【図９】例示的な酸素飽和濃度と曲面マスクを示す例示的な出力画像である。
【図１０】曲面マスクを決定する処理のフロー図である。
【図１１】酸素飽和度の動的差分マップを生成する処理を示す図である。
【図１２】レーザー枠決めアレイの模式図である。
【図１３】レーザー枠決めアレイの使用を示す模式図である。
【図１４】別のレーザー枠決めアレイの模式図である。
【図１５】レーザー位置決めアレイの斜視図である。
【図１６】図１６Ａ〜１６Ｃはレーザー位置決めアレイの使用を示す図である。
【図１７】シミュレートされた静脈閉塞及びシミュレートされた動脈閉塞への装置の応答を示すグラフである。
【発明を実施するための形態】
【０００７】
本明細書に記載されるマルチスペクトル医用撮像装置及び方法は、反射強度を測定し、それを反射標準と比較する。周辺光減算とメラニン補正も説明される。ニアビデオ又はビデオフレームレートがリアルタイムで達成可能である。処理のオーバーヘッドを軽減しフレームレートを向上するために、ローリング処理の技術と対数差分処理が用いられてよい。動き補正を行うために画像レジストレーション（Ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ）が用いられてよい。曲率の高い領域、及び血管系を含む領域は、処理された酸素飽和濃度画像から削除又はマスクされてよい。差分モードは、参照フレームに対する酸素飽和度の差分を観察することを可能にする。標的組織に対する装置の適切な位置決めを補助するために、レーザー枠決めアレイ及びレーザー位置決めアレイ（Ｌａｓｅｒ  ｆｒａｍｉｎｇ  ａｎｄ  ｐｏｓｉｔｉｏｎｉｎｇ  ａｒｒａｙｓ）が更に提供される。
【０００８】
本明細書で説明される分光技術は、標的組織における３つの要素、すなわち酸化ヘモグロビン、脱酸素化ヘモグロビン、及びメラニン、の濃度を決定するために用いることができる。対象の組織は、近赤外（ＮＩＲ）光によって照明され、この光の一部は酸化ヘモグロビン、脱酸素化ヘモグロビン、及びメラニンによって吸収され、一部の光は散乱される。吸光量は、波長及び各要素の濃度に依存する。散光は、波長及び路長に依存する。乱反射された光は近赤外イメージセンサによってキャプチャされる。近赤外光の異なる波長帯から乱反射された光をキャプチャすることで、３つの要素の濃度と、散乱光の量とを決定することができる。測定されたメラニン濃度は、酸化ヘモグロビン及び脱酸素化ヘモグロビンの濃度を補正するために用いることができる。可視スペクトル内の光も、キャプチャ及び処理されてよい。これらの特徴ならびに他の特徴、及び本発明の側面が、以下に説明される。
【０００９】
図１は、本発明の一の実施形態によるマルチスペクトル医用撮像装置１０の図を示す。
【００１０】
マルチスペクトル医用撮像装置１０は、複数の照明装置１２及び１４、対物レンズ１６、ビームスプリッタ１８、近赤外イメージセンサ２０、及び可視光イメージセンサ２２を含む。
【００１１】
近赤外照明装置１２は、標的組織２４を照明するように配置される。近赤外照明装置１２は、異なる近赤外波長帯の光２６を発光するように構成される。可視光照明装置１４は、標的組織２４を、白色光等の可視スペクトラムの光２８で照明するように配置される。照明装置１２、１４によって発光された近赤外光及び可視光２６、２８は、以下に説明されるとおり、標的組織の同じ一般領域に時系列的に当たる。照明装置１２、１４は、適切な波長の発光ダイオード（ＬＥＤ）を含み得る。照明の均一性を向上するために、１以上のフライアイ集光レンズが照明装置１２、１４の光路内に設けられてよい。多くの実装において、可視光照明装置１４は省略され得る。
【００１２】
本実施例では、近赤外照明装置１２は、公称ピーク波長が約７４０、７８０、８５０、及び９４０ｎｍである近赤外波長帯を有する４つのＬＥＤである。
【００１３】
対物レンズ１６は、標的組織２４から反射された光３０をキャプチャし、該キャプチャされた光３０をビームスプリッタ１８に向けて配向するように位置付けられる。対物レンズ１６は任意の適切な種類及び構成であってよい。リレー光学系も備えられ得る。一の例において、分析されるべき標的組織２４の領域のサイズは約２００ｍｍ×約１５０ｍｍであり、対物レンズ１６はこのような面積に合わせて適切に選択されることができる。
【００１４】
ビームスプリッタ１８は、ダイクロイックビームスプリッタ又は同様の光学装置であってよい。ビームスプリッタ１８は、対物レンズ１６から受信されたキャプチャされた光３０を、近赤外光３２及び可視光３４へと分割するように配置される。ビームスプリッタ１８はキャプチャされた近赤外光３２を近赤外イメージセンサ２０に向けて配向し、キャプチャされた可視光３４を可視光イメージセンサ２２に向けて配向するように配置される。一の例において、ビームスプリッタ１８は、約７００ｎｍ未満の波長を可視光イメージセンサ２２へと配向し、約７００ｎｍより大きい波長を近赤外イメージセンサ２０へと配向する。
【００１５】
近赤外イメージセンサ２０は、標的組織２４から反射された近赤外光３２を対物レンズ１６経由でキャプチャするように配置される。近赤外イメージセンサ２０は近赤外光３２を、適切なビデオフレームレートを超える（例えば、２４フレーム／秒（ＦＰＳ）より大きい）波長のシーケンス画像フレームとしてキャプチャするように構成される。異なる近赤外波長帯の隣接フレームが、ビデオフレームレート（２４ＦＰＳ）のような低下されたフレームレートの酸素飽和度フレームのシーケンスとして組み合わせられて、以下に詳述する動的組織酸素飽和度マップを作成する。近赤外イメージセンサ２０は、近赤外波長への感度が高い相補型金属酸化物半導体（ＣＭＯＳ）素子を含み得る。
【００１６】
可視光イメージセンサ２２は、標的組織２４から反射された可視光３４を対物レンズ１６経由でキャプチャするように配置される。可視光画像フレームは、近赤外光３２をキャプチャする画像フレームのシーケンスに含まれてよく、近赤外波長帯の各々と同じレート又はそれ以下でキャプチャされてよい。可視光センサー２２は、ベイヤーマスクされたＲＧＢ  ＣＭＯＳ素子を含み得る。
【００１７】
マルチスペクトル医用撮像装置１０は、照明ドライバー４０、画像キャプチャバッファ４２、メモリ４４、プロセッサ４６、ディスプレイ４８、及びユーザーインターフェース５２を更に含む。
【００１８】
照明ドライバー４０は、プロセッサ４６に接続されている。照明ドライバー４０は、駆動力を照明装置１２、１４へ制御可能に提供し、プロセッサ４６によって制御されるシーケンスに従って照明装置１２、１４を動作させる回路である。
【００１９】
画像キャプチャバッファ４２は、イメージセンサ２０、２２に接続されたメモリを含み、近赤外イメージセンサ及び可視光イメージセンサ２０、２２によってキャプチャされた画像フレームをバッファするように動作可能である。画像キャプチャバッファ４２は、プロセッサ４６に接続され、プロセッサ４６が画像フレームのキャプチャシーケンスを制御できるようにする。画像キャプチャバッファ４２は更に、キャプチャ及び／又は処理された画像フレーム用の格納領域を提供するメモリ４４に接続される。
【００２０】
メモリ４４はプロセッサ４６に接続され、キャプチャ及び／又は処理された画像フレームと、本明細書に記載の機能を実装するためにプロセッサ４６によって実行可能な１以上のプログラムとを格納する。メモリ４４は、一時変数及び中間処理値又は画像用の短期的なワーキングメモリ領域を提供する。メモリはまた、動的組織酸素飽和度マップの不確定な記録等の長期的格納も提供できる。メモリ４４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ、光学格納ドライブ等の個別の装置又は装置の組み合わせを含んでよい。
【００２１】
プロセッサ４６は、任意の種類のマイクロプロセッサ、中央処理装置（ＣＰＵ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等であり得る。プロセッサ４６は、１以上のプログラムによって、照明装置１２、１４によって出力される近赤外光及び可視光２６、２８を変調して標的組織２４を照明するように構成される。プロセッサ４６は、照明装置１２、１４を順次駆動して画像フレームを順次キャプチャすることによって、標的組織２４を照明するように照明装置１２、１４を変調することができ、ここで各画像フレームは異なる波長帯による標的組織の照明に対応する。プロセッサ４６は、イメージセンサ２０、２２によってキャプチャされた画像フレームから反射強度を決定し、反射強度を用いて標的組織２４の動的組織酸素飽和度マップを生成するように、１以上のプログラムによって更に構成される。これは以下に詳述する。
【００２２】
ディスプレイ４８は、プロセッサ４６に接続され、動的組織酸素飽和度マップ５０を表示するように構成された出力装置であって、表示はリアルタイム及び／又はビデオフレームレートで行われ得る。ディスプレイ４８は、臨床医又は装置１０を操作するその他のユーザーが簡便に見ることができるように位置付けられてよい。追加又は代替の出力装置は、組織そのものの上に重ねて表示されるように、動的組織酸素飽和度マップを標的組織２４に投影するプロジェクターである。
【００２３】
ユーザーインターフェース５２は、プロセッサ４６に接続され、ボタン、スイッチ、ダイヤル、ディスプレイ４８のタッチ式素子、これらの組み合わせ、等のユーザーインターフェース制御を含んでよい。ユーザーインターフェース５２は、電源のオン／オフ、様々な要素のオン／オフ（例えば、レーザーの枠決め／ピント合わせ）、設定の調整（例えば、本明細書に記載する閾値又はパラメータ）、及び、後述する時間差操作用の参照フレームの選択等の選択を含む、臨床医によるマルチスペクトル医用撮像装置１０の制御を可能にする。
【００２４】
マルチスペクトル医用撮像装置１０は、レーザー位置決めアレイ（ｌａｓｅｒ  ｐｏｓｉｔｉｏｎｉｎｇ  ａｒｒａｙ）６０及びレーザー枠決めアレイ（ｌａｓｅｒ  ｆｒａｍｉｎｇ  ａｒｒａｙ）６２のいずれか又は両方を更に含んでよい。レーザー位置決めアレイ６０は、標的組織２４の一般的な方向にレーザー光線を照射するよう配置されたダイオードレーザー等の２つのレーザー源６４を含む。位置決めスポットが標的組織上に照射され、装置１０は標的組織から遠ざかる又は近づくように前後に移動されて、位置決めスポットを移動させることができる。位置決めスポットは、対物レンズ１６の正確なピント合わせ位置に達しているか、又は、正確なピント合わせ位置に達するために装置１０を標的組織２４に近づける又は遠ざけるように移動されるべきかを示すために用いられる。これは以下に詳述する。
【００２５】
レーザー枠決めアレイ６２は、標的組織２４に向けて１以上の光線を発光するよう配置されたダイオードレーザー等の１以上のレーザー源６６を含む。１以上のレーザーポイントが標的組織上に照射され、装置１０を回転、傾転、または移動させて、スポットを標的組織２４上に整列させることができる。これは、後続の酸素化測定セッション中に、対物レンズ１６から所望の測定位置に標的組織２４を繰り返し位置決めするのを補助できる。これは以下に詳述する。
【００２６】
マルチスペクトル医用撮像装置１０は、背景照明のレベル又は変化を検出するよう位置付けられる周辺光センサー６８を更に含み得る。周辺光センサー６８はプロセッサ４６に接続されており、可視光センサー、赤外光センサー、これらの組み合わせ、等であり得る。
【００２７】
マルチスペクトル医用撮像装置１０の構成要素の全て又は一部は、図２に示すとおり筐体５８内に設けられてよい。具体的には、筐体５８は対物レンズ１６用の開口を含んでよく、空間的に均一な照明を促進するために、照明装置１２、１４の全て又は一部が、対物レンズ１６の周囲の１以上の円環内に配置されてよい。
【００２８】
図３を参照すると、プロセッサ４６は、近赤外照明装置１２の各々による標的組織２４の照明に対応する画像フレーム７２のウィンドウ７０でローリング処理を行うように構成される。各画像フレーム７２は、近赤外照明装置１２の波長帯のうちの１つに対応する。すなわち、ローリングウィンドウ７０が図示の位置にある場合、波長帯λ１、λ２、λ３、λ４の連続する画像フレーム７２が組み合わせられて出力フレーム７４（「Ａ」と表記、対応するソース画像フレーム７２を示すためだけに幅広に図示されている）を形成する。次の画像フレーム７２（波長帯λ１）がキャプチャされると、ローリングウィンドウ７０は、波長帯λ２、λ３、λ４、λ１の連続する画像フレーム７２が組み合わせられて後続の出力フレーム７４（「Ｂ」と表記）が形成されるよう移動される。この処理は、出力フレームのシーケンスが動的組織酸素飽和度マップを形成するところのキャプチャシーケンスにわたって継続する。
【００２９】
把握可能なとおり、動的組織酸素飽和度マップのフレームレートは、近赤外照明装置１２によって出力される全波長帯の変調周波数の組み合わせにおよそ等しい。すなわち、新規の出力フレーム７４は、新規の近赤外画像フレーム７２の各々が近赤外イメージセンサ２０によってキャプチャされた後で生成可能である。出力フレームレートは、順次キャプチャされるよう、多数の異なる近赤外波長帯からこのようにして分離される。しかしながら、これは可視光イメージセンサ２２による可視光画像フレームのキャプチャを考慮していない。また、これは、近赤外照明装置１２がオフである際の近赤外イメージセンサ２０によってキャプチャされる周辺近赤外画像フレームを考慮していない。可視光画像フレーム及び周辺近赤外画像フレームは、必ずしも同じ周波数ではないが、近赤外画像フレーム７２と共にキャプチャされる。キャプチャされる可視光画像フレーム及び／又は周辺近赤外画像フレームの数が増加すると、全体の出力フレームレートが低下する場合がある。しかしながら、このような画像フレームは補正のために用いられることから、これは有益である場合がある。
【００３０】
図４は酸素飽和度計算を示す。
【００３１】
組織酸素飽和度は、ランベルト・ベールの法則に基づき、４つの異なる近赤外波長帯において空間的に分解された標的組織の反射を用いて酸化ヘモグロビン（ＨｂＯ２）と脱酸素化ヘモグロビン（Ｈｂ）の相対濃度（Ｃ）を決定する分光技術から導かれる。組織酸素飽和度は、以下の式に従ってプロセッサ４６によって算出可能である：
【数１】
2020011079.tif 000003
【００３２】
画像キャプチャバッファ４２（図１）は、キャプチャするべき近赤外波長帯λ１、λ２、λ３、λ４の各々について１以上の画像バッファ８０を含んでよい。画像バッファ８０は、ローリング処理について上述したように順次充填される。次の画像バッファ８０が充填された後、組織酸素飽和度ＳＴＯ２を求めるために酸素飽和度計算８２が行われる。すなわち、近赤外イメージセンサ２０によってキャプチャされた新規の近赤外画像フレームによって波長帯λ１の画像バッファ８０が充填されると、酸素飽和度計算８２が行われる。その後、近赤外イメージセンサ２０によってキャプチャされた新規の近赤外画像フレームによって波長帯λ２の画像バッファ８０が充填されると、酸素飽和度計算８２が再度行われる。画像バッファ８０の循環型の充填は、各充填の後に行われる新規の酸素飽和度計算８２と共に繰り返される。
【００３３】
酸素飽和度計算８２に先立って、背景又は周辺赤外放射の補正が行われてよい。周辺画像バッファ８４に格納された、キャプチャされた標的組織２４の周辺画像が、画像バッファ８０の各コンテンツから減算されてよい。結果はその後、周辺補正画像バッファ８６に転送される。
【００３４】
標的組織２４の周辺画像は、プロセッサ４６が近赤外照明装置１２をオフにし、さらに、画像フレームをキャプチャするように近赤外イメージセンサ２０を制御することによってキャプチャ可能である。これは、最新の周辺赤外画像を周辺画像バッファ８４に保持しつつ、例えば対象とする近赤外波長帯（例えばλ１、λ２、λ３、λ４）のキャプチャされたシーケンスの各々につき１回、といったように繰り返し行われてよい。別法として、これは、近赤外波長帯のキャプチャされたシーケンスＮ個につき１回といったように、より低い頻度で行われてよい。適切なＮの値は、期待される利用シナリオに基づいて決定できる。例えば、１秒に１回周辺画像フレームをキャプチャすれば十分であり得る（例えば２４ＦＰＳ、Ｎ＝２４）。別の例においては、１分に１回、もしくはより長い間隔で周辺画像フレームをキャプチャすれば十分であり得る。更に、プロセッサ４６と周辺画像バッファ８４は、２以上のキャプチャされた周辺画像の時間平均を算出して格納するよう構成されてよい。
【００３５】
別法として、閾値を超える周辺赤外照明の変化があったとプロセッサ４６が判定した際に周辺画像のキャプチャをトリガーするために、プロセッサ４６に接続された周辺光センサー６８を用いることができる。周辺光センサー６８は、変化を直接検出可能な赤外光センサーであってよい。別法として、周辺光センサー６８は、周辺赤外照明の変化を示唆する周辺可視光照明の変化を検出する可視光センサーであってよい。
【００３６】
差分処理、又は変化に基づいた処理８８が、周辺補正画像バッファ８６に格納された画像に行われる。各波長帯について、差分処理８８は、特定の波長帯の参照標準の役割を果たす参照画像９０の対数値を用いる。差分処理８８は、反射強度を酸化及び脱酸素化ヘモグロビンの濃度と関連付ける係数行列９２を更に参照する。これは処理のオーバーヘッドを軽減し、出力フレームレートを向上できる。
【００３７】
参照画像９０の対数値は、拡散反射率約１００％のキャプチャされた近赤外画像に基づいてあらかじめ算出されてよく、これらの値は、製造時に行われる初回のキャリブレーション処理中に確立されてよい。
【００３８】
差分処理８８は図５に詳しく示される。各近赤外波長帯の画像には、プロセッサ４６によって実行される同じ一般処理８８が行われる。
【００３９】
ステップ９４で、反射強度又は現在の画像フレームの値に対数関数が適用される。その後ステップ９６で、前フレーム９８の格納された対数値が、ステップ９４で取得された現在のフレームについて算出された対数値から減算される。続いてステップ１００において、ステップ９６の結果が参照画像９０の対数値から減算されて作業用差分（つまり一時値）を得る。ステップ１０２で、係数９２が作業用差分に適用されて濃度変化を得る。ステップ１０４は酸素化（ｏｘｙｇｅｎａｔｅｄ）及び脱酸素化（ｄｅｏｘｙｇｅｎａｔｅｄ）ヘモグロビン濃度の前回値を、ステップ１０２で得られた濃度変化によって更新することで、この波長帯の拡散反射強度を反映することを含む。ステップ１０６で、現在のフレームの対数値は、前フレーム９８の対数値として格納される。処理はその後、ステップ１０８において、次フレームに進む。
【００４０】
差分処理８８は、１以上の関数、プロシージャ、数式、アルゴリズム、これらの組み合わせ、等によって実装されてよい。ステップは例示的であり、異なる順序で行われたり、より大きなステップとして組み合わせたりされ得る。対数関数は、メモリ４４に格納されるルックアップテーブルとして実装されてよい。
【００４１】
係数行列９２の一例が、以下の数式に示される。式の左側は、様々な波長について近赤外イメージセンサ２０によってキャプチャされた光の強度を表す。Ａλ１〜Ａλ４は拡散反射率を表す。右側には２つの部分：定数部と変数部がある。定数部は、酸化ヘモグロビン（ＨｂＯ２）と脱酸素化ヘモグロビン（Ｈｂ）両方について、対象となる様々な近赤外波長の吸光係数εを表す項を含む。定数部は、あらかじめ計算され、係数行列９２に格納されてよい。変数部は、層メラニン分布の厚さを表す因数Ｌで修飾された、酸化ヘモグロビン（ＨｂＯ２）と脱酸素化ヘモグロビン（Ｈｂ）との濃度Ｃ、すなわち求めるべき値、を含む。
【数２】
2020011079.tif 000004
【００４２】
プロセッサ４６は、標的組織２４上の皮膚のメラニン補正７７を行うように構成されてよい。これは、メラニン（Ｍ）、脱酸素化ヘモグロビン（Ｈｂ）、及び酸化ヘモグロビン（ＨｂＯ２）を発色団として用いてランベルト・ベールモデルによって行われてよい。
【００４３】
対象となる各波長Ａλ１〜Ａλ４について測定された拡散反射率は、以下の数式によってモデル化されてよい。ここでＲＳは、特定の波長の測定されたとおりの光量を表し、ＲＯはその波長での参照画像の強度を表し、εＭはメラニンの吸光係数を表し、ＣＭは標的組織内のメラニン濃度を表す。
【数３】
2020011079.tif 000005
【００４４】
メラニンの影響は、測定されたとおりの光量を低下させる。メラニンの濃度ＣＭ及び厚さＬは、組み合わせられて一つのパラメータＺｍｅｌとなる。メラニン濃度の決定は、可視光イメージセンサ２２及びＺｍｅｌについてあらかじめ算出されたキャリブレーション曲線を用いて行われる。
【００４５】
可視光イメージセンサ２２の出力は、全体の画像バッファ４２（図１）の可視光画像バッファ７６に格納できる。この例において、メラニン補正はＣＩＥＬＡＢ色空間において行われる。可視光イメージセンサ２２としてＲＧＢセンサーが選択された場合、プロセッサ４６は色空間変換７８を行って、キャプチャされたＲＧＢ値からＬ＊ａ＊ｂ＊値を取得するように構成される。
【００４６】
プロセッサ４６は、補正パラメータＺｍｅｌの特定の値を、明るさＬ＊及び反対色次元ｂ＊の値を用いて得るように構成される。Ｌ＊及びｂ＊の値は、以下のような経験式によって特性角αと関連してよい：
【数４】
2020011079.tif 000006
【００４７】
特性角αはその後、図７に示すように、あらかじめ算出されたキャリブレーション曲線に適用されて、標的組織２４上の皮膚の補正パラメータＺｍｅｌの特定値を得る。キャリブレーション曲線は、基準器及び様々な皮膚色を用いて経験的に決定されてよい。キャリブレーション曲線はメモリ４４に格納されてよい。
メラニン補正パラメータＺｍｅｌの値が求められ、対象とする波長の近赤外光の強度ＲＳが測定されると、上記の式は、以下のような形式の、組織酸素飽和度ＳＴＯ２を求める２つの式となる：
【数５】
2020011079.tif 000007
ここで組織酸素飽和度ＳＴＯ２は判明しており、脱酸素化ヘモグロビン（Ｈｂ）及び酸化ヘモグロビン（ＨｂＯ２）濃度の２つが不明なままである（層厚さ因数Ｌは約分）。これら２つの式と２つの不明な要素を解くことで、酸素飽和度計算８２が形成される（図４）。
【００４８】
上記の式及び／又は計算は、可視光量とメラニン濃度との間の所定の関係としてメモリ４４（図１）に格納されてよい。
【００４９】
図８を参照すると、プロセッサ４６は、近赤外イメージセンサ２０によってキャプチャされた画像フレームに動き補正を行うように構成されてよい。
【００５０】
動き補正は、標的組織２４の１以上の画像フレーム内のポイントを、標的組織２４の別の画像フレーム内の対応するポイントと一致させる幾何学的変換を決定するために、画像レジストレーション技術を用いて行われる。
【００５１】
動き補正は、参照フレーム１１０の選択と、キャプチャされた画像フレームの１以上の後続のフレーム１１４、１１６についての画像レジストレーション係数１１２の算出を含んでよい。再度図４を参照すると、キャプチャされた画像バッファ８０又は周辺補正画像バッファ８６が、各波長帯に係る経時的に連続する画像フレームを格納するために用いられ得る。すなわち、各画像バッファ８０は、２以上の経時的に隣接する画像フレームを格納するように構成されてよく、又は、各画像バッファ８６はそれを格納するように構成されてよい。本明細書で述べる例において、３つの連続する画像近赤外フレームが動き補正に用いられる。動き補正は、連続する可視光画像フレームにも同様に行うことができる。
【００５２】
マルチスペクトル医用撮像装置１０に対する標的組織２４の運動が原因で、後続のフレーム１１４、１１６の実際の位置及び回転は、参照フレーム１１０のものとは異なり得る。
【００５３】
参照フレーム１１０は、マルチスペクトル医用撮像装置１０の特定の臨床セッションでキャプチャされた最初の画像フレームであり得る。すなわち、同じ参照フレーム１１０が、ある患者の撮像セッションの全期間（例えば数分）にわたって用いられ得る。このような場合、プロセッサ４６は、算出された画像レジストレーション係数の特定の閾値に基づいて過度の動き補正を決定し、臨床医に対して警告を発出するように構成されてよい。別法として、又は代替として、画像レジストレーション係数があまりにも多くの動き補正を要求する、又はあまりに不正確になるおそれを減らすために、新規の参照フレーム１１０が、例えば数秒おき、Ｍ個の画像フレーム毎（Ｍ＝１０、４０、１００等）、といったように、定期的に選択され得る。
【００５４】
画像フレーム１１０、１１４、１１６それぞれのサブ領域１１８、１２０、１２２が抽出され得て、画像フレーム１１０、１１４、１１６全体ではなく、サブ領域１１８、１２０、１２２において画像レジストレーション係数１１２の算出が行われ得る。サブ領域１１８は、画像フレーム１１０、１１４、１１６のサイズよりも小さく、画像フレームの端部から離間して配置される。この例において、各サブ領域１１８、１２０、１２２は、画像フレーム１１０、１１４、１１６それぞれの中心部である。サブ領域には、任意の適切なサイズが用いられ得る。例えば、各画像フレーム１１０、１１４、１１６が６４０×４８０ピクセルである場合、各サブ領域１１８、１２０、１２２は、中央に配置された３２０×２４０ピクセルの領域であり得る。
【００５５】
画像フレーム内には顕著な画像背景が存在しないと期待されるため、サブ領域１１８、１２０、１２２の利用は有利であり得る。すなわち、固定背景に対して移動するオブジェクトがないと期待される。むしろ、患者又は装置１０の移動によって、表示そのもの全体が移動し得る。したがって、新規の情報が視界に入り得て、既存の情報が視界を出ていき得る。サブ領域１１８、１２０、１２２は、移動中に共通であり続けた特徴を伝達し、それにより、動き補正を可能にする。更に、サブ領域はより小さいことから、画像レジストレーション処理全体を高速化することが可能である。
【００５６】
画像レジストレーション係数１１２の近似値１２４が、画像フレーム１１０、１１４、１１６のサブ領域１１８、１２０、１２２の空間変換１２８について相関分析１２６を行うプロセッサ４６によって決定され、これが、後続のフレーム１１４、１１６に移動近似１３０を提供する。
【００５７】
画像レジストレーション係数１１２の近似値１２４の決定後、プロセッサ４６はこの近似値１２４を用いて、後続の画像フレーム１１４、１１６のサブ領域１２０、１２２に移動及び回転近似を適用する。これは、サブ領域１２０、１２２を参照サブ領域１１８に粗く一致させる。プロセッサ４６はその後、おおよその移動を微調整１３４してレジストレーション係数１１２の最終値１３６を算出するために、画像フレーム１１０、１１４、１１６のおおよそ一致されたサブ領域１１８、１２０、１２２で特徴検出１３２を行う。
【００５８】
画像レジストレーション係数１１２の近似値１２４と画像レジストレーション係数１１２の最終値１３６とを別々に決定することで、おおよそ一致された画像において特徴検出が行われ、画像レジストレーションの速度を向上し、処理の需要を軽減できる。
【００５９】
近赤外イメージセンサ２０によってキャプチャされた近赤外画像フレームに関して、特徴検出１３２は標的組織２４の血管系の検出を含んでよい。血管系は、画像レジストレーション係数１１２の最終値１３６の算出を補助可能なエッジ及び強い特徴を示し得る。
【００６０】
可視光イメージセンサ２２によってキャプチャされた画像フレームに関して、標的組織２４上の皮膚の体毛。体毛はしばしば血管系の撮像では不要な特徴であり、体毛は強いエッジをもたらすことが判明していることから、特徴検出１３２によって具体的に標的にされてよい。追加で、又は代替として、特徴検出は、標的組織２４上の皮膚上のインクマークの検出を含んでよい。このようなマークは臨床医によって付けられてよい。
【００６１】
プロセッサ４６はその後、画像レジストレーション係数１１２の最終値１３６を用いて後続の画像フレーム１１４、１１６を参照画像フレーム１１０に一致させ、１以上の動き補正済み画像１４０を得るために画像マッピング１３８を行う。
【００６２】
図８に示す動き補正処理は、１以上の近赤外波長帯及び可視波長帯を含む、キャプチャされた各波長帯について行われてよい。画像レジストレーションの精度、及びそれによる動き補正の精度は、各波長帯が別個の特徴をもたらすことから、１以上の近赤外波長帯及び可視波長帯に行われた場合に向上できる。
【００６３】
動き補正のための上述の画像レジストレーション技術は、２つのイメージセンサ２０、２２によってキャプチャされた画像フレームを自動的に一致させて２つのイメージセンサ２０、２２同士の不一致を補正するためにも用いられてよい。不一致は、上述の動き補正処理と同様又は同一の処理によって補正可能な動きアーティファクトと見なすことができる。不一致の補正を達成するために、２つのイメージセンサ２０、２２によって標準パターンの１以上の画像がキャプチャされる。標準パターン画像はその後、変位係数を導くために画像レジストレーション処理で用いられる。この手順は、装置１０の耐用年数にわたってメモリ４４に格納可能な変位係数を決定するために製造時に一度行われてよい。動作時、プロセッサ４６は変位係数を参照し、２つのイメージセンサ２０、２２からキャプチャされた画像を互いに一致させる。これは、メラニン補正や可視光画像を参照するその他のあらゆる補正を向上させるために、近赤外画像と可視光画像との間のデジタル的な一致を提供しつつ、製造時に２つのイメージセンサ２０、２２の物理的な一致において若干の誤りを有利に許容する。
【００６４】
図９に示すように、動的組織酸素飽和度マップ５０から曲率の高い領域を省略するために、プロセッサ４６は、マスキングを行うように構成されてもよい。図９は、標的組織の動的組織酸素飽和度マップ５０のサンプル画像を示す。大きな中心部１５０は、疑似カラーで、本明細書に記載の技術を用いて決定された酸化／脱酸素化情報を含む。マップ５０の平面に対して曲率の高い領域は、臨床医による理解を向上させるために、酸化／脱酸素化情報を選択された視覚化と置換するためにマスクされている。曲率の高い領域へのマスクの例が１５２に示されている。
【００６５】
標的組織２４等の乱反射する面から観察される放射強度は、対物レンズ１６（図１）の視線と面法線との間の角度のコサインに正比例する。標的組織のいかなる曲面も、イメージセンサ２０、２２によってキャプチャされる光量を低下させ得る。曲面を原因とする酸素飽和度の値の誤りは、臨床医に誤った判断をさせ得る。マスクは、誤りが閾値の量よりも多い場所に適用されるように選択される。
【００６６】
マスク１５２を生成するために、各近赤外波長帯のキャプチャされた画像フレームが、隣接領域と比べた放射強度の低下量が閾値よりも大きい領域を識別するように分析される。一の例では、強度の変化量の閾値は２０％と選択されてよい。これはピクセル毎に行われてよい。マスクは、同じ出力フレーム７４を構成するキャプチャされた全ての近赤外画像フレーム７２（図２）に共通の、強度の低下量が閾値よりも大きいとプロセッサ４６が決定した領域に適用される。これはつまり、閾値に達する標的組織の曲率が、検討される領域に存在することを示す。
【００６７】
図１０のフロー図は、マスキング処理の例を示す。これは例示にすぎず、実装においては他の処理、アルゴリズム、又は計算が用いられ得る。
【００６８】
ステップ１６０において、現在の出力画像を構成する現在の近赤外画像フレームの現在の領域が分析される。現在の領域の強度値が、１以上の隣接領域のそれと比較される。各領域は、ピクセル又はピクセルの集合体であってよい。現在の領域の強度値が、隣接領域の強度値を閾値よりも大きく下回っていない場合、ステップ１６２ではこの領域にマスキングは行われず、ステップ１６４で現在の画像の次の領域が選択される。現在の領域の強度値が、隣接領域の強度値を閾値以上に下回る場合、かつ、ステップ１６６で決定されるように、現在の画像フレーム７２（図２）が出力フレーム７４に属する一連の画像フレームのうち分析される最後の画像フレーム７２である場合、現在の出力フレーム７４を構成する全ての画像フレーム７２についてステップ１６２の判定が真となり、ステップ１６８で領域がマスキングされる。それ以外の場合、ステップ１６６は、現在の出力フレームには分析されるべき画像フレームが他にあると判定し、ステップ１７０は次のこのような画像フレームを選択する。ステップ１６８で領域がマスクされるべきであると判定された後、処理はステップ１７２で次の出力フレームに進み、ステップ１６４でこのような出力フレームの最初の画像フレームの最初の領域が選択される。
【００６９】
マスキングの代替として、又はマスキングへの追加として、標的組織２４の曲率が判明している、もしくは推定又は算出可能である場合、１以上の曲率補正因数を適用して、曲率の影響を補償することが可能である。
【００７０】
同じく図９に示すように、プロセッサ４６は、近赤外画像フレームを用いて標的組織２４における血管を識別し、動的組織酸素飽和度マップ５０から血管を省略するように更に構成されてよい。測定された反射強度は、血管における酸化／脱酸素化の影響を補償して表示から血管を効果的に隠ぺいし、組織の酸素化の可視化に無関係の情報を省略するように変更されてよい。血管を検出するための近赤外画像フレームの反射強度の分析は、等吸収点の両側を分析することを含んでよい。
【００７１】
動き補正に関して上述した特徴検出技術は、血管補償を達成するために実装されてよい。プロセッサ４６は、血管の境界と内側とを検出し、血管領域を強調して可視化するために特徴検出を実行するよう構成されてよい。プロセッサ４６は、動的組織酸素飽和度マップを検出された血管領域から決定された１以上のマスクで変更するように構成されてよい。追加で、又は代替として、装置１０は、動的組織酸素飽和度マップへの血管の寄与の表示を、ディスプレイ４８を通じて出力するように構成されてよい。このような表示は、血管の輪郭、又は同様の可視化を含み得る。
【００７２】
図１１に示すように、プロセッサ４６は、動的組織酸素飽和度マップのフレームのシーケンスに時間差操作を実行するように更に構成されてよい。時間差操作は、動的組織酸素飽和度マップの参照フレームに対する酸素飽和度を示す。
【００７３】
本明細書に記載の技術で測定された出力フレーム７４のシーケンスは、リアルタイムで出力されるか、メモリから再生されてよい。出力フレーム７４は、標的組織の動的組織酸素飽和度マップを形成する。このような出力フレーム７４の１つが、参照フレームとして選択されてよい。参照フレーム１８０を後続の出力フレーム７４から減算して差分フレーム１８４を得るのには、差分処理１８２を用いることができる。差分処理１８２は、単純差分、又は高次差分であってよい。差分フレーム１８４は、リアルタイムで出力されるか、動的組織酸素飽和度マップとしてメモリから再生されてよい。動的組織酸素飽和度マップが記録されている間、参照フレーム１８０よりも早い出力フレーム７４について、差分フレーム１８４も上述のように計算されてよい。
【００７４】
造影剤を必要とすることなく参照に対する酸素飽和度の変化を観察及び記録するために、臨床医によって特定の参照フレーム１８０が選択されてよい。これは、穿通枝のかん流の制限を分析することを容易にできる。例えば、臨床医はまず対象となる穿通枝をクランプ／ブロックし、特定の期間（例えば２分）待機してから現在の出力フレーム７４を参照フレーム１８０として設定する。その後、臨床医はクランプ／ブロックされた穿通枝を解放／開放する。差分マップ（解放前と解放後）を用いて、穿通枝によって供給されている組織の面積を定量化可能であり、また、穿通枝のかん流の制限を識別可能である。更に、かん流制限試験を一連の穿通枝の各々に対して繰り返し、動的組織酸素飽和度マップを用いて各穿通枝によって供給されている面積を定量化することで、臨床医は主要な穿通枝を識別可能である。
【００７５】
レーザー枠決めアレイ６２の例が図１２に示される。レーザー６６の各々が、標的組織上の皮膚表面にレーザーポイント１９０を照射するように位置付けられている。レーザーポイントは、標的組織２４に対する装置１０の手動による位置決めを補助するためものである。レーザー源６６は、例えば図示のような矩形といった、任意の適切な配置でポイント１９０を提供するために配置されてよい。ポイントで定義された領域は、組織の酸素化のマルチスペクトル撮像の対象領域１９２と見なされてよい。２以上の任意の数のレーザー源６６が用いられ得る。
【００７６】
レーザー源３０は、任意の適切な波長を有するよう選択され得る。可視光レーザーが用いられる場合、皮膚表面から反射されたレーザーポイントからの光を可視光イメージセンサ２２がキャプチャ可能である。プロセッサ４６は、可視光画像フレームからポイント１９０を抽出して、ポイント１９０又はその表現を出力画像フレームに挿入することによって、動的組織酸素飽和度マップにレーザーポイント１９０を含めるように更に構成されてよい。可視光レーザーは、近赤外画像処理に干渉せず、酸素化マップに大きく影響しないという利点がある。近赤外レーザーが用いられる場合、近赤外イメージセンサ２０が画像キャプチャ手順の一部として本質的にポイント１９０をキャプチャするよう、適切な近赤外波長が選択されてよい。レーザーポイント１９０はその後、追加の処理なしに、動的組織酸素飽和度マップに含められる。しかしながら、酸素化計算を行う際に、レーザーポイント１９０を検出して無視するよう、プロセッサ４６が更に構成されることが望ましい。
【００７７】
患者の同じ解剖学的領域の異なる時点における画像を比較できることは、臨床的に有用であり得る。手順の計画のための手順の前評価、又は進捗をモニター又は評価するための後評価の一環として、これらの画像は、１つの手順における異なる時点、数分おき又は数時間おき、又は数日おき又は数週間おき、において取得され得る。別々のセッションで取得された画像は、同じ解剖学的領域を同じ縮尺及び回転で比較するために、一致させられるべきである。レーザー枠決めアレイ６２は、対物レンズ１６を撮像される表面に対して垂直に位置決めする際に、装置１０のユーザーを視覚的に補助する役割を果たす。上述の例においては、ポイント１９０が対象領域１９２の周囲に矩形を形成することが期待されるだろう。いかなる傾き（キーストーン又は台形を定義する点）も、標的組織又は装置１０の再位置決めが必要であり得ることを臨床医に示すだろう。
【００７８】
図１３を参照すると、レーザーポイント１９０は、キャプチャされた画像に記録されてよい。したがって、以前に記録された画像１９６内の記録されたレーザーポイント１９４は、対物レンズによる標的の画像と、現在投影されているレーザーポイント１９０との間に、容易に識別される視覚的参照を形成できる。このように、新規の画像をキャプチャする臨床医は、以前に記録された画像１９６と新規の画像のそのような特徴２００との間の解剖学的特徴１９８（すなわち、血管、体毛、臍、辺縁）、ならびに、記録された画像１９６内のレーザーポイント１９４と比較した新規の画像内のレーザーポイント１９０、の両方を手動で一致させることができる。手動による一致は、標的と装置のいずれか又は両方の移動／回転を含んでよい。
【００７９】
図１３にも示すように、装置１０の筐体５８において、レーザー源６６が対物レンズの近傍に搭載され得て、対物レンズの主光軸とおおよそ同じ方向に照準される。
【００８０】
記録された画像と新規の画像の解剖学的特徴２００と１９８との間で一見正確な一致がなされているもののレーザーポイント１９０と１９４との間に差異がある場合、プロセッサ４６は双一次変換等の空間変換を適用して２つの画像間の空間的差異を補正できる。これは、２つの画像間の正規性／傾斜の微小な差異を補正するために用いることができる。
【００８１】
格納された画像と新規の画像との間の正確な一致は、組織の酸素化の正確な局所的変化についての精密な比較を可能にする。これは、臨床医が治療を向上させる、及び／又は介入を開始することを可能にする。
【００８２】
図１４は、レーザー枠決めアレイ６２として用いるのに適した別のレーザー枠決めアレイ２０４を図示する。標的組織上の皮膚表面にレーザー光線の線２０８を照射するよう、線生成光学系２０６が設けられ得る。レーザー光線の線２０８は、上述のレーザーポイント１９０を含み、同じ一般原理が適用される。上述の説明が参照され得る。レーザー６６及び光学系２０６は、対象領域１９２の境界となる矩形の箱又はその他の形状を形成するように配置され得る。レーザー線の１つの利点は、操作者にとってより目に付き、その結果、装置１０がより簡便に使えるようになり得ることである。
【００８３】
図１５は、装置１０を標的組織から標的距離で位置決めすること補助するように構成されたレーザー位置決めアレイ６０の例を示し、標的距離は例えば、対物レンズの適切な焦点距離である。標的距離の一例は、約６１０ｍｍである。
【００８４】
第１位置決めレーザー６４は、対物レンズ１６の光軸２１０から第１オフセット距離に位置付けられ、光軸２１０に対して第１角度２１２で照準される。第１位置決めレーザー６４は、図１６Ａに示すように、標的組織上の皮膚表面２１６に第１位置決めレーザースポット２１４を照射するように照準される。第１位置決めレーザー６４は、筐体５８又はマルチスペクトル医用撮像装置１０のその他の部品に固定される。したがって、表面２１６に近づく及び遠ざかるように装置１０が移動されると、第１位置決めレーザースポット２１４は第１のパス２１８に沿って移動する。
【００８５】
第２位置決めレーザー６４は、対物レンズ１６の光軸２１０から第２オフセット距離に位置付けられ、光軸２１０に対して第２角度２２０で照準される。第２位置決めレーザー６４は、図１６Ａに示すように、標的組織上の皮膚表面２１６に第２位置決めレーザースポット２２２を照射するように照準される。第２位置決めレーザー６４は、筐体５８又はマルチスペクトル医用撮像装置１０のその他の部品に固定される。したがって、表面２１６に近づく及び遠ざかるように装置１０が移動されると、第２位置決めレーザースポット２２２は第２のパス２２４に沿って移動する。
【００８６】
第１及び第２角度２１２、２２０は、光軸２１０をそれぞれ含む異なる平面上にある。光軸２１０はこれらの面の交点と見なすことができる。つまり、第１及び第２位置決めレーザー６４は、それぞれ光軸２１０から横方向にオフセットされており、また、互いから角度方向にオフセットされている。第１位置決めレーザー６４が、光軸を中心とする円上の０度の位置にある際、第２位置決めレーザー６４は異なる角度、例えば９０度、にある。この例において、第１及び第２位置決めレーザー６４は約９０度離れて位置付けられている。
【００８７】
第１及び第２オフセット距離、ならびに第１及び第２角度２１２、２２０は、標的組織が対物レンズ１６から標的距離にある際に、第１位置決めレーザースポット２１４及び第２位置決めレーザースポット２２２が光軸において一致するように選択される。これを図１６Ｃに示す。
【００８８】
第１及び第２距離、ならびに第１及び第２角度２１２、２２０は、対物レンズから標的距離の表面２１６までの距離が標的距離よりも大きい際に、第１及び第２位置決めレーザースポット２１４、２２２を、対物レンズ１６の光軸２１０の一方２３０に位置させるように選択されてよい（図１６Ａ）。逆に、対物レンズから標的組織までの距離が標的距離よりも小さい場合、第１及び第２位置決めレーザースポット２１４、２２２は他方２３２に現れる（図１６Ｂ）。
【００８９】
臨床医が装置１０を標的組織に対して、またはその逆に移動させるにしたがって、２つの位置決めスポット２１４、２２２はそれぞれのパス２１８、２１４に沿って移動する。装置１０と標的組織とが近すぎる場合、位置決めスポット２１４、２２２は、図１６Ｂに示すとおり、標的組織２１６の一方２３２において別々のスポットとして現れる。装置１０と標的組織とが遠すぎる場合、位置決めスポット２１４、２２２は、図１６Ａに示すとおり、標的組織２１６の他方２３０において別々のスポットとして現れる。装置１０から標的組織への距離を、スポットが分離する方向で調整することは、臨床医に対し、その調整が必要な調整の逆であることを示す。装置１０から標的組織への距離を、スポットが収束する方向に調整することは、臨床医に対し、その調整が正しい方向であることを示し、図１６Ｃに示すとおり、スポット２１４、２２２が一致すると、標的距離に達したことが示される。
【００９０】
可視光イメージセンサ２２及びプロセッサ４６は、スポット２１４、２２２をキャプチャ及びモニターし、ディスプレイ４８又はユーザーインターフェース５２の部品、例えばスピーカー、を通じてスポット２１４、２２２の位置及び／又は標的距離に達するために装置１０を移動させる方向についての表示をユーザーに向けて出力するよう構成されてよい。このような表示は生の距離情報、視覚又は聴覚による警告（例えば「標的が近すぎます」「標的が遠すぎます」）等の形であってよい。更に、プロセッサ４６は、酸素飽和度画像のキャプチャが開始する際にレーザー６４を自動的にオフにするように構成されてよい。
【００９１】
マルチスペクトル医用撮像装置１０は、静脈閉塞並びに静脈及び動脈閉塞の決定を補助可能である。
【００９２】
図１７は、模擬静脈閉塞ならびに模擬静脈及び動脈閉塞について装置１０によって算出されたヘモグロビンの不飽和率のグラフを示す。ｘ軸は時間を表す標本点であり、ｙ軸は酸素飽和率である。
【００９３】
ここに見られるように、静脈閉塞はより遅い酸素不飽和化速度を示し、静脈及び動脈閉塞はより速い不飽和化速度を示す。また、静脈閉塞は、静脈及び動脈閉塞ほど低い酸素飽和度に達しない。
【００９４】
装置１０は、静脈閉塞と静脈及び動脈閉塞との区別を補助するために、選択可能な閾値レベル２５０を有して構成されてよい。追加で、又は別法として、装置１０は、図示したものと同様の経時的な酸素飽和度のグラフを標的組織２４全体について計算して選択的に出力し、臨床医がそれを表示し、選択可能な閾値レベル２５０（あれば）に対してそれを比較できるようにするように構成されてよい。不飽和化速度を評価する上で臨床医を補助するために、１以上の参照スロープ２５２も設けられ得る。
【００９５】
装置１０は、ブロック試験の期間に、４５秒、１分、等のように選択肢を提供するよう構成されてよい。
【００９６】
マルチスペクトル医用撮像装置１０は、標的組織内の水含有量を検出することが可能である。これにより装置は、対象領域における静脈閉塞によって引き起こされた保水量の上昇を検出することにより静脈閉塞を検出するようにも構成され得る。
【００９７】
上記を考慮すると、本発明の多くの利点が当業者に対して明らかになるだろう。本明細書に記載の技術は、広範囲のマルチスペクトル撮像を、動的に、リアルタイム又は準リアルタイムで提供する。ビデオフレームレートは、可動部品なしで達成可能である。周囲照明、患者の皮膚色、曲面、及び血管系の存在に対して補償が提供される。本発明はまた、簡便かつ反復可能な方法で、装置を正しい焦点距離で対象領域に照準することを提供する。更に、酸素不飽和化の時間差可視化、及び静脈／動脈閉塞検出といった有用な追加機能が提供される。
【００９８】
上述の内容では特定の非限定的な例示の実施形態を提供するが、上述の内容の組み合わせ、部分集合、及び変形が考慮されることが理解されるべきである。求められる独占は請求の範囲によって定義される。
【図１】
2020011079.tif 000008
【図２】
2020011079.tif 000009
【図３】
2020011079.tif 000010
【図４】
2020011079.tif 000011
【図５】
2020011079.tif 000012
【図６】
2020011079.tif 000013
【図７】
2020011079.tif 000014
【図８】
2020011079.tif 000015
【図９】
2020011079.tif 000016
【図１０】
2020011079.tif 000017
【図１１】
2020011079.tif 000018
【図１２】
2020011079.tif 000019
【図１３】
2020011079.tif 000020
【図１４】
2020011079.tif 000021
【図１５】
2020011079.tif 000022
【図１６】
2020011079.tif 000023
【図１７】
2020011079.tif 000024
【手続補正書】
【提出日】令和1年10月4日(2019.10.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチスペクトル医用撮像装置であって、
標的組織を照明するように配置された複数の照明装置であって、異なる近赤外波長帯の光を発光するように構成された複数の照明装置と、
対物レンズと、
前記対物レンズを通じて前記標的組織から反射された画像フレームをキャプチャするよう位置付けられた近赤外イメージセンサと、
前記対物レンズを通じて前記標的組織から反射された画像フレームをキャプチャするよう位置付けられた可視光イメージセンサと、
レーザー位置決めアレイであって、
マルチスペクトル医用撮像装置が、前記標的組織に向かって、又は前記標的組織から離れて動く時に、第１位置決めレーザーマークが第１のパスに沿って移動するように、前記標的組織上の皮膚表面に第１位置決めレーザーマークを発光するために、前記対物レンズの光軸から第１オフセット距離に配置され、前記光軸に対して第１角度を有して照準される第１位置決めレーザーと、
マルチスペクトル医用撮像装置が、前記標的組織に向かって、又は前記標的組織から離れて動く時に、第２位置決めレーザーマークが第２のパスに沿って移動するように、前記皮膚表面に第２位置決めレーザーマークを発光するために、前記対物レンズの前記光軸から第２オフセット距離に配置され、前記光軸に対して第２角度を有して照準される第２位置決めレーザーと、を含む、レーザー位置決めアレイと、
前記第１及び第２オフセット距離及び前記第１及び第２角度は、前記標的組織が前記対物レンズからの標的距離にある際に、前記第１位置決めレーザーマーク及び第２位置決めレーザーマークが前記光軸において一致するように選択され、前記標的距離は、前記標的組織からの対物レンズの適切な焦点距離である、
前記近赤外イメージセンサ、前記可視光イメージセンサ及び前記複数の照明装置に接続されたプロセッサであって、前記標的組織を照明するために前記複数の照明装置の近赤外光出力を変調するように構成され、更に、前記近赤外イメージセンサによってキャプチャされた前記画像フレームからの反射強度を決定し、前記反射強度を用いて前記標的組織の動的組織酸素飽和度マップを生成するように構成されたプロセッサと、
前記動的組織酸素飽和度マップを表示するための、前記プロセッサに接続された出力装置と、を含む、装置。
【請求項２】
請求項１に記載の装置であって、前記第１及び第２角度は、前記光軸を含む異なる平面上にあり、前記第１及び第２オフセット距離及び前記第１及び第２角度は、前記対物レンズから前記標的組織までの距離が前記標的距離よりも大きい場合には前記第１及び第２位置決めレーザーマークを前記対物レンズの前記光軸の一方の側に位置させ、前記対物レンズから前記標的組織までの距離が前記標的距離よりも小さい場合には前記第１及び第２位置決めレーザーマークを前記光軸の反対側に位置させるように構成される、装置。
【請求項３】
請求項２に記載の装置であって、前記第１及び第２位置決めレーザーは、前記対物レンズの光軸を中心とした円上で約９０度離間するように位置決めされている、装置。
【請求項４】
請求項１に記載の装置であって、第１及び第２位置決めレーザーマークは、可視光レーザーマークを含み、前記可視光イメージセンサは、前記対物レンズを通じて前記標的組織から反射された前記第１及び第２位置決めレーザーマークをキャプチャするように構成され、前記プロセッサは、前記第１及び第２位置決めレーザーマークの位置の表示を出力するように構成されている、装置。
【請求項５】
請求項４に記載の装置であって、前記表示は、前記出力装置に表示された可視的表示を含む、装置。
【請求項６】
請求項１に記載の装置であって、前記プロセッサは、前記対物レンズからの標的距離に位置決めされている前記標的組織に続いて、前記第１及び第２位置決めレーザーをオフにするように構成されている、装置。
【請求項７】
標的組織の動的組織酸素飽和度マップを生成するためのマルチスペクトル医用撮像装置であって、
前記標的組織から反射された光を受けるように位置決めされた対物レンズと、
マルチスペクトル医用撮像装置が、前記標的組織に向かって、又は前記標的組織から離れて動く時に、第１位置決めレーザーマークが第１のパスに沿って移動するように、前記標的組織上の皮膚表面に第１位置決めレーザーマークを発光するために、前記対物レンズの光軸からの第１オフセット距離に配置され、前記光軸に対して第１角度を有して照準される第１位置決めレーザーと、
マルチスペクトル医用撮像装置が、前記標的組織に向かって、又は前記標的組織から離れて動く時に、皮膚表面第２位置決めレーザーマークが第２のパスに沿って移動するように、前記皮膚表面に第２位置決めレーザーマークを発光するために、前記対物レンズの前記光軸からの第２オフセット距離に配置され、前記光軸に対して第２角度を有して照準される第２位置決めレーザーと、を含み、
前記第１及び第２オフセット距離及び前記第１及び第２角度は、前記標的組織が前記対物レンズからの標的距離にある際に、前記第１位置決めレーザーマーク及び第２位置決めレーザーマークが前記光軸において一致するように選択され、前記標的距離は、前記標的組織からの対物レンズの適切な焦点距離である、装置。
【請求項８】
請求項７に記載のマルチスペクトル医用撮像装置であって、前記第１及び第２角度は、前記光軸を含む異なる平面上にあり、前記第１及び第２オフセット距離及び前記第１及び第２角度は、前記対物レンズから前記標的組織までの距離が前記標的距離よりも大きい場合には前記第１及び第２位置決めレーザーマークを前記対物レンズの前記光軸の一方の側に位置させ、前記対物レンズから前記標的組織までの距離が前記標的距離よりも小さい場合には前記第１及び第２位置決めレーザーマークを前記光軸の反対側に位置させるように構成される、装置。
【請求項９】
請求項８に記載のマルチスペクトル医用撮像装置であって、前記第１及び第２位置決めレーザーは、前記対物レンズの光軸を中心とした円上で約９０度離間するように位置決めされる、装置。
【請求項１０】
マルチスペクトル医用撮像装置を位置決めするための方法であって、前記方法は、
異なる近赤外波長帯の光で標的組織を照明するステップと、
前記対物レンズを通じて前記標的組織から反射された近赤外画像フレームをキャプチャするステップと、
前記対物レンズを通じて前記標的組織から反射された可視光画像フレームをキャプチャするステップと、
第１及び第２オフセット距離で、前記マルチスペクトル医用撮像装置の前記対物レンズの光軸からオフセットし、前記光軸に対して第１及び第２角度を有して照準される、第１及び第２位置決めレーザーマークを発光するステップであって、前記第１位置決めレーザーマークは、前記マルチスペクトル医用撮像装置が、前記標的組織に向かって、又は前記標的組織から離れて動く時に、第１のパスに沿って移動し、第２位置決めレーザーマークは、前記マルチスペクトル医用撮像装置が、前記標的組織に向かって、又は前記標的組織から離れて動く時に、第２のパスに沿って移動する、発光するステップと、
前記第１位置決めレーザーマークが第１のパスに沿って移動し、第２位置決めレーザーマークが第２のパスに沿って移動するように、前記マルチスペクトル医用撮像装置を動かすステップと、
前記標的組織が、前記標的組織からの対物レンズの適切な焦点距離である標的距離にある際に、前記第１位置決めレーザーマーク及び第２位置決めレーザーマークが前記光軸において一致するステップと、
前記近赤外波長帯を変調し、前記近赤外画像フレーム及び可視光画像フレームからの反射強度を決定するステップと、
前記反射強度を用いて前記標的組織の動的組織酸素飽和度マップを生成するステップと、を含む、方法。
【請求項１１】
請求項１０に記載の方法であって、前記第１及び第２角度は、前記光軸を含む異なる平面にあり、前記マルチスペクトル医用撮像装置を動かすステップは、前記対物レンズから前記標的組織までの距離が前記標的距離よりも大きい場合には前記第１及び第２位置決めレーザーマークを前記対物レンズの前記光軸の一方の側に位置決めし、前記対物レンズから前記標的組織までの距離が前記標的距離よりも小さい場合には前記第１及び第２位置決めレーザーマークを前記光軸の反対側に位置決めするステップを含む、装置。
【請求項１２】
請求項１０に記載の方法であって、前記第１及び第２位置決めレーザーマークの位置の表示を出力するステップを、さらに含む、方法。
【請求項１３】
請求項１２に記載の方法であって、前記出力するステップは、前記標的距離に達するために、前記マルチスペクトル医用撮像装置を動かす方向の表示を出力するステップを含む、方法。
【外国語明細書】
2020011079000001.pdf