(57)【要約】【課題】本発明は、蛍光体（１６）からの蛍光を用いて、血管（１４）内の血流方向（４２）を自動的に特定するための装置（１）および方法に関する。【解決手段】血流方向（４２）は、まず、パターン認識モジュール（２６）を用いてカメラアセンブリ（２）からの入力フレーム（６）内の血管構造（３８）を識別することにより特定される。血流方向（４２）は、識別された血管構造（３８）に沿った方向における蛍光強度（Ｉ）の空間的勾配（ｄＩ／ｄｘ）と、時間的勾配（ｄＩ／ｄｔ）と、から特定される。識別された血管構造（３８）に血流方向（４２）を表す時変性のマーカデータ（５２）が重畳されて、出力フレーム（４８）がディスプレイ（３６）上に表示される。【選択図】図１
2019118824.tif 000002
【特許請求の範囲】
【請求項１】
蛍光体（１６）を用いて血流方向（４２）を測定するための装置（１）であって、
前記蛍光体（１６）の蛍光スペクトルの少なくとも一部の入力画像データ（１０）の少なくとも１つの入力フレーム（６）を取得するための入力インタフェース（２２）と、
前記入力画像データ（１０）内の少なくとも１つの血管構造（１４，３８）を識別するためのパターン認識モジュール（２６）と、
識別された前記血管構造（３８）に沿った方向における空間的勾配（ｄＩ／ｄｘ）と、前記識別された血管構造（３８）における少なくとも１つの位置（Ａ）の時間的勾配（ｄＩ／ｄｔ）と、から前記識別された血管構造（３８）内の血流方向（４２）を特定するための計算モジュール（２８）と、
前記入力画像データ（１０）のうち前記識別された血管構造（３８）に相当する部分に前記血流方向（４２）を表す時変性のマーカデータ（５２）を重畳した出力画像データ（４９）の少なくとも１つの出力フレーム（４８）を計算するための画像生成モジュールと、
前記出力フレーム（４８）を出力するための出力インタフェース（３２）と、
を備えている装置（１）。
【請求項２】
前記計算モジュール（２８）は、前記少なくとも１つの識別された血管構造（３８）の中心線（５４）を計算するように構成されており、
前記少なくとも１つの位置（Ａ）は、前記中心線（５４）上に位置する、
請求項１記載の装置（１）。
【請求項３】
前記計算モジュール（２８）は、前記入力フレーム内の画素（１１）のアレイの平均蛍光強度（Ｉ）から前記空間的勾配（ｄＩ／ｄｘ）を計算するように構成されている、
請求項１または２記載の装置（１）。
【請求項４】
前記計算モジュール（２８）は、前記少なくとも１つの識別された血管構造（３８）の中心線（５４）を計算するように構成されており、
前記アレイ（１１）は、前記中心線（５４）に対して垂直方向に、前記少なくとも１つの識別された血管構造（３８）の少なくとも一部に及ぶ、
請求項３記載の装置（１）。
【請求項５】
前記計算モジュール（２８）は、前記空間的勾配（ｄＩ／ｄｘ）と前記時間的勾配（ｄＩ／ｄｔ）との正負符号の比較から、前記血流方向（４２）を計算するように構成されている、
請求項１から４までのいずれか１項記載の装置（１）。
【請求項６】
前記パターン認識モジュール（２６）は、前記識別された血管構造（３８）に沿った正の方向（ｘ）を定義するように構成されており、
前記計算モジュール（２８）は、前記時間的勾配（ｄＩ／ｄｔ）の正負符号と前記空間的勾配（ｄＩ／ｄｘ）の正負符号とが逆である場合、血流方向（４２）が前記正の方向（ｘ）であると判断するように構成されている、
請求項１から５までのいずれか１記載の装置（１）。
【請求項７】
前記計算モジュール（２８）は、前記識別された血管構造（３８）および／または前記中心線に沿った方向における蛍光強度分布（Ｉ）、前記空間的勾配（ｄＩ／ｄｘ）または前記時間的勾配（ｄＩ／ｄｔ）のうち少なくとも１つに対する曲線当てはめを計算するように構成されている、
請求項１から６までのいずれか１項記載の装置（１）。
【請求項８】
蛍光体（１６）を用いて血管（１４）内の血流方向（４２）を特定するための方法であって、
前記蛍光体（１６）の蛍光スペクトルの少なくとも一部の入力画像データ（１０）の少なくとも１つの入力フレーム（６）を取得するステップと、
前記少なくとも１つの入力フレーム（６）内の少なくとも１つの血管構造（３８）を自動認識するステップと、
識別された前記血管構造（３８）に沿った方向における蛍光強度（Ｉ）の空間的勾配（ｄＩ／ｄｘ）と、前記少なくとも１つの識別された血管構造（３８）における少なくとも１つの位置（Ａ）の時間的勾配（ｄＩ／ｄｔ）と、から前記血管構造（３８）における血流方向（４２）を特定するステップと、
前記血管構造に時変性のマーカデータ（５２）を重畳した出力フレーム（４８）を計算するステップと、
前記出力フレーム（４８）を表示するステップと、
を有する方法。
【請求項９】
少なくとも１つの血管構造（３８）を認識するステップは、前記血管構造（３８）の中心線（５４）を特定するステップを含む、
請求項８記載の方法。
【請求項１０】
前記血流方向（４２）を特定するステップは、前記空間的勾配（ｄＩ／ｄｘ）と前記時間的勾配（ｄＩ／ｄｔ）とを比較するステップを含む、
請求項８または９記載の方法。
【請求項１１】
前記血流方向（４２）を特定するステップは、前記時間的勾配（ｄＩ／ｄｔ）および前記空間的勾配（ｄＩ／ｄｘ）の正負符号に依存して前記血流方向（４２）を特定するステップを含む、
請求項８から１０までのいずれか１項記載の方法。
【請求項１２】
前記血流方向（４２）を特定するステップは、画素（１１）のアレイ（７０）の前記蛍光強度（Ｉ）の平均をとることによって、前記少なくとも１つの位置（Ａ）における前記蛍光強度を計算するステップを含む、
請求項８から１１までのいずれか１項記載の方法。
【請求項１３】
前記血流方向（４２）を特定するステップは、少なくとも前記識別された血管構造（３８）または前記中心線（５４）に沿った方向における前記蛍光強度（Ｉ）と前記空間的勾配（ｄＩ／ｄｘ）と前記時間的勾配（ｄＩ／ｄｔ）とのうち少なくとも１つに対する曲線当てはめを計算するステップを含む、
請求項８から１２までのいずれか１項記載の方法。
【請求項１４】
請求項８から１３までのいずれか１項記載の方法を実施するように構成されている、
請求項１から７までのいずれか１項記載の装置（１）。
【請求項１５】
請求項８から１３までのいずれか１項記載の方法をコンピュータに実施させるプログラムを記憶する非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、蛍光体を用いて、とりわけ蛍光体のボーラスを用いて、血管内の血流方向を特定するための装置および方法に関する。
【背景技術】
【０００２】
神経外科手術では、手術野における血管を識別するために、インドシアニングリーン（ＩＣＧ）を用いた蛍光血管造影法が一般に用いられている。
【０００３】
経験豊富な外科医または助手は、蛍光体の蛍光スペクトルで取得された画像データのフレームの時系列を表示する映像内の組織の複数の異なる種類を区別することができる。血管を識別するためには、外科医または助手は蛍光強度の時間的および空間的展開を勉強する。この展開によって、動脈と、毛細血管と、静脈と、例えば動静脈奇形等の病理学的状況と、を外科医または助手によって区別することができる。
【０００４】
しかし、蛍光画像の映像の現在の認知解析は誤りを生じやすい。よって、外科医または助手が術中に手術野の視覚的情報を迅速に理解するのを補助するための装置および方法を実現することが要請されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の装置および方法は、血管と当該血管内の血流方向とを自動検出し、例えば外科医または助手等のユーザに対して表示される出力画像データ内において血流方向をマーキングすることにより、上述の支援を実現することを目指したものである。
【課題を解決するための手段】
【０００６】
本発明の装置は、
・蛍光体の蛍光スペクトルの少なくとも一部の入力画像データの少なくとも１つの入力フレームを取得するための入力インタフェースと、
・入力画像データ内の少なくとも１つの血管構造を識別するためのパターン認識モジュールと、
・識別された血管構造に沿った方向における空間的勾配と、当該識別された血管構造における少なくとも１つの位置の時間的勾配とから、当該識別された血管構造内の血流方向を特定するための計算モジュールと、
・入力画像データのうち識別された血管構造に相当する部分に血流方向を表す時変性のマーカデータを重畳した出力画像データの少なくとも１つの出力フレームを計算するための画像生成モジュールと、
・出力フレームを出力するための出力インタフェースと、
を備えている。
【０００７】
上記のモジュールは、ハードウェアもしくはソフトウェアで実現することができ、またはハードウェアとソフトウェアとの任意の組み合わせで実現することができる。
【０００８】
本発明の方法は、
・蛍光体の蛍光スペクトルの少なくとも一部の入力画像データの少なくとも１つの入力フレームを取得するステップと、
・少なくとも１つの入力フレーム内の少なくとも１つの血管構造を自動認識するステップと、
・識別された血管構造に沿った方向における蛍光強度の空間的勾配と、当該少なくとも１つの識別された血管構造における少なくとも１つの位置（Ａ）の時間的勾配とから、血管構造における血流方向を特定するステップと、
・血管構造に時変性のマーカデータを重畳した出力フレームを計算するステップと、
・出力フレームを表示するステップと、
を有する。
【０００９】
蛍光体の蛍光スペクトルの少なくとも一部の入力画像データ、より好適には、蛍光体の蛍光スペクトルに制限された入力画像データまたは当該蛍光スペクトルの一部に制限された入力画像データを使用することにより、蛍光発光しない周囲から血管構造を区別することが容易になる。血管構造に沿った方向における蛍光強度分布を使用することにより、血流方向を１つのフレームから識別すること、すなわち非常に迅速に識別することが可能になる。時変性のパターンを表示することにより、ユーザに対して血流方向を可視化することができ、これによって手術野におけるユーザの誘導が容易になる。入力画像データは好適には画素を有し、各画素は、視野の平面内の領域を表現する。入力画像データが２次元である場合、かかる平面は１つのみである。入力画像データが３次元である場合、入力フレーム内にはかかる平面が少なくとも２つ存在する。
【００１０】
血管構造およびその幾何学的形態を識別するためには、例えば“Angiography and Plaque Imaging: Advanced Segmentation Techniques”（Jasjit S. Suri、Swamy Laxminarayan編集、２００３年４月２９日、CRC Press出版）第５０１〜５１８頁に記載されている技術等の公知の技術を使用することができる。
【００１１】
本発明の装置および方法は、以下に記載されている特徴のうち１つまたは複数を追加することによって、さらに改善することができる。これらの特徴は互いに独立して追加することができ、各特徴はそれ自体で技術的効果を有すると解すべきである。以下の特徴は、本発明の方法および装置のいずれにおいても分け隔て無く使用することができる。
【００１２】
例えば、計算モジュールが少なくとも１つの識別された血管構造の中心線を計算する構成である場合、血流方向の特定の信頼性を向上することができる。構造の中心線の計算は例えば、Rouchdy, Youssef & Cohen, Laurent (2011),“A geodesic voting method for the segmentation of tubular tree and centerlines”，Proceedings / IEEE International Symposium on Biomedical Imaging: from nano to macro, IEEE International Symposium on Biomedical Imaging. 979-983. 10.1109/ISBI.2011.5872566等に開示されている。中心線を使用することにより、後続の計算を簡素化することができる。というのも、識別された血管構造を中心線に削減すること、すなわち、入力画像データまたは画素の２次元アレイから１次元アレイに削減することができるからである。少なくとも１つの位置は、中心線上に位置することができる。
【００１３】
入力フレームは、カメラアセンブリによって取得されたフレームとすること、または例えば低照明条件または領域においてセンサまたは増幅器のノイズを低減するために、複数のフレームから計算されたものとすることができる。
【００１４】
入力フレームは、入力インタフェースによってカメラから取得することができ、または入力フレームを前処理後に記憶もしくはバッファリングする、例えば記憶デバイス等の記憶アセンブリから取得することができる。
【００１５】
中心線に沿った方向における蛍光強度分布と、空間的勾配と、時間的勾配と、のうち少なくとも１つの計算は、例えば識別された血管構造の壁付近の分布より高精度で、血管構造に沿った方向における蛍光強度の空間的展開を反映する。ここで、識別された血管構造の中心線は、視野のうち実際の血管の中心線と重なる領域を表現する画素のアレイによって表現される。
【００１６】
血管構造は、蛍光のみを用いて識別することができる。追加的または代替的に、入力画像データ内の１画素におけるスペクトルと、動脈血液および静脈血液のうち少なくとも１つの反射スペクトルと、を比較することによって、血管構造を識別することもできる。
【００１７】
本発明の装置および／または方法の一実施形態では、カメラアセンブリを設けることができ、カメラアセンブリは視野を有し、蛍光体の蛍光スペクトルの少なくとも一部の入力画像データの少なくとも１つの入力フレームを取得するように構成されており、入力画像データは、とりわけ特定の時期における視野を表現する。カメラアセンブリは、入力インタフェースに接続することができる。カメラアセンブリは、ＲＧＢカメラアセンブリと、マルチスペクトルカメラアセンブリと、ハイパースペクトルカメラアセンブリと、のうち少なくとも１つとすることができる。好適には、センサの少なくとも１つのアレイが、蛍光体の蛍光スペクトルに制限されたスペクトルで画像データを取得するための専用である。
【００１８】
追加的または代替的に、本装置および／または本方法は、ユーザが入力画像データの特定の一部を血管構造としてマーキングするためのユーザインタフェースを設けることができる。かかるグラフィカルユーザインタフェースは、パターン認識モジュールの一部とすることができる。例えばユーザは、画素の任意の好適には一続きのアレイを血管構造として定義することができる。その後、この構造は、自動認識された血管構造と全く同様に扱われる。代替的または追加的に、ユーザは、後で中心線として扱われる画素の線を入力することもできる。かかる手動入力が使用される場合、血管構造および中心線の自動識別を不要とすることができる。
【００１９】
他の一実施形態では、血管構造の中心線上の特定の位置（すなわち、この位置を表現する画素）における蛍光強度、時間的勾配および空間的勾配のうち少なくとも１つを、画素の好適には一続きのアレイまたは当該画素もしくは入力画像データの隣もしくは周囲の入力画像データにおける平均から計算することができる。アレイの画素または等価的には入力画像データは、とりわけ、当該画素から中心線に対して垂直に、識別された血管構造にわたって延在する線に沿って位置することができる。この線は、識別された血管構造に沿った方向または中心線に沿った方向に、１画素または複数画素の幅を有することができる。この線は好適には、中心線に対して垂直方向に、識別された血管構造の全幅に及ぶ。アレイの蛍光強度の平均をとることによって、蛍光強度分布の計算の精度がさらに改善される。というのも、血管構造におけるノイズおよび不均一な蛍光強度分布の双方を消失できるからである。
【００２０】
ノイズおよびアーティファクトを低減するため、蛍光強度、空間的勾配および時間的勾配のうち少なくとも１つについて、曲線当てはめを計算することができる。かかる曲線当てはめは、多項式当てはめ、ローパスフィルタリング、または主成分分析とすることができる。この当てはめは、蛍光強度データのノイズをさらに低減することができる。外れ値を除くため、例えばローパスフィルタまたはバンドパスフィルタ等の時間的および／または空間的フィルタを用いて、蛍光強度、空間的勾配および／または時間的勾配をフィルタリングすることができる。
【００２１】
少なくとも１つの位置は、入力画像データ内の単一の画素または画素のアレイとすることができる。好適には、識別された血管構造に沿った方向に互いに離隔している複数の位置において、空間的勾配および時間的勾配を計算する。少なくとも１つの位置は好適には、識別された血管構造の中心線上に位置する。例えば、入力フレーム内および／または入力画像データ内の血管構造に沿った方向におけるすべての画素において、とりわけ中心線上のすべての画素において、空間的勾配および時間的勾配を計算することができる。
【００２２】
時間的勾配は、入力フレームの時系列の少なくとも２つの連続した入力フレームの識別された血管構造内の少なくとも２つの一致する位置における蛍光強度を使用して計算することができる。この位置も、入力画像データ内の１画素または画素のアレイに相当する。位置は好適には、中心線上に位置する。好適には、時間的勾配が計算される少なくとも１つの位置は、入力画像データの少なくとも１つにおいて空間的勾配が計算される少なくとも１つの位置と一致する。
【００２３】
装置では、空間的勾配および時間的勾配のうち少なくとも１つの計算は、計算モジュールによって行うことができる。
【００２４】
血管構造を識別するステップおよび／または時間的勾配を計算するステップは、少なくとも２つの連続したフレーム内の識別された血管構造において一致する位置を識別するステップを含むことができる。さらに、時系列の１つの入力フレーム内の識別された血管構造の中心線上の位置と、当該時系列の後または前の入力フレーム内の当該識別された血管構造の中心線上の位置と、の一致検査を含むこともできる。これらのステップは、装置のパターン認識モジュールによって行うことができる。
【００２５】
空間的勾配と時間的勾配とを比較するステップでは、比較される空間的勾配の位置と、対応する時間的勾配の位置と、は同一である。この比較は、複数の位置においてそれぞれ行うことができる。装置では、計算モジュールをこの比較のために構成することができる。
【００２６】
以下の仮定下では、少なくとも１つの位置における時間的および空間的勾配の４象限解析を行うことにより、血流方向を非常に少ない計算量かつ高精度で計算することができる。４象限解析は、少なくとも１つの位置における空間的勾配および時間的勾配の正負符号の比較を含むことができる。
【００２７】
カメラアセンブリの視野が十分に小さい場合、蛍光体のボーラスを、未変化の形状の各血流速度を有する識別された血管構造に沿って各々の血流速度で形状を変化せずに伝搬する蛍光強度の波とみなすことができる。よって、一般に時間ｔおよび空間（Ｘ，Ｙ，Ｚ）すなわちＩ（Ｘ，Ｙ，Ｚ）双方の関数である蛍光強度Ｉは、１次元の強度波動関数
Ｉ（Ｘ，Ｙ，Ｚ，ｔ）＝Ｉ（ｘ±ｖｔ）      （１）
に削減することができる。ここで、ｘは血管に沿った方向に測定される座標であり、ｖは蛍光波の伝搬速度すなわち血流速度である。数式（１）において、Ｉ（ｘ−ｖｔ）は、血管構造に沿った、特にその中心線に沿った正のｘ方向に伝搬する蛍光波を示しており、Ｉ（ｘ＋ｖｔ）は、負のｘ方向に伝搬する蛍光波を示している。
【００２８】
数式（１）から、蛍光強度の空間的勾配ｄＩ／ｄｘと蛍光強度の時間的勾配ｄＩ／ｄｔとの関係を、
ｄＩ／ｄｘ＝±ｖ・ｄＩ／ｄｘ      （２）
として導出することができる。
【００２９】
数式（２）では、ボーラスが血管に沿った負のｘ方向に進む場合に＋符号が適用され、ボーラスが正のｘ方向に進む場合に−符号が適用される。この関係は、ｘの方向がどのように定義されているかに依存せずに当てはまる。数式（２）から、１つの位置において空間的勾配の正負符号が時間的勾配の正負符号と異なる場合、蛍光強度の波は負のｘ方向に進んでおり、よって、血流方向は正のｘ方向に沿った向きであり、空間的勾配の正負符号と時間的勾配の正負符号とが同一である場合、血流方向は負のｘ方向であることが導き出される。
【００３０】
血流方向を特定するステップは、識別された血管構造または中心線の少なくとも１つの位置における時間的勾配と空間的勾配との正負符号の比較を含むことができる。この比較は、例えば減算等の算術演算および／または例えば正負符号ビットマスキングまたは大小比較等の論理演算を含むことができる。
【００３１】
この比較が１つの入力フレーム内の複数の位置で行われる場合、血流方向の特定はより高信頼性となる。例えば、大半の位置において空間的勾配と時間的勾配とが逆の正負符号を有する場合、血流方向は正の方向であると判断することができる。公知の統計的手法を用いて、例えば既定の数値範囲内にある勾配のみを用いて、または同時に蛍光強度が既定の範囲内にある勾配のみを用いて、上述の推定の信頼性を改善することができる。装置では、計算モジュールが上記のステップのいずれかを行うように構成することができる。
【００３２】
上記の観点では、血管構造を識別するステップは、識別された血管構造に沿った正の方向、とりわけその中心線に沿った正の方向を定義するステップを含むこともできる。装置では、パターン認識モジュールをこの定義のために構成することができる。
【００３３】
時変性のマーカデータは、血管構造に沿った方向における位置を出力フレームごとに血流方向に変える少なくとも１つの可視の部分構造を含むことができる。この部分構造は、明るさおよび色のうち少なくとも１つによって当該マーカデータの隣の部分構造と区別される画像データの特に一続きのセットとすることができる。例えば部分構造は、中心線に対して垂直に延在するストライプであって、異なる明るさおよび異なる色のうち少なくとも１つを有するストライプと隣接するストライプとすることができる。出力フレームごとの血管構造または中心線に沿った方向における部分構造の位置の変化は、好適には、血管構造またはその中心線に沿った方向における当該部分構造の寸法より小さい。
【００３４】
上記の特徴は、ソフトウェア、ハードウェア、またはソフトウェア構成要素とハードウェア構成要素との任意の組み合わせで実装することができる。本発明はさらに、上記の実施形態のいずれかで方法をコンピュータに実施させるプログラムを記憶する非一時的なコンピュータ可読媒体に関することもできる。以下、図面を参照して本発明の一例の実施形態を説明する。図面中、構成および機能のうち少なくとも１つにおいて互いに同一である要素には、同一の符号を使用している。さらに上述の説明から、特定の用途において、技術的特徴に関連する技術的効果が有用である場合には、この技術的特徴を当該一例の実施形態に追加できることが明らかである。逆に、当該一例の実施形態に示されている特徴に関連する技術的効果が特定の用途において不要である場合には、この特徴を省略することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の装置の概略図である。
【図２】他の識別された血管構造の概略的な表現を示す図である。
【図３】他の識別された血管構造の概略的な表現を示す図である。
【図４】出力フレームの概略的な表現を示す図である。
【発明を実施するための形態】
【００３６】
まず、血流方向を測定するための装置１の構造である。装置１はとりわけ、顕微鏡または内視鏡とすることができる。
【００３７】
装置１はカメラアセンブリ２を備えており、このカメラアセンブリ２は、ＲＧＢカメラ、マルチスペクトルカメラまたはハイパースペクトルカメラのうち少なくとも１つを有することができる。カメラアセンブリ２は視野４を有し、カメラアセンブリ２はこの視野４から、少なくとも１つの入力フレーム６または入力フレーム６の時系列８を取得する。１つの入力フレーム６は画像データ１０から成り、この画像データ１０は画素１１を有することができる。各入力フレーム６は、各瞬時における視野４の表現を表示する。各画素１１は視野４の一部を表現する。
【００３８】
図１では、例えば脳手術または血管手術を行うために、生体組織１２が視野４内に配置されており、これらの手術は装置１によって支援することができる。
【００３９】
生体組織１２またはそのデジタル表現、すなわち入力フレーム６または入力画像データ１０における血管１４を識別するため、蛍光体１６が生体組織１２内に注入されている。その結果、蛍光体のボーラスが血流によって輸送される。かかる蛍光体１６の一例は、インドシアニングリーン、ＩＣＧである。
【００４０】
視野４を光によって照明するために照明アセンブリ１８を設けることができる。この光は、蛍光体１６の蛍光をトリガする波長を有し、またはかかる波長に制限されている。
【００４１】
カメラアセンブリ２は、蛍光体１６の蛍光スペクトルの少なくとも一部の少なくとも１つの入力フレーム６を取得するように構成されている。好適には、入力フレーム６にて表現される波長は、蛍光体１６の蛍光スペクトルに制限される。カメラアセンブリ２は、同時に可視光域の入力フレームも取得するため、追加のカメラ（図示されていない）も有することができる。マルチカメラアセンブリまたは分光カメラアセンブリを使用する場合、可視光フレームと蛍光フレームとを同時に記録することができる。
【００４２】
蛍光体１６の蛍光スペクトルでフレームを記録することにより、血管１４を周囲の組織から明確に区別することができる。というのも蛍光強度は、蛍光体１６の大部分が集まる領域すなわち血管内において最も高くなるからである。
【００４３】
入力フレーム６ひいては入力画像データ１０は、立体視、３次元または多次元とすることができる。多次元フレームでは、画素１１は入力フレームの１つの場所に位置することができる。顕微鏡を使用する場合、例えばｚスタック、ＳＣＡＰＥまたはスキム（skim）顕微鏡を用いて、３次元の入力画像データ１０を取得することができる。多次元の入力画像データ１０は、マルチスペクトルカメラまたはハイパースペクトルカメラによって生成することができる。
【００４４】
装置１はさらに、画像処理アセンブリ２０、例えば少なくとも１つの集積回路等を備えることもできる。
【００４５】
画像処理アセンブリ２０は、少なくとも１つの入力フレーム６および／または入力画像データ１０をそれぞれ入力するための入力インタフェース２２を備えることができる。入力インタフェース２２はカメラアセンブリ２にデータ転送接続２４すること、例えば有線または無線データ接続することができる。画像処理アセンブリ２０はパターン認識モジュール２６と、計算モジュール２８と、画像生成モジュール３０と、を備えることができ、よって、これらは直ちに装置１の一部となる。さらに、出力インタフェース３２も設けることができる。出力インタフェース３２に少なくとも１つのディスプレイ３６を接続するため、有線および／または無線データ接続３４を設けることができる。
【００４６】
入力フレーム６または入力フレーム６の時系列８をパターン認識モジュール２６に入力することができる。パターン認識モジュール２６は、入力フレーム６内または入力画像データ１０内の少なくとも１つの血管構造３８を識別するように構成されている。かかる識別は、例えば“Angiography and Plaque Imaging: Advanced Segmentation Techniques”（Jasjit S. Suri、Swamy Laxminarayan編集、２００３年４月２９日、CRC Press出版）第５０１〜５１８頁に記載されているアルゴリズム等の公知のアルゴリズムを使用して行うことができる。
【００４７】
計算モジュール２８は、パターン認識モジュール２６に接続されており、血管構造３８のデジタル表現４０を受け取ることができる。以下、この血管構造３８は「識別された血管構造３８」ともいう。識別された血管構造３８は例えば、視野４内の血管１４を表現する入力画像データ１０および／または画素１１を含み、またはこれから成ることができる。
【００４８】
計算モジュール２８は、血管構造３８に沿った方向における蛍光強度分布４４から血流方向４２を特定するように構成されている。とりわけ計算モジュール２８は、識別された血管構造３８に沿った方向における蛍光強度Iの空間的勾配４６、ｄＩ／ｄｘを計算するように構成することができる。
【００４９】
画像生成モジュール３０は、例えば出力画素５０等の出力画像データ４９の少なくとも１つの出力フレーム４８を計算するように構成されている。画像生成モジュール３０はとりわけ、１つまたは複数の入力フレーム６から出力フレーム４８の時系列を生成するように構成することができる。出力フレーム４８では、入力画像データ１０のうち識別された血管構造３８に相当する部分に、時変性のマーカデータ５２を重畳することができる。よって時変性のマーカデータ５２は、血管構造３８および血流方向４２の双方を示すために使用されるものである。
【００５０】
「パターン認識モジュール」、「計算モジュール」および「画像生成モジュール」との用語は、主として、これらを機能面で区別するために使用されるものである。これらのモジュールは、同一の電気的構成要素または同一のソフトウェア要素の一部とすること、例えばサブルーチン等とすることができる。
【００５１】
その後、少なくとも１つの出力フレーム４８は、少なくとも１つのディスプレイ３６上に表示される。これは、複数の人が観察できるモニタおよび／または接眼レンズを通じて見る顕微鏡のディスプレイとすることができる。
【００５２】
図２は、血管１４またはそのデジタル表現、識別された血管構造３８を示している。血管構造３８に沿った正のｘ方向が、例えばパターン認識モジュールによって特定されている。これは例えば、正のｘ方向が入力フレーム６の１つのコーナ部５８に近い血管構造の一端５６から当該入力フレームの対角線上に対向するコーナ部６２に近い当該血管構造の反対側の端部６０に向かう方向であることを要求することによって、行うことができる。また、先に血管構造３８の中心線５４を計算してから、その後に中心線５４の端部からコーナ部５８，６２までの距離を用いて正のｘ方向を特定することによっても、正のｘ方向を特定することができる。中心線は、血管構造３８の複数の最小幅の中間に位置する画素１１を繋ぐことによって、またはRouchdy, Youssef & Cohen, Laurent. (2011),“A geodesic voting method for the segmentation of tubular tree and centerlines”，Proceedings / IEEE International Symposium on Biomedical Imaging: from nano to macro, IEEE International Symposium on Biomedical Imaging. 979-983. 10.1109/ISBI.2011.5872566に開示されているように、計算することができる。
【００５３】
図２にさらに示されているように、蛍光体１６のボーラスが生体組織１２のどこかに投与される。その後、このボーラスは血流によって輸送され、場合によっては血管１４に達する。
【００５４】
その後、例えば正のｘ方向によって表現されているように、血管構造に沿った方向における蛍光強度分布から血流方向４２を計算することができる。
【００５５】
血流方向４２を特定する一実施形態は、以下のように、血管構造３８に沿った方向に互いに離隔している２つの位置ＡおよびＢを見ることである。とりわけ、位置ＡおよびＢは中心線５４に位置することができる。Ｂは、正のｘ方向にＡよりさらに進んだ位置にあることができる。
【００５６】
ボーラスが血管１４に沿って正のｘ方向に進む場合、蛍光強度は最初に位置Ａにおいて増加し、その後で位置Ｂにおいて増加する。最大蛍光強度が位置Ａを過ぎなければ、位置Ａにおける蛍光強度は位置Ｂにおける蛍光強度より大きくなる。
【００５７】
よって、最大蛍光強度が位置Ａを過ぎなければ、位置Ａの時間的勾配は正となる。その最も簡単な形態では、位置Ａの時間的勾配は、時系列８の後の入力フレーム６における位置Ａの蛍光強度と、当該時系列８の先の入力フレーム６における同一位置Ａの蛍光強度と、の差である。位置Ａは例えば、中心線５４の全長に沿った方向における位置Ａの相対位置によって位置Ａを定義することにより、複数の連続した入力フレームにわたって追跡することができる。他のすべての位置における時間的勾配においても、同様のことが当てはまる。
【００５８】
それと同時に、最大蛍光強度が位置Ａを過ぎなければ、位置Ａにおける蛍光強度の空間的勾配は負になる。というのも、位置Ａにおける蛍光強度は、例えば位置Ｂ等のどの下流の位置の蛍光強度よりも大きくなるからである。位置Ａにおける空間的勾配は、その最も簡単な形態では、位置Ａにおける蛍光強度と、例えばＢ等の少なくとも１つの下流および／または上流の位置における蛍光強度と、の差とすることができる。他のすべての位置における空間的勾配においても、同様のことが当てはまる。
【００５９】
最大蛍光強度が位置Ａを過ぎた後は、位置Ａにおける蛍光強度は時間と共に減少していく。よって、位置Ａにおける時間的勾配は負となる。それと同時に、例えば位置Ｂ等の下流のどの位置における蛍光強度も、位置Ａにおける蛍光強度より大きくなる。その結果、位置Ａにおける空間的勾配は正になる。
【００６０】
したがって、識別された血管構造３８の位置Ａにおいて時間的勾配と空間的勾配とが逆の正負符号である場合、この位置における血流方向４２は正の方向である。よって、血流方向４２の特定は好適には、１つの位置における空間的勾配と当該位置における時間的勾配との比較を含む。
【００６１】
ボーラスが血管１４に沿って負のｘ方向に進む場合、蛍光強度は最初に位置Ａにおいて時間と共に増加していき、その後、最大蛍光強度が位置Ａを過ぎた場合、位置Ａにおける蛍光強度は時間と共に減少していく。よって、位置Ａの時間的勾配は、最初は正となり、その後、最大蛍光強度が過ぎた後は負に転じる。蛍光強度は下流方向に増加していくので、位置Ａの空間的勾配も最初は正となり、最大蛍光強度が過ぎた後は負に転じる。
【００６２】
したがって、識別された血管構造３８の１つの位置において時間的勾配と空間的勾配とが同一の正負符号である場合、その血流方向４２は負のｘ方向である。これは、上記の数式（２）の結果に相当する。
【００６３】
よって血流方向４２の特定は、識別された血管構造３８の少なくとも１つの位置おける空間的勾配の正負符号と時間的勾配の正負符号との簡単な４象限解析に簡素化することができる。その関連において、数値的には、１つの位置における空間的勾配および時間的勾配を計算するために、空間的方向および時間的方向における少なくとも２つの点をそれぞれ用いる必要があることに留意すべきである。血管構造３８のその位置における空間的勾配と時間的勾配とが異なる正負符号を有する場合には、蛍光強度の波は正のｘ方向に進行している。血管構造３８の特定の位置において空間的勾配と時間的勾配とが共に同一の正負符号を有する場合には、蛍光強度の波は負のｘ方向に進行している。
【００６４】
空間的勾配および時間的勾配は、識別された血管構造３８における任意の数の位置について計算することができる。血管構造内の血流方向４２は、空間的勾配および時間的勾配の特定がなされたすべての位置にわたって計算された平均血流方向４２に相当すると定義することができる。この平均には、例えば特定の位置における蛍光強度によって、または中心線から特定の位置までの距離によって、重み付けすることができる。このアプローチにより、少数の位置のみを用いることにより、最大蛍光強度が当該少数の位置を過ぎたばかりの場合に生じ得るすべての不確かさを無くすことができる。好適には、識別された血管構造の端部に位置し、またはその付近に位置する少なくとも２つの位置と、場合によってはｘ方向の中間の第３の位置と、を用いる。識別された血管構造３８または中心線５４に沿った方向におけるすべての位置において血流方向４２を計算すると、最も信頼性の高い結果を得ることができる。
【００６５】
例えばＡ等の位置における蛍光強度を、各入力フレーム６の隣り合った画素１１の好適には一続きのアレイ７０の蛍光強度の平均として計算すると、中心線５４に沿った方向における蛍光強度分布の計算をより高精度にすることができる。
【００６６】
空間的勾配および時間的勾配の計算がなされる位置が中心線５４上にあると好適である。かかる場合、画素１１のアレイ７０は中心線５４に対して垂直に延在することができ、例えば、中心線に沿った方向における幅が少なくとも１画素である画素のストライプとすることができる。これは図３に示されている。アレイ７０は、中心線５４に対して垂直方向に、識別された血管構造の幅の一部または全部に及ぶことができ、識別された血管構造によって表現される血管１４の断面を表現することができる。
【００６７】
上述の平均は、蛍光強度アレイ７０の幾何平均値、中間値、重み付けされた平均値、または算術平均値とすることができる。
【００６８】
ノイズを低減するため、各フレーム内の識別された血管構造３８の中心線５４に沿った方向における蛍光強度分布に対して曲線当てはめを計算することができる。この曲線当てはめは、例えば多項式当てはめとすることができ、または主成分分析を行うことができる。これに代えて、蛍光強度形状の解析モデルを、計算された蛍光強度分布に適合することもできる。外れ値を除くため、ローパスフィルタまたはバンドパスフィルタを用いて蛍光強度分布を空間フィルタリングすることができる。
【００６９】
代替的または追加的に、入力フレーム６内の識別された血管構造３８における空間的勾配分布および時間的勾配分布のうち少なくとも１つについて、上述の曲線当てはめおよびフィルタリングを計算することもできる。
【００７０】
曲線当てはめの計算は、計算モジュール２８において行うことができる。
【００７１】
識別された血管構造３８について血流方向４２が計算された後、出力画像データ４９において、この血流方向４２を表す情報を入力画像データ１０に重畳することができる。
【００７２】
これは、各出力フレーム４８と出力フレーム４８の時系列７２とを示す図４から明らかとなる。挿入部７４が、出力画像データ４９のうち、血管構造３８に時変性のマーカデータ５２が重畳された部分を拡大したものを表示している。この挿入部は、出力画像データ４９の一部でなくてもよい。時変性のマーカデータは擬似カラーを含むことができる。
【００７３】
時系列７２内の１つの出力フレーム４８と後続の出力フレームのうち少なくとも１つとの間において、血管構造３８における時変性のマーカデータ５２の位置は血流方向４２にシフトする。好適には、マーカデータが血流方向４２に沿って徐々に進行するように、マーカデータ５２が時系列７２の連続した出力フレーム間でシフトする量は、当該マーカデータの血流方向の寸法より小さい。
【００７４】
マーカデータ５２は、血管構造３８内において当該マーカデータ５２に隣接する領域と、色および明るさのうち少なくとも１つにおいて異なることができる。好適にはマーカ構造５２は、血管構造３８の中心線５４に対して垂直方向において、血管構造３８の全幅に及ぶ。
【符号の説明】
【００７５】
１          装置
２          カメラアセンブリ
４          視野
６          入力フレーム
８          入力フレームの時系列
１０        入力画像データ
１１        画素
１２        生体組織
１４        血管
１６        蛍光体
１８        照明アセンブリ
２０        画像処理アセンブリ
２２        入力インタフェース
２４        カメラアセンブリと画像処理アセンブリとの間のデータ接続
２６        パターン認識モジュール
２８        計算モジュール
３０        画像生成モジュール
３２        出力インタフェース
３４        データ接続
３６        ディスプレイ
３８        （識別された）血管構造
４０        血管構造のデジタル表現
４２        血流方向
４４        蛍光強度分布
４６        蛍光強度分布の勾配
４８        出力フレーム
４９        出力画像データ
５０        出力画素
５２        時変性のマーカデータ
５４        血管構造の中心線
５６        血管構造の端部
５８        入力画像のコーナ部
６０        血管構造の端部
６２        入力画像のコーナ部
７０        画素のアレイ
７２        出力フレームの時系列
７４        挿入部
Ｉ          蛍光強度
Ｘ，Ｙ，Ｚ  視野内の直交座標
ｘ          血管構造の中心線に沿った方向における座標
ｔ          時間
ｖ          血管構造内の血流速度
【図１】
2019118824.tif 000003
【図２】
2019118824.tif 000004
【図３】
2019118824.tif 000005
【図４】
2019118824.tif 000006
【外国語明細書】
2019118824.tif 000007
2019118824.tif 000008
2019118824.tif 000009
2019118824.tif 000010
2019118824.tif 000011
2019118824.tif 000012
2019118824.tif 000013
2019118824.tif 000014
2019118824.tif 000015
2019118824.tif 000016
2019118824.tif 000017
2019118824.tif 000018
2019118824.tif 000019
2019118824.tif 000020
2019118824.tif 000021
2019118824.tif 000022
2019118824.tif 000023
2019118824.tif 000024
2019118824.tif 000025
2019118824.tif 000026
2019118824.tif 000027