(57)【要約】【課題】本発明は、カメラを有している拡張現実手術用顕微鏡に関する。【解決手段】拡張現実手術用顕微鏡は、特に生体組織を含んでいる対象物の入力画像データを取り出す。入力画像データは、可視光画像データと、少なくとも１つの蛍光物質の蛍光画像データを含んでいる。拡張現実手術用顕微鏡は、蛍光画像データに依存した、血管網構造の種々のタイプおよび／または血流方向の、自動的な識別および擬似カラーにおける印付けを可能にする。手術前三次元アトラスおよび／または超音波画像データが、可視光画像データに弾力的に整合されてよい。拡張現実手術用顕微光は、異なるディスプレイに同時に出力される種々の画像データの異なる組み合わせを可能にする。本発明は、顕微鏡観察方法およびコンピュータにこの顕微鏡観察方法を実行させるプログラムを格納している非一過性のコンピュータ可読媒体にも関する。【選択図】図１
2019164347.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実手術用顕微鏡（１）であって、
前記拡張現実手術用顕微鏡（１）は、入力画像データ（２２）を取り出すための画像入力システム（２５）と、イメージプロセッサ（４０）と、画像出力システム（７４）と、を含んでおり、
前記入力画像データ（２２）は、可視光画像データ（２６）の後続するフレーム（３０）と、少なくとも１つの蛍光物質（１４）の蛍光画像データ（２４，２８）の後続するフレーム（３０）と、を含んでおり、
前記イメージプロセッサ（４０）は、パターン認識モジュール（４８）と、画像合成モジュール（５２）と、を含んでおり、
前記パターン認識モジュール（４８）は、前記可視光画像データ（２６）と、前記蛍光画像データ（２４，２４’，２８）と、のうちの少なくとも１つにおいて、少なくとも１つの血管網構造（５４）を識別するように構成されており、
前記画像合成モジュール（５２）は、擬似カラー画像データ（５５）を作成するために、前記蛍光画像データ（２４，２４’，２８）において、少なくとも１つの擬似カラー（８６）を少なくとも１つの蛍光物質および／または識別された前記血管網構造（５４，５４ａ，５４ｂ，５４ｃ）に割り当てるように構成されており、
前記パターン認識モジュール（４８）は、前記可視光画像データ（２６）と、前記擬似カラー画像データ（５５）と、前記可視光画像データ（２６）および前記擬似カラー画像データ（５５）のあらゆる組み合わせと、のうちの少なくとも１つを含んでいる出力画像データ（５８）を作成するように構成されており、
前記画像出力システム（７４）は、選択的にかつ同時に、異なる出力画像データ（５８）を異なる出力インタフェース（８０）に出力するように構成されている、
拡張現実手術用顕微鏡（１）。
【請求項２】
前記イメージプロセッサ（４０）は、さらに動態解析モジュール（４４）を含んでおり、前記動態解析モジュール（４４）は、前記蛍光画像データ（２４，２４’，２８）の後続するフレーム（３０）にわたった、特定の箇所（５７）での蛍光強度の変化に依存して血管網構造（５４）を自動的に識別するように構成されており、前記動態解析モジュール（４４）は、擬似カラー画像データ（５５）を作成するために、識別された血管網構造（５４ａ，５４ｂ，５４ｃ）のタイプに依存して擬似カラー（８６）を前記識別された血管網構造（５４ａ，５４ｂ，５４ｃ）に自動的に割り当てるように構成されている、
請求項１記載の拡張現実手術用顕微鏡（１）。
【請求項３】
前記蛍光画像データ（２４，２４’）は、蛍光帯域画像データ（２８）の少なくとも２つのセットを含んでおり、前記２つのセットの各々は、少なくとも１つの蛍光物質（１４）の異なる蛍光スペクトルを表している、
請求項１または２記載の拡張現実手術用顕微鏡（１）。
【請求項４】
前記入力画像データ（２２）は、手術前画像データ（３８）の三次元アトラスと、超音波画像データ（３９）と、のうちの少なくとも１つを含んでいる、
請求項１から３までのいずれか１項記載の拡張現実手術用顕微鏡（１）。
【請求項５】
前記イメージプロセッサ（４０）は、弾力的整合モジュール（４６）を含んでおり、前記弾力的整合モジュールは、前記蛍光画像データ（２４，２４’）と、前記蛍光帯域画像データ（２８）の少なくとも１つのセットと、前記擬似カラー画像データ（５５）と、前記超音波画像データ（３９）と、前記手術前画像データ（３８）と、のうちの少なくとも１つを前記可視光画像データ（２６）に弾力的に整合するように構成されている、
請求項１から４までのいずれか１項記載の拡張現実手術用顕微鏡（１）。
【請求項６】
前記拡張現実手術用顕微鏡（１）は、前記蛍光画像データ（２４）と可視光画像データ（２６）とを同時に、複数のスペクトル帯域において取得するために、マルチスペクトルカメラと、ハイパースペクトルカメラと、のうちの少なくとも１つを含んでおり、
前記少なくとも１つのマルチスペクトルカメラまたはハイパースペクトルカメラの少なくとも１つのスペクトル帯域は、前記少なくとも１つの蛍光物質（１４）の蛍光帯域に整合している、
請求項１から５までのいずれか１項記載の拡張現実手術用顕微鏡（１）。
【請求項７】
前記擬似カラー画像データ（５５）は、時間的に変化するパターン（７３）と、空間的に変化するパターン（７２）と、のうちの少なくとも１つを含んでいる、
請求項１から６までのいずれか１項記載の拡張現実手術用顕微鏡（１）。
【請求項８】
前記拡張現実手術用顕微鏡（１）は、複数のディスプレイ（７５）を含んでおり、前記画像出力システム（７４）は、異なる出力画像データ（５８）を同時に、前記複数のディスプレイ（７５）に出力するように構成されている、
請求項１から７までのいずれか１項記載の拡張現実手術用顕微鏡（１）。
【請求項９】
手術中に、生体組織（１０）の出力画像データ（５８）を作成する顕微鏡観察方法であって、
前記顕微鏡観察方法は、入力画像データ（２２）を取得するステップを含んでおり、前記入力画像データ（２２）は、可視光画像データ（２６）の後続するフレーム（３０）と、少なくとも１つの蛍光物質（１４）の蛍光画像データ（２４，２８）の後続するフレーム（３０）と、を含んでおり、前記顕微鏡観察方法はさらに、
・前記可視光画像データ（２６）と、前記蛍光画像データ（２４，２４’，２８）と、のうちの少なくとも１つにおいて、少なくとも１つの血管網構造（５４）を識別するステップと、
・擬似カラー画像データ（５５）を作成するために、前記蛍光画像データ（２４，２４’）において、擬似カラー（８６）を少なくとも１つの識別された血管網構造（５４ａ，５４ｂ，５４ｃ）および／または少なくとも１つの蛍光物質（１４）に割り当てるステップと、
・前記可視光画像データ（２６）と、前記擬似カラー画像データ（５５）と、前記可視光画像データ（２６）および前記擬似カラー画像データ（５５）のあらゆる組み合わせと、のうちの少なくとも１つを含んでいる出力画像データ（５８）を作成するステップと、
・異なる出力画像データ（５８）を同時に出力するステップと、
を含んでいる顕微鏡観察方法。
【請求項１０】
前記入力画像データ（２２）において、血管網構造（５４ａ，５４ｂ，５４ｃ）の所定のタイプが自動的に識別され、血管網構造（５４ａ，５４ｂ，５４ｃ）の前記所定のタイプは、動脈血管網構造（５４ａ）と、静脈血管網構造（５４ｂ）と、毛細血管網構造（５４ｃ）と、のうちの少なくとも１つを含んでおり、前記血管網構造（５４ａ，５４ｂ，５４ｃ）は、擬似カラー（８６）に自動的に割り当てられる、
請求項９記載の顕微鏡観察方法。
【請求項１１】
血管網構造（５４ａ，５４ｂ，５４ｃ）のタイプは、入力画像データ（２２）の後続するフレーム（３０）における蛍光の変化に依存して自動的に特定される、
請求項９または１０記載の顕微鏡観察方法。
【請求項１２】
前記識別された血管網構造（５４ａ，５４ｂ，５４ｃ）における血流方向（５６）が自動的に特定され、前記出力画像データ（５８）における少なくとも１つの擬似カラー（８６）によって印が付けられる、
請求項９から１１までのいずれか１項記載の顕微鏡観察方法。
【請求項１３】
前記蛍光画像データ（２４，２４’，２８）と前記可視光画像データ（２６）とは同時に、複数のスペクトル帯域において取得され、
前記生体組織（１０）は、複数の蛍光物質（１４）を含んでおり、
異なる蛍光発光スペクトルを有する、前記生体組織（１０）における各蛍光物質（１４）に対して、別個の蛍光帯域画像データ（２８）が、前記蛍光画像データ（２４，２４’）の一部として取得される、
請求項９から１２までのいずれか１項記載の顕微鏡観察方法。
【請求項１４】
異なる蛍光帯域画像データ（２８）は、前記少なくとも１つの蛍光物質（１４）の自家蛍光と、照明システム（１６）によって作成された照明光（１８）によって直接的に励起された蛍光と、に対して提供される、
請求項９から１３までのいずれか１項記載の顕微鏡観察方法。
【請求項１５】
コンピュータに、請求項９から１４までのいずれか１項記載の顕微鏡観察方法を実行させるプログラムを格納している非一過性のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実手術用顕微鏡および顕微鏡観察方法に関する。
【背景技術】
【０００２】
近年の顕微鏡は、異なるイメージングモード、例えば、白色光、複数の蛍光物質のうちの１つの蛍光物質の蛍光および偏光で画像を取り込むことができる。しかしこれらの顕微鏡が一度に取り込むことができるのは１つのモードだけである。手術の間、外科医はしばしば、必要な全ての情報を入手するために、異なるイメージングモード間で切り替えを行う必要がある。このような切り替えプロセスは煩わしいものであり、これによって外科医の気が手術からそれてしまう。さらに、外科医は本来、記憶によって全ての情報を結び付けなければならない。このような行為は必然的に不正確さを生じさせ、取り違いを生じやすくし、疲弊を招き、さらに多くの訓練と経験を要する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、本発明の課題は、手術プロセスを容易にし、実際の手術から気をそらせることなく、不可欠な全ての情報を外科医に提供する顕微鏡装置と顕微鏡観察方法を提供することである。
【課題を解決するための手段】
【０００４】
本発明では、上述の課題は、拡張現実手術用顕微鏡によって解決され、この拡張現実手術用顕微鏡は、入力画像データを取り出すための画像入力システムと、イメージプロセッサと、画像出力システムを含んでおり、ここで入力画像データは、可視光画像データの後続するフレームと、少なくとも１つの蛍光物質の蛍光画像データの後続するフレームを含んでおり、ここでイメージプロセッサは、パターン認識モジュールと、画像合成モジュールを含んでおり、パターン認識モジュールは可視光画像データと、蛍光画像データと、のうちの少なくとも１つにおいて、少なくとも１つの血管網構造を識別するように構成されており、画像合成モジュールは擬似カラー画像データを作成するために、蛍光画像データにおいて、少なくとも１つの擬似カラーを少なくとも１つの蛍光物質および／または識別された血管網構造に割り当てるように、かつ可視光画像データと、擬似カラー画像データと、可視光画像データおよび擬似カラー画像データのあらゆる組み合わせと、のうちの少なくとも１つを含んでいる出力画像データを作成するように構成されている。ここで、画像出力システムは、選択的にかつ同時に、異なる出力画像データを異なる出力インタフェースに出力するように適合されている。
【０００５】
さらに上述の課題は、本発明に相応に、手術中に、生体組織の出力画像データを作成する顕微鏡観察方法によって解決される。この方法は、入力画像データを取得するステップを含んでおり、この入力画像データは、可視光画像データの後続するフレームと、少なくとも１つの蛍光物質の蛍光画像データの後続するフレームを含んでいる。この方法はさらに、可視光画像データと、蛍光画像データと、のうちの少なくとも１つにおいて、少なくとも１つの血管網構造を識別するステップと、擬似カラー画像データを作成するために、蛍光画像データにおいて、擬似カラーを少なくとも１つの識別された血管網構造および／または少なくとも１つの蛍光物質に割り当てるステップと、可視光画像データと、擬似カラー画像データと、可視光画像データおよび擬似カラー画像データのあらゆる組み合わせと、のうちの少なくとも１つを含んでいる出力画像データを作成するステップと、同時に、異なる出力画像データを出力するステップを含んでいる。
【０００６】
上述した顕微鏡および顕微鏡観察方法によって、外科医は、可視光および蛍光等の種々の供給源からの情報を結び付ける出力画像を得ることができる。付加的な情報は、擬似カラーで、血管網構造に印を付けることによって作成される。出力画像データは、異なる供給源から作成されてよく、かつ異なる出力インタフェースで選択的に入手可能であってよい。これによって、例えば手術助手が、外科医とは異なる出力画像データを得ることができる。
【０００７】
上述の解決方法は、さらに、１つまたは複数の以降の特徴を付け加えることによって改良されてよい。これらの特徴は単独で組み合わされてよく、かつこれらの特徴の各々は特有の技術的な作用を有している。以降の特徴の各々は、無差別に、顕微鏡または顕微鏡観察方法に付け加えられてよい。
【０００８】
例えば、画像取得システムは、必ずしもカメラを含んでいる必要はないが、画像データを顕微鏡に入力するように適合されている１つまたは複数の入力インタフェースを含んでいてよい。
【０００９】
有利には、強度分布は、少なくとも蛍光画像データにおいて均一化される。これは、例えば、イメージプロセッサの均一化モジュールにおいて行われてよい。均一化された蛍光画像データでは、スペクトルを励起させる、少なくとも１つの蛍光物質における不均一な照明分布が補償されてよい。このような補償は、例えば均一の色および明るさのサンプル、例えばグレーカード上で強度分布を測定し、測定されたこの分布を逆フィルタリングに使用することによって特定されてよい。
【００１０】
顕微鏡は画像ストレージシステムを含んでいてよく、ここには、本明細書に記載されているあらゆるタイプの画像データが、少なくとも一時的に格納されてよい。画像ストレージシステムは、一過性メモリおよび／または非一過性メモリを含んでいてよく、かつ取り外し可能にまたは固定的に取り付けられていてよい。
【００１１】
異なる、有利には重畳していない蛍光発光スペクトルを有する複数の蛍光物質が使用される場合には、蛍光画像データは、蛍光帯域画像データの複数の異なるセットを含んでいてよい。各セットは、異なるスペクトル帯域に割り当てられている。蛍光帯域画像データの各セットは、後続するフレームを含んでいてよい。蛍光画像データを引き合いに出す場合には、これは、蛍光帯域画像データの１つのセットに、または蛍光帯域画像データの複数のセットに関連していてよい。
【００１２】
蛍光帯域画像の複数の異なるセットを同時に取得するために、少なくとも１つのマルチスペクトルカメラまたはハイパースペクトルカメラが顕微鏡に含まれていてよい。蛍光物質の、有利には自家蛍光帯域も含んでいる各蛍光発光帯域は、有利には、マルチスペクトルカメラまたはハイパースペクトルカメラの異なるスペクトル帯域の少なくとも１つに位置付けされている。
【００１３】
蛍光帯域画像データの異なるセットの各々は、蛍光帯域画像データの他のセットと無関係に均一化されてよい。蛍光帯域画像データの各セットにおいて、血管網構造が、蛍光帯域画像データの他のセットと無関係に識別されてよい。全ての蛍光帯域画像データのセットおよび全ての血管網構造が異なる擬似カラーに割り当てられてよく、したがって、擬似カラー画像データの複数のセットが作成される。擬似カラー画像データの異なるセットはそれぞれ単独で、または相互のかつ／または可視光画像データとのあらゆる組み合わせにおいて出力画像データとして出力されてよい。蛍光画像データ、蛍光帯域画像データの各セットおよび可視光画像データが、他の画像データと組み合わされずに、直接的に、出力画像データとして出力されてもよい。
【００１４】
蛍光帯域画像データのあるセットが血流方向を自動的に特定するために使用されてよく、他方で、蛍光帯域画像データの別のセットまたは蛍光帯域画像データの複数の異なるセットが血管網構造を自動的に特定するために使用されてよい。
【００１５】
別の実施形態では、イメージプロセッサがさらに、血管網構造の、有利には予め定められたタイプを自動的に識別するように適合されていてよい。これは、蛍光画像データまたは均一化された蛍光画像データまたは蛍光帯域画像データの少なくとも１つのセットの後続するフレームにおける特定の箇所での蛍光強度の変化に依存して行われる。さらにイメージプロセッサが、擬似カラーを識別された血管網構造に自動的に割り当てるように適合されていてよい。これは、識別された血管網構造のタイプに依存して行われる。構造のタイプが擬似カラーによって印が付けられている画像データは擬似カラー画像データのセットを形成し、これは、出力画像データとして使用されてよく、または可視光画像データおよび／またはあらゆる他のタイプの擬似カラー画像データと組み合わされてよい。血管網構造のタイプは、例えば、動脈血管網構造と、静脈血管網構造と、毛細血管網構造のうちの１つであってよい。これらのタイプの各々が、異なる擬似カラーに割り当てられてよく、これは例えば、静脈血管網構造に対する青色、動脈血管網構造に対する赤色、毛細血管網構造に対する黄色または緑色である。異なるタイプの独立した画像処理を可能にするために、これらのタイプの各々が、異なる擬似カラー画像データに割り当てられてよい。組織の分類のための装置および方法が欧州特許出願ＥＰ１７１７４０４７.５に開示されており、この文献の全体は、本明細書に参照として組み込まれている。
【００１６】
血管網構造の形態学的識別のために、例えばＳｕｒｉ，  Ｓ．、  Ｌａｘｍｉｎａｒａｙａｎ，  Ｓ．著（２００３年）「Ａｎｇｉｏｇｒａｐｈｙ  ａｎｄ  Ｐｌａｑｕｅ  Ｉｍａｇｉｎｇ：Ａｄｖａｎｃｅｄ  Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅｓ（ＣＲＣ−Ｐｒｅｓｓ，  ｐｐ．  ５０１−５１８）」、Ｒｏｕｃｈｄｙ，  Ｙ．、Ｃｏｈｅｎ，  Ｌ．著（２０１１年）「Ａ  ｇｅｏｄｅｓｉｃ  ｖｏｔｉｎｇ  ｍｅｔｈｏｄ  ｆｏｒ  ｔｈｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｔｕｂｕｌａｒ  ｔｒｅｅ  ａｎｄ  ｃｅｎｔｅｒｌｉｎｅｓ（ＩＥＥＥ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｂｉｏｍｅｄｉｃａｌ  Ｉｍａｇｉｎｇ，  ＤＯＩ  １０．１１０９／ＩＳＢＩ．２０１１．５８７２５６６，  ｐｐ．  ９７９−９８３）」に開示されているアルゴリズムが使用されてよい。さらに、蛍光画像データの後続するフレームが、形態学的に識別された血管網構造における血流方向を自動的に特定するために使用されてよい。形態学的に識別された血管網構造における血流方向を自動的に特定および表示するための顕微鏡および顕微鏡観察方法が、欧州特許出願ＥＰ１７２１０９０９．２に記載されている。この文献の全体は、本明細書に参照として組み込まれている。この出願に開示されているように、識別された血管網構造における血流方向が、蛍光画像データおよび／または蛍光帯域画像データと、均一化された蛍光画像データおよび／または蛍光帯域画像データと、のうちの少なくとも１つの後続するフレームにわたった、識別された血管網構造に沿った蛍光強度の空間勾配と、識別された血管網構造の同じ箇所での時間勾配と、のうちの少なくとも１つを使用して、リアルタイムで自動的に特定されてよい。血管網構造の識別された形態学的構造の少なくとも一部が、時間的に変化する擬似カラーパターンおよび／または空間的に変化する擬似カラーパターンによって置き換えられてよい、または時間的に変化する擬似カラーパターンおよび／または空間的に変化する擬似カラーパターンと合成されてよい。この擬似カラーパターンは血流方向に依存して異なる。パターン認識モジュールが、血管網構造を自動的に形態学的に識別するように構成されていてよく、かつ擬似カラー画像データのセットを作成するように構成されていてよい。ここでは、血管網構造の識別された形態学的構造の少なくとも一部が、時間的に変化する擬似カラーパターンおよび／または空間的に変化する擬似カラーパターンによって置き換えられてよい、または時間的に変化する擬似カラーパターンおよび／または空間的に変化する擬似カラーパターンと合成されてよい。この擬似カラーパターンは血流方向に依存して異なる。
【００１７】
本発明の別の実施形態では、入力画像データは、手術前画像データの二次元または三次元アトラスを含んでいてよい。このようなアトラスは、例えばＭＲＴによって作成されてよい。付加的または択一的に、二次元または三次元アトラスが、医療用超音波システムによって、超音波画像データとして作成されてよい。超音波画像データは、手術の間または手術の前に作成されてよい。
【００１８】
これらのアトラスは、可視光画像データと、蛍光画像データと、のうちの少なくとも１つに弾力的に位置付けされてよい。これは例えば欧州特許出願ＥＰ１８１５６９０６.２に記載されているシステムおよび方法を使用して行われる。この文献の全体は、本明細書に参照として組み込まれている。
【００１９】
弾力的整合モジュールは、有利には、蛍光画像データと、均一化された蛍光画像データと、擬似カラー画像データの少なくとも１つのセットと、超音波画像データと、手術前画像データと、のうちの少なくとも１つを可視光画像データに弾力的に整合するように適合されている。
【００２０】
三次元アトラスの弾力的に整合されたサブセットは、蛍光画像データの少なくとも１つと組み合わされてよく、これは、選択的に少なくとも１つの出力インタフェースに転送される出力画像データの少なくとも１つのセットにおける、その中に含まれている蛍光帯域画像データと、均一化された蛍光画像データと、擬似カラー画像データと、超音波画像データと、可視光画像データのあらゆるセットを含んでいる。弾力的に整合されたサブセットを用いて、調査中の対象物の可視表面の下にある生体組織構造を、出力画像データにおいて可視化することができる。
【００２１】
あらゆる画像データを擬似カラーと組み合わせるために、欧州特許出願ＥＰ１６１５５６２５．３に記載されている合成プロセスおよび装置が使用されてよい。この文献の全体は、本明細書に参照として組み込まれている。
【００２２】
拡張現実手術用顕微鏡は、複数の出力装置を含んでいてよい。これは例えば、立体ディスプレイと、二次元ディスプレイおよび／または三次元ディスプレイと、拡張現実ゴーグルと、プロジェクターと、ストレージまたはメモリシステムと、のうちの少なくとも１つである。各異なる出力装置に対して、別個の出力インタフェースが提供されてよく、各インタフェースは、異なる出力画像データを受け取るように適合されている。
【００２３】
最後に、本発明は、非一過性のコンピュータ可読媒体にも関する。これはプログラムを格納し、コンピュータに、本明細書に記載されているいずれかの構造において、画像処理方法を実行させる。
【００２４】
以降では、例示的な実施形態を用いて、開示されている図面を参照して、本発明を詳細に説明する。この実施形態において示される特徴の特定の組み合わせは、単に、説明のためものであり、種々の付加的な特徴の上述の説明にしたがって変更されてよい。例えば特徴が、この特徴の技術的な作用が特定の用途において不要な場合には省かれてよく、その反対に、特徴が、特定の用途に対して、この特徴の技術的な作用が必要な場合には付け加えられてよい。
【００２５】
図面では、同一の参照番号が、機能と、構造と、のうちの少なくとも１つに関して相互に一致する要素に使用される。
【図面の簡単な説明】
【００２６】
【図１】本発明に相応する拡張現実手術用顕微鏡の概略図
【図２】本発明に相応する顕微鏡観察方法の概略図
【図３】本発明に相応する拡張現実手術用顕微鏡と、本発明に相応する顕微鏡観察方法によって得られるサンプル画像を示す図
【発明を実施するための形態】
【００２７】
以降では、本発明を、図１、図２および図３を参照して説明する。
【００２８】
図１は、拡張現実手術用顕微鏡１を示している。顕微鏡１には、少なくとも１つのカメラ２が備えられている。このカメラ２は有利には、少なくとも１つのマルチスペクトルカメラまたはハイパースペクトルカメラを含んでいる。カメラ２は、光学素子ホルダー４内に位置付けされている。光学素子ホルダー４は、可動の片持ちアームおよび／または伸縮アーム６に取り付けられており、手術中に観察される対象物８上に自由に位置決めされる。アーム６は、顕微鏡１のフレーム９上に支持されている。フレーム９は定置であってよい、または車輪で動かされてよい。
【００２９】
典型的に、対象物８は生体組織１０を含んでいる。この生体組織１０には、少なくとも１つの蛍光物質１４の少なくとも１つのボーラス１２が投与されている。手術用顕微鏡１は、照明システム１６も含んでいてよく、照明システム１６は、光学素子ホルダー４内に配置されていてもよい。照明システム１６からの照明光１８は、顕微鏡レンズ２０を通じて、生体組織１０上へ案内されてよい。カメラは、顕微鏡レンズ２０も使用してよい。
【００３０】
生体組織１０が、１つまたは複数の蛍光物質１４の少なくとも１つのボーラス１２を含んでおり、照明光１８または周辺光が、各蛍光物質１４の蛍光が励起される波長を含んでいる場合、カメラ２は、蛍光画像データ２４、すなわち、少なくとも１つの蛍光物質の蛍光発光波長で記録された生体組織の画像を表すデータを含んでいる入力画像データ２２を取得してよい。
【００３１】
生体組織１０内に蛍光物質が含まれていない場合には、入力画像データ２２は、生体組織１０の可視光画像データ２６だけを含んでいてよい。蛍光物質１４の蛍光に対して択一的または付加的に、カメラ２が、生体組織１０または蛍光物質１４の自家蛍光を検出するように構成されていてもよい。自家蛍光は、照明光１８または蛍光物質１４の蛍光によって励起されてよい。
【００３２】
カメラ２がマルチスペクトルカメラまたはハイパースペクトルカメラである場合には、蛍光物質１４および／または自家蛍光の各蛍光波長帯が、センサの異なるアレイ上へ、すなわち、マルチスペクトルカメラおよびハイパースペクトルカメラの異なるスペクトル帯域上へ位置付けされてよい。したがって、蛍光画像データ２４は、蛍光帯域画像データ２８の１つまたは複数のセットを含んでいてよい。このセットの各々は、異なる蛍光スペクトルで対象物８の画像を表している。蛍光スペクトルは、制限された、しばしば幅の狭いスペクトル帯域に対応する。このスペクトル帯域は有利には、蛍光物質１４の蛍光発光スペクトルまたは生体組織１０における組織または物質の予め定められたタイプを中心とする。蛍光帯域画像データ２８の３つのセットが、例示目的でのみ、図１に示されている。１つのセットは、５７０ｎｍの波長を中心とする蛍光発光スペクトルを有する蛍光物質１４によって作成され（ＦＬ５７０）、１つのセットは、４００ｎｍの波長を中心とする蛍光発光スペクトルを有する別の蛍光物質１４によって作成され（ＦＬ４００）、１つのセットは、８００ｎｍの波長を中心とする蛍光発光スペクトルを有する別の蛍光物質１４によって作成される（ＦＬ８００）。
【００３３】
マルチスペクトルカメラまたはハイパースペクトルカメラを使用する利点は、蛍光画像データ２４に対して付加的に、かつ蛍光画像データ２４と同時に、可視光画像データ２６（図１におけるＷＬ）が、可視光を表すための少なくとも３つの異なるスペクトル帯域を使用して記録されるということである。
【００３４】
入力画像データ２２は、蛍光画像データ２４と、可視光画像データ２６と、蛍光帯域画像データ２８と、のうちの少なくとも１つにおいて、有利には、後続するフレーム３０の時系列２９を含んでいる、または後続するフレーム３０の時系列２９から成り、各フレームはここで、複数のピクセル３２を含んでいる。
【００３５】
画像データ２２、２４、２６および２８が、画像ストレージシステム３４内に格納されていてよい。画像ストレージシステム３４は、ＲＡＭ、ＲＯＭ、ディスクドライブまたはメモリカード等の一過性のメモリまたは非一過性のメモリであってよい。メモリカードは例えばＳＤカードまたはｍｉｃｒｏ−ＳＤカードである。ストレージシステム３４は、顕微鏡１に固定されていてよい、または顕微鏡１に繰り返し挿入可能であり、かつ顕微鏡１から取り外せるように構成されていてよい。画像データ２２、２４、２６、２８が取り出される、あらゆる他のタイプのストレージが、用語「画像ストレージシステム」に含まれていると考えられる。
【００３６】
画像ストレージシステム３４が、手術前画像データ３８の三次元アトラス３６も含んでいてよい。手術前画像データ３８は、対象物８から、例えばＭＲＴによって、顕微鏡１による観察の前に得られてよい。入力画像データ２２が、手術前画像データ３８を含んでいてよい。
【００３７】
入力画像データ２２が、別の供給源からの画像データ、例えば二次元または三次元超音波画像データ３９を含んでいてもよい。これらの超音波画像データは、欧州特許出願ＥＰ１８１５８８５８.３において開示されているような、イメージング超音波システムによって作成されたものである。この文献の全体は、本明細書に参照として組み込まれている。
【００３８】
拡張現実手術用顕微鏡１は、さらに、イメージプロセッサ４０を含んでおり、イメージプロセッサ４０は、入力画像データ２２、２４、２６、２８および３８のいずれかで作動するように適合されている。イメージプロセッサ４０は、ソフトウェア、ハードウェア、またはその両方の組み合わせから構成されていてよい。例えば、イメージプロセッサは、汎用コンピュータまたはプロセッサ、例えば、メモリを備えたＣＰＵおよび／またはＧＰＵ、または特定用途向けＩＣ、例えばＡＳＩＣを含んでいてよい。
【００３９】
図２を例えば参照すると、イメージプロセッサ４０は、均一化モジュール４２、動態解析モジュール４４、弾力的整合モジュール４６、パターン認識モジュール４８、スペクトルアンミキシングモジュール５０および画像合成モジュール５２を含んでいてよい。これらのモジュール４２から５２は同様に、ソフトウェアにおいて、ハードウェアにおいて、またはそれら両方の組み合わせにおいて実装されてよい。
【００４０】
均一化モジュール４２は、蛍光画像データ２４のフレーム３０にわたったまたは単独で蛍光帯域画像データ２８のあらゆるセットにわたった強度分布を均一化するように適合されている。均一化の結果、均一化された蛍光画像データ２４が得られ、これは、均一化された蛍光帯域画像データ２８の１つまたは複数のセットを含んでいてよい。
【００４１】
均一化のために、拡張現実手術用顕微鏡１は、格納されている均一化機能５３を含んでいてよく、これは、例えば、対象物８として、照明光１８の蛍光励起波長帯によって照明される均一な対象物８を有することによって得られる。各蛍光帯域は有利には、自身の均一化機能５３を有している。均一な対象物８が、光学的なひずみを記録するために、幾何学形状的なパターンも含んでいてよい。このことから、均一化機能５３が、照明分布および／またはひずみの逆のものとして導出されてよい。当然、可視光画像データ２６も、例えば蛍光画像データ２４と同じモジュールおよび／または方法によって均一化されてよい。均一化に関しては、欧州特許出願ＥＰ１８１５２６１７．９を参照されたい。この文献の全体は、本明細書に参照として組み込まれている。
【００４２】
動態解析モジュール４４は、フレーム３０の時系列２９を処理するように適合されている。動態解析モジュール４４は、生体組織１０における血管網構造５４の少なくとも１つのタイプを分類するように、かつ／または蛍光画像データ２４または均一化された蛍光画像データ２４に基づいて、血流方向５６を識別するように構成されている。
【００４３】
動態解析モジュール４４は有利には、蛍光画像データ２４の後続するフレーム３０を取り出し、処理するように適合されている。例えば、生体組織１０の特定の箇所５７でボーラス１２の時間展開で主成分分析を実行することによって、血管網構造５４のタイプが自動的に特定されてよく、例えば動脈血管網構造５４ａと、静脈血管網構造５４ｂと、毛細血管網構造５４ｃと、のうちの１つであることが特定される。顕微鏡１では、異なって識別された血管網構造５４ａ、５４ｂ、５４ｃがそれぞれ、擬似カラー画像データ５５によって表されてよく、ここでは、各構造５４ａ、５４ｂ、５４ｃが、自動的に異なる擬似カラーに割り当てられてよい。血管網構造５４ａ、５４ｂ、５４ｃの各異なるタイプに対して、擬似カラー画像データ５５の異なるセットが、異なる血管網構造５４ａ、５４ｂ、５４ｃの独立した処理を可能にするために提供されてよい。
【００４４】
少なくとも１つの蛍光物質１４のボーラス１２の時間展開に基づく、血管網構造のタイプの自動的な識別は、欧州特許出願ＥＰ１７１７４０４７．５に記載されており、この文献の全体は、本明細書に参照として組み込まれている。
【００４５】
動態解析モジュール４４が、蛍光画像データ２４における血流方向５６を特定するために使用されてもよい。これは特に、パターン認識モジュール４８によって予め形態学的に識別された血管網構造５４において行われる。血管網構造の形態学的識別は、形態学的識別では、画像データにおける隣接する血管網構造の幾何学形状的な延在が、そのタイプの分類を伴わずに特定されるという点において血管網構造のタイプの分類とは異なる。
【００４６】
血管網構造５４の形態学的識別は、例えば、Ｓｕｒｉ，  Ｓ．、  Ｌａｘｍｉｎａｒａｙａｎ，  Ｓ．著（２００３年）「Ａｎｇｉｏｇｒａｐｈｙ  ａｎｄ  Ｐｌａｑｕｅ  Ｉｍａｇｉｎｇ：Ａｄｖａｎｃｅｄ  Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅｓ（ＣＲＣ−Ｐｒｅｓｓ，  ｐｐ．  ５０１−５１８）」、Ｒｏｕｃｈｄｙ，  Ｙ．、Ｃｏｈｅｎ，  Ｌ．著（２０１１年）「Ａ  ｇｅｏｄｅｓｉｃ  ｖｏｔｉｎｇ  ｍｅｔｈｏｄ  ｆｏｒ  ｔｈｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｔｕｂｕｌａｒ  ｔｒｅｅ  ａｎｄ  ｃｅｎｔｅｒｌｉｎｅｓ（ＩＥＥＥ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｂｉｏｍｅｄｉｃａｌ  Ｉｍａｇｉｎｇ，  ＤＯＩ  １０．１１０９／ＩＳＢＩ．２０１１．５９７２５７６，  ｐｐ．  ９７９−９８３）」に記載されている。全体が、本明細書に参照として組み込まれている欧州特許出願ＥＰ１７２１０９０９．２に記載されている装置および方法を使用することによって、血流方向５６が、形態学的に識別された血管網構造５４において特定されてよく、これは、蛍光画像データ２４の後続するフレーム３０にわたって識別された血管網構造５４内の所定の箇所５７での時間微分を使用して行われる。別の実施形態では付加的に、識別された血管網構造５４に沿った空間微分が使用される。形態学的に識別された血管網構造５４に、時間的に変化する擬似カラーパターンおよび／または空間的に変化する擬似カラーパターンを割り当てることによって、擬似カラー画像データ５５の別のセットが作成されてよい。有利には、パターンは、血流方向５６と、血流速度と、のうちの少なくとも１つに依存する。
【００４７】
時間的に変化する擬似カラーパターンおよび／または空間的に変化する擬似カラーパターンを割り当てることによって、擬似カラー画像データ５５の別のセットが超音波画像データ３９から作成されてよい。これは、血流方向５６と、血流速度と、血流量と、のうちの少なくとも１つに依存する。動態解析モジュール４４は、この種の割り当てを、超音波画像データ３９を可視光画像データ２６に弾力的に整合させる前または整合させた後に実行するように適合されていてよい。
【００４８】
弾力的整合モジュール４６は、蛍光画像データ２４のフレーム３０の時系列において、パターン認識モジュール４８によって識別された血管網構造５４を、後続するフレームおよび／または別の画像データに整合させるように適合されている。したがって、箇所５７およびそのプロパティー、例えば血流方向５６は、フレーム３０の時系列において追跡されてよい。パターン認識モジュール４８は、手術前三次元アトラス３６を可視光画像データ２６に弾力的に整合させるように適合されていてよい。
【００４９】
弾力的な整合に使用され得る方法は例えば、欧州特許出願１８１５６９０６．２に記載されており、この文献の全体は、本明細書に参照として組み込まれている。さらに、パターン認識モジュール４８が、入力画像データ２２のあらゆるタイプまたはサブセットを入力画像データ２２の別のサブセットに弾力的に整合させるように適合されていてよい。例えば、入力画像データ２２がイメージング超音波装置によって作成された超音波画像データ３９に対応する場合には、超音波画像データ３９は、可視光画像データ２６または蛍光画像データ２４に弾力的に整合されてよい。
【００５０】
スペクトルアンミキシングモジュール５０は、入力画像データ２２から、特に、蛍光帯域画像データ２８の１つのセットから、異なる蛍光スペクトルを抽出するように適合されている。スペクトルアンミキシングモジュール５０は、光学フィルタアレンジメント５８、例えば１つまたは複数の狭帯域バンドパスフィルタも含んでいてよく、ここで通過帯域は、有利には、蛍光物質１４の各蛍光発光スペクトルに制限されている。フィルタアレンジメント５８は、異なる蛍光スペクトル間のクロストークを低減する。
【００５１】
スペクトルアンミキシングモジュール５０は、さらに、例えば組織の自家蛍光画像データ２８’を蛍光帯域画像データ２８からディジタルに分離するように適合されていてよい。組織１０内の蛍光が照明光１８によって励起されると、または第２の作用として、引き起こされた蛍光によって励起されると、自家蛍光は不所望な作用または意図されていない作用になり得る。スペクトルアンミキシングモジュール５０およびフィルタアレンジメント５８の例は、欧州特許出願ＥＰ１７１７９０１９．９に含まれており、この文献の全体は、本明細書に参照として組み込まれている。マルチスペクトルカメラおよび／またはハイパースペクトルカメラが使用される場合、および自家蛍光が生じるであろう蛍光スペクトルが既知である場合には、有利には、異なる自家蛍光スペクトルが、カメラの異なるスペクトル帯域に割り当てられる。これらのスペクトル帯域は有利には、励起された蛍光が記録される、カメラのスペクトル帯域とは異なる。カメラにおいて、スペクトル帯域のこのような分離が行われない場合には、スペクトルアンミキシングモジュール５０は、通過帯域が自家蛍光スペクトルに整合されている少なくとも１つのデジタルバンドパスフィルタを含んでいてよい。デジタルバンドパスフィルタは、ＩＩＲフィルタまたはＦＩＲフィルタであってよい。有利には、各自家蛍光スペクトルに対して、マッチングデジタルバンドパスフィルタが存在する。
【００５２】
画像合成モジュール５２は、顕微鏡１におけるあらゆる画像データを擬似カラーと合成し、これによって、擬似カラー画像データ５５、入力画像データ２２および／または処理された画像データ２４’、２８’、５４ａ、５４ｂ、５４ｃの別の１つを作成するように適合されている。画像合成モジュール５２によって実行される構造および方法は、欧州特許出願ＥＰ１６１５５６２５．３に記載されており、この文献の全体は、本明細書に参照として組み込まれている。
【００５３】
例えば、識別された血管網構造５４ａ、５４ｂ、５４ｃの識別されたタイプ内の箇所５７が、自動的に、出力画像データ５８における擬似カラーに割り当てられてよい。擬似カラーは線形に、箇所５７、すなわち可視光画像データ２６の色と、擬似カラーとの間の色空間に位置している。箇所５７は、各フレーム３０における１つのピクセルまたはピクセルのセットに対応していてよい。特に、出力画像データ５８における対応する箇所５７の色と擬似カラーとの、色空間における距離は、蛍光画像データ２４またはそのあらゆるサブセットにおけるこの箇所それぞれでの強度に比例していてよい。
【００５４】
画像合成モジュール５２は、出力画像データ５８の少なくとも１つのセットを、画像データ２４、２４’、２６、２８、２８’３６、５４ａ、５４ｂ、５４ｃ、５５のあらゆる組み合わせから作成しても、またはこれらの画像データの１つのセットだけから作成してもよい。
【００５５】
モジュール４２から５２の各々は、ハードウェアとして、ソフトウェアとして、またはその両方の組み合わせとして実装されていてよい。例えば、モジュールは、コンピュータプログラムにおける１つまたは複数のサブルーチンとして、ＣＰＵの一部および／またはＡＳＩＣとして実現されてよい。
【００５６】
さらに、図１において見て取れるように、拡張現実手術用顕微鏡１は、複数の入力インタフェース６０を含んでいてよい。これらは、入力画像データ２２を提供するために種々の装置に接続されるように構成されている。入力インタフェース６０は、入力画像データの少なくとも１つのセットを受け取る、標準化されている有線プロトコール、ソケットまたはコネクタ、例えばＴＣＰ／ＩＰ、ＤＶＩ、ＨＤＭＩ、ＵＳＢおよび／または無線接続、例えばＷｉＦｉであってよい。入力インタフェース６０は、画像入力システム２５の一部である。特に、入力画像データ２２は、三次元アトラス３６または超音波画像データ３９によって例示されるように、光学手段によって作成される必要はなく、Ｘ線、ＭＲＴ、超音波および／またはＰＥＴを使用して作成されてもよい。例えば、全体が、本明細書に参照として組み込まれている欧州特許出願ＥＰ１８１５８８５８．３に記載されている組み合わされたカメラ／超音波ヘッドが、顕微鏡１に接続されてよく、顕微鏡１の一部であってよい。入力画像データ２２がこの超音波ヘッドからも取得されてよい、または入力画像データ２２がこの超音波ヘッドだけから取得されてよい。
【００５７】
照明システム１６が、調整可能なスペクトルを有している光源６２を含んでいてよい。特に、少なくとも１つの光源６２の照明スペクトルが、全体が、本明細書に参照として組み込まれている欧州特許出願ＥＰ１６１８４３１１．５に記載されているように、対象物８の反射および／または少なくとも１つの蛍光物質１４の蛍光励起スペクトルに自動的に適合されてよい。
【００５８】
モジュール４２から５２の操作は、カスタマイズ部分６４によってコントロールされてよい。カスタマイズ部分６４は、センサ６６を含んでいてよく、これは自動的に、顕微鏡１の操作パラメータ６８を取得する。この操作パラメータは例えば、顕微鏡レンズ２０の焦点距離と、顕微鏡レンズ２０の距離設定と、入力画像データ２２の明るさと、入力画像データ２２の平均スペクトルと、照明システム１６の照明スペクトル等と、のうちの少なくとも１つである。さらにカスタマイズ部分６４は、顕微鏡１の操作前かつ／または操作中に、手動で調整可能なユーザー設定６９を含んでいてよい。各異なる出力装置７０に対して、異なるユーザー設定６９が、カスタマイズ部分６４内に格納されていてよい。例えば、画像合成モジュール５２が、出力画像データ５８内に、カスタマイズ部分６４において合成のために手動で選択された入力画像データ２２または処理された画像データ２４’、２８’、５４ａ、５４ｂ、５４ｃ、５５だけを合成してよい。入力画像データ２２の組み合わせの種々の可能性が、図２において矢印７１によって示されている。例えば、出力画像データ５８ａにおいて、可視光画像データ２６と、均一化された蛍光画像データ２４’からの擬似カラー画像データ５５のセットと、各タイプが異なる擬似カラーにある血管網構造５４ａ、５４ｂ、５４ｃの異なるタイプの擬似カラー画像データ５５のセットが、相互に合成されてよい。
【００５９】
出力画像データ５８ａの別のセットにおいて、有利には均一化された蛍光帯域画像データ２８が合成されてよく、ここで各蛍光帯域は、異なる擬似カラーおよび／または空間的に変化するパターン７２、擬似カラーの明るさおよび／または空間パターンに割り当てられている。これは、例えばその箇所５７の蛍光強度に依存する。
【００６０】
出力画像データ５８ｃの別のセットは、イメージプロセッサ４０によって作成された時間的に変化するパターン７３を含んでいてよい。時間的に変化するパターン７３は、識別された血管網構造５４に制限されてよい、かつ／または識別された血管網構造５４を少なくとも部分的に覆っていてよい、かつ／または後続する出力画像データ５８ｃにおけるその見た目は、血流方向５６と、血流速度と、のうちの少なくとも１つに依存していてよい。時間的に変化するパターン７３は、例えば、大きさおよび方向を、血流速度および血流方向５６に依存して変える矢印であってよい、または出力画像データ５８ｃの後続するフレーム３０にわたって血流方向５６において進むパターンが含まれているプログレスバーであってよい。時間的に変化するマーカの見た目は、ユーザー設定６９において決められてよい。時間依存性マーカの作成は、全体が、本明細書に参照として組み込まれている欧州特許出願ＥＰ１６１７０７６９．０に記載されている。
【００６１】
当然、入力画像データ２２または画像データ２４’、２８’、５４ａ、５４ｂ、５４ｃのあらゆる他の組み合わせが出力画像データ５８において合成されてよい。あらゆる数の異なる出力画像データ５８が、同時に出力されてよい。このコンテキストにおいて、別個の擬似カラー画像データ５５が、出力画像データ５８に合成される前に作成される必要がない、ということに留意されたい。その代わりに、擬似カラーおよび各画像データ２２が、その場で、出力画像データ５８に合成されてよい。ここでは、別個の擬似カラー画像データ５５の完全なセットは作成されない。
【００６２】
しかし、コンピュータによる計算の目的で、例えば、同じ擬似カラー画像データ５５が出力画像データ５８の２つの異なるセットに合成される必要がある場合には、擬似カラー画像データ５５を新たに、出力画像データ５８の各セットに対して計算するよりも、一度、擬似カラー画像データ５５を作成し、一時的に格納するほうがより効率的である。
【００６３】
出力画像データ５８を出力するために、拡張現実手術用顕微鏡１はさらに、画像出力システム７４を含んでいる。これは、種々の出力装置７０に接続されるように適合されている。有利には、出力装置７０は、１つまたは複数の異なるディスプレイ７５を含んでいる。これは例えば少なくとも１つの三次元ディスプレイ７５および／または二次元ディスプレイ７５、少なくとも１つの立体ディスプレイ７６、拡張現実ゴーグル７８、および他のもの８０、例えばプロジェクター、または録画システムおよび／または画像ストレージシステムである。特に、カスタマイズ部分６４における操作パラメータ６８に依存して、異なる出力画像データ５８が同時に、画像出力システム７４の異なる出力インタフェース８０に提供されてよい。例えば、立体ディスプレイ７６で外科医に、ディスプレイ７５を観察している助手とは異なる出力画像データ５８が提供されてよい。外科医が拡張現実ゴーグル７８を使用している場合、外科医に同様に、異なる出力画像データ５８が、別の出力装置７０に対する出力画像データ５８と同時に提供されてよい。出力インタフェース８０は、出力装置に出力画像データ５８を出力するための、標準化されたプロトコール、コネクタおよびソケット、例えばＴＣＰ／ＩＰ、ＨＤＭＩ、ＤＶＩおよびＵＳＢまたは無線接続、例えばＷｉＦｉを含んでいてよい。
【００６４】
入力インタフェース６０および／または画像出力システム７４は、有利には標準化されているハードウェアコネクタおよび／または無線接続のあらゆる組み合わせ、およびあらゆる数の有利には標準化されているハードウェアコネクタおよび／または無線接続を含んでいてよい。
【００６５】
拡張現実手術用顕微鏡１、特に画像合成モジュール５２はさらにカラープレート８４（図３）を含んでいてよく、これは、画像ストレージシステム３４または顕微鏡１のあらゆる他のストレージシステムに格納されていてよい。カスタマイズ部分６４におけるユーザー設定６９に依存して、かつ／または動態解析モジュール４４によって識別された血管網構造５４のタイプおよび／または血流方向５６に依存して、拡張現実手術用顕微鏡１は、カラープレート８４の異なる擬似カラー８６を、出力画像データ５８における異なる箇所５７に自動的に割り当ててよい。上述した可視光画像データ２６および／または蛍光画像データ２４は、有利にはカラー画像として、またはグレースケール画像として、出力画像データ５８において表示されてよい。
【００６６】
拡張現実手術用顕微鏡１は、リアルタイムで動作する。したがって、全ての上述した出力画像データ５８は、リアルタイムで外科医に提供される。
【符号の説明】
【００６７】
１  拡張現実手術用顕微鏡
２  カメラ
４  光学素子ホルダー
６  片持ちアーム
８  対象物
９  フレーム
１０  生体組織
１２  ボーラス
１４  蛍光物質
１６  照明システム
１８  照明光
２０  顕微鏡レンズ
２２  入力画像データ
２４  蛍光画像データ
２４’  均一化された蛍光画像データ
２５  画像入力システム
２６  可視光画像データ
２８  蛍光帯域画像データ
２８’  自家蛍光画像データ
２９  時系列
３０  フレーム
３２  ピクセル
３４  画像ストレージシステム
３６  三次元アトラス
３８  手術前画像データ
３９  超音波画像データ
４０  イメージプロセッサ
４２  均一化モジュール
４４  動態解析モジュール
４６  弾力的整合モジュール
４８  パターン認識モジュール
５０  スペクトルアンミキシングモジュール
５２  画像合成モジュール
５３  均一化機能
５４  血管網構造
５４ａ  動脈血管網構造
５４ｂ  静脈血管網構造
５４ｃ  毛細血管網構造
５５  擬似カラー画像データ
５６  血流方向
５７  対象物または生体組織における箇所
５８  フィルタ
５８  出力画像データ
５８ａ  出力画像データの例
５８ｂ  出力画像データの例
５８ｃ  出力画像データの例
６０  入力インタフェース
６２  光源
６４  カスタマイズ部分
６６  センサ
６８  操作パラメータ
６９  ユーザー設定
７０  出力装置
７１  矢印
７２  空間的に変化するパターン
７３  時間的に変化するパターン
７４  画像出力システム
７５  ディスプレイ
７６  立体ディスプレイ
７８  拡張現実ゴーグル
８０  出力インタフェース
８４  カラープレート
８６  擬似カラー
【図１】
2019164347.tif 000003
【図２】
2019164347.tif 000004
【図３】
2019164347.tif 000005
【外国語明細書】
2019164347.tif 000006
2019164347.tif 000007
2019164347.tif 000008
2019164347.tif 000009
2019164347.tif 000010
2019164347.tif 000011
2019164347.tif 000012
2019164347.tif 000013
2019164347.tif 000014
2019164347.tif 000015
2019164347.tif 000016
2019164347.tif 000017
2019164347.tif 000018
2019164347.tif 000019
2019164347.tif 000020
2019164347.tif 000021
2019164347.tif 000022
2019164347.tif 000023
2019164347.tif 000024
2019164347.tif 000025
2019164347.tif 000026
2019164347.tif 000027
2019164347.tif 000028
2019164347.tif 000029
2019164347.tif 000030
2019164347.tif 000031