(57)【要約】  内視鏡検査、胎児鏡検査または腹腔鏡検査の手段において医者を支援するために適用可能な解剖学的構造体の赤外ビジョンのための装置、およびそのビジョンを改善するためのシグナル処理のための方法であって、それは、共に働く２つのユニット：（１）内視鏡、胎児鏡または腹腔鏡を含むデバイスと患者の身体の内部のマルチモードの画像を取得するためのさらなる光学的システムから構成される、マルチモードまたはマルチスペクトルの画像処理ユニットと；および（２）少なくとも5つの異なる視野改善方法、すなわち、標準化、セグメント化、トラッキング、マッピングおよびヒュージョンを適用するハードウエア及びソフトウエアが装備された、前記画像を処理するとともに、患者の改善された解剖学的マップ画像および内視鏡の位置を表示するナビゲーションインターフェースを備えた処理デバイスを含む、赤外画像が転送される画像処理ユニットとを含む。【選択図】  図７
2012511361.tif 000002
【特許請求の範囲】
【請求項１】
解剖学的構造および組織、好ましくは血管のような血管構造の赤外線の改善された画像処理のための装置であって、該装置は、以下の少なくとも２つの協働ユニットを含み：
−画像取得デバイス、好ましくは、内視鏡、胎児鏡または腹腔鏡（３）を含む内視鏡画像取得デバイスと、さらなる光学的システムを含む、ヒトの身体の内部からのマルチモードまたはマルチスペクトルの画像を取得し、前記画像を改善された画像処理ユニット（２）へ送るための、マルチモードのまたはマルチスペクトルの画像取得ユニット（１）；
−少なくとも以下のシグナル処理方法を適用することによる、ヒトの身体の改善された画像、好ましくは、ヒトの身体の血管マップと、画像取得デバイスのリアルタイムの位置を処理し表示するためのインターフェースを備えたデバイスを含む画像処理ユニット（２）、
前記シグナル処理方法は、
各画像ポイントにおける可視光（赤、緑および青）と赤外光の強度のリアルタイムの比較の手段と、前記画像におけるローパスフィルタの使用によって、解剖学的構造または組織（７）を照らす光の量を標準化するためのシグナル処理のための手順における、標準化（１５）：
赤外光および可視光のリアルタイムのスペクトル分析に基づいて、前記解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメン化するためのシグナル処理のための手順における、セグメント化（１６）：
標準化（１５）およびセグメント化（１６）によって生成された２つの連続的画像の間で、前記解剖学的構造または組織、好ましくは、血管のような血管構造をリアルタイムでトラックする、および配置するためのシグナル処理のための手順における、トラッキング（１７）：
トラッキング（１７）によって得られた前記画像およびトラッキング座標から、前記解剖学的構造または組織、好ましくは、血管のような血管構造のリアルタイムのマップを作製するためのシグナル処理のための手順における、マッピング（１８）： 
標準化（１５）、セグメント化（１６）、トラッキング（１７）およびマッピング（１８）に対応する任意の方法によって得られた情報によって、前記画像取得ユニット（１）によって生成された可視光の画像をマージするためのシグナル処理のための手順における、ヒュージョン（１９）、であることを特徴とする、装置。
【請求項２】
前記画像取得ユニット（１）が、ヒトの身体の内部からのビデオ画像が得られる少なくとも１つのチャンネルを有する内視鏡、胎児鏡または腹腔鏡（３）を含み、前記チャンネルに、少なくとも１つの赤外光源（４）および少なくとも１つの白色光源（５）または３つの波長、青、緑および赤を含む光源が連結されて、前記ユニットにおいて、光が光学的要素（６）を使用することによって前記内視鏡のビデオチャンネルへと連結されることを特徴とする、請求項１に記載の装置。
【請求項３】
ＣＣＤ、ＣＭＯＳまたはＥＭ−ＣＣＤカメラから選択された１以上のビデオカメラ（１０）、（１１）において画像を形成するため、および前記画像処理ユニット（２）によるさらなる処理のために前記画像をデジタル化するために、随意にフィルタ（８）およびレンズ（９）と組み合わせて、内視鏡、胎児鏡または腹腔鏡（３）における同じチャンネルが、光学的要素（６）の使用によって前記構造の検出のために使用され得ることを特徴とする請求項１または２のいずれかに記載の装置。
【請求項４】
検出された前記シグナルが非常に弱いか又はそれらが低質である場合に、画像増幅器が、前記ビデオカメラ（１０）、（１１）にさらに供されることを特徴とする請求項１乃至３のいずれかに記載の装置。
【請求項５】
内視鏡（３）の２つのチャンネルを使用することによって、代替的に、少なくとも２つの光源（４）、（５）が、前記ビデオカメラ（１０）、（１１）に連結されることを特徴とする請求項１乃至４のいずれかに記載の装置。
【請求項６】
代替的に、内視鏡、胎児鏡または腹腔鏡（３）における少なくとも１つのチャンネルが、光学的要素（６）と組み合わせて照明のためのみに使用され；および少なくとも１つの他のチャンネルが検出のためのみに使用され、前記装置は、フィルタ（８）およびレンズ（９）のようなさらなる光学的要素を随意にさらに含むことを特徴とする請求項１乃至４のいずれかに記載の装置。
【請求項７】
代替的に、前記内視鏡のプローブに設置され、電気コネクション（２２）に繋がれたＣＣＤ、ＣＭＯＳまたはＥＭ−ＣＣＤカメラ（１０）が、光源（４）、（５）によって連続的に発せられた異なるバンド又は波長の連続的な検出のために利用され、前記カメラ（１０）内の少なくとも１つのフィルタ（８）が、随意に、１以上の赤外線スペクトルバンドの分離のためにカラーフィルタアレー又はカラーフィルタモザイクであり得ることを特徴とする請求項１乃至４のいずれかに記載の装置。
【請求項８】
前記光学的要素（６）が、ビームスプリッター、ホットミラー、コールドミラー、ダイクロイックミラー、偏光子、拡散子、回折光学素子、アナライザー、ホログラフィック光学素子、位相板、超音波光学材料、ダズラー、シェーパー、部分的ミラー、ダイクロイックプリズムシステム、調節可能な光学フィルタ、多重に分岐した導光、偏光ビームスプリッター、或いは、前記光学経路がファイバー光学経路である場合に光学ファイバー内のカプセル化も含む、検出又は照明のいずれか、またはその両方のための光学的経路を分けるかまたは結びつけるために、また、波長、偏光、または他の光学的特性に依存してそれらの伝達または反射条件を調整することのできる任意の他の光学的デバイスの中から選択されることを特徴とする請求項１乃至７のいずれかに記載の装置。
【請求項９】
前記画像取得ユニット（１）が、画像取得デバイスとして、皮膚および開放外科的手技に適合した光学対物レンズを含むことを特徴とする請求項１に記載の装置。
【請求項１０】
解剖学的構造および組織、好ましくは、血管のような血管構造の画像のシグナル処理の手順であって、少なくとも以下：
各画像ポイントにおける可視光（赤、緑および青）と赤外光の強度のリアルタイムでの比較の手段と、前記画像におけるローパスフィルタの使用によって、前記組織（７）を照らす光の量を標準化するためのシグナル処理のための手順における、標準化（１５）：
赤外光および可視光のリアルタイムのスペクトル分析に基づいて、解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメン化するためのシグナル処理のための手順における、セグメント化（１６）：
標準化（１５）およびセグメント化（１６）によって生成された２つの連続的画像の間で、解剖学的構造または組織、好ましくは、血管のような血管構造をリアルタイムでトラックし、および配置するためのシグナル処理のための手順における、トラッキング（１７）：
トラッキング（１７）によって得られた前記画像およびトラッキング座標から、解剖学的構造または組織、好ましくは、血管のような血管構造のリアルタイムのマップを作製するためのシグナル処理のための手順における、マッピング（１８）：
標準化（１５）、セグメント化（１６）、トラッキング（１７）およびマッピング（１８）に対応する任意の方法からの情報によって、画像取得ユニット（１）によって生成された可視光の画像をマージするためのシグナル処理のための手順における、ヒュージョン（１９）、
の方法が、ＣＰＵ、ＦＰＧＡ，ＣＰＵベースのシステム、またはローカルの、分散または並列コンピューティングを通じてリアルタイム処理を行う任意の他のハードウエアによって、画像処理ユニット（２）において実行されることと特徴とする手順。
【請求項１１】
少なくとも以下のシグナル処理方法：
各画像ポイントにおける可視光（赤、緑および青）と赤外光の強度のリアルタイムの比較の手段と、前記画像におけるローパスフィルタの使用によって、解剖学的構造または組織（７）を照らす光の量を標準化するためのシグナル処理のための手順における、標準化（１５）：
赤外光および可視光のリアルタイムのスペクトル分析に基づいて、解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメン化するためのシグナル処理のための手順における、セグメント化（１６）：
標準化（１５）およびセグメント化（１６）によって生成された２つの連続的画像の間で、解剖学的構造または組織、好ましくは、血管のような血管構造をリアルタイムでトラックし、および配置するためのシグナル処理のための手順における、トラッキング（１７）：
トラッキング（１７）によって得られた前記画像およびトラッキング座標から、解剖学的構造または組織、好ましくは、血管のような血管構造のリアルタイムのマップを作製するためのシグナル処理のための手順における、マッピング（１８）：
標準化（１５）、セグメント化（１６）、トラッキング（１７）およびマッピング（１８）に対応する任意の方法からの情報によって、画像取得ユニット（１）によって生成された可視光の画像をマージするためのシグナル処理のための手順における、ヒュージョン（１９）、
を適用することによって、解剖学的構造および組織、好ましくは、血管のような血管構造の改善された画像を処理および表示するためのインターフェースを備えたデバイスを含む画像処理ユニット（２）。
【請求項１２】
内視鏡検査、胎児鏡検査または腹腔鏡検査における、請求項１乃至８のいずれかに記載の装置、請求項１０に記載のシグナル処理の手順、または請求項１１に記載の画像処理ユニット、の使用。
【請求項１３】
単一絨毛膜性の双子の妊娠の処置における、好ましくは、双胎児間輸血症候群、不一致奇形および子宮内胎児発育遅延の手術のための、請求項１乃至８のいずれかに記載の装置、請求項１０に記載のシグナル処理の手順、または請求項１１に記載の画像処理ユニット、の使用。
【請求項１４】
消化管内視鏡検査、呼吸器官内視鏡検査、関節鏡検査、産婦人科内視鏡検査、コルポスコピー、泌尿器科内視鏡検査、耳鏡検査、または形成外科内視鏡検査に適用される、請求項１乃至８のいずれかに記載の装置、請求項１０に記載のシグナル処理の手順、または請求項１１に記載の画像処理ユニット、の使用。
【請求項１５】
皮膚または開放外科的手技に適用される、請求項９に記載の装置、請求項１０に記載のシグナル処理の手順、または請求項１１に記載の画像処理ユニット、の使用。
【請求項１６】
動脈と静脈を区別するための組織又は血管における酸素レベルの量のような、解剖学的構造に関する機能的情報を報告し、または前記組織のコラーゲン構造を評価するための、請求項１乃至９のいずれかに記載の装置、請求項１０に記載のシグナル処理の手順、または請求項１１に記載の画像処理ユニット、の使用。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライフサイエンスに適用される、フォトニクス、画像収集、画像処理、ビジョン改善および情報抽出の分野に関連し、主に医療と生物医学の分野に焦点を当てており、特に、しかし排他的ではなく、内視鏡検査、胎児鏡検査、および腹腔鏡検査に焦点を当てている。
【０００２】
より具体的には、本発明は、照明手段およびその手段に関連するデジタル画像処理プラットフォームを含む、生きた被験体のマルチードまたはマルチスペクトルの画像を採るための手段を含む医療デバイスまたは装置に関し、それは、医者が、例えば、所与の治療法又は外科的手術を診断、監視および／または行ったりする時に、彼らの判断を支援する目的で、特定の画像情報を抽出および／または向上させるための埋め込まれたアルゴリズムを用いる。
【背景技術】
【０００３】
医療分野において、多くのイメージングシステムが、診断目的の、または治療的外科的手技をガイドするためのいずれかのための調査下にある領域の視覚化されたものを表示および向上させるために工夫されてきた。検査下にある領域の関連性のある情報はいずれも、患者の健康および生活の質に最終的に影響し得る臨床的決断がなされる時に主に重要である、被験体の症状の臨床的評価において重要な役割を果たす。これは、例えば、正確なビジョンが手術の首尾にとって不可欠である内視鏡手術において非常に重要である。一般的に、重要な構造（すなわち、血管および神経）の視覚化は、3つの典型的な状況を含む：（ｉ）構造は、劣悪な視覚化状態のために区別することができない、（ｉｉ）構造は、他の組織の層の下に隠される、および／または（ｉｉｉ）対象の構造は、周囲の構造から区別することができない。特にこの分野に関連するのは、血管および／またはこれらの血管についての異なる機能的側面（それらは、外因性造影剤を使用しない現在の利用可能なテクノロジーでは、内視鏡によって、不十分にしか、または全く視覚化されない）の視覚化の画像コントラストを強化および／または作り出し、そしてその視覚化の解像度を向上させるというタスクである。
【０００４】
内視鏡検査は、外科的手技のリスクを大きく減少させる、進歩した外科的技術であるが、主要な血管を偶発的に切ってしまうというリスクのような、いくつかの問題点が未だ残っている。最小限まで非侵襲性の内視鏡検査の使用は、患者に明確な利点を提供するといえども、医者に、外科的視野の限定されたビジョンまたは劣悪なコントラストおよび／または解像度のような、特定の不利益を強いる。そのような状況下で血管を正確に認識する必要性は、いずれの外科医にとっても深刻な問題となり得、手術が外科医の経験に極端に依存してしまったり、出血症状のために手術が長引く結果となったり、そして時には、主要な出血性合併症を引き起こしたりする。
【０００５】
多くの発明が、血管の視覚化に関連する医療イメージングを改良するために工夫されてきた。従来の発明のいくつかは、上記の分野の問題点に対する具体的な解決について言及する。例えば、米国特許第７，０４１，０５４号または第６，７３０，０１９号のような、特定の照明システムについて記載するいくつかの特許がある。これらの特許は、特定の好ましい実施形態を含む照明および画像収集システムについて記載する。本発明は、特定の照明方法に頼るものではないことに注意されたい。照明は、システムにおいて必要であるが、システムは、その照明を達成するために使用される方法から独立している。さらに、システムは、その目的を達成するために、すなわち、解剖学的構造の視覚化のために、画像コントラストを改善および／または生成させ、そして解像度を向上させるために、異なる照明スキームに取り組み、それに適合させることができる。他の発明は、米国特許第２００８／０２０８００６号のように、画像を取得するための具体的な方法に関連するか、または具体的な画像取得デバイスの実施形態を開示する。照明によるのと同様にまた、本発明は、画像を取得する方法から独立しており；異なる画像取得アプローチに従って使用され得る。
【０００６】
オリンパスによる米国特許第５，２５５，０８７号は、標準的な内視鏡と組み合わせて使用される、とても詳細な照明システム、制御システム、および画像取得と処理ユニットを含むビデオシステムについて記載している。そのシステムの目的は、内視鏡システムの画像を向上させることである。この目的を達成するために、３つの技術：自動蛍光イメージング（ＡＦＩ）、狭帯域イメージング（ＮＢＩ）、および赤外イメージングが発明者によって記載されている。ＡＦＩは、特定の組織の自己蛍光の原理に基づいており；ＮＢＩは、造影剤と造影剤が反応しやすい特定の波長の照明を使用する、周知の技術に基づいており；ＩＲＩは、粘膜下の血管を検出するためにインドシアニングリーン（ＩＣＧ）のような外因性造影剤を使用する２つの従来の技術の特定の組み合わせであるが、それは診断目的のためのみに使用される。純粋に診断の使用のためのその限定は、血流へと注入された染料が急速に溶解するためであり、染料が持続するのは５分であるため、５分よりるずっと長い持続時間を必要とする治療または手術においてそれを使用することはできない。しかし、この発明に関連する別の不利益は、それが、（裸眼に明白である）表在と（粘膜の下にあり、従って簡単な検査に通常見えない）粘膜下との両方の、血管の視覚化を改善させるための造影剤を必要とすることであり、一方、この発明は、そのような特徴を実施するためのアルゴリズムを利用し、それをより非侵襲的とし、従って手術の分野においてより適切なものとする。ＩＲＩは、手術のための支援ビジョンシステムとして設計されていないという事実に加え、その技術は、画像分割、手術野の画像マッピング、または（例えば、血液によって運ばれる酸素量または血管の凝固状態のような明白な情報を得ることによる）血管の機能的評価のような他のさらなる特徴を提供しない。それらの特徴は、この発明によって提供され、腹腔鏡検査または胎児鏡検査を含む外科的な内視鏡手技のために使用される時、違いがあり、有益な情報を提供する。それらの外科的技術において、手術野の完全な血管マップが利用可能であることまたは血管の凝固状態を区別可能であることは、手術の間、外科医を支援する非常に価値のある情報を意味し得る。
【０００７】
米国特許第２００５／０１８２３２１号は、染料剤と組み合わせて目に見える、赤外線画像を使用する医療イメージング改善システムに基づく、ＩＲＩに関して前述した１つと類似した発明を開示している。本発明と比較したこのシステムの主な不利益は、それが、患者の血流に注入されるべき造影剤または染料を必要とすることであり、その結果として、このシステムは、上記の理由のために、すなわち、血流へと造影剤が急速に希釈され、医者が治療または手術を行うのに結果的に不十分であるために、外科的手技のいずれにおいても全く利用可能でない。さらに、その特許は、可視的な、かつ単一の近赤外線（ＮＩR）チャンネルの使用を考慮しているのみであり、血管の検出および血管機能の情報の抽出を改善することができる、より多くのＮＩＲチャンネルまたは他のイメージングモードを使用可能であることに言及しておらず、合計４つのスぺクトルバンドに対する画像取得処理を強いる。さらなる弱点は、それは血管を検出するという能力にのみ焦点を当てており、例えば、画像分画、画像マッピングおよび血管を機能的に評価すること、のような具体的な組み込まれた方法を提供していない。
【０００８】
米国特許第２００８／００９７２２５号は、具体的な光学的技術、すなわち、内視鏡のサイズを小さくし、その解像度を上げることを目的とした、光干渉断層撮影（ＯＣＴ）およびスペクトル符号化内視鏡（spectrally-encoded endoscopy）（ＳＳＥ）について明白に触れている。それらの技術の顕著な不利益は、それらの技術的複雑さである、ということである。なぜなら、それらが走査ユニットと複雑な光学アッセンブリを必ず含むからである。その特許は、血液によって運ばれる酸素の量を評価するために波長を選択することができることに触れているが、表示される画像を増強させる手段によって外科医または医者を支援するための統合的なツールとして、この情報を使用することについてを考慮していない。さらなる不利益は、そのような小さな器具の小さな視野のために、医者の視野の角度が実質的に制限され、従って、外科的用途のためのそのようなシステムの実行可能性をかなり制限していることである。
【０００９】
同様のケースが、欧州特許第１，８３９，５６１号であり、これは、ＯＣＴ配置と合わせた標準的な可視内視鏡の組み合わせである内視鏡装置を開示しており、その装置は、特定の面で公知の光学的技術に適用するための特定の解決法である。その装置の不利益は、研究下にある領域の狭い部分に対する改善された画像を作るための情報を得ることしかできず；さらに、実際に改善された画像を構成しないという点である。その発明は、血管の改善された画像処理のための最適な使用を有していないように思われる。
【００１０】
米国特許第６，３５３，７５３号は、深部にある解剖学的構造から画像を取得するためのデバイスについて記載する。そのデバイスの主な不利益は、視覚的画像と結合させた情報を分割し、表示することを意図した具体的な画像分析処理を含まないこと；また画像再構築機能を欠いていることである。
【００１１】
可視光および赤外光の取り込みを介する画像改善に関する当該技術分野の現状に関して、例えば、米国特許第２００８／００７９８０７号においてのような、いくつかの進歩が達成されており、そこでは、電荷結合素子（ＣＣＤ）および光電子工学において特に強調されたマルチスペクトルの画像処理システムについて記載されている。このケースにおいて、その特許は、画像収集デバイステクノロジーに特に焦点を当てている。本発明と比較した場合のその特許の主な欠点は、（作られた画像からの連続した場面の間における血管のトラックングおよびローカライジングのためのシグナル処理手順として定義される）トラックキングを欠くこと、画像マッピングを欠くこと、組織（血管）の酸素付加の分析のような機能的分析を欠くこと、または１つ以上の赤外線スペクトルバンドの使用を欠くこと、である。
【００１２】
画像処理およびセグメント化における当該技術分野の現状は、医療の画像を改善するため、および特定の組織をセグメント化するために、様々なアルゴリズムについて記載している。しかし、当該技術分野の現状は、グラフィックスプロセッシングユニット（ＧＰＵ）、フィールドプログラマブルゲートアレー（ＦＰＧＡ）または中央処理装置（ＣＰU）のような異なる特質のリアルタイムのプラットフォームも含む。そのアルゴリズムとプラットフォームは本発明の同じ適用において使用されることが意図されている医療用画像処理のための一般的なアプローチについて記載しているが、それらはどれも、本発明の機能を行う統合されたリアルタイムのツールについて言及していない。正確には、当該技術分野の現状において開示されているシステムは、画像処理技術を、造影剤の使用を必要としない光学的な照明および画像取得／画像処理技術と組み合わせない。さらに、当該技術分野のそれらの他の現状において、アルゴリズムおよびプラットフォームは、リアルタイムで外科的手技を支援する目的で医者に奉仕することを意図していない。
【００１３】
まとめると、従来技術の開示は、画像照明および画像取得の分野における特定の技術的問題を解決することに焦点を当てているが、マルチスペクトルの、およびマルチモードの入力シグナルを使用する、画像処理と改善、解剖学的構造の画像セグメント化および広域の構図の機能を明白に含まなかった。
【００１４】
従って、造影剤を使用しないで、裸眼では見えない、小さなまたは粘膜下の血管の存在を明確に強調する能力を有する、医者に提供される質、コントラストおよび情報の点で、解剖学的構造および／または血管のよりよい画像を作り出すことができる、画像処理システムを向上させる必要性が残っている。さらに、当該技術分野の現状において開示されている方法は、対象の大きな血管領域をマッピングすることができず、手術の間の決定を支援することができる血管についての機能的情報を得ることができないものである。本発明の目的の一つは、現在利用可能なテクノロジーの制限を克服する内視鏡手術のための新しい形式の画像処理システムを提供することである。
【００１５】
本明細書において、用語マルチモードは、例えば、偏光フィルタ、光学フィルタ、デジタルフィルタ、デジタル画像処理アルゴリズム、偏光画像処理、多光子イメージング、レーザースペックルイメージング、ダイナミックスペックルイメージング、光干渉断層撮影、二光子蛍光、高調波発生、オプトアキュースティックス（optoacustics）、コヒーレントアンチストークスラマン分光法（ＣＡＲＳ）および／または画像作成においてコントラストを作り出すことができる他の光学的要素および技術の適用と組み合わせて、赤、緑および青（ＲＧＢ）およびＮＩＲ画像の取得のような、異なる光学的技術の適用による、異なるバンドにおける１以上の画像取得方法の使用を示す。用語マルチスペクトルは、例えば、ＮＩＲ検出と組み合わせたＲＧＢ検出のような、１以上のスペクトルバンドの使用および検出を指す。
【発明の概要】
【課題を解決するための手段】
【００１６】
本発明の範囲は、一般的に、医療デバイス、および特に、視聴覚のおよびコンピュータ化されたツールを伴うロボット化された装置およびデバイスの製造に向けられた工業的部門にある。本発明は、医療行為および外科的手術の間、医者を支援し、または医者の指針となることを意図する。
【００１７】
より具体的には、本発明は、内視鏡検査、胎児鏡検査、または腹腔鏡検査の手技および／または処置の間、医者を支援することが可能な、解剖学的構造の改善された赤外線ビジョンのための装置、およびそのビジョンを改善するための方法に関する。本発明によって開示される装置および方法は、同じ目的のために現在知られているシステムをしのぐ卓越した進歩と革新的特徴を提供する当該分野における進歩性を構成し、この技術的記載を伴う特許請求の範囲において、当該技術分野の現状と本発明を区別する特徴的な特質に十分反映されている。
【００１８】
本発明の１つの目的は、治療的目的のためにレーザー光源を使用することによって、結合された血管を配置して、認識するために、単一絨毛膜性の双子の妊娠の合併症のための手術に現存する技術的困難性を解決し、そのような外科的手術における安全性と再現性の向上を達成することである。
【００１９】
本発明の他の可能な用途としては、消化管内視鏡検査、呼吸器官内視鏡検査、関節鏡検査、産婦人科内視鏡検査、コルポスコピー、泌尿器科内視鏡検査、耳鏡検査、形成外科内視鏡検査、またはその他の幅広い範囲の他の医療行為、中でも、皮膚や開放外科的手技やのような、任意のタイプの内視鏡手術が挙げられる。
【００２０】
本発明の他の可能な用途としては、ロボット化された手術と組み合わせて開示された発明を使用することが挙げられる。本発明の方法は、客観的な、かつ量的なデータと再現性のある操作を提供するため、手術を行うための、自動化された、半自動化された、または遠隔操作の装置として使用されるのに特に適しているので、手術を行うための自動化された、半自動化された、または遠隔操作の装置は明らかに対象となる。
【００２１】
本発明の１つの対象物は、協働する２つの基本ユニットを構成している、手術部位とその周りの表示手段によって外科的操作の指針を支援するように設計された装置である：
−マルチモードまたはマルチスペクトルの画像取得ユニット、これは、ヒトの身体の内部からマルチモードまたはマルチスペクトルの画像を取得するための画像取得デバイス、好ましくは、内視鏡、胎児鏡または腹腔鏡およびさらなる光学的システムを含む内視鏡画像取得デバイスを含み、その画像を改善した画像処理ユニットへ送る。
−画像処理ユニット、このユニットは、ヒトの身体の改善された画像、好ましくはヒトの身体の血管マップと、内視鏡の位置を処理し外科医に表示することに関与するナビゲーションインターフェースを備えた画像処理デバイスを含む。この目的のために、このユニットとＧＰＵ、ＦＰＧＡ、ＣＵＰベースのシステムを構成する特定のハードウエアおよびソフトウエア、またはローカルの、分散または並列コンピュータリングを介してリアルタイムの処理を行う他の任意のハードウエアは、基本的に以下からなる、少なくとも５つのシグナル処理方法を含む：
１．標準化：可視光（赤、緑、および青）と赤外光の像点の各々の強度を、画像上で画像ぼかし機能（image-blurring function）を実行する空間的なローパスフィルタの適用によって得られた強度とリアルタイムで比較することによって、組織を照らす光の量を標準化するためのシグナル処理方法。この方法によって、入射する赤外光の量は、再現可能な様式で推定される。
２．セグメント化：赤外光と可視光のリアルタイムのマルチモード分析に基づいて、解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメント化するためのシグナル処理方法。
３．トラッキング：前述の方法（標準化およびセグメント化）によって作り出された画像から２つの連続的な画像の間での、解剖学的構造または組織、好ましくは血管のような血管構造のリアルタイムのトラッキングとコローカライジング（co-localizing）のためのシグナル処理方法。
４．マッピング：解剖学的構造または組織、好ましくは個々の画像からの血管のリアルタイムのマップと、標準化およびセグメント化によって得られたトラッキング座標を作成するためのシグナル処理方法。
５．ヒュージョン：リアルタイムで（標準的な内視鏡検査によって作成された）可視画像とマッピング工程後に得られた情報を融合させるシグナル処理方法。
【００２２】
外科医は、標準的な得られた視覚化に加えて、少なくとも上述の５つの選択肢または可視化の新たな方法を有するので、血管の特徴をナビゲートする、または調べる能力は、本発明の手段によって大いに改善される。
【００２３】
本発明のさらなる対象物は、内視鏡検査、胎児鏡検査または腹腔鏡検査での手術において支援となるための、解剖学的構造または組織、好ましくは血管構造の改善された赤外線画像処理のための装置であり、マルチモードの画像取得ユニットは、ヒトの身体内部からのビデオ画像が得られる、少なくとも１チャンネルを備えた内視鏡、胎児鏡または腹腔鏡を含み、それに対して、赤外光源と白色光源（または少なくとも青、緑および赤の波長の光を含む）が結合される。その光源は、ビームスプリッター、ホットミラー（hot mirror)、コールドミラー（cold mirror）、ダイクロイックミラー、偏光子、拡散子、回折光学素子、アナライザー、ホログラフィック光学素子、位相板、超音波光学材料、ダズラー（dazzler）、シェーパー、部分的ミラー、ダイクロイックプリズムシステム、調節可能な光学フィルタ、多重に分岐した導光、偏光ビームスプリッター、または検出又は照明のいずれか（同様に、光学的経路がファイバー光学的経路である場合に光学ファイバーにおけるカプセル化も含む）、またはその両方のための光学的経路を分けるかまたは結びつけるために、波長、偏光、または他の光学的特性に依存してそれらの伝達または反射条件を調整することのできる任意の他の光学的デバイスのような異なる光学的要素を使用することによって内視鏡のビデオチャンネルに結合される。
【００２４】
本発明のさらなる対象物は、内視鏡検査、胎児鏡検査または腹腔鏡検査において同じチャンネルがホットミラー又は備え付けられたミラー（カプセル化されたミラー）を有する光学ファイバーのような要素を使用することによって検出するために利用され得る装置であり；例えば、電荷結合デバイス、相補型金属酸化物半導体（ＣＭＯＳ）または電子倍増型電荷結合デバイス（ＥＭ−ＣＣＤ）カメラなどのような１以上のビデオカメラで画像を形成するために、フィルタやレンズのようなさらなる光学的要素の使用もまた予想され、その画像は画像処理ユニットによって後で処理するためにデジタル化される。
【００２５】
本発明の別の対象物は、検出されたシグナルが非常に弱く、またはそれらが低い質である場合、画像倍増管がビデオカメラに提供される装置である。
【００２６】
本発明のさらなる対象物は、代替的に、かつマルチモードの画像を単純化する目的で、内視鏡の異なるチャンネルを使用することによって光源をビデオシステムに結合させる装置である。１以上のチャンネルを使用することによって、異なる光の経路の解像が可能となり、従って、各チャンネルにおいて光学的要素の利用を単純化することが可能となる。
【００２７】
本発明のさらなる対象物は、代替的に、内視鏡検査、胎児鏡検査または腹腔鏡検査における少なくとも１つのチャンネルが、光学的要素と組み合わせて照明のためのみに使用される装置であり；少なくとも１つの他のチャンネルは、検出のためのみに使用され、装置は、随意に、フィルタやレンズのようなさらなる光学的要素をさらに含む。
【００２８】
本発明のさらなる対象物は、ＣＣＤ、ＣＭＯＳまたはＥＭ−ＣＣＤカメラが内視鏡のプローブに設置され、光源によって連続的に放射される異なるバンド又は波長の検出のために電気コネクションに繋がっており、カメラの少なくとも１つのフィルタは、随意に、１以上の赤外線スペクトルバンドの分離のためのカラーフィルタアレイ（ＣＦＡ）またはカラーフィルタモザイク（ＣＦM）であり得る。
【００２９】
本発明のさらなる対象物は、画像取得ユニットが、皮膚や開放外科的手技に適用される光学的対物レンズを画像取得デバイスとして含む装置である。
【００３０】
本発明のさらなる対象物は、解剖学的構造または組織、好ましくは、血管のような血管構造の画像のシグナル処理の手順であり、少なくとも５つのシグナル処理方法を含む。
【００３１】
本発明のさらなる対象物は、少なくとも５つのシグナル処理方法を含む画像処理ユニットである。
【００３２】
本発明のさらなる対象物は、内視鏡検査、胎児鏡検査または腹腔鏡検査における、装置、手順、または画像処理ユニットの使用である。
【００３３】
本発明のさらなる対象物は、単一絨毛膜性の双子の妊娠の処置における、装置、手順、または画像処理ユニットの使用である。
【００３４】
本発明のさらなる対象物は、内視鏡外科的手技、中でも、消化管内視鏡検査、呼吸器官内視鏡検査、関節鏡検査、産婦人科内視鏡検査、コルポスコピー、泌尿器科内視鏡検査、耳鏡検査、または形成外科内視鏡検査などに適用される、装置、手順、または画像処理ユニットの使用である。
【００３５】
本発明のさらなる対象物は、内視鏡、胎児鏡または腹腔鏡を、その手技におけるその適用に適合する光学的対物レンズで置き換えることによって、皮膚や開放外科的手技に適用される、解剖学的構造の改善された赤外線画像処理のための装置、手順、または画像処理ユニットの使用である。
【００３６】
本発明のさらなる対象物は、動脈と静脈を区別する、または組織のコラーゲン構造を評価するために、組織または血管の酸素レベルの量のような解剖学的構造に関する機能的情報を知らせるための装置、手順、または画像処理ユニットの使用である。
【００３７】
システムは、血管マップを再構築するというタスクを行うために造影剤を必要としないという利点を有していることを強調することは重要であり、その特徴は、（かなりの量でまたは長い時間の間に投与される場合胎児に危険を及ぼす可能性がある物質の使用を避けて）胎児の手術を行うのに不可欠な特質であり、一般的に、残りの外科的手技の侵襲性を減らす。
【００３８】
さらに、本発明の装置は、患者の血管の手術部位の全体的マップを作り出すデバイスを含み；特に、それは、単一絨毛膜性の双子の妊娠時の合併症の手術において、胎盤の血管構造を調べることを容易にし、よりよい手術の方向付けをすることができる。
【００３９】
本発明の装置は、空間的又は一時的な独立した情報によるのみでなく、組織または血管の酸素レベルの量のような解剖学的構造の機能的性能に関する情報によって、画像処理される視野の豊富かつ明確なデータと共に改善された視界を与える、解剖学的構造に関する機能的情報を知らせること、およびそれ以外に動脈と静脈を区別することができる。
【図面の簡単な説明】
【００４０】
この記載を完成させるために、そして、本明細書に記載される発明の特徴をよりよく理解するために、例示目的のための、しかし限定目的ではない、一連の図面を示す。
【００４１】
【図１】図１は、本発明の装置に組み込まれたマルチモードの画像取得ユニットの好ましい実施形態の略図によるブロック図であり、それらの重要な要素とそれらの間の関連を示す。
【図２】図２は、内視鏡検査のための２つのビデオチャンネルを含む場合の、マルチモードの画像取得ユニットの別の実施形態のブロック図である。
【図３】図３は、ビデオチャンネルおよび照明チャンネルを含む場合の、マルチモードの画像取得ユニットの別の実施形態のブロック図である。
【図４】図４は、ＣＣＤ、ＣＭＯＳ、またはＥＭ−ＣＣＤカメラが内視鏡のプローブに設置され、かつ、光源によって連続的に放射される異なるバンドまたは波長の検出のための電気コネクションに繋がれている、マルチモードの画像取得ユニットの別の実施形態のブロック図である。
【図５】図５は、本発明に含まれる主な要素と、その配置およびそれらの間の関係を理解するための、本発明の画像処理ユニットが組み込まれた装置のダイアグラムである。
【図６】図６（ａ）は、標準的な内視鏡または胎児鏡に結合された本発明によって記載される装置によって得られるローカル画像であり；図６（ｂ）は、表面血管ＮＩＲ検出であり；図６（ｃ）は、（ａ）と（ｂ）のデジタル的重ね合わせであり；図６（ｄ）は、手術の間の外科医による手動の走査後の血管マップの検出と再構築であり；図６（ｅ）は、血管マップのデジタル的重ね合わせとモザイキングである。
【図７】図７は、可視モードをＮＩＲ画像と融合させることによって、前腕表面にわたる血管の検出に、本発明に記載の技術を適用することによって得られた画像である。
【発明を実施するための形態】
【００４２】
上記の図面を考慮して、かつ、それらで振られているナンバリングに従って、本発明の異なる実施形態は、以下に記載される。
【００４３】
従って、その図面に示されるように、装置は、マルチモードの画像取得ユニット（１）および画像処理ユニット（２）を含む。
【００４４】
マルチモードの画像取得ユニット（１）であって、図１に示されるように、その好ましい実施は、画像取得デバイス、好ましくは、内視鏡、胎児鏡または腹腔鏡およびさらなる光学的システムを含む内視鏡画像取得デバイスを含み、そのシステムは、患者の内部からのビデオ画像が取得される少なくとも１つのチャンネルと、観察される組織を照らすための少なくとも１つの光源を含む。
【００４５】
本発明の好ましい実施形態において、内視鏡において利用可能なビデオチャンネル（単数または複数）は、赤外光源（４）および白色光源（５）または青、緑および赤の範囲の少なくとも３つの波長を含む光源に繋がれている。
【００４６】
赤外光源（４）は、好ましくは以下である；
−（７５０ｎｍから１６００ｎｍの範囲の）ＮＩＲに属する光源。
−８００ｎｍから９００ｎｍの範囲の光源。
−１０５０ｎｍから１１５０ｎｍの範囲の光源。
−８００ｎｍと９００ｎｍの間の波長で集まるモノクロの光源。
−１０５０ｎｍと１１５０ｎｍの間の波長で集まるモノクロの光源。
−レーザーＮｄ：（１０６４ｎｍで集まる）ＹＡＧ光源。
−７００ｎｍから１１００ｎｍに集中する、チタンサファイアレーザー（Ｔｉ：Ｓａｐ）に基づく光源。
−Ｙｔｔｅｒｂｉｏベースのレーザー光源（Ｙｂ：ＫＹＷ、Ｙｂ：ＫＧＷなど）。
−クロニウムに基づくＹｔｔｅｒｂｉｏレーザー光源（Ｃｒ：フォルステライト  １２３０から１２７０ｎｍ）。
−パラメーター変換法に基づく赤外光源（光パラメトリック発振器、光パラメトリック増幅器、非線形結晶など）。
−７５０ｎｍと１６００ｎｍの間のＮＩＲにおける発光スペクトル波長を伴う光またはＬＥＤ。
−８００ｎｍと９００ｎｍの間のＮＩＲにおける発光スペクトル波長を伴う光またはＬＥＤ。
−１０５０ｎｍと１１５０ｎｍの間のＮＩＲにおける発光スペクトル波長を伴う光またはＬＥＤ。
−光学フィルタと組み合わせた赤外発光スペクトル波長を伴う光またはＬＥＤ。
−随意にモーター制御された赤外線スペクトル内の放射を制限するための結合光学フィルタを備える光源。
【００４７】
さらに、単一絨毛膜性の双子の妊娠の合併症の手術に適用するための赤外光源（４）は、好ましくは以下である：
−８１５ｎｍ−８３５ｎｍの間に集まる、好ましくは、８２１ｎｍに集まるモノクロの光源。後者の値は、羊水において最適な透過率の波長に一致する。
−１０５０ｎｍ−１０９０ｎｍで集まる、好ましくは、１０７０ｎｍに集まるモノクロの光源。後者の値は、羊水において最適な透過率の波長に一致する。
【００４８】
光は、ビームスプリッター、ホットミラー（赤外線を反射するミラーを意図する）、コールドミラー（可視光を反射するミラーを意図する）、ダイクロイックミラー、偏光子、拡散子、回折光学素子、アナライザー、ホログラフィック光学素子、位相板、超音波光学材料、ダズラー、シェーパー、部分的ミラー、ダイクロイックプリズムシステム、調節可能な光学フィルタ、多重に分岐した導光、偏光ビームスプリッター、または、（同様に、光学的経路がファイバー光学的経路である場合に光学ファイバーにおけるカプセル化も含む）検出又は照明のいずれか、またはその両方のための光学的経路を分けるかまたは結びつけるために、波長、偏光、または他の光学的特性に依存してそれらの伝達または反射条件を調整することのできる任意の他の光学的デバイスのような異なる光学的要素を使用することによって内視鏡のビデオチャンネルに結合される。
【００４９】
同じチャンネルはまた、ビデオカメラ（ＣＣD、ＣＭＯＳ、ＥＭ−ＣＣＤなど）で画像を形成するために、フィルタ（８）とレンズ（９）の使用による検出のために使用され得、画像処理ユニット（２）によってさらに処理するために、それらはデジタル化される。
【００５０】
さらに、画像増幅器は、検出されたシグナルが非常に弱いかまたはそれらが低質を示すならば、ビデオカメラ（１０）、（１１）に加えられ得る。
【００５１】
マルチモードの画像取得ユニット（１）を単純化するために、光源（４）、（５）は、図２に示されるように、内視鏡（３）の２つのチャンネルを使用することによって、ビデオシステム（１０）、（１１）につながれ得る。
【００５２】
別のチャンネルも、図３に示されるように、異なる光学的要素（６）を使用して、照明のためのみに使用され得る。
【００５３】
本発明の別の実施形態において、ＣＣD、ＣＭＯＳ、またはＥＭ−ＣＣＤカメラ（１０）は、内視鏡のプローブに設置され、電気コネクション（２２）に繋がれるが、図４に示されるように光源（４）、（５）によって連続的に放射される異なるバンドまたは波長の連続的な検出のために利用される。随意に、カメラ（１０）の少なくとも１つのフィルタ（８）は、１つ以上の赤外線スペクトルバンドの分離のためのカラーフィルタアレー（ＣＦA）またはカラーフィルタモザイク（ＣＦＭ）であり得る。
【００５４】
本発明の装置の一部を形成する画像処理ユニット（２）は、マルチモードの画像取得ユニット（１）によって取得された後に、リアルタイムで改善された画像を処理し、外科医に表示することに関与するデバイスである。そのデバイスは、図５のダイアグラムに示されるように、ＧＰＵ、ＦＰＧＡ、ＣＰＵベースのシステムの適切なハードウエアおよびソフトウエアと、またはローカルの、分散あるいは並列コンピューティングを通じてリアルタイムの処理を行う任意の他のハードウエアの実行による、以下に列挙される方法の少なくとも各々を含む。図５において、よりよい理解のために、赤外線画像は（１２）で参照され、可視化画像は（１３）で参照され、赤、緑および青で反射された画像は、それぞれ、（１４ａ）、（１４ｂ）および（１４ｃ）で参照され、異なる方法は、（１５）、（１６）、（１７）、（１８）および（１９）で参照され、改善されたローカル表示は（２０）で参照され、および改善された全体表示は（２１）で参照される。そのハードウエアとソフトウエアが実行する重要なタスク、すなわち、このユニットを作る装置の画像処理を向上させるためのシグナル処理の手順は：
方法１．標準化（１５）：可視光（赤、緑および青）と赤外光の強度の画像におけるポイントの各々での強度をリアルタイムで比較すること、および画像上にローパスフィルタを使用することによって、組織（７）を照らす光の量を標準化し、再生可能な形式で入射の赤外光の量を推測するためのシグナル処理手順。
−入力：
反映された赤の画像ＲＲ（ｘ，ｙ）（１４ａ）、ここで、（ｘ，ｙ）は、得られた画像における２次元の座標表示を指す。
反映された緑の画像ＲＧ（ｘ，ｙ）（１４ｂ）。
反映された青の画像ＲＢ（ｘ，ｙ）（１４ｃ）。
反映された赤外線の画像ＲＮＩＲ（ｘ，ｙ）（１２）。
−出力：
推測される照明画像
【００５５】
【化１】
2012511361.tif 000003
【００５６】
方法２．セグメント化（１６）：赤外光および可視光のスペクトル分析に基づく血管画像をリアルタイムでセグメント化するためのシグナル処理手順。
−入力：
推測される照明画像
【００５７】
【化２】
2012511361.tif 000004
【００５８】
反射される赤外画像ＲＮＩＲ（ｘ，ｙ）。
−出力：
血管の確率Ｐｍ（ｖｅｓｓｅｌ｜ｘ，ｙ）、ｍ＝１、２、・・・Ｍ。Ｍは、ＲＧＢモードと違う異なる画像取得モードに対応する。
血管のセグメント化された画像Ｖ（ｘ，ｙ）。
−必須の工程：
１．反射される赤外光と推測される入射光の割合を使って、各ポイントに対する確率が割り当てられ、Ｓ字状曲線、例えば、
【００５９】
【化３】
2012511361.tif 000005
【００６０】
よってスクリーン上の各ポイントに対して「血管」である可能性を含む新たな画像を形成することができる。
２．確率をローパスフィルタリングすることによって、新しい確率的画像が作製され、それは、近傍内での確率を平均したものである、Ｐ２（ｖｅｓｓｅｌ｜ｘ，ｙ）。
３．必須の工程１および２は、マルチモードの画像処理ユニット（１）のために入手できる波長または光学画像処理モードの各々に関して繰り返され得、従って、ｍ＝１、２、・・・Ｍに対する確率Ｐｍ（ｖｅｓｓｅｌ｜ｘ，ｙ）の一定範囲の画像を作り出す。
４．Ｐｍ（ｖｅｓｓｅｌ｜ｘ，ｙ）にわたる域値および形態的な操作の適用を使って、画像は、Ｖ（ｘ，ｙ）に関して１の値を有する「血管」とＶ（ｘ，ｙ）に関して０の値を有する「血管でないもの」との間でセグメント化される。
５．マルチモードの画像処理ユニット（１）における画像取得モードの取り込みによって、セグメント化の正確さは向上し、および／または、さらなる波長を使っての動脈や静脈、または偏光子を使ってのコラーゲン構造のような、より多くのセグメント化されたクラスが得られる。後者の適用は、皮膚科学に特に関連がある。
【００６１】
方法３．トラッキング（１７）：（方法１および２によって生成された画像からの２つの連続するシーンの間の血管の）リアルタイムでのトラッキングおよび同時配置のためのシグナル処理手順。
−入力：
血管の確率的画像Ｐｍ（ｖｅｓｓｅｌ｜ｘ，ｙ）、ｍ＝１、２、・・・Ｍ。
血管のセグメント化された画像Ｖ（ｘ，ｙ）。
以前の血管の確率的画像Ｐｍ’（ｖｅｓｓｅｌ｜ｘ，ｙ）、ｍ＝１、２、・・・Ｍ。
以前の血管のセグメント化された画像Ｖ’（ｘ，ｙ）または血管のマップ画像Ｔ（ｘ，ｙ）。
−出力：
配置距離を測定するために使用される、２つの画像の間の配置ベクトルｄ（ｘ，ｙ）。
画像間の相互相関係数ＣＶ。
−必須の工程
・オプションＡ：
１．予測されるモデルは、血管の自然な方向を支持し、以前の血管の輪郭Ｖ’（ｘ，ｙ）と現在のＶ（ｘ，ｙ）画像をならし、それぞれ、結果としてＶｐ’（ｘ，ｙ）とＶｐ（ｘ，ｙ）を生じさせる。
２．Ｖｐ’（ｘ，ｙ）とＶｐ（ｘ，ｙ）の間の標準化された相関した係数の最大値が検出される。
３．座標の原点への最大値の距離は、配置距離ｄ（ｘ，ｙ）を与える。
４．標準化された相互相関の最大値として、相互相関係数が計算される。
・オプションＢ：
１．血管の自然な方向を支持し、以前のＶ’（ｘ，ｙ）と現在のＶ（ｘ，ｙ）画像の血管のエッジをならし、それぞれＶｐ’（ｘ，ｙ）とＶｐ（ｘ，ｙ）を生じさせる、予測されるモデル。
２．Ｖｐ’（ｘ，ｙ）とＶｐ（ｘ，ｙ）の間の相互相関の半値全幅（full width half maximum）を定める領域が検出される。
３．原点に対する、その領域の質量中心または物質中心の距離（重み付きの、または重み付きでない）は、配置距離ｄ（ｘ，ｙ）を与える。質量中心または物質中心の計算は、領域の中心を計算するための一般的な画像処理操作として意図される。
４．相互相関の率（quotient）は、標準化された相互相関の重み付けされた平均である。
・オプションＣ：
１．以前の確率的画像と現在の確率的画像、それぞれ、Ｐｍ’（ｖｅｓｓｅｌ｜ｘ，ｙ）とＰｍ（ｖｅｓｓｅｌ｜ｘ，ｙ）、を比較することによって、蓋然性を最大化して、最もある得る配置ｄ（ｘ，ｙ）が見出される。
２．以前のＶｐ’（ｘ，ｙ）と現在のＶｐ（ｘ，ｙ）の重なり合う領域を計算し、画像の視野の全領域に関して標準化し、Ｃｖを得る。
【００６２】
方法４．マッピング（１８）：方法１および２から得られる画像とトラッキング座標に基づいて、解剖学的構造または組織、好ましくは、リアルタイムの血管構造のマップを生成するためのシグナル処理手順。
−入力：
位置ベクターｐ（ｘ，ｙ）。
２つの画像間の位置ベクターｄ（ｘ，ｙ）。
画像間の相互相関係数Ｃｖ。
反射された赤の画像ＲＲ（ｘ，ｙ）（１４ａ）。
反射された緑の画像ＲＧ（ｘ，ｙ）（１４ｂ）。
反射された青の画像ＲＢ（ｘ，ｙ）（１４ｃ）。
−出力：
血管マップ画像Ｔ（ｘ，ｙ）。
全体画像Ｇ（ｘ，ｙ，ｃ）（注記：ｃは赤、緑、青の色を指す）。
以前の血管の確率的画像Ｐｍ’（ｖｅｓｓｅｌ｜ｘ，ｙ）、ｍ＝１、２、・・・Ｍ。
以前の血管のセグメント化された画像Ｖ’（ｘ，ｙ）。
−必須の工程：
これらの技術は、スティッチング（Ｓｔｉｃｈｉｎｇ）またはモザイキング（Ｍｏｓａｉｃｉｎｇ）として知られており、コンピュータ画像において使用される。あり得る実行は：
１．域値＞０．５は、相互相関係数Ｃｖを超えて適用される。
２ａ．Ｃｖ＜０．５ならば、自動システムは、現在の画像は誤差を含んでいると考えて、血管マップスティッチングのためにそれを使用しない。
３ａ．トラッキングアルゴリズム（方法３）を通じて、全体の血管マップＴ（ｘ，ｙ）における現在の画像Ｖ（ｘ，ｙ）をサーチする。新たなパラメーターｄ（ｘ，ｙ）とＣｖが得られる。
４ａ．Ｃｖ＞０．５ならば、工程２ｂに進み、そうでなければ、工程の残りをスキップし、次の画像取得があるまで待機する。
２ｂ．Ｃｖ＞０．５ならば、以前の位置ｐ（ｘ，ｙ）とその配置ｄ（ｘ，ｙ）が考慮されるように、現在の画像Ｖ（ｘ，ｙ）を全体画像Ｔ（ｘ，ｙ）上に配置する。
３ｂ．以前の位置ｐ（ｘ，ｙ）とその配置ｄ（ｘ，ｙ）が考慮されるように、全体画像Ｇ（ｘ，ｙ，ｃ）（ここで、ｃは、例えば、標準的なビデオ画像における色を指し、ｃ＝Ｒ、Ｇ、またはＢである）における、赤の反射された画像ＲＲ（ｘ，ｙ）（１４ａ）、緑の反射された画像ＲＧ（ｘ，ｙ）（１４ｂ）および青の反射された画像ＲＢ（ｘ，ｙ）（１４ｃ）で目に見えるものに属する現在の画像。
４ｂ．新しいイテレーションのためのシステムを準備する。現在の画像Ｖ（ｘ，ｙ）を以前の画像Ｖ’（ｘ，ｙ）に移す、すなわち、Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）。
５ｂ．現在の確率を以前の確率に移す。Ｐｍ’（ｖｅｓｓｅｌ｜ｘ，ｙ）＝Ｐｍ（ｖｅｓｓｅｌ｜ｘ，ｙ）。
６ｂ．ｄ（ｘ，ｙ）とｐ（ｘ，ｙ）によって位置をアップデートする。
【００６３】
方法５：ヒュージョン（１９）：方法３からの情報で、（標準的内視鏡によって作り出された）目に見えるもののリアルタイムで画像をマージするためのシグナル処理手順。
−入力：
血管マップ画像Ｔ（ｘ，ｙ）。
全体画像Ｇ（ｘ，ｙ，ｃ）。
反射された赤の画像ＲＲ（ｘ，ｙ）（１４ａ）。
反射された緑の画像ＲＧ（ｘ，ｙ）（１４ｂ）。
反射された青の画像ＲＢ（ｘ，ｙ）（１４ｃ）。
血管のセグメント化された画像Ｖ（ｘ，ｙ）。
−出力：
局所的に改善された画像のカラー画像ＶＥＬ（ｘ，ｙ，ｃ）。
全体的に改善された画像のカラー画像ＶＥＧ（ｘ，ｙ，ｃ）。
−必須の工程：
１．画像ＶＥＬ（ｘ，ｙ，ｃ）は、１つまたは多くの可視画像:反射された赤の画像ＲＲ（ｘ，ｙ）（１４ａ）、反射された緑の画像ＲＧ（ｘ，ｙ）（１４ｂ）および反射された青の画像ＲＢ（ｘ，ｙ）（１４ｃ）、上へ重なり合わされたセグメント化された血管画像Ｖ（ｘ，ｙ）の重み付け加算（weighted adding）によって得られる。
２．画像ＶＥＧ（ｘ，ｙ，ｃ）は、全体画像Ｇ（ｘ，ｙ，ｃ）のチャンネル又はカラーｃの１つの上に重なり合わされた、セグメント化された血管マップ画像Ｔ（ｘ，ｙ）を加えることによって得られる。
３．１つまたはいくつかのモニター、プロジェクターまたはデジタル若しくはアナログ画像を表示することができる一般的なデバイスに送ることができるデジタル画像を得る。
４．各モニター（または同等物）に表示するために視聴様式を選択するために、ユーザーインターフェースが作製される：ＶＥＬ（ｘ，ｙ，ｃ）、ＶＥＧ（ｘ，ｙ，ｃ）、Ｖ（ｘ，ｙ）、Ｔ（ｘ，ｙ）、またはＧ（ｘ，ｙ，ｃ）。
【００６４】
記載された方法の効果を明確にするために、本発明によって記載された装置に利用可能な異なるビジョンモードを図６に示す。（ａ）は、標準的な内視鏡によって提供されるビジョンモードであり、（ｂ）は、ＮＩＲ分析を通じての血管のセグメント化（１６）であり、（ｃ）は、可視画像とＮＩＲ画像のヒュージョン（１９）であり、（ｄ）は、再構築のマッピング（１８）であり、および（ｅ）は、連続する画像のトラッキング（１７）によるモザイク再構築である。
【００６５】
まとめると、本発明の装置での解剖学的構造の赤外線ビジョンを改善するためのシグナル処理手順は、ＧＰＵ、ＦＰＧＡ、ＣＰＵベースのシステムで実行される特定のハードウエアおよびソフトウエア、またはローカルの、分散または並列コンピューティングを通じてリアルタイム処理を行う任意の他のハードウエアを備えた画像処理ユニット（２）で行われ、その手順は、少なくとも以下の方法を含む：
方法１．標準化（１５）：可視光（赤、緑および青）と赤外光の強度の画像における各ポイントの強度をリアルタイムで比較し、そして画像にローパスフィルタを使用することによって、組織（７）を照らす光の量を標準化するためのシグナル処理手順。入射する赤外光の量は、再現可能な形式で推定される。
方法２．セグメント化（１６）：赤外画像および可視画像のリアルタイムのスペクトル分析に基づいて、解剖学的構造または組織、好ましくは、血管構造をセグメン化するためのシグナル処理手順。
方法３．トラッキング（１７）：方法１および２によって生成された２つの連続的画像の間の解剖学的構造または組織、好ましくは、血管構造のリアルタイムのトラッキングおよび同時配置のためのシグナル処理手順。
方法４．マッピング（１８）：方法１および２から得られた画像およびトラッキング座標から、解剖学的構造または組織、好ましくは、血管構造のリアルタイムのマップを作製するためのシグナル処理手順。
方法５．ヒュージョン（１９）：方法３からの情報で（標準的な内視鏡によって作り出された）可視画像を融合させるためのシグナル処理手順。
【００６６】
装置は、マルチモード画像処理ユニット（１）において異なる画像処理モードを得るためのさらなる光源（可視光と赤外光の両方）および／またはさらなる光学的システムを使用することによって、より多くの画像モードをさらに統合することができる。
【００６７】
さらに、本発明は、任意のタイプの内視鏡手術、中でも消化管内視鏡検査、呼吸器官内視鏡検査、関節鏡検査、産婦人科内視鏡検査、コルポスコピー、泌尿器科内視鏡検査、耳鏡検査、または形成外科内視鏡検査などへの適切な適用を提供する。本発明は、さらに、その医療的手順においてその使用に適合させた光学的オブジェクト（レンズ、ミラーまたは観察されている物体から出ている光を集める他の光学装置として意図される）で内視鏡、胎児鏡、および腹腔鏡を置き換えることによって、皮膚または開放外科的手技のような他の医療的手順への適用を提供する。図７は、前腕の表面に適用された、本明細書に記載される血管検出の技術の使用によって得られた画像を示し、可視モードは、ＮＩＲ画像へと融合されている。
【００６８】
開示された本発明は、解剖学的構造の機能的分析を行う可能性も提供する。本発明の他の様式は、偏光イメージングおよび／または第２高調波に使用によって、コラーゲンのような異なる解剖学的構造の分類を提供する。それは、臨床的状態を診断することに繋がる異常を検出するために、同じ解剖学的構造における差異を区別するためにも使用することができる。全てのこの自動化され、かつ定量的なデータの取得は、手術の手引をするために適用可能であるのみでなく、ロボット化された遠隔操作のまたは自動化された手術にも適用可能である。
【００６９】
本発明の実施の方法のみでなく本発明の特質も十分に記載したので、当該技術分野の当業者がその範囲およびそれに由来する効果を理解するために説明を続ける必要はないと考えられるが、そのことに焦点を当てて、その本質的な特質内で、実施例を通じて示された実施形態とは詳細において異なる他の実施形態で実行することができ、それらは、その本質的な特質が改変、変更または修飾されないならば、主張される保護によって包含されたままである。
【００７０】
【表１】
2012511361.tif 000006
【図１】
2012511361.tif 000007
【図２】
2012511361.tif 000008
【図３】
2012511361.tif 000009
【図４】
2012511361.tif 000010
【図５】
2012511361.tif 000011
【図６（ａ）】
2012511361.tif 000012
【図６（ｂ）】
2012511361.tif 000013
【図６（ｃ）】
2012511361.tif 000014
【図６（ｄ）】
2012511361.tif 000015
【図６（ｅ）】
2012511361.tif 000016
【図７】
2012511361.tif 000017
【手続補正書】
【提出日】平成23年5月6日(2011.5.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
解剖学的構造および組織、好ましくは血管のような血管構造の赤外線の改善された画像処理および機能的分析のための装置であって、該装置は、以下の少なくとも２つの協働ユニット：
−画像取得デバイス、好ましくは、内視鏡、胎児鏡または腹腔鏡（３）を含む内視鏡画像取得デバイスを含む、ヒトの身体の内部からの画像を取得するための、マルチモードのまたはマルチスペクトルの画像取得ユニット（１）であって、前記画像取得ユニット（１）は、ヒトの身体の内部からのビデオ画像が得られる少なくとも１つのチャンネルが装備され、前記少なくとも１つのチャンネルに、少なくとも１つの赤外光源（４）および少なくとも１つの白色光源（５）または３つの波長、青、緑および赤を含む光源が連結される画像取得ユニット（１）、
−前記画像処理ユニット（１）によって得られたヒトの身体の改善された画像、好ましくはヒトの身体の血管マップを処理し、表示するための、および前記画像取得デバイスの位置をリアルタイムで割り当てるための、インターフェースを備えたデバイスを含む画像処理ユニット（２）であって、前記画像処理ユニット（２）は、少なくとも以下のシグナル処理手段：
各画像ポイントにおける可視光（赤、緑および青）と赤外光の強度をリアルタイムで比較し、前記画像におけるローパスフィルタを使用し、および入射する赤外光の量を推測することによって、前記解剖学的構造または組織（７）を照らす光の量を標準化するための、標準化（１５）シグナル処理手段：
赤外光および可視光のリアルタイムのスペクトル分析に基づいて、前記解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメン化するための、セグメント化（１６）シグナル処理手段：
標準化（１５）手段およびセグメント化（１６）手段によって生成された２つの連続的画像の間で、前記解剖学的構造または組織、好ましくは、血管のような血管構造をリアルタイムでトラックし、および配置するための、トラッキング（１７）シグナル処理手段：
解剖学的構造または組織の前記画像から、およびトラッキング（１７）手段の使用を介して、前記解剖学的構造または組織、好ましくは、血管のような血管構造のリアルタイムのマップを作成するための、マッピング（１８）シグナル処理手段：
標準化（１５）手段、セグメント化（１６）手段、トラッキング（１７）手段およびマッピング（１８）手段のいずれかによって得られた情報によって、前記画像取得ユニット（１）によって生成された可視光の画像をマージするための、ヒュージョン（１９）シグナル処理手段、
を含む画像取得ユニット（２）、
を含むことを特徴とする、装置。
【請求項２】
前記光源（４、５）が、ビームスプリッター、ホットミラー、コールドミラー、ダイクロイックミラー、偏光子、拡散子、回折光学素子、アナライザー、ホログラフィック光学素子、位相板、超音波光学材料、ダズラー、シェーパー、部分的ミラー、ダイクロイックプリズムシステム、調節可能な光学フィルタ、多重に分岐した導光、偏光ビームスプリッター、或いは、光学的経路がファイバー光学的経路である場合に光学ファイバー内のカプセル化も含む、検出又は照明のいずれか、またはその両方のための光学的経路を分けるかまたは結びつけるために、波長、偏光、または他の光学的特性に依存してそれらの伝達または反射条件を調整することのできる任意の他の光学的デバイスの中から選択される光学的要素（６）の手段によって内視鏡のビデオチャンネルへと連結される連結されることを特徴とする、請求項１に記載の装置。
【請求項３】
ＣＣＤ、ＣＭＯＳまたはＥＭ−ＣＣＤカメラから選択された１以上のビデオカメラ（１０）、（１１）において画像を形成するため、および前記画像処理ユニット（２）によるさらなる処理のために前記画像をデジタル化するために、フィルタ（８）およびレンズ（９）と随意に組み合わせて、好ましくは内視鏡、胎児鏡または腹腔鏡（３）である画像取得デバイスにおける同じチャンネルが、光学的要素（６）の使用によって解剖学的構造の検出のために使用されることを特徴とする、請求項２に記載の装置。
【請求項４】
検出された前記シグナルが非常に弱いか又はそれらが低質である場合に、画像増幅器が、前記ビデオカメラ（１０）、（１１）にさらに供されることを特徴とする請求項３に記載の装置。
【請求項５】
好ましくは内視鏡、胎児鏡または腹腔鏡（３）である前記画像取得デバイスの２つのチャンネルを使用することによって、代替的に、少なくとも赤外光源（４）および少なくとも１つの白色光源（５）が、ビデオカメラ（１０）、（１１）に連結されることを特徴とする請求項１または２のいずれかに記載の装置。
【請求項６】
代替的に、好ましくは内視鏡、胎児鏡または腹腔鏡（３）である前記画像取得デバイスにおける少なくとも１つのチャンネルが、光学的要素（６）と組み合わせて照明のためのみに使用され；および少なくとも１つの他のチャンネルが検出のためのみに使用され、前記装置は、フィルタ（８）およびレンズ（９）のようなさらなる光学的要素を随意にさらに含むことを特徴とする請求項１乃至４のいずれかに記載の装置。
【請求項７】
代替的に、好ましくは内視鏡、胎児鏡または腹腔鏡（３）である前記画像取得デバイスの末端プローブに設置され、電気コネクション（２２）に繋がれた、ＣＣＤ、ＣＭＯＳまたはＥＭ−ＣＣＤカメラ（１０）が、光源（４）、（５）によって連続的に発せられた異なるバンド又は波長の連続的な検出のために利用され、前記カメラ（１０）内の少なくとも１つのフィルタ（８）が、随意に、１以上の赤外線スペクトルバンドの分離のためにカラーフィルタアレー又はカラーフィルタモザイクであり得ることを特徴とする請求項１乃至４のいずれかに記載の装置。
【請求項８】
前記画像取得ユニット（１）が、画像取得デバイスとして、皮膚および開放外科的手技に適合した光学対物レンズを含むことを特徴とする請求項１に記載の装置。
【請求項９】
解剖学的構造および組織、好ましくは、血管のような血管構造の画像のシグナル処理の手順であって、前記解剖学的構造および組織が、少なくとも１つの赤外光源（４）および少なくとも１つの白色光源（５）または３つの波長、青、緑および赤を含む光源によって照らされること、および少なくとも以下：
各画像ポイントにおける可視光（赤、緑および青）と赤外光の強度のリアルタイムでの比較の手段と、前記画像におけるローパスフィルタの使用によって、前記組織（７）を照らす光の量を標準化するためのシグナル処理のための手順における、標準化（１５）：
赤外光および可視光のリアルタイムのスペクトル分析またはマルチモード分析に基づいて、解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメン化するためのシグナル処理のための手順における、セグメント化（１６）：
標準化（１５）およびセグメント化（１６）によって生成された２つの連続的画像の間で、解剖学的構造または組織、好ましくは、血管のような血管構造をリアルタイムでトラックし、および配置するためのシグナル処理のための手順における、トラッキング（１７）：
解剖学的構造または組織の画像から、およびトラッキング（１７）の使用を通じて、解剖学的構造または組織、好ましくは、血管のような血管構造のリアルタイムのマップを作成するためのシグナル処理のための手順における、マッピング（１８）：
標準化（１５）、セグメント化（１６）、トラッキング（１７）およびマッピング（１８）に対応する任意の方法から得られる情報によって、画像取得ユニット（１）によって生成された可視光の画像をマージするためのシグナル処理のための手順における、ヒュージョン（１９）、
の方法が、ＧＰＵ、ＦＰＧＡ，ＣＰＵベースのシステム、またはローカルの、分散または並列コンピューティングを通じてリアルタイム処理を行う任意の他のハードウエアによって、画像処理ユニット（２）において実行されることを特徴とする手順。
【請求項１０】
少なくとも１つの赤外光源（４）および少なくとも１つの白色光源（５）または３つの波長、青、緑および赤を含む光源によって照明される解剖学的構造および組織、好ましくは、血管のような血管構造の改善された画像を処理し、および表示するためのインターフェースを備えたデバイスを含む画像処理ユニット（２）であって、前記画像処理ユニット（２）は、少なくとも以下のシグナル処理手段：
各画像ポイントにおける可視光（赤、緑および青）と赤外光の強度をリアルタイムで比較し、前記画像におけるローパスフィルタを使用し、および入射する赤外光の量を推測することによって、前記解剖学的構造または組織（７）を照らす光の量を標準化するための、標準化（１５）シグナル処理手段：
赤外光および可視光のリアルタイムのスペクトル分析に基づいて、前記解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメン化するための、セグメント化（１６）シグナル処理手段：
標準化（１５）手段およびセグメント化（１６）手段によって生成された２つの連続的画像の間で、前記解剖学的構造または組織、好ましくは、血管のような血管構造をリアルタイムでトラックし、および配置するための、トラッキング（１７）シグナル処理手段：
解剖学的構造または組織の前記画像から、およびトラッキング（１７）手段の使用を介して、前記解剖学的構造または組織、好ましくは、血管のような血管構造のリアルタイムのマップを作成するための、マッピング（１８）シグナル処理手段：
標準化（１５）手段、セグメント化（１６）手段、トラッキング（１７）手段およびマッピング（１８）手段のいずれかによって得られた情報によって、前記画像取得ユニット（１）によって生成された可視光の画像をマージするための、ヒュージョン（１９）シグナル処理手段、
を含むことを特徴とする、画像処理ユニット（２）。
【国際調査報告】
2012511361.tif 000018
2012511361.tif 000019
2012511361.tif 000020
2012511361.tif 000021