(57)【要約】【課題】Ｘ線被曝することなく内視鏡の先端位置を外部から表示することが可能で、術前のＣＴ画像で特定した目的部位へ内視鏡が容易に到達することを可能にするナビゲーション装置を提供する。【解決手段】患者の管状の臓器の内側に挿入されて臓器の内側を撮影する内視鏡１１と、内視鏡１１が撮影中の映像を表示するディスプレイ１２と、前もって撮影済みのＣＴ画像に基づいて臓器の内側の特定部位をＡＲ認識用マーカとして予め登録し、内視鏡１１が撮影中の映像内の特定部位を予め登録されたＡＲ認識用マーカとして認識するとともに、認識した前記ＡＲ認識用マーカに基づいて、前記内視鏡のナビゲーション情報を、前記内視鏡１１が撮影中の前記臓器の内側の映像に重畳してディスプレイ１２に表示するＡＲ画像処理装置１７と、を備える。【選択図】図１
2014131551.tif 000002
【特許請求の範囲】
【請求項１】
患者の管状の臓器の内側に挿入されて前記臓器の内側を撮影する内視鏡と、
前記内視鏡が撮影中の映像を表示する表示装置と、
前もって撮影済みのＣＴ画像に基づいて前記臓器の内側の特定部位をＡＲ認識用マーカとして予め登録し、前記内視鏡が撮影中の映像内の特定部位を予め登録された前記ＡＲ認識用マーカとして認識するとともに、認識した前記ＡＲ認識用マーカに基づいて、前記内視鏡のナビゲーション情報を、前記内視鏡が撮影中の前記臓器の内側の映像に重畳して前記表示装置に表示するＡＲ画像処理装置と、を備える、
ことを特徴とする内視鏡向けナビゲーション装置。
【請求項２】
前記内視鏡の先端部の移動経路に沿って複数の前記特定部位が、それぞれ前記ＡＲ認識用マーカとして予め登録されている、
ことを特徴とする請求項１に記載の内視鏡向けナビゲーション装置。
【請求項３】
前記表示装置として、ヘッドマウント型のディスプレイを使用する、
ことを特徴とする請求項１又は２に記載の内視鏡向けナビゲーション装置。
【請求項４】
前記ＡＲ画像処理装置として３次元の空間構造を認識して記憶する機能を有するものを使用する、
ことを特徴とする請求項１ないし３のいずれか１項に記載の内視鏡向けナビゲーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手術、処置、検査等に使用する内視鏡をナビゲーションする内視鏡向けナビゲーション装置に関する。
【背景技術】
【０００２】
内視鏡（腹腔鏡、神経内視鏡を含む）を使用する手術、処置、検査等（以下、適宜単に「手術等」という。）において、術前に撮影した患者のＣＴ（コンピュータ断層撮影装置）画像データ（ＤＩＣＯＭデータ）を医用画像処理ソフトウェアに読み込んで患者の立体的ＣＴ画像を作製し、この中から罹患部位の位置を特定し、これを仮想内視鏡などのソフトウェアの画面上に表示して、この画像を参考にしながら手術等を行っている。
【０００３】
しかし、内視鏡を使用する手術等においては、複雑に分岐する血管や気管、消化器管の内面からの画像に基づいて目的部位に素早く到達するには、術者に充分な経験とスキルが要求される。そのため、さまざまな支援装置が開発されている。
【０００４】
その代表的なものは、内視鏡先端の現在位置を外部から表示するＸ線透視装置（Ｘ線ＴＶ）である（例えば、特許文献１〜３参照）。このＸ線透視装置で内視鏡先端の現在位置を確認しながら目的部位の手術等を行うものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１７２３５０号公報
【特許文献２】特開２００８−０２９６９２号公報
【特許文献３】特開平１０−２７２０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述のＸ線透視装置には、以下のような問題がある。
【０００７】
（１）Ｘ線被曝量が大きいため、手術等の時間的制約がある。
【０００８】
（２）術前のＣＴ画像で特定した目的部位の位置が必ずしも容易には見つからない。
【０００９】
そこで、本発明の目的は、Ｘ線被曝することなく内視鏡の先端位置を外部から表示することが可能で、術前のＣＴ画像で特定した目的部位へ内視鏡が容易に到達することを可能にする内視鏡向けナビゲーション装置を提供することにある。
【課題を解決するための手段】
【００１０】
請求項１に係る発明は、内視鏡向けナビゲーション装置において、患者の管状の臓器の内側に挿入されて前記臓器の内側を撮影する内視鏡と、前記内視鏡が撮影中の映像を表示する表示装置と、前もって撮影済みのＣＴ画像に基づいて前記臓器の内側の特定部位をＡＲ認識用マーカとして予め登録し、前記内視鏡が撮影中の映像内の特定部位を予め登録された前記ＡＲ認識用マーカとして認識するとともに、認識した前記ＡＲ認識用マーカに基づいて、前記内視鏡のナビゲーション情報を、前記内視鏡が撮影中の前記臓器の内側の映像に重畳して前記表示装置に表示するＡＲ画像処理装置と、を備える、ことを特徴とする。
【００１１】
ここで、ＡＲとはＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（拡張現実）の略称で、実写映像という現実情報に位置情報などの仮想情報を付加して情報の質や量を拡張することを意味する。
【００１２】
請求項２に係る発明は、請求項１に記載の内視鏡向けナビゲーション装置において、前記内視鏡の先端部の移動経路に沿って複数の前記特定部位が、それぞれ前記ＡＲ認識用マーカとして予め登録されている、ことを特徴とする。
【００１３】
請求項３に係る発明は、請求項１又は２に係る内視鏡向けナビゲーション装置において、前記表示装置として、ヘッドマウント型のディスプレイを使用する、ことを特徴とする。
【００１４】
請求項４に係る発明は、請求項１ないし３のいずれか１項に係る内視鏡向けナビゲーション装置において、前記ＡＲ画像処理装置として３次元の空間構造を認識して記憶する機能を有するものを使用する、ことを特徴とする。
【発明の効果】
【００１５】
請求項１の発明によれば、内視鏡のナビゲーション情報、例えば、内視鏡先端の現在位置や目的部位への道標、目的部位における罹患組織の形などの必要な情報が、患者の管状の臓器（例えば、血管、気管、消化器管など）の内側（内面）の映像に重畳して表示装置に表示されるので、術者は表示されたナビゲーション情報に従って（ガイドされて）容易に内視鏡の先端部を目的部位へ到達させることができるとともに目的部位の手術、処置、検査等を比較的容易に行うことが可能となる。また、上述したＸ線透視装置とは異なり、Ｘ線は使用しないので、Ｘ線被曝が発生することはなく、手術時間等についての制約がない。
【００１６】
請求項２の発明によれば、内視鏡の先端部を目的部位に、より確実に到達させることができる。
【００１７】
請求項３の発明によれば、内視鏡のナビゲーション情報がヘッドマウント型のディスプレイ上に表示されるので、術者は視点を移動させる必要がなく手術、処置、検査等に集中することができる。
【００１８】
請求項４の発明によれば、内視鏡の映像から３次元の空間構造を認識して記憶する機能（３Ｄマッピング機能）を有するため、内視鏡の先端部の現在位置や経路を確認することができる。
【図面の簡単な説明】
【００１９】
【図１】内視鏡向けナビゲーション装置１０の概要構成を説明する図である。
【図２】（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（目的部位）Ｇに至るまでの経路Ｐを説明する図であり、（Ｂ）は特定部位（分岐点）ＣｎにおけるＡＲ認識用マーカＭｎを示す図であり、（Ｃ）は特定部位（目的部位）ＧにおけるＡＲ認識用マーカＭｇを示す図である。
【図３】（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（分岐点）Ｃｎに到達したようすを説明する図であり、（Ｂ）は特定部位（分岐点）Ｃｎにおける映像Ｌｎとナビゲーション情報（立体画像）Ｓｎとが重畳されたようすを説明する図であり、（Ｃ）は内視鏡の先端部１５が特定部位（目的部位）Ｇに到達したようすを説明する図であり、（Ｄ）は特定部位（目的部位）Ｇにおける映像Ｌｇとナビゲーション情報（立体画像）Ｓｇとが重畳されたようすを説明する図である。
【図４】（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（目的部位）Ｇに至るまでの経路Ｐを説明する図であり、（Ｂ）は特定部位（複雑な部位）ＣｎにおけるＡＲ認識用マーカＭｎを示す図であり、（Ｃ）は特定部位（目的部位）ＧにおけるＡＲ認識用マーカＭｇを示す図である。
【図５】（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（複雑な部位）Ｃｎに到達したようすを説明する図であり、（Ｂ）は特定部位（複雑な部位）Ｃｎにおける映像Ｌｎとナビゲーション情報（立体画像）Ｓｎとが重畳されたようすを説明する図であり、（Ｃ）内視鏡の先端部１５が特定部位（目的部位）Ｇに到達したようすを説明する図であり、（Ｄ）は特定部位（目的部位）Ｇにおける映像Ｌｇとナビゲーション情報（立体画像）Ｓｇとが重畳されたようすを説明する図である。
【発明を実施するための形態】
【００２０】
以下、本発明を適用した実施形態を、図面に基づいて詳述する。なお、各図面において、同じ符号を付した部材等は、同一又は類似の構成のものであり、これらについての重複説明は適宜省略するものとする。また、各図面においては、説明に不要な部材等は適宜、図示を省略している。
＜実施形態１＞
【００２１】
図１〜図３を参照して本発明を適用した実施形態１に係る内視鏡向けナビゲーション装置１０について説明する。
【００２２】
図１は、内視鏡向けナビゲーション装置１０の概要構成を説明する図である。
内視鏡向けナビゲーション装置１０は、図１に示すように、内視鏡１１と、ヘッドマウント型のディスプレイ１２と、ＡＲ画像処理装置１７と、を備えて構成されている。
【００２３】
内視鏡１１としては、例えば、光ファイバーを使用したフレキシブルタイプの電子式内視鏡を使用することができる。内視鏡の先端部１５にはレンズが取り付けられており、また、基端部１６には、レンズ及び光ファイバーを介して導いた光を受光する受光部、及び内視鏡１１を操作するための操作部が設けられている。
【００２４】
なお、内視鏡１１として、先端部１５に小型のＣＣＤカメラを取り付けたものを使用するようにしてもよい。
【００２５】
ＡＲ画像処理装置１７は、内視鏡１１及びヘッドマウント型のディスプレイ１２と接続されており、画像認識ソフトウェア１３及びＡＲソフトウェア１４がインストールされたコンピュータのハードウェアとして構成されている。また、ＡＲ画像処理装置１７は３次元の空間構造を認識して記憶する機能（３Ｄマッピング機能）を有するものである。
【００２６】
ここで、ＡＲソフトウェア１４とは、３Ｄオブジェクトとして取り込んだ立体画像を、内視鏡１１が撮影中の映像内のＡＲ認識用マーカの位置及び姿勢に基づいて座標変換して、このＡＲ認識用マーカとの３次元的位置関係を保ちながら、内視鏡１１が撮影中の映像にリアルタイムでナビゲーション情報Ｓｎとして重畳してディスプレイ１２に表示するソフトウェアである。
【００２７】
次に、上述構成の内視鏡向けナビゲーション装置１０の作用（操作手順）について説明する。
【００２８】
ここでは、臓器Ｚの内側（内壁）Ｚａの内視鏡の先端部１５の経路（移動経路）Ｐに沿って設けられた複数の特定部位Ｃ１，Ｃ２，Ｃ３，…，Ｃｎ（ｎは自然数）が、「分岐点」である場合について説明する。
【００２９】
図２（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（目的部位）Ｇに至るまでの経路Ｐを説明する図であり、（Ｂ）は特定部位（分岐点）ＣｎにおけるＡＲ認識用マーカＭｎを示す図であり、（Ｃ）は特定部位（目的部位）ＧにおけるＡＲ認識用マーカＭｇを示す図である。
【００３０】
図３（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（分岐点）Ｃｎに到達したようすを説明する図であり、（Ｂ）は特定部位（分岐点）Ｃｎにおける映像Ｌｎとナビゲーション情報（立体画像）Ｓｎとが重畳されたようすを説明する図であり、（Ｃ）は内視鏡の先端部１５が特定部位（目的部位）Ｇに到達したようすを説明する図であり、（Ｄ）は特定部位（目的部位）Ｇにおける映像Ｌｇとナビゲーション情報（立体画像）Ｓｇとが重畳されたようすを説明する図である。
【００３１】
（１）患者の、手術対象となる管状の臓器ＺのＣＴ撮影を行う。
【００３２】
（２）得られたＣＴ画像データ(ＤＩＣＯＭデータ)を医用画像処理ソフトウェアに読み込んで、このソフトウェアでボリュームレンダリングされた臓器Ｚの立体的ＣＴ画像Ａを得る。
【００３３】
（３）立体的ＣＴ画像Ａを使用して手術等の対象となる特定部位（目的部位）Ｇの位置や形を特定するとともに、医用画像処理ソフトウェアの１つである仮想内視鏡を使用して臓器Ｚの内側Ｚａに特定部位（目的部位）Ｇにいたる最良の経路（移動経路）Ｐを求める。
【００３４】
（４）図２に示すように、経路Ｐの途中における分岐点などの特定部位Ｃ１，Ｃ２，Ｃ３，…，Ｃｎ，Ｇを決め、医用画像処理ソフトウェアの仮想内視鏡の画像により求めた特定部位Ｃ１，Ｃ２，Ｃ３，…，Ｃｎ，Ｇの画像をＡＲ画像処理装置１７によりＡＲ認識用マーカＭ１，Ｍ２，Ｍ３，…，Ｍｎ，Ｍｇとして登録する。
【００３５】
（５）ＡＲ認識用マーカＭ１，Ｍ２，Ｍ３，…，Ｍｎ，Ｍｇのそれぞれに対応した道標や内視鏡の先端部１５の現在位置、特定部位（目的部位）Ｇにおける罹患組織の形などのナビゲーション情報Ｓ１，Ｓ２，Ｓ３，…，Ｓｎ，Ｓｇを３ＤオブジェクトとしてＡＲ画像処理装置１７に取り込む。
【００３６】
上述の特定部位（分岐点）Ｃｎにおける道標としては、例えば、図３（Ｂ）に示すように進行方向を示す矢印を採用することができる。なお、矢印に加え、さらに、注意事項等を表示するようにしてもよい。また、特定部位（目的部位）Ｇの道標としては、図３（Ｄ）に示すように罹患組織の形や部位を明確にする着色等を採用することができる。
【００３７】
以上で術前の準備は完了する。
【００３８】
（６）患者の臓器Ｚの内側Ｚａに内視鏡１１を挿入し、図３に示すように、内視鏡の先端部１５が経路Ｐに沿った特定部位（分岐点）Ｃ１，Ｃ２，Ｃ３，…，Ｃｎに順次に到達すると、内視鏡１１によって映し出された映像Ｌ１，Ｌ２，Ｌ３，…，ＬｎからＡＲ画像処理装置１７がＡＲ認識用マーカＭ１，Ｍ２，Ｍ３，…，Ｍｎとしてこれらを順次認識し、ＡＲ画像処理装置１７によりそれぞれに対応したナビゲーション情報Ｓ１，Ｓ２，Ｓ３，…，Ｓｎが、臓器Ｚの内側Ｚａの映像Ｌ１，Ｌ２，Ｌ３，…，Ｌｎに重畳されてヘッドマウント型のディスプレイ１２上に表示される。
【００３９】
（７）術者はこれらのナビゲーション情報Ｓ１，Ｓ２，Ｓ３，…，Ｓｎをガイドとして内視鏡の先端部１５を進行させて行く。この間、ＡＲ画像処理装置１７の３次元の空間構造を認識する機能（３Ｄマッピング機能）により、ヘッドマウント型のディスプレイ１２上の片隅に表示されたマップＭＰ（図３（Ａ）参照）により内視鏡１１の先端部１５の現在位置や経路Ｐを確認することができる。なお、図３（Ｃ）、図５（Ａ），（Ｃ）では、マップＭＰの図示は省略している。
【００４０】
（８）内視鏡の先端部１５が特定部位（目的部位）Ｇに達するとＡＲ画像処理装置１７がＡＲ認識用マーカＭｇとしてこれを認識し、ＡＲ画像処理装置１７によりナビゲーション情報Ｓｇが、臓器Ｚの内側Ｚａの映像Ｌｇに重畳されてヘッドマウント型のディスプレイ１２上に表示される。
【００４１】
（９）術者は、ナビゲーション情報Ｓｇを参考として特定部位（目的部位）Ｇの手術等を行う。
【００４２】
次に、図４（Ａ）〜（Ｃ）、図５（Ａ）〜（Ｄ）を参照して、臓器Ｚの内側Ｚａの特定部位Ｃ１，Ｃ２，Ｃ３，…，Ｃｎが複雑に入り組んだ部位（例えば、腸の内壁）、また、特定部位Ｇが目的部位である場合について説明する。
【００４３】
ここで、図４（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（目的部位）Ｇに至るまでの経路Ｐを説明する図であり、（Ｂ）は特定部位（複雑な部位）ＣｎにおけるＡＲ認識用マーカＭｎを示す図であり、（Ｃ）は特定部位（目的部位）ＧにおけるＡＲ認識用マーカＭｇを示す図である。
【００４４】
図５（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（複雑な部位）Ｃｎに到達したようすを説明する図であり、（Ｂ）は特定部位（複雑な部位）Ｃｎにおける映像Ｌｎとナビゲーション情報（立体画像）Ｓｎとが重畳されたようすを説明する図であり、（Ｃ）は内視鏡の先端部１５が特定部位（目的部位）Ｇに到達したようすを説明する図であり、（Ｄ）は特定部位（目的部位）Ｇにおける映像Ｌｇとナビゲーション情報（立体画像）Ｓｇとが重畳されたようすを説明する図である。
【００４５】
なお、上述の図２，図３を参照して説明した内容と同じ内容については、同じ符号を付して説明は省略するものとする。
【００４６】
内視鏡１１が挿入される患者の臓器Ｚが、例えば腸である場合、その内側Ｚａが複雑な形状で入り組んでいて、例えば、図４（Ｂ）の特定部位ＣｎのＡＲ認識用マーカＭｎ、図５（Ｂ）の内視鏡の先端部１５が撮影中に映像Ｌｎからも明らかなように、内視鏡の先端部１５のその後の進行方向が不明りょうである。
【００４７】
そこで、図５（Ｂ）に示すように、内視鏡の先端部１５のその後の進行方向についてのナビゲーション情報Ｓｎを、内視鏡１１が撮影中の映像Ｌｎに、ディスプレイ１２（図１参照）上で重畳させて表示することにより、内視鏡の先端部１５の進行方向を誤らないように、明確に指示することができる。
【００４８】
また、同様に、図４（Ｃ），図５（Ｄ）に示すように、臓器Ｚの内側Ｚａにできた腫瘍等の特定部位（目的部位）Ｇも複雑な形状の内側Ｚａに阻まれて確認が困難であるが、内視鏡１１が撮影中の特定部位（目的部位）Ｇの映像Ｌｇに、特定部位（目的部位）Ｇのナビゲーション情報Ｓｇとして、例えば着色された映像を重畳するようにすれば、特定部位（目的部位）Ｇを間違うことなく、確定することができる。
【００４９】
以上説明した内視鏡向けナビゲーション装置１０によると、以下のような効果を奏する。
【００５０】
（１）内視鏡の先端部１５の現在位置や特定部位（目的部位）Ｇへの道標、特定部位（目的部位）Ｇにおける罹患組織の形などの必要なナビゲーション情報が、患者の管状の臓器Ｚ（血管、気管、消化器管など）の内側Ｚａの映像に重畳してヘッドマウント型のディスプレイ１２に表示されるので、術者は容易に内視鏡の先端部１５を特定部位（目的部位）Ｇへ到達させることができるとともに特定部位Ｇの手術等（手術、処置、検査など）を比較的容易に行うことが可能となる。
【００５１】
（２）従来のＸ線透視装置を利用する場合と異なり、Ｘ線の被曝がまったくない。
【００５２】
以上説明した、特定部位Ｃｎが分岐点である場合、次のようなナビゲーション情報Ｓｎを、内視鏡１１が撮影中の映像に重畳表示するようにしてもよい。
【００５３】
例えば、特定部位Ｃｎとしての分岐点の形状が複雑で、誤った経路に分岐してしまうおそれがある場合、誤った経路における、比較的分岐点に近い部位に、予め別なＡＲ認識用マーカＭｘ（不図示）を登録しておき、内視鏡１１がこのＡＲ認識用マーカＭｘを撮影して、ＡＲ画像処理装置１７がこれを認識した際に、ＡＲ画像処理装置１７により、内視鏡１１が撮影中の映像に、誤った経路である旨を術者に伝えるナビゲーション情報Ｓｘ（不図示）を表示する。
【００５４】
これにより、術者は、速やかに現在の経路が誤った経路であることが分かり、速やかに
正しい経路Ｐに戻ることができる。
【００５５】
（３）ＡＲ画像処理装置１７は内視鏡１１の映像から３次元の空間構造を認識して記憶する機能（３Ｄマッピング機能）を有するので、内視鏡の先端部１５の現在位置や経路を示すマップＭＰをヘッドマウント型のディスプレイ１２の片隅に表示して確認することができる。
【符号の説明】
【００５６】
１０    内視鏡向けナビゲーション装置
１１    内視鏡
１２    ディスプレイ（表示装置）
１３    画像認識ソフトウェア
１４    ＡＲソフトウェア
１５    内視鏡の先端部
１７    ＡＲ画像処理装置
Ｃ１，Ｃ２，Ｃ３，…，Ｃｎ
分岐点（特定部位）
Ｇ      目的部位（特定部位）
Ｌ１，Ｌ２，Ｌ３，…，Ｌｎ，Ｌｇ
内視鏡１１の映像
Ｍ１，Ｍ２，Ｍ３，…，Ｍｎ，Ｍｇ
ＡＲ認識用マーカ
Ｓ１，Ｓ２，Ｓ３，…，Ｓｎ，Ｓｇ
ナビゲーション情報
Ｚ      臓器
Ｚａ    臓器の内側
【図１】
2014131551.tif 000003
【図２】
2014131551.tif 000004
【図３】
2014131551.tif 000005
【図４】
2014131551.tif 000006
【図５】
2014131551.tif 000007