(57)【要約】  本発明は、手術対象を手術する手術用部材の位置や方向を簡便に把握できるようにする画像処理装置および方法、手術システム並びに手術用部材に関する。  手術対象に挿入された手術用部材（１２１）を、手術顕微鏡（１１２）により撮影した顕微鏡画像（２０１）を取得し、取得された顕微鏡画像（２０１）に基づいて、手術対象内における手術用部材の相対的な姿勢を推定し、推定された姿勢に関する姿勢情報（２２２、２２３、２２４）を出力部に出力する。本発明は、例えば眼内内視鏡や術具を手術顕微鏡で観察することで、眼科用手術に適用することができる。
2017169823.tif 000002
【特許請求の範囲】
【請求項１】
手術対象に挿入された手術用部材を手術顕微鏡により撮影した顕微鏡画像を取得する取得部と、  前記取得部により取得された前記顕微鏡画像に基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定する推定部と、  推定された前記姿勢に関する姿勢情報を出力する出力部と  を備える画像処理装置。
【請求項２】
前記手術用部材は眼内内視鏡である  請求項１に記載の画像処理装置。
【請求項３】
前記出力部は、前記眼内内視鏡が出力する内視鏡画像に前記姿勢情報を重畳して出力する  請求項２に記載の画像処理装置。
【請求項４】
前記姿勢は、位置、方向、または回転角の少なくとも１つを含む  請求項３に記載の画像処理装置。
【請求項５】
前記姿勢情報は、位置、方向、または回転角をスケール上に表す図を含む  請求項４に記載の画像処理装置。
【請求項６】
前記姿勢情報は、眼球モデルの断面的または３次元的図を含む  請求項５に記載の画像処理装置。
【請求項７】
前記手術用部材にはマーカが表示され、  前記推定部は、前記取得部により取得された前記顕微鏡画像の前記マーカに基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定する  請求項１に記載の画像処理装置。
【請求項８】
前記取得部は、前記眼内内視鏡を前記手術対象としての被手術眼の外側から撮影した画像を取得し、  前記推定部は、前記眼内内視鏡の前記被手術眼に挿入されていない部分の特徴量に基づいて、前記被手術眼内における前記眼内内視鏡の相対的な姿勢を推定する  請求項２に記載の画像処理装置。
【請求項９】
前記手術用部材はマーカが表示された術具であり、  前記取得部は、前記マーカが表示された前記術具の前記顕微鏡画像と眼内内視鏡の内視鏡画像を取得し、  前記推定部は、前記マーカが表示された前記術具と前記手術顕微鏡の間の相対的な姿勢を推定するとともに、前記マーカが表示された前記術具と前記眼内内視鏡の間の相対的な姿勢を推定し、  前記術具と前記手術顕微鏡の間の相対的な姿勢と、前記術具と前記眼内内視鏡の間の相対的な姿勢から、前記手術顕微鏡と前記眼内内視鏡の間の相対的な姿勢を演算する演算部をさらに備える  請求項１に記載の画像処理装置。
【請求項１０】
手術対象に挿入された手術用部材を手術顕微鏡により撮影した顕微鏡画像を取得するステップと、  前記取得部により取得された前記顕微鏡画像に基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定するステップと、  推定された前記姿勢に関する姿勢情報を出力するステップと  を含む画像処理方法。
【請求項１１】
手術対象を撮影する手術顕微鏡と、  前記手術対象に挿入された手術用部材を前記手術顕微鏡により撮影した顕微鏡画像を取得する取得部と、  前記取得部により取得された前記顕微鏡画像に基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定する推定部と、  推定された前記姿勢に関する姿勢情報を出力する出力部と  を備える手術システム。
【請求項１２】
被手術者の被手術眼に挿入され、前記被手術眼の手術に用いられる手術用部材であって、  前記被手術眼に挿入される挿入部に、手術顕微鏡で観察可能なマーカが表示されている  手術用部材。
【発明の詳細な説明】
【技術分野】
【０００１】  本技術は画像処理装置および方法、手術システム並びに手術用部材に関し、特に眼を手術する手術用部材の位置や方向を簡便に把握できるようにした画像処理装置および方法、手術システム並びに手術用部材に関する。
【背景技術】
【０００２】  眼科手術において、顕微鏡からは視認することができない位置に対して処置する場合に、眼内内視鏡が用いられることがある。特に網膜硝子体手術などで用いられることが多い。【０００３】  図１は、眼の手術を説明する図である。被手術眼２１に眼内内視鏡１１と術具１２が挿入されている。眼内内視鏡１１で撮影された被手術眼２１の内部の画像４１が、モニタ３１に表示されている。術者はモニタ３１の画像４１を見ながら手術を行う。眼内内視鏡１１は、撮影位置の自由度が高い反面、画像の重力方向や位置を見失いやすいという問題がある。また、操作を誤ると網膜１３を損傷するおそれがある。【０００４】  このため、眼内内視鏡１１の操作を習得するハードルは非常に高い。また、現状の講習では位置を見失った場合はホームポジションに戻るという指導がなされているため、手術の時間が長くなる。したがって、眼内内視鏡１１の方向や位置を容易に把握できるようにすることが求められる。【０００５】  そこで眼科用内視鏡の手元の部分に特定方向を指す指標を設けることが提案されている（特許文献１）。また内視鏡の方向を求めるのに、重力センサや、加速度センサを用いることが提案されている（特許文献２）。さらにＸ線画像から、十二指腸を観察する内視鏡のＸ線でマーカを検出することが提案されている（特許文献３）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平10-328126号公報
【特許文献２】特開2014-155592号公報
【特許文献３】特開2015-2858号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】  しかし特許文献１の提案では、術者が眼科用内視鏡の根本を視認するか、指先の感触で指標を確認する必要がある。前者の場合は術野から視線が離れてしまう。後者の場合は正確な向きを把握するのに慣れが必要であるという問題がある。また、位置を把握することが困難である。さらに眼科用内視鏡は低侵襲化のために細径化が進んでおり、歪みが発生し易くなっているにも拘わらず、根元から先端の間で歪みが発生した場合に対応することが困難である。【０００８】  特許文献２の提案のように、内視鏡の先端部にセンサを取り付けることは、細径化の阻害要因になる。また、手元にセンサを付けることはある程度有用であるものの、内視鏡自体の重量が増加し、操作が困難になり、眼内内視鏡への適用が困難である。【０００９】  特許文献３の提案のように、Ｘ線画像を利用するには、Ｘ線装置が必要となるばかりでなく、十二指腸を観察する内視鏡自体も特別の構造にする必要があり、装置が大掛かりとなり、コスト高となる。従って、眼内内視鏡への適用が困難である。【００１０】  本技術はこのような状況に鑑みてなされたものであり、眼を手術する手術用部材の位置や方向を簡便に把握できるようにするものである。
【課題を解決するための手段】
【００１１】  本技術の一側面は、手術対象に挿入された手術用部材を手術顕微鏡により撮影した顕微鏡画像を取得する取得部と、前記取得部により取得された前記顕微鏡画像に基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定する推定部と、推定された前記姿勢に関する姿勢情報を出力する出力部とを備える画像処理装置である。【００１２】  前記手術用部材は眼内内視鏡であることができる。【００１３】  前記出力部は、前記眼内内視鏡が出力する内視鏡画像に前記姿勢情報を重畳して出力することができる。【００１４】  前記姿勢は、位置、方向、または回転角の少なくとも１つを含むことができる。【００１５】  前記姿勢情報は、位置、方向、または回転角をスケール上に表す図を含むことができる。【００１６】  前記姿勢情報は、眼球モデルの断面的または３次元的図を含むことができる。【００１７】  前記手術用部材にはマーカが表示され、前記推定部は、前記取得部により取得された前記顕微鏡画像の前記マーカに基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定することができる。【００１８】  前記取得部は、前記眼内内視鏡を前記手術対象としての被手術眼の外側から撮影した画像を取得し、前記推定部は、前記眼内内視鏡の前記被手術眼に挿入されていない部分の特徴量に基づいて、前記被手術眼内における前記眼内内視鏡の相対的な姿勢を推定することができる。【００１９】  前記手術用部材はマーカが表示された術具であり、前記取得部は、前記マーカが表示された前記術具の前記顕微鏡画像と眼内内視鏡の内視鏡画像を取得し、前記推定部は、前記マーカが表示された前記術具と前記手術顕微鏡の間の相対的な姿勢を推定するとともに、前記マーカが表示された前記術具と前記眼内内視鏡の間の相対的な姿勢を推定し、前記術具と前記手術顕微鏡の間の相対的な姿勢と、前記術具と前記眼内内視鏡の間の相対的な姿勢から、前記手術顕微鏡と前記眼内内視鏡の間の相対的な姿勢を演算する演算部をさらに備えることができる。【００２０】  本技術の一側面は、手術対象に挿入された手術用部材を手術顕微鏡により撮影した顕微鏡画像を取得するステップと、前記取得部により取得された前記顕微鏡画像に基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定するステップと、推定された前記姿勢に関する姿勢情報を出力するステップとを含む画像処理方法である。【００２１】  本技術の一側面は、手術対象を撮影する手術顕微鏡と、前記手術対象に挿入された手術用部材を前記手術顕微鏡により撮影した顕微鏡画像を取得する取得部と、前記取得部により取得された前記顕微鏡画像に基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定する推定部と、推定された前記姿勢に関する姿勢情報を出力する出力部とを備える手術システムである。【００２２】  本技術の一側面は、被手術者の被手術眼に挿入され、前記被手術眼の手術に用いられる手術用部材であって、前記被手術眼に挿入される挿入部に、手術顕微鏡で観察可能なマーカが表示されている手術用部材である。【００２３】  本技術の一側面においては、手術対象に挿入された手術用部材を手術顕微鏡により撮影した顕微鏡画像が取得され、���得された顕微鏡画像に基づいて、手術対象内における手術用部材の相対的な姿勢が推定され、推定された姿勢に関する姿勢情報が出力される。
【発明の効果】
【００２４】  以上のように、本技術の一側面によれば、眼を手術する手術用部材の位置や方向を簡便に把握できるようになる。【００２５】  なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００２６】
【図１】眼の手術を説明する図である。
【図２】本技術の一実施の形態の手術システムの構成を示す斜視図である。
【図３】本技術の一実施の形態の眼の手術を説明する図である。
【図４】本技術のマーカを説明する図である。
【図５】本技術の手術システムの機能的構成を示すブロック図である。
【図６】本技術の画像処理を説明するフローチャートである。
【図７】本技術の一実施の形態の眼の手術を説明する図である。
【図８】本技術の一実施の形態の眼の手術を説明する図である。
【図９】本技術の手術システムの構成を示すブロック図である。
【図１０】本技術の画像処理を説明するフローチャートである。
【図１１】本技術の姿勢情報の例を示す図である。
【図１２】本技術の姿勢情報の例を示す図である。
【図１３】本技術の姿勢情報の例を示す図である。
【図１４】本技術の姿勢情報の例を示す図である。
【発明を実施するための形態】
【００２７】  以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。  １．第１の実施の形態    （１）手術システム    （２）姿勢推定の原理    （３）手術システムの機能ブロック    （４）画像処理  ２．第２の実施の形態  ３．第３の実施の形態    （１）姿勢推定の原理    （２）手術システムの機能ブロック    （３）画像処理  ４．姿勢情報  ５．その他
【００２８】＜１．第１の実施の形態＞  （１）手術システム  図２は、本技術の一実施の形態の手術システムの構成を示す斜視図である。この図２は、眼科手術用の手術システム１００の基本的な構成を模式的に表している。手術システム１００は、手術テーブル１１１、手術顕微鏡１１２、画像処理装置１１３および呈示部１１４により構成されている。この他、必要に応じて硝子体手術装置、バイタル表示装置等も用いられるが、図示は省略されている。
【００２９】  手術テーブル１１１には被手術者（すなわち患者）１３１が寝かせられる。術者１３２は、被手術者１３１の頭部１３１Ａの後方側（または左側もしくは右側の場合もある）に立ち、眼科用の手術用部材を用いて眼科の手術を行う。図２の例の場合、手術用部材として眼内内視鏡１２１と例えば硝子体カッター等の術具１２２が用いられている。
【００３０】  被手術者１３１の頭部１３１Ａの上方には、手術顕微鏡１１２が配置されており、被手術者１３１の手術対象としての被手術眼１５１（後述する図３参照）を撮影する。被手術眼１５１に眼内内視鏡１２１や術具１２２が挿入された場合、それらが挿入された状態の被手術眼１５１が撮影される。
【００３１】  手術顕微鏡１１２により撮影された画像信号は画像処理装置１１３に供給される。眼内内視鏡１２１は被手術眼１５１に挿入されると、その内部の状態を撮影し、その画像信号を画像処理装置１１３に出力する。画像処理装置１１３は、入力された画像信号に対応する画像を呈示部１１４に出力する。これにより、術者１３２は、術中、手術顕微鏡１１２で撮影した画像（以下、顕微鏡画像という）と眼内内視鏡１２１で撮影した画像（以下、内視鏡画像という）を見ることができる。なお、手術顕微鏡１１２にモニタがついており、その画像を見ることができるようになっている場合もある。
【００３２】  手術顕微鏡１１２はその位置を任意に変更することができる。また、眼内内視鏡１２１は術者１３２が操作することでその姿勢を変更することができる。これにより被手術眼１５１の任意の部分を観察することが可能となっている。
【００３３】  （２）姿勢推定の原理  図３は、本技術の一実施の形態の眼の手術を説明する図である。以下、図３を参照して眼内内視鏡１２１の姿勢推定の原理について説明する。
【００３４】  図３には、被手術者１３１の被手術眼１５１の断面構成が示されている。被手術眼１５１の上方は角膜１６１により覆われている。角膜１６１の下の前房１６４のさらに奥には水晶体１６２が存在し、その左右には虹彩１６３が存在する。さらに球状の被手術眼１５１の奥には、網膜１６５が存在する。
【００３５】  被手術眼１５１には眼内内視鏡１２１の挿入部１２１Ａが挿入されており、先端１２１Ｂから照明光で撮影部分を照明し、内部の状態が撮影される。挿入部１２１Ａには、眼内内視鏡１２１の姿勢を確認するためのマーカ１７１が表示されている。このマーカ１７１は、手術顕微鏡１１２で撮影した顕微鏡画像で確認することができる。
【００３６】  ここで図４を参照して、マーカ１７１の具体的例について説明する。図４は、本技術のマーカを説明する図である。なお、図４におけるマーカＭｘ（ｘは数字）は、図３のマーカ１７１に対応する。
【００３７】  図４のＡにおいては、眼内内視鏡１２１の挿入部１２１Ａにはその外部表面に、すなわち手術顕微鏡１１２の顕微鏡画像により観察できるように、赤、青、緑、および黄の色の帯が挿入部１２１Ａの長さ方向に沿って表示されている。例えば赤の帯Ｍ１が眼内内視鏡１２１の上側に表示されており、青の帯Ｍ２が赤の帯Ｍ１から反時計方向に９０度回転した位置に表示されている。さらに、緑の帯Ｍ３が赤の帯Ｍ１から反時計方向に１８０度回転した位置に表示され、黄の帯Ｍ４が赤の帯Ｍ１から反時計方向に２７０度回転した位置に表示されている。
【００３８】  従って、被手術眼１５１に挿入部１２１Ａが挿入された眼内内視鏡１２１を手術顕微鏡１１２により撮像した顕微鏡画像から、眼内内視鏡１２１の回転角を推定することができる。例えば赤の帯Ｍ１が観察された場合、眼内内視鏡１２１は基準となる位置（赤の帯Ｍ１が上側に配置される位置）に位置すること、つまり回転角は０度であることが判る。青の帯Ｍ２が観察された場合、眼内内視鏡１２１は基準となる位置から反時計方向に９０度回転していることがわかる。
【００３９】  以下、同様に、緑の帯Ｍ３が観察された場合、眼内内視鏡１２１の基準となる位置からの回転角は１８０度であり、黄の帯Ｍ４が観察された場合、眼内内視鏡１２１の基準となる位置からの回転角は２７０度であることが判る。赤の帯Ｍ１と青の帯Ｍ２が観察された合、眼内内視鏡１２１の基準となる位置からの回転角は４５度であることが判る。
【００４０】  図４のＢは、異なる本数の線がマーカとして所定の位置に表示されている例を表している。この例では、基準の位置のマーカＭ１１の線の数は１本、基準の位置から反時計方向に９０度回転した位置のマーカＭ２の線の数は２本とされている。以下同様に、図示はされていないが、基準の位置から反時計方向に１８０度回転した位置では３本、反時計方向に２７０度回転した位置では４本とされている。この例でも、観察されたマーカの状態から眼内内視鏡１２１の回転角を推定することができる。
【００４１】  図４のＣは、線の太さが異なるマーカの例を示している。基準の位置のマーカＭ２１の線は最も細く、基準の位置から反時計方向に９０度回転した位置のマーカＭ２２の線の太さはマーカＭ２１より太くされている。以下同様に、図示はされていないが、基準の位置から反時計方向に１８０度回転した位置のマーカの線はマーカＭ２２より太く、反時計方向に２７０度回転した位置のマーカの線は、１８０度の位置のマーカよりさらに太くれている。この例でも、観察されたマーカの状態から眼内内視鏡１２１の回転角を推定することができる。
【００４２】  図４のＤは、線の間隔が位置によって異なるマーカの例を表している。すなわち、この例では、眼内内視鏡１２１の基準位置からの回転角に応じて間隔が異なる線がマーカＭ３１として表示されている。この例でも、観察されたマーカの状態から眼内内視鏡１２１の回転角を推定することができる。
【００４３】  図４のＥは、特定模様のマーカの例を示している。この例では、２次元バーコードがマーカ４１として挿入部１２１Ａに表示されている。この例でも、観察されたマーカの状態から眼内内視鏡１２１の回転角を推定することができる。
【００４４】  図３の説明に戻って、手術顕微鏡１１２により被手術眼１５１を撮影することで、顕微鏡画像２０１が得られる。この顕微鏡画像２０１に映し出されたマーカ１７１（Ｍｘ）を分析することにより、眼内内視鏡１２１の姿勢を推定する姿勢推定処理２１１を行うことができる。次に推定された姿勢を眼内内視鏡１２１の画像に重畳する重畳処理２１２が実行される。
【００４５】  そして呈示部１１４に、眼内内視鏡１２１により撮影された内視鏡画像２２１と、推定された眼内内視鏡１２１の姿勢を表す図形の画像２２２，２２３，２２４が表示される。姿勢を表す図形の画像２２２，２２３，２２４の詳細については、図１１乃至図１４を参照して、姿勢情報として後述する。ここでは被手術眼１５１の断面形状の図形に眼内内視鏡１２１の姿勢を表す図形の画像２２２，２２３と、重力方向を示す矢印の図形の画像２２４が表示されている。
【００４６】  （３）手術システムの機能ブロック  図５は、本技術の手術システムの機能的構成を示すブロック図である。図５に示されるように、手術システム１００の手術顕微鏡１１２は、駆動部３０１と撮影部３０２を有する。撮影部３０２はカメラと照明部により構成され、駆動部３０１により被手術眼１５１に対して任意の位置に移動され、その位置から撮影を行う。
【００４７】  眼内内視鏡１２１はカメラと照明部により構成される撮影部３１１を有している。撮影部３１１により眼内内視鏡１２１の内部の状態を撮影することができる。
【００４８】  画像処理装置１１３は、取得部３２１、マーカ検出部３２２、姿勢推定部３２３、特徴量データベース３２４、取得部３２５、および重畳部３２６を有している。
【００４９】  取得部３２１は、手術顕微鏡１１２の撮影部３０２の撮影により得られた顕微鏡画像の画像信号を取得する。マーカ検出部３２２は、取得部３２１が取得した画像信号からマーカ１７１を検出する。姿勢推定部３２３は、マーカ検出部３２２により検出されたマーカ１７１の撮影状態から眼内内視鏡１２１の姿勢を推定する。特徴量データベース３２４は、姿勢推定部３２３がマーカ１７１の撮影状態から眼内内視鏡１２１の姿勢を推定するのに必要な画像情報を予め保持している。姿勢推定部３２３は推定された姿勢に対応する画像を出力する。
【００５０】  特徴量データベース３２４には、マーカ１７１が表示された眼内内視鏡１２１の３次元的な位置情報（特徴点）が保存されている。３次元的な位置が既知である複数の特徴点が２次元的な画像（すなわち顕微鏡画像）に存在する場合、パースペクティブＮポイントプロブレム（perspective N point problem:PNPP）を解くことで、特徴点に対する相対的なカメラ（手術顕微鏡１１２の撮影部３０２）の３次元的な位置と姿勢を求めることができる。従って、手術顕微鏡１１２の撮像部３０２の位置を基準として、逆に特徴点の３次元的な位置と姿勢を求めることができ、そこから眼内内視鏡１２１の位置と姿勢を求めることができる。換言すれば、撮像部３０２の画角、歪量等のパラメータを含む、PNPPを解くのに必要な情報が、特徴量データベース３２４に予め記憶される。
【００５１】  取得部３２５は、眼内内視鏡１２１の撮影部３１１により撮影された内視鏡画像を取得する。重畳部３２６は、姿勢推定部３２３からの姿勢を表す画像と、取得部３２５により取得された眼内内視鏡１２１の内視鏡画像とを重畳し、呈示部１１４に出力し、呈示させる。
【００５２】  （４）画像処理  次に図６を参照して図５の手術システム１００の動作について説明する。図６は本技術の画像処理を説明するフローチャートである。
【００５３】  ステップＳ１１において取得部３２１は顕微鏡画像を取得する。取得された顕微鏡画像の画像信号はマーカ検出部３２２に供給される。すなわち予め駆動部３０１により、被手術眼１５１の全体が見えるように所定の位置に配置された撮像部３０２により被手術眼１５１が撮影される。図３に示されるように被手術眼１５１に眼内内視鏡１２１の挿入部１２１Ａが挿入されると、取得された顕微鏡画像にはマーカ１７１が映っている。
【００５４】  ステップＳ１２においてマーカ検出部３２２は、眼内内視鏡１２１を検出する。すなわち、取得された手術顕微鏡１１２の撮影部３０２により撮影された顕微鏡画像から、眼内内視鏡１２１が検出される。なお、過去の検出結果を利用して検出処理を行うことで、検出精度を向上させることもできる。ステップＳ１３においてマーカ検出部３２２は、検出成功かを判定する。まだマーカ１７１が検出できない場合、処理はステップＳ１１に戻る。つまり、取得した顕微鏡画像からマーカ１７１を検出する処理が繰り返される。
【００５５】  マーカ１７１の検出に成功した場合、マーカ検出部３２２は検出結果を姿勢推定部３２３に供給する。ステップＳ１４において姿勢推定部３２３は、眼内内視鏡１２１の姿勢を推定する。
【００５６】  すなわち、図４を参照して説明したように、眼内内視鏡１２１を手術顕微鏡１１２で撮影した顕微鏡画像におけるマーカ１７１の状態は、眼内内視鏡１２１の姿勢によって変化する。特徴量データベース３２４には、任意の回転角に対応するマーカ１７１の画像が記憶されており、記憶されているマーカ１７１の画像の中から、観察されたマーカ１７１の画像に対応する画像を検索することで、眼内内視鏡１２１の回転角を推定することができる。
【００５７】  なお、眼内内視鏡１２１の姿勢は、回転角（回転量）の他、位置と方向により特定される。位置と方向は、PNPPを解くことで推定が可能である。
【００５８】  ステップＳ１５において姿勢推定部３２３は、推定成功かを判定する。眼内内視鏡１２１の姿勢がまだ推定できない場合、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。
【００５９】  眼内内視鏡１２１の姿勢が推定できた場合、ステップＳ１６において姿勢推定部３２３は、姿勢情報を生成する。すなわち、推定された姿勢に対応する姿勢情報が生成される。この姿勢情報の詳細については図１１乃至図１４を参照して後述する。
【００６０】  ステップＳ１７において重畳部３２６は、重畳処理を実行する。すなわち、重畳部３２６は、取得部３２５により取得された眼内内視鏡１２１の撮像部３１１により撮影された内視鏡画像に、姿勢推定部３２３により推定された姿勢に対応する画像を重畳し、呈示部１１４に供給する。ステップＳ１８において呈示部１１４は、情報を呈示する。すなわち、眼内内視鏡１２１により撮影された内視鏡画像と、姿勢推定部３２３により推定された姿勢に対応する画像が、呈示部１１４に呈示される。
【００６１】  術者１３２は呈示された情報に基づいて、眼内内視鏡１２１の姿勢を確認することができる。従って、術者１３２は、必要に応じて眼内内視鏡１２１を操作して、所望の部位を確認し、術具１２２を操作することで、安全に手術を行うことができる。
【００６２】  ＜２．第２の実施の形態＞  第１の実施の形態においては、眼内内視鏡１２１の挿入部１２１Ａにマーカ１７１を表示し、マーカ１７１を観察することで眼内内視鏡１２１の姿勢を推定するようにした。第２の実施の形態においては、マーカ１７１を付加しないで眼内内視鏡１２１の外部の特徴量から姿勢が推定される。以下、図７を参照して第２の実施の形態について説明する。
【００６３】  図７は、本技術の一実施の形態の眼の手術を説明する図である。図７には眼内内視鏡１２１の挿入部１２１Ａが、被手術眼１５１内にトロッカ４０４から挿入された状態が示されている。眼内内視鏡１２１の細い挿入部１２１Ａと反対側には、円錐台状の接合部４０２を介して太い把手４０１が取り付けられている。また把手４０１には滑り止めのためエッジが設けられている他、ケーブル４０３が接続されている。
【００６４】  第２の実施の形態の手術システム１００の構成は、基本的に第１の実施の形態と同様である。ただ手術顕微鏡１１２を第１の実施の形態の場合より、被手術眼１５１から離れた位置に配置するなどして、より広い範囲が撮影できるように画角が変更される。あるいは広角レンズを使用することもできる。そして把手４０１、接合部４０２、ケーブル４０３、トロッカ４０４等、挿入部１２１Ａ以外の被手術眼１５１の外部に位置する部材（以下、外部部材という）が撮影され、その画像から外部部材の特徴量が検出され、学習される。もちろん手術顕微鏡１１２とは別の撮像部を設け、それにより外部部材の特徴量を検出するようにしてもよい。従って、第２の実施の形態の場合、特徴量データベース３２４には、外部部材の特徴量から眼内内視鏡１２１の精製を推定するのに必要な特徴量が記憶されている。
【００６５】  第２の実施の形態の動作は第１の実施の形態の場合と同様であるので、その説明は省略する。第２の実施の形態の場合、眼内内視鏡１２１にマーカ１７１を表示する必要がないので、利用できる眼内内視鏡１２１の種類が多くなる。
【００６６】＜３．第３の実施の形態＞  図８は、本技術の一実施の形態の眼の手術を説明する図である。次に図８を参照して、第３の実施の形態について説明する。
【００６７】  （１）姿勢推定の原理  図８には、図３における場合と同様に、被手術者１３１の被手術眼１５１の断面構成が示されている。被手術眼１５１の上方は角膜１６１により覆われている。角膜１６１の下の前房１６４のさらに奥には水晶体１６２が存在し、その左右には虹彩１６３が存在する。さらに球状の被手術眼１５１の奥には、網膜１６５が存在する。
【００６８】  被手術眼１５１には眼内内視鏡１２１の挿入部１２１Ａが挿入されており、内部の状態が撮影される。また被手術眼１５１には術具１２２の挿入部１２２Ａも挿入されている。第１の実施の形態においては眼内内視鏡１２１の挿入部１２１Ａにマーカ１７１が表示されていた。しかし第３の実施の形態においては、術具１２２の挿入部１２２Ａに、術具１２２の姿勢を確認するためのマーカ１８１が表示されている。このマーカ１８１は、手術顕微鏡１１２で撮影した顕微鏡画像と眼内内視鏡１２１で撮影した内視鏡画像で確認することができる。
【００６９】  マーカ１８１は、図４を参照して既に説明したマーカ１７１と同様のものであり、繰り返しになるのでその説明は省略する。
【００７０】  手術顕微鏡１１２により被手術眼１５１を撮影することで、顕微鏡画像５０１が得られる。この顕微鏡画像５０１に映し出されたマーカ１８１を分析することにより、術具１２２の手術顕微鏡１１２に対する姿勢を推定する姿勢推定処理５０２を行うことができる。
【００７１】  同様に、眼内内視鏡１２１により被手術眼１５１を撮影することで、内視鏡画像５０４が得られる。この内視鏡画像５０４に映し出されたマーカ１８１を分析することにより、術具１２２の眼内内視鏡１２１に対する姿勢を推定する姿勢推定処理５０５を行うことができる。
【００７２】  さらに術具１２２の手術顕微鏡１１２に対する姿勢と、術具１２２の眼内内視鏡１２１に対する姿勢に対して姿勢変換処理５０３を実行することで、眼内内視鏡１２１の手術顕微鏡１１２に対する相対的姿勢を得ることができる。
【００７３】  そして呈示部１１４に、眼内内視鏡１２１により撮影された内視鏡画像５０４と、推定された眼内内視鏡１２１の姿勢を表す図形の画像５０７，５０８が表示される。姿勢を表す図形の画像５０７，５０８の詳細については姿勢情報として後述するが、ここでは被手術眼１５１の断面形状の図形に眼内内視鏡１２１の姿勢を表す図形の画像５０７，５０８が表示されている。
【００７４】  （２）手術システムの機能ブロック  図９は、本技術の手術システムの機能的構成を示すブロック図である。図９に示されるように、手術顕微鏡１１２は、駆動部３０１と撮影部３０２を有し、眼内内視鏡１２１は撮影部３１１を有していることは、図５の第１の実施の形態の場合と同様である。また、画像処理装置１１３が、手術顕微鏡１１２の撮像部３０２からの信号を処理する取得部３２１、マーカ検出部３２２、姿勢推定部３２３、特徴量データベース３２４を有することも、第１の実施の形態の場合と同様である。さらに眼内内視鏡１２１の撮像部３１１の出力を取得する取得部３２５、および取得部３２５の出力を、姿勢情報と重畳する重畳部３２６を有することも、第１の実施の形態の場合と同様である。
【００７５】  図９の第３の実施の形態の画像処理装置１１３においては、手術顕微鏡１１２の撮像部３０２からの信号を処理する系としての取得部３２１、マーカ検出部３２２および姿勢推定部３２３だけでなく、眼内内視鏡１２１からの信号を処理する系が設けられている。すなわち、眼内内視鏡１２１の撮像部３１１からの信号を処理する系として、取得部３２５、マーカ検出部６０１および姿勢推定部６０２が設けられている。
【００７６】  取得部３２５は、眼内内視鏡１２１の撮影部３１１の撮影により得られた内視鏡画像の画像信号を取得する。マーカ検出部６０１は、取得部３２５が取得した内視鏡画像の画像信号からマーカ１８１を検出する。姿勢推定部６０２は、マーカ検出部６０１により検出されたマーカ１８１の撮影状態から術具１２２の姿勢を推定する。
【００７７】  特徴量データベース３２４は、術具１２２の挿入部１２２Ａに表示されているマーカ１８１の手術顕微鏡１１２に対する姿勢の特徴量だけでなく、マーカ１８１の眼内内視鏡１２１に対する姿勢の特徴量も記憶している。そして姿勢推定部３２３が、術具１２２の手術顕微鏡１１２に対する姿勢を検出するのと同様に、姿勢推定部６０２が、術具１２２の眼内内視鏡１２１に対する姿勢を検出する。
【００７８】  さらに画像処理装置１１３には、姿勢変換処理５０３を実行する演算部６０３が設けられている。演算部６０３は、姿勢推定部３２３により推定された術具１２２の手術顕微鏡１１２に対する姿勢と、姿勢推定部６０２により推定された術具１２２の眼内内視鏡１２１に対する姿勢から、手術顕微鏡１１２に対する眼内内視鏡１２１の姿勢を演算する。
【００７９】  重畳部３２６は、演算部６０３から供給される眼内内視鏡１２１の姿勢を表す画像と、取得部３２５により取得された眼内内視鏡１２１の内視鏡画像とを重畳し、呈示部１１４に出力し、呈示させる。
【００８０】  （３）画像処理  次に図１０を参照して図９の手術システム１００の動作について説明する。図１０は本技術の画像処理を説明するフローチャートである。
【００８１】  ステップＳ５１において取得部３２１は顕微鏡画像を取得する。取得された顕微鏡画像の画像信号はマーカ検出部３２２に供給される。すなわち予め駆動部３０１により所定の位置に配置された撮像部３０２により被手術眼１５１が撮影される。図８に示されるように被手術眼１５１に術具１２２の挿入部１２２Ａが挿入されると、取得された顕微鏡画像にはマーカ１８１が映っている。
【００８２】  ステップＳ５２においてマーカ検出部３２２は、術具１２２を検出する。すなわち、取得された手術顕微鏡１１２の撮影部３０２により撮影された顕微鏡画像から、術具１２２が検出される。ステップＳ５３においてマーカ検出部３２２は、検出成功かを判定する。マーカ１８１が検出できない場合、処理はステップＳ５１に戻る。つまり、取得した画像からマーカ１８１を検出する処理が繰り返される。
【００８３】  マーカ１８１の検出に成功した場合、マーカ検出部３２２は検出結果を姿勢推定部３２３に供給する。ステップＳ５４において姿勢推定部３２３は、手術顕微鏡１１２から見た術具１２２の姿勢を推定する。
【００８４】  すなわち、図４を参照して説明したように、術具１２２を手術顕微鏡１１２で撮影した顕微鏡画像におけるマーカ１８１の状態は、術具１２２の姿勢によって変化する。特徴量データベース３２４には、任意の回転角に対応するマーカ１８１の画像が記憶されており、記憶されているマーカ１８１の画像の中から、観察されたマーカ１８１の画像に対応する画像を検索することで、手術顕微鏡１１２から見た術具１２２の回転角を推定することができる。
【００８５】  位置と方向は、PNPPを解くことで推定が可能である。すなわち、図６のステップＳ１４における場合と同様の処理が実行される。
【００８６】  ステップＳ５５において姿勢推定部３２３は、推定成功かを判定する。術具１２２の姿勢がまだ推定できない場合、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。
【００８７】  術具１２２の姿勢が推定できた場合、処理はステップＳ５６に進む。
【００８８】  ステップＳ５６において取得部３２５は内視鏡画像を取得する。取得された内視鏡画像の画像信号はマーカ検出部６０１に供給される。すなわち術者１３２の操作により所定の位置に配置された眼内内視鏡１２１の撮像部３１１により被手術眼１５１の所定の部位が撮影される。図８に示されるように被手術眼１５１に術具１２２の挿入部１２２Ａが挿入されると、取得された内視鏡画像にはマーカ１８１が映っている。
【００８９】  ステップＳ５７においてマーカ検出部６０１は、術具１２２を検出する。すなわち、取得された眼内内視鏡１２１の撮影部３１１により撮影された内視鏡画像から、術具１２２が検出される。ステップＳ５８においてマーカ検出部６０１は、検出成功かを判定する。マーカ１８１が検出できない場合、処理はステップＳ５６に戻る。つまり、取得した内視鏡画像からマーカ１８１を検出する処理が繰り返される。
【００９０】  マーカ１８１の検出に成功した場合、マーカ検出部６０１は検出結果を姿勢推定部６０２に供給する。ステップＳ５９において姿勢推定部６０２は、眼内内視鏡１２１から見た術具１２２の姿勢を推定する。
【００９１】  すなわち、図４を参照して説明したように、術具１２２を眼内内視鏡１２１で撮影した画像におけるマーカ１８１の状態は、術具１２２の姿勢によって変化する。特徴量データベース３２４には、任意の回転角に対応するマーカ１８１の画像が記憶されており、記憶されているマーカ１８１の画像の中から、観察されたマーカ１８１の画像に対応する画像を検索することで、眼内内視鏡１２１から見た術具１２２の回転角を推定することができる。
【００９２】  位置と方向は、PNPPを解くことで推定が可能である。すなわち、図６のステップＳ１４および図１０のステップＳ５４における場合と同様の処理が実行される。
【００９３】  ステップＳ６０において姿勢推定部６０２は、推定成功かを判定する。術具１２２の姿勢がまだ推定できない場合、処理はステップＳ５６に戻り、それ以降の処理が繰り返される。
【００９４】  なお、ステップＳ５１乃至ステップＳ５５の手術顕微鏡１１２の顕微鏡画像に対する処理と、ステップＳ５６乃至ステップＳ６０の眼内内視鏡１２１の内視鏡画像に対する処理は、逆の順序で行うことができる。実際には、これらの処理は同時に並行して実行される。
【００９５】  ステップＳ６０の眼内内視鏡１２１から見た術具１２２の姿勢が推定できた場合、つまり、手術顕微鏡１１２から見た術具１２２の姿勢と、眼内内視鏡１２１から見た術具１２２の姿勢の両方の推定ができた場合、次にステップＳ６１の処理が実行される。ステップＳ６１において演算部６０３は、手術顕微鏡１１２から見た眼内内視鏡１２１の姿勢を演算する。すなわち、手術顕微鏡１１２から見た術具１２２の姿勢と、眼内内視鏡１２１から見た術具１２２の姿勢が、手術顕微鏡１１２から見た眼内内視鏡１２１の姿勢に変換される。
【００９６】  ステップＳ６２において演算部６０３は、姿勢情報を生成する。すなわち、演算された姿勢に対応する姿勢情報が生成される。この姿勢情報の詳細については図１１乃至図１４を参照して後述する。
【００９７】  ステップＳ６３において重畳部３２６は、重畳処理を実行する。すなわち、重畳部３２６は、取得部３２５により取得された眼内内視鏡１２１の撮像部３１１により撮影された内視鏡画像に、演算部６０３により演算された姿勢に対応する画像を重畳し、呈示部１１４に供給する。ステップＳ６４において呈示部１１４は、情報を呈示する。すなわち、眼内内視鏡１２１により撮影された内視鏡画像と、演算部６０３により演算された姿勢に対応する画像が、呈示部１１４に呈示される。
【００９８】  術者１３２は呈示された情報に基づいて、眼内内視鏡１２１の姿勢を確認することができる。従って、術者１３２は、適宜眼内内視鏡１２１に必要な操作を加えることで、安全に手術を行うことができる。
【００９９】  なお、網膜１６５自体にも血管により特徴的な模様が存在するので、術具１２２の代わりに、この模様を特徴点として利用してもよい。
【０１００】＜４．姿勢情報＞  次に図１１乃至図１４を参照して姿勢情報について説明する。術者１３２は、この姿勢情報を見て、眼内内視鏡１２１の姿勢を確認し、眼内内視鏡１２１を適正に操作することができる。図１１乃至図１４は、いずれも本技術の姿勢情報の例を示す図である。
【０１０１】  図１１の例においては、姿勢情報として特定の方向を示す図形が呈示される。図１１のＡにおいては、眼内内視鏡１２１により撮影して得られた内視鏡画像６１１が表示されている。内視鏡画像６１１には、術具１２２が映っている。そして内視鏡画像６１１の外周端部の近傍には、姿勢情報として矢印の図形７０１が表示されている。この矢印の図形７０１は、眼内内視鏡１２１の重力の方向を示している、すなわちこの例では、眼内内視鏡１２１が回転していなければ、矢印の図形７０１は下方向を指す。従って、術者１３２は、図１１のＡから、眼内内視鏡１２１が若干時計方向に回転した状態にあることを認識することができる。
【０１０２】  図１１のＢの例においては、重力の方向を示す方位磁石のような指標が、３次元的な方向が判るような図形７０２内に表示されている。これにより、呈示部１１４の表示面と平行な面内における回転角（ロール角）だけでなく、呈示部１１４の表示面と垂直な面内における回転角（ピッチ角）も認識することが可能となる。
【０１０３】  なお、特定の方向は、重力方向の他、術者１３２が指定した方向、天井方向、手術顕微鏡１１２の方向等とすることもできる。
【０１０４】  回転角のみが判る場合には、術者１３２に所定のタイミングで、どの角度に特定方向があるかを指示してもらい、そこを基準にそのずれを利用して呈示を行うことができる。また、手術顕微鏡１１２と眼内内視鏡１２１の相対的な位置と姿勢が判る場合には、手術顕微鏡１１２の位置を基準にして、そこから特定方向を算出することができる。
【０１０５】  さらに手術顕微鏡１１２の顕微鏡画像から検出された術具１２２が存在する方向を呈示したり、被手術眼１５１の中心窩等の基準となる部位を特定の方向とすることもできる。この場合、図１１のＢのような３次元的な姿勢情報を使用することができる。
【０１０６】  図１２においては、特定の方向からのずれ量が表示される。図１２のＡにおいては、内視鏡画像６１１の外周端部に、０度乃至３６０度のロール角のスケールが表示されている。そして眼内内視鏡１２１の回転角に対応する角度の位置に直線７１１が表示される。術者１３２は、直線７１１が示すスケール上の角度から、眼内内視鏡１２１のロール角を認識することができる。
【０１０７】  図１２のＢにおいては、水平方向を基準とするロール角が判るように直線７１１が表示される。ただし、ロール角のスケール（角度を表す数字）は表示されていない。水平方向が基準方向なので、直感的にロール角が認識可能である。
【０１０８】  内視鏡画像６１１の左右の端部近傍には、上下方向に、網膜までの距離を表すスケール７２２が表示されている。矢印の図形７２１は、眼内内視鏡１２１の先端１２１Ｂと網膜１６５との間の距離に対応する位置に表示される。従って術者１３２は、矢印の図形７２１が指すスケール値を読み取ることで、眼内内視鏡１２１の位置（すなわち、その先端１２１Ｂから網膜１６５までの距離）を知ることができるので、網膜１６５を損傷するおそれが少なくなる。
【０１０９】  さらに内視鏡画像６１１の下方には、被手術者１３１の頭部１３１Ａを基準とした角度のスケール７３２が表示されている。矢印の図形７３１は、眼内内視鏡１２１の頭部１３１Ａの基準位置（例えば、頭部１３１Ａの頂部を通る中心線）からの角度を表す。
【０１１０】  眼球のモデル情報に眼内内視鏡１２１の位置や向きを呈示することもできる。図１３と図１４はこの場合の例を示している。眼球モデルは事前にOCT（Optical Coherence Tomography）撮影等で利用した実際の３次元画像を元に作成してもよいし、一般的な眼球モデルを利用してもよい。
【０１１１】  図１３の例では、模式的な眼球モデルの断面図により情報が表示される。すなわち図形８０１は、眼球モデルの垂直方向の断面を表しており、そこに眼内内視鏡１２１の位置と方向に対応する図形８０２が表示される。図形８１１は、眼球モデルの水平方向の断面を表しており、そこに眼内内視鏡１２１の位置と方向に対応する図形８１２が表示される。術者１３２は、これらの図形８０１，８０２から眼内内視鏡１２１の位置と方向を認識することができる。
【０１１２】  図１４は、眼球モデルに基づく姿勢情報の３次元的表示の例を示している。この例においては、３次元的な眼球モデル９０１上に、眼内内視鏡１２１の位置と方向に対応する図形９０２が表示されている。この例でも、術者１３２は眼内内視鏡１２１の位置と方向を認識することができる。
【０１１３】  以上のように、本技術によれば、内視鏡画像の向き、眼内内視鏡１２１の位置や姿勢が判る。その結果、操作性が向上し、安全な操作が可能となる。初心者でも利用し易くなり、短い時間で操作を学習することができる。そして手術時間が短縮される。
【０１１４】  特別なセンサを設ける必要がなく、眼内内視鏡１２１の挿入部１２１Ａ（ファイバー部）の歪みに強くなる。またその細径化が阻害されない。
【０１１５】  以上、本技術の実施の形態について説明したが、本技術はこれらに限定されることなく、種々の変形が可能である。
【０１１６】＜５．その他＞  本技術は、以下のような構成もとることができる。（１）  手術対象に挿入された手術用部材を手術顕微鏡により撮影した顕微鏡画像を取得する取得部と、  前記取得部により取得された前記顕微鏡画像に基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定する推定部と、  推定された前記姿勢に関する姿勢情報を出力する出力部と  を備える画像処理装置。（２）  前記手術用部材は眼内内視鏡である  前記（１）に記載の画像処理装置。（３）  前記出力部は、前記眼内内視鏡が出力する内視鏡画像に前記姿勢情報を重畳して出力する  前記（１）または（２）に記載の画像処理装置。（４）  前記姿勢は、位置、方向、または回転角の少なくとも１つを含む  前記（１）、（２）または（３）に記載の画像処理装置。（５）  前記姿勢情報は、位置、方向、または回転角をスケール上に表す図を含む  前記（１）乃至（４）のいずれかに記載の画像処理装置。（６）  前記姿勢情報は、眼球モデルの断面的または３次元的図を含む  前記（１）乃至（５）のいずれかに記載の画像処理装置。（７）  前記手術用部材にはマーカが表示され、  前記推定部は、前記取得部により取得された前記顕微鏡画像の前記マーカに基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定する  前記（１）乃至（６）のいずれかに記載の画像処理装置。（８）  前記取得部は、前記眼内内視鏡を前記手術対象としての被手術眼の外側から撮影した画像を取得し、  前記推定部は、前記眼内内視鏡の前記被手術眼に挿入されていない部分の特徴量に基づいて、前記被手術眼内における前記眼内内視鏡の相対的な姿勢を推定する  前記（１）乃至（７）のいずれかに記載の画像処理装置。（９）  前記手術用部材はマーカが表示された術具であり、  前記取得部は、前記マーカが表示された前記術具の前記顕微鏡画像と眼内内視鏡の内視鏡画像を取得し、  前記推定部は、前記マーカが表示された前記術具と前記手術顕微鏡の間の相対的な姿勢を推定するとともに、前記マーカが表示された前記術具と前記眼内内視鏡の間の相対的な姿勢を推定し、  前記術具と前記手術顕微鏡の間の相対的な姿勢と、前記術具と前記眼内内視鏡の間の相対的な姿勢から、前記手術顕微鏡と前記眼内内視鏡の間の相対的な姿勢を演算する演算部をさらに備える  前記（１）乃至（８）のいずれかに記載の画像処理装置。（１０）  手術対象に挿入された、挿入部にマーカが表示された手術用部材を手術顕微鏡により撮影した顕微鏡画像を取得するステップと、  前記取得部により取得された前記顕微鏡画像に基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定するステップと、  推定された前記姿勢に関する姿勢情報を出力するステップと  を含む画像処理方法。（１１）  手術対象を撮影する手術顕微鏡と、  前記手術対象に挿入された手術用部材を前記手術顕微鏡により撮影した顕微鏡画像を取得する取得部と、  前記取得部により取得された前記顕微鏡画像に基づいて、前記手術対象内における前記手術用部材の相対的な姿勢を推定する推定部と、  推定された前記姿勢に関する姿勢情報を出力する出力部と  を備える手術システム。（１２）  被手術者の被手術眼に挿入され、前記被手術眼の手術に用いられる手術用部材であって、  前記被手術眼に挿入される挿入部に、手術顕微鏡で観察可能なマーカが表示されている  手術用部材。
【符号の説明】
【０１１７】  １００  手術システム，  １１１  手術テーブル，  １１２  手術顕微鏡，  １１３  画像処理装置，  １１４  呈示部，  １２１  眼内内視鏡，  １２２  術具，  １３１  被手術者，  １３１Ａ  頭部
【図１】
2017169823.tif 000003
【図２】
2017169823.tif 000004
【図３】
2017169823.tif 000005
【図４】
2017169823.tif 000006
【図５】
2017169823.tif 000007
【図６】
2017169823.tif 000008
【図７】
2017169823.tif 000009
【図８】
2017169823.tif 000010
【図９】
2017169823.tif 000011
【図１０】
2017169823.tif 000012
【図１１】
2017169823.tif 000013
【図１２】
2017169823.tif 000014
【図１３】
2017169823.tif 000015
【図１４】
2017169823.tif 000016
【国際調査報告】
2017169823.tif 000017
2017169823.tif 000018
2017169823.tif 000019
2017169823.tif 000020
2017169823.tif 000021
2017169823.tif 000022