(57)【要約】  内視鏡２０及び内視鏡誘導コントローラ３０を利用する内視鏡イメージングシステム１０である。動作時、内視鏡２０は、解剖学的領域内部の解剖学的構造の内視鏡ビデオ２３を生成する。内視鏡誘導コントローラ３０は、前記内視鏡ビデオ２３と、前記解剖学的領域のボリュームイメージ４４との位置合わせに応じて、前記ボリュームイメージ４４の１つ又は複数の対話型平面スライス３２を含む、グラフィックユーザインターフェイス３１とのユーザ対話５０を制御するとともに、前記グラフィックユーザインターフェイス３１との前記ユーザ対話５０に応じて、前記内視鏡誘導コントローラ３０は、前記ボリュームイメージ４４の前記対話型平面スライス３２から導出される解剖学的構造に対する、内視鏡２０の位置決めを制御する。ロボット式内視鏡イメージングシステム１１は、ロボット２３を内視鏡イメージングシステム１０に組み入れ、それによって内視鏡誘導コントローラ３０は、解剖学的構造に対する内視鏡２０の、ロボット２３による位置決めを制御する。
2018521774.tif 000002
【特許請求の範囲】
【請求項１】
解剖学的領域内部の解剖学的構造の内視鏡ビデオを生成する内視鏡と、
前記内視鏡に動作可能に接続された、内視鏡誘導コントローラと
を含み、
前記内視鏡誘導コントローラは、前記内視鏡ビデオと、前記解剖学的領域のボリュームイメージとの位置合わせに応じて、前記ボリュームイメージの少なくとも１つの対話型平面スライスを含む、グラフィックユーザインターフェイスとのユーザ対話を制御するとともに、
前記内視鏡誘導コントローラはさらに、前記グラフィックユーザインターフェイスとの前記ユーザ対話に応じて、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の位置決めを制御する、
内視鏡イメージングシステム。
【請求項２】
前記少なくとも１つの対話型平面スライスが、
前記ボリュームイメージの対話型軸方向スライス、
前記ボリュームイメージの対話型冠状スライス、及び
前記ボリュームイメージの対話型矢状スライス
のうちの少なくとも１つを含む、請求項１に記載の内視鏡イメージングシステム。
【請求項３】
前記解剖学的構造に対する前記内視鏡の位置決めを制御するために、
前記内視鏡誘導コントローラは、前記ボリュームイメージの複数の対話型平面スライスを通じてのユーザナビゲーションに応答するとともに、
前記内視鏡誘導コントローラは、前記ボリュームイメージの前記複数の対話型平面スライスを通じての前記ユーザナビゲーションから導出される、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスのユーザ選択にさらに応答する、請求項１に記載の内視鏡イメージングシステム。
【請求項４】
前記解剖学的領域内部の前記解剖学的構造に対する前記内視鏡の位置決めを制御するために、前記内視鏡誘導コントローラは、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスの前記ユーザ選択から導出される前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に対してさらに応答する、請求項３に記載の内視鏡イメージングシステム。
【請求項５】
前記グラフィックユーザインターフェイスが、前記内視鏡ビデオの表示をさらに含み、
前記解剖学的構造に対する前記内視鏡の位置決めを制御するために、
前記内視鏡誘導コントローラは、前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に応答するとともに、
前記内視鏡誘導コントローラは、前記内視鏡ビデオ内部の前記関心点の前記ユーザ選択の表示を制御する、請求項１に記載の内視鏡イメージングシステム。
【請求項６】
前記グラフィックユーザインターフェイスは、前記ボリュームイメージから導出される前記解剖学的構造のボリュームセグメンテーションの表示をさらに含み、
前記解剖学的構造に対する前記内視鏡の位置決めを制御するために、前記内視鏡誘導コントローラは、さらに、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造の前記ボリュームセグメンテーションのクリッピングの表示を制御する、請求項１に記載の内視鏡イメージングシステム。
【請求項７】
前記解剖学的領域内部の前記解剖学的構造に対する前記内視鏡の位置決めを制御するために、前記内視鏡誘導コントローラが、前記解剖学的構造の前記ボリュームセグメンテーションの前記クリッピング内部の関心点のユーザ選択に対してさらに応答する、請求項６に記載の内視鏡イメージングシステム。
【請求項８】
前記グラフィックユーザインターフェイスが、
前記解剖学的領域内部の前記解剖学的構造の前記内視鏡ビデオと、
前記解剖学的領域の前記ボリュームイメージの拡張内視鏡ビューと
をさらに含む、請求項１に記載の内視鏡イメージングシステム。
【請求項９】
解剖学的領域内部の解剖学的構造の内視鏡ビデオを生成するための内視鏡と、
前記解剖学的領域内部で前記解剖学的構造に対して前記内視鏡を位置決めするために、前記内視鏡に動作可能に接続されたロボットと、
前記内視鏡と前記ロボットとに動作可能に接続された内視鏡誘導コントローラと
を備え、
前記内視鏡誘導コントローラは、前記内視鏡ビデオと、前記解剖学的領域のボリュームイメージとの位置合わせに応じて、前記ボリュームイメージの少なくとも１つの対話型平面スライスを含むグラフィックユーザインターフェイスとのユーザ対話を制御するとともに、
前記内視鏡誘導コントローラはさらに、前記グラフィックユーザインターフェイスとのユーザ対話に応じて、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御する、ロボット式内視鏡イメージングシステム。
【請求項１０】
前記少なくとも１つの対話型平面スライスが、
前記ボリュームイメージの対話型軸方向スライス、
前記ボリュームイメージの対話型冠状スライス、及び
前記ボリュームイメージの対話型矢状スライス
のうちの少なくとも１つを含む、請求項９に記載のロボット式内視鏡イメージングシステム。
【請求項１１】
前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御するために、前記内視鏡誘導コントローラは、前記ボリュームイメージの複数の対話型平面スライスを通じてのユーザナビゲーションに応答するとともに、前記内視鏡誘導コントローラは、前記ボリュームイメージの前記複数の対話型平面スライスを通じての前記ユーザナビゲーションから導出される、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスのユーザ選択にさらに応答する、請求項９に記載のロボット式内視鏡イメージングシステム。
【請求項１２】
前記解剖学的領域内部の前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御するために、前記内視鏡誘導コントローラは、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスの前記ユーザ選択から導出される前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に対してさらに応答する、請求項１１に記載のロボット式内視鏡イメージングシステム。
【請求項１３】
前記グラフィックユーザインターフェイスが、前記内視鏡ビデオの表示をさらに含み、
前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御するために、前記内視鏡誘導コントローラは、前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に応答するとともに、前記内視鏡誘導コントローラは、前記内視鏡ビデオ内部の前記関心点の前記ユーザ選択の表示を制御する、請求項９に記載のロボット式内視鏡イメージングシステム。
【請求項１４】
前記グラフィックユーザインターフェイスは、前記解剖学的領域の前記ボリュームイメージから導出される前記解剖学的構造のボリュームセグメンテーションをさらに含み、
前記解剖学的領域内部の前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御するために、前記内視鏡誘導コントローラは、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造の前記ボリュームセグメンテーションのクリッピングの表示をさらに制御する、請求項９に記載のロボット式内視鏡イメージングシステム。
【請求項１５】
前記解剖学的領域内部の前記解剖学的構造に対する前記内視鏡の、前記ロボットによる位置決めを制御するために、前記内視鏡誘導コントローラが、前記解剖学的構造の前記ボリュームセグメンテーションの前記クリッピング内部の関心点のユーザ選択に対してさらに応答する、請求項１４に記載のロボット式内視鏡イメージングシステム。
【請求項１６】
内視鏡が、解剖学的領域内部の解剖学的構造の内視鏡ビデオを生成するステップと、
内視鏡誘導コントローラが、前記内視鏡ビデオと、前記解剖学的領域のボリュームイメージとの位置合わせに応じて、前記ボリュームイメージの少なくとも１つの対話型平面スライスを含むグラフィックユーザインターフェイスとのユーザ対話を制御するステップと、
前記内視鏡誘導コントローラが、前記グラフィックユーザインターフェイスとのユーザ対話に応じて、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡のロボットによる位置決めを制御するステップと
を有する、ロボット式内視鏡イメージング方法。
【請求項１７】
前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御する前記ステップは、
前記内視鏡誘導コントローラが、前記解剖学的領域の前記ボリュームイメージの複数の対話型平面スライスを通じてのユーザナビゲーションに応答するステップと、
前記内視鏡誘導コントローラが、前記解剖学的領域の前記ボリュームイメージの前記複数の対話型平面スライスを通じての前記ユーザナビゲーションから導出される、前記解剖学的領域の前記ボリュームイメージの前記少なくとも１つの対話型平面スライスのユーザ選択に応答するステップと
を含む、請求項１６に記載のロボット式内視鏡イメージング方法。
【請求項１８】
前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御する前記ステップは、
前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスの前記ユーザ選択から導出される前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に応答するステップをさらに含む、請求項１７に記載のロボット式内視鏡イメージング方法。
【請求項１９】
前記グラフィックユーザインターフェイスが、前記解剖学的領域内部の前記解剖学的構造の前記内視鏡ビデオをさらに含み、
前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の前記ロボットによる前記位置決めを制御する前記ステップは、
前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に応答するステップと、
前記内視鏡誘導コントローラが、前記解剖学的領域内部の前記解剖学的構造の前記内視鏡ビデオ内部の前記関心点の表示を制御するステップと
を含む、請求項１６に記載のロボット式内視鏡イメージング方法。
【請求項２０】
前記グラフィックユーザインターフェイスが、前記解剖学的領域の前記ボリュームイメージから導出される前記解剖学的構造のボリュームセグメンテーションの表示をさらに含み、
前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の前記ロボットによる前記位置決めを制御するステップは、
前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造の前記ボリュームセグメンテーションのクリッピングの表示を制御するステップと、
前記内視鏡誘導コントローラが、前記解剖学的構造の前記ボリュームセグメンテーションの前記クリッピング内部の関心点のユーザ選択に応答するステップと
を含む、請求項１６に記載のロボット式内視鏡イメージング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般的には、対象者の解剖学的構造を含む解剖学的領域の内視鏡イメージングを使用する、低侵襲手術（ｍｉｎｉｍａｌｌｙ  ｉｎｖａｓｉｖｅ  ｐｒｏｃｅｄｕｒｅ）（例えば、心臓外科手術、腹腔鏡外科手術、自然開口部経管腔外科手術、単一切開腹腔鏡外科手術、肺／気管支鏡外科手術及び診断的介入）中の内視鏡の誘導に関する。本開示は、具体的には、解剖学的領域内部の解剖学的構造の内視鏡イメージングに位置合わせされた、解剖学的領域のボリュームイメージの対話型平面スライスとのユーザ対話に基づく、内視鏡誘導技法に関する。
【背景技術】
【０００２】
低侵襲外科手術は、小さな孔を通して患者の体内に挿入される細長い器具を使用して行われる。これらの手術中の主要な可視化方法は、内視鏡イメージングである。ロボット誘導低侵襲外科手術においては、そのような器具の１つ又は複数が、ロボットデバイス、特に内視鏡によって保持されて制御される。
【０００３】
低侵襲外科手術チームを支援するために、視認可能な内視鏡ビューと、解剖学的領域の術前３次元（３Ｄ）イメージング（例えば、ＣＴ、Ｘ線又はＭＲＩモダリティ）との間で、イメージ位置合わせが達成される。術前３Ｄイメージングとライブ内視鏡ビデオ配信との位置合わせが完了した後には、術前イメージング座標系と内視鏡イメージング座標系との間の変換が分かる。
【０００４】
位置合わせが求められると、当該技術において知られているように、解剖学的領域の術前３Ｄイメージからセグメント化された解剖学的構造の診断的に関連する特徴のオーバーレイが、解剖学的領域の内視鏡ビデオの上に重ね合わせられて、外科手術チームに対して視覚的な支援を与える。通常、この重ね合わせを行うことができるためには、カメラ較正マトリックスが分かっている必要があり、これには、誤差を生じやすく、臨床現場においては実用的ではない較正手順が必要とされる。較正から、当該技術において知られているように、外科手術チームは、内視鏡を保持するロボットシステムを、内視鏡ビデオ内部のオーバーレイされた解剖学的構造上の選ばれた場所に向かって誘導して、関連する解剖学的特徴が内視鏡ビデオの中で隠されている場合でも、チームが内視鏡を誘導することを可能にする。較正の代替として、当該技術において知られているように、ロボットの運動を、ロボットの運動のリモートセンタによる非較正視覚サーボ制御を使用して誘導してもよい。
【０００５】
較正された、又は非較正の内視鏡に対して、当該技術において知られているように、ロボットシステムを術前３Ｄイメージングから直接的に誘導してもよい。例えば、外科手術チームが解剖学的領域の術前３Ｄイメージ上の点を選択すると、術前イメージング座標系と内視鏡イメージング座標系との位置合わせを使用して、ハイライトされた点がライブ内視鏡ビデオ上の関連する点に変換される。次いで、ロボットシステムが、当該技術において知られているように、その点に向かって内視鏡を誘導する。
【０００６】
低侵襲手術中に、前述した内視鏡の既知の誘導について生じることのある、いくつかの問題がある。
【０００７】
第１に、術前３Ｄイメージからセグメント化された解剖学的構造の特徴は、解剖学的構造の所望の視点を選択するために経路誘導して配向させるのが、それ単独だけでは困難である（例えば、心臓の術前３Ｄイメージからの動脈樹セグメントは、心臓の所望の視点を選択するために、経路誘導して配向させるのが難しい）。さらに、解剖学的特徴のセグメント化が不十分であれば、解剖学的構造は、経路誘導することがさらに困難になる。
【０００８】
第２に、外科手術チームは、３Ｄボリューム自体とは反対に、術前３Ｄイメージのスライス（例えば、軸方向、冠状（ｃｏｒｏｎａｌ）、及び矢状（ｓａｇｉｔｔａｌ）のイメージスライス）を分析して経路誘導することの方により慣れていることがある。
【０００９】
第３に、セグメント化された術前イメージの通常の３Ｄ可視化によると、外科手術チームは、セグメント化された解剖学的構造の表面特徴を見ることだけが可能となり、したがって、外科手術チームが、術前３Ｄイメージ内部に示される解剖学的構造の内部特徴に基づいて、ロボットシステムを経路誘導することはできない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本開示は、外科手術チームが、対話型平面スライスを操作して、解剖学的領域（例えば、臓器）内部の関心のある解剖学的構造の内部又は外部の関心部位を見つけて、ハイライトされた関心部位に向くように内視鏡を手動式又はロボット式で誘導することができる、解剖学的領域のボリュームイメージの対話型平面スライスを表示する発明を提供する。より具体的には、本開示の発明は、ライブ内視鏡ビデオ配信において、及び／又は３Ｄボリュームデータにおいてさえ視認できない解剖学的構造の関心点をユーザが選択することを容易化して、解剖学的領域内部のその関心点に向かって手動式又はロボット式で内視鏡を経路誘導する。
【課題を解決するための手段】
【００１１】
本開示の発明の一形態は、内視鏡と内視鏡誘導コントローラとを使用する、内視鏡イメージングシステムである。構造的設計によって、内視鏡は、解剖学的領域内部の解剖学的構造の内視鏡ビデオを生成することができる。内視鏡誘導コントローラは、内視鏡ビデオと解剖学的領域のボリュームイメージとの位置合わせに応じて、ボリュームイメージの１つ又は複数の対話型平面スライスを含む、グラフィックユーザインターフェイスとのユーザ対話を制御することができる。グラフィックユーザインターフェイスとのユーザの対話に応じて、内視鏡誘導コントローラはさらに、ボリュームイメージの対話型平面スライスから導出される解剖学的構造に対する内視鏡の位置決めを制御することができる。
【００１２】
本開示の発明の第２の形態は、内視鏡イメージングシステム中にロボットを組み入れた、ロボット式内視鏡イメージングシステムである。具体的には、グラフィックユーザインターフェイスとのユーザの対話に応じて、内視鏡誘導コントローラは、ボリュームイメージの対話型平面スライスから導出される解剖学的構造に対する内視鏡の、ロボットによる位置決めを制御することができる。
【００１３】
本開示の発明の目的では、「内視鏡」という用語は、本開示の技術において理解され、本明細書において例示的に記述されるような、体内からのイメージングを行う能力を備えて構造的に構成された、任意のデバイスを広義に包含する。内視鏡の例としては、これらに限定はされないが、可撓性又は剛性の、任意の種類のスコープ（例えば、内視鏡、関節鏡、気管支鏡、胆管内視鏡、大腸内視鏡、膀胱鏡、十二指腸鏡、胃鏡、子宮鏡、腹腔鏡、喉頭鏡、神経鏡、耳鏡、プッシュ腸鏡、鼻咽頭鏡、Ｓ字結腸鏡、上顎洞内視鏡、胸腔鏡、膣鏡、胸腔鏡、Ｓ状結腸鏡、神経内視鏡等）及びイメージシステムを装備するスコープに類似する任意のデバイスを挙げることができる。イメージングは局所的であり、表面イメージは、光ファイバ、レンズ、及び微細化された（例えば、ＣＣＤ式）イメージングシステム（例えば、腹腔鏡超音波）を用いて、光学的に取得される。
【００１４】
本開示の発明の目的では、「コントローラ」の用語は、引き続き以下に記述されるように、本開示の様々な発明原理の応用を制御するための、ワークステーションに収容されるか、又は連結された、特定用途メインボード又は特定用途集積回路のすべての構造的構成を広義に包含する。コントローラの構造的構成は、これらに限定はされないが、プロセッサ、コンピュータ使用可能／コンピュータ可読記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺デバイスコントローラ、スロット及びポートを含む。
【００１５】
ワークステーションの例としては、これらに限定はされないが、１つ又は複数のコンピューティングデバイス（例えば、クライアントコンピュータ、デスクトップ、及びタブレット）、ディスプレイ／モニタ、及び１つ又は複数の入力デバイス（例えば、キーボード、ジョイスティック、及びマウス）のアセンブリが挙げられる。
【００１６】
本開示の発明の目的では、「アプリケーションモジュール」という用語は、電子回路及び／又は実行可能プログラム（例えば、実行可能ソフトウェア及び／又はファームウェア）で構成されるコントローラの構成要素を広義に包含する。
【００１７】
本開示の発明の目的では、本明細書において「コントローラ」という用語に対して使用されている「内視鏡誘導」というラベルは、「コントローラ」という用語に対していかなる追加の限定を明示又は暗示することなく、本明細書に記載され特許請求されるようなコントローラを識別する役割を果たす。
【００１８】
本開示の発明の目的では、「ロボット」という用語は、特定の内視鏡手術に対して望ましい、エンドエフェクタを操作するために１つ又は複数のジョイントの動力化制御を備えて構造的に構成された任意のロボットデバイスを広義に包含する。ロボットの例としては、これらに限定はされないが、剛性セグメントによって直列に接続されたジョイントを有する直列ロボット、並列順に装着されたジョイントと剛性セグメントを有する並列ロボット（例えば、当該技術において知られている、スチュワートプラットフォーム（Ｓｔｅｗａｒｔ  ｐｌａｔｆｏｒｍ））、又は直列キネマティクスと並列キネマティクスの任意の混成の組合せが挙げられる。
【００１９】
本開示の発明の目的では、「内視鏡ビデオ」という用語は、当該技術において知られている内視鏡によって生成される視覚イメージのストリームを広義に包含し、「ボリュームイメージ」という用語は、当該技術において知られている、任意の術前又は術中の３Ｄイメージデータ（例えば、ＣＴ、ＭＲＩ、又はＸ線）を広義に包含する。
【００２０】
本開示の発明の目的では、これらに限定はされないが、「位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）」、「表示」、「グラフィックユーザインターフェイス」、「ユーザ対話」、「ユーザナビゲーション」、「ユーザ選択」、及び「関心点」を含む技術用語は、本開示の技術において理解されるように、また本明細書において例示的に記述されるように解釈される。
【００２１】
本開示の発明の目的では、「対話型平面スライス（ｉｎｔｅｒａｃｔｉｖｅ  ｐｌａｎａｒ  ｓｌｉｃｅ）」という用語は、グラフィックユーザインターフェイスの対話型構成要素である、ボリュームイメージの平面イメージを広義に包含する。
【００２２】
本開示の発明の目的では、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」及び「導出される（ｄｅｒｉｖｅｄ）」という用語、並びにそれらの任意の単語時制は、本開示の技術において理解されるように、また本明細書において例示的に記述されるように解釈されるべきである。
【００２３】
本開示の発明の第３の形態は、内視鏡が解剖学的領域内部の解剖学的構造の内視鏡ビデオを生成するステップを含む、ロボット式内視鏡イメージング方法である。このロボット式内視鏡イメージング方法は、内視鏡誘導コントローラが、解剖学的領域の内視鏡ビデオとボリュームイメージとの位置合わせに応じて、ボリュームイメージの対話型平面スライスを含む、グラフィックユーザインターフェイスとのユーザ対話を制御するステップと、内視鏡誘導コントローラが、グラフィックユーザインターフェイスとのユーザ対話に応じて、ボリュームイメージの対話型平面スライスから導出される解剖学的構造に対する、内視鏡のロボットによる位置決めを制御するステップとをさらに含む。
【００２４】
本開示の前述の形態及びその他の形態に加えて、本開示の様々な特徴及び利点は、添付の図面と合わせて読まれる、本開示の様々な実施形態についての以下の詳細な説明から、さらに明白になるであろう。詳細な説明及び図面は、限定ではなく、本開示の単に説明であって、本開示の範囲は、添付の特許請求の範囲及びその均等物により定義される。
【図面の簡単な説明】
【００２５】
【図１】本開示の発明原理による、内視鏡イメージングシステムの例示的な実施形態を示す図である。
【図２】本開示の発明原理による、ロボット式内視鏡イメージングシステムの例示的な実施形態を示す図である。
【図３】本開示の発明原理による、図２に示されたロボット式内視鏡イメージングシステムの例示的な実施形態を使用する、低侵襲心臓手術を示す図である。
【図４】本開示の発明原理による、内視鏡イメージング方法の例示的な実施形態を表わす、フローチャートである。
【図５】本開示の発明原理による、セグメント化されたボリュームイメージを含むグラフィックユーザインターフェイスの例示的な実施形態を示す図である。
【図６Ａ】本発明の発明原理による、対話型平面スライス内部の関心点のユーザ選択の例示的な実施形態を示す図である。
【図６Ｂ】本開示の発明原理による、直交する対話型平面スライスの交差部の例示的な実施形態を示す図である。
【図７】本開示の発明原理による、内視鏡の位置決め制御の例示的な実施形態を示す図である。
【図８Ａ】本開示の発明原理による、セグメント化されたボリュームイメージのクリッピングの例示的な実施形態を示す図である。
【図８Ｂ】本開示の発明原理による、セグメント化されたボリュームイメージのクリッピングの例示的な実施形態を示す図である。
【図９Ａ】本開示の発明原理による、クリッピングされたセグメント化されたボリュームイメージを含むグラフィックユーザインターフェイスの例示的な実施形態を示す図である。
【図９Ｂ】本開示の発明原理による、クリッピングされたセグメント化されたボリュームイメージを含むグラフィックユーザインターフェイスの例示的な実施形態を示す図である。
【発明を実施するための形態】
【００２６】
本開示の理解を促進するために、図１及び図２の以下の説明は、例示的な心臓外科手術中の、内視鏡イメージングシステム１０と、ロボット式内視鏡イメージングシステム１１との基本的な発明原理をそれぞれ教示する。図１及び図２の説明から、当業者は、内視鏡、特に関節式プラットフォーム又はロボットによって保持される内視鏡を使用する、任意のタイプの低侵襲手術に対する、本開示の発明原理の応用の仕方に気付くであろう。
【００２７】
図１を参照すると、内視鏡イメージングシステム１０は、内視鏡２０、ビデオキャプチャデバイス２１、及び内視鏡誘導コントローラ３０を使用する。
【００２８】
心臓外科手術のために、内視鏡２０が、当該技術において知られているように、患者の心臓領域中への小さな孔を介して、患者の体内に挿入される。動作時、内視鏡２０は、患者の心臓領域内部の心臓の内視鏡イメージを生成するために、孔の内部に戦略的に位置決めされ、ビデオキャプチャデバイス２１は、内視鏡２０からの内視鏡イメージを、コンピュータ可読のデジタルフレーム２２の時系列の内視鏡ビデオに変換する。
【００２９】
内視鏡誘導コントローラ３０は、内視鏡ビデオ２３のデジタルフレームと、心臓領域からセグメント化された心臓のボリュームイメージ４２（例えば、セグメント化された心臓の、術前又は術中のＣＴ、ＭＲＩ、又はＸ線３Ｄイメージ）の両方を処理して、内視鏡ビデオ２３とボリュームイメージ４２を位置合わせする位置合わせルーチンを実行し、それによって、内視鏡２０のイメージング座標系とボリュームイメージングモダリティのイメージング座標系との間の変換が分かる。
【００３０】
実際には、任意のタイプの位置合わせルーチンを、内視鏡誘導コントローラ３０によって実行してもよい。一実施形態において、当該技術において知られている、冠動脈バイパス手術のために、内視鏡誘導コントローラ３０は、ボリュームイメージ４２のセグメント化された心臓から抽出された動脈樹の、内視鏡ビデオ２３内部に見られる動脈樹の枝へのマッチングを伴う、位置合わせルーチンを実行する。この実施形態のために、内視鏡誘導コントローラ３０は、当該技術において知られている、ボリュームイメージ４２のセグメント化された心臓から動脈樹を抽出するか、又は抽出された動脈樹のボリュームイメージ４４を処理してもよい。
【００３１】
イメージ位置合わせに基づいて、ボリュームイメージ４２上での関心点のユーザ選択を使用して、その関心点を、内視鏡２０のイメージング座標系内部の関連する点に変換してもよく、それによって内視鏡２０は、内視鏡ビデオ内部のそのような点をイメージングするための関連する点に向かって誘導される。このために、内視鏡誘導コントローラ３０は、ボリュームイメージ４４の１つ又は複数の対話型平面スライス３２を含む、グラフィックユーザインターフェイス３１とのユーザ対話（「ＵＩ」）５０を制御する。対話型平面スライス３２の例としては、これらに限られないが、図示されているような、対話型軸方向スライス３２ａ、対話型冠状スライス３２ｂ、及び対話型矢状スライス３２ｃが挙げられる。
【００３２】
ユーザ対話５０を促進するために、実際には、グラフィックユーザインターフェイス３０は、対話型平面スライス３２とインターフェイスするために、グラフィックアイコン、視覚インジケータ等を表示する。一実施形態において、グラフィックユーザインターフェイス３０は、セグメント化されたボリュームイメージ４２のスライスセレクタ及び／又はセグメント化されたボリュームイメージ４２のそれぞれの表示された平面ビューに対するスクリーンスライダを表示し、それによってハードウェア入力デバイス（例えば、マウス、キーボード、ジョイスティック、タッチパッド等）をユーザ操作して、当該技術において知られているように、スライスセレクタ及び／又はスクリーンスライダを操作してもよい。
【００３３】
ユーザ対話５０は、ボリュームイメージ４２の対話型平面スライス３２を通じてのユーザナビゲーションを伴い、これによって、ユーザは、ボリュームイメージ４２内部のセグメント化された心臓の特定の平面ビューを選択して、内視鏡２０の視野が、セグメント化された心臓の選択された平面ビューに対応する状態で、内視鏡２０を位置決めするために、心臓領域内部で内視鏡２０を誘導することができる。代替的に、セグメント化された心臓の特定の関心の平面ビューのユーザ選択から、ユーザはさらに、内視鏡２０の視野が、セグメント化された心臓の選択された関心点に対応する状態で、内視鏡２０を位置決めするために、選択された平面ビュー内部で特定の関心点を選択することができる。
【００３４】
ユーザ対話５０を補助するために、実際には、当該技術において知られているように、グラフィックユーザインターフェイス３１は、デジタルフレーム２２の内視鏡ビデオ２３、ボリュームイメージ４２の拡大内視鏡ビデオ２４、及び回転可能なセグメント化された心臓のボリュームイメージ４５の表示をさらに含む。一実施形態において、ボリュームイメージ４４の抽出された動脈樹のオーバーレイは、当該技術において知られているように、内視鏡ビデオ２３及び／又は内視鏡ビデオ２４上にオーバーレイされて、ボリュームイメージ４２は、当該技術において知られているように、セグメント化された心臓と抽出された動脈樹の異なる配色によって示してもよい。
【００３５】
内視鏡２０の誘導目的で、実際には、当該技術において知られているように、内視鏡誘導コントローラ３０は、内視鏡ビデオ２３の現在の平面ビューと、ボリュームイメージ４２の対話型平面スライス３２を介しての、関心の平面ビュー及び／又は関心点のユーザ選択との間の、空間的差分及び／又は角度的差分を確かめる。確認された空間的差分及び／又は確認された角度的差分から、内視鏡誘導コントローラは、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするために、内視鏡２０を位置決めするための内視鏡経路を決定する。内視鏡経路の決定のために、内視鏡誘導コントローラ３０は、当該技術において知られているように、内視鏡２０のカメラ較正マトリックスから、又は当該技術において知られているように、内視鏡ビデオ２３及び／又はボリュームイメージ４２のセグメント化された心臓上への、ボリュームイメージ４４の抽出された動脈樹のオーバーレイを伴う、内視鏡２０の非較正視覚サーボ制御から、ユーザ選択の平面ビューの中心場所及び／又はユーザ選択の関心点の場所を求める。
【００３６】
内視鏡２０の手動誘導に対して、決定された内視鏡経路は、システム１０のユーザに視覚的及び／又は聴覚的に伝達され、それによって、ユーザは、手操作により、且つ／又は関節式プラットフォーム／ロボットの操作により、患者の切開孔に対して、内視鏡２０を指定の距離及び／又は指定の角度だけ、直線的に変位、旋回及び／又は回転させて、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするために、内視鏡２０を位置決めすることができる。
【００３７】
図２を参照すると、内視鏡２０の自動ロボット誘導のために、システム１１は、内視鏡２０を制御するためのシステム１０を備えるロボット２５を組み入れ、内視鏡誘導コントローラ３０の実施形態３０ａは、当該技術において知られているように、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするために、患者の切開孔に対して、内視鏡２０を指定された距離及び／又は指定された角度だけ、直線的に変位、旋回、及び／又は回転させて、内視鏡２０を位置決めするために、ロボット作動コマンド３３をロボット２５に伝達する。
【００３８】
本開示の発明原理のさらなる理解を促進するために、図３〜図９の以下の説明は、斜視型（ｏｂｌｉｑｕｅ）内視鏡２０ａを保持する球形ロボット２５ａと、その中に設置された内視鏡誘導コントローラ３０ａを有するワークステーション１２とを使用する、ロボット式内視鏡イメージングシステム１１の一実施形態の発明原理をさらに教示する。図３〜図９の説明から、当業者は、内視鏡、特にロボットに保持された内視鏡を利用する任意のタイプの低侵襲手術に対する本開示の発明原理の応用の仕方をさらに思い付くであろう。
【００３９】
図３を参照すると、イメージングモダリティ４０（例えば、ＣＴ、ＭＲＩ、又はＸ線モダリティ）は、心臓イメージャ４１の形態のアプリケーションモジュールと、当該技術において知られている血管樹抽出器４６とを含み、ワークステーション１２は、モニタ１３、キーボード１４、コンピュータ１５、及びデータベース１６の既知のアレンジメントを含む。
【００４０】
図３及び図４を参照すると、術前段階の間、患者９０は、フローチャート６０の術前ステージＳ６２の間にイメージングモダリティ４０による患者９０の心臓領域９１をイメージングするために、手術台上に置かれる。具体的には、ステージＳ６２では、心臓イメージャ４１が心臓９２のセグメント化されたボリュームイメージ４２ａを生成し、血管樹抽出器４６が心臓９２に関連する血管樹９３の抽出ボリュームイメージ４４ａを生成する。両方のイメージ４２ａ及び４４ａとも、ワークステーション１２のデータベース１６内に記憶される。
【００４１】
術中段階では、当該技術において知られているように、斜視型内視鏡２０ａが、患者９０の心臓領域中への小さい穴を介して患者９０に挿入される。動作時、斜視型内視鏡２０ａは、患者９０の心臓９２の内視鏡ビデオの、斜視型内視鏡２０ａによる生成を開始するために、孔内部に戦略的に位置づけられており、内視鏡誘導コントローラ３０ａは、本開示のグラフィックユーザインターフェイス３１ａの発明原理に従って、心臓９２のユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするために、心臓９２に対する、斜視型内視鏡２０ａの球形ロボット２５ａによるさらなる位置決めを制御する。
【００４２】
具体的には、フローチャート６０の術中ステージＳ６４では、ワークステーション１２のモニタ１３上に表示されたグラフィックユーザインターフェイス３１ａとの、キーボード１４を介したユーザ対話が行われる。
【００４３】
図５に示されるような一実施形態においては、グラフィックユーザインターフェイス３１ａは、以下の表示を含む。
（１）ボリュームイメージ４４ａの抽出された動脈樹のオーバーレイを有する、心臓９２の内視鏡ビデオ７０（図３）、
（２）ボリュームイメージ４４ａの拡張内視鏡ビデオ７１、
（３）ボリュームイメージ４２ａからの回転可能なセグメント化された心臓のボリュームイメージ７２、及び
（４）ボリュームイメージ４２ａの対話型軸方向スライス７３ａ、対話型冠状スライス７３ｂ、及び対話型矢状スライス７３ｃ（図３）。
【００４４】
第２の実施形態において、ボリュームイメージ７２は、図８Ａに示されるような対話型平面スライスのユーザ選択によってクリッピングして、対話型平面スライスを含むクリッピングされたボリュームイメージ７２ａを、図９Ａに示されるように、グラフィックユーザインターフェイス３１ａによって表示してもよい。
【００４５】
第３の実施形態においては、ボリュームイメージ７２を、図８Ｂに示されるように対話型平面スライスのユーザ選択によってクリッピングして、対話型平面スライスを含むクリッピングされたボリュームイメージ７２ｂを、図９Ｂに示されるようにグラフィックユーザインターフェイス３１ａによって表示してもよい。
【００４６】
ユーザ対話には、当該技術において知られているように、スライスセレクタの起動を経由してのボリュームイメージ４２ａを介する対話型平面スライス７３ａ〜７３ｃの１つを通じてのユーザナビゲーションを含めてもよく、それによって、ユーザは、ボリュームイメージ４２ａ内部のセグメント化された心臓の特定の平面ビューを選択して、斜視型内視鏡２０ａの視野がセグメント化された心臓の選択された平面ビューに対応する状態で、球形ロボット２５ａを介して、斜視型内視鏡２０ａの位置決めするために、心臓領域内部で斜視型内視鏡２０ａを誘導することができる。
【００４７】
実際には、内視鏡誘導コントローラ３０ａは、関心点のユーザ選択のユーザ確認を受け取るまで、ロボット２５ａによる斜視型内視鏡２０ａのいかなる運動もなく、ユーザ誘導計画目的で、ボリュームイメージ４２ａの平面ビューのユーザ選択を表示してもよい。さらに、ユーザ誘導計画目的で、ユーザ選択の平面ビューを拡張内視鏡ビデオ７１の内部で表示し、且つ／又はボリュームイメージ４２ａのセグメント化された心臓を回転させて、ユーザ選択の平面ビューを中心に合わせてもよい。
【００４８】
ユーザ対話には、当該技術において知られているように、スライスセレクタを介したボリュームイメージ４２ａの対話型平面スライス７３ａ〜７３ｃの１つを通じてのユーザナビゲーションをさらに伴い、これによって、ユーザは、斜視型内視鏡２０ａの視野がセグメント化された心臓の選択された関心点に対応した状態で、球形ロボット２５ａを介して、斜視型内視鏡２０ａを位置決めするために、選択された平面ビュー内部で特定の関心点を選択することができる。例えば、図６Ａに示されるように、対話型平面スライス７３におけるＸの記号で示されている関心点のユーザ選択は、分析目的で内視鏡ビデオ７０内にボックスで表わされている。さらに、対応するボックスは、拡張内視鏡ビデオ７１内部に表示し、且つ／又はボリュームイメージ４２ａのセグメント化された心臓を回転させて、ユーザ選択の関心点を中心に合わせてもよい。
【００４９】
実際には、内視鏡誘導コントローラ３０ａは、関心点のユーザ選択のユーザ確認を受け取るまで、球形ロボット２５ａによる斜視型内視鏡２０ａのいかなる運動もなく、ユーザ誘導計画目的で、ボリュームイメージ４２ａの対話型平面スライス上の関心点のユーザ選択を表示してもよい。さらに、ユーザ誘導計画目的で、ユーザ選択の関心点を拡張内視鏡ビデオ７１の内部で表示し、且つ／又はボリュームイメージ４２ａのセグメント化された心臓を回転させて、ユーザ選択の関心点を中心に合わせてもよい。
【００５０】
ユーザ対話には、当該技術において知られているように、スライスセレクタを介してボリュームイメージ４２ａの１つ又は複数の対話型平面スライス７３ａ〜７３ｃを通じてのユーザナビゲーションをさらに伴い、これによって、ユーザは、斜視型内視鏡２０ａの視野がセグメント化された心臓の選択された関心点に対応する状態で、球形ロボット２５ａを介して、斜視型内視鏡２０ａを位置決めするために、対話型平面スライス７３ａ〜７３ｃの直交交差部に対応する特定の関心点を選択することができる。例えば、図６Ｂに示されるように、対話型平面スライス７３ａ〜７３ｃを通じてのユーザナビゲーションは、対話型平面スライス７３ａ〜７３ｃの直交交差部に対応する、関心点７４を選択する。
【００５１】
実際には、内視鏡誘導コントローラ３０ａは、関心点のユーザ選択のユーザ確認を受け取るまで、ロボット２５ａによる斜視型内視鏡２０ａのいかなる運動もなく、ユーザ誘導計画目的で、ボリュームイメージ４２ａの対話型平面スライス７３ａ〜７３ｃの直交交差部を表示してもよい。さらに、ユーザ誘導計画目的で、対話型平面スライス７３ａ〜７３ｃの直交交差部を拡張内視鏡ビデオ７１の内部で表示し、且つ／又はボリュームイメージ４２ａのセグメント化された心臓を回転させて、対話型平面スライス７３ａ〜７３ｃの直交交差部を中心に合わせてもよい。
【００５２】
図３及び図４に戻って参照すると、フローチャート６０の術中ステージＳ６６では、内視鏡誘導コントローラ３０ａが、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点に対応する内視鏡経路を生成する。
【００５３】
具体的には、内視鏡誘導コントローラ３０は、内視鏡ビデオ７０の現在の平面ビューと、ボリュームイメージ４２ａの対話型平面スライス７３ａ〜７３ｃを介する、関心の平面ビュー及び／又は関心点のユーザ選択との間の、空間的差分及び／又は角度的差分を確かめる。確認された空間的差分及び／又は確認された角度的差分から、内視鏡誘導コントローラは、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするための、斜視型内視鏡２０ａを位置決めするための内視鏡経路を決定する。内視鏡経路の決定のために、内視鏡誘導コントローラ３０は、当該技術において知られているように、内視鏡２０のカメラ較正マトリックスから、又は当該技術において知られているように、内視鏡ビデオ２３及び／又はボリュームイメージ４２ａのセグメント化された心臓上への、ボリュームイメージ４４ａの抽出された動脈樹のオーバーレイを伴う、内視鏡２０の非較正視覚サーボ制御から、ユーザ選択の平面ビューの中心場所、及び／又はユーザ選択の関心点の場所を求める。
【００５４】
斜視型内視鏡２０ａの自動ロボット誘導のために、内視鏡誘導コントローラ３０ａは、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点のイメージングのために、斜視型内視鏡２０ａを患者の切開孔に対して指定の角度だけ回転且つ／又は旋回させて、斜視型内視鏡２０ａを位置決めするために、当該技術において知られているように、ロボット作動コマンドを球形ロボット２５ａに伝達する。例えば、図７に示されるように、心臓領域９１中への患者９０の切開点９４の長手軸９５は、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするために、切開孔９４に対して指定の角度だけ斜視型内視鏡２０ａを旋回及び／又は回転させて、斜視型内視鏡２０ａを位置決めする基礎としての役割を果たす。
【００５５】
図３及び図４に戻って参照すると、ステージＳ６６の間の初期内視鏡経路生成の後に、内視鏡誘導コントローラ３０ａは、グラフィックユーザインターフェイス３１ａとの追加のユーザ対話のためにステージＳ６４に戻るか、又は手術の完了時に停止してもよい。
【００５６】
図１〜図９を参照すると、当業者は、それには限定はされないが、解剖学的領域内部での、特にロボット式の内視鏡誘導のためのロバストな技法を含む、本開示の多くの利点に気付くであろう。
【００５７】
さらに、本明細書において提供された教示を考慮すれば当業者は気付くように、本開示／明細書に記述された、及び／又は図１〜図９に図示された、特徴、要素、構成要素、その他は、電子構成要素／回路、ハードウェア、実行可能なソフトウェア及び実行可能なファームウェアの様々な組合せとして実現して、単一の要素又は複数の要素として組み合わせてもよい機能を提供してもよい。例えば、図１〜図９に図示／図解／記述された様々な特徴、要素、構成要素、等の機能は、専用のハードウェアの使用、並びに適当なソフトウェアと連携してソフトウェアを実行することのできるハードウェアの使用によって提供することができる。プロセッサによって提供されるときには、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又はその一部が共有化且つ／又は多重化されてもよい、複数の個別のプロセッサによって、提供することができる。さらに、「プロセッサ」という用語の明示的な使用は、ソフトウェアを実行することのできるハードウェアのみを排他的に意味するものとは考えるべきではなく、限定ではなく、デジタルシグナルプロセッサ（「ＤＳＰ」）ハードウェア、メモリ（例えば、ソフトウェアを記憶するための読出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、不揮発性記憶等）及びプロセスを実行及び／又は制御することのできる（及び／又は構成可能な）、実質的に任意の手段及び／又はマシン（ハードウェア、ソフトウェア、ファームウェア、回路、それらの組合せ等を含む）を暗示的に含めることができる。
【００５８】
さらに、本明細書において本発明の原理、観点、及び実施形態、並びにそれらの具体的な実施例を記述するすべての記載は、それらの構造的及び機能的な均等物の両方を包含することを意図するものである。さらに、そのような均等物は、現在分かっている均等物、並びに将来において開発される均等物（例えば、構造にかかわらず、同一又は実質的に類似する機能を実行することのできる、開発される任意の要素）の両方を含めることを意図している。すなわち、例えば、本明細書において与えられた教示を考慮すれば、本明細書に提示された、任意のブロック図は、本発明の原理を具現化する、実証的なシステム構成要素及び／又は回路の概観を表わすことができることが、当業者によって理解されるであろう。同様に、当業者は、本明細書において提供された教示を考慮して、任意のフローチャート、フロー図、その他は、コンピュータ可読記憶媒体において実質的に表わされ、それによって、コンピュータ又はプロセッサが明示されていても、いなくても、そのようなコンピュータ、プロセッサ又は処理能力を有するその他のデバイスによって実行することができる、様々なプロセスを表わすことができることを理解する筈である。
【００５９】
さらに、本開示の例示的実施形態は、例えば、コンピュータ又は任意の命令実行システムによる、又はそれと接続しての使用のための、プログラムコード及び／又は命令を提供する、コンピュータ使用可能及び／又はコンピュータ可読記憶媒体からアクセス可能な、コンピュータプログラムプロダクト又はアプリケーションモジュールの形態をとることができる。本開示によれば、コンピュータ使用可能又はコンピュータ可読記憶媒体は、命令実行システム、装置又はデバイスによる、又はそれと接続して使用するためのプログラムを、例えば、含む、記憶する、伝達する、伝播する又は輸送することのできる、任意の装置とすることができる。そのような例示的な媒体は、例えば、電子、磁気、光学、電磁気、赤外又は半導体システム（又は装置若しくはデバイス）或いは伝播媒体とすることができる。コンピュータ可読媒体の例としては、例えば、半導体又はソリッドステートメモリ、磁気テープ、着脱可能コンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュ（ドライブ）、リジッド磁気ディスク及び光学ディスクが挙げられる。光学ディスクの現在の例としては、コンパクトディスク−リードオンリーメモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−リード／ライト（ＣＤ−Ｒ／Ｗ）及びＤＶＤが挙げられる。さらに、今後に開発される可能性のある任意の新規のコンピュータ可読媒体も、本開示の例示的実施形態により使用されるか、又は参照される、コンピュータ可読媒体として考慮されるものと理解すべきである。
【００６０】
ボリュームイメージスライスからの、新規で進歩性のある内視鏡誘導の好ましい実施形態及び例示的実施形態について記述したが（それらの実施形態は例示を意図しており、限定的ではない）、図１〜図９を含み、本明細書において与えられた教示に照らせば、当業者によって修正及び変形を行うことが可能であることに留意されたい。したがって、本明細書に開示された実施形態の範囲内である、本開示の好ましい実施形態及び例示的実施形態において／対して、変更を行うことが可能であることを理解すべきである。
【００６１】
さらに、本開示によるデバイスにおいて使用／実施してもよいデバイスを組み入れ、且つ／又は実装している、対応且つ／又は関係するシステムも、本開示の範囲に含めることを意図するとともに、そのように考慮される。さらに、本開示によるデバイス及び／又はシステムを製造及び／又は使用する、対応且つ／又は関係する方法も、本開示の範囲に含まれるものと意図され、且つ考慮される。
【図１】
2018521774.tif 000003
【図２】
2018521774.tif 000004
【図３】
2018521774.tif 000005
【図４】
2018521774.tif 000006
【図５】
2018521774.tif 000007
【図６Ａ】
2018521774.tif 000008
【図６Ｂ】
2018521774.tif 000009
【図７】
2018521774.tif 000010
【図８Ａ】
2018521774.tif 000011
【図８Ｂ】
2018521774.tif 000012
【図９Ａ】
2018521774.tif 000013
【図９Ｂ】
2018521774.tif 000014
【国際調査報告】
2018521774.tif 000015
2018521774.tif 000016
2018521774.tif 000017
2018521774.tif 000018