(57)【特許請求の範囲】
【請求項１】
シミュレートした医療手順を実施するためのシステムであって、該システムが、以下：
（ａ）シミュレートした器官と、
（ｂ）該シミュレートした器官上で、該シミュレートした医療手順を実施するためにシミュレートした器具と、
（ｃ）該シミュレートした器官内の該シミュレートした器具の位置を決定するためのロケータと、
（ｄ）視覚フィードバックを提供するために、該シミュレートした器官内の該シミュレートした器具の位置に従って画像を表示するための視覚表示装置であって、それにより、該画像が、実際の被験体上で実施されるような実際の医療手順の間に受容される実際の視覚データをシミュレートする、視覚表示装置であり、以下：
（ｉ）対応する実際の器官に従って、該シミュレートした器官をモデリングするための数学的モデルであって、該モデルが複数のセグメントに分割され、該複数のセグメントが線形のシーケンスで配列される、数学的モデルと、
（ｉｉ）表示のための該線形のシーケンスから、該複数のセグメントの少なくとも１つを選択するためのローダーであって、該複数のセグメントの少なくとも１つが、該シミュレートした器官内の該シミュレートした器具の位置に従って、選択される、ローダーと、
（ｉｉｉ）該シミュレートした器官の位置に従って、該セグメントからシミュレートした画像を選択するためのコントローラーであって、それにより、該セグメントから選択されることで、該シミュレートした画像がより高速に表示される、コントローラーと、
（ｉｖ）該シミュレートした画像を表示するための、表示装置と、を含む視覚表示装置、を備える、システム。
【請求項２】
前記表示装置が、
（ｉ）テクスチャマッピングデータを格納するための、テクスチャマッピングデータベースと、
（ｉｉ）前記シミュレートした像を前記表示装置によって表示する実質的前に、該テクスチャマッピングデータで、該シミュレートした像をオーバーレイするためのテクスチャマッピングエンジンと、をさらに備え、前記テクスチャマッピングエンジンは、データベースと協働してテクスチャマッピングを行い、前記テクスチャマッピングは、前記シミュレートした器具の無作為の動き、および前記シミュレートした器官の無作為の動きのアニメーションである、請求項１に記載のシステム。
【請求項３】
前記ローダーが、前記セグメントを格納するために高速アクセス可能なメモリをさらに備える、請求項１に記載のシステム。
【請求項４】
前記数学的モデルが、スプライン関数に関して規定される複数の多角形を有することを特徴とし、該スプライン関数が、三次元において該数学的モデルの幾何学的形状を決定する、請求項１に記載のシステム。
【請求項５】
前記シミュレートした器具が、内視鏡ケーブルを有することを特徴とする内視鏡であり、該内視鏡ケーブルが、前記シミュレートした器官内の該内視鏡の動きからループを形成し、該ループが数学的モデルによってモデル化される、請求項４に記載のシステム。
【請求項６】
前記ループの数学的モデルが、スプライン関数に関して規定される複数の多角形を有することを特徴とする、請求項５に記載のシステム。
【請求項７】
前記ループの大きさが、前記シミュレートした器官内の前記内視鏡ケーブルの量と、前記内視鏡の入口点から該シミュレートした器官内の該内視鏡の現在位置までの、該シミュレートした器官の長さとの差に従って決定される、請求項５または６に記載のシステム。
【請求項８】
前記視覚表示装置が、以下：
（ｖ）テクスチャーマッピングデータを格納するための、テクスチャーマッピングデータベースであって、該テクスチャーマッピングデータが、視覚の人為的結果に対する修正を少なくとも含む、テクスチャーマッピングデータベースと、
（ｖｉ）前記シミュレートした画像が、前記表示装置によって表示される実質的前に、該シミュレートした画像を該テクスチャマッピングデータでオーバーレイするためのテクスチャーマッピングエンジンと、をさらに含む請求項２に記載のシステム。
【請求項９】
前記セグメントが、前記線形シーケンスの該セグメントの位置に対して、前記数学的モデル内で前記シミュレートした器具の位置に従って選択される、請求項１に記載のシステム。
【請求項１０】
前記シミュレートした器具が、少なくとも１つのフォースフィードバックおよび視覚フィードバックを提供し、それらが該ループの該数学的モデル、および該シミュレートした器官の数学的モデルに従って決定される、請求項５に記載のシステム。
【請求項１１】
前記ループの前記数学的モデル、およびシミュレートした器官についての前記数学的モデルが、それぞれスプライン関数に関して規定される複数の多角形からなり、各スプライン関数が、前記ループの該数学的モデル、および三次元におけるシミュレートした器官についての該数学的モデルを決定する、請求項１０に記載のシステム。
【請求項１２】
前記ループの前記数学的モデルが、前記シミュレートした器官内の前記内視鏡ケーブルの量と、前記シミュレートした内視鏡の入口点から該シミュレートした器官内の該内視鏡の現在位置までの、該シミュレートした器官の長さとの差を含む大きさの前記ループを含む、請求項１１に記載のシステム。
【請求項１３】
該シミュレートした器官の位置に対する該シミュレートした器具の位置に従って、シミュレートした器官との接触が生じるように決定されている場合、該数学的モデルは、シミュレートした器官への変形をモデルするようにさらに動作可能である、請求項９に記載のシステム。
【請求項１４】
前記数学的モデルは、前記変形が前記数学的モデルの変形を含むか否かを決定するための手段をさらに提供する、請求項１３に記載のシステム。
【請求項１５】
前記数学的モデルが、複数の多角形を含み、該数学的モデルが、さらに以下の動作：
（１）前記変形の領域を表す前記数学的モデルの一部に対して、複数の多角形を追加する動作と、
（２）該複数の多角形で、該変形の領域の視覚を調節する動作と、をさらに実行可能である、請求項１３に記載のシステム。
【請求項１６】
前記数学的モデルが、さらに以下の動作：
（３）前記シミュレートした器官の局所的不規則な領域を表す前記数学的モデルの一部に対して複数の多角形を追加する動作と、
（４）局所的不規則な領域の視覚表示を該複数の多角形で調節する動作と、を実行可能である、請求項１５に記載のシステム。
【請求項１７】
システムが、シミュレートした器具によって実施される医療手順をシミュレートするための、フォースフィードバックを提供するための装置をさらに含み、該装置が、以下：
（ｉ）該シミュレートした器具が接触するための、および該シミュレートした器具上にフォースフィードバックを提供するための少なくとも１つの膨張可能なリングと、
（ｉｉ）該少なくとも１つの膨張可能なリングの膨張および収縮を交互に実施するために、該少なくとも１つの膨張可能なリングに接続されている、少なくとも１つのチューブと、
（ｉｉｉ）該シミュレートした器具上でフォースフィードバックの量を制御するために、該少なくとも１つの膨張可能なリングへ空気をポンプで送り込み、そして空気をそこから吸引することを交互に実施するための該少なくとも１つのチューブに接続されているポンプと、を備える、請求項１に記載のシステム。
【請求項１８】
テクスチャマッピングが、前記実際の被験体上で医療手順を実施することから得られる画像を含む、請求項１に記載のシステム。
【請求項１９】
前記画像が、視覚化データを前記医療の間に最初に記録することによって得、該記録された視覚化データから画像を選択する、請求項１８に記載のシステム。
【請求項２０】
前記数学的モデルが、スプライン関数によって構築された複数の多角形を特徴とし、該スプライン関数が、三次元における該数学的モデルのジオメトリを決定する、請求項１または２に記載のシステム。
【請求項２１】
シミュレートした器官の変形に対応する前記数学的モデルの変形が、前記スプライン関数を変形することによって決定される、請求項２０に記載のシステム。
【請求項２２】
前記シミュレートした器官の前記変形が、局所的な変形であり、該シミュレートした器官の局所的な変形が、多角形を前記数学的モデルの一部に追加することにより、前記数学的モデルに従って決定され、それにより、該数学的モデルの一部が変形されて該局所的変形を生成する、請求項２１に記載のシステム。
【請求項２３】
前記数学的モデルが、前記シミュレートした器官を直線としてモデリングし、該数学的モデルが対応する実際の器官と適合するまで前記スプライン関数を変形することにより、該スプライン関数から構築される、請求項２０に記載のシステム。
【請求項２４】
前記コントローラーが、前記シミュレートした器官内のシミュレートした器具の少なくとも一つ予備の動きに従って、シミュレートした像を選択する、請求項２３に記載のシステム。
【請求項２５】
前記表示装置が、グラフィカルユーザインターフェイスをさらに表示する、請求項１に記載のシステム。
【請求項２６】
前記グラフィカルユーザインターフェイスが、医療手順を実施する際に助けとなるチュートリアル情報を表示する、請求項２５に記載のシステム。
【請求項２７】
前記シミュレートした器官が、胃腸道である、請求項１に記載のシステム。
【請求項２８】
前記胃腸道が、半可撓性のある、滑らかな材料から構成される、請求項２７に記載のシステム。
【請求項２９】
前記シミュレートした器具が内視鏡であり、該内視鏡が、前記胃腸の部分でセンサの位置を決定するためのセンサを特徴付けるシステムであって、該システムが、以下：
（ｅ）該センサの位置に従って前記視覚フィードバックを決定するためのコンピュータ、を更に備える請求項２７に記載のシステム。
【請求項３０】
触覚フィードバック機構を更に備え、前記内視鏡の先端位置に従ってシミュレートした触覚フィードバックを提供する、請求項２９に記載のシステム。
【請求項３１】
前記触覚フィードバック機構が、胃腸道に含まれ、該胃腸道が、
（ｉ）複数のサーボモータと、
（ｉｉ）該複数のサーボモータの各々によって作動されるピストンであって、該ピストンが半可撓性材料と接触している、ピストンと、
（ｉｉｉ）該複数のサーボモータを制御するための制御装置と、を備え、それにより、該ピストンの位置が該制御装置の位置によって決定され、該ピストンの位置が該触覚フィードバックを提供する、請求項３０に記載のシステム。
【請求項３２】
前記触覚フィードバック機構が、前記内視鏡に配置され、該内視鏡が、
（ｉ）該内視鏡の先端に接続されているガイドスリーブと、
（ｉｉ）該ガイドスリーブに取り付けられ、胃腸道の内面に沿って回転するようになっている、少なくとも１つのボールベアリングと、
（ｉｉｉ）該ガイドスリーブに取り付けられている、少なくとも１つのライナーモータと、
（ｉｖ）該ライナーモータによって作動されるピストンであって、該ピストンが、該胃腸道の内面と接触している、ピストンと、
（ｖ）該ライナーモータを制御するためのコントローラーであって、それにより該ピストンの位置が該コントローラーによって決定され、該ピストンの位置が該触覚フィードバックを提供する、コントローラーと、
をさらに備える、請求項３０に記載のシステム。
【請求項３３】
前記触覚フィードバック機構が、
（ｉ）前記内視鏡の周囲の複数のリングであって、各リングが異なる半径を有し、少なくとも第１のリングが該内視鏡の半径よりも大きな半径を特徴とし、少なくとも第２のリングが該内視鏡の半径よりも小さな半径を特徴とし、該複数のリングのそれぞれの半径が、該複数のリングの各々の空気による増大の程度に従って制御され、該リングの半径が該内視鏡の動きを決定する、複数のリングと、
（ｉｉ）空気を該複数のリングの中に送り込むための、エアポンプと、
（ｉｉｉ）該エアポンプを該複数のリングに接続するための、少なくとも１つのチューブと、
（ｉｖ）該複数のリングの空気による増大の程度を、該エアポンプを制御することによって決定するためのエアポンプコントローラーと、
を特徴とする、請求項３０に記載のシステム。
【請求項３４】
前記少なくとも１つのチューブが、２つのチューブ、すなわち、前記複数のリングに空気を送り込むための第１のチューブ、および該複数のリングから空気を吸引するための第２のチューブであり、前記エアポンプが、空気を該複数のリングの中に送り込み、該複数のリングから空気を吸引し、それにより、該複数のリングの空気による増大の程度が、空気を該複数のリングの中に送り込むことと、空気を該複数のリングの中から吸引することを交互に実施することにより決定される、請求項３３に記載のシステム。
【請求項３５】
前記胃腸道が、実質的に直線のチューブであり、それにより前記触覚フィードバックおよび前記視覚フィードバックが、該胃腸道の幾何学的形状から実質的に独立している、請求項３０に記載のシステム。
【請求項３６】
前記触覚フィードバック機構が、実際の被験体上で医療手順を実施する間に得られた触覚フィードバックに従って作動し、該触覚フィードバックが、バーチャルリアリティグローブによって得られる、請求項３０に記載のシステム。
【請求項３７】
前記内視鏡が、該内視鏡を保持するためのハンドル、およびツールユニットの機能を有し、該ツールユニットが、
（ｉ）シミュレートした鉗子と、
（ｉｉ）該シミュレートした鉗子を受容するためのチャネルであって、該チャネルが該ハンドルに位置している、チャネルと、
（ｉｉｉ）該シミュレートした鉗子の動きを検出するためのツール制御ユニットと、を備え、該ツール制御ユニットが該チャネルに配置され、そして、前記コンピュータと連結され、それにより、該コンピュータが、該シミュレートした鉗子の動きによって前記視覚フィードバックおよび触覚フィードバックを決定する、請求項２９に記載のシステム。
【請求項３８】
前記ツール制御ユニットが、胃腸道内の前記シミュレートした鉗子の位置を検出し、視覚フィードバックを提供する、請求項３７に記載のシステム。
【請求項３９】
前記ツール制御ユニットが、前記シミュレートした鉗子の回転を更に検出し、視覚フィードバックを提供する、請求項３８に記載のシステム。
【請求項４０】
前記視覚フィードバックが、ポリープ切除を実施するための、前記シミュレートした鉗子のシミュレートしたループの表示を含む、請求項３９に記載のシステム。
【請求項４１】
前記ツール制御ユニットが、
（１）光を生成する光源であって、該光源が前記チャネルに位置する、光源と、
（２）前記シミュレートした鉗子の動きに従って、光の遮断および透過を交互に実施するための、光ホイールと、
（３）該光を検出するための光検出器とをさらに含み、それにより前記コンピュータが、該光検出器に従って、該シミュレートした鉗子の動きを決定する、請求項３７に記載のシステム。
【請求項４２】
前記実際の医療手順の実施から得られた前記画像が、ビデオデータ、ＭＲＩ（磁気共鳴画像処理法）データ、およびＣＡＴ（コンピューター連動断層撮影）走査データを含むグループから選択される、請求項１８に記載のシステム。
【請求項４３】
シミュレートした医療手順を実施するための方法でコード化された、コンピュータが読み取り可能な媒体であって、該シミュレートした医療手順が、シミュレートした器官上のシミュレートした器具を使って実施され、該方法の工程がデータプロセッサによって実施され、該方法が、以下：
（ａ）該シミュレートした器官をシミュレートするための数学的モデルを構築する工程であって、該数学的モデルが、線形シーケンスで配列されている複数のセグメントを有することを特徴とする、工程と、
（ｂ）該シミュレートした器官内での該シミュレートした器具の位置を決定する工程と、
（ｃ）該シミュレートした器具の位置に従って、該数学的モデルのセグメントを選択する工程と、
（ｄ）該シミュレートした器具の位置に従って、該セグメントからシミュレートした画像を選択する工程と、
（ｅ）該シミュレートした画像を表示する工程と、を包含する方法。
【発明の詳細な説明】
【０００１】
（発明の分野および背景）
本発明は、医療において学生を教育および訓練するためのシステムおよび方法に関し、そして特に内視鏡検査の手順において学生を訓練するためのシステムおよび方法に関する。
【０００２】
内視鏡検査、特に可撓性胃内視鏡検査は、最小な侵襲性の医療である。可撓性内視鏡検査は、胃腸道（ｇａｓｔｒｏ−ｉｎｔｅｓｔｉｎａｌ  ｔｒａｃｔ）における外科的および診断上の手順の両方のために重要な医療ツールである。基本的に、胃内視鏡検査は、被験体の口または直腸のいずれかを介して内視鏡（可撓性チューブである）を胃腸道へ挿入することによって、実施される。このチューブは、専門的制御によって訓練された内科医によって、操作される。被験体へ挿入されるチューブの末端には、カメラおよび１個以上の外科的ツール（例えば、胃腸道から組織サンプルを除去するためのクリッパー）を含む。内科医は、カメラから受信されそしてビデオスクリーンに表示された胃腸道の画像に従って、チューブを操作しなければならない。胃腸道からの直接的な視覚フィードバックの欠如は、習得するには複雑で困難な手順を内視鏡に与える１つの因子である。このようなフィードバックの欠如はまた、視覚と手の協調関係および内視鏡装置の正確な操作の困難を増大する。従って、可撓性胃内視鏡は、実施および学習の両方に困難な手順である。
【０００３】
現在、学生は、医学教育のための従来のモデルに従って、可撓性の胃内視鏡検査を実施することを教育され、医学教育において、学生はより経験を積んだ内科医を観察しそして補助する。不幸にも、このような観察のみは、このように複雑な医療のための必要な訓練を提供し得ない。学生はまた、動物およびヒトの死体で手順を実施し得るが、どちらも生きたヒト患者の視覚および触覚を再現しない。従って、従来の医学訓練は、現代の技術的に複雑な医療に適切でない。
【０００４】
このような手順のためのより現実的な医学訓練を提供しようとして、シミュレーション装置が開発され、これは、ヒト患者を危くすることなく、改善した医学訓練を提供するために、これらの手順のための触覚および／または視覚フィードバックを再現することを試みる。このようなシミュレーション装置の例は、米国特許第５，４０３，１９１号に開示され、ここで、開示された装置は、シミュレートしたヒト器官を含むボックスである。種々の外科的腹腔鏡手順は、シミュレートした器官で実施され得る。視覚フィードバックは、鏡のシステムによって提供される。しかし、視覚的および触覚フィードバックの両方のシステムは、この装置において原始的であり、そしてヒト患者におけるこのような外科的手術に伴う視覚および触覚の真の表現を提供しない。さらに、このボックス自体は、ヒト患者の三次元構造の現実的な表現でない。従って、開示された装置は、多くの重要な局面において欠けており、そして医学的シミュレーション装置の必要を満たしていない。
【０００５】
医学的シミュレーション装置からのより現実的な体験を提供する試みが、ＰＣＴ特許出願番号ＷＯ９６／１６３８９およびＷＯ９５／０２２３３に開示される。これらの出願の両方は、腹腔鏡検査の外科的手順のシミュレーションを提供するための装置を開示する。両方の装置は、ヒトの胴の形をしたマネキンを含み、これは外科的機器が配置される種々のポイントを有する。しかし、これらの装置は、シミュレートした外科的機器の位置が予め決定されていることで制限され、これは現実的なシナリオでない。さらに、視覚フィードバックは、実際の外科的手順から撮られたビデオ画像の流れに基づいている。しかし、このようなビデオ画像の簡単なレンダリングは、ビデオデータの一部分をより速い処理速度のために除去する必要があるので、不正確または非現実的な画像となる。あるいは、ビデオの処理は、全システムが学生の行動に対して現実的時間内に応答し損ねるような、大量の計算時間およびリソースを消費する。非常に最小限にで、専用のグラフィックワークステーションが、パーソナルコンピュータ（ＰＣ）よりも要求される。従って、参考文献は、シミュレートした医療手順のリアルタイムの視覚フィードバックのための、適切な視覚的処理を教示または開示のいずれもしない。
【０００６】
同様に、米国特許第４，９０７，９７３号は、可撓性の胃内視鏡の医療をシミュレートするための装置を開示する。開示された装置はまた、上述の先行技術装置の欠陥に苦しみ、ここで、視覚フィードバックシステムは、実際の内視鏡の手順から撮られたビデオデータのレンダリングに基づく。前述のように、このようなデータを表示することは、大量の計算的リソースを要求するか、または現実的な視覚フィードバック応答のためには多すぎる時間を単に要求するかのいずれかである。従って、開示された装置はまた、先行技術の欠陥に苦しむ。
【０００７】
最小的に侵襲性の治療的手順（例えば内視鏡）のための本当に有用でかつ効率的な医学シミュレーション装置は、この手順のリアルタイムで、正確でかつ現実的な視覚フィードバックを与え、そしてまた現実的触覚フィードバックを提供し、このため視覚的および触覚的システムは、実際の医療のためとしてのシミュレーションに対して、正確に連結される。不幸にも、このようなシミュレーション装置は、現在、先行技術によって教示または提供もされていない。
【０００８】
従って、内視鏡のような最小的に侵襲性の医療をシミュレートする方法およびシステムについての必要が存在し、そしてこれを有することは有用である。内視鏡のような最小的に侵襲性の医療をシミュレートする方法およびシステムは、正確で関連した視覚的および触覚フィードバックを学生に提供し、そしてこの手順のすべての局面について訓練手段として役立つ。
【０００９】
（発明の要旨）
本発明は、内視鏡検査の、特に可撓性の胃内視鏡検査の、最小的に侵襲性の医療手順をシミュレートするための方法およびシステムを含む。このシステムは、シミュレートした医学機器ならびに触覚的および視覚フィードバックの両方を提供することによって、内視鏡検査の実際の医療を出来るだけ綿密にシミュレートするように設計され、なぜならばシミュレートした手順はシミュレートした患者において実施されるからである。
【００１０】
本発明に従って、シミュレートした医療手順を実施するための、以下（ａ）〜（ｄ）を備えるシステムが提供される：（ａ）シミュレートした器官；（ｂ）シミュレートした機器であって、シミュレートした器官でシミュレートした医療手順を実施するためのシミュレートした機器；（ｃ）ロケーター（ｌｏｃａｔｏｒ）であって、シミュレートした器官内でシミュレートした機器の配置を決定するためのロケーター；および（ｄ）視覚的表示装置であって、視覚フィードバックを提供するために、シミュレートした器官内のシミュレートした機器の配置に従って画像を表示するための視覚的表示装置であり、このためこれらの画像は、実際の被験体で実施されるような実際の医療の間受信された実際の視覚的データをシミュレートし、この視覚的表示装置は以下（ｉ）〜（ｉｖ）を備える：（ｉ）数学的モデルであって、対応する実際の器官に従ったシミュレートした器官をモデル化するための数学的モデルであり、このモデルは複数のセグメントに分割される；（ｉｉ）ローダーであって、表示のために複数のセグメントの少なくとも１つを選択するためのローダーであり、この複数のセグメントの少なくとも１つはシミュレートした器官内のシミュレートした機器の配置に従って選択される；（ｉｉｉ）コントローラーであって、シミュレートした機器の配置に従ってセグメントからシミュレートした画像を選択するためのコントローラー；ならびに（ｉｖ）ディスプレイヤーであって、シミュレートした画像を表示するためのディスプレイヤー。
【００１１】
好ましくは、視覚的表示装置はさらに以下（ｖ）〜（ｖｉ）を備える：（ｖ）テクスチャーマッピングデータを貯蔵するための、テクスチャーマッピングデータベース；および（ｖｉ）テクスチャーマッピングエンジンであって、シミュレートした画像がディスプレイヤーによって表示される前にシミュレートした画像をテクスチャーマッピングデータと実質的にオーバーレイするための、テクスチャーマッピングエンジン。より好ましくは、テクスチャーマッピングは、シミュレートした機器の無作為の動きおよびシミュレートした器官の無作為の動きのアニメーションである。
【００１２】
また好ましくは、テクスチャーマッピングは、実際の被験体での実際の医療を実施することから得た画像を含む。
【００１３】
より好ましくは、これらの画像は、第一に実施の間に視覚的データを記録し、そして次いで記録された視覚的データからの画像を選択することによって、得られる。
【００１４】
本発明の好ましい実施態様に従って、数学的モデルは、スプライン関数に従って構成された複数の多角形を特徴とし、このスプライン関数は、三次元における数学的モデルのジオメトリーを決定する。好ましくは、シミュレートした器官の変形に対応する数学的モデルの変形は、スプライン関数を変化させることによって決定される。より好ましくは、シミュレートした器官の変形は、局所的な変形であり、このシミュレートした器官の局所的な変化は、多角形を数学的モデルの一部へ加えることによって、数学的モデルに従って決定され、従って、この数学的モデルの一部は、変形されて、局所的な変形を生じる。最も好ましくは、数学的モデルは、直線としてシミュレートした器官をモデル化し、そして対応する実際の器官に数学的モデルが一致するまでスプライン関数を変化することによって、スプライン関数から構成される。また最も好ましくは、コントローラーは、シミュレートした器官内のシミュレートした機器の少なくとも１つの予備の動きに従って、シミュレートした画像を選択する。
【００１５】
本発明の他の好ましい実施態様に従って、ディスプレイヤーはさらにグラフィカルユーザーインターフェースを表示する。好ましくは、グラフィカルユーザーインターフェースは、医療の実施における援助のための指導の情報を表示する。
【００１６】
本発明のさらに他の好ましい実施態様に従って、シミュレートした器官は、胃腸道である。好ましくは、この胃腸道は、半可撓性の滑らかな材料で構成される。また好ましくは、シミュレートした器官は、内視鏡であり、この内視鏡は、この胃腸道内のセンサーの位置を決定するためのセンサーを特徴とし、このシステムはさらに以下を備える：（ｅ）前記センサーの位置に従った視覚フィードバックを決定するためのコンピューター。
【００１７】
好ましくは、このシステムはまた、内視鏡の先端の位置に従ったシミュレートした触覚フィードバックを提供するための触覚フィードバック機構を特徴とする。
【００１８】
触覚フィードバックの１つの実施態様に従って、触覚フィードバック機構は、この胃腸道内に含まれ、そして胃腸道はさらに以下を備える：（ｉ）複数のサーボモーター；（ｉｉ）複数のサーボモーターのそれぞれによって作動されるピストンであって、このピストンは前記半可撓性材料と接触する；および（ｉｉｉ）複数のサーボモーターを制御するためのコントローラーであって、ピストンの位置はコントローラーによって決定され、そしてピストンの位置は触覚フィードバックを提供する。
【００１９】
あるいは、触覚フィードバック機構は、内視鏡内に配置され、そしてこの内視鏡はさらに以下を備える：（ｉ）内視鏡の先端に接続されたガイドスリーブ；（ｉｉ）胃腸道の内表面に沿って巻くための、ガイドスリーブに取り付けられた少なくとも１個のボールベアリング；（ｉｉｉ）ガイドスリーブに取り付けられた少なくとも１個の直線モーター；（ｉｖ）直線モーターによって制御されるピストンであって、このピストンは胃腸道の内表面に接触する；および（ｖ）直線モーターを制御するためのコントローラーであって、ピストンの位置はコントローラーによって決定され、そしてピストンの位置は触覚フィードバックを提供する。
【００２０】
あるいはまた、触覚フィードバックは以下を特徴とする：（ｉ）複数の内視鏡を取り囲むリングであって、各リングは、異なる半径を有し、少なくとも１つの第１リングは内視鏡の半径より大きい半径を特徴とし、そして少なくとも１つの第２リングは内視鏡の半径よりも小さい半径を特徴とし、複数のリングのそれぞれの半径は、複数のリングのそれぞれの空気の膨張の程度に従って制御され、これらのリングの半径は内視鏡の動きを決定する；（ｉｉ）複数のリングへの空気をポンピングするための、空気ポンプ；（ＩＩＩ）複数のリングへ空気ポンプを接続するための、少なくとも１個のチューブ；（ｉｖ）空気ポンプを制御することによって複数のリングの空気の膨張の程度を決定するための、空気ポンプコントローラー。
【００２１】
好ましくは、前記少なくとも１個のチューブは、２個のチューブであり、これらは、複数のリングへ空気をポンピングするための第１チューブ、および複数のリングからの空気を吸引するための第２チューブであり、そして空気ポンプは複数のリングへ空気をポンピングし、かつ複数のリングから空気を吸引し、従って複数のリングの空気の膨張の程度は、交互に、複数のリングへ空気をポンピングすること、および複数のリングから空気を吸引することによって、決定される。
【００２２】
好ましくは、また、胃腸道は、実質的に直線的チューブであり、従って触覚フィードバックおよび視覚フィードバックは、実質的に胃腸道の幾何学的な形状と無関係である。好ましくは、触覚フィードバック機構は、実際の被験体での医療の実施の間得られた触覚フィードバックに従って制御され、触覚フィードバックはバーチャルリアリティグローブを介して得られる。
【００２３】
本発明のシステムの他の好ましい実施態様に従って、内視鏡は、内視鏡およびツールユニットを保持するためのハンドルをさらに特徴とし、ツールユニットは以下を備える：（ｉ）シミュレートしたツール；（ｉｉ）実際のツール（例えば、鉗子または係蹄）のシミュレートしたマスターを受容するためのチャンネルであって、このチャンネルは、ハンドル内に配置される；（ｉｉｉ）シミュレートしたツールの動きを検出するめのツールコントロールユニットであって、このツールコントロールユニットは、チャンネル内に配置され、そしてツールコントロールユニットはコンピューターと組み合わされ、従ってコンピューターは、シミュレートしたツールの動きに従った視覚フィードバックおよび触覚フィードバックを決定する。
【００２４】
好ましくは、ツールコントロールユニットは、視覚フィードバックを提供するために、胃腸道内のシミュレートしたツールの位置を検出する。
【００２５】
より好ましくは、ツールユニットコントロールは、さらに、視覚フィードバックを提供するために、巻きのシミュレートしたツールを検出する。
【００２６】
ツールコントロールユニットの１つの実施態様に従って、ツールコントロールユニットはさらに以下を備える：（１）光を生成するための光源であって、チャンネル内に配置される、光源；（２）シミュレートしたツールの動きに従って、交互に光を遮断するおよび遮断を止めるための、光ホイール；ならびに（３）光を検出するための光検出器であって、従ってコンピューターは、光検出器に従ってシミュレートしたツールの動きを決定する。
【００２７】
本発明の別の実施態様に従って、シミュレートした内視鏡検査手順を実施するための方法が提供され、これは以下の工程（ａ）〜（ｄ）を包含する：（ａ）シミュレートした内視鏡検査手順のためのシステムを提供する工程であって、これは以下（ｉ）〜（ｉｖ）を含む：（ｉ）シミュレートした胃腸道；（ｉｉ）シミュレートした胃腸道でのシミュレートした内視鏡検査手順を実施するための、シミュレートした内視鏡；（ｉｉｉ）シミュレートした胃腸道内のシミュレートした内視鏡の位置を決定するための、ロケーター；および（ｉｖ）シミュレートした胃腸道内のシミュレートした内視鏡に従った画像を表示するための視覚的表示装置であって、従ってこれらの画像が実際の被験体で実施されるような実際の医療の間受信された視覚的データをシミュレートし、視覚的表示装置は以下（１）〜（４）を含む：（１）シミュレートした胃腸道の三次元の数学的モデルであって、このモデルは複数のセグメントに分割される；（２）表示のための複数のセグメントの少なくとも１つを選択するためのロケーターであって、複数のセグメントの少なくとも１つが、シミュレートした胃腸道内のシミュレートした内視鏡の位置に従って選択される；（３）シミュレートした機器に従ったセグメントからシミュレートした画像を選択するための、コントローラー；および（４）コントローラーに従ったシミュレートした画像を表示するための、ディスプレイヤーであって、従ってシミュレートした画像は表示された画像である；（ｂ）シミュレートした内視鏡をシミュレートした胃腸道へ挿入する工程；（ｃ）表示された画像に従った視覚フィードバックを受容する工程；ならびに（ｄ）胃腸道内の内視鏡の位置に従った触覚フィードバックを受容する工程。
【００２８】
好ましくは、表示された画像は、シミュレートした胃腸道内のシミュレートした内視鏡の少なくとも１つの予備の動きに従って、決定される。
【００２９】
本発明のなお別の実施態様に従って、実際の医療機器を用いて実際のヒトで実施される医療の、シミュレートした視覚的データを表示するための方法が提供され、この方法は以下の工程（ａ）〜（ｉ）を包含する：（ａ）生きているヒト患者での実際の医療の実施から得られる実際のデータを記録する工程；（ｂ）実際のデータから多数の各々の画像を抽出する工程；（ｃ）多数の個々の画像をデジタル化して複数のデジタル画像を形成する工程；（ｄ）複数のデジタル画像の少なくとも１つを選択して選択デジタル画像を形成する工程；（ｅ）選択デジタル画像をテクスチャーマッピングデータとしてテクスチャーマッピングデータベースに保存する工程；（ｆ）実際のヒトの器官の数学的モデルを提供する工程であって、このモデルが複数のセグメントに分割される工程；（ｇ）表示のためにモデルから複数のセグメントの１つを選択する工程；（ｈ）テクスチャーマッピングデータベースからのテクスチャーマッピングデータをモデルのセグメントへオーバーレイし、少なくとも１つの合成画像を形成する工程；（ｉ）合成画像を表示する工程。
【００３０】
好ましくは、実際の医療の実施からの実際のデータは、ビデオデータ、ＭＲＩ（磁気共鳴画像法）データおよびＣＡＴ（コンピュータ連動断層撮影）（ｃｏｍｐｕｔｅｒ  ａｓｓｉｓｔｅｄ  ｔｏｍｏｇｒａｐｈｙ）からなる群から選択される。
【００３１】
より好ましくは、工程（ｆ）はさらに以下（ｉ）〜（ｉｉｉ）の工程を包含する：（ｉ）実際のヒトの器官をスプライン関数に従った複数の多角形としてモデル化する工程；（ｉｉ）スプライン関数を三次元座標に従った実際のヒトの器官へマッピングする工程；（ｉｉｉ）スプライン関数が実際のデータに一致するようにスプライン関数を変化させる工程。
【００３２】
最も好ましくは、テクスチャーマッピングは、アニメーションをさらに含む。また最も好ましくは、アニメーションは、実際の医療機器の無作為の動きおよび実際のヒトの器官の無作為の動きを含む。
【００３３】
本発明のさらに別の実施態様に従って、実際の医療の実施のために要求される特定の技術を学生に教示するための方法を提供し、実際の医療は、実際の医療機器を用いて視覚フィードバックを有する実際の器官において実施され、この方法は以下の工程（ａ）〜（ｅ）を包含する：（ａ）実際の医療機器をシミュレートするためのシミュレートした機器を提要する工程；（ｂ）実際の器官をシミュレートするためのシミュレートした器官を提供する工程；（ｃ）実際の医療の視覚フィードバックの一部を抽出する工程；（ｄ）視覚フィードバックをシミュレートするために視覚フィードバックの一部を提供する工程；および（ｅ）視覚フィードバックの一部に従って学生によってシミュレートした器官内のシミュレートした機器を操作する工程であって、従ってシミュレートした機器の動作が学生に教示された技術である、工程。
【００３４】
好ましくは、視覚フィードバックの一部は、実際の医療の視覚フィードバックよりも少ない視覚的詳細を実質的に含む。
【００３５】
より好ましくは、シミュレートした器官は、胃腸道のシミュレートであって、そしてシミュレートした機器は、内視鏡のシミュレートである。
【００３６】
最も好ましくは、視覚フィードバックの一部は、胃腸道の内部の幾何学的形状のみを含む。
【００３７】
シミュレートした器官のモデルを調製するため、およびシミュレートした医療手順の間、シミュレートした器官の視覚フィードバックをレンダリングするための、本発明の方法は、データプロセッサーによって実施される複数の指示として記載され得る。そういうものとして、これらの指示は、ハードウェア、ソフトウェアまたはファームウェア、あるいはそれらの組み合わせで、実行され得る。ソフトウェアとして、本発明の方法の工程は、実質的に任意の適切なプログラミング言語で実行され得、プログラミング言語は当業者によって容易に選択され、ＣおよびＣ＋＋などが挙げられるが、これらに限定されない。
【００３８】
本明細書中以下で、用語「シミュレートした医療手順」とは、本発明のシステムおよび方法によって実施されるような、医療のシミュレートのことを言う。本明細書中以下で、用語「実際の医療」とは、実際の内視鏡を用いて実際の生きているヒト患者での医療の実施のことを言い、従って医療は、「シミュレート」よりむしろ「本物」である。本明細書中以下で、用語「対応する実際の器官」とは、本発明のシミュレートした器官によってシミュレートされた、ヒトまたは他の哺乳動物の「本物の」器官のことを言う。
【００３９】
本明細書中以下で、用語「内視鏡検査」とは、前述したように、可撓性胃内視鏡検査の手順、ならびに医学的診断上のおよび外科的な手順のことを言うが、これらに限定されず、ここで内視鏡は、被験体の胃腸道内での操作のために、被験体の口または直腸へ挿入される。本明細書中以下で、用語「被験体」とは、本発明の方法およびシステムが実施または操作される、ヒトまたは低級な哺乳動物のことを言う。本明細書中以下で、用語「学生」とは、本発明のシステムを使用する任意のヒトのことを言い、本発明に従って訓練されるか、または本発明に従って教示され、医学校または医大に通う学生、医師、訓練された胃腸病学者（ｇａｓｔｒｏ−ｅｎｔｅｒｒｏｌｏｇｉｓｔ）あるいは他の医学の専門家を含むが、これらに限定されない。
【００４０】
（発明の簡単な説明）
本発明は、内視鏡検査（特にフレキシブルな胃−内視鏡検査）の医療手順をシミュレートするための方法およびシステムを包含する。本システムは、シミュレートされる手順はシミュレートされる患者において実施されるので、シミュレートされる医療機器、ならびに触覚および視覚のフィードバックの両方を提供することによってできるだけ厳密な実際の医療手順をシミュレートするように設計される。議論は内視鏡検査の医療手順に向けられるが、本発明はまた、他のタイプの最小限侵入の医療手順をシミュレートするために使用され得る。
【００４１】
本発明のシステムは、内視鏡検査の医療手順のシミュレートのための物理的モデルおよびバーチャルモデルの両方の特徴を有する。物理的モデルはマネキンを含み、これにはシミュレートされる内視鏡が挿入される。シミュレートされる器官は、このマネキン内に配置される。例えば、シミュレートされる器官が胃腸道である場合、この器官は必要に応じて、フレキシブルな胃−内視鏡検査の手順をシミュレートするための、シミュレートされる直腸およびシミュレートされる大腸を含む。必要に応じて、および好ましくは、このシミュレートされる器官は、必要に応じて、シミュレートされる口および上部胃腸道を含む。このシミュレートされる内視鏡は、シミュレートされる胃腸道中に挿入される。シミュレートされる胃腸道は、シミュレートされる器官内でのシミュレートされる内視鏡の動作に応じて現実的な触感のフィードバックを提供するための、触感フィードバックシステムを含む。
【００４２】
バーチャルモデルは、内視鏡からの画像のシミュレーションのための「バーチャルリアリティ」を提供する。実際の内視鏡の医療手順において、実際の内視鏡の先端にあるカメラは、ヒト患者の胃腸道からの画像をリターンする。次いで、これらの画像は、内視鏡検査手順を実施する医者によって監視され、それによって、医者へのバーチャルフィードバックを提供する。本発明のシステムは、この視覚フィードバックの現実的なシミュレーションのための「バーチャルリアリティ」を提供する。このバーチャルリアリティは、シミュレートされる内視鏡の操作に従って、ビデオモニタで、好ましくは触覚および視覚フィードバックが（それらがヒト患者においてであろうように）リンクされるような様式で、胃腸道の現実的な画像のリアルタイムでの表示を可能にする。
【００４３】
バーチャルリアリティは、以下の２つの主な要素を有する：胃腸道の三次元数学モデルまたはその部分、および実際の内視鏡検査手順から得られる実際の視覚データから誘導される改良されたデジタル化画像のデータベース。これらの２つの要素は組み合わせられ、シミュレートされる器官の数学モデルをオーバーレイするためにテクスチャーマッピングとして改良された画像を用いることにより現実的な視覚フィードバックを提供し、これにより、実際の手順から得られる画像を厳密にシミュレートする。
【００４４】
胃腸道のバーチャルリアリティのフィードバックは、視覚フィードバックのリアルタイムの多量の計算出力を必要とするビデオストリーム（ｖｉｄｅｏ  ｓｔｒｅａｍ）に頼らないので、画像をシミュレートするために特に利点がある。さらに、ビデオストリームは、画像の予め決定されたフローのみを提供し、そしてリアルタイムの６つの自由度を有する視覚データを提供し得ない。さらに、本発明のバーチャルリアリティは、ヒト患者からの実際の胃腸道の不規則かつ細い視覚特徴を捕獲し得ない胃腸道の数学モデルに単に頼らない。従って、胃腸道のバーチャルリアリティフィードバックは、視覚フィードバックのためのリアルタイムでの現実的な画像の最良のシミュレーションを提供する。
【００４５】
（好ましい実施態様の詳細な説明）
本発明は、内視鏡検査（特にフレキシブルな胃−内視鏡検査）の医療手順をシミュレートするための方法およびシステムに関する。本発明のシステムは、マネキンを含み、これにはシミュレートされる内視鏡が挿入される。視覚フィードバックは、ビデオモニタによって提供され、このビデオモニタはシミュレートされる内視鏡の操作に従って、リアルタイムでの現実的な画像を表示する。現実的な触覚フィードバックはまた、好ましくは触覚および視覚フィードバックが（それらがヒト患者においてであろうように）リンクされるような様式で、提供される。好ましくは、本発明はまた、学生をトレイニングし、そして彼らの成績を試験するための指導システムとして特徴付けられる。従って、本発明のシステムおよび方法は、学生をトレイニングし試験するための内視鏡検査の医療手順の現実的なシミュレーションを提供する。
【００４６】
医療シミュレーションのための（特に内視鏡検査の医療手順のシミュレーションのための）本発明の方法およびシステムの原理ならびに操作（好ましくは、学生の、教官または監督医療職員への技能の指導結果および測定をコミュニケートすることを含む）は、図面および付随の説明を参照してよりよく理解され得る。これらの図面は例示の目的のみのために与えられ、限定することが意図されないことが理解される。さらに、以下の記載は大腸のシミュレーションに関するが、これは明瞭さの目的のためのみにより、そして任意の方法で限定されることは意味されないことに留意すべきである。
【００４７】
ここで図面を参照して、図１は、本発明に従う医療シミュレーションのための代表的な例示的システムを示す。システム１０は、手順が実施される被験体を示すマネキン１２、シミュレーションされる内視鏡１４、およびビデオモニタ１８を備えたコンピュータ１６を含む。学生２０は、マネキン１２内でシミュレートされる内視鏡１４を操作することによって、システム１０と相互作用させて示される。以下の図５Ａおよび５Ｂにおいてさらに例示されるように、マネキン１２は、シミュレートされる内視鏡１４が挿入される、シミュレートされる器官を含む。学生２０は、シミュレートされる内視鏡１４を操作し、触覚および視覚フィードバックは、シミュレートされる器官（示されず）内の内視鏡１４の位置に従って決定される。視覚フィードバックは、ビデオモニタ１８の表示の形態で提供される。必要なデータ計算は、コンピュータ１６によって行われ、その結果、現実的な触覚および視覚フィードバックが学生２０に提供される。
【００４８】
図２は、モニタ１８に示されるスクリーン表示の代表的例示である。スクリーン表示２２は、フィードバック画像２４を含む。フィードバック画像２４は、内視鏡が横たわるヒト患者に挿入される場合に見られるような視覚画像を示す。フィードバック画像２４は、横たわるヒト患者の胃腸道の位置から受容される視覚データの正確かつ現実的なシミュレーションである。フィードバック画像２４は、静止画像として示されるが、これは例示目的のみによるものであり、そして実際の視覚フィードバックデータは実際の内視鏡検査手順から得られる実際のビデオストリームデータに基づく実質的な連続フローの形態であることが理解される。従って、シードバック画像２４によって示される画像フローは、学生（示されず）に現実的な視覚フィードバックを提供する。
【００４９】
さらに、好ましくは、スクリーン表示２２は、本発明の好ましい触覚機能に関連する多数のＧＵＩ（グラフィックユーザーインターフェイス）を含む。例えば、トラッキング表示２６は、シミュレートされる胃腸道内のシミュレートされる内視鏡の位置を明確に示す。トラッキング表示２６は、概略内視鏡３０が挿入される、概略の胃腸道２６を含む。好ましくは、トラッキング表示２６は、可能または不可能であり、その結果、学生は、トラッキング機能が可能であれば、トラッキング表示２６を見ることのみができる。
【００５０】
さらに、スクリーン表示２２の必要に応じてだが好ましい特徴は、「ヘルプ」ボタン３２の設備を含み、この「ヘルプ」ボタン３２を作動させると、内視鏡の制御に対するガイドとしてこのような役立つ情報を表示し得る。同様に、好ましい「ヒント」ボタン３４は、医療手順の実施をどのように続けるかについての１つ以上の提案を学生に提供する。好ましい「患者の病歴」ボタン３６は、スクリーン表示２に、シミュレートされる「患者の病歴」の選択の１つに関連する情報を示し、これは、さらなる作動を決定する際に学生を助け得る。最後に、好ましい「成績」ボタン３８は、スクリーン表示２２に、学生の成績のレビューおよび評価を表示する。このような機能のすべては、図４にさらに詳細に記載されるように、内視鏡の医療手順において学生をトレーニングするための指導システムの好ましい実施態様の一部である。
【００５１】
図３Ａおよび３Ｂは、本発明に従う例示的な視覚的処理およびディスプレイシステムならびに方法のブロック図である。図３Ａは、本発明に従う視覚的処理方法およびディスプレイのフローチャートであり、そして図３Ｂのシステムにより使用される方法の要旨として意図される。この方法の特定の局面に関するさらなる詳細は、以下の図３Ｂに関して記載される。
【００５２】
本発明の方法およびシステムは、医療シミュレーションの分野における多数の問題、特に、胃内視鏡検査の手順のシミュレーションに対する解決方法を提供する。この手順は、胃腸道、例えば、結腸の内側の部分の視覚的ディスプレイに関する。結腸は、湾曲した構造を有する可撓体である。結腸の内表面は、全体的に変形可能であり、同時に特異的に、局所変形可能である。空間におけるこれらの変形の全ては、結腸の数学的モデルに従って算出され、次いで、使用者に、現実的な視覚フィードバック応答を提供するためにリアルタイムで視覚的にされねばならない。
【００５３】
図３Ａは、モデルの準備について、および視覚フィードバックを得るための本発明の方法の好ましい実施態様を示し、これは結腸のコンピューター化モデルの用意を必要とする工程、ならびに結腸のディスプレイを必要とする工程を含む。
【００５４】
本発明の方法の工程Ｉにおいて、実際のビデオデータは、生存ヒト患者での内視鏡検査の実際の医療手順を行う間、ビデオテープに記録される。さらにまた、このようなデータには、生存ヒト患者で行なわれる手順からのＭＲＩ（磁気共鳴画像法）およびＣＡＴ（コンピューター連動断層撮影）スキャンデータが挙げられる。
【００５５】
工程２において、個々の画像は、例えば、フレームグラッバーデバイスでアブストラクトされ、次いで、デジタル化される。工程３において、デジタル化された画像は、好ましくは、明確さおよび視覚アーティファクトの欠如のために選択され、次いで、テクスチャーマッピングデータベース（ｔｅｘｔｕｒｅ  ｍａｐｐｉｎｇ  ｄａｔａｂａｓｅ）に保存される。より好ましくは、このデジタル化された画像は保存される前に改良される。最も好ましくは、このテクスチャーマッピングはまた、アニメーションを含む。このようなアニメーションは、例えば、結腸組織または内視鏡のランダムな振動の影響、および、例えば、重力の影響に起因する下方への液体の流動のような事象をシミュレートし得る。
【００５６】
工程４において、ヒト結腸の３次元数学的モデルが構築される。結腸の３次元数学的モデルは（これは特に本発明に好ましい）、スプライン関数のような多角的モデルである。この数学的機能は、結腸を一連の曲線として提示し、例えば、結腸の３次元構造におけるポイントはスプライン関数に対してマップされるようにする。例えば、結腸は直線としてモデル化され、これはこのモデルがデータと適合するまでスプライン関数をモデルに対して変更することにより変形される。あるいは、このスプライン関数は結腸の内部に配置され、そして結腸をマップし得る。好ましくは、複数のスプライン関数が使用されて、例えば、胃および小腸の連結部のモデルを作る。
【００５７】
このマッピングは、ｘ、ｙおよびｚ軸に沿って、３次元座標に従って行なわれ得る。あるいは、このマッピングは、結腸内での、時間、角度および半径の座標に従って行なわれ得る。これらの２つの異なるタイプの座標の混合もまた必要に応じて使用され、ここで座標は、例えば、時間、ｘおよびｙである。スプライン関数自体およびスプライン関数からの結腸に対するマッピングの両方は、結腸の新規かつ異なる視覚的表現を提供するために、例えば、学生が勉強するために、複数の理論的「テストケース」を提供するために、必要に応じて変更され得る。この変更は、必要に応じて、例えば、ＭＲＩ（磁気共鳴画像法）データに従って行なわれる。さらに、必要に応じて、そして好ましくは、ＭＲＩおよび／またはＣＡＴスキャン手順からのデータは、シミュレートした結腸の形状をより正確に決定するために、数学的モデルに従ってクリーンされ、そして再アセンブリされる。実質的に全てのこれらの手順はこのようなデータに従って自動的に行われるか、あるいは、これらの手順は、部分的にかまたは完全に手動で行なわれ得る。従って、本発明の好ましい数学的モデルによって、このデータが結腸モデルに対して迅速に視覚的に反映されることを可能にする。
【００５８】
本発明の特に好ましい実施態様に従って、内視鏡ケーブルの「ループ」は、それ自体モデル化される。このようなループは、「リアル」かまたはシミュレートかのいずれでも、内視鏡手順を行う人物が、不注意にも、内視鏡自体を曲げることによって結腸内で方向を変更する場合に生じる。このようなループは、患者にとって非常に危険であり、それゆえ、それによってループの発生が引き起こされるように手順が不正確に行なわれたことの指標として学生に警告するために、シミュレーションの一部として検出されるべきである。
【００５９】
好ましくは、このループは本発明に従うスプライン関数で構築され、そして力のフィードバックを用いて調和される。結腸に供給したケーブルの長さは、直腸（内視鏡の進入点）から内視鏡の現在の位置（ｃｕｒｒｅｎｔ  ｐｏｓｉｔｉｏｎ）の結腸の長さとして決定されねばならない。次いで、ループのサイズはこれら２つの長さの差異から算出され、そしてこのループはスプライン関数に従ってモデル化される。
【００６０】
本発明に従って結腸を視覚化する方法は、以下に記載するような多数の工程を包含し、これらの工程は、データ処理装置によって操作されるソフトウェア命令として実施される。好ましくは、この方法は、結腸を複数の部分に分ける工程（図３Ａの工程５に示す）を包含する。シミュレートされる内視鏡の空間的な動きは制限されるので、この分割は直線的に行なわれる。言いかえると、シミュレートされる内視鏡は結腸のある部分から他の部分へは「ジャンプ」し得ないが、代わりに、シミュレートされる結腸に沿った直線様式で進められねばならない。さらに、シミュレートされる内視鏡は、シミュレートされる結腸を通る限定されたスピードで動かされ得るのみである。従って、内視鏡は結腸の３次元モデルの各セグメントを、順番に、公知の制限されたスピードで通過しなければならない。
【００６１】
このような分割の結果は、ただ１つのセグメントは任意の所定の時間で処理される必要があるが、複数のこのようなセグメントは計算資源が可能ならば、実質的に同時に処理され得る。さらに、この分割は、視覚的処理を、より良好に処理し易い仕事へと変える。なぜならば、好ましい実施態様において、このモデルは、必要に応じて、数千の多角形を備え得るが、各セグメントはかなり少ない多角形を有するからである。
【００６２】
さらに、好ましくは、カメラの視野方向にあり、それゆえすぐに視覚化されるかまたはそのうち視覚的になるかのいずれかであるこれらの部分のみが、表現のために必要とされる計算を減少するための視覚的表現のために選択される。特定の条件下では視野方向にある部分の数は変化し得るので、より好ましくは、表現される部分の数は、予め決定されない。例えば、カメラが結腸の屈曲部のまわりを移動する場合、カメラの視野方向は非常に短く、その結果として比較的少ない部分、すなわち、他のより小さいこのような部分が表現されねばならない。
【００６３】
次に、工程６において、カメラによってスキャンされる結腸の領域の視覚的属性が決定される。好ましくは、これらの視覚的属性は、内視鏡の先端（これはカメラを保持する）の位置およびカメラ自体が指示される方向を含む多数の因子によって決定される。他の重要な因子には、モデル化される結腸の形状および結腸を通るカメラの動きの履歴が挙げられる。後者の因子に関して、結腸を通るカメラのそれまでの動きは、学生の作用によって決定されるように、所定の時間でカメラによって視覚化される結腸の領域に有意な影響を与える。例えば、学生が不正確に内視鏡を操作したことにより「ループ」の形成が生じた場合、前述のように、この「ループ」は、視覚フィードバックを決定するためには、動きの履歴を含めることを介してのみ、正確にシュミレートされ得る。
【００６４】
工程７において、好ましくは、これらの部分の少なくとも１つに対する局所的な変形が分析され、このような変形がスプライン関数自体に影響を与えるかどうかを決定する。次いで、このマップ座標は迅速に時間、角度および半径からｘ、ｙおよびｚへと変換される。次に、工程８において、好ましくは、結腸組織の局所的な変形は、このような変形の程度を決定するために半径の補間を介して決定される。時間、角度および半径は、この算出を実施するための充分な情報を与えないので、必要に応じてかつ好ましくは、結腸の容量は所定の数学的モデルに従って変更される。
【００６５】
非常に局所的なスケールでの変形、例えば、装置からの低い力の程度での内視鏡装置の先端と結腸との間の接触点については、好ましくは、この領域での詳細さのレベルは、ひずみを伴わずに即時領域で全てまたは実質的な点を引き伸ばし得るために、モデルを用いて行なわれる計算に対してより多くの多角形を追加することにより増加する。この引き伸ばしは、好ましくは、予め決定された機能（これは好ましくは、スプライン関数モデルを局所的に変化させる）に従って行なわれる。
【００６６】
大腸の「引き延ばし」モデリングのための好ましい方法はまた、ポリープのような不規則な局所的領域をモデリングするために使用され得る。ポリープは、逐一大腸モデル上でマッピングされ得、それによって組織の視覚的な表示を調整し、ポリープ自体およびポリープの基部における組織の構造的な変化の両方を収容する。
【００６７】
次に、工程９において、上記の種々のタイプのデータは、実際、大腸上に視覚的なデータを与えるために使用される。まず、このようなデータのモデル上へのマッピングは、必要に応じて、および、好ましくは、幾らかの調整を含み、これは、ソフトウェアのプログラマーによって手動で実施される。あるいは、このようなマッピングは、全て自動的に実施され得る。
【００６８】
工程１０において、データベースからのテクスチャーマッピングは、モデルの塊片上にオーバーレイされる。好ましくは、このようなテクスチャーマッピングは、デジタル化された画像および追加のアニメーションの両方を備える。工程１１において、得られた画像が表示される。上述のように、これらの画像は、連続フローで表示され、この連続フローは、シミュレーションされた胃腸道内のシミュレーションされた内視鏡の位置に対応する。また、上述のように、座標のこのようなマッピングは、好ましくは、大腸の数学的モデル、好ましくは、スプライン関数に従って実施される。
【００６９】
図３Ｂは、本発明に従う視覚的処理および表示システムをより詳細に示す。視覚的処理および表示システム４０は、処理済視覚的データを表示するためのスクリーン表示２２を備える。この視覚的データは以下のように作成される。記録ブロック４２に示されるように、第１データは、実際の胃内視鏡の手順からビデオテープに記録される。ブロック４４に示されるように、このデータは、実際の胃内視鏡の手順の間に、スクリーン上で表示される視覚的画像の最高品質の表示を得るためにＳｕｐｅｒ−ＶＨＳビデオテープに格納することが好ましい。次に、ビデオテープのフレームの少なくとも一部分、好ましくは実質的にフレーム全部は、フレーム−グラッバー４６によって個別に抄録され、デジタル画像を形成する。次いで、個別にデジタル化された画像は、清澄性およびアーティファクト（例えば、内視鏡装置自体からの鏡映）の欠如に関して選択され得る。次いで、選択されたフレームにおける画像は、好ましくは、改良されそしてテクスチャーマッピングデータベース４８に追加される。
【００７０】
好ましくは、２つのタイプの組織マッピングが、このデータベース中に記録される。第１のタイプの組織マッピングの目的は、例えば、視覚アーティファクトを除去することによって、画像の現実的な視覚的局面を改良することである。ブロック５０によって表されるように、第２のタイプの組織マッピングの目的は、生きた組織および本物の内視鏡の挙動のシミュレーションである。生きたヒト患者での実際の内視鏡手順の間に、大腸の組織は幾分運動し、そして内視鏡自体が振動し、ゆらぐ。この運動を、画像のランダムな動きを加えること、また、例えば、重力の影響により、下方向に流れる液体の効果を加えることによって、視覚的にシミュレートする。このようなアニメーションは、大腸の視覚手に表現の現実的な特徴を改良させる。
【００７１】
この改良した画像を正確に表示するために、これらの画像は、シミュレートされた大腸内で、シミュレートされた内視鏡の操作および位置に対応しなければならない。特に、画像のテクスチャーマッピングは、この大腸内の内視鏡の位置に対応すべきである。大腸内の内視鏡の位置と組織マッピングの間のこのような対応は、組織マッピングエンジン５２によって提供される。次いで、ブロック５４によって示されるように、組織マッピングデータは、視覚的システム４０の表示部分によって、容易にアクセスされる。
【００７２】
しかし、上記の先行技術デバイスについて述べたように、大量のビデオストリーム（ｍａｓｓｉｖｅ  ｖｉｄｅｏ  ｓｔｒｅａｍ）において、選択改良フレームの簡単な再現は、計算資源（ｃｏｍｐｕｔａｔｉｏｎａｌ  ｒｅｓｏｕｒｃｅ）をすぐに凌駕し、そして、視覚的表示をシミュレートされた内視鏡の物理的な位置と同調しないようにさせる。さらに、このようなビデオストリームは内視鏡の運動（これは、好ましくは６自由度を有する）に従う画像の正確な表示が不可能となり得る。従って、３次元表面上にマッピングされる場合であっても、単なる再現は、現実的な画像を保証するのに十分ではない。
【００７３】
好ましくは、視覚的処理および表示システム４０は、少なくとも１部分の胃腸道５６（より好ましくは、図３Ａに記載されるように作成された）の３次元的な数学モデルを備える。議論を目的として、本明細書中において、モデル５６は大腸の３次元モデルとして記載され、これは、いずれにおいても制限しないという意味が理解される。モデル５６は、複数のセグメント５８、より好ましくは、多くのこのようなセグメント５８を特徴とする。
【００７４】
シミュレートされた内視鏡がシミュレートされた大腸に沿って移動するとき、この内視鏡の位置はロケーター６０に与えられ、これは以下でさらに詳細に記載される。ロケーター６０は、視覚的システム４０によってアクセスするため、オブジェクトローダー６２を命令し、関連セグメント５８をロードする（ブロック５４に示され、上記のとおりである）。示した好ましい実施態様において、好ましくは、３つのセグメント５８は、任意の所定の時間において、目的ローダー６２によるアクセスに対して準備する。内視鏡が現在位置する特定のセグメント５８は、上記のテクスチャーマッピングと組み合わせて、ＤＲＡＭまたはＲＡＭ中に好ましくは、保持される。また、次のセグメント５８および先行するセグメント５８も、好ましくは、容易にアクセス可能な位置に存在するが、必ずしもＲＡＭまたはＤＲＡＭの中ではない。
【００７５】
好ましくは、シミュレートされた内視鏡が入り込む特定セグメント５８からの各画像の表示はセグメント最適化プログラム６４によって最適化される。セグメント最適化プログラムは、ロケーター６０からの情報、ならびに、関連セグメント５８上の組織マッピングをオーバーレイすることで得られる一連の画像を受容し、次いで、スクリーン表示２２に表示するため、各特定の画像を表示マネジャー６６へ送る。
【００７６】
さらに、表示マネジャ６６は、リアルタイムビュアー６８によってアシストされ、好ましくは、Ｄｉｒｅｃｔ  ３ＤTM（Ｍｉｃｒｏｓｏｆｔ  Ｉｎｃ．，Ｓｅａｔｔｌｅ，Ｗａｓｈｉｎｇｔｏｎ）で実施される。スクリーン表示２２上の画像の実際の表示のため、リアルタイムビュアー６８は、グラフィックカード７０と連絡する必要なフトウェアサポートを備える。グラフィックカード７０は任意の適切な製品であり得るが、最適な性能のためには、好ましくは、グラフィックカード７０は少なくとも８Ｍｂ、より好ましくは少なくとも１６ＭｂのＶＲＡＭを有する。適切なグラフィックカード７０の例は、３ＤｆｘＶｏｏｄｏｏ  ＲｕｓｈTMカードである。好ましくは、リアルタイムビュアー６８の性能は、数学最適化プログラム７２によって改良され、好ましくはＶｉｓｕａｌ  Ｃ＋＋で実行される。
【００７７】
一方のセグメント最適化プログラム６４および表示マネジャ６６と他方のロケーター６０との間の相互作用は、ソフトウェアインターフェイス７４を介して提供される。この大腸内で内視鏡の位置に関する情報を提供するため、ソフトウェアインターフェイス７４は、ロケーター６０を視覚的システム４０の他の要素との通信を可能にする。
【００７８】
本発明の好ましい実施態様において、ロケーター６０は、センサー７６を含み、これは、例えば、Ａｓｃｅｎｓｉｏｎ  Ｔｅｈｃｈｎｏｌｏｇｙ  Ｃｏｒｐ．，から入手可能である。センサー７６は、シミュレートされた器官７７内の位置情報を感知し、これは、本明細書中では、議論目的およびのための大腸として記載され、限定する意図はない。センサー７６はコントロールユニット８２によって制御される。次いで、この位置情報はＣＰＵコントローラー７８にリレーされ、これはサーボ−モーター８０（Ｈａｙｄｏｎ  Ｓｗｉｔｃｈ  ａｎｄ  Ｉｎｓｔｒｕｍｅｎｔ  Ｃｏ．）に接続される。シミュレートされた内視鏡は、大腸を通って移動し、この内視鏡は、大腸の異なる部分と接触する（示さず；以下の図５および６を参照のこと）。触覚フィードバックは各サーボ−モーター８０によって順番に提供され、これが大腸の材料を操作する。
【００７９】
視覚的システム４０はまた、ユーザーインターフェイス８４を備え、好ましくはＶｉｓｕａｌＣ＋＋で実施される。ユーザーインターフェイス８４は、図２に関して前述したＧＵＩフィーチャを備える。さらに、ユーザーインターフェイス８４によって、視覚化システム４０がネットワークインターフェイス８６の好ましいフィーチャと相互作用することを可能とする。その結果、例えば、他の学生は、ネットワーク上でスクリーン表示２２を見ることが可能である。ユーザーインターフェイス８４はまた、少なくとも１つ、好ましくは複数のチュートリアルモジュール８８のチュートリアル機能を活性化させることが可能となる。チュートリアルモジュール８８は、特定のシナリオ（例えば、大腸ガンを有する被験体）を備え、その結果、異なるタイプの診断的および医療的課題が学生に与えられ得る。次いで、学生は与えられたシナリオに正確に応答しなければならない。
【００８０】
チュートリアルシステムの例は、図４のブロック図により詳細に図示される。チュートリアルシステム９０はブロック９２に示されるように開始する。次に、ユーザーは、ブロック９４に示されるように、シミュレートされた内視鏡との実際の相互作用を所望するのか、あるいは、ユーザーは内視鏡の理論の指導を受けるのかどうかを選択しなければならない。次の表示は、ブロック９６に示されるように、ユーザーが新規であるかどうかを尋ねる。ブロック１００に示されるように、答えが「はい」の場合、ユーザーは、ブロック９８によって示されるように、特定の情報を入力することが要求される。答えが「いいえ」である場合、ユーザーは識別情報（例えば、ユーザー名、または識別番号）を入力することが要求される。
【００８１】
次に、ユーザーは、指導のタイプを選択しなければならない。例えば、ユーザーは、被験体１０２による指導、課題１０４による指導、またはケーススタディー１０６による指導を選択することができる。課題１０２による指導は、例えば、内視鏡の基本操作、生体組織検査およびポリープ切除といった課題を含むが、これらに限定されない。被験体１０２による指導は、ブロック１０８に示されるような画面上支援（ｏｎ−ｓｃｒｅｅｎ  ｓｕｐｐｏｒｔ）を含む。
【００８２】
ケーススタディ１０６によるチュートリングは、ケース数および所望のケースのレベル（例えば、初心者、中級者、上級者）両方に従って選択され得る。好ましくは、個々のケーススタディは、種々の記憶されたケースを組み合わせることによって、教師または教授によって作製され得る。例えば、教授は、大腸炎の２０歳の男性に適切な病歴を作製し得、その結果、生徒は、このような患者の内視鏡検査を練習し得る。従って、好ましくは、チュートリングシステム９０は、多くの異なるタイプの「患者」が研究され得るように柔軟性を有する。
【００８３】
所望ならば、ブロック１１０に示されたように、ケーススタディ１０６によるチュートリングおよび手順１０４によるチュートリングの両方に、オン−スクリーンサポートが提供され得る。オン−スクリーンサポートが所望されない場合、ブロック１１２に示されたように、使用者は、このチュートリングセッションが実際に公認試験であるかどうか示し得る。従って、チュートリングシステム９０は、教える能力および生徒を試験する能力の両方を備える。
【００８４】
本発明の好ましい実施態様に従って、チュートリングシステムはまた、視覚フィードバックに従う内視鏡検査の適切な操作を教示するため、ならびに生徒が視覚フィードバックと触覚フィードバックとの一致を理解し得るための、シミュレートした内視鏡検査プロセスの単純化されたバージョンを包含する。この単純化されたバージョンは、１つ以上の特定の作業（例えば、結腸に通した内視鏡の操作）の性能および制御を強調する。
【００８５】
実際に、この好ましい実施態様は、実際の医療処置の実施に必要な特定の技能を、生徒に教えるための方法として一般化され得る。この方法は、実際の医療処置の視覚フィードバックの一部を抽出化する工程を包含し、このフィードバックは、医療処置を実施している間に得られる視覚フィードバック全体より少数の目に見える細部を含む。視覚フィードバックのこの部分によって、生徒が、必要とされる技能として器具の動きを学ぶことが可能になる。
【００８６】
例えば、この単純化された改造は必要に応じて、結腸の多くのまたはほとんど全ての目に見える細部を視覚フィードバックとして特徴付ける。代わりに、結腸は、好ましくは、結腸の内部空間を通るシミュレートした内視鏡の動きを関係付けるために、滑らかな、結腸の構造および寸法を有する比較的特徴のないチューブとして提供される。より好ましくは、単純化された改造は、ゲームとして具体化され、ここで、生徒は、内視鏡の正確な操作のためのポイントを得、そして、間違った操作にはペナルティーが課せられる。従って、生徒は必要に応じて、首尾良く内視鏡検査に必要な操作を、目に見える細部の動揺なしで、少ないプレッシャーおよびより「楽しい」環境下で学ぶ。
【００８７】
図５Ａおよび５Ｂは、本発明に従う例示的にシミュレートした胃腸道の機械的な局面を図示する。マネキン人形１１４の切断図は図５Ａに示される。好ましくは、マネキン人形１１４は、幅が約１メーターであり、実際のヒトの被験体の寸法内である。シミュレートした胃腸道１１６は、マネキン人形１１４の内部に示される。明確にする目的のため、シミュレートした胃腸道１１６は、結腸のみを備え、これは決して制限を意味するものではないことを理解するべきである。シミュレートした胃腸道１１６は、送信機１１８および信号処理装置１２０に連結され、これらもまた、マネキン人形１１４内に配置されている。示されたように、シミュレートした内視鏡１２２は、開口部１２４を通してマネキン人形１１４に挿入され得る。この場合、シミュレーションは被験体の結腸の内視鏡検査のためであるので、開口部１２４は、被験体の直腸をシミュレートしている。
【００８８】
シミュレートした内視鏡は、上下左右に操作され得る。好ましくは、シミュレートした内視鏡１２２は、長さが約１８００ｃｍであり、本物の内視鏡の長さと同じである。また好ましくは、シミュレートした内視鏡１２２の先端の直径は、約１３．４ｍｍであり、一方、内視鏡の残りの部分１２２は、約１０．２ｍｍの直径を有し、これもまた本物の内視鏡の直径と類似である。
【００８９】
いったんシミュレートした内視鏡１２２がシミュレートした胃腸道１１６に挿入されると、シミュレートした内視鏡１２２の先端にあるセンサー７６は、シミュレートした内視鏡１２２の位置を感知し得る。センサー７６は、内視鏡１２２の操作の効果的なシミュレーションについて、好ましくは３の自由度を有し、より好ましくは、６の自由度を有する。センサー７６が６の自由度を有する場合、感知された配向の方向は、デカルト座標Ｘ、Ｙ、Ｚ、ならびに回転、仰角および方位角を含む。さらに、センサー７６は、好ましくは、センサー発信器１２６を含み、その結果、胃腸道１１６に関連して、センサー７６の正確な角度および位置は測定され得る。センサー発信機１２６は、データを信号処理装置１２０に送信し、これは次いで、信号を分析および処理する。次いで、処理された信号は、電子ユニット１２８に伝達するために送信機１１８およびＤＣドライブユニット１３０に送られる。この信号は、ＤＣデバイスユニット１３０によって変換され、そして、電子ユニット１２８に渡される。次いで、電子ユニット１２８は、センサー７６の位置および方向をソフトウェアインターフェイス７４に送信し、その結果、残りのディスプレイシステムは、視覚フィードバックのために、ディスプレイスクリーン２２に正確な画像を表示するための情報を使用することが可能になる。
【００９０】
本発明は、視覚フィードバックおよび触覚フィードバックの両方を提供する。触覚フィードバックは、図６Ａ〜６Ｃに示されたように、シミュレートした胃腸道１１６によってシミュレートした内視鏡１２２に力を掛けることによって提供され得る。あるいは、触覚フィードバックは、図７Ａ〜７Ｄに示されたように、シミュレートした内視鏡１２２の機械的な作動によって提供され得る。第１の実施態様について、好ましくは、シミュレートした胃腸道１１６は、半可とう性材料から構成され、これは滑らかな濡れた材料の感触を与える。もちろん、半可撓性の、滑らかな、濡れた材料に沿ってスライドする実際の感触はまた、内視鏡１２２自体の機構を通して提供され、第２の実施態様も同様である。
【００９１】
胃腸道１１６のさらなる実施態様において、図５Ｂで示されたように、この管１１６はマネキン人形１１４内よりもむしろ箱１３２内に配置される。箱１３２の利点は、箱１３２が任意の電波を封じ込めるのに役立ち得、その結果、胃腸道１１６の機構は、例えば電波の伝達によって制御され得る。特定の医療器具は、これらの電波に対して感度がより高いため、これらはマネキン人形１１４内に残される必要がある。従って、箱１３２は、胃腸道１１６をマネキン人形の外側の外部環境から隔離するように働く。胃腸道１１６の細部は、図６Ａでより容易に参照され、図５Ａ、５Ｂおよび６Ａは同じ胃腸道１１６が図示されていることを理解するべきである。
【００９２】
図６Ａは、第１の実施態様に従う胃腸道１１６を示し、ここで、触覚フィードバックは、胃腸道１１６自体の内部に備えられた機構によってシミュレートした内視鏡１２２に力を加えることによって提供される。シミュレートした胃腸道１１６は、半可撓性材料から作製される。多数の運動箱１３４が、胃腸道１１６の外面に沿って間隔をあけて配置される。例示の目的のため、７個の運動箱１３４が示されている。各運動箱１３４（図６Ｂにより詳しく示される）は、少なくとも１つ、好ましくは複数のサーボモーター８０、好ましくはリニアモーターを有する。
【００９３】
各サーボモーター８０は、ピストン１３８に接続される。詳細なピストン１３６は拡大されて図６Ｂに示される。各ピストン１３６は、あし１３８に接続され、これは胃腸道１１６の外面の材料の一部を接触させる。好ましくは、あし１３８は、この材料の操作を容易にするために、外面の材料のこの部分と実際に付着されている。
【００９４】
好ましくは、２つの異なるタイプのピストン１３６が存在する。例示する目的で示されたこれらの２つのうちの第１のタイプは、胃腸道１１６の外面の一部分の垂直運動を起こすための垂直力ピストン１４０である。例示の目的で示されたピストンの第２のタイプは、胃腸道１１６の外面の一部分の水平運動を起こすための水平力ピストン１４２である。示された好ましい実施態様において、サーボモーター８０は、胃腸道１１６の材料に直接配置された振動モーターであり、その結果、水平力ピストン１４２は、垂直力ピストン１４０と類似した構造を有することなくモーターのみを含む。各ピストン１３６は、付随したサーボモーター８０を有するため、胃腸道１１６の外面の必要な垂直および水平運動は、サーボモーター８０の活動によって正確に決定され得る。
【００９５】
各ピストン１３６または好ましくは付着されたあし１３８は、この材料を操作するために、胃腸道１１６の材料を接触させ、内視鏡に力を加える（示されず）。例えば、図６Ｂに示されたように、第１垂直力ピストン１４４は、サーボモーター８０に近づくように移動され得、一方、第２垂直力ピストン１４６は、サーボモーター８０から離れるように移動される。これらの運動は、胃腸道１１６の材料の位置を変え、シミュレートした内視鏡にかけられる力を生じ、この力は実際の内視鏡検査手順の間感じられるものと類似または同一である。さらに、水平力ピストン１４２（好ましくは、これは示された振動サーボモーターのみである）は、水平方向に動き、より繊細に微調整された触覚フィードバック感触を提供する。サーボモーター８０は胃腸道１１６の３次元表面上に配置されるため、内視鏡には３次元で力がかけられ得る。
【００９６】
サーボモーター８０の動きは、ディジタルコントローラー８２によって順番に制御される。ディジタルコントローラー８２は、ＰＣコンピューターに差し込まれたカードであり得、これは、医療プロセスのシミュレーションに必要とされる必要な計算を行う。ＰＣコンピューターにより操作されるソフトウェアは、シミュレートした内視鏡１２２の位置を決定するために、シミュレートした内視鏡１２２上のセンサー７６からの位置および配向情報を使用する。次に、このソフトウェアは、所望の触知感触に従って、指令をディジタルコントローラー８２に送信し、これはシミュレートした内視鏡１２２の操作者によって、シミュレートした胃腸道１１６内の特定の位置に残されるべきである。次いで、ディジタルコントローラー８２は、少なくとも１つのサーボモーター８０が、付随のピストン１３６を、触覚フィードバック感触を提供するのに必要なほど動かすように働く。
【００９７】
ディジタルコントローラー８２は、いくつかのタイプの照射（例えば、赤外線）によってサーボモーター８０に接続され得る。しかし、病院または医療環境内のある特定の波長の照射の制限（例えば電波）は、より好ましくは、ディジタルコントローラー８２から各サーボモーター８０に至る実際のワイヤーによって接続する。図６Ｂに示された代表的な実施態様において、各サーボモーター８０は、ワイヤーによって運動箱コントローラー１４４に接続される。次いで、運動箱コントローラー１４４は、１本のワイヤーによってディジタルコントローラー８２に接続させる（示されず）。この構成は、より優れた効率のためにディジタルコントローラー８２に合わせて作られた個々の接続の数を制限する。
【００９８】
図６Ｃは、サーボモーター８０の拡大断面図を示し、これは、好ましくは上記のようにリニアモーターである。好ましくは、サーボモーター８０は、幅が約１００ｍｍであり、高さが４５ｍｍである。
【００９９】
図７Ａ〜７Ｄは、触覚フィードバックを提供するための機構の第２の実施態様を示す。この実施態様において、この機構は、シミュレートした胃腸道内よりむしろシミュレートした内視鏡内に備えられる。前の実施態様と同様に、シミュレートした胃腸道は、直腸をシミュレートするための開口部を有する実質的に等身大のマネキン人形内に備えられ得る。さらに、生徒またはシミュレートした内視鏡を操作する他の人の観点から、両方の実施態様は、適切な医療手順のシミュレーションを提供するべきである。しかし、以下に詳述されるように、シミュレーションの触覚部分を提供する実際の機構は異なる。
【０１００】
図７Ａは、シミュレートした内視鏡１４６の第２の実施態様を示す。シミュレートした内視鏡１４６の移動および動きは、コントロールのセット１４８によって制御される。このシミュレートした内視鏡１４６の先端は、ガイドスリーブ１５０内に備えられる。ガイドスリーブ１５０（図７Ｂでより詳細に示される）は、好ましくは、マネキンに挿入される前に（示されず）、シミュレートした内視鏡１４６の実際の外観を保持するために、シミュレートした胃腸道に残る（示されず、図７Ｃ参照）。好ましくは、内視鏡１４６の先端は、付着された金属ブラケット１５２を有し、これは、内視鏡１４６が単にシミュレーションであり、そして実際の医療器具ではないことを明白にするために、単語「サンプル」または他のラベルを付けられ得る。好ましくは、ガイドスリーブ１５０の内側は、例えば電流によって磁化される。従って、内視鏡１４６の先端がマネキン人形中に挿入された場合、金属ブラケット１５２は、ガイドスリーブ１５０に付着され、その結果、ガイドスリーブ１５０は内視鏡１４６の先端に付着されたままになる。
【０１０１】
ガイドスリーブ１５０は、ガイドスリーブ１５０の外面に付着された、少なくとも１つ、好ましくは複数のボールベアリング１５４を有する。さらに、ガイドスリーブ１５０は、少なくとも１つ、好ましくは複数の付着されたプランジャー１５６を有する。図７Ｂに詳細に示されたように、好ましくは、ガイドスリーブ１５０の一末端は、可撓性の材料１５８の部分を特徴付ける。示されたように、好ましくは、内視鏡１４６の先端は、ガイドスリーブ１５０を通して挿入される。内視鏡１４６の先端は、シミュレートした内視鏡の前述の実施態様のように、センサー７６を特徴付ける。
【０１０２】
図７Ｃは、第２の実施態様においてシミュレートした胃腸道１６０の挿入された後の、シミュレートした内視鏡１４６を示す。好ましくは、シミュレートした胃腸道１６０は剛性の材料から構成される。さらに、シミュレートした胃腸道１６０は、好ましくは、以下の２つの理由のため、実際の胃腸道の生体的な解剖形状および特徴を有する。第１に、生体的な解剖形状は、その曲がりおよび回転によって、より容易にマネキン人形内に備えられ得る。第２に、生体的な解剖形状は、大きな触覚フィードバックを提供し得る。例えば、任意の内視鏡が結腸により深く挿入される場合、結腸の形状は、内視鏡が結腸内の曲げの周りを動いた際の触知感触を変える。従って、生体的な解剖形状は、効率的なシミュレーションにより有用である。
【０１０３】
内視鏡１４６がシミュレートした胃腸道１６０内を動く場合、ガイドスリーブ１５０によって、操作者が以下のような触覚フィードバックを受けることが可能になる。ボールベアリング１５４は、胃腸道１６０の内面に沿って回転する。各ボールベアリング１５４は、移動のための５の自由度を有する。各プランジャー１５６は、図７Ｄの断面図に示されたように、リニアモーター１６２に接続される。リニアモーター１６２は、前の実施態様のサーボモーターと同様の様式で、制御される。コンピューターからの信号の受信によって、リニアモーター１６２は、プランジャー１５６を垂直に動かし、これによりシミュレートした内視鏡１４６の操作者は触覚フィードバックの感触を受ける。従って、ガイドスリーブ１５０は触覚フィードバックを、内視鏡１４６を通して送信し戻す。
【０１０４】
さらに、上記されたように、好ましくはガイドスリーブ１５０は、可撓性材料１５８の部分を有する。可撓性材料の部分１５８は、先端がそれ自体反り曲がるような特定の状況にて、内視鏡１４６の先端にいくらかの抵抗を与える。従って、可撓性材料１５８の部分は、この先端の動きを特定の角度から抑制する。
【０１０５】
この第２の実施態様の特定の利点は、多数の触知感触が、内視鏡自体によって決定されることであり、その結果、その感触はＰＣコンピューターによってより容易に制御され得る。さらに、フィステルのような解剖特性は、コンピューターからの指令に従って、シミュレートした胃腸道の物理的モデルを変える必要なく加えられ得る。さらに、特定の状況下で、実際の結腸の組織は、内視鏡を後方向き（第２の実施態様においてより容易に複製できるシチュエーション）にする。従って、シミュレートした胃腸道および内視鏡の第２の実施態様は、より優れた種々の解剖特性および状態を複製する観点からみるとより柔軟である。
【０１０６】
図８Ａ〜８Ｅは、本発明に従うシミュレートした内視鏡のさらに別の特定の好ましい実施態様を示す。図８Ａは、本発明に従う医療用シミュレーションのための好ましいシステムを示す。システム１６４は、被験者を表すマネキン人形１６６を含み、ここで、この手順は実施され、シミュレートした内視鏡（示されず、図８Ｄを参照のこと）およびコンピューター１６８は、ビデオモニター１７０を有する。好ましくは、マネキン人形１６６は、マネキン人形１６６の腹部領域に触れることによって、シミュレートした内視鏡の位置を決定するために、触知可能領域１７２を備える。好ましくは、触知可能領域１７２は、生徒がシミュレートした内視鏡の位置を決定した場合、シミュレートした内視鏡の実際の位置を示すための明かりがつくように、ライトを特徴とする（示されず）。
【０１０７】
マネキン人形１６６はまた、シミュレートした器官７４を含み、ここにシミュレートした内視鏡が挿入される。好ましくは、シミュレートした器官１７４は、結腸であり、より好ましくはこれは、まっすぐなチューブとして構成され、結腸内の湾曲に必要なフォースフィードバックは、フォースフィードバック機構１７６を通して提供される。より好ましくは、シミュレートした医療手順についての視覚フィードバックは、シミュレートした器官１７４の構造形状自体に依存せず、そのため、視覚フィードバックおよび触覚フィードバックはどちらも、実質的に完全にシミュレートした器官１７４の構成とは無関係である。
【０１０８】
好ましくは、フォースフィードバック機構１７６は、空気駆動式フォースフィードバックデバイス１７８を含む（図８Ｂ、８Ｄおよび８Ｅにより詳細に示される）。より好ましくは、２つのこのような空気駆動式フォースフィードバックデバイス１７８が提供され、１つはマネキン人形１６６の口１８０付近にあり、そしてもう一方は、マネキン人形１６６の直腸１８２付近にある。空気管１８４は、各空気駆動式フォースフィードバックデバイス１７８を空気ポンプ１８６に接続する。好ましくは、空気ポンプ１８６はまた、空気ポンプ制御ユニット１８８を含み、この空気ポンプ制御ユニットは、空気駆動式フォースフィードバックデバイス１７８に送り込まれる空気の量を制御するためのコンピューター１６８に接続されている。
【０１０９】
好ましくは、コンピューター１６８はまた、他のコンピューターと通信するためのモデム１９０を含む。例えば、モデム１９０によって、コンピューター１６８がインターネットまたは遠隔医療を実施するためのイントラネットに接続され得るかまたは、故障修理またはトラブルシューティングのためのメーカーのイントラネット／コンピューターネットワークに接続され得る。
【０１１０】
図８Ｂおよび８Ｃは、より詳細に空気駆動式フォースフィードバックデバイス１７８の部品を示す。図８Ｂに示されたように、シミュレートした内視鏡１９２の一部分は、空気駆動式フォースフィードバックデバイス１７８と相互作用し、生徒にフォースフィードバックを提供する。フォースフィードバックデバイス１７８は、複数の膨張式リング１９４を特徴とする（図８Ｃに、充分に膨張した状態で詳細に示される）。好ましくは、膨張式リング１９４は、異なる半径を有する。より好ましくは、このようなリング１９４が４個存在し、このうちの少なくとも１つは内視鏡１９２よりも大きな半径を有し、そしてこのうちの少なくとも１つは内視鏡１９２よりも小さい半径を有する。リング１９４に送り込まれた空気の量は、各リング１９４の膨張の程度を決定し、これにより、好ましくは、単独で内視鏡１９２にかけられた力の量を決定する。
【０１１１】
好ましくは、各リング１９４は、１秒、好ましくは１秒以下で充分に膨張した状態に到達する必要がある。好ましくは、空気の流速は１００リットル／分までであり、圧力は３気圧までである。好ましくは、リング１９４は、シミュレートした内視鏡１９２の機能性特徴に従って、受動式フォースフィードバック（例えば、直腸の収縮によるもの）および能動式フォースフィードバック（例えば、空気がシミュレートした器官７４に送り込まれる場合）に使用される（図８Ｅを参照のこと）。
【０１１２】
図８Ｄはフォースフィードバック機構１７６をより詳細に示す。好ましくは、リング１９４はチューブ１８４を通って空気ポンプ１８６に接続され、このチューブは、好ましくは、２つのチューブ１９６に分割されている。第１のチューブ１９６はリング１９４に空気を送り込むためであり、そして第２のチューブ１９６はリング１９４から空気を送り出すためである。空気ポンプ１８６によって送り出される空気の量は、空気ポンプ制御器１８８によって制御される。空気ポンプ制御器１８８の作動は、好ましくは、コンピューター１６８によってＩ／Ｏ（アナログ−ディジタル）カード１９８を通して制御される。
【０１１３】
図８Ｅは、シミュレートした内視鏡１９２をより詳細に示す。シミュレートした内視鏡１９２は、種々のコントロールを有するハンドル２００を特徴とし、シミュレートした器官１７４に空気を送り込むための第１コントロール２０２，およびシミュレートした器官１７４から空気を吸引するための第２コントロール２０４を備える。シミュレートした内視鏡１９２は、好ましくは、外科用ツール制御デバイス２０６を特徴とし、ここに、種々の外科用ツールが必要に応じておよび好ましくは挿入される（図９Ａ〜９Ｅを参照のこと）。好ましくは、シミュレートした内視鏡１９２はまた、レシーバー２０８（例えば、「ミニバード（ｍｉｎｉｂｉｒｄ）」センサー）（Ａｓｃｅｎｓｉｏｎ  Ｌｔｄ．，Ｂｕｒｌｉｎｇｔｏｎ，Ｖｅｒｍｏｎｔ  ＵＳＡ）を特徴とする。レシーバー２０８はシミュレートした内視鏡１９２の先端に配置される。レシーバー２０８は、マネキン人形１６６内に配置された送信機２１０からの送信を受信するように設計され（図８Ａを参照のこと）、これにより、シミュレートした器官１７４内のシミュレートした内視鏡１９２の先端の位置を決定する。好ましくは、送信機２１０は、「ミニバード」送信機（Ａｓｃｅｎｓｉｏｎ  Ｌｔｄ．）である。次いで、レシーバー２０８は、これらの信号をコンピューター１６８に送信し、このコンピューターはこれらの信号をフォースフィードバックの量を決定するために使用し、そして視覚フィードバックは、モニター１７８で生徒に表示される。
【０１１４】
前記のように、図９Ａ〜９Ｅは外科用ツール制御装置２０６の好ましい実施を示し、この中に、種々の外科用工具が必要に応じておよび好ましくは挿入される。好ましくは、外科用ツール制御装置２０６は、ツールスリーブ２１４に挿入された鉗子２１２を特徴とし、これにより、内視鏡のための実際の鉗子をシミュレートする。実際の鉗子は、ポリープ切除を実施するために使用され、デバイスの操作の際、鉗子の先端から出てくるループを特徴とする。このループは、ポリープの周りに配置され、そしてきつく縛って引っ張られる。次いで、ポリープを切除しこの領域を焼灼するために、このループを通して電気が送られる。
【０１１５】
実際の鉗子と同様に、鉗子２１２は、生徒が鉗子のハンドル２１６を握りながら挿入され、好ましくは、この鉗子は、「ループ」を通る「電気」の流れを開始する効果をシミュレートするためのボタンまたは他のコントロールを備える。ツールスリーブ２１４は、鉗子２１２の動きを検出するためのツール制御装置２１８を特徴とし、これは、これらの動きをフォースフィードバックおよび視覚フィードバックに変換する。視覚フィードバックには、例えば、適切な場合には鉗子「ループ」の視覚表示、ならびに「ポリープ切除」の前および後のポリープの表示が挙げられる。さらにこのループの位置は観察されるべきであり、好ましくは内視鏡内でのループの上下運動および「回転」運動を含む。ツール制御装置２１８は、種々のタイプのフィードバックについて必要な計算を実施するために、コンピューター内のＩ／Ｏカードに接続される（示されず）。
【０１１６】
図９Ｂおよび９Ｃは、ツールスリーブ２１４内のツール制御装置２１８と相互作用する鉗子２１２の２つの図を示す。ツール制御装置２１８は、鉗子２１２の動きを検出するためのガイドホイール２２０およびライトホイール２２２を特徴とする（図９Ｂ）。ライトホイール２２２は、複数のノッチを特徴とし、ここを通って光が通過し得る。ツール制御装置２１８はまた、第１ライト２２４および第１光センサー２２６，ならびに第２ライト２２８および第２光センサー２３０を特徴とする（図９Ｃ）。ライトホイール２２２が鉗子２１２共に回転すると、光は第１ライト２２４から通過し、そして第２ライト２２８は交互に遮断および遮断解放され、その結果、光は第１光センサー２２６および第２光センサー２３０によって交互に検出および非検出され得る。
【０１１７】
図９Ｃは、ツール制御装置の第２の実施態様を示す。この実施態様において、ツール制御装置２３２は、２つのガイドホイール２３４を特徴とする。ガイドホイール２３４はツールスリーブ２１４内の鉗子２１２の動きをガイドするのに役立つ。ライトホイール２３６はまた、ノッチを特徴とし、鉗子２１２がツールスリーブ２１４内で回転した際、光は、これらのノッチを通って交互に遮断および遮断解放される。光源（示されず）は、光が光源ホイール２３６を通過した場合、光電管２３８によって検出される光を生成する。次いで、光電管２３８は信号をＰＣＢ（プリント回路基板）２４０（これはコンピューターに接続されている（示されず））２４０に送信し、その結果、これらの信号は、このコンピューターによって望まれる視覚フィードバックおよびフォースフィードバックに変換され得る。
【０１１８】
シミュレートしたポリープ除去を実施するための足ペダル２４２は、図９Ｅに示される。足ペダル２４２はオイルピストン２４４およびマイクロスイッチ２４６を特徴とする。マイクロスイッチ２４６は、コンピューターのＩ／Ｏ（これはまた、足ペダル２４２の動きを必要とされる視覚フィードバックおよびフォースフィードバックに変換するためのものである）に接続される（示されず）。
【０１１９】
医療処置の間の実際の内視鏡の触知感触を正確に複製するために、実際の生きた患者における医療処置の間、これらの感触は正確に得られるべきである。例えば、これらの触知感触は、バーチャルリアリティーの手袋（例えば、ＤａｔａＧｌｏｖｅｓTMＴｒａｃｋｉｎｇＶＲ  Ｓｙｓｔｅｍ（Ｇｒｅｅｎｌｅａｆ  Ｍｅｄｉｃａｌ  Ｓｙｓｔｅｍｓ））を身につけて、内視鏡検査処置を行う医師によって集収され得る。これらの手袋は、触知感触およびフィードバックを、実際の内視鏡処置の間に医師によって経験したものと見なすデータを記録し得ることが知られている。このような実際のデータは、触知感触が、この処置の経過の間に変わるため重要である。例えば、内視鏡の動きと視覚表示との間の相互関係は、内視鏡が胃腸道により深く挿入されるにつれて、徐々に減少する。従って、正確な、実際の内視鏡シミュレーターの提供において、実際のデータの収集は重要な工程である。
【０１２０】
最後に、本発明の別の好ましい実施態様に従って、シミュレートした生検デバイスが提供される（示されず）。この生検デバイスは、内視鏡検査の間に胃腸道から組織サンプルを採るのに使用される実際の生検デバイスをシミュレートする。実際の生検デバイスは内視鏡内に備えられる。内視鏡の操作者がサンプルを採りたい時、生検デバイスが内視鏡の先端から出て、この位置はディスプレースクリーンで見ることができる。次いで、生検デバイスのジョーが開かれ組織に押しつけられる。次いで、このジョーは閉じられ、生体デバイスは引っ込む。組織の除去は血液のプールの原因となり、残った組織の出血のように見える。
【０１２１】
同様に、シミュレートした内視鏡の操作者がシミュレートした生検デバイスを出した場合、シミュレートした生検デバイスは、本発明のディスプレースクリーンに現れる。好ましくは、生検デバイスのジョーは、動画として提供され、より好ましくは、ジョーが小さいため比較的高い分解能で提供される。その結果、ＰＣコンピューターの過度な面倒さを示さない。組織の出血および結果として生じる血液のプールはまた動画化される。
【０１２２】
上記の記載は例として役立つことのみを意図し、多くの他の実施態様は本発明の精神および範囲内であることを理解するべきである。
【図面の簡単な説明】
前述のならびに他の目的、局面および利点は、図面を参照して、前述の本明細書の好ましい実施態様の詳細な説明からよりよく理解される。
【図１】  図１は、本発明の医学的シミュレーションのためのシステムの例示である。
【図２】  図２は、本発明のスクリーン表示装置の例示である。
【図３Ａ】  図３Ａは、シミュレートした器官の視覚的モデルおよび視覚フィードバックのレンダリングの調整のための、本発明の例示的方法のフローチャートである。
【図３Ｂ】  図３Ｂは、本発明の例示的な視覚的処理および表示装置システムの概略的ブロック図である。
【図４】  図４は、本発明の例示的な指導のシステムの概略的ブロック図である。
【図５Ａ】  図５Ａは、本発明の例示的なシミュレートした胃腸道を示す。
【図５Ｂ】  図５Ｂは、本発明の例示的なシミュレートした胃腸道を示す。
【図６Ａ】  図６Ａは、本発明のフォースフィードバックシステムの１つの実施態様の１つの局面を示す。
【図６Ｂ】  図６Ｂは、本発明のフォースフィードバックシステムの１つの実施態様の１つの局面を示す。
【図６Ｃ】  図６Ｃは、本発明のフォースフィードバックシステムの１つの実施態様の１つの局面を示す。
【図７Ａ】  図７Ａは、本発明のフォースフィードバックシステムの第２の実施態様を示す。
【図７Ｂ】  図７Ｂは、本発明のフォースフィードバックシステムの第２の実施態様を示す。
【図７Ｃ】  図７Ｃは、本発明のフォースフィードバックシステムの第２の実施態様を示す。
【図７Ｄ】  図７Ｄは、本発明のフォースフィードバックシステムの第２の実施態様を示す。
【図８Ａ】  図８Ａは、本発明のシステムの別の実施態様を示す。
【図８Ｂ】  図８Ｂは、本発明のシステムの別の実施態様を示す。
【図８Ｃ】  図８Ｃは、本発明のシステムの別の実施態様を示す。
【図８Ｄ】  図８Ｄは、本発明のシステムの別の実施態様を示す。
【図８Ｅ】  図８Ｅは、本発明のシステムの別の実施態様を示す。
【図９Ａ】  図９Ａは、本発明のツールユニット（ｔｏｏｌ  ｕｎｉｔ）の例示的実施態様を示す。
【図９Ｂ】  図９Ｂは、本発明のツールユニットの例示的実施態様を示す。
【図９Ｃ】  図９Ｃは、本発明のツールユニットの例示的実施態様を示す。
【図９Ｄ】  図９Ｄは、本発明のツールユニットの例示的実施態様を示す。
【図９Ｅ】  図９Ｅは、本発明のツールユニットの例示的実施態様を示す。
【図１】
0004436966.tif 000002
【図２】
0004436966.tif 000003
【図３Ａ】
0004436966.tif 000004
【図３Ｂ】
0004436966.tif 000005
【図４】
0004436966.tif 000006
【図５Ａ】
0004436966.tif 000007
【図５Ｂ】
0004436966.tif 000008
【図６Ａ】
0004436966.tif 000009
【図６Ｂ】
0004436966.tif 000010
【図６Ｃ】
0004436966.tif 000011
【図７Ａ】
0004436966.tif 000012
【図７Ｂ】
0004436966.tif 000013
【図７Ｃ】
0004436966.tif 000014
【図７Ｄ】
0004436966.tif 000015
【図８Ａ】
0004436966.tif 000016
【図８Ｂ】
0004436966.tif 000017
【図８Ｃ】
0004436966.tif 000018
【図８Ｄ】
0004436966.tif 000019
【図８Ｅ】
0004436966.tif 000020
【図９Ａ】
0004436966.tif 000021
【図９Ｂ】
0004436966.tif 000022
【図９Ｃ】
0004436966.tif 000023
【図９Ｄ】
0004436966.tif 000024
【図９Ｅ】
0004436966.tif 000025