(57)【要約】  医療システムは、  基準位置指定部と、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部の撮像画像から表示画像を生成する制御装置と、前記制御装置に起動を指示する起動部を有する入力装置と、前記表示画像を表示する表示装置と、を備え、前記制御装置は、前記起動部からの起動指示時における前記表示画像において、前記基準位置指定部を検出し、前記基準位置指定部が指し示す位置を基準位置とし、起動指示時の前記表示画像の全領域から前記除外領域を除いた領域から基準画像を選択し、前記基準位置から前記基準画像までの相対位置を算出し、起動指示後の前記表示画像から前記基準画像を検出し、起動指示後の前記表示画像における前記基準位置を認識し、起動指示後の前記表示画像において、前記基準位置が前記表示画像の目標位置に一致するように、前記内視鏡を作動させる。
2019106711.tif 000002
【特許請求の範囲】
【請求項１】
基準位置指定部と、
撮像部を有し、電動で駆動されて作動する内視鏡と、
前記内視鏡を作動させ、前記撮像部の撮像画像から表示画像を生成する制御装置と、
前記制御装置に起動を指示する起動部を有する入力装置と、
前記表示画像を表示する表示装置と、
を備え、
前記制御装置は、
前記起動部からの起動指示時における前記表示画像において、前記基準位置指定部を検出し、前記基準位置指定部が指し示す位置を基準位置とし、
起動指示時の前記表示画像の全領域から、前記基準位置との相対位置を特定できないものが表示された領域を除外領域として検出し、
起動指示時の前記表示画像の全領域から前記除外領域を除いた領域から基準画像を選択し、前記基準位置から前記基準画像までの相対位置を算出し、
起動指示後の前記表示画像から前記基準画像を検出し、前記基準画像の位置および前記相対位置から、起動指示後の前記表示画像における前記基準位置を認識し、
起動指示後の前記表示画像において、前記基準位置が前記表示画像の目標位置に一致するように、前記内視鏡を作動させる、
医療システム。
【請求項２】
前記制御装置は、前記基準位置に隣接する隣接領域を確保できる場合、前記隣接領域の中心から前記除外領域までの最短距離が最も大きい前記隣接領域の画像を前記基準画像として選択する、
請求項１に記載の医療システム。
【請求項３】
前記制御装置は、前記基準位置に隣接する隣接領域を確保できない場合、前記基準位置に隣接しない非隣接領域から、前記非隣接領域の中心から前記基準位置までの最短距離が最も小さい前記非隣接領域を前記基準画像として選択する、
請求項１または２に記載の医療システム。
【請求項４】
前記制御装置は、前記内視鏡を作動させて前記基準位置を前記目標位置に一致させるまでに、前記表示画像における前記基準画像の検出を複数回実施する、
請求項１から請求項３のいずれか一項に記載の医療システム。
【請求項５】
前記制御装置は、前記基準位置と前記目標位置とが一致したと判断した際に、前記基準画像を再選択して更新する、
請求項１から請求項４のいずれか一項に記載の医療システム。
【請求項６】
前記制御装置は、前記基準画像を複数選択する、
請求項１から請求項５のいずれか一項に記載の医療システム。
【請求項７】
前記制御装置は、いずれかの前記基準画像が前記表示画像から検出できない場合、検出できない前記基準画像を再選択して更新する、
請求項６に記載の医療システム。
【請求項８】
前記制御装置は、起動指示時の前記表示画像から前記基準画像を選択する際、起動指示時以前の前記表示画像から前記基準画像を選択する、
請求項１から請求項７のいずれか一項に記載の医療システム。
【請求項９】
前記制御装置は、前記表示画像から前記基準画像を検出できない場合、エラー処理を行う、
請求項１から請求項８のいずれか一項に記載の医療システム。
【請求項１０】
前記基準位置指定部は、処置具の先端である、
請求項１から請求項８のいずれか一項に記載の医療システム。
【請求項１１】
前記目標位置は、前記表示画像の中央である、
請求項１から請求項９のいずれか一項に記載の医療システム。
【請求項１２】
前記除外領域は、前記基準位置指定部が表示された領域である、
請求項１から請求項１０のいずれか一項に記載の医療システム。
【請求項１３】
基準位置指定部と、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部の撮像画像から表示画像を生成する制御装置と、前記制御装置に起動を指示する起動部を有する入力装置と、前記表示画像を表示する表示装置と、を備える医療システムの作動方法であって、
起動指示時における前記表示画像において、前記基準位置指定部を検出し、前記基準位置指定部が指し示す位置を基準位置とし、起動指示時の前記表示画像の全領域から、前記基準位置との相対位置を特定できないものが表示された領域を除外領域として検出する検出工程と、
起動指示時の前記表示画像の全領域から前記除外領域を除いた領域から基準画像を選択し、前記基準位置から前記基準画像までの相対位置を算出する選択工程と、
起動指示後の前記表示画像から前記基準画像を検出し、前記基準画像の位置および前記相対位置から、起動指示後の前記表示画像における前記基準位置を認識する基準画像検出工程と、
起動指示後の前記表示画像において、前記基準位置が前記表示画像の目標位置に一致するように、前記内視鏡を作動させる内視鏡駆動工程、
を備える、
医療システムの作動方法。
【請求項１４】
前記選択工程は、前記基準位置に隣接する隣接領域を確保できるかを判定する判定工程を備え、確保できると判定した場合、前記隣接領域の中心から前記除外領域までの最短距離が最も大きい前記隣接領域の画像を前記基準画像として選択する隣接領域選択工程を備える、
請求項１３に記載の医療システムの作動方法。
【請求項１５】
前記選択工程は、前記判定工程において、前記基準位置に隣接する隣接領域を確保できないと判定した場合、前記基準位置に隣接しない非隣接領域から、前記非隣接領域の中心から前記基準位置までの最短距離が最も小さい前記非隣接領域を前記基準画像として選択する非隣接領域選択工程を備える、
請求項１４に記載の医療システムの作動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、腹壁等に形成した孔を通して処置を行う医療システムおよび同医療システムの作動方法に関する。
【背景技術】
【０００２】
従来、腹腔鏡下手術において、腹壁に開けた別々の孔（開口）から処置具や内視鏡などを挿入して処置を行う手法が用いられている。腹腔内に挿入された内視鏡と処置具とは互いに独立に操作される。術者に対して処置に最適な内視鏡の視野、例えば処置対象部位等の関心領域が含まれる視野、を提供するために、内視鏡を操作するスコピストは、内視鏡を処置に最適な位置に移動させる必要がある。【０００３】
術者に最適な内視鏡の視野を迅速に提供するには、術者とスコピストとが、効率よくコミュニケーションを行う必要がある。内視鏡が撮像した画像に術者の関心領域が含まれるように、スコピストが内視鏡を移動させることができなければ、術者は処置を中断して内視鏡の視野の調整完了を待つ必要がある。【０００４】
特許文献１には、処置具の先端に色マーカーを設け、内視鏡が撮像した画像から色マーカーの位置を検出し、その検出した位置が画像の中心となるように、内視鏡を作動させる体腔内観察システムが記載されている。スコピストが直接内視鏡を操作することなく、処置具の先端が画像の中心に位置するように内視鏡が操作される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０２７８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の体腔内観察システムにおいては、処置具の先端を常に追従するように内視鏡が操作される。そのため、内視鏡が撮像した画像が、常に術者の関心領域が含まれる画像となっているとは限らない。例えば、処置具の先端の位置が術者の関心領域でない領域に移動した場合、内視鏡が撮像する画像は、処置具の先端を追従した画像となってしまい、術者の関心領域が含まれない画像となってしまう。【０００７】
ここで、術者は、処置具の先端を常に追従する画像が提供されることではなく、指定した関心領域が含まれる画像が迅速に提供され、かつ、別の関心領域を指定するまでは、関心領域が含まれる画像が維持されることを望んでいることが多い。【０００８】
上記事情を踏まえ、本発明は内視鏡が自動操作されて、指定された関心領域が含まれる内視鏡の視野を提供することができる医療システムおよび医療システムの作動方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明に係る医療システムは、基準位置指定部と、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部の撮像画像から表示画像を生成する制御装置と、前記制御装置に起動を指示する起動部を有する入力装置と、前記表示画像を表示する表示装置と、を備え、前記制御装置は、前記起動部からの起動指示時における前記表示画像において、前記基準位置指定部を検出し、前記基準位置指定部が指し示す位置を基準位置とし、起動指示時の前記表示画像の全領域から、前記基準位置との相対位置を特定できないものが表示された領域を除外領域として検出し、起動指示時の前記表示画像の全領域から前記除外領域を除いた領域から基準画像を選択し、前記基準位置から前記基準画像までの相対位置を算出し、起動指示後の前記表示画像から前記基準画像を検出し、前記基準画像の位置および前記相対位置から、起動指示後の前記表示画像における前記基準位置を認識し、起動指示後の前記表示画像において、前記基準位置が前記表示画像の目標位置に一致するように、前記内視鏡を作動させる。【００１０】
また、本発明に係る医療システムの作動方法は、基準位置指定部と、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部の撮像画像から表示画像を生成する制御装置と、前記制御装置に起動を指示する起動部を有する入力装置と、前記表示画像を表示する表示装置と、を備える医療システムの作動方法であって、起動指示時における前記表示画像において、前記基準位置指定部を検出し、前記基準位置指定部が指し示す位置を基準位置とし、起動指示時の前記表示画像の全領域から、前記基準位置との相対位置を特定できないものが表示された領域を除外領域として検出する検出工程と、起動指示時の前記表示画像の全領域から前記除外領域を除いた領域から基準画像を選択し、前記基準位置から前記基準画像までの相対位置を算出する選択工程と、起動指示後の前記表示画像から前記基準画像を検出し、前記基準画像の位置および前記相対位置から、起動指示後の前記表示画像における前記基準位置を認識する基準画像検出工程と、起動指示後の前記表示画像において、前記基準位置が前記表示画像の目標位置に一致するように、前記内視鏡を作動させる内視鏡駆動工程、を備える。
【発明の効果】
【００１１】
本発明の医療システムおよび医療システムの作動方法によれば、内視鏡が自動操作されて処置に最適な内視鏡の視野を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第一実施形態に係る医療システムの全体構成を示す図である。
【図２】同医療システムのハードウェア構成図である。
【図３Ａ】同医療システムの制御部の全体構成例を示す図である。
【図３Ｂ】同医療システムの制御部の全体構成例を示す図である。
【図４】同医療システムの表示画像である。
【図５】同医療システムの自動モードにおける制御部の制御フローチャートである。
【図６】同医療システムの表示画像である。
【図７】同医療システムの表示画像である。
【図８】同医療システムの表示画像である。
【図９】同医療システムの表示画像である。
【図１０】同医療システムの表示画像である。
【図１１】同医療システムの表示画像である。
【図１２】同医療システムの内視鏡の変形例の全体構成例を示す図である。
【図１３】本発明の第二実施形態に係る医療システムの表示画像である。
【図１４】同医療システムの表示画像である。
【図１５】同医療システムの表示画像である。
【図１６】本発明の第三実施形態に係る医療システムの表示画像である。
【図１７】本発明の第四実施形態に係る医療システムの表示画像である。
【図１８】同医療システムの表示画像である。
【図１９】本発明の第五実施形態に係る医療システムの表示画像である。
【図２０】同医療システムの表示画像である。
【図２１】同医療システムの表示画像である。
【図２２】本発明の第六実施形態に係る医療システムの表示画像である。
【図２３】同医療システムの表示画像である。
【発明を実施するための形態】
【００１３】
（第一実施形態）
本発明の第一実施形態について、図１から図１２を参照して説明する。なお、図面を見やすくするため、各構成要素の寸法等は適宜調整されている。
【００１４】
図１は、本実施形態に係る医療システム１００の全体構成を示す図である。
医療システム１００は、図１に示すように、処置具１と、内視鏡２と、制御装置３と、表示装置４と、入力装置５と、を備えている。医療システム１００は、腹腔鏡下手術において、腹壁に開けた別々の孔（開口）から処置具１や内視鏡２などを挿入して行う処置を支援するシステムである。
【００１５】
処置具１は、図１に示すように、患者の腹腔内に挿入可能な長尺の挿入部１０と、挿入部１０の基端部に設けられた操作部１１と、を有する。術者は、患者の腹部に穿刺したトロッカに挿入部１０を通し、挿入部１０を腹腔内に導入する。処置の種類や患部の状況により、術者は複数の処置具１を腹腔内に導入する場合もある。
【００１６】
挿入部１０は、図１に示すように、先端部に患者の患部を処置する処置部１２を有する。本実施形態において処置部１２は、一対の把持部材１２ａで構成された把持機構である。
【００１７】
操作部１１は、一対の把持部材１２ａを操作する部材である。操作部１１はハンドルを有しており、ハンドルを操作部１１の他の部分に対して相対移動させることで、処置部１２の一対の把持部材１２ａを開閉させる。術者は、片手で操作部１１を保持して、処置部１２を操作することができる。
【００１８】
図２は、処置具１を除く医療システム１００のハードウェア構成図である。
内視鏡２は、図１および図２に示すように、患者の腹腔内に挿入可能な長尺の挿入部２０と、アーム２１と、を有する。術者は、患者の腹部に穿刺したトロッカに挿入部２０を通し、挿入部２０を腹腔内に導入する。
【００１９】
挿入部２０は先端部に、患者の腹部内の様子を撮影するためのレンズや撮像素子を有する撮像部２２が設けられている。腹腔内に導入された挿入部２０は、撮像部２２が腹部内の処置対象の患部を撮影可能な位置に配置される。撮像部２２は、光学ズームもしくは電子ズームの機能を有していてもよい。
【００２０】
なお、挿入部２０は、能動的に湾曲する能動湾曲部をさらに有してもよい。挿入部２０の一部に設けられた能動湾曲部を湾曲させることで、撮像部２２のレンズや撮像素子の向きを変更することができる。
【００２１】
アーム２１は、図１に示すように、少なくとも１以上の関節２３を有する電動駆動のロボットアームである。アーム２１の先端が内視鏡の挿入部２０の基端部に接続されており、アーム２１は、挿入部２０を移動させることができる。
【００２２】
関節２３は、回動軸を中心に屈曲する部位であり、モータ等によって能動的に屈曲動作するものであってもよいし、接続されるワイヤ等の進退動作によって受動的に屈曲動作するものであってもよい。アーム２１の内部には、関節２３の屈曲動作を制御する制御信号線やワイヤ等が配線されている。また、アーム２１の内部には、撮像部２２を制御する制御信号線や撮像部２２が撮像した撮像画像を転送する伝送信号も配線されている。
【００２３】
制御装置３は、図２に示すように、駆動部３１と、画像処理部３２と、制御部３３と、を有している。制御装置３は、入力装置５からの入力に基づいてアーム２１等を制御する。また、制御装置３は、内視鏡２の撮像部２２が撮像した撮像画像から表示画像を生成して、表示装置４に転送する。
【００２４】
駆動部３１は、アーム２１の関節２３を駆動する。関節２３が能動的に屈曲動作するものである場合、駆動部３１は関節２３を動作させるモータ等への制御信号を生成する。関節２３が受動的に屈曲動作するものである場合、駆動部３１は関節２３を動作させるワイヤの進退を制御する。いずれの場合においても、駆動部３１は、制御部３３によって制御される。
【００２５】
画像処理部３２は、撮像部２２が撮像した撮像画像の伝送信号が接続されており、その伝送信号経由で、撮像画像を取得する。また、画像処理部３２は、撮像画像から表示用の表示画像を生成する。画像処理部３２は、撮像画像に対し、画像フォーマット変換やコントラスト調整などの画像処理を必要に応じて行ってもよい。生成された表示画像は、表示装置４に所定の転送タイミングで転送される。
【００２６】
画像処理部３２は、制御部３３が生成した図形や文字などの画像を、撮像画像と差し替えて、もしくは、撮像画像に重畳して、表示画像を生成することができる。例えば、画像処理部３２は、術者への警告や操作支援に関する文字の画像を、撮像画像に重畳して、表示画像を生成することができる。
なお、上記の図形や文字などの画像は、制御部３３ではなく画像処理部３２が、制御部３３の指示に基づいて生成してもよい。
【００２７】
制御部３３は、入力装置５の操作および画像処理部３２が取得した画像を入力とし、それらの入力に基づいて駆動部３１および画像処理部３２の制御等を行う。
本実施形態において、制御部３３は、マニュアルモードおよび自動モードの２種類の動作モードを有する。制御部３３は、二つの動作モードから選択された一つの動作モードに基づいて、駆動部３１および画像処理部３２の制御等を行う。
【００２８】
マニュアルモードは、スコピストが入力装置５を操作して、内視鏡２のアーム２１の関節２３等を直接操作する動作モードである。
自動モードは、画像処理部３２が取得した画像に基づいて、内視鏡２のアーム２１の関節２３等が制御部３３により自動で操作され、内視鏡２の視野の自動調整が実施される動作モードである。
【００２９】
図３Ａおよび図３Ｂは、制御部３３の全体構成例を示す図である。
制御部３３は、図３Ａに示すように、ＣＰＵ（Central Processing Unit）３４と、プログラムを読み込み可能なメモリ３５と、記憶部３６と、入出力制御部３７と、を有するプログラム実行可能な装置（コンピュータ）である。
制御部３３の機能は、制御部３３に提供されたプログラムをＣＰＵ３４が実行することにより実現される。なお、制御部３３の少なくとも一部の機能を、専用の論理回路等によって構成してもよい。
【００３０】
記憶部３６は、上述したプログラムや必要なデータを記憶する不揮発性の記録媒体である。記憶部３６は、例えばＲＯＭやハードディスク等で構成される。記憶部３６に記録されたプログラムは、メモリ３５に読み込まれ、ＣＰＵ３４によって実行される。
【００３１】
入出力制御部３７は、入力装置５および画像処理部３２からの入力データを受け取り、ＣＰＵ３４等への転送等を実施する。また、入出力制御部３７は、ＣＰＵ３４が駆動部３１や画像処理部３２を制御する際に、ＣＰＵ３４の指示に基づき、駆動部３１や画像処理部３２に対する制御信号等を生成する。
【００３２】
ここで、制御部３３は、１つのハードウェアに備わる装置に限られない。例えば、制御部３３は、ＣＰＵ３４と、メモリ３５と、記憶部３６と、入出力制御部３７とをそれぞれ別体のハードウェアとして分離した上で、ハードウェア同士を通信回線で接続することで構成してもよい。あるいは、制御部３３は、記憶部３６を分離して、同様に通信回線で接続することで、制御部３３をクラウドシステムとして実現してもよい。
【００３３】
ここで、画像処理部３２が、撮像画像の処理を行う場合、処理中の一時的なデータを保管するため、制御部３３のメモリ３５を使用してもよい。また、画像処理部３２が行う撮像画像の処理の一部もしくは全部を、制御部３３のＣＰＵ３４がプログラム実行により実施してもよい。
【００３４】
なお、制御部３３は、図３Ａに示すＣＰＵ３４、メモリ３５、記憶部３６、および入出力制御部３７以外のもので、制御装置３の動作のために必要なものを、さらに有してもよい。例えば、図３Ｂに示すように、制御部３３は、特定の画像処理や画像認識処理の一部もしくは全部を行う画像演算部３８をさらに有してもよい。画像演算部３８をさらに有することで、制御部３３は、特定の画像処理や画像認識処理を高速に実行することができる。
【００３５】
表示装置４は、画像処理部３２が生成した表示画像を表示する装置である。表示装置４は、ＬＣＤディスプレイ等の公知の表示装置を用いることができる。表示装置４は、ヘッドマウントディスプレイやプロジェクタであってもよい。
【００３６】
入力装置５は、図２に示すように、操作入力部５１と、モード選択部５２と、起動部５３と、を有する。入力装置５は、医療システム１００の動作に必要な情報を入力する装置である。
【００３７】
操作入力部５１は、内視鏡２のアーム２１の関節２３の操作を入力する装置である。また、操作入力部５１は、撮像部２２がズーム機能を有している場合は、そのズーム機能を操作することもできる。また、内視鏡２の挿入部２０が能動湾曲部を有している場合は、能動湾曲部を湾曲させることもできる。スコピストは、操作入力部５１を操作して、アーム２１の関節２３等を操作する。
【００３８】
操作入力部５１は、図１に示すように、ジョイスティックにより構成されていてもよいし、タッチパネルにより構成されていてもよい。アーム２１と相似形状のアーム形状の操作入力デバイスであってもよい。ＬＣＤディスプレイの表示装置４と、タッチパネルの操作入力部５１とが、一体に構成されていてもよい。
【００３９】
操作入力部５１を操作することで、その操作内容が制御部３３に転送される。制御部３３は、操作内容に対応する、アームの関節２３の動作量を算出する。制御部３３は、算出した動作量で関節２３が動作するように、駆動部３１を制御する。
【００４０】
制御部３３の動作モードがマニュアルモードである場合、操作入力部５１の操作により、内視鏡２のアーム２１の関節２３等は直接操作される。
一方、制御部３３の動作モードが自動モードである場合、操作入力部５１の操作は、制御部３３により無効化され、内視鏡２のアーム２１の関節２３等を操作することはできない。内視鏡２のアーム２１の関節２３等は制御部３３によって操作される。
【００４１】
モード選択部５２は、制御部３３が有する二つの動作モードのうち、どちらの動作モードで制御部３３が動作するかを選択する装置である。モード選択部５２は、スイッチにより構成されていてもよいし、タッチパネルにより構成されていてもよい。また、モード選択部５２は、操作入力部５１と一体に構成されていてもよい。モード選択部５２による制御部３３の動作モード選択は、いつでも行うことができる。
【００４２】
起動部５３は、「術者の関心領域」の位置を基準位置Ｐとして制御部３３に認識させる処理（以降、「基準位置認識処理」という）や、内視鏡２に基準位置Ｐを追尾させる処理（以降、「基準位置追尾処理」という）を起動させる起動装置である。起動部５３は、例えば、入力のオンとオフを切り替えることができるボタンスイッチである。制御部３３は、起動部５３の入力がオンになった場合、「基準位置認識処理」および「基準位置追尾処理」を起動する。
【００４３】
本実施形態の起動部５３は、図１に示すように、処置具１の操作部１１に設けられている。術者は、片手で操作部１１を保持して、片手で起動部５３のオンとオフの入力を切り替え、「基準位置認識処理」および「基準位置追尾処理」の起動と停止を制御することができる。
【００４４】
ここで、起動部５３は、フットスイッチでもよく、音声により入力操作が可能な装置であってもよい。術者が処置具１による処置を中断することなく、入力をオンに切り替えることができる起動部５３が望ましい。
【００４５】
次に、腹腔鏡下手術を例として、医療システム１００の動作および作動方法を、図４から図１１を参照して説明する。図４は、医療システム１００の内視鏡２の表示画像である。図５は、自動モードにおける制御部３３の「基準位置認識処理」および「基準位置追尾処理」の制御のフローチャートである。
【００４６】
術者は、患者の腹部にトロッカを設置するための孔（開口）を複数設け、孔にトロッカを穿刺する。次に術者は、患者の腹部に穿刺したトロッカに処置具１の挿入部１０を通し、挿入部１０を腹腔内に導入する。
【００４７】
さらに術者は、図４に示すように、患者の腹部に穿刺したトロッカに補助処置具１Ｓの挿入部１０Ｓを通し、挿入部１０Ｓを腹腔内に導入する。ここで、補助処置具１Ｓは、処置具１と同様の構成であり、処置部１２Ｓを有する挿入部１０Ｓと、操作部１１Ｓと、を有する。挿入部１０Ｓは挿入部１０と同様の構成であり、操作部１１Ｓは操作部１１と同様の構成であり、処置部１２Ｓは処置部１２と同様の構成である。
【００４８】
次に、スコピストは、モード選択部５２を操作し、制御部３３の動作モードをマニュアルモードに設定する。スコピストは、操作入力部５１を操作して、内視鏡２を操作することで、内視鏡２の挿入部２０を患者の腹部に穿刺したトロッカに通し、挿入部２０を腹腔内に導入する。さらに、スコピストは、操作入力部５１を操作し、図４に示すように、処置部１２が撮像部２２によって撮像されるように内視鏡２を操作する。
【００４９】
術者は、図４に示すように、表示画像中の左上領域に表示されている処置対象部位Ｔを処置するにあたり、処置対象部位Ｔが表示画像の中央（目標位置）に位置するように、内視鏡２を作動させたい。そこで、術者もしくはスコピストは、モード選択部５２を操作し、制御部３３の動作モードを自動モードに変更する。操作入力部５１の操作は、制御部３３により無効化され、スコピストは内視鏡２のアーム２１の関節２３等を操作することはできない。
【００５０】
術者は、図４に示すように、処置対象部位Ｔの中央付近に、基準位置を指定する処置具１の先端（基準位置指定部）を移動させる。術者は、処置具１の先端が処置対象部位Ｔの中央付近を指し示す状態で、起動部５３の入力をオンにする。制御部３３は、起動部５３の入力がオンになった場合、「基準位置認識処理」および「基準位置追尾処理」を起動する。以降、図５に示す自動モードにおける「基準位置認識処理」および「基準位置追尾処理」の制御フローチャートに沿って説明を行う。
【００５１】
図５に示すように、制御部３３の動作モードが自動モードの場合に起動部５３の入力がオンとなると、制御部３３は「基準位置認識処理」の制御を開始する（ステップＳ１０）。次に、制御部３３はステップＳ１１を実行する。
【００５２】
ステップＳ１１において、制御部３３は、図５に示すように、起動指示時の表示画像から現在の処置具１の位置を検出する（検出工程）。制御部３３は、予め記憶部３６に記憶された処置部１２の画像データと、起動指示時の表示画像とのマッチング処理を行い、処置部１２の位置を検出する。マッチング処理には、公知のテンプレートマッチング手法から適宜選択した手法が用いられる。
【００５３】
制御部３３が画像のマッチング処理の一部もしくは全部を高速に行う画像演算部３８を有している場合、上記のマッチング処理を高速に実行することができる。また、処置部１２に画像のマッチング処理に適した模様や光学マーカー等を施すことで、処置具１の位置の検出時間を短縮化させることも可能である。
【００５４】
制御部３３は、処置具１および補助処置具１Ｓの位置を検出する。処置部１２と処置部１２Ｓには、異なる色や模様や光学マーカー等が施されており、制御部３３は、処置具１と補助処置具１Ｓとを区別して認識することができる。
【００５５】
ステップＳ１１において、検出した処置具１の先端の位置は、「基準位置Ｐ」として、メモリ３５に記録される。記録される基準位置Ｐは、起動指示時の表示画像における２次元座標値である。ここで、基準位置Ｐは、１画素ではなく、例えば、外径が１０画素程度の円状の領域であってもよい。
【００５６】
また、起動指示時の表示画像中に表示される処置具１と補助処置具１Ｓの占める領域は、「除外領域」として、メモリ３５に記憶される。除外領域は、起動指示時の表示画像における処置具１と補助処置具１Ｓを表示する画素すべてである。上記の基準位置Ｐは、除外領域に含まれない位置に設定される。
次に、制御部３３はステップＳ１２を実行する。
【００５７】
ステップＳ１２において、制御部３３は、基準位置Ｐに隣接する「テンプレート画像（基準画像）」を確保できるかを判定する。起動指示時の表示画像の全領域から除外領域を除いた領域から、基準位置Ｐに隣接し、かつ、所定の画素数で構成される領域（隣接領域）を少なくとも一つ確保できるかを判定する（判定工程）。ここで隣接領域は、基準位置Ｐの画素を含んでもよい。
【００５８】
隣接領域は、例えば、表示画像が横方向に１０２４画素で、縦方向に７６８画素で構成されている場合、横方向に６４画素で、縦方向に６４画素で構成された正方領域である。隣接領域は、長方形領域であってもよく、円形領域であってもよい。
【００５９】
例えば、図６に示すように、基準位置Ｐの左側に除外領域がなく、隣接領域を少なくとも一つ確保できる場合、制御部３３は、上記の判定工程において、「隣接領域を確保できる」と判定する。
確保できると判定した場合、制御部３３は次にステップＳ１３を実行する。
【００６０】
一方、例えば、図７に示すように、基準位置Ｐが起動指示時の表示画像の左上に位置する場合、基準位置Ｐが除外領域である処置部１２と起動指示時の表示画像の隅部とに囲まれ、隣接領域を少なくとも一つ確保できない。この場合、制御部３３は、上記の判定工程において、「隣接領域を確保できない」と判定する。
また、図８に示すように、基準位置Ｐの周囲に処置部１２および処置部１２Ｓが接近していて、基準位置Ｐの周囲に除外領域が多い場合も、隣接領域を少なくとも一つ確保できない。この場合も、制御部３３は、上記の判定工程において、「隣接領域を確保できない」と判定する。
確保できないと判定した場合、制御部３３は次にステップＳ１４を実行する。
【００６１】
ステップＳ１３において制御部３３は、一つの隣接領域をテンプレート画像選択領域Ｓとして選択する。制御部３３は、隣接領域の中心から除外領域までの最短距離が最も大きい隣接領域を、テンプレート画像選択領域Ｓとして選択する（隣接領域選択工程）。
【００６２】
例えば、図４に示すように、基準位置Ｐの左下に除外領域である処置部１２が位置している場合、基準位置Ｐを挟んで処置部１２と反対側にある隣接領域が、除外領域までの最短距離が最も大きくなる。そのため、この隣接領域がテンプレート画像選択領域Ｓとして選択される。
【００６３】
例えば、図６に示すように、基準位置Ｐが起動指示時の表示画像の上側に位置し、基準位置Ｐの左に除外領域である処置部１２が位置している場合、基準位置Ｐを挟んで処置部１２と反対側にある隣接領域が、除外領域までの最短距離が最も大きくなる。そのため、この隣接領域がテンプレート画像選択領域Ｓとして選択される。
次に、制御部３３はステップＳ１５を実行する。
【００６４】
ステップＳ１４において制御部３３は、基準位置Ｐに隣接しない「テンプレート画像」を選択する。起動指示時の表示画像の全領域から除外領域を除いた領域から、基準位置Ｐに隣接せず、かつ、所定の画素数で構成される領域（非隣接領域）から、一つの非隣接領域をテンプレート画像選択領域Ｓとして選択する。制御部３３は、非隣接領域の中心から基準位置Ｐまでの最短距離が最も小さい非隣接領域をテンプレート画像選択領域Ｓとして選択する（非隣接領域選択工程）。
【００６５】
非隣接領域は数多く存在するため、選択の前に候補の全部をリストアップする必要はない。制御部３３は、例えば、基準位置Ｐに近い領域から順に渦巻状に非隣接領域を探索すれば、非隣接領域の中心から基準位置Ｐまでの最短距離が最も小さい非隣接領域を選択することができる。
【００６６】
例えば、図７に示すように、基準位置Ｐの下側に位置する、基準位置Ｐに隣接しない非隣接領域をテンプレート画像選択領域Ｓとして選択する。
また、図８に示すように、基準位置Ｐの右上側に位置する、基準位置Ｐに隣接しない非隣接領域をテンプレート画像選択領域Ｓとして選択する。
次に、制御部３３はステップＳ１５を実行する。
【００６７】
ステップＳ１５において、制御部３３は、テンプレート画像選択領域Ｓの画像を「テンプレート画像（基準画像）」としてメモリ３５に記録する。また、制御部３３は、選択されたテンプレート画像選択領域Ｓの中心ＳＯの２次元座標に対する基準位置Ｐの相対位置を算出してメモリ３５に記録する。
【００６８】
図９は、選択されたテンプレート画像選択領域Ｓを示す表示画像である。表示画像において、左上を原点とし、横軸をＸ軸、縦軸をＹ軸とし、表示画像上のＸ軸座標がｘで、Ｙ軸座標がｙの座標を（ｘ、ｙ）として示す。
図９に示す例においては、基準位置Ｐの左上側に隣接する隣接領域がテンプレート画像選択領域Ｓとして選択されている。この場合、テンプレート画像選択領域Ｓが一辺の画素数がｄの正方領域とすると、テンプレート画像選択領域Ｓの中心ＳＯに対する基準位置Ｐの相対位置は（ｄ／２、ｄ／２）となる。
【００６９】
次に、制御部３３はステップＳ１６を実行する。ステップＳ１６以降、制御部３３は内視鏡２の「基準位置追尾処理」の制御を開始する。
【００７０】
ステップＳ１６において、制御部３３は、起動指示後の表示画像に対して、ステップＳ１５で記憶したテンプレート画像を用いたテンプレートマッチング処理を行い、テンプレート画像が含まれると判定した画像領域（テンプレート画像検出領域Ｄ）の中心ＤＯの座標を検出する（基準画像検出工程）。マッチング処理には、公知のテンプレートマッチング手法から適宜選択した手法が用いられる。
【００７１】
制御部３３は、テンプレート画像検出領域Ｄの中心ＤＯの座標から、基準位置Ｐの相対位置に基づいて、基準位置Ｐの現在の位置を算出する。
図１０は、検出されたテンプレート画像検出領域Ｄを示す表示画像である。
ステップＳ１５のテンプレート画像の選択時において、テンプレート画像選択領域Ｓの中心ＳＯに対する基準位置Ｐの相対位置は（ｄ／２、ｄ／２）であったため、テンプレート画像検出領域Ｄの中心ＤＯの座標（Ｘｒ，Ｙｒ）に対する基準位置Ｐの相対位置も（ｄ／２、ｄ／２）である。そのため、図１０に示すように、現在の基準位置Ｐの座標は（Ｘｒ＋ｄ／２，Ｙｒ＋ｄ／２）となる。
次に、制御部３３はステップＳ１７を実行する。
【００７２】
なお、ステップＳ１６は、ステップＳ１５の直後に行う場合、テンプレートマッチング処理を省略し、ステップＳ１５で記録した「選択したテンプレート画像選択領域Ｓ」を、ステップＳ１６における「検出したテンプレート画像検出領域Ｄ」としてもよい。ステップＳ１５からステップＳ１６までの経過時間が短いため、患者の呼吸等により腹腔内の臓器、組織が移動する等の理由で、テンプレート画像選択領域Ｓとテンプレート画像検出領域Ｄとが異なる領域になる可能性が低いためである。
【００７３】
ステップＳ１７において、制御部３３は、内視鏡を作動させ、基準位置Ｐが表示画像の中央（目標位置）に位置するように、内視鏡２に基準位置Ｐを追尾させる必要があるかを判定する。
基準位置Ｐの座標（Ｘｒ＋ｄ／２，Ｙｒ＋ｄ／２）が、表示画像の中央（目標位置）に一致する場合、内視鏡２に基準位置Ｐを追尾させる必要がないと判定する。ここで、座標一致の判断に際して、１０画素程度の差があった場合であっても、一致していると判断してもよい。尚、画素の差は任意に設定できてもよい。
内視鏡２に基準位置Ｐを追尾させる必要がないと判定した場合、制御部３３は次にステップＳ１９を実行する。
【００７４】
一方、図１０に示すように、基準位置Ｐの座標（Ｘｒ＋ｄ／２，Ｙｒ＋ｄ／２）が、表示画像の中央（目標位置）に一致していない場合、内視鏡２に基準位置Ｐを追尾させる必要があると判定する。
内視鏡２に基準位置Ｐを追尾させる必要があると判定した場合、制御部３３は次にステップＳ１８を実行する。
【００７５】
ステップＳ１８において、制御部３３は、基準位置Ｐの座標（Ｘｒ＋ｄ／２，Ｙｒ＋ｄ／２）が、表示画像の中央（目標位置）に一致するように、内視鏡２に基準位置Ｐを追尾させる。制御部３３は、表示画像上の基準位置Ｐの座標と、表示画像の中央（目標位置）の座標から、アーム２１の関節２３の動作量を算出する。制御部３３は、駆動部３１を制御して関節２３を駆動する（内視鏡駆動工程）。
【００７６】
ここで、制御部３３は、基準位置Ｐの最大移動量を規定してもよい。ステップＳ１７において、内視鏡２を作動させて、基準位置Ｐを表示画像の中央（目標位置）に近づける途中に、基準位置Ｐの移動量が最大移動量に達した場合、制御部３３は、内視鏡２を作動を停止し、次にステップＳ１９を実行する。すなわち、この場合、ステップＳ１８終了時点では、基準位置Ｐの座標と表示画像の中央（目標位置）の座標とは一致していない。制御部３３は、ステップＳ１６からステップＳ１８を複数回実行することで、基準位置Ｐの座標と、表示画像の中央（目標位置）の座標とを一致させる。
【００７７】
最大移動量を規定すれば、例えば、基準位置Ｐと表示画像の中央（目標位置）とが大きく離れている場合、内視鏡Ｐが一度に大きく移動して、表示画像が急激に変更されることを防止できる。
【００７８】
また、ステップＳ１８において、内視鏡２を作動させている最中に、患者の呼吸等により腹腔内の臓器、組織が移動する等の理由により、制御部３３が認識している基準位置Ｐと、本来基準位置Ｐとして認識される位置とが、一致しなくなる場合がある。ステップＳ１６からステップＳ１８を複数回実行することで、基準位置Ｐの座標と、表示画像の中央（目標位置）の座標とを一致させれば、上記の場合も、本来基準位置Ｐとして認識される位置と、表示画像の中央（目標位置）とを、一致させることができる。
【００７９】
ステップＳ１９において、制御部３３は、起動部５３の入力を確認し、入力がオフの場合は、ステップＳ２０を実行して、「基準位置追尾処理」の制御を終了する。入力が依然としてオンの場合は、制御部は、次にステップＳ１６を再度実行する。
【００８０】
図１１は、基準位置Ｐと表示画像の中央（目標位置）とが一致した表示画像である。制御部３３は、ステップＳ１６からステップＳ１８を複数回実行することで、基準位置Ｐと、表示画像の中央（目標位置）とを一致させることができる。
【００８１】
術者は、異なる処置対象部位を処置する際は、起動部５３の入力をオフに変更し、「基準位置追尾処理」の制御を終了させる。術者は、処置具１の先端（基準位置指定部）を新たな処置対象部位の中央付近を指し示すまで移動させ、起動部５３の入力を再度オンにする。制御部３３は、処置具１の先端（基準位置指定部）によって指示された位置を新たな基準位置Ｐとして「基準位置認識処理」および「基準位置追尾処理」を開始する。
【００８２】
（第一実施形態の効果）
本実施形態の医療システム１００によれば、術者が指示した基準位置Ｐが表示画像の中央（目標位置）に位置するように内視鏡２が自動操作され、処置に最適な内視鏡２の視野を提供することができる。処置具１の先端を常に追従する画像ではなく、指定した関心領域が含まれる画像が提供される。
【００８３】
本実施形態の医療システム１００によれば、術者が指示した基準位置Ｐを、テンプレート画像（基準画像）が含まれると判定した位置からの相対位置で認識することができ、画像処理により容易に基準位置Ｐを認識し、かつ、追尾することができる。
【００８４】
本実施形態の医療システム１００によれば、基準位置Ｐの特定に適さない処置具等が表示される領域を除外領域とし、除外領域以外からテンプレート画像（基準画像）を選択する。そのため、術者が指示した基準位置Ｐを確実に特定できるテンプレート画像（基準画像）を設定することができる。
【００８５】
本実施形態の医療システム１００によれば、基準位置Ｐに隣接している接触領域を優先してテンプレート画像選択領域Ｓとして選択している。そのため、例えば、内視鏡の撮像視野角度が変更されるように内視鏡２が移動された場合であっても、テンプレートマッチング処理のマッチング精度を維持しやすい。
また、本実施形態の医療システム１００によれば、基準位置Ｐに隣接している接触領域を優先してテンプレート画像選択領域Ｓとして選択できない場合であっても、非接触領域をテンプレート画像選択領域Ｓとして選択することができる。
【００８６】
本実施形態の医療システム１００によれば、内視鏡２の一回の作動における基準位置Ｐの最大移動量を規定することで、表示画像中の視野が急激に変更されることを防ぐことができる。
【００８７】
（変形例）
以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の第一実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
【００８８】
上記の実施形態では、内視鏡のアームを操作して内視鏡の撮像位置を変更することで表示画像を変更していたが、表示画像の変更方法はこれに限定されない。画像処理部が、内視鏡の撮像画像から一部の領域を切り出して表示画像を生成する機能を有し、画像を切り出す位置を変更することで、表示画像を変更してもよい。アームを有していない内視鏡の場合であっても、表示画像を変更することができる。
【００８９】
図１２は、内視鏡２の変形例である内視鏡２Ｂを示す全体構成例である。内視鏡２Ｂは、挿入部２０の先端に能動湾曲部２３Ｂを有している。術者は、内視鏡２Ｂを持って内視鏡２Ｂを移動させることで、内視鏡２の撮像部２２の位置や向きを変更することができる。また、能動湾曲部２３Ｂを湾曲させることで、撮像部２２の位置や向きを変更することができる。
内視鏡２に代えて、内視鏡２Ｂを使用する場合であっても、制御部３３は、能動湾曲部２３Ｂを駆動することで、表示画像を変更することができる。
【００９０】
上記の実施形態では、術者が基準位置Ｐを指定するために使用する基準位置指定部は、処置部１２の先端であったが、基準位置指定部はこれに限定されない。基準位置指定部は、一対の把持部材１２ａの代わりに、高周波ナイフを搭載した処置具の先端であってもよい。
また、ＬＣＤディスプレイの表示装置４と、タッチパネルの操作入力部５１とが、一体に構成されている場合、基準位置の指定を、タッチパネルへの入力により行ってもよい。
【００９１】
上記の実施形態では、除外領域は表示画像中に表示される処置具１と補助処置具１Ｓの占める領域であったが、除外領域はこれに限定されない。「内視鏡の撮像部に付着した血やゴミなどの障害物」や「ガーゼなどの処置に使用するもの」等の、基準位置Ｐとの相対位置を特定できないものが表示される領域を除外領域としてさらに設定してもよい。術者が指示した基準位置Ｐを、より確実に特定できるテンプレート画像（基準画像）を設定することができる。
【００９２】
上記の実施形態では、基準位置Ｐが表示画像の中央（目標位置）に位置するように、内視鏡２が自動操作されていたが、基準位置Ｐを追尾する位置（目標位置）は、表示画像の中央に限定されない。目標位置は、表示画像の中央以外であってもよい。例えば、表示装置４が二台のＬＣＤモニタで構成されている場合、いずれかのモニタの表示画像の中央を、目標位置としてもよい。
【００９３】
上記の実施形態では、制御部３３は、ステップＳ１４において、非隣接領域の中心から基準位置Ｐまでの最短距離が最も小さい非隣接領域をテンプレート画像選択領域Ｓとして選択していたが、非隣接領域からテンプレート画像選択領域Ｓを選択する方法はこれに限定されない。制御部３３は、非隣接領域の中心から基準位置Ｐまでの最短距離が小さい非隣接領域で、かつ、テンプレート画像に適した特徴量が大きい領域を選択してもよい。テンプレートマッチングの精度を向上させることができる。
【００９４】
（第二実施形態）
本発明の第二実施形態について、図１３から図１５を参照して説明する。本実施形態は、基準位置Ｐを特定できるテンプレート画像（基準画像）が複数選択される点が第一実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
【００９５】
本実施形態に係る医療システム２００の全体構成は、第一実施形態に係る医療システム１００と同じである。医療システム２００は、医療システム１００と比較して、「基準位置認識処理」および「基準位置追尾処理」の制御が異なる。
【００９６】
「基準位置認識処理」において、制御部３３は、第一実施形態と同様の方法により、テンプレート画像選択領域Ｓを、第一テンプレート画像選択領域Ｓ１として選択し、さらに、非隣接領域から、第二テンプレート画像選択領域Ｓ２を選択する。
【００９７】
図１３は、基準位置認識処理を実施している際の表示画像である。
制御部３３は、図１３に示すように、接触領域を確保できる場合、第一実施形態と同様の方法により、隣接領域から一つの隣接領域を第一テンプレート画像選択領域Ｓ１として選択する。
一方、制御部３３は、接触領域を確保できない場合、第一実施形態と同様の方法により、非隣接領域から一つの非隣接領域を第一テンプレート画像選択領域Ｓ１として選択する。
【００９８】
制御部３３は、第一テンプレート画像選択領域Ｓ１の画像を「第一テンプレート画像（第一基準画像）」としてメモリ３５に記録する。また、制御部３３は、テンプレート画像選択領域Ｓ１の中心ＳＯ１の座標に対する基準位置Ｐの相対位置をメモリ３５に記録する。
【００９９】
制御部３３は、図１３に示すように、第一テンプレート画像選択領域Ｓ１から所定の距離だけ離れた非隣接領域の中から、非隣接領域の中心から基準位置Ｐまでの最短距離が最も小さい非隣接領域を、第二テンプレート画像選択領域Ｓ２として選択する。
【０１００】
制御部３３は、第二テンプレート画像選択領域Ｓ２の画像を「第二テンプレート画像（第二基準画像）」としてメモリ３５に記録する。また、制御部３３は、テンプレート画像選択領域Ｓ２の中心ＳＯ２の座標に対する基準位置Ｐの相対位置をメモリ３５に記録する。
【０１０１】
「基準位置追尾処理」において、制御部３３は、第一実施形態と同様の方法により、第一テンプレート画像が含まれると判定した位置からの相対位置から基準位置Ｐを認識して、追尾することできる。さらに、制御部３３は、マッチング処理において第一テンプレート画像が表示画像に含まれないと判定した際は、さらに第二テンプレート画像によるマッチング処理を行い、第二テンプレート画像が含まれると判定した位置からの相対位置から基準位置Ｐを認識して、追尾することできる。
【０１０２】
図１４は、基準位置追尾処理を実施している際の表示画像である。
図１４に示すように、術者が処置部１２を移動させ、表示画像中において処置部１２が、第一テンプレート画像が検出される位置と重なる位置に移動した場合、制御部３３は、マッチング処理により、第一テンプレート画像が表示画像に含まると判定できない。
この場合であっても、図１４に示すように、第二テンプレート画像によるマッチング処理により第二テンプレート画像を検出できる（第二テンプレート画像検出領域Ｄ２）。記録した第二テンプレート画像選択領域Ｓ２の中心ＳＯ２に対する基準位置Ｐの相対位置に基づいて、第二テンプレート画像検出領域Ｄ２の中心ＤＯ２の位置から、現在の基準位置Ｐの位置を認識できる。
【０１０３】
図１５は、基準位置Ｐと表示画像の中央（目標位置）とが一致した表示画像である。制御部３３は、図１５に示すように、一つのテンプレート画像が検出される領域が、処置具１等の除外領域と重なって表示される場合であっても、他のテンプレート画像を用いてマッチング処理を行い、基準位置Ｐを認識して、基準位置Ｐと表示画像の中央（目標位置）とを一致させることができる。
【０１０４】
（第二実施形態の効果）
本実施形態の医療システム２００によれば、一つのテンプレート画像が検出される領域が、処置具１等の除外領域と重なって表示される場合であっても、他のテンプレート画像をテンプレート画像としたマッチング処理を実施することで、基準位置Ｐを認識できれば、基準位置Ｐと表示画像の中央（目標位置）とを一致させることができる。
【０１０５】
本実施形態の医療システム２００によれば、術者が処置対象部位Ｔを処置することにより、処置対象部位Ｔの形状等が変化することで、一つのテンプレート画像を検出できなくなった場合であっても、他のテンプレート画像をテンプレート画像としたマッチング処理を実施することで、基準位置Ｐを認識できれば、基準位置Ｐと表示画像の中央（目標位置）とを一致させることができる。
【０１０６】
（変形例）
以上、本発明の第二実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の第二実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
【０１０７】
上記の実施形態では、テンプレート画像は二個であったが、テンプレート画像の数はこれに限定されない。テンプレート画像は三個以上であってもよい。複数のテンプレート画像が基準位置Ｐの周辺において周方向に均等に並ぶように、複数のテンプレート画像を選択すれば、全てのテンプレート画像領域が、処置具１等の除外領域と重なって表示される事態を好適に防止できる。
【０１０８】
（第三実施形態）
本発明の第三実施形態について、図１６を参照して説明する。本実施形態は、テンプレート画像が更新される点が第一実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
【０１０９】
本実施形態に係る医療システム３００の全体構成は、第一実施形態に係る医療システム１００と同じである。医療システム３００は、医療システム１００と比較して、「基準位置追尾処理」の制御が異なる。基準位置Ｐが表示画像の中央（目標位置）と一致したと判断した際に、テンプレート画像の更新が可能であるかを判定する。
【０１１０】
図１６は、「基準位置追尾処理」において、基準位置Ｐと表示画像の中央（目標位置）とが一致した表示画像である。
基準位置Ｐが表示画像の中央（目標位置）と一致したと判断した後に、基準位置Ｐの周辺に除外領域がない場合、制御部３３は、中央の位置が基準位置Ｐにより近い領域を、新たなテンプレート画像選択領域ＮＳとして選択し、テンプレート画像を更新する。
例えば、図１６が示すように、中央の位置が基準位置Ｐと一致する領域を、新たなテンプレート画像選択領域ＮＳとして選択してもよい。
【０１１１】
（第三実施形態の効果）
本実施形態の医療システム３００によれば、本来追尾したい処置対象部位Ｔを、テンプレート画像に多く含ませることができ、マッチング処理を精度を向上させることができる。
【０１１２】
（第四実施形態）
本発明の第四実施形態について、図１７および図１８を参照して説明する。本実施形態は、テンプレート画像が更新される点が第二実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
【０１１３】
本実施形態に係る医療システム４００の全体構成は、第二実施形態に係る医療システム２００と同じである。医療システム４００は、医療システム２００と比較して、「基準位置追尾処理」の制御が異なる。制御部３３は、マッチング処理において第一テンプレート画像が表示画像に含まれないと判定した際に、第一テンプレート画像の更新が可能であるかを判定する。
【０１１４】
図１７は、「基準位置追尾処理」における表示画像である。制御部３３は、図１７に示すように、第一テンプレート画像が表示画像に含まれないと判定し、第二テンプレート表示画像を検出し、第二テンプレート表示検出画像Ｄ２の位置から基準位置Ｐを認識している。
この処置具１および補助処置具１Ｓの位置から、次の基準位置追尾処理においても、第一テンプレート画像は検出できない可能性が高い。そこで、第一テンプレート画像の更新を実施する。
【０１１５】
図１８は、テンプレート画像の更新を行った表示画像である。
制御部３３は、第一実施形態の基準位置認識処理と同様の方法により、テンプレート画像領域の選択を行う。選択したテンプレート画像領域を、図１８に示すように、新たなテンプレート画像選択領域ＮＳ１として選択し、第一テンプレート画像として更新する。
【０１１６】
（第四実施形態の効果）
本実施形態の医療システム４００によれば、検出できないテンプレート画像を更新することで、全てのテンプレート画像領域が、処置具１等の除外領域と重なって表示される事態を好適に防止できる。
【０１１７】
（変形例）
以上、本発明の第四実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の第四実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
【０１１８】
上記の実施形態では、第一テンプレート画像の更新が可能であるかを判定していたが、テンプレート画像の更新態様はこれに限定されない。第一テンプレートが表示画像に含まれると判断した場合であっても、第二テンプレート画像によるマッチング処理を実施し、第二テンプレート画像が表示画像に含まれないと判断した場合、第二テンプレート画像を更新してもよい。制御部３３は、より確実にマッチングを行えるテンプレート画像を複数個保持することができる。
【０１１９】
（第五実施形態）
本発明の第五実施形態について、図１９から図２１を参照して説明する。本実施形態は、テンプレート画像の選択態様が第一実施形態ないし第四実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
【０１２０】
本実施形態に係る医療システム５００の全体構成は、第一実施形態に係る医療システム１００と同じである。医療システム５００は、医療システム１００と比較して、「基準位置認識処理」の制御が異なる。制御部３３が基準位置Ｐに隣接する「テンプレート画像（基準画像）」を確保できるかを判定する際（判定工程）において、現在の表示画像だけでなく、数秒前の表示画像から「テンプレート画像（基準画像）」を確保できるかを判定する。
【０１２１】
図１９は、起動部５３の入力がオンとなり、制御部３３が判定工程を行う際の表示画像である。図２０は、図１９の表示画像のｔ１時間前の表示画像である。図２１は、図１９の表示画像のｔ１時間前の表示画像である。
医療システム５００の制御部３３は、ｔ１時間前およびｔ２時間前の表示画像をメモリ３５に記録している。
【０１２２】
判定工程において、処置具の先端（基準位置指定部）は、基準位置Ｐを指示するために使用するものであるため、基準位置Ｐの周辺に位置している。そのため、第一実施形態ないし第四実施形態においては、処置具１の先端が占める領域を除外領域とし、除外領域以外からテンプレート画像（基準画像）を選択していた。
しかしながら、術者が、処置具１の先端（基準位置指定部）を基準位置Ｐ移動させる前は、基準位置Ｐの周辺には、処置具１の先端が位置していない可能性が高い。
そこで、起動部５３の入力がオンとなり、制御部３３が判定工程を行う際の表示画像に加えて、数秒前の表示画像からも「テンプレート画像（基準画像）」を確保できるかの判定を行う。
【０１２３】
図１９から図２１が示すように、処置具１の先端は表示画面の右下から基準位置Ｐに近づいてきたことが分かる。図２１が示すように、ｔ２時間前の表示画像では、中央の位置が基準位置Ｐと一致する領域を、テンプレート画像選択領域Ｓとして選択可能である。
【０１２４】
（第五実施形態の効果）
本実施形態の医療システム５００によれば、本来追尾したい処置対象部位Ｔを、テンプレート画像に多く含ませることができ、マッチング処理を精度を向上させることができる。
【０１２５】
（第六実施形態）
本発明の第六実施形態について、図２２および図２３を参照して説明する。本実施形態は、テンプレート画像の検出態様が第一実施形態ないし第五実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
【０１２６】
本実施形態に係る医療システム６００の全体構成は、第一実施形態に係る医療システム１００と同じである。医療システム６００は、医療システム１００と比較して、「基準位置追尾処理」の制御が異なる。制御部３３は、基準画像検出工程において、一つのテンプレート画像も検出できなかった場合にエラー処理を行う。
【０１２７】
制御部３３が基準画像検出工程において、一つのテンプレート画像も検出できなかった場合、例えば、内視鏡２の撮像部２２に血が付着するなどの状況により、テンプレートマッチング処理が正常に実施できない状況が発生している可能性がある。こういった場合、内視鏡２の自動操作を継続すると、内視鏡２が意図しない方向に移動するなど、処置に好ましくない動作を行う可能性がある。そこで、制御部３３は、エラー処理を行う（エラー処理工程）。
【０１２８】
図２２および図２３は、エラー処理における表示画面例である。
例えば、制御部３３は、内視鏡２の自動操作を停止し、図２２に示すように、表示画面にその旨を術者に伝えるエラー表示を示す。また、術者等が内視鏡２の撮像部２２に付着した血をふき取るなどして、テンプレートマッチング処理を正常に実施できるようになった場合は、図２３に示すように、内視鏡２の自動操作を再開可能である旨を術者に伝える表示を表示画面に示す。術者は、起動部５３の入力をオンにすることで、再度、内視鏡２の自動操作を再開することができる。
【０１２９】
（第六実施形態の効果）
本実施形態の医療システム６００によれば、基準位置追尾処理において、基準位置Ｐを追尾できなくなった際に、内視鏡２の自動操作を停止し、内視鏡２の処置に好ましくない動作の発生を防止できる。また、エラー表示を行い、術者にテンプレートマッチング処理が正常に実施できない状況を伝えることができる。
【産業上の利用可能性】
【０１３０】
本発明は、内視鏡を有する医療システムおよび医療システムの作動方法に適用することができる。
【符号の説明】
【０１３１】
１００、２００、３００、４００、５００、６００  医療システム
１      処置具
１Ｓ    補助処置具
１０    挿入部
１０Ｓ  挿入部
１１    操作部
１１Ｓ  操作部
１２    処置部
１２ａ  把持部材
１２Ｓ  処置部
２、２Ｂ  内視鏡
２０    挿入部
２１    アーム
２２    撮像部
２３    関節
２３Ｂ  能動湾曲部
３      制御装置
３１    駆動部
３２    画像処理部
３３    制御部
３５    メモリ
３６    記憶部
３７    入出力制御部
３８    画像演算部
４      表示装置
５      入力装置
５１    操作入力部
５２    モード選択部
５３    起動部
【図１】
2019106711.tif 000003
【図２】
2019106711.tif 000004
【図３Ａ】
2019106711.tif 000005
【図３Ｂ】
2019106711.tif 000006
【図４】
2019106711.tif 000007
【図５】
2019106711.tif 000008
【図６】
2019106711.tif 000009
【図７】
2019106711.tif 000010
【図８】
2019106711.tif 000011
【図９】
2019106711.tif 000012
【図１０】
2019106711.tif 000013
【図１１】
2019106711.tif 000014
【図１２】
2019106711.tif 000015
【図１３】
2019106711.tif 000016
【図１４】
2019106711.tif 000017
【図１５】
2019106711.tif 000018
【図１６】
2019106711.tif 000019
【図１７】
2019106711.tif 000020
【図１８】
2019106711.tif 000021
【図１９】
2019106711.tif 000022
【図２０】
2019106711.tif 000023
【図２１】
2019106711.tif 000024
【図２２】
2019106711.tif 000025
【図２３】
2019106711.tif 000026
【手続補正書】
【提出日】令和2年5月27日(2020.5.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
基準位置指定部を有する処置具と、
電動で駆動されて作動し、複数の撮像画像を取得する内視鏡と、
前記内視鏡により取得された複数の前記撮像画像から対応する複数の表示画像を生成する制御装置と、
前記撮像画像を記憶する記憶装置と、
前記表示画像を表示する表示装置と、
を備え、
前記制御装置は、
前記表示画像において、前記基準位置指定部により指定された任意の位置を基準位置として検出し、
前記表示画像において、前記処置具が表示される領域を除外領域として検出し、前記除外領域を除いた領域から、所定の大きさの領域を基準画像として選択し、
前記基準画像を前記記憶装置に記憶し、
前記基準位置から前記基準画像までの相対位置を算出し、
前記基準画像を選択した後に生成された前記複数の表示画像から前記基準画像を検出し、前記基準画像の位置および前記相対位置から、前記表示画像における前記基準位置を認識し、
前記表示画像において、前記基準位置が前記表示画像の目標位置に一致するように、前記内視鏡を作動させる、
医療システム。
【請求項２】
前記制御装置は、前記基準位置に隣接する隣接領域を前記基準画像として検出する、
請求項１に記載の医療システム。
【請求項３】
前記制御装置は、前記隣接領域の中心から前記除外領域までの距離が最も大きい前記隣接領域の画像を前記基準画像として選択する、
請求項２に記載の医療システム。
【請求項４】
前記制御装置は、前記基準位置に隣接する隣接領域を確保できない場合、前記基準位置に隣接しない非隣接領域から、前記非隣接領域の中心から前記基準位置までの距離が最も小さい前記非隣接領域の画像を前記基準画像として選択する、
請求項２に記載の医療システム。
【請求項５】
前記制御装置は、前記基準位置と前記目標位置とが一致したと判断した際に、前記基準画像を再選択して更新する、
請求項１から請求項４のいずれか一項に記載の医療システム。
【請求項６】
前記制御装置は、前記隣接領域から選択した前記基準画像または前記非隣接領域から選択した基準画像を第１の基準画像として前記記憶装置に記憶させ、さらに前記非隣接領域において前記第１の基準画像を含まない領域から選択した基準画像を第２の基準画像として前記記憶装置に記憶させ、前記基準画像を選択した後に生成された前記表示画像から前記第１の基準画像をいずれも検出できない場合、前記第２の基準画像を前記基準画像とする、
請求項４に記載の医療システム。
【請求項７】
前記制御装置は、前記制御装置を起動させるための起動指示時の前記表示画像から前記基準画像を選択する際、前記起動指示時以前の前記表示画像から前記基準画像を選択する、
請求項１から請求項６のいずれか一項に記載の医療システム。
【請求項８】
前記基準位置指定部は、前記処置具の先端である、
請求項１から請求項７のいずれか一項に記載の医療システム。
【請求項９】
前記目標位置は、前記表示画像の中央である、
請求項１から請求項８のいずれか一項に記載の医療システム。
【請求項１０】
基準位置指定部を有する処置具と、電動で駆動されて作動し、複数の撮像画像を取得する内視鏡と、前記内視鏡により取得された複数の前記撮像画像から対応する複数の表示画像を生成する制御装置と、前記撮像画像を記憶する記憶装置と、前記表示画像を表示する表示装置と、を備える医療システムの作動方法であって、
前記表示画像において、前記基準位置指定部により指定された任意の位置を基準位置として検出する工程と、
前記表示画像において、前記処置具が表示される領域を除外領域として検出し、前記除外領域を除いた領域から、所定の大きさの領域を基準画像として選択する工程と、
前記基準画像を前記記憶装置に記憶する工程と、
前記基準位置から前記基準画像までの相対位置を算出する工程と、
前記基準画像を選択した後に生成された前記複数の表示画像から前記基準画像を検出し、前記基準画像の位置および前記相対位置から、前記表示画像における前記基準位置を認識する工程と、
前記表示画像において、前記基準位置が前記表示画像の目標位置に一致するように、前記内視鏡を作動させる工程と、
を備える、
医療システムの作動方法。
【請求項１１】
前記基準画像を検出する工程は、前記基準位置に隣接する隣接領域を確保できるかを判定して検出する工程を備える、
請求項１０に記載の医療システムの作動方法。
【請求項１２】
前記基準画像を検出する工程は、前記隣接領域を確保できると判定した場合、前記隣接領域の中心から前記除外領域までの距離が最も大きい前記隣接領域の画像を前記基準画像として選択する工程を備える、
請求項１１に記載の医療システムの作動方法。
【請求項１３】
前記基準位置に隣接する隣接領域を確保できないと判定した場合、前記基準画像を検出する工程において、前記基準位置に隣接しない非隣接領域から、前記非隣接領域の中心から前記基準位置までの距離が最も小さい前記非隣接領域の画像を前記基準画像として選択する非隣接領域選択工程を備える、
請求項１０に記載の医療システムの作動方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第一の態様によれば、医療システムは、基準位置指定部を有する処置具と、電動で駆動されて作動し、複数の撮像画像を取得する内視鏡と、前記内視鏡により取得された複数の前記撮像画像から対応する複数の表示画像を生成する制御装置と、前記撮像画像を記憶する記憶装置と、前記表示画像を表示する表示装置と、を備え、前記制御装置は、前記表示画像において、前記基準位置指定部により指定された任意の位置を基準位置として検出し、前記表示画像において、前記処置具が表示される領域を除外領域として検出し、前記除外領域を除いた領域から、所定の大きさの領域を基準画像として選択し、前記基準画像を前記記憶装置に記憶し、前記基準位置から前記基準画像までの相対位置を算出し、前記基準画像を選択した後に生成された前記複数の表示画像から前記基準画像を検出し、前記基準画像の位置および前記相対位置から、前記表示画像における前記基準位置を認識し、前記表示画像において、前記基準位置が前記表示画像の目標位置に一致するように、前記内視鏡を作動させる。
本発明の第二の態様によれば、上述の第一の態様に係る医療システムにおいて、前記制御装置は、前記基準位置に隣接する隣接領域を前記基準画像として検出してもよい。
本発明の第三の態様によれば、上述の第二の態様に係る医療システムにおいて、前記制御装置は、前記隣接領域の中心から前記除外領域までの距離が最も大きい前記隣接領域の画像を前記基準画像として選択してもよい。
本発明の第四の態様によれば、上述の第一の態様または第二の態様に係る医療システムにおいて、前記制御装置は、前記基準位置に隣接する隣接領域を確保できない場合、前記基準位置に隣接しない非隣接領域から、前記非隣接領域の中心から前記基準位置までの距離が最も小さい前記非隣接領域の画像を前記基準画像として選択してもよい。
本発明の第五の態様によれば、上述の第一の態様から第四の態様のいずれか一つの態様に係る医療システムにおいて、前記制御装置は、前記基準位置と前記目標位置とが一致したと判断した際に、前記基準画像を再選択して更新してもよい。
本発明の第六の態様によれば、上述の第四の態様に係る医療システムにおいて、前記隣接領域から選択した前記基準画像または前記非隣接領域から選択した基準画像を第１の基準画像として前記記憶装置に記憶させ、さらに前記非隣接領域において前記第１の基準画像を含まない領域から選択した基準画像を第２の基準画像として前記記憶装置に記憶させ、前記基準画像を選択した後に生成された前記表示画像から前記第１の基準画像をいずれも検出できない場合、前記第２の基準画像を前記基準画像としてもよい。
本発明の第七の態様によれば、上述の第一の態様から第六の態様のいずれか一つの態様に係る医療システムにおいて、前記制御装置を起動させるための起動指示時の前記表示画像から前記基準画像を選択する際、前記起動指示時以前の前記表示画像から前記基準画像を選択してもよい。
本発明の第八の態様によれば、上述第一の態様から第七の態様のいずれか一つの態様に係る医療システムにおいて、前記基準位置指定部は、処置具の先端であってもよい。
本発明の第九の態様によれば、上述第一の態様から第八の態様のいずれか一つの態様に係る医療システムにおいて、前記目標位置は、前記表示画像の中央であってもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明の第十の態様によれば、医療システムの作動方法は、基準位置指定部を有する処置具と、電動で駆動されて作動し、複数の撮像画像を取得する内視鏡と、前記内視鏡により取得された複数の前記撮像画像から対応する複数の表示画像を生成する制御装置と、前記撮像画像を記憶する記憶装置と、前記表示画像を表示する表示装置と、を備える医療システムの作動方法であって、前記表示画像において、前記基準位置指定部により指定された任意の位置を基準位置として検出する工程と、前記表示画像において、前記処置具が表示される領域を除外領域として検出し、前記除外領域および前記基準位置を除いた領域から、所定の大きさの領域を基準画像として選択する工程と、前記基準画像を前記記憶装置に記憶する工程と、前記基準位置から前記基準画像までの相対位置を算出する工程と、前記基準画像を選択した後に生成された前記複数の表示画像から前記基準画像を検出し、前記基準画像の位置および前記相対位置から、前記表示画像における前記基準位置を認識する工程と、前記表示画像において、前記基準位置が前記表示画像の目標位置に一致するように、前記内視鏡を作動させる工程と、を備える。
本発明の第十一の態様によれば、上述の第十の態様に係る医療システムの作動方法において、前記基準画像を検出する工程は、前記基準位置に隣接する隣接領域を確保できるかを判定して検出する工程を備えてもよい。
本発明の第十二の態様によれば、上述の第十一の態様に係る医療システムの作動方法において、前記基準画像を検出する工程は、前記隣接領域を確保できると判定した場合、前記隣接領域の中心から前記除外領域までの距離が最も大きい前記隣接領域の画像を前記基準画像として選択する工程を備えてもよい。
本発明の第十三の態様によれば、上述の第十の態様に係る医療システムの作動方法において、前記基準位置に隣接する隣接領域を確保できないと判定した場合、前記基準画像を検出する工程において、前記基準位置に隣接しない非隣接領域から、前記非隣接領域の中心から前記基準位置までの距離が最も小さい前記非隣接領域の画像を前記基準画像として選択する非隣接領域選択工程を備えてもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
例えば、図４に示すように、基準位置Ｐの右下に除外領域である処置部１２が位置している場合、基準位置Ｐを挟んで処置部１２と反対側にある隣接領域が、除外領域までの距離が最も大きくなる。そのため、この隣接領域がテンプレート画像選択領域Ｓとして選択される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
例えば、図６に示すように、基準位置Ｐが起動指示時の表示画像の上側に位置し、基準位置Ｐの右側に除外領域である処置部１２が位置している場合、基準位置Ｐを挟んで処置部１２と反対側にある隣接領域が、除外領域までの距離が最も大きくなる。そのため、この隣接領域がテンプレート画像選択領域Ｓとして選択される。
次に、制御部３３はステップＳ１５を実行する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
最大移動量を規定すれば、例えば、基準位置Ｐと表示画像の中央（目標位置）とが大きく離れている場合、内視鏡２が一度に大きく移動して、表示画像が急激に変更されることを防止できる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
図１２は、内視鏡２の変形例である内視鏡２Ｂを示す全体構成例である。内視鏡２Ｂは、挿入部２０の先端に能動湾曲部２３Ｂを有している。術者は、内視鏡２Ｂを持って内視鏡２Ｂを移動させることで、内視鏡２Ｂの撮像部２２の位置や向きを変更することができる。また、能動湾曲部２３Ｂを湾曲させることで、撮像部２２の位置や向きを変更することができる。
内視鏡２に代えて、内視鏡２Ｂを使用する場合であっても、制御部３３は、能動湾曲部２３Ｂを駆動することで、表示画像を変更することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
図１９は、起動部５３の入力がオンとなり、制御部３３が判定工程を行う際の表示画像である。図２０は、図１９の表示画像のｔ１時間前の表示画像である。図２１は、図１９の表示画像のｔ２時間前の表示画像である。
医療システム５００の制御部３３は、ｔ１時間前およびｔ２時間前の表示画像をメモリ３５に記録している。
【国際調査報告】
2019106711.tif 000027
2019106711.tif 000028
2019106711.tif 000029