(57)【要約】  挿入部（６）に配設された撮像部（２１）が取得した撮像画像に基づいて、時間的に異なる複数の操作が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する複数操作情報算出部（３２）と、複数操作情報算出部（３２）において算出した複数操作情報に基づいて、挿入部（６）に対する呈示情報を生成する呈示情報生成部（３４）と、を有する。
2020194472.tif 000002
【特許請求の範囲】
【請求項１】
挿入部に配設された撮像部が取得した撮像画像に基づいて、時間的に異なる複数の操作が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する複数操作情報算出部と、  前記複数操作情報算出部において算出した前記複数操作情報に基づいて、前記挿入部に対する呈示情報を生成する呈示情報生成部と、  を備える移動支援システム。
【請求項２】
前記撮像画像を取得し、当該取得した前記撮像画像に基づいて少なくとも前記複数操作対象シーン含むシーンを検出するシーン検出部をさらに備え、  前記複数操作情報算出部は、前記シーン検出部が検出した前記複数操作対象シーンに対応した前記複数操作情報を算出する  ことを特徴とする請求項１に記載の移動支援システム。
【請求項３】
前記シーン検出部が検出した前記複数操作対象シーンに係る情報と、前記複数操作情報算出部が算出した前記複数操作情報に係る情報と、の少なくとも一方の情報を記録可能とする記録部をさらに備え、  前記複数操作情報算出部は、前記記録部に記録された前記情報に基づいて前記複数操作情報を算出する  ことを特徴とする請求項２に記載の移動支援システム。
【請求項４】
前記複数操作対象シーンは、折りたたみ管腔のシーンを含み、  前記複数操作情報は、前記折りたたみ管腔に対して前記挿入部を潜り込ませる操作方向である  ことを特徴とする請求項１〜３のいずれか１項に記載の移動支援システム。
【請求項５】
前記複数操作対象シーンは、折りたたみ管腔を見失ったシーンを含み、  前記複数操作情報は、見失った前記折りたたみ管腔の方向と、見失った前記折りたたみ管腔に対して前記挿入部を潜り込ませる操作方向である  ことを特徴とする請求項１〜３のいずれか１項に記載の移動支援システム。
【請求項６】
前記シーン検出部は、機械学習の手法を用いて前記シーンを判定する  ことを特徴とする請求項２に記載の移動支援システム。
【請求項７】
前記シーン検出部は、前記撮像画像における特徴量を用いて前記シーンを判定する  ことを特徴とする請求項２に記載の移動支援システム。
【請求項８】
前記複数操作情報算出部は、機械学習の手法を用いて前記複数操作情報を算出する  ことを特徴とする請求項１に記載の移動支援システム。
【請求項９】
前記複数操作情報算出部は、時間的に異なる複数の操作が必要なシーンである複数操作対象シーンに対応した前記撮像画像をインプットとして機械学習を行い、得られた学習済みモデルを使用し前記複数操作情報を算出する  ことを特徴とする請求項８に記載の移動支援システム。
【請求項１０】
前記複数操作情報算出部は、前記撮像画像における特徴量を用いて前記複数操作情報を算出する  ことを特徴とする請求項１に記載の移動支援システム。
【請求項１１】
前記複数操作情報算出部は、前記複数操作情報の尤度を算出し、あらかじめ設定する前記複数操作情報の尤度に対する閾値より低い場合は前記複数操作情報の確度が低い旨の情報を呈示する  ことを特徴とする請求項１〜３のいずれか１項に記載の移動支援システム。
【請求項１２】
前記シーン検出部は、検出するシーンの尤度を算出し、当該シーンの情報と紐づけて前記複数操作情報算出部に出力し、  前記複数操作情報算出部は、前記シーンの尤度が、あらかじめ設定する前記シーンの尤度に対する閾値より低い場合は、前記複数操作情報の確度が低い旨の情報を呈示する  ことを特徴とする請求項２または３に記載の移動支援システム。
【請求項１３】
前記移動支援システムを使用中に取得したデータを、外部に設けられた学習用コンピュータで学習するためのデータとして出力するための、学習用データ処理部をさらに有する  ことを特徴とする請求項１〜３のいずれか１項に記載の移動支援システム。
【請求項１４】
前記呈示情報生成部が生成する前記呈示情報は、前記挿入部の挿入操作の少なくとも一部を自動で行う自動挿入装置の制御信号である  ことを特徴とする請求項１に記載の移動支援システム。
【請求項１５】
前記呈示情報生成部は、前記複数操作に関する所定の操作量に係る情報を前記呈示情報として生成する  ことを特徴とする請求項１に記載の移動支援システム。
【請求項１６】
前記呈示情報生成部は、前記複数操作の進捗状況に係る情報を前記呈示情報として生成する  ことを特徴とする請求項１に記載の移動支援システム。
【請求項１７】
挿入部に配設された撮像部が取得した撮像画像に基づいて、時間的に異なる複数の操作が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する複数操作情報算出ステップと、  前記複数操作情報算出ステップにおいて算出した前記複数操作情報に基づいて、前記挿入部に対する呈示情報を生成する呈示情報生成ステップと、  を有する移動支援方法。
【請求項１８】
コンピュータに、  挿入部に配設された撮像部が取得した撮像画像に基づいて、時間的に異なる複数の操作が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する複数操作情報算出ステップと、  前記複数操作情報算出ステップにおいて算出した前記複数操作情報に基づいて、前記挿入部に対する呈示情報を生成する呈示情報生成ステップと、  を実行させるための移動支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、移動支援システム、移動支援方法、および移動支援プログラムに関し、特に、被検体の管腔内に内視鏡の挿入部先端部を挿入する際における、当該挿入部先端部の挿入動作を支援する移動支援システム、移動支援方法、および移動支援プログラムに関する。
【背景技術】
【０００２】  従来、被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成するビデオプロセッサ等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。【０００３】  ここで、内視鏡を用いて被検体内の管腔内に挿入部先端部を挿入する際、術者にとって挿入部の進行方向の判断が難しい場面が発生する。例えば、大腸内視鏡の挿入操作において、大腸が屈曲することにより管腔が折りたたまれた状態になる、または、つぶれた状態になる場合がある（以下、このような管腔の状態を、総称して「折りたたみ管腔」と呼ぶ）。このような場合には、術者は、内視鏡の挿入部先端部を折りたたみ管腔に潜り込ませる必要があるが、術者が内視鏡操作に不慣れな場合、折りたたみ管腔に対して、どの方向に潜り込ませればよいか判断に迷うことがあった。【０００４】  すなわち、上述の如き「折りたたみ管腔」が現れた場合、この後に挿入部先端部を当該折りたたみ管腔に潜り込ませる操作は、例えば、内視鏡の操作上、挿入部先端部のPUSH操作→アングル操作というように、時間的に異なる複数の操作が必要になることが一例として想定される。しかし、内視鏡操作に不慣れな術者の場合、これより先に採り得る複数の操作を的確に想定し実行することは困難であると考えられる。【０００５】  日本国特開２００７-２８２８５７号公報には、シーンを特徴量から分類し、複数の特徴量がある場合でも主要な特徴量のクラスを算出してその特徴量に対応した挿入方向算出を行うことで、精度の良い挿入方向を表示する挿入方向の検出装置が示されている。【０００６】  また、ＷＯ２００８／１５５８２８号公報には、挿入部の位置情報を位置検出手段により検出して記録し、管腔を見失った場合に記録した位置情報に基づいて挿入方向を算出する技術について示されている。【０００７】  上述した日本国特開２００７-２８２８５７号公報に示された技術は、内視鏡の挿入部先端部を進めるべき１つの方向を術者に呈示するものである。しかし、「折りたたみ管腔」のように、時間的に複数の操作が必要な場面に対しては十分な情報を呈示することができていない。すなわち、術者がこの後、挿入部先端部をどのように潜り込ませればよいかについては呈示するものではない。【０００８】  また、ＷＯ２００８／１５５８２８号公報には、位置検出手段が挿入部の位置を検出し、記録した情報に基づいて見失った管腔の方向を算出するものの、術者に呈示し得る情報は、これより挿入部先端部を進めるべき１つの方向のみであり、やはり上記同様に、時間的に複数の操作が必要な場面に対しては十分な情報を呈示することができていない。【０００９】  本発明は上述した事情に鑑みてなされたものであり、被検体の管腔内に内視鏡の挿入部先端部を挿入する際、これより先に採り得る操作が、時間的に複数必要な場面に対して的確な情報を呈示する移動支援システムを提供する。
【発明の開示】
【課題を解決するための手段】
【００１０】  本発明の一態様の移動支援システムは、挿入部に配設された撮像部が取得した撮像画像に基づいて、時間的に異なる複数の操作が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する複数操作情報算出部と、前記複数操作情報算出部において算出した前記複数操作情報に基づいて、前記挿入部に対する呈示情報を生成する呈示情報生成部と、を備える。【００１１】  本発明の一態様の移動支援方法は、挿入部に配設された撮像部が取得した撮像画像に基づいて、時間的に異なる複数の操作が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する複数操作情報算出ステップと、前記複数操作情報算出ステップにおいて算出した前記複数操作情報に基づいて、前記挿入部に対する呈示情報を生成する呈示情報生成ステップと、を有する。【００１２】  本発明の一態様の移動支援プログラムは、コンピュータに、挿入部に配設された撮像部が取得した撮像画像に基づいて、時間的に異なる複数の操作が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する複数操作情報算出ステップと、前記複数操作情報算出ステップにおいて算出した前記複数操作情報に基づいて、前記挿入部に対する呈示情報を生成する呈示情報生成ステップと、を実行させる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の第１の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図である。
【図２】図２は、第１の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。
【図３】図３は、第１の実施形態に係る移動支援システムを含む内視鏡システムの変形例を示すブロック図である。
【図４】図４は、本発明の第２の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図である。
【図５】図５は、第２の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。
【図６】図６は、第２の実施形態の移動支援システムにおけるシーン検出部および呈示情報生成部の作用を示したフローチャートである。
【図７】図７は、第１、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。
【図８】図８は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の他の呈示例を示した説明図である。
【図９】図９は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の他の呈示例を示した説明図である。
【図１０】図１０は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の呈示情報の確度が低い場合における付随情報の一呈示例を示した説明図である。
【図１１】図１１は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の呈示情報に付加する情報の一例を示した説明図である。
【図１２】図１２は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の呈示情報に付加する情報の一例を示した説明図である。
【図１３】図１３は、第２の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する「挿入部に係る操作ガイド」の一呈示例を示した説明図である。
【図１４】図１４は、第２の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する「挿入部に係る操作ガイド」の呈示情報の確度が低い場合における付随情報の一呈示例を示した説明図である。
【図１５】図１５は、第２の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する「挿入部に係る操作ガイド」の一呈示例を示した説明図である。
【図１６】図１６は、第２の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する「挿入部に係る操作ガイド」の呈示情報の確度が低い場合における付随情報の一呈示例を示した説明図である。
【図１７】図１７は、本発明の第３の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図である。
【図１８】図１８は、第３の実施形態の移動支援システムにおけるシーン検出部、呈示情報生成部および記録部の作用を示したフローチャートである。
【図１９】図１９は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する「挿入部に係る操作ガイド」の一呈示例を示した説明図である。
【図２０】図２０は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する「挿入部に係る操作ガイド」の他の呈示例を示した説明図である。
【図２１】図２１は、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔を前にした状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。
【図２２】図２２は、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔を前にした状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の他の呈示例を示した説明図である。
【図２３】図２３は、第２、第３の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。
【図２４】図２４は、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。
【図２５】図２５は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。
【図２６】図２６は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の他の呈示例を示した説明図である。
【図２７Ａ】図２７Ａは、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔を前にした状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。
【図２７Ｂ】図２７Ｂは、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔を前にした状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。
【図２８Ａ】図２８Ａは、第２、第３の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。
【図２８Ｂ】図２８Ｂは、第２、第３の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。
【図２９Ａ】図２９Ａは、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。
【図２９Ｂ】図２９Ｂは、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。
【図２９Ｃ】図２９Ｃは、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。
【図３０Ａ】図３０Ａは、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。
【図３０Ｂ】図３０Ｂは、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。
【図３０Ｃ】図３０Ｃは、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。
【図３１】図３１は、本発明の第４の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図である。
【図３２】図３２は、本発明の第５の実施形態に係る移動支援システムおよび自動挿入装置を含む内視鏡システムの構成を示すブロック図である。
【発明を実施するための最良の形態】
【００１４】  以下、本発明の実施の形態について図面を用いて説明する。【００１５】  ＜第１の実施形態＞  図１は、本発明の第１の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図であり、図２は、第１の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。【００１６】  図１に示すように本実施形態に係る内視鏡システム１は、主として、内視鏡２と、図示しない光源装置と、ビデオプロセッサ３と、挿入形状検出装置４と、モニタ５と、を有して構成されている。【００１７】  内視鏡２は、被検体内に挿入される挿入部６と、挿入部６の基端側に設けられた操作部１０と、操作部１０から延設されたユニバーサルコード８と、を有して構成されている。また、内視鏡２は、ユニバーサルコード８の端部に設けられているスコープコネクタを介し、図示しない光源装置に対して着脱自在に接続されるように構成されている。【００１８】  さらに内視鏡２は、スコープコネクタから延出した電気ケーブルの端部に設けられている電気コネクタを介し、ビデオプロセッサ３に対して着脱自在に接続されるように構成されている。また、挿入部６、操作部１０及びユニバーサルコード８の内部には、光源装置から供給される照明光を伝送するためのライトガイド（不図示）が設けられている。【００１９】  挿入部６は、可撓性及び細長形状を有して構成されている。また、挿入部６は、硬質の先端部７と、湾曲自在に形成された湾曲部と、可撓性を有する長尺な可撓管部と、を先端側から順に設けて構成されている。【００２０】  先端部７には、挿入部６の内部に設けられたライトガイドにより伝送された照明光を被写体へ出射するための照明窓（不図示）が設けられている。また、先端部７には、ビデオプロセッサ３から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部２１が設けられている。撮像部２１は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等のイメージセンサを有して構成されている。【００２１】  操作部１０は、操作者（術者）が把持して操作することが可能な形状を具備して構成されている。また、操作部１０には、挿入部６の長手軸に対して交差する上下左右（ＵＤＬＲ）の４方向に湾曲部を湾曲させるための操作を行うことができるように構成されたアングルノブが設けられている。また、操作部１０には、操作者（術者）の入力操作、例えば、レリーズ操作等に応じた指示を行うことが可能な１つ以上のスコープスイッチが設けられている。【００２２】  図示はしないが前記光源装置は、例えば、１つ以上のＬＥＤまたは１つ以上のランプを光源として有して構成されている。また、光源装置は、挿入部６が挿入される被検体内を照明するための照明光を発生するとともに、当該照明光を内視鏡２へ供給することができるように構成されている。また、光源装置は、ビデオプロセッサ３から供給されるシステム制御信号に応じて照明光の光量を変化させることができるように構成されている。【００２３】  挿入形状検出装置４は、ケーブルを介し、ビデオプロセッサ３に対して着脱自在に接続される��うに構成されている。本実施形態において挿入形状検出装置４は、挿入部６に設けられた、例えばソースコイル群から発せられる磁界を検出するとともに、当該検出した磁界の強度に基づいてソースコイル群に含まれる複数のソースコイル各々の位置を取得するように構成されている。【００２４】  また、挿入形状検出装置４は、前述のように取得した複数のソースコイル各々の位置に基づいて挿入部６の挿入形状を算出するとともに、当該算出した挿入形状を示す挿入形状情報を生成してビデオプロセッサ３へ出力するように構成されている。【００２５】  モニタ５は、ケーブルを介してビデオプロセッサ３に対して着脱自在に接続され、例えば、液晶モニタ等を有して構成される。またモニタ５は、ビデオプロセッサ３から出力される内視鏡画像に加え、ビデオプロセッサ３の制御下に、操作者（術者）に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」等を画面上に表示することができるように構成されている。【００２６】  ビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作情報算出部３３と、呈示情報生成部３４と、を有する。【００２７】  画像処理部３１は、内視鏡２から出力される撮像信号を取得し、所定の画像処理を施して時系列の内視鏡画像を生成する。また、ビデオプロセッサ３は画像処理部３１において生成した内視鏡画像をモニタ５に表示させるための所定の動作を行うように構成されている。【００２８】  複数操作情報算出部３２は、内視鏡２における挿入部６に配設された撮像部２１が取得した撮像画像に基づいて、「時間的に異なる複数の操作」が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する。【００２９】  ＜「時間的に異なる複数の操作」が必要なシーン＞  ここで、複数操作情報算出部３２の具体的な特徴について説明するに先立って、「時間的に異なる複数の操作」が必要なシーンである複数操作対象シーンの具体例、およびその問題点について説明する。【００３０】  この「時間的に異なる複数の操作」が必要なシーンの例として、例えば、挿入部６が挿入している被検体の管腔が大腸であるとするとき、当該大腸が屈曲することにより管腔が折りたたまれた状態、または、つぶれた状態である「折りたたみ管腔」が代表的な例である。【００３１】  なお、「時間的に異なる複数の操作」の例としては、例えば、上述した折りたたみ管腔に対して前記挿入部を進行させて潜り込ませる際における複数の操作、すなわち、挿入部を進行させる操作、挿入部を捻る操作、またはこれらの組み合わせ操作等が挙げられる。【００３２】  管腔が「折りたたみ管腔」になっている状態において、いま、挿入部６における先端部７が管腔内に挿入され、その先端面が当該「折りたたみ管腔」に対峙した位置まで到達したとする。このとき、当該「折りたたみ管腔」は管腔が閉じた状態であって、すなわち腸が開いていない状態であるので、その先の管腔の状態を目視することはできず、術者がこの後に採り得る挿入部先端部の進行操作を的確に判断することは困難であると考えられる。【００３３】  このような���況の場合、例えば、閉じた管腔に向けて挿入部先端部を直進させ、該当部位に挿入した後、腸の形状に合わせた方向に湾曲操作させる必要（すなわち、上述したごとき複数の操作（挿入部の進行操作、挿入部の捻り操作等）が必要）があると想定される。このとき、十分に経験を積んだ術者であれば、このような状況においても的確に対処することも可能であると考えられるが、内視鏡操作に不慣れな経験の浅い術者の場合、これより先に採り得る複数の操作を的確に想定することは困難であると考えられる。【００３４】  ここで、例えば、上述した「折りたたみ管腔」に対峙した状況において、挿入部先端部を適切でない方向に挿入した場合、被検体である患者に対して不必要な負担を強いる虞もあることから、経験の浅い術者に対しては的確な操作ガイド情報、すなわち、この後採り得る時系列的に時間が異なる複数の操作ガイド情報を呈示することは極めて有用であると考えられる。【００３５】  本発明の出願人は係る事情に鑑み、内視鏡操作を行う術者が、折りたたみ管腔等の「時間的に異なる複数の操作」要するシーンに対峙した際に、この後に採り得る挿入部先端部の進行操作のガイド情報を的確に呈示する移動支援システムを提供するものである。【００３６】  図１に戻って、複数操作情報算出部３２の具体的な構成の説明を続ける。【００３７】  本第１の実施形態において、複数操作情報算出部３２は、画像処理部３１から入力される画像に対して、機械学習による手法等を用いて得られた学習モデルに基づいて、または、特徴量を検出する手法を用いて、折りたたまれた箇所の奥方向を直接見ることができない場面に対し、腸の形状の特徴情報を加味し、当該複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する。【００３８】  前記複数操作情報算出部３２は、さらに、複数操作情報の尤度も算出する。また、複数操作情報の尤度に対する閾値をあらかじめ設定しておき、尤度が閾値以上の場合は複数操作対象シーンに対する複数操作情報を呈示情報生成部に出力する。一方、尤度が閾値以下の場合は、画像処理部３１から入力される画像が複数操作対象シーンでない、または、複数操作対象シーンであるが複数操作情報の確度が低いと判断し、複数操作情報を呈示情報生成部に出力しない。【００３９】  ＜本第１の実施形態の複数操作情報算出部における機械学習＞  ここで、本第１の実施形態における複数操作情報算出部３２において採用する機械学習の手法について説明する。【００４０】  図２は、第１の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。【００４１】  本第１の実施形態の移動支援システムにおける複数操作情報算出部３２は、例えば、被検体の大腸等の管腔に係る多数の内視鏡画像情報のうち、時系列的に時間が異なる複数の操作が必要なシーンに係る多数の画像（例えば、上述した折りたたみ管腔に係る画像）から機械学習用の教師データを作成する。【００４２】  具体的に本第１の実施形態に係る複数操作情報算出部３２は、まず、実際の内視鏡検査の動画を収集する。次に、実際の内視鏡検査の動画の中から、「折りたたみ管腔」のように時間的に異なる複数の操作が必要なシーンの画像を、教��データを作成する作業者（以下、アノテーター）の判断で抽出する。アノテーターは折りたたみ管腔に対する挿入方向を判断できるような経験および知識を有することが望ましい。そして、アノテーターは、上記のシーンに続いて行われた「内視鏡操作（時間的に異なる複数の操作）」の情報と、「その内視鏡操作の結果、内視鏡が上手く進んだのか」の情報とを内視鏡動画に映し出される腸壁などの動きに基づいて判断し、分類する。【００４３】  具体的に、例えば内視鏡画像等に基づいて内視鏡挿入部が適切に進行したと推測できる場合、アノテーターは、「内視鏡操作（時間的に異なる複数の操作）」が正解だったと判断する。そしてアノテーターは、「折りたたみ管腔」のように時間的に異なる複数の操作が必要なシーンの画像に対する正解となる「内視鏡操作（時間的に異なる複数の操作）」の情報を紐付けて教師データとする。【００４４】  そして、当該移動支援システムの開発者による指示を受けた所定の装置（コンピュータ）が、作成された当該教師データに基づいてディープラーニング等の機械学習の手法を用いてあらかじめ学習モデルを作成し、複数操作情報算出部３２に組み込む。複数操作情報算出部３２は、当該学習モデルに基づいて、複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する。【００４５】  操作情報演算部３３は、本実施形態においては、挿入形状検出装置４から出力された挿入部の挿入形状情報を取得し、当該情報に基づいて被検体の管腔（例えば、大腸）に挿入された挿入部６に係る従来と同様の操作情報を算出検出する。操作情報は例えば、管腔を見失った場合に、内視鏡画像と挿入形状検出装置４の形状情報に基づいて算出する、管腔の方向情報である。【００４６】  例えば、操作情報算出部３３は、内視鏡画像上の管腔を見失った位置と、挿入形状検出装置４から出力される挿入形状情報等に基づき当該挿入部６の状態を把握し、例えば、挿入部６先端の動きを検出し、当該挿入部６の先端に対する管腔方向の位置を算出する。すなわち、操作すべき方向である操作方向情報を検出する。【００４７】  なお本実施形態において操作情報算出部３３は、内視鏡画像と挿入形状検出装置４の形状情報に基づいて操作方向情報を演算するものとしたが、これに限らず、内視鏡画像のみに基づいて演算してもかまわない。例えば、操作方向検出部３３は、図３に示す変形例のように挿入形状検出装置４を省いた構成において、内視鏡画像上の管腔を見失った位置を算出し、見失った方向を操作方向情報として呈示してもよい。さらに、内視鏡画像の特徴点の移動を検出し、見失った管腔の方向当該挿入部６の先端の動きを検出し、より精度のよい管腔方向を呈示させるようにしてもかまわない。【００４８】  呈示情報生成部３４は、前記複数操作情報算出部３２において算出した前記複数操作情報に基づいて、挿入部６に対する（すなわち、術者に対する）呈示情報、例えば、挿入部６に係る「時間的に異なる複数の操作」の呈示情報を生成し、モニタ５に対して出力する。また、操作情報演算部３３が出力した操作方向情報に基づいた呈示情報を生成し、モニタ５に出力する。【００４９】  ここで、第１の実施形態における呈示情報生成部３４に係る「時間的に異なる複数の操作」の呈示の具体例について説明する。【００５０】  呈示情報生成部３４は、具体的には、図７（第２の実施形態に係る表示例として説明する）に示す如きモニタ５に表示される内視鏡画像において管腔８１が表示されている際、挿入部６の先端部７が対峙する位置に折りたたみ管腔８２が位置する場合、複数操作情報算出部３２において算出した前記複数操作情報に基づいて、モニタ５の画面上に、例えば、操作ガイド表示６１を呈示する。【００５１】  この操作ガイド表示６１は、折りたたみ管腔８２に対して挿入部６の先端部７を進行操作するにあたって、時系列的に時間的に異なる複数の操作を示すガイドであって、本第１の実施形態においては、第１段階の略直進方向操作に対応する第１操作ガイド表示６１ａと、当該第１段階の略直進方向操作の後、折りたたみ管腔８２を潜り抜けた後の第２段階の湾曲方向操作に対応する第２操作ガイド表示６１ｂと、を組み合わせた矢印表示となっている。【００５２】  この操作ガイド表示６１は、当該ガイド表示を見た術者が直感的に、上述した２段階（複数段階）の進行操作が望ましいことを認識できるユーザーインターフェースデザインにより構成されている。例えば、第１操作ガイド表示６１ａの矢印根本部分から第２操作ガイド表示６１ｂの矢印先端部分にかけて特徴的なテーパー曲線を含み、または、グラデーション表示にする等の工夫がなされている。【００５３】  なお、本実施形態においては、この操作ガイド表示６１は矢印形状を呈するものとしたが、これに限らず、術者が直感的に複数段階の進行操作を認識できる表記であれば、その他の記号、アイコンであってもよく、また、矢印の方向も左右方向等に限らず、多方向（例えば、８方向）表示でもよく、あるいは無段階方向の表示でもよい。【００５４】  これら操作ガイド表示６１に係る他の表示例については、後述する第２の実施形態において例示する。【００５５】  なお本実施形態において呈示情報生成部３４は、前記複数操作に関する所定の操作量に係る情報を前記呈示情報として生成し、モニタ５に対して出力してもよく、または、前記複数操作の進捗状況に係る情報を前記呈示情報として生成し、モニタ５に対して出力してもよい。【００５６】  さらに、ビデオプロセッサ３は、内視鏡２、光源装置、挿入形状検出装置４等の動作を制御するための様々な制御信号を生成して出力するように構成されている。【００５７】  なお本実施形態においてビデオプロセッサ３の各部は、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、ビデオプロセッサ３が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。【００５８】  ＜第１の実施形態の効果＞  本第１の実施形態における移動支援システムにおいては、内視鏡操作を行う術者が、折りたたみ管腔等の「時間的に異なる複数の操作」を要するシーン（例えば、腸が開いていない状態であることからその先の管腔の状態を目視することはできず、術者がこの後に採り得る挿入部先端部の進行操作���的確に判断することは困難なシーン等）に対峙した際に、この後に採り得る挿入部先端部の進行操作のガイド情報を的確に呈示することができる。よって内視鏡操作の挿入性を改善できる。【００５９】  ＜第２の実施形態＞  次に、本発明の第２の実施形態について説明する。【００６０】  本第２の実施形態の移動支援システムは、第１の実施形態に比して、ビデオプロセッサ３内にシーン検出部を備え、画像処理部３１からの撮像画像からシーンを検出して管腔の状態を分類し、この分類に応じた挿入部６の進行操作ガイドを呈示することを特徴とする。【００６１】  その他の構成は第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。【００６２】  図４は、本発明の第２の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図であり、図５は、第２の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。また、図６は、第２の実施形態の移動支援システムにおけるシーン検出部および呈示情報生成部の作用を示したフローチャートである。【００６３】  図４に示すように本実施形態に係る内視鏡システム１は、第１の実施形態と同様に、主として、内視鏡２と、図示しない光源装置と、ビデオプロセッサ３と、挿入形状検出装置４と、モニタ５と、を有して構成されている。【００６４】  内視鏡２は、第１の実施形態と同様の構成をなし、挿入部６は、硬質の先端部７と、湾曲自在に形成された湾曲部と、可撓性を有する長尺な可撓管部と、を先端側から順に設けて構成されている。【００６５】  また先端部７には、ビデオプロセッサ３から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部２１が設けられている。撮像部２１は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等のイメージセンサを有して構成されている。【００６６】  本第２の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作情報算出部３３と、呈示情報生成部３４と、の他、シーン検出部３５を有する。【００６７】  画像処理部３１は、第１の実施形態と同様に、内視鏡２から出力される撮像信号を取得し、所定の画像処理を施して時系列の内視鏡画像を生成し、画像処理部３１において生成した内視鏡画像をモニタ５に表示させるための所定の動作を行うように構成されている。【００６８】  シーン検出部３５は、画像処理部３１からの撮像画像を元にして、機械学習による手法、または特徴量を検出する手法を用いて、内視鏡画像の状態を分類する。分類の種類は、例えば、「折りたたみ管腔」、「腸壁へ押し込み」、「憩室」、その他（通常の管腔などガイドが不要な状態）である。【００６９】  なお、本実施形態においては、シーン検出部３５が検出するシーンの例を「折りたたみ管腔」、「腸壁へ押し込み」、「憩室」、「その他」としたが、呈示情報の内容などに応じてその他のシーンを検出するようにしてもかまわない。例えば、操作（挿���、湾曲、回転）した方向と量、開いた管腔、管腔／折りたたみ管腔を見失った状態、腸壁への押し込み、腸壁への近接、憩室、大腸の部位（直腸、Ｓ状結腸、下降結腸、脾湾曲、横行結腸、肝湾曲、上向結腸、盲腸、回盲部、バウヒンベン、回腸）、観察を阻害する物質や状態（残渣、泡、血液、水、ハレーション、光量不足）などのシーンを検出するようにしてもかまわない。【００７０】  ＜本第２の実施形態のシーン検出部３５における機械学習＞  ここで、本第２の実施形態におけるシーン検出部３５において採用する機械学習の手法について説明する。【００７１】  図５は、第２の実施形態の移動支援システムにおいて採用する機械学習の手法を説明する図である。【００７２】  本第２の実施形態の移動支援システムにおけるシーン検出部３５は、例えば、被検体の大腸等の管腔に係る多数の内視鏡画像情報を収集する。次に、当該内視鏡画像情報に基づいてアノテーターが、「折りたたみ管腔」のように時間的に異なる複数の操作が必要なシーンの画像であるか判断する。【００７３】  そしてアノテーターは、内視鏡画像に対して「折りたたみ管腔」のようなシーンの分類ラベルを当該内視鏡画像に対して紐付けて教師データとする。また、同様の手法により、「腸壁への押し込み」、「憩室」、その他（通常の管腔などガイドが不要な状態）の教師データも作成する。【００７４】  さらに、当該移動支援システムの開発者による指示を受けた所定の装置（コンピュータ）が、作成された当該教師データに基づいてディープラーニング等の機械学習の手法を用いてあらかじめ学習モデルを作成し、シーン検出部３５に組み込む。シーン検出部３５は、当該学習モデルに基づいて、管腔のシーンを分類する。例えば、「折りたたみ管腔」、「腸壁へ押し込み」、「憩室」、「その他（通常の管腔などガイドが不要な状態）」に分類する。【００７５】  シーン検出部３５はさらに、折りたたみ管腔８２（図７参照）への挿入操作中か否かを検出する。当該検出は、例えば、折りたたみ管腔８２を検出した後、挿入部６の動きを３Ｄ−ＣＮＮで時間的な変化から検出する。またはオプティカルフローの技術により検出する。【００７６】  複数操作情報算出部３２は、シーン検出部３５において検出されたシーンが、「折りたたみ管腔」である場合、第１の実施形態と同様に、内視鏡２における挿入部６に配設された撮像部２１が取得した撮像画像に基づいて、「時間的に異なる複数の操作」が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する。【００７７】  ここで、本第２の実施形態における複数操作情報算出部３２は、第１の実施形態と同様に、機械学習による手法等を用いて得られた学習モデルに基づいて、または、特徴量を検出する手法を用いて、折りたたまれた箇所の奥方向を直接見ることができない場面に対し、腸の形状の特徴情報を加味し、当該複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する。【００７８】  また本第２の実施形態において呈示情報生成部３４は、前記複数操作情報算出部３２において算出した前記複数操作情報に基づいて、挿入部６に対する（すなわち、術者に対する）呈示情��、例えば、挿入部６に係る「時間的に異なる複数の操作」の呈示情報を生成し、モニタ５に対して出力する。【００７９】  ＜第２の実施形態の作用＞  次に、本第２の実施形態の画像記録装置の作用について図６に示すフローチャートを参照して説明する。【００８０】  まず、第２の実施形態の移動支援システムにおけるビデオプロセッサ３が稼働開始すると、まずシーン検出部３５がシーンを検出する。ここで、シーン検出部３５は、画像処理部３１から取得した内視鏡の撮像画像から機械学習による手法、または、特徴量を検出する手法を用いて、内視鏡画像のシーンを分類する（ステップＳ１）。次に、複数操作情報算出部３２はシーン検出部が検出したシーンの種類に応じた演算を行う（ステップＳ２）。【００８１】  ここで、シーン検出部３５が挿入部の進行操作ガイドの呈示が不要なシーン（上述した「その他」に分類された場合）を検出した場合は、複数操作情報算出部３２は操作方向の演算を行わない。よって操作の呈示も行わない。これにより不要な呈示が行われる可能性を下げることができる。すなわち、呈示情報の精度を向上できる。また、モニタ５に不要な呈示を行わないことで、術者のモニタ５に対する視認性が向上できる。【００８２】  一方、ステップＳ２において、シーンが「折りたたみ管腔」であった場合は、上述した機械学習による手法、または特徴量を検出する手法により、当該折りたたみ管腔に潜り込ませる方向を検出する（ステップＳ３）。【００８３】  ここで、折りたたみ管腔に潜り込ませる際、単純に挿入するだけでなく、挿入する途中から腸の形状に合わせた方向に湾曲操作させる必要がある。すなわち、折りたたみ管腔においては腸が開いていないので、挿入中の画像から進む方向を認識することが困難なため、挿入前に進む方向を認識する必要があるからである。【００８４】  この後、上述したシーン検出部３５において検出したシーンの尤度、および、複数操作情報算出部３２において算出した進行操作方向の尤度が閾値以上であるか否かを判定し（ステップＳ４）、これら尤度がいずれも閾値以上である場合は、呈示情報生成部３４は、潜り込ませる方向（すなわち、挿入部６における先端部７の折りたたみ管腔８２に対して進行操作するためのガイド情報）を生成し、当該ガイド情報をモニタ５に対して呈示する（ステップＳ５；図７参照）。【００８５】  一方、ステップＳ４において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、呈示結果の確度が低い旨を呈示する（ステップＳ６；図１０参照））。なお、この場合、警告を伴って表示し、術者の判断が必要なことを呈示してもよい。また、シーン検出で観察を阻害する物質（残渣、泡、血液）を検出するようにし、観察を阻害する物質が検出された場合は確度が低いとしてもよい。【００８６】  次に、前記ステップＳ２において、シーン検出部３５が検出したシーンが「腸壁への押し込み」で、折りたたみ管腔への挿入中である場合について説明する（ステップＳ８）。折りたたみ管腔への挿入中は、腸壁へ挿入部６の先端部７を接触させたり、腸に対して危険性の低い弱い力で押しながら挿入させたりすることがあるため、術者が意図して腸壁へ接触や押し込��でいると判断する。そのため、「腸壁への押し込み」シーンであっても、折りたたみ管腔への挿入中である場合は何も呈示しない（ステップＳ７）。【００８７】  一方、ステップＳ８において、折りたたみ管腔の挿入操作中でない場合であって、かつ、上述したシーン検出部３５において検出したシーンの尤度が閾値以上である場合（ステップＳ９）、挿入部６の先端部７を腸へ押し込んで患者に負担をかける虞があるので、挿入部６の引き操作のガイドを呈示する（ステップＳ１０；図１３参照））。呈示情報は引き操作のガイドに限らず、例えば注意を促す呈示などでもかまわない。【００８８】  一方、ステップＳ９において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、上記同様、呈示結果の確度が低い旨を呈示する（ステップＳ１１；図１４参照））。【００８９】  前記ステップＳ２において、シーン検出部３５が検出したシーンが「憩室」である場合であって、当該検出したシーンの尤度が閾値以上である場合（ステップＳ１２）、挿入部６の先端部７を誤って憩室に挿入してしまう虞があるので、憩室の存在、位置を呈示する（ステップＳ１３；図１５参照））。【００９０】  一方、ステップＳ１２において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、上記同様、呈示結果の確度が低い旨を呈示する（ステップＳ１４；図１６参照））。【００９１】  この後、挿入方向ガイド機能を停止するか否かの判定を行い（ステップＳ７）、継続の場合は処理を繰り返す。なお、当該挿入方向ガイド機能の停止は術者が所定の入力装置により停止を指示してもよいし、または、例えば画像処理部３１から出力される撮像画像からシーン検出部３５が盲腸を検出できるようにしておき、盲腸に到達したことを検出したら停止と判断してもよい。【００９２】  ＜第２の実施形態における挿入部に係る操作ガイドの呈示例＞  次に、第２の実施形態における挿入部に係る操作ガイドの呈示例を説明する。【００９３】  図７〜図１２は、第２の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の呈示例を示した説明図である。【００９４】  図７に示す如きモニタ５に表示される内視鏡画像において管腔８１が表示されている際、挿入部６の先端部７が対峙する位置に折りたたみ管腔８２が位置する場合、複数操作情報算出部３２において算出した前記複数操作情報に基づいて、モニタ５の画面上に、例えば、操作ガイド表示６１を呈示する。【００９５】  この操作ガイド表示６１は、折りたたみ管腔８２に対して挿入部６の先端部７を進行操作するにあたって、時系列的に時間的に異なる複数の操作を示すガイドであって、本第１の実施形態においては、第１段階の略直進方向操作に対応する第１操作ガイド表示６１ａと、当該第１段階の略直進方向操作の後、折りたたみ管腔８２を潜り抜けた後の第２段階の湾曲方向操作に対応する第２操作ガイド表示６１ｂと、を組み合わせた矢印表示となっている。【００９６】  この操作ガイド表示６１は、当該ガイド表示を見た術者が直感的に、上述した２段階（複数段階）の進行操作が望ましい���とを認識できるユーザーインターフェースデザインにより構成されている。例えば、第１操作ガイド表示６１ａの矢印根本部分から第２操作ガイド表示６１ｂの矢印先端部分にかけて特徴的なテーパー曲線を含み、または、グラデーション表示にする等の工夫がなされている。【００９７】  なお、本第２の実施形態においては、この操作ガイド表示６１は内視鏡画像の枠外に矢印形状を呈するものとしたが、これに限らず、例えば、図８に示すように、内視鏡画像内の折りたたみ管腔８２の近傍に表示するようにしてもよい。【００９８】  また、術者が直感的に複数段階の進行操作を認識できる表記であれば、その他の記号、アイコンであってもよく、また、図７矢印の方向は、多方向、例えば、図９に示すように８方向のいずれかに表示することも可能である。【００９９】  さらに、折りたたみ管腔８２の位置を分かり易くするために、図１１に示すように囲み線７２で覆ってもよく、また、図１２に示すように太線７３で強調してもよい。ここで、折りたたみ管腔８２の位置は、シーン検出部３５が行う処理の中で、機械学習による手法等を用いて得られた学習モデルに基づいて、または、特徴量を検出する手法を用いて、画像の中の折りたたみ管腔８２の位置も検出しておき、その結果に基づいて表示を行う。【０１００】  一方、上述したステップＳ４において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、図１０に示すように、呈示結果の確度が低い旨を呈示してもよい（符号７１）。【０１０１】  図１３〜図１４は、第２の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する「挿入部に係る操作ガイド」の呈示例を示した説明図である。【０１０２】  上述したステップＳ２において、シーン検出部３５が検出したシーンが「腸壁への押し込み」である場合、折りたたみ管腔の挿入操作中でない場合であって、かつ、上述したシーン検出部３５において検出したシーンの尤度が閾値以上である場合（ステップＳ９）、挿入部６の先端部７を腸へ押し込んで患者に負担をかける虞があるので、図１３に示すように、管腔８１ａが表示される枠外に、挿入部６の引き操作のガイド６２を呈示する。【０１０３】  一方、ステップＳ９において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、図１４に示すように、呈示結果の確度が低い旨を呈示する（符号７１）。【０１０４】  図１５〜図１６は、第２の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する「挿入部に係る操作ガイド」の呈示例を示した説明図である。【０１０５】  上述したステップＳ２において、シーン検出部３５が検出したシーンが「憩室」である場合であって、当該検出したシーンの尤度が閾値以上である場合（ステップＳ１２）、挿入部６の先端部７を誤って憩室８３に挿入してしまう虞があるので、図１５に示すように、管腔８１ｂが表示される枠内において憩室の存在、位置を破線７５等で強調すると共に、管腔８１ｂが表示される枠外において注意を促す（符号７４）。ここで、憩室の位置は、シーン検出部３５が行う処理の中で、機械学習による手法等を用いて得られ���学習モデルに基づいて、または、特徴量を検出する手法を用いて、画像の中の憩室の位置も検出しておき、その結果に基づいて表示を行う。【０１０６】  一方、ステップＳ１２において上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、図１６に示すように、上記同様、呈示結果の確度が低い旨を呈示する（符号７１）。【０１０７】  ＜第２の実施形態の効果＞  本第２の実施形態における移動支援システムにおいては、様々なシーンに応じて、内視鏡操作を行う術者に対してこの後に採り得る挿入部先端部の進行操作のガイド情報を的確に呈示することができる。また、シーンに応じたガイド情報の呈示演算をおこなうことで、精度も向上する。【０１０８】  また、腸への押し込みを行っているシーン、または憩室が存在するシーンに対する進行操作のガイド情報を呈示することで、挿入操作の安全性が向上する。【０１０９】  ＜第３の実施形態＞  次に、本発明の第３の実施形態について説明する。【０１１０】  本第３の実施形態の移動支援システムは、第２の実施形態に比して、ビデオプロセッサ３内に記録部を備え、シーン検出部３５が検出したシーン、および／または、複数操作情報算出部３２が算出した複数操作情報を記録し、例えば挿入部先端部が進むべき管腔方向を見失った際等において、当該記録部に記録された過去の情報を利用して、挿入部６に係る操作ガイドの呈示情報を生成することを可能とする。【０１１１】  その他の構成は第１の実施形態または第２の実施形態と同様であるので、ここでは第１の実施形態または第２の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。【０１１２】  図１７は、本発明の第３の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図であり、図１８は、第３の実施形態の移動支援システムにおけるシーン検出部、呈示情報生成部および記録部の作用を示したフローチャートである。【０１１３】  図１７に示すように本第３の実施形態に係る内視鏡システム１は、第１の実施形態と同様に、主として、内視鏡２と、図示しない光源装置と、ビデオプロセッサ３と、挿入形状検出装置４と、モニタ５と、を有して構成されている。【０１１４】  内視鏡２は、第１の実施形態と同様の構成をなし、挿入部６は、硬質の先端部７と、湾曲自在に形成された湾曲部と、可撓性を有する長尺な可撓管部と、を先端側から順に設けて構成されている。【０１１５】  また先端部７には、ビデオプロセッサ３から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部２１が設けられている。撮像部２１は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等のイメージセンサを有して構成されている。【０１１６】  本第３の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作情報算出部３３と、呈示情報生成部３４と、シーン検出部３５と、の他、記録部３６を有する。【０１１７】  画像処理部３１は、第１の実施形態と同様に、内視鏡２から出力される撮像信号を取得し、所定の画像処理を施して時系列の内視鏡画像を生成し、画像処理部３１において生成した内視鏡画像をモニタ５に表示させるための所定の動作を行うように構成されている。【０１１８】  シーン検出部３５は、第２の実施形態と同様に、画像処理部３１からの撮像画像を元にして、機械学習による手法、または特徴量を検出する手法を用いて、内視鏡画像の状態を分類する。分類の種類は、例えば、「折りたたみ管腔」、「腸壁へ押し込み」、「憩室」、その他（通常の管腔などガイドが不要な状態）である。【０１１９】  記録部３６は、シーン検出部３５が検出したシーン、および／または、複数操作情報算出部３２が算出した複数操作情報を記録可能となっている。そして、例えば管腔を見失った際等において、当該記録部に記録された過去の情報を利用して、挿入部６に係る操作ガイドの呈示情報を生成することを可能とする。【０１２０】  ＜第３の実施形態の作用＞  次に、本第３の実施形態の画像記録装置の作用について図１８に示すフローチャートを参照して説明する。【０１２１】  第３の実施形態の移動支援システムにおけるビデオプロセッサ３が稼働開始すると、第２の実施形態と同様に、まずシーン検出部３５がシーンを検出する（ステップＳ１０１）。【０１２２】  一方、記録部３６は、シーン検出部３５が検出したシーン、および／または、複数操作情報算出部３２が算出した複数操作情報の記録を開始する。【０１２３】  ここで、何らかの原因により、挿入部６の先端部７による折りたたみ管腔８２への挿入に失敗し、管腔を見失った状態が発生した場合、シーン検出部３５は、管腔を見失ったシーンからの先端部７の動きを検出し、記録部３６に記録する。この動きの検出は、例えば、画像に対して機械学習による手法、または特徴点の変化を検出する手法（オプティカルフロー）を用いる。また、挿入形状検出装置４を有する構成であれば、挿入形状検出装置４から挿入部の先端の動きを検出してもよい。【０１２４】  ステップＳ１０２に戻って、複数操作情報算出部３２は、第２の実施形態と同様に、シーン検出部が検出したシーンの種類に応じた演算を行う（ステップＳ１０２）。【０１２５】  ここで、シーン検出部３５が挿入部の進行操作ガイドの呈示が不要なシーン（上述した「その他」に分類された場合）を検出した場合は、複数操作情報算出部３２は操作方向の演算を行わない。よって操作の呈示も行わない。これにより不要な呈示が行われる可能性を下げることができる。すなわち、呈示情報の精度を向上できる。また、モニタ５に不要な呈示を行わないことで、術者のモニタ５に対する視認性が向上できる。【０１２６】  一方、ステップＳ１０２において、シーンが「折りたたみ管腔」であった場合は、上述した機械学習による手法、または特徴量を検出する手法により、当該折りたたみ管腔に潜り込ませる方向を検出する（ステップＳ１０３）。また、折りたたみ管腔に潜り込ませる操作方向情報を記録部３６に記録する（ステップＳ１０４）。【０１２７】  以下、図１８において、ステップＳ１０５〜ステップＳ１０７の作用は、第２の実施形態におけるステップＳ４〜ステップＳ６と同様であるので、ここでの説明は省略する。��０１２８】  前記ステップＳ１０２において、シーン検出部３５が、上述した「管腔を見失った」シーンであることを検出した場合について説明する。折りたたみ管腔への挿入中は、腸壁へ挿入部６の先端部７を接触させたり、腸に対して危険性の低い弱い力で押しながら挿入させたりすることがあり、その場合は管腔も見失うため、術者が意図して管腔を見失うような操作を行っていると判断する。そのため、「管腔を見失った」シーンであっても、折りたたみ管腔への挿入中であれば何も呈示しない（ステップＳ１０８）。【０１２９】  一方、ステップＳ１０８において、折りたたみ管腔の挿入操作中でない場合は、複数操作情報算出部３２は、記録部３６が記録した情報を読み出し（ステップＳ１０９）、管腔を見失ったシーンから現在までの動き情報に基づいて、折りたたみ管腔８２が存在する方向を計算する（ステップＳ１１０）。【０１３０】  また、複数操作情報算出部３２はさらに、折りたたみ管腔を見失う前に、折りたたみ管腔への潜り込ませる操作方向を計算し、記録部に記録（ステップ１０３'）した情報から、折りたたみ管腔を見失った状態から、折りたたみ管腔８２が存在する方向に加えて、見失った折りたたみ管腔への潜り込ませる操作までを表示する（ステップＳ１１１〜ステップＳ１１４）。【０１３１】  さらに、管腔を見失ったシーンで、さらに腸への押し込みが発生している場合は（ステップＳ１１１）、押し込みに対する注意も呈示する（ステップＳ１１５〜ステップＳ１１７）。【０１３２】  前記ステップＳ１０２において、シーン検出部３５が検出したシーンが、「憩室」である場合、複数操作情報算出部３２は、記録部３６が記録した情報を読み出し（ステップＳ１１８）、操作部の検出結果から操作方向を算出する（ステップＳ１１９）。【０１３３】  さらに、シーン検出部３５が検出したシーンの尤度および複数操作情報算出部３２が算出した操作方向の尤度が閾値以上である場合（ステップＳ１２０）、挿入部６の先端部７を誤って憩室に挿入してしまう虞があるので、憩室の存在、位置を呈示し（ステップＳ１２１）、または上述した尤度が閾値未満であって、呈示結果の確度（尤度）が低いと判定された場合は、上記同様、呈示結果の確度が低い旨を呈示する（ステップＳ１２２）。【０１３４】  この後、挿入方向ガイド機能を停止するか否かの判定を行い（ステップＳ１２３）、継続の場合は処理を繰り返す。なお、当該挿入方向ガイド機能の停止は術者が所定の入力装置により停止を指示してもよいし、または、例えば画像処理部３１から出力される撮像画像からシーン検出部３５が盲腸を検出できるようにしておき、盲腸に到達したことを検出したら、停止と判断してもよい。【０１３５】  ＜第３の実施形態における挿入部に係る操作ガイドの呈示例＞  次に、第３の実施形態における挿入部に係る操作ガイドの呈示例を説明する。【０１３６】  図１９〜図２０は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する「挿入部に係る操作ガイド」の呈示例を示した説明図である。【０１３７】  図１９に示す如きモニタ５に表示される内視鏡画像において、挿入部先端部が進むべき管腔方向を見失った状態において管腔８１ｃが表示されている際、呈示情報生成部３４は、記録部３６に記録された情報に基づいて挿入部先端部が進むべき方向を示す操作ガイド表示６５を呈示する。【０１３８】  なお、本第３の実施形態においては、この操作ガイド表示６５は内視鏡画像の枠外に矢印形状を呈するものとしたが、これに限らず、例えば、図２０に示すように、内視鏡画像内に表示するようにしてもよい。【０１３９】  ＜第３の実施形態の効果＞  本第３の実施形態における移動支援システムにおいては、シーン検出部３５が検出したシーン、および／または、複数操作情報算出部３２が算出した複数操作情報を記録部３６において記録することで、例えば挿入部先端部が進むべき管腔方向を見失った際等においても、当該記録部３６に記録された過去の情報を利用して、挿入部６に係る操作ガイドの呈示情報を生成することを可能とする。【０１４０】  次に、第２、第３の実施形態の移動支援システムにおいて、時間的に異なる複数の操作が必要なシーンにおける操作ガイド表示の表示例をシーンごとに挙げて説明する。【０１４１】  図２１〜図２２は、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔を前にした状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の呈示例を示した説明図である。【０１４２】  図２１に示す例は、上述した操作ガイド表示６１と同様に、折りたたみ管腔８２に対して挿入部６の先端部７を進行操作するにあたって、時系列的に時間的に異なる複数の操作を示すガイドであって、第１段階の略直進方向操作に対応する第１操作ガイド表示６１ａと、当該第１段階の略直進方向操作の後、折りたたみ管腔８２を潜り抜けた後の第２段階の湾曲方向操作に対応する第２操作ガイド表示６１ｂと、を組み合わせた矢印表示となっている。【０１４３】  図２２に示す操作ガイド表示６４は、操作ガイド表示６１と同様に、時系列的に時間的に異なる複数の操作を示すガイドであるが、第１段階の略直進方向操作に対応する表示と、折りたたみ管腔８２を潜り抜けた後の第２段階の湾曲方向操作に対応する表示とを別々に示す例である。また、操作の順番を示す番号を付与するものである。【０１４４】  図２３は、第２、第３の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。【０１４５】  この図２３に示すガイド表示６５は、挿入部先端部が腸壁に押し込まれた状態において、管腔８１ａが表示される枠外に、時系列的に時間が異なる複数の操作（挿入部６の引き操作）を別々の矢印として示すものであり、矢印および引き操作の図で示すように引き操作を行った後に、左向き矢印で示すように左側に管腔がある、すなわち左方向への方向操作を呈示している例である。【０１４６】  図２４は、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。【０１４７】  この図２４に示すガイド表示６６は、憩室の位置、注意喚起の表示と共に、時系列的に時間が異な��複数の操作（挿入部６の先端部７の進行操作方向）を別々の矢印として示すものである。この例では操作の順番を、(1)、(2)のように数字で示している。(1)の矢印に方向を操作することで折りたたみ管腔が見つかり、見つかった折りたたみ管腔に対して、(2)の矢印で示す左側に潜り込ませることで折りたたみ管腔を通過できることを示している。【０１４８】  図２５は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の一呈示例を示した説明図である。【０１４９】  この図２５に示すガイド表示６７は、挿入部先端部が進むべき管腔方向を見失った状態において、時系列的に時間が異なる複数の操作（挿入部６の先端部７の進行操作方向）を別々の矢印として示すものである。上向き矢印の方向に折りたたみ管腔が見つかり、見つかった折りたたみ管腔に対して左側に潜り込ませることで折りたたみ管腔を通過できることを示している。【０１５０】  図２６は、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」の他の呈示例を示した説明図である。【０１５１】  この図２６に示すガイド表示６８は、挿入部先端部が進むべき管腔方向を見失った状態において、時系列的に時間が異なる複数の操作（挿入部６の先端部７の進行操作方向）を別々の矢印として示すと共に、操作の順番を示す番号を付与するものである。【０１５２】  図２７Ａ，図２７Ｂは、第２、第３の実施形態の移動支援システムにおいて、折りたたみ管腔に対峙した状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。図２７Ａと、図２７Ｂが順番に変化して表示することで、折りたたみ管腔に挿入後、左側に潜り込ませることを示している。【０１５３】  図２８Ａ，図２８Ｂは、第２、第３の実施形態の移動支援システムにおいて、挿入部先端部が腸壁に押し込まれた状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。図２８Ａの矢印および引き操作の図で示すように引き操作を行った後に、図２８Ｂの左向き矢印で示すように左側に管腔がある、すなわち左方向への方向操作を呈示している例である。【０１５４】  図２９Ａ，図２９Ｂ，図２９Ｃは、第２、第３の実施形態の移動支援システムにおいて、憩室を発見した際において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガイド」をアニメーションで表示する一呈示例を示した説明図である。図２９Ａの矢印に方向を操作することで折りたたみ管腔が見つかり、見つかった折りたたみ管腔に対して、図２９Ｂの矢印のように押し込み、図２９Ｃの矢印で示す左側に潜り込ませることで折りたたみ管腔を通過できることを示している。【０１５５】  図３０Ａ，図３０Ｂ，図３０Ｃは、第３の実施形態の移動支援システムにおいて、挿入部先端部が進むべき管腔方向を見失った状態において術者に呈示する、挿入部に係る「時間的に異なる複数の操作ガ���ド」をアニメーションで表示する一呈示例を示した説明図である。図３０Ａの上向き矢印の方向に折りたたみ管腔が見つかり、見つかった折りたたみ管腔に対して図３０Ｂの矢印のように押し込み、図３０Ｃの左側に潜り込ませることで折りたたみ管腔を通過できることを示している。【０１５６】  ＜第４の実施形態＞  次に、本発明の第４の実施形態について説明する。【０１５７】  本第４の実施形態の移動支援システムは、第２の実施形態に比して、ビデオプロセッサ３内に、学習用コンピュータに接続された学習用データ処理部を備えることを特徴とする。【０１５８】  その他の構成は第１、第２の実施形態と同様であるので、ここでは第１、第２の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。【０１５９】  図３１は、本発明の第４の実施形態に係る移動支援システムを含む内視鏡システムの構成を示すブロック図である。【０１６０】  図３１に示すように本第４の実施形態に係る内視鏡システム１は、第１の実施形態と同様に、主として、内視鏡２と、図示しない光源装置と、ビデオプロセッサ３と、挿入形状検出装置４と、モニタ５と、学習用コンピュータ４０と、を有して構成されている。【０１６１】  内視鏡２は、第１の実施形態と同様の構成をなし、挿入部６は、硬質の先端部７と、湾曲自在に形成された湾曲部と、可撓性を有する長尺な可撓管部と、を先端側から順に設けて構成されている。【０１６２】  また先端部７には、ビデオプロセッサ３から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部２１が設けられている。撮像部２１は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等のイメージセンサを有して構成されている。【０１６３】  本第４の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作情報算出部３３と、呈示情報生成部３４と、シーン検出部３５と、のほか、前記学習用コンピュータ４０に接続された学習用データ処理部３８を備えることを特徴とする。【０１６４】  画像処理部３１は、第１の実施形態と同様に、内視鏡２から出力される撮像信号を取得し、所定の画像処理を施して時系列の内視鏡画像を生成し、画像処理部３１において生成した内視鏡画像をモニタ５に表示させるための所定の動作を行うように構成されている。【０１６５】  シーン検出部３５は、画像処理部３１からの撮像画像を元にして、機械学習による手法、または特徴量を検出する手法を用いて、内視鏡画像の状態を分類する。分類の種類は、例えば、「折りたたみ管腔」、「腸壁へ押し込み」、「憩室」、その他（通常の管腔などガイドが不要な状態）である。【０１６６】  学習用データ処理部３８は、シーン検出部３５、操作情報算出部３３および複数操作情報算出部３２に接続される。シーン検出部３５、操作情報算出部３３および複数操作情報算出部３２で機械学習の手法で検出に使用された画像情報と、その検出結果のデータを紐づけて取得して、検査中のデータとして、学習用コンピュータ４０に送���する。学習用データ処理部３８はさらに、学習用コンピュータ４０に送る情報から、個人情報を削除する機能を備えていてもよい。これにより外部に個人情報が漏洩する可能性を低減できる。【０１６７】  学習用コンピュータ４０は、学習用データ処理部３８から受信した上記検査中のデータを蓄積し、また、当該データを教師データとして学習する。この時、教師データはアノテーターがチェックを行い、間違った教師データが有れば正しいアノテーションを行って学習を行う。なお、学習結果は学習用データ処理部３８において処理され、シーン検出部３５、操作情報算出部３３および複数操作情報算出部３２の機械学習による検出モデルをアップデートすることで性能向上に寄与する。【０１６８】  なお、本第４の実施形態においては、学習用コンピュータ４０は内視鏡システム１内の構成要素であるとしたが、これに限らず、所定のネットワークを介して外部に構成されてもよい。【０１６９】  ＜第５の実施形態＞  次に、本発明の第５の実施形態について説明する。【０１７０】  本第５の実施形態の移動支援システム１０１は、第１〜第４の実施形態と上記同様の構成をなす内視鏡２における挿入部６の挿入動作を、いわゆる自動挿入装置により実行するものであって、当該自動挿入装置の制御を、ビデオプロセッサ３における呈示情報生成部３４からの出力信号により行うことを特徴とする。【０１７１】  内視鏡２を含めた内視鏡システムの構成は第１、第２の実施形態と同様であるので、ここでは第１、第２の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。【０１７２】  図３２は、本発明の第５の実施形態に係る移動支援システムおよび自動挿入装置を含む内視鏡システムの構成を示すブロック図である。【０１７３】  図３２に示すように本第５の実施形態に係る移動支援システム１０１は、第１、第２の実施形態と同様の構成をなす内視鏡２と、図示しない光源装置と、ビデオプロセッサ３と、挿入形状検出装置４と、モニタ５と、当該内視鏡２における挿入部６の挿入動作を自動または半自動で実行する自動挿入装置１０５と、を有して構成されている。【０１７４】  内視鏡２は、第１の実施形態と同様の構成をなし、挿入部６は、硬質の先端部７と、湾曲自在に形成された湾曲部と、可撓性を有する長尺な可撓管部と、を先端側から順に設けて構成されている。【０１７５】  また先端部７には、ビデオプロセッサ３から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部２１が設けられている。撮像部２１は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等のイメージセンサを有して構成されている。【０１７６】  本第５の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作情報算出部３３と、呈示情報生成部３４と、シーン検出部３５と、を備えることを特徴とする。【０１７７】  画像処理部３１は、第１の実施形態と同様に、内視鏡２から出力される撮像信号を取得し、所定の画像処理を施して時系列の内視���画像を生成し、画像処理部３１において生成した内視鏡画像をモニタ５に表示させるための所定の動作を行うように構成されている。【０１７８】  シーン検出部３５は、第２の実施形態と同様に、画像処理部３１からの撮像画像を元にして、機械学習による手法、または特徴量を検出する手法を用いて、内視鏡画像の状態を分類する。分類の種類は、上記同様に、例えば、「折りたたみ管腔」、「腸壁へ押し込み」、「憩室」、その他（通常の管腔などガイドが不要な状態）である。【０１７９】  複数操作情報算出部３２は、シーン検出部３５において検出されたシーンが、「折りたたみ管腔」である場合、第１の実施形態と同様に、内視鏡２における挿入部６に配設された撮像部２１が取得した撮像画像に基づいて、「時間的に異なる複数の操作」が必要なシーンである複数操作対象シーンに対応した、時間的に異なる複数の操作を示す複数操作情報を算出する。【０１８０】  本第５の実施形態において呈示情報生成部３４は、複数操作情報算出部３２において算出した複数操作情報に基づいて、自動挿入装置１０５に対する制御信号を生成し出力する。この制御信号は、上述した各実施形態と同様の手法（機械学習による手法等）により求められた挿入部６の挿入操作ガイド情報に応じた信号である。【０１８１】  自動挿入装置１０５は、呈示情報生成部３４から出力される前記制御信号を受信し、当該制御信号の制御下に、把持する挿入部６の挿入操作を行うようになっている。【０１８２】  ＜第５の実施形態の効果＞  本第５の実施形態の移動支援システム１０１によると、自動挿入装置１０５による内視鏡挿入部の挿入動作においても、上述した各実施形態と同様の手法（機械学習による手法等）により求められた挿入操作ガイド情報に挿入制御がなされることにより、例えば、自動挿入装置１０５が、折りたたみ管腔等の「時間的に異なる複数の操作」を要するシーンに対峙した場合であっても、的確な挿入動作を実行することができる。【０１８３】  本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図１】
2020194472.tif 000003
【図２】
2020194472.tif 000004
【図３】
2020194472.tif 000005
【図４】
2020194472.tif 000006
【図５】
2020194472.tif 000007
【図６】
2020194472.tif 000008
【図７】
2020194472.tif 000009
【図８】
2020194472.tif 000010
【図９】
2020194472.tif 000011
【図１０】
2020194472.tif 000012
【図１１】
2020194472.tif 000013
【図１２】
2020194472.tif 000014
【図１３】
2020194472.tif 000015
【図１４】
2020194472.tif 000016
【図１５】
2020194472.tif 000017
【図１６】
2020194472.tif 000018
【図１７】
2020194472.tif 000019
【図１８】
2020194472.tif 000020
【図１９】
2020194472.tif 000021
【図２０】
2020194472.tif 000022
【図２１】
2020194472.tif 000023
【図２２】
2020194472.tif 000024
【図２３】
2020194472.tif 000025
【図２４】
2020194472.tif 000026
【図２５】
2020194472.tif 000027
【図２６】
2020194472.tif 000028
【図２７Ａ】
2020194472.tif 000029
【図２７Ｂ】
2020194472.tif 000030
【図２８Ａ】
2020194472.tif 000031
【図２８Ｂ】
2020194472.tif 000032
【図２９Ａ】
2020194472.tif 000033
【図２９Ｂ】
2020194472.tif 000034
【図２９Ｃ】
2020194472.tif 000035
【図３０Ａ】
2020194472.tif 000036
【図３０Ｂ】
2020194472.tif 000037
【図３０Ｃ】
2020194472.tif 000038
【図３１】
2020194472.tif 000039
【図３２】
2020194472.tif 000040
【手続補正書】
【提出日】令和3年6月28日(2021.6.28)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、制御装置、学習済みモデル、および移動支援方法に関し、特に、被検体の管腔内に内視鏡の挿入部先端部を挿入する際における、当該挿入部先端部の挿入動作を支援する制御装置、学習済みモデル、および移動支援方法に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明は上述した事情に鑑みてなされたものであり、被検体の管腔内に内視鏡の挿入部先端部を挿入する際、これより先に採り得る操作が、時間的に複数必要な場面に対して的確な情報を呈示する制御装置、学習済みモデル、および移動支援方法を提供する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の一態様の制御装置は、プロセッサを有する制御装置であって、前記プロセッサは、内視鏡が有する挿入部に配設された撮像部が取得した撮像画像に基づいて撮像シーンを検出し、前記撮像シーンに対応した操作情報を機械学習の手法を用いて算出する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の一態様の学習済みモデルは、操作情報を出力するようコンピュータを機能させるための学習済みモデルであって、内視鏡の前記操作情報に対応した撮像画像と、操作を行った結果とに基づき、前記内視鏡が次に行う前記操作情報を出力するよう前記コンピュータを機能させる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の一態様の移動支援方法は、内視鏡の移動支援方法であって、前記内視鏡の挿入部に配設された撮像部が取得した撮像画像に基づいて撮像シーンを検出するステップと、前記撮像シーンに対応した操作情報を機械学習の手法を用いて算出するステップと、を有する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
ビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作方向検出部３３と、呈示情報生成部３４と、を有する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
操作方向検出部３３は、本実施形態においては、挿入形状検出装置４から出力された挿入部の挿入形状情報を取得し、当該情報に基づいて被検体の管腔（例えば、大腸）に挿入された挿入部６に係る従来と同様の操作方向情報を検出する。操作方向情報は例えば、管腔を見失った場合に、内視鏡画像と挿入形状検出装置４の形状情報に基づいて算出する、管腔の方向情報である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
例えば、操作方向検出部３３は、内視鏡画像上の管腔を見失った位置と、挿入形状検出装置４から出力される挿入形状情報等に基づき当該挿入部６の状態を把握し、例えば、挿入部６先端の動きを検出し、当該挿入部６の先端に対する管腔方向の位置を算出する。すなわち、操作すべき方向である操作方向情報を検出する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
なお本実施形態において操作方向検出部３３は、内視鏡画像と挿入形状検出装置４の形状情報に基づいて操作方向情報を演算するものとしたが、これに限らず、内視鏡画像のみに基づいて演算してもかまわない。例えば、操作方向検出部３３は、図３に示す変形例のように挿入形状検出装置４を省いた構成において、内視鏡画像上の管腔を見失った位置を算出し、見失った方向を操作方向情報として呈示してもよい。さらに、内視鏡画像の特徴点の移動を検出し、見失った管腔の方向当該挿入部６の先端の動きを検出し、より精度のよい管腔方向を呈示させるようにしてもかまわない。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
呈示情報生成部３４は、前記複数操作情報算出部３２において算出した前記複数操作情報に基づいて、挿入部６に対する（すなわち、術者に対する）呈示情報、例えば、挿入部６に係る「時間的に異なる複数の操作」の呈示情報を生成し、モニタ５に対して出力する。また、操作方向検出部３３が出力した操作方向情報に基づいた呈示情報を生成し、モニタ５に出力する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
本第２の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作方向検出部３３と、呈示情報生成部３４と、の他、シーン検出部３５を有する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
本第３の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作方向検出部３３と、呈示情報生成部３４と、シーン検出部３５と、の他、記録部３６を有する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１３０
【補正方法】変更
【補正の内容】
【０１３０】
また、複数操作情報算出部３２はさらに、折りたたみ管腔を見失う前に、折りたたみ管腔への潜り込ませる操作方向を計算し、記録部に記録（ステップＳ１０４）した情報から、折りたたみ管腔を見失った状態から、折りたたみ管腔８２が存在する方向に加えて、見失った折りたたみ管腔への潜り込ませる操作までを表示する（ステップＳ１１１〜ステップＳ１１４）。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１４５
【補正方法】変更
【補正の内容】
【０１４５】
この図２３に示す操作ガイド表示６５は、挿入部先端部が腸壁に押し込まれた状態において、管腔８１ａが表示される枠外に、時系列的に時間が異なる複数の操作（挿入部６の引き操作）を別々の矢印として示すものであり、矢印および引き操作の図で示すように引き操作を行った後に、左向き矢印で示すように左側に管腔がある、すなわち左方向への方向操作を呈示している例である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１６３
【補正方法】変更
【補正の内容】
【０１６３】
本第４の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作方向検出部３３と、呈示情報生成部３４と、シーン検出部３５と、のほか、前記学習用コンピュータ４０に接続された学習用データ処理部３８を備えることを特徴とする。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１６６
【補正方法】変更
【補正の内容】
【０１６６】
学習用データ処理部３８は、シーン検出部３５、操作方向検出部３３および複数操作情報算出部３２に接続される。シーン検出部３５、操作方向検出部３３および複数操作情報算出部３２で機械学習の手法で検出に使用された画像情報と、その検出結果のデータを紐づけて取得して、検査中のデータとして、学習用コンピュータ４０に送信する。学習用データ処理部３８はさらに、学習用コンピュータ４０に送る情報から、個人情報を削除する機能を備えていてもよい。これにより外部に個人情報が漏洩する可能性を低減できる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１６７
【補正方法】変更
【補正の内容】
【０１６７】
学習用コンピュータ４０は、学習用データ処理部３８から受信した上記検査中のデータを蓄積し、また、当該データを教師データとして学習する。この時、教師データはアノテーターがチェックを行い、間違った教師データが有れば正しいアノテーションを行って学習を行う。なお、学習結果は学習用データ処理部３８において処理され、シーン検出部３５、操作方向検出部３３および複数操作情報算出部３２の機械学習による検出モデルをアップデートすることで性能向上に寄与する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１７６
【補正方法】変更
【補正の内容】
【０１７６】
本第５の実施形態においてビデオプロセッサ３は、当該ビデオプロセッサ３内の各回路の制御を司る制御部を有すると共に、画像処理部３１と、複数操作情報算出部３２と、操作方向検出部３３と、呈示情報生成部３４と、シーン検出部３５と、を備えることを特徴とする。
【手続補正２０】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プロセッサを有する制御装置であって、
前記プロセッサは、
内視鏡が有する挿入部に配設された撮像部が取得した撮像画像に基づいて撮像シーンを検出し、
前記撮像シーンに対応した操作情報を機械学習の手法を用いて算出することを特徴とする制御装置。
【請求項２】
前記プロセッサは、
前記操作情報に対応した前記撮像画像をインプットとして機械学習を行い、得られた学習済みモデルを使用し、前記操作情報を算出することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記操作情報が、時間的に異なる複数の操作であることを特徴とする請求項２に記載の制御装置。
【請求項４】
前記プロセッサは、
前記内視鏡の時間的に異なる複数の操作と、前記時間的に異なる複数の操作を行った結果とに基づき機械学習を行うことを特徴とする請求項３に記載の制御装置。
【請求項５】
前記プロセッサは、
前記撮像シーンが体腔内の管腔であり、前記管腔が閉じた状態である場合、前記操作情報を算出することを特徴とする請求項３に記載の制御装置。
【請求項６】
前記撮像シーンは、体腔内の管腔を見失ったシーンを含み、
前記操作情報は、見失った前記管腔の方向と、前記管腔に対して前記挿入部を進行させる操作方向であることを特徴とする請求項１に記載の制御装置。
【請求項７】
前記プロセッサは、
前記操作情報に基づいて、前記挿入部に対する呈示情報を生成することを特徴とする請求項１に記載の制御装置。
【請求項８】
前記プロセッサは、
前記操作情報の尤度を算出し、前記尤度が所定の閾値より低い場合は、前記操作情報と共に前記操作情報の確度が低い旨の情報を提示することを特徴とする請求項２に記載の制御装置。
【請求項９】
前記プロセッサは、
機械学習の手法を用いて前記撮像シーンを判定することを特徴とする請求項１に記載の制御装置。
【請求項１０】
前記プロセッサは、
前記撮像シーンの尤度を算出し、前記撮像シーンの尤度があらかじめ設定する前記撮像シーンの尤度に対する閾値より低い場合は、前記操作情報の確度が低い旨の情報を呈示することを特徴とする請求項９に記載の制御装置。
【請求項１１】
前記呈示情報は、前記挿入部の挿入操作の少なくとも一部を自動で行う自動挿入装置の制御信号であることを特徴とする請求項７に記載の制御装置。
【請求項１２】
前記プロセッサは、
前記操作情報に関する所定の操作量に係る情報を前記呈示情報として生成することを特徴とする請求項７に記載の制御装置。
【請求項１３】
前記プロセッサは、
前記操作情報に関する進捗状況に係る情報を前記呈示情報として生成することを特徴とする請求項７に記載の制御装置。
【請求項１４】
操作情報を出力するようコンピュータを機能させるための学習済みモデルであって、
内視鏡の前記操作情報に対応した撮像画像と、操作を行った結果とに基づき、前記内視鏡が次に行う前記操作情報を出力するよう前記コンピュータを機能させることを特徴とする学習済みモデル。
【請求項１５】
前記操作情報が、時間的に異なる複数の操作であることを特徴とする請求項１４に記載の学習済みモデル。
【請求項１６】
内視鏡の移動支援方法であって、
前記内視鏡の挿入部に配設された撮像部が取得した撮像画像に基づいて撮像シーンを検出するステップと、
前記撮像シーンに対応した操作情報を機械学習の手法を用いて算出するステップと、
を有することを特徴とする移動支援方法。
【請求項１７】
前記操作情報に基づいて、前記挿入部に対する呈示情報を生成するステップを含むことを特徴とする請求項１６に記載の移動支援方法。
【請求項１８】
前記操作情報が、時間的に異なる複数の操作であることを特徴とする請求項１６に記載の移動支援方法。
【手続補正２１】
【補正対象書類名】図面
【補正対象項目名】図１７
【補正方法】変更
【補正の内容】
【図１７】
2020194472.tif 000041
【国際調査報告】
2020194472.tif 000042
2020194472.tif 000043