(57)【要約】  内視鏡診断支援システム（１）は、撮像部（２４）によって被検体内を撮像して取得された内視鏡画像（Ａ）から異常候補領域（Ｌ）の検出を行い、検出結果を出力する異常検出部（３３）と、メイン領域（Ｂ１）と、メイン領域（Ｂ１）よりも小さなサブ領域（Ｂ２）とに分割され、内視鏡画像（Ａ１）がメイン領域（Ｂ１）に配置され、前記検出結果に応じ、異常候補領域（Ｌ）を検出したことを示す異常検出画像（Ｍａ）がメイン領域（Ｂ１）の周縁部に配置された、表示画像（Ｂ）を生成する画像生成部（３４）と、を備える。
2018198327.tif 000002
【特許請求の範囲】
【請求項１】
撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力する異常検出部と、  メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する画像生成部と、  を備えることを特徴とする内視鏡診断支援システム。
【請求項２】
前記内視鏡画像は、動画像であり、  前記画像生成部は、前記検出結果に応じ、前記サブ領域の前記異常候補領域の検出位置に対応する位置に、前記検出位置を示すための検出位置画像を配置する、  ことを特徴とする請求項１に記載の内視鏡診断支援システム。
【請求項３】
前記画像生成部は、前記異常検出画像が前記メイン領域に配置された前記表示画像を生成した後、前記メイン領域の前記検出位置に対応する位置を示すように、前記検出位置画像を配置する、ことを特徴とする請求項２に記載の内視鏡診断支援システム。
【請求項４】
前記画像生成部は、前記サブ領域に、前記異常候補領域を拡大した拡大画像を配置する、ことを特徴とする請求項１に記載の内視鏡診断支援システム。
【請求項５】
前記異常検出画像と前記検出位置画像は、互いに同じ色である、ことを特徴とする請求項２に記載の内視鏡診断支援システム。
【請求項６】
前記異常検出画像は、検出マークである、ことを特徴とする請求項１に記載の内視鏡診断支援システム。
【請求項７】
前記画像生成部は、前記異常検出画像を前記内視鏡画像の四隅に配置する、ことを特徴とする請求項１に記載の内視鏡診断支援システム。
【請求項８】
前記画像生成部は、前記内視鏡画像の外方に前記検出位置画像が配置されないように、前記表示画像を生成する、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
【請求項９】
前記メイン領域に配置される前記検出位置画像は、矩形枠画像である、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
【請求項１０】
前記メイン領域に配置される前記検出位置画像は、矢印画像である、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
【請求項１１】
ユーザの操作に応じて指示信号を出力する操作部を有し、  前記画像生成部は、前記指示信号に応じ、前記メイン領域の前記検出位置画像を表示状態又は非表示状態のいずれかに切り替える、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
【請求項１２】
前記操作部は、フットスイッチ、キーボード、タブレット、音声入力装置及びスコープスイッチの少なくともいずれか１つ以上を備える、ことを特徴とする請求項１１に記載の内視鏡診断支援システム。
【請求項１３】
前記画像生成部は、所定の表示切替条件を満たすと判定するとき、前記メイン領域の前記検出位置画像を表示状態又は非表示状態のいずれかに切り替える、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
【請求項１４】
カメラを有し、  前記所定の表示切替条件は、前記カメラから入力されたユーザの目の画像が所定の動きをしているか否かである、ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
【請求項１５】
タイマを有し、  前記異常検出部は、前記異常候補領域における異常の種類を検出可能であり、  前記タイマは、前記異常候補領域が検出された後、前記異常の種類に応じた所定時間を計測可能であり、  前記所定の表示切替条件は、前記異常候補領域が検出された後、前記所定時間が経過したか否かである、ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
【請求項１６】
前記所定の表示切替条件は、観察モードが狭帯域光観察モードであるか否かである、ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
【請求項１７】
処置具検出部を有し、  前記処置具検出部は、前記内視鏡画像から所定の処置具の検出を行い、  前記所定の表示切替条件は、前記処置具検出部によって前記所定の処置具が検出されたか否かである、ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
【請求項１８】
前記画像生成部は、前記メイン領域に前記検出位置画像を配置するとき、前記サブ領域に前記検出位置画像を配置しないように、前記表示画像を生成する、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
【請求項１９】
撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力するコードと、  メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成するコードと、  をコンピュータに実行させるための内視鏡診断支援プログラム。
【請求項２０】
異常検出部により、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行って検出結果を出力し、  画像生成部により、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する、  ことを特徴とする内視鏡診断支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法に関する。
【背景技術】
【０００２】  従来、医用画像の画像処理を行い、予め指定された条件に合致する部分にマークを付けて表示する技術がある。例えば、日本国特開２００４−１５９７３９号公報には、診断支援を行うことができるように、Ｘ線ＣＴ装置、磁気共鳴撮影装置、超音波診断装置、Ｘ線撮影装置等によって取得した医用画像の画像処理を行い、病変の疑いのある部分にマークを付けて表示する画像処理装置が開示される。【０００３】  しかし、従来の画像処理装置では、ユーザが医用画像に表れた病変を発見する前に、病変の疑いのある部分にマークが表示され、医用画像に対するユーザの注意を妨げることがある。【０００４】  そこで、本発明は、内視鏡画像に対するユーザの注意を妨げないように、病変等の異常の候補となる領域である異常候補を示すことができ、内視鏡による診断を支援することができる内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法を提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【０００５】  実施形態の内視鏡診断支援システムは、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力する異常検出部と、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する画像生成部と、を備える。【０００６】  実施形態の内視鏡診断支援プログラムは、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力するコードと、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成するコードと、をコンピュータに実行させる。【０００７】  実施形態の内視鏡診断支援方法は、異常検出部により、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行って検出結果を出力し、画像生成部により、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係わる、内視鏡診断支援システムの構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
【図３】本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。
【図４】本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
【図５】本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
【図６】本発明の第１の実施形態の変形例１に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
【図７】本発明の第１の実施形態の変形例１に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
【図８】本発明の第１の実施形態の変形例２に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
【図９】本発明の第１の実施形態の変形例３に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
【図１０】本発明の第１の実施形態の変形例４に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
【図１１】本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。
【図１２】本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
【図１３】本発明の第２の実施形態に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。
【図１４】本発明の第２の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
【発明を実施するための最良の形態】
【０００９】  以下、図面を参照しながら、本発明の実施形態を説明する。【００１０】  （第１の実施形態）  （構成）  図１は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の構成例を示すブロック図である。図１では、観察モードを設定するための、操作部Ｘと制御部３２を結ぶ信号線の図示は省略する。【００１１】  内視鏡診断支援システム１は、光源駆動部１１と、内視鏡２１と、ビデオプロセッサ３１と、表示部４１と、操作部Ｘと、を有する。光源駆動部１１は、内視鏡２１と、ビデオプロセッサ３１と接続される。内視鏡２１及び操作部Ｘは、ビデオプロセッサ３１と接続される。ビデオプロセッサ３１は、表示部４１と接続される。【００１２】  光源駆動部１１は、内視鏡２１の挿入部２２の先端部に設けられた照明部２３を駆動する回路である。光源駆動部１１は、ビデオプロセッサ３１内の制御部３２と、内視鏡２１内の照明部２３とに接続される。光源駆動部１１は、制御部３２の制御の下、照明部２３から被検体に照明光を照射させる。光源駆動部１１は、観察モードに応じ、通常光及び狭帯域光を照明部２３から照射させる。より具体的には、光源駆動部１１は、観察モードが、通常光モードであるとき、照明部２３から通常光を照射させ、また、狭帯域光観察モードであるとき、照明部２３から狭帯域光を照射させる。【００１３】  内視鏡２１は、被検体内を撮像できるように構成される。内視鏡２１は、挿入部２２と、照明部２３と、撮像部２４と、を有する。【００１４】  挿入部２２は、被検体内に挿入できるように、細長状に形成される。挿入部２２は、図示しない処置具挿通管路等の管路を有する。挿入部２２は、処置具挿通管路に挿通された図示しない処置具を先端部から突出させることが可能である。【００１５】  照明部２３は、挿入部２２の先端部に設けられ、光源駆動部１１の制御下において、被検体に照明光を照射する。【００１６】  撮像部２４は、挿入部２２の先端部に設けられ、照明光が照射された被検体を撮像し、撮像信号をビデオプロセッサ３１に出力する。【００１７】  ビデオプロセッサ３１は、内視鏡２１の制御を行い、内視鏡２１から入力された撮像信号に基づいて、内視鏡画像Ａを生成し、内視鏡画像Ａに基づいて、表示画像Ｂを生成する。ビデオプロセッサ３１は、制御部３２と、異常検出部３３と、画像生成部３４と、を有する。【００１８】  制御部３２は、内視鏡診断支援システム１内の各部の制御を行う回路である。制御部３２は、内視鏡２１から入力された撮像信号に基づいて、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行って内視鏡画像Ａを生成し、内視鏡画像Ａを異常検出部３３と画像生成部３４に出力する。制御部３２は、光源駆動部１１に制御信号を送信し、観察モードに応じて照明部２３を駆動する。観察モードは、操作部Ｘを介したユーザの指示入力によって設定される。制御部３２は、内視鏡画像Ａの明るさに応じ、照明部２３の発光量を調整しても構わない。内視鏡画像Ａは、動画像又は静止画像のいずれであっても構わない。【００１９】  異常検出部３３は、内視鏡画像Ａに基づいて、病変等の異常の候補となる領域である異常候補領域Ｌの���出を行う回路である。異常検出部３３は、画像生成部３４と接続される。異常候補領域Ｌが検出されないとき、画像生成部３４は、異常候補領域Ｌが非検出であることを示す検出結果を画像生成部３４に出力する。異常候補領域Ｌが検出されたとき、異常検出部３３は、異常候補領域Ｌの検出位置及び大きさを示す検出結果を画像生成部３４に出力する。すなわち、異常検出部３３は、撮像部２４によって被検体内を撮像して取得された内視鏡画像Ａから異常候補領域Ｌの検出を行い、検出結果を出力する。異常候補領域Ｌは、病変候補領域である。【００２０】  例えば、異常検出部３３は、機械学習等の人工知能技術を用いた演算装置によって構成される。より具体的には、異常検出部３３は、深層学習技術（ディープラーニング）により、特徴量の抽出を学習した演算装置によって構成される。異常検出部３３は、撮像部２４から入力された内視鏡画像Ａに対して、学習によって調整された所定の演算を行い、検出結果として、異常候補領域Ｌが非検出であることを示す特徴量、又は、異常候補領域Ｌの検出位置及び大きさを示す特徴量を画像生成部３４に出力する。【００２１】  なお、異常検出部３３は、人工知能技術を用いた演算装置によって構成されるが、人工知能技術を用いない演算装置によって構成されても構わない。例えば、異常検出部３３は、互いに隣り合う画素との変化量から輪郭の抽出を行い、輪郭と、制御部３２内に予め記憶された異常候補領域Ｌのモデル情報とのマッチングによって抽出を行うように構成しても構わない。【００２２】  画像生成部３４は、表示画像Ｂの生成を行う回路である。画像生成部３４は、制御部３２から入力された内視鏡画像Ａと、異常検出部３３から入力された検出結果と、操作部Ｘから入力された指示信号と、に基づいて表示画像Ｂの生成を行う。画像生成部３４は、指示信号に応じ、メイン領域Ｂ１の検出位置画像Ｄ１を非表示状態から表示状態に切り替える。【００２３】  表示部４１は、画像生成部３４から入力された表示画像Ｂを表示画面上に表示できるように構成される。表示部４１は、例えば、長方形状の表示画面を有するモニタである。【００２４】  操作部Ｘは、ユーザの操作によって指示入力できるように構成される。操作部Ｘは、画像生成部３４と接続される。操作部Ｘは、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅを有する。以下、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの全て、又は、一部を示すとき、操作部Ｘという。【００２５】  フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ及び音声入力装置Ｘｄは、ビデオプロセッサ３１と有線又は無線によって接続される。フットスイッチＸａは、ユーザの足によるペダルの踏み込み操作が可能である。キーボードＸｂは、ユーザの手指による所定キーの押下操作が可能である。タブレットＸｃは、ユーザの手指によるタッチパネルのタッチ操作が可能である。音声入力装置Ｘｄは、ユーザの音声による操作が可能である。音声入力装置Ｘｄでは、ユーザの音声が入力され、入力された音声の中から表示状態及び非表示状態を指示する所定の音声を検出する。スコー���スイッチＸｅは、内視鏡２１に取り付けられ、ユーザの手指による操作が可能である。【００２６】  ユーザの手指、足又は音声によって表示状態を指示する指示入力が行われると、操作部Ｘは、表示状態を指示する指示信号を画像生成部３４に出力する。一方、ユーザの手指、足又は音声によって非表示状態を指示する指示入力が行われると、操作部Ｘは、非表示状態を指示する指示信号を画像生成部３４に出力する。すなわち、操作部Ｘは、ユーザの操作に応じて指示信号を出力する。【００２７】  （表示画像Ｂの構成）  表示画像Ｂの構成について説明をする。【００２８】  図２は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。図２の例では、内視鏡画像Ａ１、Ａ２は、全体が八角形であり、生体内管腔が曲線によって模式的に表される。【００２９】  表示画像Ｂは、長方形の画像であり、長手方向に分割されたメイン領域Ｂ１とサブ領域Ｂ２を有する。図２の１点鎖線は、メイン領域Ｂ１とサブ領域Ｂ２の境界を示す仮想の線である。【００３０】  メイン領域Ｂ１は、内視鏡画像Ａ１を表示する領域である。メイン領域Ｂ１は、内視鏡画像Ａ１の視認性を向上できるように、サブ領域Ｂ２よりも広くなるように設定される。内視鏡画像Ａ１は、メイン領域Ｂ１内に、内視鏡画像Ａ２よりも大きく表示される。【００３１】  サブ領域Ｂ２は、異常候補領域Ｌの検出位置を表示する領域である。サブ領域Ｂ２は、メイン領域Ｂ１と隣り合うように配置される。サブ領域Ｂ２には、検出位置を示すための検出位置画像Ｄ２を重畳するための内視鏡画像Ａ２が配置される（図４）。【００３２】  （作用）  続いて、画像生成部３４の表示画像生成処理について説明をする。【００３３】  図３は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の表示画像生成処理の一例を示すフローチャートである。図４と図５は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。【００３４】  挿入部２２を挿入して被検体を撮像すると、撮像部２４は、撮像信号を制御部３２に出力する。制御部３２は、撮像信号に基づいて、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行い、異常検出部３３と画像生成部３４に内視鏡画像Ａを出力する。【００３５】  異常検出部３３は、所定の演算を行い、検出結果を画像生成部３４に出力する。【００３６】  画像生成部３４は、制御部３２から入力された内視鏡画像Ａの大きさを調整し、メイン領域Ｂ１に内視鏡画像Ａ１を配置し、サブ領域Ｂ２に内視鏡画像Ａ２を配置する。【００３７】  異常候補領域Ｌが検出されたか否かを判定する（Ｓ１１）。異常候補領域Ｌが非検出であることを示す検出結果が異常検出部３３から入力されたと、画像生成部３４が判定すると（Ｓ１１：ＮＯ）、処理は、Ｓ１１を繰り返す。一方、図４に示すように、異常候補領域Ｌの検出位置及び大きさを示す検出結果が入力されたと、画像生成部３４が判定すると（Ｓ１１：ＹＥＳ）、処理はＳ１２に進む。【００３８】  メイン領域Ｂ１の検出マークＭａと、サブ領域Ｂ２の検出位置画像Ｄ２とを表示状態にす���（Ｓ１２）。画像生成部３４は、メイン領域Ｂ１の右下部、かつ内視鏡画像Ａ１の外方において、異常候補領域Ｌを検出したことを示す異常検出画像である検出マークＭａを表示状態にする。すなわち、検出マークＭａは、メイン領域Ｂ１の周縁部、かつ内視鏡画像Ａ１の近傍に配置される。図４の例では、検出マークＭａは、旗を模した画像であるが、他の画像であっても構わない。【００３９】  また、画像生成部３４は、検出結果に基づき、サブ領域Ｂ２の異常候補領域Ｌの検出位置に対応する位置を示すように、検出位置画像Ｄ２を表示状態にする。図４の例では、検出位置画像Ｄ２は、矩形枠画像であるが、他の画像であっても構わない。【００４０】  指示信号の入力があるか否かを判定する（Ｓ１３）。表示状態を指示する指示信号の入力がないと、画像生成部３４が判定すると、処理は、Ｓ１１に戻る。一方、表示状態を指示する指示信号の入力があると、画像生成部３４が判定すると、処理は、Ｓ１４に進む。【００４１】  メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にする（Ｓ１４）。図５に示すように、画像生成部３４は、メイン領域Ｂ１の異常候補領域Ｌの検出位置に対応する位置を示すように、検出位置を示すための検出位置画像Ｄ１を表示状態にする。図５の例では、検出位置画像Ｄ１は、矩形枠画像であるが、他の画像であっても構わない。すなわち、メイン領域Ｂ１に配置される検出位置画像Ｄ１は、矩形枠画像である。【００４２】  操作部Ｘによって非表示状態を指示する指示入力があり、又は、異常候補領域Ｌが非検出になると、画像生成部３４は、検出位置画像Ｄ１を非表示状態にする。【００４３】  Ｓ１１〜Ｓ１４の処理が第１の実施形態に係わる表示画像生成処理を構成する。【００４４】  すなわち、画像生成部３４は、メイン領域Ｂ１と、メイン領域Ｂ１よりも小さなサブ領域Ｂ２とに分割され、内視鏡画像Ａ１がメイン領域Ｂ１に配置され、前記検出結果に応じ、異常候補領域Ｌを検出したことを示す異常検出画像がメイン領域Ｂ１の周縁部に配置された、表示画像Ｂを生成する。画像生成部３４は、検出結果に応じ、サブ領域Ｂ２の異常候補領域Ｌの検出位置に対応する位置を示すように、検出位置を示すための検出位置画像Ｄ２を配置する。画像生成部３４は、異常検出画像がメイン領域Ｂ１に配置された表示画像Ｂを生成した後、メイン領域Ｂ１の検出位置に対応する位置を示すように、検出位置画像Ｄ１を配置する。【００４５】  すなわち、内視鏡診断支援方法は、異常検出部３３により、撮像部２４によって被検体内を撮像して取得された内視鏡画像Ａから異常候補領域Ｌの検出を行って検出結果を出力し、画像生成部３４により、メイン領域Ｂ１と、メイン領域Ｂ１よりも小さなサブ領域Ｂ２とに分割され、内視鏡画像Ａ１がメイン領域Ｂ１に配置され、前記検出結果に応じ、異常候補領域Ｌを検出したことを示す異常検出画像がメイン領域Ｂ１の周縁部に配置された、表示画像Ｂを生成する。【００４６】  これにより、内視鏡診断支援システム１では、メイン領域Ｂ１における異常候補領域Ｌの検出位置画像Ｄ１は、ユーザが指示入力をするまで非表示状態にされ、内視鏡画像Ａ１に対するユーザの注意を妨げない。【００４７】  上述の第１の実施形態に���れば、内視鏡診断支援システム１は、内視鏡画像Ａ１に対するユーザの注意を妨げないように、病変等の異常の候補である異常候補領域Ｌを示すことができ、内視鏡２１による診断を支援することができる。【００４８】  （第１の実施形態の変形例１）  第１の実施形態では、検出マークＭａは、メイン領域Ｂ１の右下部に表示されたが、検出マークＭｂは、内視鏡画像Ａ１の四隅に表示されても構わない。【００４９】  図６及び図７は、本発明の第１の実施形態の変形例１に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。【００５０】  図６に示すように、異常検出部３３から異常候補領域Ｌの検出位置及び大きさを示す検出結果が入力されると、画像生成部３４は、メイン領域Ｂ１の検出マークＭｂを表示状態にし、サブ領域Ｂ２の検出位置画像Ｄ２を表示状態にする。【００５１】  図６の例では、検出マークＭｂは、メイン領域Ｂ１の周縁部、かつ内視鏡画像Ａ１の外方に、内視鏡画像Ａ１の四隅のテーパ部に沿うように配置される。検出マークＭｂは、所定の太さを有する帯状画像である。なお、図６の例では、検出マークＭｂは、内視鏡画像Ａ１の四隅の全てに配置されるが、四隅の全てではなく、四隅のうち少なくとも一部に配置されるように構成しても構わない。【００５２】  図７に示すように、ユーザが、操作部Ｘによって表示状態を指示入力すると、メイン領域Ｂ１の検出位置画像Ｄ１は、表示状態にされる。【００５３】  すなわち、画像生成部３４は、検出マークＭｂを内視鏡画像Ａ１の四隅に配置する。【００５４】  これにより、内視鏡診断支援システム１は、ユーザがより気付きやすいように、検出マークＭｂを表示することができる。【００５５】  （第１の実施形態の変形例２）  第１の実施形態の変形例１では、帯状画像の検出マークＭｂが表示されるが、三角形画像の検出マークＭｃが表示されても構わない。【００５６】  図８は、本発明の第１の実施形態の変形例２に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。【００５７】  図８の例では、検出マークＭｃは、メイン領域Ｂ１の周縁部、かつ内視鏡画像Ａ１の外方に、内視鏡画像Ａ１の四隅のテーパ部に沿うように配置される。検出マークＭｃは、所定の色で塗り潰した三角形画像である。なお、図８の例では、検出マークＭｃは、内視鏡画像Ａ１の四隅の全てに配置されるが、四隅の全てではなく、四隅のうち少なくとも一部に配置されるように構成しても構わない。【００５８】  これにより、内視鏡診断支援システム１は、ユーザがより気付きやすいように、検出マークＭｃを表示することができる。【００５９】  （第１の実施形態の変形例３）  第１の実施形態と、第１の実施形態の変形例１と２では、内視鏡画像Ａ１、Ａ２は、全体が八角形であるが、八角形でなくても構わない。【００６０】  図９は、本発明の第１の実施形態の変形例３に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例��同じ構成については、説明を省略する。【００６１】  メイン領域Ｂ１には、全体が四角形である内視鏡画像Ａ１ｄが配置され、また、サブ領域Ｂ２には、内視鏡画像Ａ１ｄを縮小した内視鏡画像Ａ２ｄが配置される。【００６２】  図９の例では、検出マークＭｄは、内視鏡画像Ａ１ｄの四隅に配置され、四隅に沿って屈曲したＬ字状画像である。なお、検出マークＭｄは、目立つように、点滅表示にしても構わない。【００６３】  これにより、内視鏡診断支援システム１は、全体が四角形である内視鏡画像Ａ１ｄの四隅に、ユーザがより気付きやすいように、検出マークＭｄを表示することができる。【００６４】  （第１の実施形態の変形例４）  第１の実施形態の変形例３では、内視鏡画像Ａ１ｄ、Ａ２ｄは、全体が四角形であるが、互いに対向する辺が湾曲状であっても構わない。【００６５】  図１０は、本発明の第１の実施形態の変形例４に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。【００６６】  メイン領域Ｂ１には、上下部が直線状、かつ左右両側部が湾曲状である内視鏡画像Ａ１ｅが配置され、また、サブ領域Ｂ２には、内視鏡画像Ａ１ｅを縮小した内視鏡画像Ａ２ｅが配置される。【００６７】  図１０の例では、検出マークＭｅは、内視鏡画像Ａ１ｅの四隅に配置された、１辺を湾曲させた三角形画像である。【００６８】  これにより、内視鏡診断支援システム１は、互いに対向する辺が湾曲状である内視鏡画像Ａ１ｅの四隅に、ユーザがより気付きやすいように、検出マークＭｅを表示することができる。【００６９】  （第１の実施形態の変形例５）  第１の実施形態及び第１の実施形態の変形例１から４では、操作部Ｘの操作によって検出位置画像Ｄ１を表示状態にする指示入力が行われるが、ユーザの目の動きを検出して検出位置画像Ｄ１を表示状態にしても構わない。【００７０】  図１１は、本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システム１の表示画像生成処理の一例を示すフローチャートである。図１２は、本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。【００７１】  本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。【００７２】  本変形例では、内視鏡診断支援システム１は、カメラＺを有する（図１の２点鎖線）。【００７３】  カメラＺは、例えば、内視鏡画像Ａ１を観察するユーザの目の動きを検出できるように、表示部４１の縁等に取り付けられる。カメラＺは、画像生成部３４と接続される。カメラＺは、ユーザの目を撮像し、画像生成部３４にユーザの目の画像を出力する。【００７４】  続いて、本変形例の動作について説明をする。【００７５】  Ｓ２１、Ｓ２２は、Ｓ１１、Ｓ１２と同じであるため、説明を省略する。【００７６】  ユーザの目が所定の動きをしているか否かを判定する（Ｓ２３）。ユーザの目が所定の動きをしていないと、画像生成部３４が判定するとき、処理は２１に戻る。一方、ユーザの目が所定の動きをしていると、画像生成部３４が判定するとき、処理はＳ２４に進む。【００��７】  所定の動きは、例えば、ユーザが目視によって内視鏡画像Ａ内の異常を発見し、ユーザの視線が、異常候補領域Ｌの検出位置に、所定時間向けられた動きであっても構わない。また、所定の動きは、ユーザが検出マークＭａに気付き、ユーザの視線が、メイン領域Ｂ１から表示画像Ｂの全体に移った動きであっても構わない。また、所定の動きは、予め設定された表示画像Ｂ内の所定位置に、ユーザの視線が向けられた動きであっても構わない。【００７８】  メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にする（Ｓ２４）。検出位置画像Ｄ１は、メイン領域Ｂ１内の異常候補領域Ｌの近傍に表示される矢印画像である。メイン領域Ｂ１に配置される検出位置画像Ｄ１は、矢印画像である。【００７９】  画像生成部３４は、操作部Ｘによる指示入力、カメラＺによる目の所定の動きの検出、又は、異常候補領域Ｌの非検出により、検出位置画像Ｄ１を非表示状態にする。【００８０】  画像生成部３４は、観察モードが通常観察モードから狭帯域光モードに切り替えられたとき、ユーザの内視鏡画像Ａ１に対する注意を妨げないように、メイン領域Ｂ１の検出位置画像Ｄ１を非表示にする。【００８１】  異常検出部３３内に、内視鏡画像Ａから所定の処置具を検出する処置具検出部Ｔ１（図１の２点鎖線）を有し、内視鏡画像Ａから所定の処置具が検出されたとき、ユーザの注意を妨げないように、メイン領域Ｂ１の検出位置画像Ｄ１を非表示にする。【００８２】  すなわち、画像生成部３４は、所定の表示切替条件を満たすと判定するとき、メイン領域Ｂ１の検出位置画像Ｄ１を表示状態又は非表示状態のいずれかに切り替える。所定の表示切替条件は、カメラＺから入力されたユーザの目の画像が所定の動きをしているか否かである。また、所定の表示切替条件は、観察モードが狭帯域光観察モードであるか否かである。また、所定の表示切替条件は、処置具検出部Ｔ１によって所定の処置具が検出されたか否かである。【００８３】  Ｓ２１からＳ２４の処理が、第１の実施形態の変形例５に係わる、表示画像生成処理を構成する。【００８４】  これにより、内視鏡診断支援システム１は、所定の表示切替条件によって検出位置画像Ｄ１を表示状態又は非表示状態のいずれかに切り替えることができ、ユーザに操作部Ｘを操作する手間をかけさせない。【００８５】  （第２の実施形態）  第１の実施形態及び第１の実施形態の変形例１から５では、サブ領域Ｂ２は、異常候補領域Ｌの検出位置を表示するが、異常候補領域Ｌの拡大画像Ｅを表示しても構わない。【００８６】  図１３は、本発明の第２の実施形態に係わる、内視鏡診断支援システム１の表示画像生成処理の一例を示すフローチャートである。図１４は、本発明の第２の実施形態に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。【００８７】  第２の実施形態の内視鏡診断支援システム１の動作について、説明をする。【００８８】  Ｓ３１からＳ３３は、Ｓ１１からＳ１３と同じであるため、説明を省略する。【００８９】  メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にし、サブ領域Ｂ２に拡大画像Ｅを表示する（Ｓ３���）。図１４に示すように、画像生成部３４は、メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にする。また、画像生成部３４は、サブ領域Ｂ２に、所定の拡大率の拡大画像Ｅを表示する。【００９０】  すなわち、画像生成部３４は、サブ領域Ｂ２に、異常候補領域Ｌを拡大した拡大画像Ｅを配置する。【００９１】  Ｓ３１からＳ３４の処理が、第２の実施形態に係わる、表示画像生成処理を構成する。【００９２】  これにより、内視鏡診断支援システム１では、ユーザの指示入力により、サブ領域Ｂ２に拡大画像Ｅを表示することができ、異常候補領域Ｌの視認性が向上する。【００９３】  上述の第２の実施形態によれば、内視鏡診断支援システム１は、内視鏡画像Ａ１に対するユーザの注意を妨げないように、病変等の異常の候補である異常候補領域Ｌを示すことができ、内視鏡２１による診断を支援することができる。【００９４】  なお、実施形態及び変形例では、検出マークＭａ、Ｍｂ、Ｍｃ、Ｍｄ、Ｍｅと検出位置画像Ｄ１、Ｄ２は、ユーザが見やすいように、互いに同じ色であっても構わない。【００９５】  なお、実施形態及び変形例では、画像生成部３４は、内視鏡画像Ａ１、Ａ１ｄ、Ａ１ｅ、Ａ２、Ａ２ｄ、Ａ２ｅの外方に検出位置画像Ｄ１、Ｄ２が配置されないように、表示画像Ｂを生成しても構わない。【００９６】  なお、実施形態及び変形例では、画像生成部３４は、メイン領域Ｂ１に検出位置画像Ｄ１を配置するとき、サブ領域Ｂ２にも検出位置画像Ｄ２を配置するが、メイン領域Ｂ１に検出位置画像Ｄ１を配置するとき、サブ領域Ｂ２に検出位置画像Ｄ２を配置しないように、表示画像Ｂを生成しても構わない。【００９７】  なお、実施形態及び変形例では、操作部Ｘは、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの全てによって構成されるが、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの一部によって構成されても構わない。すなわち、操作部Ｘは、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの少なくともいずれか１つ以上を備える。【００９８】  なお、第１の実施形態では、検出マークＭａは、メイン領域Ｂ１の右下部に表示されたが、メイン領域Ｂ１の右上部、左上部又は左下部のいずれに表示されても構わない。【００９９】  なお、第１の実施形態の変形例５では、所定の表示切替条件は、ユーザの目の画像が所定の動きをしているか否かであるが、タイマＴ２を有し（図１の２点鎖線）、異常検出部３３は、異常候補領域Ｌにおける異常の種類を検出可能であり、タイマＴ２は、異常候補領域Ｌが検出された後、異常の種類に応じた所定時間を計測可能であり、所定の表示切替条件は、異常候補領域Ｌが検出された後、所定時間が経過したか否かであっても構わない。【０１００】  なお、第２の実施形態における所定の拡大率は、予め設定されるが、異常候補領域Ｌの大きさに応じて変化するように構成しても構わない。【０１０１】  本明細書における各「部」は、実施形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウェア・ルーチンに１対１には対応しない。し���がって、本明細書では、実施形態の各機能を有する仮想的回路ブロック（部）を想定して実施形態を説明した。また、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。【０１０２】  例えば、ビデオプロセッサ３１がＣＰＵ５１及びメモリ５２を有し、メモリ５２に記憶された内視鏡診断支援プログラム５３を実行することにより、異常検出部３３及び画像生成部３４の機能が実現されても構わない（図１の２点鎖線）。すなわち、内視鏡診断支援プログラム５３は、撮像部２４によって被検体内を撮像して取得された内視鏡画像Ａから異常候補領域Ｌの検出を行い、検出結果を出力するコードと、メイン領域Ｂ１と、メイン領域Ｂ１よりも小さなサブ領域Ｂ２とに分割され、内視鏡画像Ａ１がメイン領域Ｂ１に配置され、前記検出結果に応じ、異常候補領域Ｌを検出したことを示す異常検出画像がメイン領域Ｂ１の周縁部に配置された、表示画像Ｂを生成するコードと、をコンピュータに実行させる。【０１０３】  本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図１】
2018198327.tif 000003
【図２】
2018198327.tif 000004
【図３】
2018198327.tif 000005
【図４】
2018198327.tif 000006
【図５】
2018198327.tif 000007
【図６】
2018198327.tif 000008
【図７】
2018198327.tif 000009
【図８】
2018198327.tif 000010
【図９】
2018198327.tif 000011
【図１０】
2018198327.tif 000012
【図１１】
2018198327.tif 000013
【図１２】
2018198327.tif 000014
【図１３】
2018198327.tif 000015
【図１４】
2018198327.tif 000016
【手続補正書】
【提出日】令和1年10月18日(2019.10.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
実施形態の内視鏡診断支援システムは、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力する異常検出部と、前記検出結果に応じ、前記異常候補領域を検出したことを示す指標が前記内視鏡画像の周縁部に配置された表示画像を生成する画像生成部と、を備える。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
実施形態の内視鏡診断支援プログラムは、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力するコードと、前記検出結果に応じ、前記異常候補領域を検出したことを示す指標が前記内視鏡画像の周縁部に配置された表示画像を生成するコードと、をコンピュータに実行させる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
実施形態の内視鏡診断支援方法は、異常検出部が、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行って検出結果を出力し、画像生成部が、前記検出結果に応じ、前記異常候補領域を検出したことを示す指標が前記内視鏡画像の周縁部に配置された表示画像を生成する。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力する異常検出部と、
前記検出結果に応じ、前記異常候補領域を検出したことを示す指標が前記内視鏡画像の周縁部に配置された表示画像を生成する画像生成部と、
を備えることを特徴とする内視鏡診断支援システム。
【請求項２】
前記画像生成部は、前記表示画像をメイン領域と前記メイン領域よりも小さなサブ領域とに分割し、前記内視鏡画像を前記メイン領域に配置し、前記異常候補領域を検出したことを示す前記指標に相当する異常検出画像を前記メイン領域の周縁部に配置する
ことを特徴とする請求項１に記載の内視鏡診断支援システム。
【請求項３】
前記内視鏡画像は、動画像であり、
前記画像生成部は、前記検出結果に応じ、前記サブ領域の前記異常候補領域の検出位置に対応する位置に、前記検出位置を示すための検出位置画像を配置する
ことを特徴とする請求項２に記載の内視鏡診断支援システム。
【請求項４】
前記画像生成部は、前記異常検出画像が前記メイン領域に配置された前記表示画像を生成した後、前記メイン領域の前記検出位置に対応する位置を示すように、前記検出位置画像を配置する
ことを特徴とする請求項３に記載の内視鏡診断支援システム。
【請求項５】
前記画像生成部は、前記サブ領域に、前記異常候補領域を拡大した拡大画像を配置する
ことを特徴とする請求項２に記載の内視鏡診断支援システム。
【請求項６】
前記異常検出画像と前記検出位置画像は、互いに同じ色である
ことを特徴とする請求項３に記載の内視鏡診断支援システム。
【請求項７】
前記異常検出画像は、検出マークである
ことを特徴とする請求項２に記載の内視鏡診断支援システム。
【請求項８】
前記画像生成部は、前記異常検出画像を前記内視鏡画像の四隅に配置する
ことを特徴とする請求項２に記載の内視鏡診断支援システム。
【請求項９】
前記画像生成部は、前記内視鏡画像の外方に前記検出位置画像が配置されないように、前記表示画像を生成する
ことを特徴とする請求項４に記載の内視鏡診断支援システム。
【請求項１０】
前記メイン領域に配置される前記検出位置画像は、矩形枠画像である
ことを特徴とする請求項４に記載の内視鏡診断支援システム。
【請求項１１】
前記メイン領域に配置される前記検出位置画像は、矢印画像である
ことを特徴とする請求項４に記載の内視鏡診断支援システム。
【請求項１２】
ユーザの操作に応じて指示信号を出力する操作部を有し、
前記画像生成部は、前記指示信号に応じ、前記メイン領域の前記検出位置画像を表示状態又は非表示状態のいずれかに切り替える
ことを特徴とする請求項４に記載の内視鏡診断支援システム。
【請求項１３】
前記操作部は、フットスイッチ、キーボード、タブレット、音声入力装置及びスコープスイッチの少なくともいずれか１つ以上を備える
ことを特徴とする請求項１２に記載の内視鏡診断支援システム。
【請求項１４】
前記画像生成部は、所定の表示切替条件を満たすと判定するとき、前記メイン領域の前記検出位置画像を表示状態又は非表示状態のいずれかに切り替える
ことを特徴とする請求項４に記載の内視鏡診断支援システム。
【請求項１５】
カメラを有し、
前記所定の表示切替条件は、前記カメラから入力されたユーザの目の画像が所定の動きをしているか否かである
ことを特徴とする請求項１４に記載の内視鏡診断支援システム。
【請求項１６】
タイマを有し、
前記異常検出部は、前記異常候補領域における異常の種類を検出可能であり、
前記タイマは、前記異常候補領域が検出された後、前記異常の種類に応じた所定時間を計測可能であり、
前記所定の表示切替条件は、前記異常候補領域が検出された後、前記所定時間が経過したか否かである
ことを特徴とする請求項１４に記載の内視鏡診断支援システム。
【請求項１７】
前記所定の表示切替条件は、観察モードが狭帯域光観察モードであるか否かである
ことを特徴とする請求項１４に記載の内視鏡診断支援システム。
【請求項１８】
処置具検出部を有し、
前記処置具検出部は、前記内視鏡画像から所定の処置具の検出を行い、
前記所定の表示切替条件は、前記処置具検出部によって前記所定の処置具が検出されたか否かである
ことを特徴とする請求項１４に記載の内視鏡診断支援システム。
【請求項１９】
前記画像生成部は、前記メイン領域に前記検出位置画像を配置するとき、前記サブ領域に前記検出位置画像を配置しないように、前記表示画像を生成する
ことを特徴とする請求項４に記載の内視鏡診断支援システム。
【請求項２０】
撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力するコードと、
前記検出結果に応じ、前記異常候補領域を検出したことを示す指標が前記内視鏡画像の周縁部に配置された表示画像を生成するコードと、
をコンピュータに実行させるための内視鏡診断支援プログラム。
【請求項２１】
異常検出部が、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行って検出結果を出力し、
画像生成部が、前記検出結果に応じ、前記異常候補領域を検出したことを示す指標が前記内視鏡画像の周縁部に配置された表示画像を生成する
ことを特徴とする内視鏡診断支援方法。
【国際調査報告】
2018198327.tif 000017
2018198327.tif 000018
2018198327.tif 000019
2018198327.tif 000020