(57)【要約】注目領域の検出結果を適切に報知する内視鏡システムを提供する。患者の管腔内を検査する内視鏡システムであって、管腔内に挿入される挿入部と、管腔内を撮影して内視鏡画像を取得するカメラと、内視鏡画像から注目領域を検出する注目領域検出部と、注目領域の検出結果の報知を行う検出結果報知部と、検査の工程が挿入工程及び抜去工程のいずれの工程であるかを判別する挿抜判別部と、挿抜判別部が判別した工程に応じて検出結果報知部に報知を行わせる報知制御部と、を備える内視鏡システムによって上記課題を解決する。
2020017212.tif 000002
【特許請求の範囲】
【請求項１】
患者の管腔内を検査する内視鏡システムであって、
前記管腔内に挿入される挿入部と、
前記管腔内を撮影して内視鏡画像を取得するカメラと、
前記内視鏡画像から注目領域を検出する注目領域検出部と、
前記注目領域の検出結果の報知を行う検出結果報知部と、
前記検査の工程が前記挿入部を前記管腔内の折り返し地点まで挿入させる挿入工程及び前記挿入部を前記折り返し地点から抜去させる抜去工程のいずれの工程であるかを判別する挿抜判別部と、
前記挿抜判別部が判別した工程に応じて前記検出結果報知部に報知を行わせる報知制御部と、
を備える内視鏡システム。
【請求項２】
前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
前記報知制御部は、前記挿入工程では第１の大きさの文字を表示させ、前記抜去工程では前記第１の大きさより大きい第２の大きさの文字を表示させる請求項１に記載の内視鏡システム。
【請求項３】
前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
前記報知制御部は、前記挿入工程では第１の大きさのアイコンを表示させ、前記抜去工程では前記第１の大きさより大きい第２の大きさのアイコンを表示させる請求項１又は２に記載の内視鏡システム。
【請求項４】
前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
前記報知制御部は、前記挿入工程では第１の背景色の背景を表示させ、前記抜去工程では前記第１の背景色より明度の高い第２の背景色の背景を表示させる請求項１から３のいずれか１項に記載の内視鏡システム。
【請求項５】
前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
前記報知制御部は、前記挿入工程では前記注目領域を含む第１の大きさのフレームを前記内視鏡画像と共に表示させ、前記抜去工程では前記注目領域を含む前記第１の大きさより大きい第２の大きさのフレームを前記内視鏡画像と共に表示させる請求項１から４のいずれか１項に記載の内視鏡システム。
【請求項６】
前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
前記報知制御部は、前記挿入工程では非表示又はアイコンを表示させ、前記抜去工程では前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させる請求項１に記載の内視鏡システム。
【請求項７】
前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
前記報知制御部は、前記挿入工程では前記注目領域の検出時のみ前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させ、前記抜去工程では前記注目領域の検出時及び検出後の一定時間において前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させる請求項１に記載の内視鏡システム。
【請求項８】
前記検出結果報知部は、前記注目領域が検出された旨を音の出力で報知する音報知部を備え、
前記報知制御部は、前記挿入工程では第１の音量で出力させ、前記抜去工程では前記第１の音量より大きい第２の音量で出力させる請求項１から７のいずれか１項に記載の内視鏡システム。
【請求項９】
前記検出結果報知部は、前記注目領域が検出された旨をランプの点灯で報知する点灯報知部を備え、
前記報知制御部は、前記挿入工程では第１の光量で点灯させ、前記抜去工程では前記第１の光量より大きい第２の光量で点灯させる請求項１から８のいずれか１項に記載の内視鏡システム。
【請求項１０】
前記検出結果報知部は、
ディスプレイの表示で報知する表示報知部と、
音の出力で報知する音報知部と、
を備え、
前記報知制御部は、前記挿入工程では前記表示報知部に前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させ、前記抜去工程では前記表示報知部に前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させ、かつ前記音報知部に音を出力させる請求項１に記載の内視鏡システム。
【請求項１１】
前記検出結果報知部は、
ディスプレイの表示で報知する表示報知部と、
音の出力で報知する音報知部と、
を備え、
前記報知制御部は、前記挿入工程では前記音報知部に音を出力させ、前記抜去工程では前記音報知部に音を出力させ、かつ前記表示報知部にアイコンを表示させる請求項１に記載の内視鏡システム。
【請求項１２】
前記検出結果報知部は、
ディスプレイの表示で報知する表示報知部と、
音の出力で報知する音報知部と、
ランプの点灯で報知する点灯報知部と、
を備え、
前記報知制御部は、前記挿入工程では前記点灯報知部にランプを点灯させ、前記抜去工程では前記点灯報知部にランプを点灯させ、かつ前記表示報知部に前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させ、かつ前記音報知部に音を出力させる請求項１に記載の内視鏡システム。
【請求項１３】
前記検出結果報知部は、
ディスプレイの表示で報知する表示報知部と、
音の出力で報知する音報知部と、
ランプの点灯で報知する点灯報知部と、
を備え、
Ｎを０〜２のうちのいずれかの整数とすると、前記報知制御部は、前記挿入工程では表示報知部、音報知部、及び点灯報知部のうちのいずれかＮ個により報知を行わせ、前記抜去工程では表示報知部、音報知部、及び点灯報知部のうちの少なくとも（Ｎ＋１）個により報知を行わせる請求項１に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は内視鏡システムに係り、特に内視鏡画像から注目領域を検出して報知する技術に関する。
【背景技術】
【０００２】
内視鏡検査は基本的に、臓器に付着した汚れを洗い流しながらスコープを奥まで挿入し、その後に、臓器の中を観察しながら抜去する。このように、挿入時と抜去時とで医師の作業が異なることに応じて、挿入時と抜去時とで動作を異ならせた内視鏡装置が知られている。【０００３】
例えば、特許文献１には、挿入部の移動方向が挿入方向である場合に、抜去方向である場合よりも撮像部のフレームレートを高くする技術が開示されている。この技術によれば、挿入時に挿入部の先端の揺動や移動による画像の頻繁な変動が生じても、滑らかな動画として画像表示部に表示することができ、スムーズな挿入作業を行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１７／００６４０４号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
内視鏡検査中の医師を補助する技術として、内視鏡画像から病変等の注目領域を検出し、報知する技術が知られている。しかしながら、内視鏡検査中のタイミングによっては、注目領域の検出結果を報知することが、医師の操作を阻害する可能性がある。【０００６】
例えば、挿入部の抜去時は、当然病変を見つける必要があるので、検出結果の報知による補助は有用である。一方、挿入は技術的に難しく、集中力が要求されるため、挿入時は検出結果の報知が医師の操作の妨げになる可能性がある。【０００７】
本発明はこのような事情に鑑みてなされたもので、注目領域の検出結果を適切に報知する内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために内視鏡システムの一の態様は、患者の管腔内を検査する内視鏡システムであって、管腔内に挿入される挿入部と、管腔内を撮影して内視鏡画像を取得するカメラと、内視鏡画像から注目領域を検出する注目領域検出部と、注目領域の検出結果の報知を行う検出結果報知部と、検査の工程が挿入部を管腔内の折り返し地点まで挿入させる挿入工程及び挿入部を折り返し地点から抜去させる抜去工程のいずれの工程であるかを判別する挿抜判別部と、挿抜判別部が判別した工程に応じて検出結果報知部に報知を行わせる報知制御部と、を備える内視鏡システムである。【０００９】
本態様によれば、検査の工程が挿入工程及び抜去工程のいずれの工程であるかを判別し、判別した工程に応じて注目領域の検出結果の報知を行わせるようにしたので、注目領域の検出結果を適切に報知することができる。【００１０】
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では第１の大きさの文字を表示させ、抜去工程では第１の大きさより大きい第２の大きさの文字を表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。【００１１】
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では第１の大きさのアイコンを表示させ、抜去工程では第１の大きさより大きい第２の大きさのアイコンを表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。【００１２】
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では第１の背景色の背景を表示させ、抜去工程では第１の背景色より明度の高い第２の背景色の背景を表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。【００１３】
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では注目領域を含む第１の大きさのフレームを内視鏡画像と共に表示させ、抜去工程では注目領域を含む第１の大きさより大きい第２の大きさのフレームを内視鏡画像と共に表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。【００１４】
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では非表示又はアイコンを表示させ、抜去工程では注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。【００１５】
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では注目領域の検出時のみ注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させ、抜去工程では注目領域の検出時及び検出後の一定時間において注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。【００１６】
検出結果報知部は、注目領域が検出された旨を音の出力で報知する音報知部を備え、報知制御部は、挿入工程では第１の音量で出力させ、抜去工程では第１の音量より大きい第２の音量で出力させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。【００１７】
検出結果報知部は、注目領域が検出された旨をランプの点灯で報知する点灯報知部を備え、報知制御部は、挿入工程では第１の光量で点灯させ、抜去工程では第１の光量より大きい第２の光量で点灯させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。【００１８】
検出結果報知部は、ディスプレイの表示で報知する表示報知部と、音の出力で報知する音報知部と、を備え、報知制御部は、挿入工程では表示報知部に注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させ、抜去工程では表示報知部に注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させ、かつ音報知部に音を出力させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。【００１９】
検出結果報知部は、ディスプレイの表示で報知する表示報知部と、音の出力で報知する音報知部と、を備え、報知制御部は、挿入工程では音報知部に音を出力させ、抜去工程では音報知部に音を出力させ、かつ表示報知部にアイコンを表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。【００２０】
検出結果報知部は、ディスプレイの表示で報知する表示報知部と、音の出力で報知する音報知部と、ランプの点灯で報知する点灯報知部と、を備え、報知制御部は、挿入工程では点灯報知部にランプを点灯させ、抜去工程では点灯報知部にランプを点灯させ、かつ表示報知部に注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させ、かつ音報知部に音を出力させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。【００２１】
検出結果報知部は、ディスプレイの表示で報知する表示報知部と、音の出力で報知する音報知部と、ランプの点灯で報知する点灯報知部と、を備え、Ｎを０〜２のうちのいずれかの整数とすると、報知制御部は、挿入工程では表示報知部、音報知部、及び点灯報知部のうちのいずれかＮ個により報知を行わせ、抜去工程では表示報知部、音報知部、及び点灯報知部のうちの少なくとも（Ｎ＋１）個により報知を行わせることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
【発明の効果】
【００２２】
本発明によれば、注目領域の検出結果を適切に報知することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、内視鏡システムを示す外観図である。
【図２】図２は、内視鏡システムの内部構成を示すブロック図である。
【図３】図３は、光の強度分布を示すグラフである。
【図４】図４は、画像認識部の構成を示すブロック図である。
【図５】図５は、画像認識部の構成の他の態様を示すブロック図である。
【図６】図６は、内視鏡システムによる認識結果の報知方法の処理を示すフローチャートである。
【図７】図７は、第１の実施形態に係る認識結果報知部の構成を示すブロック図である。
【図８】図８は、画像から病変が検出された旨を文字の表示で報知する例を示す図である。
【図９】図９は、画像から病変が検出された旨をアイコンの表示で報知する例を示す図である。
【図１０】図１０は、画像から病変が検出された旨を背景の表示で報知する例を示す図である。
【図１１】図１１は、画像から病変が検出された旨をフレームの表示で報知する例を示す図である。
【図１２】図１２は、画像から病変が検出された旨を挿抜判別部が判別した工程に応じて異なる表示で報知する例を示す図である。
【図１３】図１３は、画像から病変が検出された旨を異なる表示時間で報知する例を示す図である。
【図１４】図１４は、第２の実施形態に係る認識結果報知部の構成を示すブロック図である。
【図１５】図１５は、第３の実施形態に係る認識結果報知部の構成を示すブロック図である。
【図１６】図１６は、第４及び第５の実施形態に係る認識結果報知部の構成を示すブロック図である。
【図１７】図１７は、第６の実施形態に係る認識結果報知部の構成を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【００２５】
ここでは、被験者の肛門から挿入され、直腸及び大腸等の管腔内を検査（観察）するために用いられる下部内視鏡に本発明を適用する場合について説明する。なお、患者の口又は鼻から挿入され、食道及び胃等の管腔内を観察するために用いられる上部内視鏡に本発明を適用することも可能である。
【００２６】
＜内視鏡システムの構成＞
図１は、内視鏡システム１０を示す外観図である。図１に示すように、内視鏡システム１０は、内視鏡１２、光源装置１４、プロセッサ装置１６、表示部１８、及び入力部２０を備えている。
【００２７】
内視鏡１２は、光源装置１４と光学的に接続される。また、内視鏡１２は、プロセッサ装置１６と電気的に接続される。
【００２８】
内視鏡１２は、被験者の管腔内に挿入される挿入部１２Ａ、挿入部１２Ａの基端部分に設けられた操作部１２Ｂ、挿入部１２Ａの先端側に設けられた湾曲部１２Ｃ及び先端部１２Ｄを有している。
【００２９】
操作部１２Ｂには、アングルノブ１２Ｅ及びモード切替スイッチ１３が設けられている。
【００３０】
アングルノブ１２Ｅを操作することにより、湾曲部１２Ｃが湾曲動作する。この湾曲動作によって先端部１２Ｄが所望の方向に向けられる。
【００３１】
モード切替スイッチ１３は、観察モードの切り替え操作に用いられる。内視鏡システム１０は、照射光の波長パターンがそれぞれ異なる複数の観察モードを有している。医師（術者）は、モード切替スイッチ１３を操作することにより、所望の観察モードに設定することができる。内視鏡システム１０は、波長パターンと画像処理との組み合わせによって、設定された観察モードに応じた画像を生成して表示部１８に表示する。
【００３２】
また、操作部１２Ｂには、不図示の取得指示入力部が設けられている。取得指示入力部は、医師が静止画の取得指示を入力するためのインターフェースである。取得指示入力部は、静止画の取得指示を受け付ける。取得指示入力部において受け付けた静止画の取得指示は、プロセッサ装置１６に入力される。
【００３３】
プロセッサ装置１６は、表示部１８及び入力部２０と電気的に接続される。表示部１８は、被観察領域の画像及び被観察領域の画像に関連する情報等を出力表示する表示デバイスである。入力部２０は、内視鏡システム１０の機能設定及び各種指示等の入力操作を受け付けるユーザインターフェースとして機能する。
【００３４】
内視鏡システム１０における検査の工程は、挿入工程及び抜去工程からなる。挿入工程とは内視鏡１２の挿入部１２Ａの先端部１２Ｄを患者の管腔内の挿入開始地点から折り返し地点まで挿入させる工程であり、抜去工程とは先端部１２Ｄを患者の管腔内の折り返し地点から挿入開始地点まで抜去させる工程である。
【００３５】
なお、挿入開始地点とは、先端部１２Ｄの挿入を開始する管腔の端部である。挿入開始地点は、例えば、下部内視鏡であれば肛門であり、上部内視鏡であれば口又は鼻である。また、折り返し地点とは、先端部１２Ｄが到達する管腔内の最も奥の位置である。折り返し地点において、挿入部１２Ａのうち管腔内に挿入された部分が最も多くなる。
【００３６】
図２は、内視鏡システム１０の内部構成を示すブロック図である。図２に示すように、光源装置１４は、第１レーザ光源２２Ａ、第２レーザ光源２２Ｂ、及び光源制御部２４を備えている。
【００３７】
第１レーザ光源２２Ａは、中心波長４４５ｎｍの青色レーザ光源である。第２レーザ光源２２Ｂは、中心波長４０５ｎｍの紫色レーザ光源である。第１レーザ光源２２Ａ及び第２レーザ光源２２Ｂとして、レーザダイオードを用いることができる。第１レーザ光源２２Ａ及び第２レーザ光源２２Ｂの発光は、光源制御部２４により個別に制御される。第１レーザ光源２２Ａと第２レーザ光源２２Ｂとの発光強度比は変更自在になっている。
【００３８】
また、図２に示すように、内視鏡１２は、光ファイバ２８Ａ、光ファイバ２８Ｂ、蛍光体３０、拡散部材３２、撮像レンズ３４、撮像素子３６、及びアナログデジタル変換部３８を備えている。
【００３９】
第１レーザ光源２２Ａ、第２レーザ光源２２Ｂ、光ファイバ２８Ａ、光ファイバ２８Ｂ、蛍光体３０、及び拡散部材３２によって、照射部が構成される。
【００４０】
第１レーザ光源２２Ａから出射されるレーザ光は、光ファイバ２８Ａによって、内視鏡１２の先端部１２Ｄに配置された蛍光体３０に照射される。蛍光体３０は、第１レーザ光源２２Ａからの青色レーザ光の一部を吸収して緑色〜黄色に励起発光する複数種の蛍光体を含んで構成される。これにより、蛍光体３０から出射する光は、第１レーザ光源２２Ａからの青色レーザ光を励起光とする緑色〜黄色の励起光Ｌ１１と、蛍光体３０に吸収されずに透過した青色のレーザ光Ｌ１２とが合わされて、白色（疑似白色）の光Ｌ１となる。
【００４１】
なお、ここで言う白色光とは、厳密に可視光の全ての波長成分を含むものに限らない。例えば、Ｒ（Red）、Ｇ（Green ）、Ｂ（Blue）等、特定の波長帯域の光を含むものであればよく、緑色から赤色にかけての波長成分を含む光、又は青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
【００４２】
一方、第２レーザ光源２２Ｂから出射されるレーザ光は、光ファイバ２８Ｂによって、内視鏡１２の先端部１２Ｄに配置された拡散部材３２に照射される。拡散部材３２は、透光性を有する樹脂材料等を用いることができる。拡散部材３２から出射する光は、照射領域内において光量が均一化された狭帯域波長の光Ｌ２となる。
【００４３】
図３は、光Ｌ１及び光Ｌ２の強度分布を示すグラフである。光源制御部２４は、第１レーザ光源２２Ａと第２レーザ光源２２Ｂとの光量比を変更する。これにより、光Ｌ１と光Ｌ２との光量比が変更され、光Ｌ１と光Ｌ２との合成光である照射光Ｌ０の波長パターンが変更される。したがって、観察モードに応じて異なる波長パターンの照射光Ｌ０を照射することができる。
【００４４】
図２の説明に戻り、撮像レンズ３４、撮像素子３６、及びアナログデジタル変換部３８によって、撮影部（カメラ）が構成される。撮影部は、内視鏡１２の先端部１２Ｄに配置される。
【００４５】
撮像レンズ３４は、入射した光を撮像素子３６に結像させる。撮像素子３６は、受光した光に応じたアナログ信号を生成する。撮像素子３６としては、ＣＣＤ（Charge Coupled Device）型イメージセンサ、又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサが用いられる。撮像素子３６から出力されるアナログ信号は、アナログデジタル変換部３８によりデジタル信号に変換され、プロセッサ装置１６に入力される。
【００４６】
また、図２に示すように、プロセッサ装置１６は、撮影制御部４０、画像処理部４２、画像取得部４４、画像認識部４６、報知制御部５８、認識結果報知部６０、挿抜判別部６８、表示制御部７０、記憶制御部７２、及び記憶部７４を備えている。
【００４７】
撮影制御部４０は、光源装置１４の光源制御部２４、内視鏡１２の撮像素子３６及びアナログデジタル変換部３８、プロセッサ装置１６の画像処理部４２を制御することで、内視鏡システム１０による動画及び静止画の撮影を統括制御する。
【００４８】
画像処理部４２は、内視鏡１２のアナログデジタル変換部３８から入力されたデジタル信号に画像処理を施し、内視鏡画像を示す画像データ（以下、画像と表記する）を生成する。画像処理部４２は、撮影時の照射光の波長パターンに応じた画像処理を施す。
【００４９】
画像取得部４４は、画像処理部４２が生成した画像を取得する。画像取得部４４が取得する画像は、１枚の画像でもよいし、複数の画像でもよい。画像取得部４４は、被験者の管腔内を一定のフレームレートで時系列的に撮影した動画を連続した多数の画像（静止画）として扱ってもよい。なお、画像取得部４４は、入力部２０から入力された画像、又は記憶部７４に記憶された画像を取得してもよい。また、不図示のネットワークに接続されたサーバ等の外部装置から画像を取得してもよい。
【００５０】
画像認識部４６は、画像取得部４４が取得した画像を認識する。図４は、画像認識部４６の構成を示すブロック図である。図４に示すように、画像認識部４６は、部位認識部４８と、検出部５０と、鑑別部５２とを備えている。
【００５１】
部位認識部４８は、画像取得部４４が取得した画像から内視鏡１２の先端部１２Ｄが管腔内のどの部位（位置）に存在しているかを認識する。部位認識部４８は、管腔内の部位として、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸、盲腸、回腸、及び空腸等を認識する。
【００５２】
部位認識部４８は、畳み込みニューラルネットワークを用いた深層学習によって学習した学習済みモデルである。部位認識部４８は、例えば各部位の粘膜の画像を学習することで、画像から部位を認識することができる。
【００５３】
なお、部位認識部４８は、磁気コイル等を用いた不図示の内視鏡挿入形状観測装置を用いて内視鏡１２の湾曲部１２Ｃの形状情報を取得し、形状情報から先端部１２Ｄの位置を推定してもよい。また、部位認識部４８は、被検体外部からＸ線を照射して内視鏡１２の湾曲部１２Ｃの形状情報を取得し、形状情報から先端部１２Ｄの位置を推定してもよい。
【００５４】
検出部５０（注目領域検出部の一例）は、入力された画像から注目領域である病変を検出し、病変の画像内位置を認識する。ここでの病変とは、病気が原因のものに限定されず、外観上正常な状態とは異なる状態の領域を含んでいる。病変としては、例えば、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕又はＥＳＤ（Endoscopic Submucosal Dissection）瘢痕等の治療痕、クリップ箇所、出血点、穿孔、及び血管異型性等が挙げられる。
【００５５】
検出部５０は、管腔内の各部位にそれぞれ対応した第１検出部５０Ａと、第２検出部５０Ｂと、第３検出部５０Ｃと、第４検出部５０Ｄと、第５検出部５０Ｅと、第６検出部５０Ｆと、第７検出部５０Ｇと、第８検出部５０Ｈとを備えている。ここでは、一例として、第１検出部５０Ａは直腸に、第２検出部５０ＢはＳ状結腸に、第３検出部５０Ｃは下行結腸に、第４検出部５０Ｄは横行結腸に、第５検出部５０Ｅは上行結腸に、第６検出部５０Ｆは盲腸に、第７検出部５０Ｇは回腸に、第８検出部５０Ｈは空腸に、それぞれ対応している。
【００５６】
第１検出部５０Ａ、第２検出部５０Ｂ、第３検出部５０Ｃ、第４検出部５０Ｄ、第５検出部５０Ｅ、第６検出部５０Ｆ、第７検出部５０Ｇ、及び第８検出部５０Ｈは、それぞれ学習済みモデルである。この複数の学習済みモデルは、それぞれ異なるデータセットを用いて学習したモデルである。詳しくは、複数の学習済みモデルは、それぞれ管腔内の異なる部位を撮影した画像からなるデータセットを用いて学習したモデルである。
【００５７】
即ち、第１検出部５０Ａは直腸の画像からなるデータセット、第２検出部５０ＢはＳ状結腸の画像からなるデータセット、第３検出部５０Ｃは下行結腸の画像からなるデータセット、第４検出部５０Ｄは横行結腸の画像からなるデータセット、第５検出部５０Ｅは上行結腸の画像からなるデータセット、第６検出部５０Ｆは盲腸の画像からなるデータセット、第７検出部５０Ｇは回腸の画像からなるデータセット、第８検出部５０Ｈは空腸の画像からなるデータセットを用いて学習したモデルである。
【００５８】
これらの学習済みモデルは、畳み込みニューラルネットワークを用いた深層学習により学習することが望ましい。また、サポートベクタマシンを用いてもよい。
【００５９】
検出部５０は、第１検出部５０Ａ、第２検出部５０Ｂ、第３検出部５０Ｃ、第４検出部５０Ｄ、第５検出部５０Ｅ、第６検出部５０Ｆ、第７検出部５０Ｇ、及び第８検出部５０Ｈの中から、部位認識部４８が認識した管腔内の部位に対応した検出部を用いて、病変の検出を行う。
【００６０】
即ち、管腔内の部位が直腸であれば第１検出部５０Ａ、Ｓ状結腸であれば第２検出部５０Ｂ、下行結腸であれば第３検出部５０Ｃ、横行結腸であれば第４検出部５０Ｄ、上行結腸であれば第５検出部５０Ｅ、盲腸であれば第６検出部５０Ｆ、回腸であれば第７検出部５０Ｇ、空腸であれば第８検出部５０Ｈによって病変を検出する。
【００６１】
第１検出部５０Ａ〜第８検出部５０Ｈは、それぞれ管腔内の部位に応じて学習されているため、部位に応じた適切な検出が可能である。
【００６２】
鑑別部５２は、検出部５０が検出した病変について、良性か悪性かを認識する。鑑別部５２は、畳み込みニューラルネットワークを用いた深層学習によって学習した学習済みモデルである。検出部５０と同様に、鑑別部５２を部位毎の識別部として構成してもよい。
【００６３】
図５は、画像認識部４６の構成の他の態様を示すブロック図である。図５に示すように、この態様の画像認識部４６は、単一の検出部５０と、パラメータ記憶部５４とを備えている。また、パラメータ記憶部５４は、管腔内の各部位の検出に対応したパラメータをそれぞれ記憶する第１パラメータ記憶部５４Ａと、第２パラメータ記憶部５４Ｂと、第３パラメータ記憶部５４Ｃと、第４パラメータ記憶部５４Ｄと、第５パラメータ記憶部５４Ｅと、第６パラメータ記憶部５４Ｆと、第７パラメータ記憶部５４Ｇと、第８パラメータ記憶部５４Ｈとを備えている。ここでは、一例として、第１パラメータ記憶部５４Ａは直腸、第２パラメータ記憶部５４ＢはＳ状結腸、第３パラメータ記憶部５４Ｃは下行結腸、第４パラメータ記憶部５４Ｄは横行結腸、第５パラメータ記憶部５４Ｅは上行結腸、第６パラメータ記憶部５４Ｆは盲腸、第７パラメータ記憶部５４Ｇは回腸、第８パラメータ記憶部５４Ｈは空腸、の検出にそれぞれ対応したパラメータを記憶している。
【００６４】
各パラメータは、学習済みモデルのパラメータである。この複数の学習済みモデルは、それぞれ異なるデータセットを用いて学習したモデルである。
【００６５】
検出部５０は、第１パラメータ記憶部５４Ａ、第２パラメータ記憶部５４Ｂ、第３パラメータ記憶部５４Ｃ、第４パラメータ記憶部５４Ｄ、第５パラメータ記憶部５４Ｅ、第６パラメータ記憶部５４Ｆ、第７パラメータ記憶部５４Ｇ、及び第８パラメータ記憶部５４Ｈに記憶されたパラメータの中から、部位認識部４８が認識した管腔内の部位に対応したパラメータを用いて、病変の検出を行う。
【００６６】
即ち、管腔内の部位が直腸であれば第１パラメータ記憶部５４Ａ、Ｓ状結腸であれば第２パラメータ記憶部５４Ｂ、下行結腸であれば第３パラメータ記憶部５４Ｃ、横行結腸であれば第４パラメータ記憶部５４Ｄ、上行結腸であれば第５パラメータ記憶部５４Ｅ、盲腸であれば第６パラメータ記憶部５４Ｆ、回腸であれば第７パラメータ記憶部５４Ｇ、空腸であれば第８パラメータ記憶部５４Ｈに記憶されたパラメータを用いて、病変を検出する。
【００６７】
第１パラメータ記憶部５４Ａ〜第８パラメータ記憶部５４Ｈは、それぞれ管腔内の部位に応じて学習されたパラメータが記憶されているため、部位に応じた適切な検出が可能である。
【００６８】
図２の説明に戻り、報知制御部５８には、認識結果報知部６０が接続されている。認識結果報知部６０（検出結果報知部の一例）は、画像認識部４６の画像認識結果の報知を行う報知手段である。報知制御部５８は、認識結果報知部６０を制御し、報知を行わせる。
【００６９】
挿抜判別部６８は、検査の工程が挿入工程及び抜去工程のいずれの工程であるかを判別する。
【００７０】
挿抜判別部６８は、画像処理部４２によって生成された複数の画像から動きベクトルを検出し、検出した動きベクトルに基づいて挿入部１２Ａの移動方向を判別し、移動方向から検査の工程を判別する。動きベクトルの検出は、ブロックマッチング法等の公知の方法を用いることができる。
【００７１】
なお、挿抜判別部６８は、挿入部１２Ａに設けられた不図示のセンサの情報から挿入部１２Ａの移動方向を判別し、移動方向から検査の工程を判別してもよい。また、挿抜判別部６８は、磁気コイル等を用いた不図示の内視鏡挿入形状観測装置を用いて挿入部１２Ａの移動方向を判別し、移動方向から検査の工程を判別してもよい。
【００７２】
さらに、挿抜判別部６８は、検査開始から折り返し地点到達までを挿入工程、折り返し地点到達以降を抜去工程と判別してもよい。挿抜判別部６８は、挿入部１２Ａの折り返し地点への到達を、医師による入力部２０からの入力に基づいて判別すればよい。
【００７３】
また、挿抜判別部６８は、挿入部１２Ａの折り返し地点への到達を自動的に認識してもよい。例えば、挿抜判別部６８は、画像処理部４２によって生成された画像から自動的に認識してもよいし、不図示の内視鏡挿入形状観測装置によって自動的に認識してもよい。自動的に認識する場合、折り返し地点の例として、下部内視鏡であればバウヒン弁、上部内視鏡であれば十二指腸とすることができる。
【００７４】
さらに、挿抜判別部６８は、挿入部１２Ａの折り返し地点への到達を、医師による内視鏡１２の操作から認識してもよい。例えば、上部内視鏡であれば、反転操作を折り返し地点として判別すればよい。自動的に認識する場合は、これらの自動認識方法を複数組み合わせてもよい。
【００７５】
表示制御部７０は、画像処理部４２によって生成された画像を表示部１８に表示させる。
【００７６】
記憶制御部７２は、画像処理部４２によって生成された画像を記憶部７４に記憶させる。例えば、静止画の取得指示に従って撮影された画像及び画像を撮影した際の照射光Ｌ０の波長パターンの情報等を記憶部７４に記憶させる。
【００７７】
記憶部７４は、例えばハードディスク等のストレージ装置である。なお、記憶部７４は、プロセッサ装置１６に内蔵されたものに限定されない。例えば、プロセッサ装置１６に接続される不図示の外部記憶装置であってもよい。外部記憶装置は、不図示のネットワークを介して接続されていてもよい。
【００７８】
このように構成された内視鏡システム１０は、動画又は静止画を撮影し、撮影した画像を表示部１８に表示する。また、撮影された画像の画像認識を行い、認識結果を認識結果報知部６０において報知する。
【００７９】
＜認識結果の報知方法＞
図６は、内視鏡システム１０による認識結果の報知方法の処理を示すフローチャートである。認識結果の報知方法は、画像取得工程（ステップＳ１）と、部位認識工程（ステップＳ２）と、注目領域検出工程（ステップＳ３）と、鑑別工程（ステップＳ４）と、挿抜判別工程（ステップＳ５）と、認識結果報知工程（ステップＳ６）と、終了判定工程（ステップＳ７）とを有する。
【００８０】
〔画像取得工程（ステップＳ１）〕
ステップＳ１では、内視鏡システム１０は、撮影制御部４０の制御により一定のフレームレートで動画撮影を行う。
【００８１】
即ち、光源制御部２４は、第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光とを、所望の観察モードに対応する光量比に設定する。これにより、被験者の管腔内の被観察領域に所望の波長パターンの照射光Ｌ０を照射する。
【００８２】
また、撮影制御部４０は、撮像素子３６、アナログデジタル変換部３８、及び画像処理部４２を制御し、被観察領域からの反射光を受光した被観察領域の画像を撮影する。表示制御部７０は、撮影した画像を表示部１８に表示させる。また、画像取得部４４は、撮影した画像を取得する。
【００８３】
〔部位認識工程（ステップＳ２）〕
次に、ステップＳ２では、部位認識部４８は、画像取得部４４が取得した画像から先端部１２Ｄが管腔内のどの部位に存在するかを認識する。ここでは、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸、盲腸、回腸、及び空腸のいずれかの部位であると認識する。
【００８４】
〔注目領域検出工程（ステップＳ３）〕
ステップＳ３では、検出部５０は、部位認識部４８が認識した部位に基づいて、画像取得部４４が取得した画像から病変を検出する。
【００８５】
〔鑑別工程（ステップＳ４）〕
ステップＳ４では、鑑別部５２は、ステップＳ３において検出された病変について、良性か悪性かを認識する。
【００８６】
〔挿抜判別工程（ステップＳ５）〕
ステップＳ５では、挿抜判別部６８は、画像処理部４２によって生成された時系列的な複数の画像から動きベクトルを検出し、検出した動きベクトルに基づいて、挿入部１２Ａの移動方向を検出し、移動方向から検査が挿入工程及び抜去工程のいずれの工程であるかを判別する。
【００８７】
〔認識結果報知工程（ステップＳ６）〕
ステップＳ６では、報知制御部５８は、認識結果報知部６０にステップＳ２、ステップＳ３、及びステップＳ４の認識結果の報知を行わせる。報知制御部５８は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように認識結果報知部６０に報知を行わせる。
【００８８】
即ち、検査の工程が挿入工程である場合は管腔内の洗浄中であると考えられる。したがって、挿入工程である場合は医師の操作を阻害しないよう、相対的に低い報知力で報知を行った方がよい。一方、検査の工程が抜去工程である場合は管腔内の観察中であると考えられる。したがって、診断のサポートを適切に行うために、相対的に高い報知力で報知を行う。このように、ステップＳ６では、抜去工程において医師に対してより注意を促すことができる。
【００８９】
〔終了判定工程（ステップＳ７）〕
ステップＳ７では、内視鏡システム１０による検査が終了したか否かを判定する。検査が終了していない場合は、ステップＳ１に戻り、同様の処理を繰り返す。検査が終了した場合は、本フローチャートの処理を終了する。
【００９０】
このように、検査の工程が挿入工程及び抜去工程のいずれの工程であるかを判別し、判別した工程に応じて認識結果報知部６０に報知を行わせるようにしたので、認識結果を適切に報知することができ、注目領域である病変の検出結果を適切に報知することができる。
【００９１】
＜第１の実施形態＞
図７は、第１の実施形態に係る認識結果報知部６０の構成を示すブロック図である。本実施形態では、認識結果報知部６０は、表示報知部６２を備えている。さらに、表示報知部６２は、ディスプレイ６２Ａを備えている。ディスプレイ６２Ａは、画像等の情報を出力表示する表示デバイスである。表示報知部６２は、病変が検出された際に病変が検出された旨をディスプレイ６２Ａの表示で報知する。本実施形態では、ディスプレイ６２Ａは、表示部１８と共通である。
【００９２】
第１の実施形態では、報知制御部５８は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を表示報知部６２に報知させる。
【００９３】
図８は、画像から病変が検出された旨を文字の表示で報知する例を示す図である。図８に示す例では、画像処理部４２が生成した画像Ｇを表示しているディスプレイ６２Ａにおいて、報知制御部５８が表示報知部６２を制御して、画像Ｇから病変Ｌが検出された旨を文字の表示で報知している。図８に示すＦ８１は、挿入部１２Ａの検査の工程が挿入工程の場合を示している。Ｆ８１の場合は、第１の大きさの文字１００Ａがディスプレイ６２Ａに表示されている。また、図８に示すＦ８２は、挿入部１２Ａの移動の工程が抜去工程の場合を示している。Ｆ８２の場合は、第１の大きさより大きい第２の大きさの文字１００Ｂがディスプレイ６２Ａに表示されている。
【００９４】
このように、図８に示す例では、文字の大きさを異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。なお、異ならせるのは文字の大きさに限られず、文字の色を変更してもよい。この場合は、色の明度、又は彩度が相対的に低い文字よりも相対的に高い文字の方が、報知力が相対的に高い。また、青系の色相の文字よりも赤系の色相の文字の方が、報知力が相対的に高い。
【００９５】
なお、欠陥が検出された旨をディスプレイ６２Ａの表示で報知する際に、検査の工程に応じて報知力を異ならせるには、文字の大きさ、又は色を変更する例に限定されず、様々な態様が可能である。
【００９６】
図９は、画像から病変が検出された旨をアイコンの表示で報知する例を示す図である。図９に示す例では、画像処理部４２が生成した画像Ｇを表示しているディスプレイ６２Ａにおいて、報知制御部５８が表示報知部６２を制御して、画像Ｇから病変Ｌが検出された旨をアイコンの表示で報知している。図９に示すＦ９１は、検査の工程が挿入工程の場合を示している。Ｆ９１の場合は、第１の大きさのアイコン１０２Ａがディスプレイ６２Ａに表示されている。また、図９に示すＦ９２は、検査の工程が抜去工程の場合を示している。Ｆ９２の場合は、第１の大きさより大きい第２の大きさのアイコン１０２Ｂがディスプレイ６２Ａに表示されている。
【００９７】
このように、アイコンの大きさを異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。
【００９８】
図１０は、画像から病変が検出された旨を背景の表示で報知する例を示す図である。図１０に示す例では、画像処理部４２が生成した画像Ｇを表示しているディスプレイ６２Ａにおいて、報知制御部５８が表示報知部６２を制御して、画像Ｇから病変Ｌが検出された旨を背景の表示で報知している。背景とは、ディスプレイ６２Ａの表示範囲のうち、画像Ｇ以外の領域である。通常は、黒の背景が表示される。
【００９９】
図１０に示すＦ１０１は、検査の工程が挿入工程の場合を示している。Ｆ１０１の場合は、黒とは異なる第１の背景色の背景１０４Ａがディスプレイ６２Ａに表示されている。また、図１０に示すＦ１０２は、検査の工程が抜去工程の場合を示している。Ｆ１０２の場合は、第１の背景色よりも明度の高い第２の背景色の背景１０４Ｂがディスプレイ６２Ａに表示されている。
【０１００】
このように、背景色の明度を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。なお、異ならせるのは背景色の明度に限られず、背景色の彩度又は色相を変更してもよい。この場合は、彩度が相対的に高い背景色の方が、報知力が相対的に高い。また、青系の色相の背景色よりも赤系の色相の背景色の方が、報知力が相対的に高い。
【０１０１】
図１１は、画像から病変が検出された旨をフレームの表示で報知する例を示す図である。図１１に示す例では、画像処理部４２が生成した画像Ｇを表示しているディスプレイ６２Ａにおいて、報知制御部５８が表示報知部６２を制御して、画像Ｇから病変Ｌが検出された旨を病変Ｌが含まれるフレームの表示で報知している。図１１に示すＦ１１１は、検査の工程が挿入工程の場合を示している。Ｆ１１１の場合は、第１の大きさのフレーム１０６Ａが画像Ｇと共にディスプレイ６２Ａに表示されている。フレーム１０６Ａには、ディスプレイ６２Ａに表示されている画像Ｇが表示されている。報知制御部５８は、ディスプレイ６２Ａに表示されている画像Ｇではなく、病変Ｌが検出された１つ前の画像をフレーム１０６Ａに表示させてもよい。
【０１０２】
また、図１１に示すＦ１１２は、検査の工程が抜去工程の場合を示している。Ｆ１１２の場合は、第１の大きさより大きい第２の大きさのフレーム１０６Ｂが画像Ｇと共にディスプレイ６２Ａに表示されている。フレーム１０６Ｂに表示される画像は、Ｆ１１１と同様の画像とすればよい。
【０１０３】
このように、病変Ｌが含まれる画像Ｇを表示するフレームの大きさを異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。
【０１０４】
図１２は、画像から病変が検出された旨を異なる表示の態様で報知する例を示す図である。図１２に示す例では、画像処理部４２が生成した画像Ｇを表示しているディスプレイ６２Ａにおいて、報知制御部５８が表示報知部６２を制御して、画像Ｇから病変Ｌが検出された旨を挿抜判別部６８が判別した工程に応じて異なる表示の態様で報知している。図１２に示すＦ１２１は、検査の工程が挿入工程の場合を示している。Ｆ１２１の場合は、ディスプレイ６２Ａに第１の大きさのアイコン１０２Ａが表示されている。アイコン１０２Ａは非表示であってもよい。また、図１２に示すＦ１２２は、検査の工程が抜去工程の場合を示している。Ｆ１２２の場合は、ディスプレイ６２Ａの病変Ｌの位置に病変Ｌの範囲を示す図形１０８が画像Ｇに重畳表示されている。
【０１０５】
このように、病変Ｌが検出された旨の表示の態様を挿抜判別部６８が判別した工程に応じて異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。
【０１０６】
図１３は、画像から病変が検出された旨を異なる表示時間で報知する例を示す図である。図１３に示す例では、画像処理部４２が生成した画像Ｇを表示しているディスプレイ６２Ａにおいて、報知制御部５８が表示報知部６２を制御して、画像Ｇから病変Ｌが検出された旨を異なる表示時間で報知している。図１３に示すＦ１３１及びＦ１３２は、検査の工程が挿入工程の場合を示している。Ｆ１３１の場合は、ディスプレイ６２Ａの病変Ｌの位置に病変Ｌの範囲を示す図形１０８が画像Ｇに重畳表示されている。Ｆ１３２は、Ｆ１３１から一定時間が経過し、挿入部１２Ａがさらに挿入方向に移動した場合を示している。Ｆ１３２では、画像Ｇから病変Ｌが検出されておらず、図形１０８は表示されない。即ち、報知制御部５８は、検査の工程が挿入工程の場合は、病変Ｌの検出時のみ、病変の位置に病変の範囲を示す図形１０８を画像Ｇに重畳表示させる。
【０１０７】
これに対し、図１３に示すＦ１３３及びＦ１３４は、検査の工程が抜去工程の場合を示している。Ｆ１３３の場合は、ディスプレイ６２Ａの病変Ｌの位置に病変Ｌの範囲を示す図形１０８が画像Ｇに重畳表示されている。Ｆ１３４は、Ｆ１３３から一定時間が経過し、挿入部１２Ａがさらに抜去方向に移動した場合を示している。Ｆ１３４では、画像Ｇから病変Ｌが検出されていないが、Ｆ１３３で表示された図形１０８が同じ位置に表示され続けている。即ち、報知制御部５８は、検査の工程が抜去工程の場合は、病変Ｌの検出時及び検出後の一定時間、病変の位置に病変の範囲を示す図形１０８を画像Ｇに重畳表示させる。
【０１０８】
このように、病変Ｌの範囲を示す図形の表示時間を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。
【０１０９】
本実施形態では、表示部１８とディスプレイ６２Ａとを共通としたが、画像Ｇを表示部１８に、欠陥検出の結果の報知をディスプレイ６２Ａに表示させてもよい。
【０１１０】
＜第２の実施形態＞
図１４は、第２の実施形態に係る認識結果報知部６０の構成を示すブロック図である。本実施形態では、認識結果報知部６０は、音報知部６４を備えている。さらに、音報知部６４は、ブザー６４Ａを備えている。ブザー６４Ａは、報知音を発生する音発生デバイスであり、例えば圧電素子を有する圧電ブザーが適用される。音報知部６４は、病変が検出された際に病変が検出された旨をブザー６４Ａの報知音で報知する。本実施形態では、ブザー６４Ａはプロセッサ装置１６に設けられる。
【０１１１】
第２の実施形態では、報知制御部５８は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を音報知部６４に報知させる。即ち、報知制御部５８は、挿入工程では音報知部６４に第１の音量（音の大きさ）で出力させ、抜去工程では音報知部６４に第１の音量より大きい第２の音量で出力させる。
【０１１２】
このように、第２の実施形態では、音量を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。なお、異ならせるのは音量に限られず、音の長さを変更してもよい。この場合は、相対的に短い音よりも相対的に長い音の方が、報知力が相対的に高い。
【０１１３】
＜第３の実施形態＞
図１５は、第３の実施形態に係る認識結果報知部６０の構成を示すブロック図である。本実施形態では、認識結果報知部６０は、点灯報知部６６を備えている。さらに、点灯報知部６６は、ランプ６６Ａを備えている。ランプ６６Ａは、報知光を発生する光源であり、例えば発光ダイオードが適用される。点灯報知部６６は、病変が検出された際に病変が検出された旨をランプ６６Ａの点灯で報知する。本実施形態では、ランプ６６Ａはプロセッサ装置１６に設けられる。
【０１１４】
第３の実施形態では、報知制御部５８は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を点灯報知部６６に報知させる。即ち、報知制御部５８は、挿入工程では点灯報知部６６に第１の光量（光の強さ）で点灯させ、抜去工程では点灯報知部６６に第１の光量より大きい第２の光量で出力させる。
【０１１５】
このように、第３の実施形態では、光量を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。なお、異ならせるのは光量に限られず、光の色を変更してもよい。例えば、青系の色相での点灯よりも赤系の色相での点灯の方が、報知力が相対的に高い。また、点灯時間を異ならせてもよい。例えば、点灯時間が相対的に短い点滅状態よりも点灯時間が相対的に長い連続点灯状態の方が、報知力が相対的に高い。
【０１１６】
＜第４の実施形態＞
図１６は、第４の実施形態に係る認識結果報知部６０の構成を示すブロック図である。本実施形態では、認識結果報知部６０は、表示報知部６２と、音報知部６４とを備えている。
【０１１７】
第４の実施形態では、報知制御部５８は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を認識結果報知部６０に報知させる。即ち、挿入工程では、報知制御部５８は表示報知部６２に、図１２のＦ１１２と同様にディスプレイ６２Ａの病変Ｌの位置に病変Ｌの範囲を示す図形１０８を画像Ｇに重畳表示させる。また、抜去工程では、報知制御部５８は表示報知部６２に、挿入工程と同様にディスプレイ６２Ａの病変Ｌの位置に病変Ｌの範囲を示す図形１０８を画像Ｇに重畳表示させ、かつ音報知部６４に音を出力させる。
【０１１８】
このように、第４の実施形態では、ディスプレイ６２Ａに同様の表示をするとともにブザー６４Ａの音の出力の有無を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。
【０１１９】
＜第５の実施形態＞
第５の実施形態に係る認識結果報知部６０の構成は、第４の実施形態に係る認識結果報知部６０の構成と同様である。
【０１２０】
第５の実施形態では、報知制御部５８は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を認識結果報知部６０に報知させる。即ち、挿入工程では、報知制御部５８は音報知部６４に音を出力させる。また、抜去工程では、報知制御部５８は音報知部６４に音を出力させ、かつ表示報知部６２に、図９のＦ９２と同様にディスプレイ６２Ａにアイコン１０２Ｂを表示させる。
【０１２１】
このように、第５の実施形態では、ブザー６４Ａにより同様の音出力をするとともにディスプレイ６２Ａの表示を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。
【０１２２】
＜第６の実施形態＞
図１７は、第６の実施形態に係る認識結果報知部６０の構成を示すブロック図である。本実施形態では、認識結果報知部６０は、表示報知部６２と、音報知部６４と、点灯報知部６６とを備えている。
【０１２３】
第６の実施形態では、報知制御部５８は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を認識結果報知部６０に報知させる。即ち、挿入工程では、報知制御部５８は点灯報知部６６によってランプ６６Ａを点灯させる。また、抜去工程では、報知制御部５８は点灯報知部６６によってランプ６６Ａを点灯させ、かつ表示報知部６２によってディスプレイ６２Ａの病変Ｌの位置に病変Ｌの範囲を示す図形１０８を画像Ｇに重畳表示させ、かつ音報知部６４によってブザー６４Ａの音を出力させる。
【０１２４】
このように、第６の実施形態では、ランプ６６Ａにより同様の点灯をするとともにディスプレイ６２Ａの表示及びブザー６４Ａの音の出力を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。
【０１２５】
なお、Ｎを０〜２のうちのいずれかの整数とすると、報知制御部５８は、挿入工程では表示報知部６２、音報知部６４、及び点灯報知部６６のうちのいずれかＮ個により報知を行わせ、抜去工程では表示報知部６２、音報知部６４、及び点灯報知部６６のうちの少なくとも（Ｎ＋１）個により報知を行わせてもよい。表示報知部６２による報知は、文字の表示による報知、アイコンの表示による報知、背景色の変更による報知、フレームの表示による報知、病変の範囲を示す図形の表示による報知、のいずれかを用いればよい。音報知部６４による報知はブザー６４Ａの報知音による報知である。また、点灯報知部６６による報知は、ランプ６６Ａの点灯による報知である。
【０１２６】
このように報知を行っても、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。報知の方法は、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くし、医師に対してより注意を促すことが期待できる方法であれば、いかなる方法でもよい。
【０１２７】
＜付記＞
上述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。
【０１２８】
（付記１）
医療画像解析処理部は、医療画像（内視鏡画像）の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
【０１２９】
（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
【０１３０】
（付記３）
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
【０１３１】
（付記４）
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
【０１３２】
（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
【０１３３】
（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
【０１３４】
（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
【０１３５】
（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
【０１３６】
（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
【０１３７】
（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
【０１３８】
（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
【０１３９】
（付記１２）
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
【０１４０】
（付記１３）
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
【０１４１】
（付記１４）
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
【０１４２】
（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
【０１４３】
（付記１６）
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
【０１４４】
（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるRGB（Red Green Blue）あるいはCMY（Cyan, Magenta, Yellow）の色情報に基づく演算により得る医療画像処理装置。
【０１４５】
（付記１８）
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
【０１４６】
（付記１９）
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
【０１４７】
（付記２０）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
【０１４８】
（付記２１）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
【０１４９】
ここまで説明した実施形態において、例えば、画像認識部４６、報知制御部５８、及び挿抜判別部６８の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【０１５０】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
【０１５１】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
【０１５２】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【０１５３】
１０…内視鏡システム
１２…内視鏡
１２Ａ…挿入部
１２Ｂ…操作部
１２Ｃ…湾曲部
１２Ｄ…先端部
１２Ｅ…アングルノブ
１３…モード切替スイッチ
１４…光源装置
１６…プロセッサ装置
１８…表示部
２０…入力部
２２Ａ…第１レーザ光源
２２Ｂ…第２レーザ光源
２４…光源制御部
２８Ａ…光ファイバ
２８Ｂ…光ファイバ
３０…蛍光体
３２…拡散部材
３４…撮像レンズ
３６…撮像素子
３８…アナログデジタル変換部
４０…撮影制御部
４２…画像処理部
４４…画像取得部
４６…画像認識部
４８…部位認識部
５０…検出部
５０Ａ…第１検出部
５０Ｂ…第２検出部
５０Ｃ…第３検出部
５０Ｄ…第４検出部
５０Ｅ…第５検出部
５０Ｆ…第６検出部
５０Ｇ…第７検出部
５０Ｈ…第８検出部
５２…鑑別部
５４…パラメータ記憶部
５４Ａ…第１パラメータ記憶部
５４Ｂ…第２パラメータ記憶部
５４Ｃ…第３パラメータ記憶部
５４Ｄ…第４パラメータ記憶部
５４Ｅ…第５パラメータ記憶部
５４Ｆ…第６パラメータ記憶部
５４Ｇ…第７パラメータ記憶部
５４Ｈ…第８パラメータ記憶部
５８…報知制御部
６０…認識結果報知部
６２…表示報知部
６２Ａ…ディスプレイ
６４…音報知部
６４Ａ…ブザー
６６…点灯報知部
６６Ａ…ランプ
６８…挿抜判別部
７０…表示制御部
７２…記憶制御部
７４…記憶部
１００Ａ…文字
１００Ｂ…文字
１０２Ａ…アイコン
１０２Ｂ…アイコン
１０６Ａ…フレーム
１０６Ｂ…フレーム
１０８…図形
Ｇ…画像
Ｌ…病変
Ｌ１…光
Ｌ１１…励起光
Ｌ１２…レーザ光
Ｌ２…光
Ｓ１〜Ｓ７…認識結果の報知方法の各処理
【図１】
2020017212.tif 000003
【図２】
2020017212.tif 000004
【図３】
2020017212.tif 000005
【図４】
2020017212.tif 000006
【図５】
2020017212.tif 000007
【図６】
2020017212.tif 000008
【図７】
2020017212.tif 000009
【図８】
2020017212.tif 000010
【図９】
2020017212.tif 000011
【図１０】
2020017212.tif 000012
【図１１】
2020017212.tif 000013
【図１２】
2020017212.tif 000014
【図１３】
2020017212.tif 000015
【図１４】
2020017212.tif 000016
【図１５】
2020017212.tif 000017
【図１６】
2020017212.tif 000018
【図１７】
2020017212.tif 000019
【手続補正書】
【提出日】令和2年12月23日(2020.12.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
患者の管腔内を検査する内視鏡システムであって、
前記管腔内に挿入される挿入部と、
前記管腔内を撮影して内視鏡画像を取得するカメラと、
前記内視鏡画像から注目領域を検出する注目領域検出部と、
前記注目領域の検出結果の報知を行う検出結果報知部と、
検査の工程が前記挿入部を前記管腔内の折り返し地点まで挿入させる挿入工程及び前記挿入部を前記折り返し地点から抜去させる抜去工程のいずれの工程であるかを判別する挿抜判別部と、
前記挿抜判別部が判別した工程に応じて前記検出結果報知部に報知を行わせる報知制御部と、
を備える内視鏡システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
また、図２に示すように、プロセッサ装置１６は、撮影制御部４０、画像処理部４２、画像取得部４４、画像認識部４６、報知制御部５８、挿抜判別部６８、表示制御部７０、記憶制御部７２、及び記憶部７４を備えている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
図８は、画像から病変が検出された旨を文字の表示で報知する例を示す図である。図８に示す例では、画像処理部４２が生成した画像Ｇを表示しているディスプレイ６２Ａにおいて、報知制御部５８が表示報知部６２を制御して、画像Ｇから病変Ｌが検出された旨を文字の表示で報知している。図８に示すＦ８１は、挿入部１２Ａの検査の工程が挿入工程の場合を示している。Ｆ８１の場合は、第１の大きさの文字１００Ａがディスプレイ６２Ａに表示されている。また、図８に示すＦ８２は、挿入部１２Ａの検査の工程が抜去工程の場合を示している。Ｆ８２の場合は、第１の大きさより大きい第２の大きさの文字１００Ｂがディスプレイ６２Ａに表示されている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
なお、病変が検出された旨をディスプレイ６２Ａの表示で報知する際に、検査の工程に応じて報知力を異ならせるには、文字の大きさ、又は色を変更する例に限定されず、様々な態様が可能である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
本実施形態では、表示部１８とディスプレイ６２Ａとを共通としたが、画像Ｇを表示部１８に、病変検出の結果の報知をディスプレイ６２Ａに表示させてもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１１４
【補正方法】変更
【補正の内容】
【０１１４】
第３の実施形態では、報知制御部５８は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を点灯報知部６６に報知させる。即ち、報知制御部５８は、挿入工程では点灯報知部６６に第１の光量（光の強さ）で点灯させ、抜去工程では点灯報知部６６に第１の光量より大きい第２の光量でランプ６６Ａを点灯させる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【０１１７】
第４の実施形態では、報知制御部５８は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を認識結果報知部６０に報知させる。即ち、挿入工程では、報知制御部５８は表示報知部６２に、図１２のＦ１２２と同様にディスプレイ６２Ａの病変Ｌの位置に病変Ｌの範囲を示す図形１０８を画像Ｇに重畳表示させる。また、抜去工程では、報知制御部５８は表示報知部６２に、挿入工程と同様にディスプレイ６２Ａの病変Ｌの位置に病変Ｌの範囲を示す図形１０８を画像Ｇに重畳表示させ、かつ音報知部６４に音を出力させる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１３１
【補正方法】変更
【補正の内容】
【０１３１】
（付記４）
医療画像は、白色の波長帯域の光、または白色の波長帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１３３
【補正方法】変更
【補正の内容】
【０１３３】
（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色の波長帯域である医療画像処理装置。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１３５
【補正方法】変更
【補正の内容】
【０１３５】
（付記８）
特定の波長帯域は、可視域の赤色の波長帯域である医療画像処理装置。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１４３
【補正方法】変更
【補正の内容】
【０１４３】
（付記１６）
医療画像取得部は、白色の波長帯域の光、または白色の波長帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１４５
【補正方法】変更
【補正の内容】
【０１４５】
（付記１８）
白色の波長帯域の光、または白色の波長帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2020017212.tif 000020
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2020017212.tif 000021
【国際調査報告】
2020017212.tif 000022
2020017212.tif 000023
2020017212.tif 000024
2020017212.tif 000025