(57)【要約】  内視鏡用画像処理装置（３２）は、被写体を内視鏡（２１）にて撮像して得られた撮像信号に対し、プロセッサ（３１）にて所定の処理を施して生成された生成画像、及び／または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力される入力部（３３）と、病変部を生成画像から検出して支援情報を付加、または通知する診断支援部（３４）と、入力部（３３）にて入力された生成画像、及び／または、システム情報を解析する取得情報解析部（３５１）と、解析結果に基づき、診断支援動作に影響を及ぼす要因を決定して出力する警告表示設定部（３５２）とを備える。
2020084752.tif 000002
【特許請求の範囲】
【請求項１】
被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び／または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力される入力部と、
前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援部と、
前記入力部にて入力された前記生成画像、及び／または、前記システム情報を解析する取得情報解析部と、
前記取得情報解析部における解析結果に基づき、前記診断支援部の動作に影響を及ぼす要因を決定して出力する警告表示設定部と、
を備えることを特徴とする内視鏡用画像処理装置。
【請求項２】
前記取得情報解析部は、前記生成画像、及び／または、前記システム情報を解析して診断支援動作に影響を及ぼす要因が存在するか否かを解析する機能状態解析部を備えることを特徴とする、請求項１に記載の内視鏡用画像処理装置。
【請求項３】
前記警告表示設定部は、取得情報解析部における解析結果に基づき、前記診断支援動作に影響を及ぼす要因を決定する警告内容決定部と、前記診断支援動作の状態や、前記要因を解消するための解決方法を決定して出力する警告方法設定部とを備えることを特徴とする、請求項２に記載の内視鏡用画像処理装置。
【請求項４】
前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、を備えており、前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項５】
前記機能状態解析部は、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、前記警告内容決定部は、前記撮像状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項６】
前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項７】
前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項８】
前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部を備えており、前記警告内容決定部は、前記システム機器状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項９】
前記システム機器状態解析部は、前記システム機器の状態が、前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項８に記載の内視鏡用画像処理装置。
【請求項１０】
前記システム機器状態解析部は、前記システム機器の設定パラメータが、前記診断支援動作に適した状態であるか否かを判定するパラメータ解析部を備えることを特徴とする、請求項８に記載の内視鏡用画像処理装置。
【請求項１１】
前記パラメータ状態解析部は、前記プロセッサにおける前記撮像信号に対する画像強調処理のパラメータの値が、前記診断支援動作に適した範囲内であるか否かを判定することを特徴とする、請求項１０に記載の内視鏡用画像処理装置。
【請求項１２】
前記システム機器状態解析部は、前記診断支援部において前記診断支援動作実行のために設定されたアルゴリズムが、前記診断支援動作に適切であるか否かを判定することを特徴とする、請求項８に記載の内視鏡用画像処理装置。
【請求項１３】
前記機能状態解析部は、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部を備えており、前記警告内容決定部は、前記撮像状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項１４】
前記撮像状態解析部は、生成画像から判断できる前記撮像部の状態が前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項１３に記載の内視鏡用画像処理装置。
【請求項１５】
前記撮像状態解析部は、前記被写体の状態が前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項１３に記載の内視鏡用画像処理装置。
【請求項１６】
前記撮像状態解析部は、前記生成画像に、残渣、出血、治療痕のいずれかが存在するか否かを判定することを特徴とする、請求項１５に記載の内視鏡用画像処理装置。
【請求項１７】
前記機能状態解析部は、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部を備えており、前記警告内容決定部は、前記操作状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項１８】
前記機能状態解析部は、前記内視鏡の引き抜き速度が設定された所定範囲内であるか否かを判定することを特徴とする、請求項１７に記載の内視鏡用画像処理装置。
【請求項１９】
前記警告方法設定部は、前記診断支援動作を適切な状態で動作させるための解決方法を導出して出力する解決方法表示設定部を備えていることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項２０】
前記警告方法設定部は、前記診断支援動作による支援結果の信頼度を導出して出力する信頼度表示設定部を備えていることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項２１】
前記警告方法設定部は、前記機器状態解析部の解析結果により前記診断支援動作が適切に動作しない状態である場合、前記診断支援動作が動作不可であることを出力する支援不可表示設定部を備えていることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項２２】
前記取得情報解析部の解析結果により前記診断支援動作が適切に動作しない状態である場合、前記診断支援部の機能をオフに切り替える診断支援設定部をさらに備えていることを特徴とする、請求項１に記載の内視鏡用画像処理装置。
【請求項２３】
被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び／または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報を入力し、
前記生成画像、及び／または、前記システム情報を解析し、
前記内視鏡の観察対象である病変部を前記生成画像から検出して前記病変部に対して支援情報を付加、または通知する診断支援動作に対し、影響を及ぼす要因を前記解析結果に基づき決定して出力し、
前記要因が検出されない場合、前記診断支援動作を実行することを特徴とする、
内視鏡用画像処理方法。
【請求項２４】
入力部が、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び／または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報を取得するステップと、
取得情報解析部が、前記生成画像、及び／または、前記システム情報を解析するステップと、
警告表示設定部が、前記取得情報解析部における解析結果に基づき、前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援動作に影響を及ぼす要因を決定して出力するステップと
診断支援部が、前記診断支援動作を実行するステップと、
をコンピュータに実行させることを特徴とする内視鏡用画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見及び鑑別し、病変部に対する処置具を用いた処理を行うことができる。【０００３】
術者が内視鏡画像を見る際に病変部の見落としを抑制するために、内視鏡画像から検出された病変部に、枠などのマーカによる強調表示を付与して表示させる、診断支援機能を有する画像処理装置は、一般的に広く知られている。【０００４】
診断支援機能は、病変部の見落としを抑制するために有効な機能であるが、ユーザが既に気づいている病変部に対して検出枠表示などの強調表示を施すと、ユーザの観察の妨げになる恐れがある。【０００５】
そこで、例えば、日本国特開２０１１−２５５００６号公報などにおいて、病変候補が検出されていても、サイズが大きい病変部など、ユーザが既に認識している可能性が高い場合には、検出枠などの強調表示を行わない内視鏡画像処理装置が提案されている。【０００６】
しかし、日本国特開２０１１−２５５００６号公報による内視鏡画像処理装置では、病変部が表示されているにもかかわらず、検出枠などの強調表示が行われない場合、ユーザの観察の妨げになるためにあえて強調表示を行っていないのか、診断支援機能が動作していないのかが識別できないという問題があった。【０００７】
本発明は、前述した事情に鑑みてなされたものであり、診断支援機能の動作状況をユーザが常に識別することができる、内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムを提供することを目的としている。
【発明の開示】
【課題を解決するための手段】
【０００８】
本発明の一態様の内視鏡用画像処理装置は、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び／または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力される入力部と、前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援部と、前記入力部にて入力された前記生成画像、及び／または、前記システム情報を解析する取得情報解析部と、前記取得情報解析部における解析結果に基づき、前記診断支援部の動作に影響を及ぼす要因を決定して出力する警告表示設定部と、を備える。【０００９】
本発明の一態様の内視鏡用画像処理方法は、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び／または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報を入力し、前記生成画像、及び／または、前記システム情報を解析し、前記内視鏡の観察対象である病変部を前記生成画像から検出して前記病変部に対して支援情報を付加する診断支援動作に対し、影響を及ぼす要因を前記解析結果に基づき決定して出力し、前記診断支援動作は常時実行しているが，前記要因が検出された場合は支援結果を表示させないかつ警告表示する。【００１０】
本発明の一態様の内視鏡用画像処理プログラムは、入力部が、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び／または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報を取得するステップと、取得情報解析部が、前記生成画像、及び／または、前記システム情報を解析するステップと、警告表示設定部が、前記取得情報解析部における解析結果に基づき、前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援動作に影響を及ぼす要因を決定して出力するステップと、診断支援部が、前記診断支援動作を実行するステップと、をコンピュータに実行させる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図。
【図２】第１の実施形態に係る画像処理装置の画像処理に係る構成の一例を説明するためのブロック図。
【図３Ａ】取得情報解析部の構成を示すブロック図。
【図３Ｂ】警告表示設定部の構成を示すブロック図。
【図４】第１の実施形態に係る画像処理装置において行われる診断支援機能に関する動作確認処理の流れの一例を説明するフローチャート。
【図５】第１の実施形態に係る取得情報解析処理の流れの一例を説明するフローチャート。
【図６】第１の実施形態に係る解析結果に基づく表示内容生成処理の流れの一例を説明するフローチャート。
【図７】第２の実施形態に係る機能可否解析処理の流れの一例を説明するフローチャート。
【図８】第２の実施形態に係る警告内容決定処理の流れの一例を説明するフローチャート。
【図９】第３の実施形態に係るシステム機器状態解析処理の流れの一例を示すフローチャート。
【図１０】第３の実施形態に係る撮像状態解析処理の流れの一例を示すフローチャート。
【図１１】第３の実施形態に係る操作状態解析処理の流れの一例を示すフローチャート。
【図１２】第４の実施形態に係る画像処理装置の画像処理に係る構成の一例を説明するためのブロック図。
【図１３】第４の実施形態に係る支援機能動作情報表示処理の流れの一例を示すフローチャート。
【図１４】第４の実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。【００１３】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図である。内視鏡システム１は、図１に示すように、光源駆動装置１１と、内視鏡２１と、ビデオプロセッサ３１と、内視鏡用画像処理装置（以下、画像処理装置と示す）３２と、表示装置４１と、を有して構成されている。【００１４】
光源駆動装置１１は、例えば、ドライブ回路を具備して構成されている。また、光源駆動装置１１は、内視鏡２１及びビデオプロセッサ３１に接続されている。また、光源駆動装置１１は、ビデオプロセッサ３１からの光源制御信号に基づき、内視鏡２１の光源部２３を駆動させるための光源駆動信号を生成し、当該生成した光源駆動信号を内視鏡２１へ出力するように構成されている。【００１５】
内視鏡２１は、光源駆動装置１１及びビデオプロセッサ３１に接続されている。また、内視鏡２１は、被検者の体腔内に挿入可能な細長形状の挿入部２２を有して構成されている。また、挿入部２２の先端部には、光源部２３と、撮像部２４と、が設けられている。【００１６】
光源部２３は、例えば、白色ＬＥＤのような発光素子を具備して構成されている。また、光源部２３は、光源駆動装置１１から出力される光源駆動信号に応じて発光することにより照明光を発生し、当該発生した照明光を生体組織等の被写体へ出射するように構成されている。【００１７】
撮像部２４は、例えば、カラーＣＣＤまたはカラーＣＭＯＳのようなイメージセンサを有して構成されている。また、撮像部２４は、ビデオプロセッサ３１から出力される撮像制御信号に応じた動作を行うように構成されている。また、撮像部２４は、光源部２３からの照明光により照明された被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力するように構成されている。【００１８】
ビデオプロセッサ３１は、光源駆動装置１１及び内視鏡２１に接続されている。また、ビデオプロセッサ３１は、光源部２３の発光状態を制御するための光源制御信号を生成して光源駆動装置１１へ出力するように構成されている。また、ビデオプロセッサ３１は、撮像部２４の撮像動作を制御するための撮像制御信号を生成して出力するように構成されている。また、ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の生成画像を生成する。そして、当該生成した生成画像に対してユーザの設定に応じて強調処理やホワイトバランス補正処理を施した後、画像処理装置３２へ１フレームずつ順次出力するように構成されている。【００１９】
画像処理装置３２は、画像処理回路等の電子回路を具備して構成されている。また、画像処理装置３２は、ビデオプロセッサ３１から出力される生成画像に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置４１に表示させるための動作を行うように構成されている。また、画像処理装置３２は、図２に示すように、入力部３３と、診断支援部３４と、表示制御部３５と、を有して構成されている。図２は、第１の実施形態に係る画像処理装置の画像処理に係る構成の一例を説明するためのブロック図である。【００２０】
入力部３３は、画像入力部３３１と、システム情報入力部３３２と、を有して構成される。画像入力部３３１は、ビデオプロセッサ３１から入力される生成画像を、診断支援部３４と表示制御部３５とへ出力する。システム情報入力部３３２は、内視鏡２１やビデオプロセッサ３１のバージョン情報などを含む各種情報を取得し、表示制御部３５へと出力する。【００２１】
診断支援部３４は、病変検出部３４１と、支援情報生成部３４２と、制御部３４３と、を有して構成される。【００２２】
病変検出部３４１は、画像入力部３３１から順次出力される生成画像に含まれる病変部を検出するように構成されている。病変検出部３４１は、例えば、ディープラーニング等の学習手法でポリープ画像を鑑別可能な機能を予め取得した画像鑑別器を生成画像に対して適用する処理を行うことにより、当該生成画像から病変部を検出する。なお、病変部の検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７−２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。【００２３】
支援情報生成部３４２は、病変検出部３４１で検出された病変部の存在をユーザに認知させるために、例えば、当該病変部を囲むマーカ画像を生成して生成画像に付加する、または、表示する支援情報付加処理を行う。支援情報生成部３４２により付加されるマーカ画像は、病変部の存在を視覚情報として提示可能な限りにおいては、どのような形態を具備していてもよく、例えば、四角形、三角形、円形、星形等どのような画像でも構わない。また、マーカ画像は、病変部の存在を示すことができるものであれば、病変部を囲まない画像であっても構わない。例えば、病変部の明るさや色調を周辺領域とは異なるものとすることによって病変部の存在を示してもよい。更には、支援情報として病変部を示すメッセージを生成し、病変部の近傍にポップアップメッセージなどの形式で表示することによって、その存在を示してもよい。【００２４】
支援情報制御部３４３は、病変検出部３４１で検出された病変部に対して支援情報を生成して付加表示するか否かを判断したり、支援情報の表示タイミングを制御したりする。【００２５】
表示制御部３５は、取得情報解析部３５１と、警告表示設定部３５２と、を有して構成される。【００２６】
取得情報解析部３５１は、入力部３３から出力される生成画像や、各種情報を解析し、診断支援部３４における診断支援機能の実行に対する影響の有無を判断する回路である。図３Ａは、取得情報解析部３５１の構成を示すブロック部である。図３Ａに示す取得情報解析部３５１中の各部の動作については、下記の説明の対応する箇所で後述する。図３Ａは、以下に説明する本実施の形態に関わる構成だけでなく、本実施の形態の後に説明する第２から第４の実施形態に関わる構成も含めて示している。【００２７】
警告表示設定部３５２は、取得情報解析部３５１の解析結果に基づき、診断支援を正しく実行できない原因を警告内容として特定し、当該警告を含む診断支援機能の状況を表示装置４１の表示画面４１Ａへ表示させる表示内容を設定する回路である。図３Ｂは、警告表示設定部３５２の構成を示すブロック部である。図３Ｂに示す警告表示設定部３５２中の各部の動作については、下記の説明の対応する箇所で後述する。図３Ｂは、以下に説明する本実施の形態に関わる構成だけでなく、本実施の形態の後に説明する第２から第４の実施形態に関わる構成も含めて示している。【００２８】
表示装置４１は、モニタ等を具備し、画像処理装置３２から出力される表示用画像を表示することができるように構成されている。【００２９】
続いて、本実施形態の作用について説明する。図４は、第１の実施形態に係る画像処理装置において行われる診断支援機能に関する動作確認処理の流れの一例を説明するフローチャートである。【００３０】
内視鏡２１は、例えば、光源駆動装置１１及びビデオプロセッサ３１の電源が投入された際に、被写体へ照明光を出射し、当該被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力する。【００３１】
ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の生成画像を生成し、当該生成した生成画像を画像処理装置３２へ１フレームずつ順次出力する。すなわち、入力部３３の画像入力部３３１は、ビデオプロセッサ３１から生体内管腔画像である内視鏡画像（生成画像）を取得する（Ｓ１）。また、入力部３３のシステム情報入力部３３２は、ビデオプロセッサ３１や内視鏡２１において、図示しないメモリ等に格納されている、システム識別情報を取得する（Ｓ１）。画像入力部３３１は、取得した画像を、病変検出部３４１と取得情報解析部３５１とに出力する。また、システム情報入力部３３２は、取得したシステム情報を、取得情報解析部３５１に出力する。【００３２】
なお、Ｓ１において、取得情報解析部３５１は、生成画像とシステム情報の少なくともどちらか一方を取得すればよい。勿論、両方を取得してもよい。【００３３】
続いて、取得情報解析部３５１では、Ｓ１で取得した生成画像、及び／又は、システム情報を解析する（Ｓ２）。Ｓ２の処理は、例えば、図５に示す手順で実行される。図５は、第１の実施形態に係る取得情報解析処理の流れの一例を説明するフローチャートである。図５に示すように、本実施形態における取得情報解析処理では、生成画像、及び／又は、システム情報に基づき、内視鏡２１やビデオプロセッサ３１の状態が、診断支援に影響する状態か否かを解析する（Ｓ２１）。Ｓ２１の処理は、図３Ａにおける機器状態解析部３５１Ａが関わる。【００３４】
図４のフローに戻り、続いて、Ｓ２で取得した解析結果に基づき、診断支援機能の実行に影響すると判断された場合、原因を警告内容として特定し、当該警告を含む診断支援機能の状況を表示装置４１の表示画面４１Ａへ表示させる表示内容を設定する（Ｓ３）。Ｓ３の処理は、例えば、図６に示す手順で実行される。図６は、第１の実施形態に係る解析結果に基づく表示内容生成処理の流れの一例を説明するフローチャートである。【００３５】
図６に示すように、本実施形態における解析結果に基づく表示内容生成処理では、まず、Ｓ２で取得した解析結果に基づき、診断支援機能の実行に影響する要因を警告内容として特定する（Ｓ３１）。Ｓ３１の処理は、図３Ｂにおける警告内容決定部３５２Ａが関わる。続いて、表示装置４１の表示画面４１Ａへ表示させる表示内容を設定し、出力する（Ｓ３２）。Ｓ３２の処理は、図３Ｂにおける警告方法設定部３５２Ｂが関わる。表示内容としては、該警告を解消するための方法や、診断支援機能の状態などが好ましいが、解消方法が提示できない場合は、Ｓ３１で決定された警告内容そのものを表示してもよい。【００３６】
一方、Ｓ２における取得情報解析処理と並列して、診断支援部３４において、Ｓ１において病変検出部３４１に入力された生成画像を用いた診断支援機能が実行される（Ｓ４）。なお、Ｓ４の処理はＳ２の処理と並列に実行可能であるが、必ずしもＳ２の処理と並列に実行する必要はない。Ｓ２→Ｓ３→Ｓ４のように、シーケンシャルに行ってもよい。また、Ｓ２の処理を実行する前にＳ４の処理を実行しても構わない。【００３７】
このように、上述の実施形態によれば、生成画像、及び／又は、内視鏡２１やビデオプロセッサ３１のシステム情報を用いて、診断支援機能の実行に影響があるか否かを解析し、影響があると判定された場合、原因を特定し、警告として表示装置４１に表示させる。従って、診断支援機能の動作状況をユーザが常に識別することができる。【００３８】
（第２の実施形態）
上述の第１の実施形態では、生成画像、及び／又は、内視鏡２１やビデオプロセッサ３１のシステム情報を用いて、診断支援機能の実行に影響があるか否かを解析している。これに対し、本実施の形態では、生成画像、及び／又は、内視鏡２１やビデオプロセッサ３１のシステム情報を用いて、複数の観点から解析を行い、該観点に応じた優先度に従って警告内容を決定する点が異なっている。【００３９】
本実施形態の画像処理装置は、第１の実施形態の画像処理装置３２と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。【００４０】
本実施形態の画像処理装置において行われる診断支援機能に関する動作確認処理は、図４、図５、及び、図６に示す処理手順と同様であるが、図５における、診断支援機能に影響する状態か否かを解析する手順（Ｓ２１）において、複数の観点から解析が行われる点が異なっている。また、図６における、解析結果に基づき診断支援機能の実行に影響する要因を警告内容として特定する手順（Ｓ３１）が、複数の観点からの解析結果を用いて警告内容を決定する点も異なっている。以下、第１の実施形態と異なる処理について、説明する。【００４１】
まず、診断支援機能に影響する状態か否かを解析する手順（図５、Ｓ２１）について説明する。Ｓ２１の処理は、例えば、図７に示す手順で実行される。図７は、第２の実施形態に係る機能可否解析処理の流れの一例を説明するフローチャートである。図７の処理には、図３Ａにおける機器状態解析部３５１Ａに含まれる各解析部（システム機器状態解析部３５１Ａ１、撮像状態解析部３５１Ａ２、及び、操作状態解析部３５１Ａ３）が関わる。なお、本実施の形態では、複数の観点から診断支援機能に影響する状態か否かを解析する場合について説明しているが、図７には、一つの観点のみで解析する場合についても示している。【００４２】
Ｓ２１において診断支援機能に影響する状態か否かを解析するにあたり、まず、解析を行う項目（観点）から複数の項目を選択する（Ｓ２０１）。解析の観点としては、例えば、（Ａ）システム機器の状態、（Ｂ）撮像の状態、（Ｃ）操作の状態、などの項目があげられる。本実施形態においては、これらの項目から２項目以上を選択して解析を行う。【００４３】
解析項目として（Ａ）システム機器の状態が選択された場合（Ｓ２０２、ＹＥＳ）、Ｓ２１Ａに進み、解析が実行される。Ｓ２１Ａにおけるシステム機器の状態の解析には、システム機器状態解析部３５１Ａ１が関わる。システム機器状態解析部３５１Ａ１は、システム情報入力部３３２から入力される、内視鏡２１やビデオプロセッサ３１などの内視鏡システムを構成する各機器のシステム情報に基づき、各種システム機器の状態が診断支援機能に適した状態であるか否かを解析する。全ての選択項目について解析が実行された場合（Ｓ２０３、ＹＥＳ）、エンドＡに到達して機能状態解析処理を終了する。【００４４】
一方、解析項目として（Ａ）システム機器の状態が選択されていない場合（Ｓ２０２、ＮＯ）、Ｓ２０４に進む。また、全ての選択項目について解析が実行されていない場合も（Ｓ２０３、ＮＯ）、Ｓ２０４に進む。解析項目として（Ｂ）撮像の状態が選択された場合（Ｓ２０４、ＹＥＳ）、Ｓ２１Ｂに進み、解析が実行される。Ｓ２１Ｂにおける撮像の状態の解析には、撮像状態解析部３５１Ａ２が関わる。撮像状態解析部３５１Ａ２は、画像入力部３３１から入力される生成画像に基づき、該画像の撮像状態が診断支援機能に適した状態であるか否かを解析する。全ての選択項目について解析が実行されていない場合（Ｓ２０５、ＮＯ）、Ｓ２１Ｃに進む。また、Ｓ２０４において、撮像の状態が選択されていない場合にも（Ｓ２０４、ＮＯ）、Ｓ２１Ｃに進む。【００４５】
Ｓ２０５において、全ての選択項目について解析が実行された場合（Ｓ２０５、ＹＥＳ）、Ｓ２０６に進む。システム機器の状態も解析した場合（Ｓ２０６、ＹＥＳ）、エンドＡＢに到達して機能状態解析処理を終了する。システム機器の状態は解析せず、撮像の状態のみ解析した場合（Ｓ２０６、ＮＯ）、エンドＢに到達して機能状態解析処理を終了する。【００４６】
Ｓ２１Ｃでは、残る項目として、（Ｃ）操作の状態の解析が実行される。Ｓ２１Ｃにおける操作の状態の解析には、操作状態解析部３５１Ａ３が関わる。操作状態解析部３５１Ａ３は、システム情報入力部３３２から入力されるシステムに関する情報や、画像入力部３３１から入力される生成画像に基づき、ユーザによる内視鏡２１の操作が診断支援機能に適した状態であるか否かを解析する。続いて、Ｓ２０７に進み、撮像状態を解析したか否かを確認する。【００４７】
撮像状態も解析した場合（Ｓ２０７、ＹＥＳ）、Ｓ２０８に進んで、システム機器の状態の解析有無を確認する。システム機器の状態も解析した場合（Ｓ２０８、ＹＥＳ）、エンドＡＢＣに到達して機能状態解析処理を終了する。一方、システム機器の状態は解析していない場合（Ｓ２０８、ＮＯ）、エンドＢＣに到達して機能状態解析処理を終了する。【００４８】
一方、撮像状態は解析していない場合（Ｓ２０７、ＮＯ），Ｓ２０９に進んで、システム機器の状態の解析有無を確認する。システム機器の状態は解析した場合（Ｓ２０９、ＹＥＳ）、エンドＡＣに到達して機能状態解析処理を終了する。一方、システム機器の状態も解析していない場合（Ｓ２０９、ＮＯ）、エンドＣに到達して機能状態解析処理を終了する。【００４９】
すなわち、選択された項目に関する解析が終了すると、解析を行った項目に関する全ての解析結果が出力される。例えば、解析項目として（Ａ）システム機器の状態と、（Ｂ）撮像の状態の２項目が選択された場合、図７におけるＳ２１ＡとＳ２１Ｂとが実行される。エンドＡＢに到達し、Ｓ２１Ａを実行して得られた解析結果と、Ｓ２１Ｂを実行して得られた結果とが出力され、機能状態解析処理を終了する。また、例えば、解析項目として（Ｂ）撮像の状態と、（Ｃ）操作の状態の２項目が選択された場合、図７におけるＳ２１ＢとＳ２１Ｃとが実行される。エンドＢＣに到達し、Ｓ２１Ｂを実行して得られた解析結果と、Ｓ２１Ｃを実行して得られた結果とが出力され、機能状態解析処理を終了する。【００５０】
また、例えば、解析項目として（Ａ）システム機器の状態と、（Ｃ）操作の状態の２項目が選択された場合、図７におけるＳ２１ＡとＳ２１Ｃとが実行される。エンドＡＣに到達し、Ｓ２１Ａを実行して得られた解析結果と、Ｓ２１Ｃを実行して得られた結果とが出力され、機能状態解析処理を終了する。更に、例えば、解析項目として（Ａ）システム機器の状態と、（Ｂ）撮像の状態と、（Ｃ）操作の状態の３項目が選択された場合、図７におけるＳ２１ＡとＳ２１ＢとＳ２１Ｃとが全て実行される。エンドＡＢＣに到達し、Ｓ２１Ａを実行して得られた解析結果と、Ｓ２１Ｂを実行して得られた結果と、Ｓ２１Ｃを実行して得られた結果とが出力され、機能状態解析処理を終了する。【００５１】
図７における機能可否解析処理が終了すると、続いて図６のＳ３１が実行される。Ｓ３１の処理は、例えば、図８に示す手順で実行される。図８は、第２の実施形態に係る警告内容決定処理の流れの一例を説明するフローチャートである。図８の処理には、図３Ｂにおける警告内容決定部３５２Ａが関わる。【００５２】
まず、図７の処理で得られた解析結果を、機能可否解析部３５１Ａから取得する（Ｓ３１１）。図７の処理においては、複数の項目について解析が行われている。Ｓ３１１では、解析を行った全ての項目についての結果を、機器状態解析部３５１Ａから取得する。【００５３】
次に、診断支援機能に寄与する影響の大きさに基づき解析項目に対して付与された優先度（警告内容として優先される順位）を参照し、Ｓ３１１で取得した解析結果の中で、診断支援機能の実行に影響する要因を警告内容として特定する。優先度は、予め画像処理装置３２内の図示しないメモリなどに格納されている。Ｓ３１１を実行する際には該メモリを参照し、警告内容を特定する。【００５４】
上述した３項目は、（Ａ）システム機器の状態、（Ｂ）撮像の状態、（Ｃ）操作の状態、の順に診断支援機能に寄与する影響が大きい。例えば、生成画像の撮像状態や、ユーザの操作状態が診断支援機能に適した状態であっても、システム機器の状態が診断支援機能に適さない状態である場合、診断支援機能は動作しない。従って、（Ａ）システム機器の状態が、最も診断支援機能に寄与する影響が大きいといえる。また、システム機器の状態が診断支援機能に適した状態である場合、生成画像の撮像状態が診断支援機能に適してなくても、支援機能の信頼度が低下するものの、診断支援機能を動作させることができる可能性がある。更に、システム機器の状態が診断支援機能に適した状態である場合、操作の状態が診断支援機能に適してなくても、支援機能の信頼度が低下するものの、診断支援機能を動作させることは可能である。これより、（Ｂ）撮像の状態は、（Ａ）システム機器の状態より診断支援機能に寄与する影響が小さいものの、（Ｃ）操作の状態より診断支援機能に寄与する影響が大きいといえる。【００５５】
以上より、（Ａ）システム機器の状態が最も優先度が高い項目として設定される。次に優先度が高く設定される項目は（Ｂ）撮像の状態となり、（Ｃ）操作の状態は、最も優先度が低い項目として設定される。【００５６】
Ｓ３１１においては、機器状態解析部３５１Ａから取得した解析結果のうち、診断支援機能に適した状態ではないと判定された項目を抽出する。抽出した項目のうち、最も優先度が高い項目に関する解析結果を、警告内容として決定する（Ｓ３１２）。【００５７】
例えば、解析項目として（Ａ）システム機器の状態と、（Ｂ）撮像の状態の２項目が選択された場合、システム機器の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、撮像の状態の解析結果によらず、システム機器の状態の解析結果を警告内容として決定する。また、解析項目として（Ｂ）撮像の状態と、（Ｃ）操作の状態の２項目が選択された場合、撮像の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、操作の状態の解析結果によらず、撮像の状態の解析結果を警告内容として決定する。【００５８】
また、（Ａ）システム機器の状態と、（Ｃ）操作の状態の２項目が選択された場合、システム機器の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、操作の状態の解析結果によらず、システム機器の状態の解析結果を警告内容として決定する。更に、（Ａ）システム機器の状態と、（Ｂ）撮像の状態と、（Ｃ）操作の状態の３項目が選択された場合、少なくともシステム機器の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、撮像の状態、及び、操作の状態の解析結果によらず、システム機器の状態の解析結果を警告内容として決定する。また、システム機器の状態が診断支援機能に適する状態であり、撮像の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、操作の状態の解析結果によらず、撮像の状態の解析結果を警告内容として決定する。以上のようにして、図８に示すような警告内容決定の一連の処理を終了する。【００５９】
このように、上述の実施形態によれば、生成画像、及び／又は、内視鏡２１やビデオプロセッサ３１のシステム情報を用いて、複数の項目について診断支援機能の実行に影響があるか否かを解析する。影響があると判定された項目がある場合、該項目の中から診断支援機能に寄与する影響が大きい項目を選択し、警告として決定する。また、警告内容を解決する方法を表示装置４１に表示させることで、診断支援機能の動作状況をユーザが常に識別することができ、動作に適さない状態である場合には、その最大の原因と解決方法を容易に把握することができる。【００６０】
（第３の実施形態）
上述の第２の実施形態では、生成画像、及び／又は、内視鏡２１やビデオプロセッサ３１のシステム情報を用いて、複数の観点から解析を行っている。これに対し、本実施の形態では、個々の観点について個別に解析を行い、診断支援機能の実行に影響があるか否かをより具体的に解析している点が異なっている。【００６１】
本実施形態の画像処理装置は、第１の実施形態の画像処理装置３２と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。【００６２】
本実施形態の画像処理装置において行われる診断支援機能に関する動作確認処理は、図４、図５、図６、及び、図７に示す第２の実施形態の処理手順と同様であるが、図７における、システム機器の状態を解析する手順（Ｓ２１Ａ）、撮像の状態を解析する手順（Ｓ２１Ｂ）、操作の状態を解析する手順（Ｓ２１Ｃ）が、より具体的に行われる点が異なっている。以下、第２の実施形態と異なる処理について、説明する。【００６３】
まず、システム機器の状態を解析する手順（Ｓ２１Ａ）について説明する。Ｓ２１Ａの処理は、例えば、図９に示す手順で実行される。図９は、第３の実施形態に係るシステム機器状態解析処理の流れの一例を示すフローチャートである。図９の処理は、図３Ａにおけるシステム機器状態解析部３５１Ａ１が関わる。【００６４】
システム機器状態解析部３５１Ａ１は、まず、内視鏡２１やビデオプロセッサ３１などの内視鏡システムを構成するシステム機器自体が、診断支援機能に不適切な状態であるか否かを判定する（Ｓ２１１１）。【００６５】
診断支援部３４で用いられる病変検出や支援情報生成は、診断対象臓器や診断支援が行われる状況（使用目的）に応じて、それぞれ異なるアルゴリズムが設定された支援アプリケーションを用いて実行される。診断対象臓器とは、例えば、大腸、小腸、食道、胃、などがあげられる。また、使用目的とは、例えば、検査や手術があげられる。例えば、胃の検査における診断支援に用いる支援アプリケーションは、大腸の検査に用いる支援アプリケーションと異なったものであるし、食道の検査における診断支援に用いる支援アプリケーションは、食道の手術における診断支援に用いる支援アプリケーションと異なったものである。【００６６】
一方、内視鏡２１やビデオプロセッサ３１も、診断対象臓器や使用目的に応じて、異なる仕様・特性を有するものが用いられる。例えば、内視鏡２１は、食道や胃などの上部消化管の検査と、小腸の検査と、大腸の検査と、腹腔鏡手術とでは、それぞれ別の種類のものが用いられる。また、例えば、ビデオプロセッサ３１は、外科の検査・手技用と、内科の検査・手技用とで、別の種類のものが用いられる。【００６７】
従って、内視鏡２１やビデオプロセッサ３１の種類が、診断支援部３４で用いられる支援アプリケーションに適さない場合、支援アプリケーションを実行して診断支援を行うことができない。例えば、診断支援部３４において、胃の検査用の支援アプリケーションが選択されている場合において、大腸の検査用の内視鏡２１や、外科用のビデオプロセッサ３１などが接続されている場合、胃の検査用の支援アプリケーションは、正常な動作ができないため、診断支援機能が実行できない。【００６８】
このように、システム機器と、診断支援部３４に設定されている支援アプリケーションのアルゴリズム対象臓器や使用目的が一致していない場合、システム機器が診断支援機能に不適切な状態であると判定する（Ｓ２１１１、ＹＥＳ）。【００６９】
また、内視鏡２１の撮像部２４の解像度が、支援アプリケーションで必要な解像度よりも低い場合も、支援アプリケーションは正常な動作ができないため、診断支援機能が実行できない。従って、内視鏡２１の解像度が低い場合も、システム機器が診断支援機能に不適切な状態であると判定する（Ｓ２１１１、ＹＥＳ）。【００７０】
更に、支援アプリケーションは日々改善が施されバージョンアップされたものが提供されており、バージョンに応じて接続可能な内視鏡２１やビデオプロセッサ３１が異なってくる。例えば、デジタルデータのみ処理可能な支援アプリケーションが設定されており、画像処理装置３２にアナログデータ用のビデオプロセッサ３１が接続されている場合、ビデオプロセッサ３１から入力されるデータを支援アプリケーションで処理することができないため、診断支援機能が実行できない。【００７１】
このように、システム機器のバージョンや機能が、診断支援部３４に設定されている支援アプリケーションで扱うことができないものである場合も、システム機器が診断支援機能に不適切な状態であると判定する（Ｓ２１１１、ＹＥＳ）。【００７２】
なお、内視鏡２１やビデオプロセッサ３１などシステム機器の種類やバージョン、内視鏡２１の解像度などのシステム情報は、内視鏡２１やビデオプロセッサ３１の図示しないメモリ等から取得する。【００７３】
上述のように、システム機器が診断支援機能に不適切な状態であると判定されると（Ｓ２１１１、ＹＥＳ）、Ｓ２１１４に進み、システム機器の状態が診断支援機能に適した状態ではないと判定し、システム機器が不適切である旨の解析結果を出力して、システム機器状態の解析処理を終了する。【００７４】
一方、システム機器は適切な状態であると判定されると（Ｓ２１１１、ＮＯ）、システム機器状態解析部３５１Ａ１のパラメータ解析部３５１Ａ１１は、内視鏡２１やビデオプロセッサ３１などの内視鏡システムを構成するシステム機器のパラメータが、診断支援機能に不適切な設定であるか否かを判定する（Ｓ２１１２）。【００７５】
例えば、ビデオプロセッサ３１において生成画像を生成する際に、エッジ強調処理やホワイトバランス補正処理などの画像強調を行う場合、強調処理のパラメータを診断支援機能として予定された範囲を超えた値に設定して強調処理を施すと、正しく病変部を検出することができず、診断支援機能が正常に動作できない。【００７６】
このように、内視鏡システムを構成するシステム機器のパラメータが、診断支援機能として予定された範囲外の値に設定されている場合も、システム機器が診断支援機能に不適切な状態であると判定する（Ｓ２１１２、ＹＥＳ）。続いてＳ２１１４に進み、システム機器の状態が診断支援機能に適した状態ではないと判定し、システム機器のパラメータが不適切である旨の解析結果を出力して、システム機器状態の解析処理を終了する。【００７７】
一方、システム機器のパラメータも適切な状態であると判定されると（Ｓ２１１２、ＮＯ）、システム機器状態解析部３５１Ａ１は、診断支援部３４において設定されている支援アプリケーション（アルゴリズム対象臓器や使用目的、バージョンなど）が不適切であるか否かを判定する（Ｓ２１１３）。【００７８】
支援アプリケーションのアルゴリズム対象臓器が未設定であったり、古いバージョンのものが設定されていたりする場合、病変部を検出することができず、診断支援機能が正常に動作できない。【００７９】
このように、診断支援部３４において設定されている支援アプリケーションが不適切である場合も、システム機器が診断支援機能に不適切な状態であると判定する（Ｓ２１１３、ＹＥＳ）。続いてＳ２１１４に進み、システム機器の状態が診断支援機能に適した状態ではないと判定し、支援アプリケーションのアルゴリズムが不適切である旨の解析結果を出力して、システム機器状態の解析処理を終了する。【００８０】
一方、支援アプリケーションのアルゴリズムも適切であると判定された場合（Ｓ２１１３、ＮＯ）、システム機器の状態は診断支援機能に適した状態であると判定し（Ｓ２１１５）、システム機器状態の解析処理を終了する。【００８１】
次に、撮像の状態を解析する手順（Ｓ２１Ｂ）について説明する。Ｓ２１Ｂの処理は、例えば、図１０に示す手順で実行される。図１０は、第３の実施形態に係る撮像状態解析処理の流れの一例を示すフローチャートである。図１０の処理は、図３Ａにおける撮像状態解析部３５１Ａ２が関わる。【００８２】
撮像状態解析部３５１Ａ２は、まず、撮像機器である内視鏡２１の状態が、診断支援機能に不適切な状態であるか否かを判定する（Ｓ２１２１）。【００８３】
例えば、撮像対象に対して合焦していない場合や、露出が不適切である場合、レンズが曇っている場合、診断支援である生成画像が適切に取得されていないため、診断支援機能が正常に動作しない。このような場合、撮像機器の状態が、診断支援機能に不適切な状態であると判定する（Ｓ２１２１、ＹＥＳ）。続いてＳ２１２３に進み、撮像の状態が診断支援機能に適した状態ではないと判定し、撮像機器の状態が不適切である旨の解析結果を出力して、撮像状態解析処理を終了する。【００８４】
一方、撮像機器の状態が適切な状態であると判定されると（Ｓ２１２１、ＮＯ）、撮像状態解析部３５１Ａ２は、生成画像が診断支援に不適切であるか否かを判定する（Ｓ２１２２）。生成画像に、残渣や出血や治療痕などがある場合、病変部が検出できなかったり、誤検出してしまったりするために、診断支援機能が正常に動作しない。このような場合、撮像対象が、診断支援機能に不適切な状態であると判定する（Ｓ２１２２、ＹＥＳ）。続いてＳ２１２３に進み、撮像対象が診断支援機能に適した状態ではないと判定し、撮像機器の状態が不適切である旨の解析結果を出力して、撮像状態解析処理を終了する。【００８５】
一方、撮像対象も適切であると判定された場合（Ｓ２１２２、ＮＯ）、撮像機器の状態は診断支援機能に適した状態であると判定し（Ｓ２１２４）、撮像状態の解析処理を終了する。【００８６】
最後に、操作の状態を解析する手順（Ｓ２１Ｃ）について説明する。Ｓ２１Ｃの処理は、例えば、図１１に示す手順で実行される。図１１は、第３の実施形態に係る操作状態解析処理の流れの一例を示すフローチャートである。図１１の処理は、図３Ａにおける操作状態解析部３５１Ａ３が関わる。【００８７】
操作状態解析部３５１Ａ３は、内視鏡２１の移動速度が設定外の速度であるか否かを判定する（Ｓ２１３１）。大腸や上部消化管の検査など、内視鏡２１の先端部を引き抜きながら観察を行う場合、引き抜く速度が速すぎると、生成画像から病変部を検出することが困難になったり病変部の検知時間が短くなったりするために、診断支援機能が正常に動作しない。すなわち、診断支援機能を実行する場合には、設定速度範囲内で内視鏡２１を移動させる必要がある。【００８８】
従って、内視鏡２１の移動速度が設定外の速度である場合（Ｓ２１３１、ＹＥＳ）、操作の状態が診断支援機能に不適切な状態であると判定する。なお、内視鏡２１の引き抜き速度は、複数フレームの生成画像の差分から算出したり、内視鏡２１の先端部にジャイロセンサなど速度を検知可能なセンサを設け、該センサの測定値を参照したりするなど、既知の速度を算出する手法を用いて取得する。【００８９】
上述のように、操作の状態が診断支援機能に不適切な状態であると判定されると（Ｓ２１３１、ＹＥＳ）、Ｓ２１３２に進み、操作の状態が診断支援機能に適した状態ではないと判定し、内視鏡２１の移動速度が設定外速度である旨の解析結果を出力して、操作状態の解析処理を終了する。【００９０】
一方、内視鏡２１の移動速度が設定内の速度である場合（Ｓ２１３１、ＮＯ）、操作の状態は診断支援機能に適した状態であると判定し（Ｓ２１３３）、操作状態の解析処理を終了する。【００９１】
上述のように、対象となる解析項目について、診断支援機能に影響する状態か否かの解析が終了すると、解析結果に基づく表示内容生成処理（図６）の一連の手順が実行される。【００９２】
このように、上述の実施形態によれば、生成画像、及び／又は、内視鏡２１やビデオプロセッサ３１のシステム情報を用いて、個々の観点について診断支援機能の実行に影響があるか否かを詳細な解析を行っている。従って、診断支援機能の実行に影響があると判定された場合、より具体的な原因を特定し、警告として表示装置４１に表示させることができる。従って、診断支援機能が動作していない場合、ユーザが迅速に対応することができる。【００９３】
（第４の実施形態）
上述の実施形態では、取得情報解析部における解析結果に基づき、診断支援機能の実行に影響があると判定された場合には原因を特定し、診断支援機能を適切に動作させるための解決方法や、診断支援機能の状態を表示装置４１に表示させる。本実施の形態では、これらの表示内容をより具体的に設定する点が異なっている。【００９４】
図１２は、画像処理装置の画像処理に係る構成の一例を説明するためのブロック図である。本実施形態の画像処理装置は、診断支援設定部３６が追加されている点を除き、図２に示す第１の実施形態の画像処理装置３２と同様の構成を有している。同じ構成要素については、同じ符号を付して説明は省略する。【００９５】
診断支援設定部３６は、表示制御部３５での解析結果に基づき、診断支援部３４の機能を実行するか否かを制御する。診断支援設定部３６において、診断支援機能を実行しない（機能自体をオフにする）旨の制御が行われると、画像入力部３３１から順次入力される生成画像は、診断支援部３４において何も処理を施されることなく、そのまま表示制御部３５に出力される。【００９６】
本実施形態の画像処理装置において行われる診断支援機能に関する動作確認処理は、図４、図５、及び、図６に示す処理手順と同様であるが、図６における、診断支援機能の状態、解決方法を表示する手順（Ｓ３２）が、より具体的に行われる点が異なっている。以下、第１の実施形態と異なる処理について説明する。【００９７】
Ｓ３２の処理は、例えば、図１３に示す手順で実行される。図１３は、第４の実施形態に係る支援機能動作情報表示処理の流れの一例を示すフローチャートである。図１３の処理は、図３Ｂにおける警告方法設定部３５２Ｂに含まれる各設定部（解決方法表示設定部３５２Ｂ１、信頼度表示設定部３５２Ｂ２、及び、支援不可表示設定部３５２Ｂ３）が関わる。【００９８】
まず、解決方法表示設定部３５２Ｂ１は、診断支援機能を適切な状態で動作させるための解決方法を導出し、表示装置４１へ出力する（Ｓ３２１）。Ｓ３２１においては、Ｓ３１において特定された、診断支援機能の実行に影響する要因（警告内容）を参照し、警告を解消するための方法を表示させる。例えば、Ｓ３１において、システム機器の状態が適切な状態でない旨の警告が決定され、内視鏡２１の解像度が低すぎるという解析結果が得らえている場合、警告内容を踏まえて「システム機器を適切な状態にする」や、更に解析結果を踏まえて「内視鏡の解像度を上げる」などの解決方法が導出される。【００９９】
次に、信頼度表示設定部３５２Ｂ２は、診断支援機能の信頼度を決定し、表示装置４１へ出力する（Ｓ３２１）。信頼度とは、診断支援機能の出力（支援内容）の正確さの度合いを表した指標であり、例えば、病変部を正しく検知し適切な支援情報を生成・表示している場合を１００、なんらかの不適切な状態が発生しており、病変部を全く検知できなかったり支援情報が生成・表示されなかったりする場合を０として、０から１００の間の数値で表現される。【０１００】
例えば、システム機器が不適切な状態である場合、診断支援機能が実行不能状態になってしまうため、信頼度は０となる。また例えば、生成画像に残渣があるために撮像対象が不適切な状態である場合、診断支援機能は動作するものの病変部検出の精度が低下する。この場合、信頼度は残渣の状況に応じて適切な数値が算出される。【０１０１】
続いて、支援不可表示設定部３５２Ｂ３は、診断支援機能が正常に動作しているか否かを判定する（Ｓ３２３）。正常動作可否の判定は、機器状態解析部３５１Ａの解析結果に基づいて行う。診断支援機能が動作不可の場合（Ｓ３２３、ＹＥＳ）、診断支援機能が動作していない旨を表示装置４１へ出力し（Ｓ３２４）する。【０１０２】
そして、診断支援部３４の制御部３４３に対し、診断支援機能の実行を停止させる指示を出力する（Ｓ３２５）。すなわち、診断支援機能そのものの異常でなく、システム機器の状態や、撮像の状態、操作の状態など、外的要因により診断支援機能が正常に動作しない場合、正しい支援結果が得られないにも関わらず、診断支援機能が動作し続けてしまうことを防止する。【０１０３】
なお、Ｓ３２５における診断支援機能の実行停止指示は、必ずしも必須ではない。また、Ｓ３２５において診断支援機能の実行を停止させる指示を出力した場合、診断支援機能の実行に影響する要因が解消されて正常に動作可能な状態に戻ったら、診断支援部３４の制御部３４３に対し、診断支援機能の実行を再開させる指示を出力するようにしてもよい。【０１０４】
一方、診断支援機能が動作不可な状態ではない場合（Ｓ３２３、ＮＯ）、診断支援機能動作情報の表示処理を終了する。【０１０５】
図１４は、第４の実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。表示装置４１の表示画面４１Ａには、例えば、生成画像表示部５１や検査情報表示部５２と共に、診断支援機能状態表示部５３が配置される。診断支援機能状態表示部５３には、解決方法表示部５３１と、信頼度表示部５３２と、支援機能実行状態表示部５３３が配置されている。【０１０６】
解決方法表示部５３１には、解決方法表示設定部５３２Ｂ１で決定された解決方法が、テキスト形式で表示される。信頼度表示部５３２には、信頼度表示設定部５３２Ｂ２で決定された信頼度が表示される。図１４においては、信頼度表示部５３２は、レベルメータ形式で信頼度を表記しているが、数値など他の形式で表示してもよい。支援機能実行状態表示部５３３は、診断支援機能自体の動作状況を示している。図１４においては、診断支援機能を表すアイコンの上にバツ印を付与することで、診断支援機能の動作を停止していることを表している。支援機能実行状態表示部５３３も、信頼度表示部５３２と同様に他の形式で表示してもよい。【０１０７】
なお、図１４に示す診断支援機能状態表示部５３の表示内容や配置はあくまでも一例であり、ユーザの好みや見易さなどに応じて自由に変更可能である。【０１０８】
以上のように、上述した各実施形態によれば、生成画像、及び／または、システム情報を解析し、診断支援機能の動作に影響する状態か否かを判定して表示することで、診断支援機能の動作状況をユーザが常に識別することができる。従って、検出枠などの強調表示が行われない場合、ユーザの観察の妨げになるためにあえて強調表示を行っていないのか、診断支援機能が動作していないのかが容易に識別できる。  本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【図１】
2020084752.tif 000003
【図２】
2020084752.tif 000004
【図３Ａ】
2020084752.tif 000005
【図３Ｂ】
2020084752.tif 000006
【図４】
2020084752.tif 000007
【図５】
2020084752.tif 000008
【図６】
2020084752.tif 000009
【図７】
2020084752.tif 000010
【図８】
2020084752.tif 000011
【図９】
2020084752.tif 000012
【図１０】
2020084752.tif 000013
【図１１】
2020084752.tif 000014
【図１２】
2020084752.tif 000015
【図１３】
2020084752.tif 000016
【図１４】
2020084752.tif 000017
【手続補正書】
【提出日】令和3年1月28日(2021.1.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の一態様の内視鏡用画像処理装置は、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像が入力される入力部と、前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援部と、前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくとも１つに基づき、前記内視鏡の引き抜き速度を解析する取得情報解析部と、前記取得情報解析部における前記内視鏡の引き抜き速度の解析結果に基づき、前記診断支援部の診断支援動作に影響を及ぼす要因を決定して出力する警告表示設定部と、を備える。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の一態様の内視鏡用画像処理方法は、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像を入力し、前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくとも１つに基づき、前記内視鏡の引き抜き速度を解析し、前記内視鏡の観察対象である病変部を前記生成画像から検出して前記病変部に対して支援情報を付加、または通知する診断支援動作に対し、影響を及ぼす要因を前記内視鏡の引き抜き速度の解析結果に基づき決定して出力し、前記要因が検出されない場合、前記診断支援動作を実行する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の一態様の内視鏡用画像処理プログラムは、入力部が、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像を取得するステップと、取得情報解析部が、前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくとも１つに基づき、前記内視鏡の引き抜き速度を解析するステップと、警告表示設定部が、前記取得情報解析部における解析結果に基づき、前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援動作に影響を及ぼす要因を前記内視鏡の引き抜き速度の解析結果に基づき、決定して出力するステップと、診断支援部が、前記診断支援動作を実行するステップと、をコンピュータに実行させる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
診断支援部３４は、病変検出部３４１と、支援情報生成部３４２と、支援情報制御部３４３と、を有して構成される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
まず、図７の処理で得られた解析結果を、機器状態解析部３５１Ａから取得する（Ｓ３１１）。図７の処理においては、複数の項目について解析が行われている。Ｓ３１１では、解析を行った全ての項目についての結果を、機器状態解析部３５１Ａから取得する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
一方、撮像機器の状態が適切な状態であると判定されると（Ｓ２１２１、ＮＯ）、撮像状態解析部３５１Ａ２は、生成画像が診断支援に不適切であるか否かを判定する（Ｓ２１２２）。生成画像に、残渣や出血や治療痕などの画像部分がある場合、病変部が検出できなかったり、誤検出してしまったりするために、診断支援機能が正常に動作しない。このような場合、撮像対象が、診断支援機能に不適切な状態であると判定する（Ｓ２１２２、ＹＥＳ）。続いてＳ２１２３に進み、撮像対象が診断支援機能に適した状態ではないと判定し、撮像機器の状態が不適切である旨の解析結果を出力して、撮像状態解析処理を終了する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
まず、解決方法表示設定部３５２Ｂ１は、診断支援機能を適切な状態で動作させるための解決方法を導出し、表示装置４１へ出力する（Ｓ３２１）。Ｓ３２１においては、Ｓ３１において特定された、診断支援機能の実行に影響する要因（警告内容）を参照し、警告を解消するための方法を表示させる。例えば、Ｓ３１において、システム機器の状態が適切な状態でない旨の警告が決定され、内視鏡２１の解像度が低すぎるという解析結果が得られている場合、警告内容を踏まえて「システム機器を適切な状態にする」や、更に解析結果を踏まえて「内視鏡の解像度を上げる」などの解決方法が導出される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
そして、診断支援部３４の支援情報制御部３４３に対し、診断支援機能の実行を停止させる指示を出力する（Ｓ３２５）。すなわち、診断支援機能そのものの異常でなく、システム機器の状態や、撮像の状態、操作の状態など、外的要因により診断支援機能が正常に動作しない場合、正しい支援結果が得られないにも関わらず、診断支援機能が動作し続けてしまうことを防止する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
なお、Ｓ３２５における診断支援機能の実行停止指示は、必ずしも必須ではない。また、Ｓ３２５において診断支援機能の実行を停止させる指示を出力した場合、診断支援機能の実行に影響する要因が解消されて正常に動作可能な状態に戻ったら、診断支援部３４の支援情報制御部３４３に対し、診断支援機能の実行を再開させる指示を出力するようにしてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
解決方法表示部５３１には、解決方法表示設定部３５２Ｂ１で決定された解決方法が、テキスト形式で表示される。信頼度表示部５３２には、信頼度表示設定部３５２Ｂ２で決定された信頼度が表示される。図１４においては、信頼度表示部５３２は、レベルメータ形式で信頼度を表記しているが、数値など他の形式で表示してもよい。支援機能実行状態表示部５３３は、診断支援機能自体の動作状況を示している。図１４においては、診断支援機能を表すアイコンの上にバツ印を付与することで、診断支援機能の動作を停止していることを表している。支援機能実行状態表示部５３３も、信頼度表示部５３２と同様に他の形式で表示してもよい。
【手続補正１１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像が入力される入力部と、
前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援部と、
前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくとも１つに基づき、前記内視鏡の引き抜き速度を解析する取得情報解析部と、
前記取得情報解析部における前記内視鏡の引き抜き速度の解析結果に基づき、前記診断支援部の診断支援動作に影響を及ぼす要因を決定して出力する警告表示設定部と、
を備えることを特徴とする内視鏡用画像処理装置。
【請求項２】
前記取得情報解析部は、前記生成画像と、前記内視鏡の操作状態に係る情報との少なくとも１つを解析して前記診断支援動作に影響を及ぼす要因が存在するか否かを解析する機能状態解析部を備えることを特徴とする、請求項１に記載の内視鏡用画像処理装置。
【請求項３】
前記警告表示設定部は、前記取得情報解析部における解析結果に基づき、前記診断支援動作に影響を及ぼす要因を決定する警告内容決定部と、前記診断支援動作の状態や、前記要因を解消するための解決方法を決定して出力する警告方法設定部とを備えることを特徴とする、請求項２に記載の内視鏡用画像処理装置。
【請求項４】
前記入力部は、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力され、
前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、を備えており、
前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項５】
前記機能状態解析部は、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、
前記警告内容決定部は、前記撮像状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項６】
前記入力部は、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力され、
前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、
前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項７】
前記入力部は、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力され、
前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、
前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項８】
前記入力部は、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力され、
前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部を備えており、
前記警告内容決定部は、前記システム機器状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項９】
前記システム機器状態解析部は、前記システム機器の状態が、前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項８に記載の内視鏡用画像処理装置。
【請求項１０】
前記システム機器状態解析部は、前記システム機器の設定パラメータが、前記診断支援動作に適した状態であるか否かを判定するパラメータ解析部を備えることを特徴とする、請求項８に記載の内視鏡用画像処理装置。
【請求項１１】
前記パラメータ解析部は、前記プロセッサにおける前記撮像信号に対する画像強調処理のパラメータの値が、前記診断支援動作に適した範囲内であるか否かを判定することを特徴とする、請求項１０に記載の内視鏡用画像処理装置。
【請求項１２】
前記システム機器状態解析部は、前記診断支援部において前記診断支援動作実行のために設定されたアルゴリズムが、前記診断支援動作に適切であるか否かを判定することを特徴とする、請求項８に記載の内視鏡用画像処理装置。
【請求項１３】
前記機能状態解析部は、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部を備えており、
前記警告内容決定部は、前記撮像状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項１４】
前記撮像状態解析部は、前記生成画像から判断できる前記撮像部の状態が前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項１３に記載の内視鏡用画像処理装置。
【請求項１５】
前記撮像状態解析部は、前記被写体の状態が前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項１３に記載の内視鏡用画像処理装置。
【請求項１６】
前記撮像状態解析部は、前記生成画像に、残渣、出血、治療痕のいずれかの画像部分が存在するか否かを判定することを特徴とする、請求項１５に記載の内視鏡用画像処理装置。
【請求項１７】
前記機能状態解析部は、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部を備えており、
前記警告内容決定部は、前記操作状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項１８】
前記機能状態解析部は、前記内視鏡の引き抜き速度が設定された所定範囲内であるか否かを判定することを特徴とする、請求項１７に記載の内視鏡用画像処理装置。
【請求項１９】
前記警告方法設定部は、前記診断支援動作を適切な状態で動作させるための解決方法を導出して出力する解決方法表示設定部を備えていることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項２０】
前記警告方法設定部は、前記診断支援動作による支援結果の信頼度を導出して出力する信頼度表示設定部を備えていることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項２１】
前記警告方法設定部は、前記機能状態解析部の解析結果により前記診断支援動作が適切に動作しない状態である場合、前記診断支援動作が動作不可であることを出力する支援不可表示設定部を備えていることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
【請求項２２】
前記取得情報解析部の解析結果により前記診断支援動作が適切に動作しない状態である場合、前記診断支援部の機能をオフに切り替える診断支援設定部をさらに備えていることを特徴とする、請求項１に記載の内視鏡用画像処理装置。
【請求項２３】
被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像を入力し、
前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくとも１つに基づき、前記内視鏡の引き抜き速度を解析し、
前記内視鏡の観察対象である病変部を前記生成画像から検出して前記病変部に対して支援情報を付加、または通知する診断支援動作に対し、影響を及ぼす要因を前記内視鏡の引き抜き速度の解析結果に基づき決定して出力し、
前記要因が検出されない場合、前記診断支援動作を実行することを特徴とする、
内視鏡用画像処理方法。
【請求項２４】
入力部が、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像を取得するステップと、
取得情報解析部が、前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくとも１つに基づき、前記内視鏡の引き抜き速度を解析するステップと、
警告表示設定部が、前記取得情報解析部における解析結果に基づき、前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援動作に影響を及ぼす要因を前記内視鏡の引き抜き速度の解析結果に基づき、決定して出力するステップと、
診断支援部が、前記診断支援動作を実行するステップと、
をコンピュータに実行させることを特徴とする内視鏡用画像処理プログラム。
【国際調査報告】
2020084752.tif 000018
2020084752.tif 000019
2020084752.tif 000020
2020084752.tif 000021