(57)【要約】ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御する医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置を提供する。医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御部を備え、報知制御部は、医療画像が非報知条件を充足する場合に報知情報を非報知状態とし、かつ医療画像が非報知条件を非充足になってから非報知維持時間の経過後に報知状態にする医療画像処理装置によって上記課題を解決する。
2020090729.tif 000002
【特許請求の範囲】
【請求項１】
医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御部を備え、
前記報知制御部は、前記医療画像が非報知条件を充足する場合に前記報知情報を前記非報知状態とし、かつ前記医療画像が非報知条件を非充足になってから非報知維持時間の経過後に前記報知状態にする医療画像処理装置。
【請求項２】
前記医療画像を順次取得する画像取得部と、
前記医療画像から前記報知情報を取得する報知情報取得部と、
前記医療画像が前記非報知条件を充足するか否かを判定する判定部と、
前記医療画像が前記非報知条件を非充足になってからの経過時間を計時する計時部と、
を備えた請求項１に記載の医療画像処理装置。
【請求項３】
前記非報知条件は前記医療画像の画像特徴量を判定する条件であり、
前記医療画像から前記画像特徴量を取得する画像特徴量取得部を備えた請求項１又は２に記載の医療画像処理装置。
【請求項４】
前記画像特徴量は、前記医療画像の輝度、色情報、時間的変化、及び周波数情報の少なくとも１つを含む請求項３に記載の医療画像処理装置。
【請求項５】
前記非報知条件は前記医療画像の被検体に対する処置状態を判定する条件であり、
前記医療画像から前記処置状態を推定する処置状態推定部を備えた請求項１から４のいずれか１項に記載の医療画像処理装置。
【請求項６】
前記処置状態に応じて前記非報知維持時間を設定する非報知維持時間設定部を備えた請求項５に記載の医療画像処理装置。
【請求項７】
前記非報知条件は注目領域特徴量を判定する条件であり、
前記医療画像から注目領域を検出する注目領域検出部と、
前記注目領域から前記注目領域特徴量を取得する注目領域特徴量取得部と、
を備えた請求項１から６のいずれか１項に記載の医療画像処理装置。
【請求項８】
前記注目領域特徴量は、前記注目領域の面積、前記医療画像内の位置、及び時間的変化の少なくとも１つを含む請求項７に記載の医療画像処理装置。
【請求項９】
前記報知部は音を出力する音出力部を含み、
前記報知制御部は、前記音出力部に前記音を出力させる音制御部を備えた請求項１から８のいずれか１項に記載の医療画像処理装置。
【請求項１０】
前記報知部は第１表示部を含み、
前記報知制御部は、前記報知情報を前記第１表示部に表示させる表示制御部を備えた請求項１から９のいずれか１項に記載の医療画像処理装置。
【請求項１１】
前記報知部は前記第１表示部とは異なる第２表示部を含み、
前記表示制御部は、前記報知情報を前記第２表示部に表示させる請求項１０に記載の医療画像処理装置。
【請求項１２】
前記表示制御部は、前記報知状態及び前記非報知状態に応じて前記第２表示部の前記報知情報の表示の態様を変更する請求項１１に記載の医療画像処理装置。
【請求項１３】
前記表示制御部は、前記非報知状態の場合に前記報知情報を前記第２表示部に表示させる請求項１２に記載の医療画像処理装置。
【請求項１４】
前記表示制御部は、前記非報知状態である旨の情報を前記第１表示部とは異なる第３表示部に表示させる請求項１０から１３のいずれか１項に記載の医療画像処理装置。
【請求項１５】
前記表示制御部は、前記医療画像が非報知条件を非充足になってからの経過時間に関する情報を前記第１表示部とは異なる第４表示部に表示する請求項１０から１４のいずれか１項に記載の医療画像処理装置。
【請求項１６】
請求項１０から１５のいずれか１項に記載の医療画像処理装置と、
前記第１表示部と、
を備えた診断支援装置。
【請求項１７】
医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御工程を備え、
前記報知制御工程は、前記医療画像が非報知条件を充足する場合に前記報知情報を前記非報知状態とし、かつ前記医療画像が非報知条件を非充足になってから非報知維持時間の経過後に前記報知状態にする医療画像処理方法。
【請求項１８】
請求項１７に記載の医療画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１９】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１８に記載のプログラムをコンピュータに実行させる記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置に係り、特に医療画像の報知情報の報知の有無を制御する技術に関する。
【背景技術】
【０００２】
内視鏡画像から病変等の注目領域を自動検出する技術が病変の見落とし防止につながるとして期待されている。この自動検出技術はあくまで見落とし防止が目的であり、ユーザが病変の存在を認識した後も検出結果を報知し続けることは観察の妨げになるため、好ましくない。そこで、ユーザ認識後は意図的に報知情報を報知しない非報知にすることが考えられる。【０００３】
しかしながら、非報知にされたことをユーザが気づかないまま検査を継続してしまう恐れがある。この場合、報知情報がユーザに報知されないため、病変が見落とされる可能性がある。【０００４】
このような課題に対し、特許文献１には、非表示アイコンをクリック操作することで病巣候補陰影に対するマーカ（報知情報に相当）が付加されたＣＴ（Computed Tomography）画像のマーカを非表示にし、所定時間経過した場合に元のマーカ付きのＣＴ画像に復帰させる技術が開示されている。この技術によれば、マーカを非表示にした場合であっても、マーカが非表示のままで検査が継続されることを防止することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４３９３０１６号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された技術では、マーカを非表示にするためにはユーザの操作が必要であるという欠点があった。【０００７】
本発明はこのような事情に鑑みてなされたもので、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御する医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために医療画像処理装置の一の態様は、医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御部を備え、報知制御部は、医療画像が非報知条件を充足する場合に報知情報を非報知状態とし、かつ医療画像が非報知条件を非充足になってから非報知維持時間の経過後に報知状態にする医療画像処理装置である。【０００９】
本態様によれば、医療画像が非報知条件を充足する場合に報知情報を非報知状態とし、かつ医療画像が非報知条件を非充足になってから非報知維持時間の経過後に報知状態にするようにしたので、非報知条件を非充足の場合は報知状態となり、非報知条件を充足する場合は非報知状態となり、かつ非報知条件を非充足になってから非報知維持時間が経過するまでは非報知状態が維持され、非報知維持時間の経過後に報知状態になる。したがって、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御することができる。【００１０】
医療画像を順次取得する画像取得部と、医療画像から報知情報を取得する報知情報取得部と、医療画像が非報知条件を充足するか否かを判定する判定部と、医療画像が非報知条件を非充足になってからの経過時間を計時する計時部と、を備えることが好ましい。これにより、医療画像の取得、報知情報の取得、非報知条件の判定、及び経過時間の判定を適切に行うことができる。【００１１】
非報知条件は医療画像の画像特徴量を判定する条件であり、医療画像から画像特徴量を取得する画像特徴量取得部を備えることが好ましい。これにより、画像特徴量に応じて報知を停止することができる。【００１２】
画像特徴量は、医療画像の輝度、色情報、時間的変化、及び周波数情報の少なくとも１つを含むことが好ましい。これにより、適切に報知を停止することができる。【００１３】
非報知条件は医療画像の被検体に対する処置状態を判定する条件であり、医療画像から処置状態を推定する処置状態推定部を備えることが好ましい。これにより、処置状態に応じて報知を停止することができる。【００１４】
処置状態に応じて非報知維持時間を設定する非報知維持時間設定部を備えることが好ましい。これにより、非報知維持時間を適切に設定することができる。【００１５】
非報知条件は注目領域特徴量を判定する条件であり、医療画像から注目領域を検出する注目領域検出部と、注目領域から注目領域特徴量を取得する注目領域特徴量取得部と、を備えることが好ましい。これにより、注目領域特徴量に応じて報知を停止することができる。【００１６】
注目領域特徴量は、注目領域の面積、医療画像内の位置、及び時間的変化の少なくとも１つを含むことが好ましい。これにより、適切に報知を停止することができる。【００１７】
報知部は音を出力する音出力部を含み、報知制御部は、音出力部に音を出力させる音制御部を備えることが好ましい。これにより、報知情報を適切に報知することができる。【００１８】
報知部は第１表示部を含み、報知制御部は、報知情報を第１表示部に表示させる表示制御部を備えることが好ましい。これにより、報知情報を適切に報知することができる。【００１９】
報知部は第１表示部とは異なる第２表示部を含み、表示制御部は、報知情報を第２表示部に表示させることが好ましい。これにより、報知情報を適切に報知することができる。【００２０】
表示制御部は、報知状態及び非報知状態に応じて第２表示部の報知情報の表示の態様を変更することが好ましい。これにより、報知情報を適切に報知することができる。【００２１】
表示制御部は、非報知状態の場合に報知情報を第２表示部に表示させることが好ましい。これにより、第１表示部において医療画像の観察を適切に行うことができ、第２表示部において報知情報を適切に報知することができる。【００２２】
表示制御部は、非報知状態である旨の情報を第１表示部とは異なる第３表示部に表示させることが好ましい。これにより、報知情報が非報知状態であることをユーザが知ることができる。【００２３】
表示制御部は、医療画像が非報知条件を非充足になってからの経過時間に関する情報を第１表示部とは異なる第４表示部に表示することが好ましい。これにより、経過時間に関する情報をユーザが知ることができる。【００２４】
上記目的を達成するために診断支援装置の一の態様は、上記の医療画像処理装置と、第１表示部と、を備えた診断支援装置である。本態様によれば、ユーザ操作によらずに医療画像の報知情報の表示の有無を適切に制御することができる。【００２５】
上記目的を達成するために医療画像処理方法の一の態様は、医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御工程を備え、報知制御工程は、医療画像が非報知条件を充足する場合に報知情報を非報知状態とし、かつ医療画像が非報知条件を非充足になってから非報知維持時間の経過後に報知状態にする医療画像処理方法である。【００２６】
本態様によれば、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御することができる。上記の医療画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
【発明の効果】
【００２７】
本発明によれば、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御することができる。
【図面の簡単な説明】
【００２８】
【図１】図１は、医療画像処理装置を含む内視鏡システムの全体構成を示す概略図である。
【図２】図２は、医療画像処理装置の電気的構成の一例を示すブロック図である。
【図３】図３は、医療画像処理方法の各処理の一例を示すフローチャートである。
【図４】図４は、表示器の表示の遷移を示す図である。
【図５】図５は、報知状態における表示器の表示の一例を示す図である。
【図６】図６は、報知状態における表示器の表示の一例を示す図である。
【図７】図７は、報知状態における表示器の表示の一例を示す図である。
【図８】図８は、報知状態における表示器の表示の一例を示す図である。
【図９】図９は、表示器の表示の遷移を示す図である。
【図１０】図１０は、表示器の表示の遷移を示す図である。
【図１１】図１１は、表示器の表示の遷移を示す図である。
【図１２】図１２は、表示器の表示の遷移を示す図である。
【図１３】図１３は、医療画像処理装置の電気的構成を示すブロック図である。
【図１４】図１４は、第１表示器及び第２表示器の表示の遷移の一例を示す図である。
【図１５】図１５は、第１表示器及び第２表示器の表示の遷移の他の例を示す図である。
【図１６】図１６は、第１表示器及び第３表示器の表示の遷移の他の例を示す図である。
【図１７】図１７は、第１表示器及び第４表示器の表示の遷移の他の例を示す図である。
【図１８】図１８は、医療画像処理装置の電気的構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【００３０】
＜内視鏡システムの全体構成＞
図１は、本実施形態に係る医療画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、医療画像処理装置１４と、操作部１５と、表示器１６と、を備える。
【００３１】
内視鏡スコープ１０は、時系列の医療画像を撮像するためのものであり、例えば軟性内視鏡である。この内視鏡スコープ１０は、被検体内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つユーザ（医師）が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。
【００３２】
挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。
【００３３】
撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。
【００３４】
手元操作部２１には、ユーザによって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮像指示を行うための静止画撮像指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。
【００３５】
ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。
【００３６】
コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。
【００３７】
コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されるとともに、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。
【００３８】
光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせ等の観察目的に応じた各種波長帯域の光が選択される。なお、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
【００３９】
特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
【００４０】
特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
【００４１】
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。
【００４２】
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。
【００４３】
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。
【００４４】
内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、時系列のフレーム画像３８ａ（図２参照）からなる時系列の医療画像である動画３８を生成する。動画３８のフレームレートは、例えば３０ｆｐｓ（frame per second）である。
【００４５】
更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮像指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像３８ａを撮像指示のタイミングに応じて取得し、静止画３９とする。
【００４６】
動画３８及び静止画３９は、被検体内、即ち生体内を撮像した医療画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と医療画像処理装置１４とにそれぞれ出力する。
【００４７】
なお、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤（Red）、緑（Green）、及び青（Blue）のＲＧＢ色情報、或いはシアン（Cyan）、マゼンタ（Magenta）、及びイエロー（Yellow）のＣＭＹ色情報に基づく演算を行うことで得る。
【００４８】
また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。なお、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的で人体を撮像し、又は計測した結果を画像化した医療画像である。
【００４９】
表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する。ユーザは、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮像指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等を行う。
【００５０】
医療画像処理装置１４は、注目領域である病変の自動認識及び自動鑑別を行う装置であり、医療画像に含まれる報知情報をユーザに報知する。医療画像処理装置１４は、例えばパーソナルコンピュータが用いられる。また、操作部１５は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器１６（報知部の一例）はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
【００５１】
医療画像処理装置１４と表示器１６（第１表示部の一例）とによって、動画３８及び報知情報を表示器１６に表示する診断支援装置として機能する。
【００５２】
＜第１実施形態＞
〔医療画像処理装置の構成〕
図２は、第１実施形態に係る医療画像処理装置１４の電気的構成の一例を示すブロック図である。図２に示す医療画像処理装置１４は、主として時系列画像取得部４０と、注目領域検出部４２と、座標算出部４４と、画像情報取得部４６と、非報知維持時間設定部５４と、判定部５６と、計時部５８と、制御部６０と、表示制御部６２と、記憶部６４と、から構成されている。
【００５３】
制御部６０は、記憶部６４に記憶されたプログラム（医療画像処理プログラム）６８に基づき、時系列画像取得部４０、注目領域検出部４２、座標算出部４４、画像情報取得部４６、非報知維持時間設定部５４、判定部５６、計時部５８、及び表示制御部６２を統括制御し、また、これらの各部の一部として機能する。
【００５４】
記憶部６４は、ハードディスク装置等のストレージ装置である。記憶部６４は、注目領域検出部４２による検出結果及び撮像された静止画３９を記憶するとともに、プログラム６８及び医療画像処理装置１４の各種制御に係る情報等を記憶する。
【００５５】
また、記憶部６４は、図形記憶部６６を備えている。図形記憶部６６には、報知情報をユーザに報知するための図形が記憶されている。
【００５６】
時系列画像取得部４０は、医療画像の一例である内視鏡画像を順次取得する。ここでは、時系列画像取得部４０は、内視鏡プロセッサ装置１２（図１参照）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から時系列のフレーム画像３８ａからなる動画３８（本例では、内視鏡スコープ１０により撮像される動画３８）を取得する。また、内視鏡スコープ１０にて動画３８の撮像途中に前述の静止画３９の撮像が行われた場合、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。
【００５７】
なお、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８を直接取得する代わりに、メモリーカード、ハードディスク装置等の各種情報記憶媒体を介して動画３８を取得してもよい。また、時系列画像取得部４０は、インターネット上のサーバ或いはデータベース等にアップロードされた動画３８をインターネット経由で取得してもよい。
【００５８】
注目領域検出部４２は、医療画像から医療画像に含まれる報知情報を取得する報知情報取得部の一例であり、被検体内の観察中に撮像された動画３８から注目領域を検出する。注目領域検出部４２は、動画３８の各フレーム画像３８ａ（又は間引かれた一定間隔のフレーム画像３８ａ）の特徴量を算出し、画像内の注目領域の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含む。
【００５９】
注目領域の例としては、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕、ＥＳＤ（Endoscopic Submucosal Dissection）瘢痕、クリップ箇所、出血点、穿孔、血管異型性、処置具等がある。
【００６０】
注目領域検出部４２は、検出された注目領域が、「腫瘍性」、「非腫瘍性」、「その他」といった病変に関する複数のカテゴリのうちのいずれのカテゴリに属するかのカテゴリ分類等の認識結果を取得することも可能である。
【００６１】
なお、注目領域検出部４２は、ＣＮＮにより注目領域を検出するものに限らず、画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出するものでもよい。
【００６２】
座標算出部４４は、報知情報取得部の一例であり、注目領域検出部４２によって検出された注目領域の画像内の位置を示す座標情報を算出する。座標算出部４４は、例えば注目領域を囲む多角形又は円の輪郭線上の１つ以上の座標情報を算出する。座標算出部４４は、多角形の頂点の座標、又は多角形の辺の中点の座標を座標情報として算出してもよいし、円の円周を複数に等分割する点の座標を座標情報として算出してもよい。
【００６３】
画像情報取得部４６は、報知情報が不必要なタイミング、又は注目領域検出部４２の検出結果の信頼度が低くなるタイミングを推定するための画像情報を動画３８から取得する画像処理部である。画像情報取得部４６は、画像特徴量取得部４８と、処置状態推定部５０と、注目領域特徴量取得部５２と、を備えている。
【００６４】
画像特徴量取得部４８は、動画３８の各フレーム画像３８ａの特徴量である画像特徴量を取得する。処置状態推定部５０は、動画３８の各フレーム画像３８ａを画像処理により解析して被検体に対する処置状態を推定する。注目領域特徴量取得部５２は、注目領域検出部４２によって検出された注目領域の特徴量である注目領域特徴量を取得する。
【００６５】
非報知維持時間設定部５４は、後述する非報知維持時間を設定する。非報知維持時間は、例えば記憶部６４に記憶されている。非報知維持時間設定部５４は、記憶部６４から非報知維持時間を読み出し、読み出した非報知維持時間を設定する。非報知維持時間設定部５４は、処置状態推定部５０が推定した処置状態に応じて非報知維持時間を設定してもよいし、ユーザが入力した値を非報知維持時間として設定してもよい。
【００６６】
判定部５６は、動画３８が非報知条件を充足するか否かを判定する。判定部５６は、画像情報取得部４６が取得した画像情報に基づいて、動画３８が非報知条件を充足するか否かを判定してもよい。即ち、判定部５６は、画像特徴量取得部４８が取得した画像特徴量、処置状態推定部５０が推定した処置状態、注目領域特徴量取得部５２が取得した注目領域特徴量のうちの少なくとも１つに基づいて動画３８が非報知条件を充足するか否かを判定してもよい。
【００６７】
計時部５８は、動画３８が非報知条件を非充足になってからの経過時間を計時する。計時部５８は、動画３８が非報知条件を非充足になってからのフレーム画像３８ａの数（フレーム数）を計数することで経過時間を計時してもよい。
【００６８】
表示制御部６２は、表示器１６の表示を制御する。表示制御部６２は、画像表示制御部６２Ａ及び報知情報表示制御部６２Ｂを備えている。画像表示制御部６２Ａは、時系列画像取得部４０が取得した動画３８を表示器１６に出力し、表示器１６に動画３８を表示させる。即ち、表示器１６には、複数のフレーム画像３８ａが順次表示される。
【００６９】
報知情報表示制御部６２Ｂは、医療画像に含まれる報知情報を報知部において報知する報知制御部の一例である。報知情報表示制御部６２Ｂは、報知情報を報知する報知状態及び報知しない非報知状態のいずれかの状態に制御する。報知情報表示制御部６２Ｂは、報知状態において注目領域検出部４２によって検出された注目領域に関する情報を報知情報として表示器１６に表示させる。ここでは、報知情報表示制御部６２Ｂは、表示器１６に表示されたフレーム画像３８ａの座標算出部４４において算出された座標情報の位置に、図形記憶部６６から読み出した図形を重畳させる。これにより、表示器１６に表示される動画３８の注目領域の位置に図形が重畳表示され、注目領域は図形により強調される。
【００７０】
また、報知情報表示制御部６２Ｂは、動画３８が非報知条件を充足する場合に報知情報を非報知状態とする。即ち、報知情報表示制御部６２Ｂは、動画３８が非報知条件を充足する場合は図形記憶部６６から読み出した図形を表示しない非報知状態とし、表示器１６による報知情報の報知を停止する。
【００７１】
さらに、報知情報表示制御部６２Ｂは、動画３８が非報知条件を非充足になってから非報知維持時間設定部５４が設定した非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知情報を表示する報知状態にする。即ち、非報知維持時間は、非報知条件を非充足になってから非報知状態を維持する時間である。
【００７２】
報知情報表示制御部６２Ｂは、動画３８が非報知条件を非充足になってからの経過時間が非報知維持時間を超えたか否かを判定し、非充足になってからの経過時間が非報知維持時間を超えていない場合は、報知情報を非報知状態を維持する。
【００７３】
また、非充足になってからの経過時間が非報知維持時間を超えた場合は、報知情報表示制御部６２Ｂは報知情報を報知状態にする。ここでは、報知情報表示制御部６２Ｂは、表示器１６に表示されたフレーム画像３８ａ内の座標算出部４４において算出された座標情報の位置に、図形記憶部６６から読み出した図形を重畳させる。
【００７４】
なお、非報知条件とは逆の条件を報知条件とすると、報知情報表示制御部６２Ｂは、動画３８が報知条件を充足する場合に報知情報を報知状態とし、動画３８が報知条件を非充足の場合に報知情報を非報知状態とする、と解釈することができる。この場合、報知情報表示制御部６２Ｂは、動画３８が報知条件を充足してから非報知維持時間が経過するまでは非報知状態を維持する。また、報知情報表示制御部６２Ｂは、動画３８が報知条件を充足してから非報知維持時間の経過後に報知状態にする。
【００７５】
〔医療画像処理方法〕
続いて、医療画像処理装置１４を用いた医療画像処理方法について説明する。医療画像処理方法は、記憶部６４に記憶されたプログラム６８を制御部６０が実行することで実施される。
【００７６】
本実施形態では、報知情報は注目領域の位置であり、医療画像処理装置１４は、注目領域の位置を示す図形を表示器１６に表示する。報知情報は、注目領域の有無であってもよいし、検出された注目領域のカテゴリ分類の認識結果であってもよい。
【００７７】
図３は、第１実施形態に係る医療画像処理方法の各処理の一例を示すフローチャートである。医療画像処理方法は、画像取得工程（ステップＳ１）と、画像表示工程（ステップＳ２）と、注目領域検出工程（ステップＳ３）と、判定工程（ステップＳ５）と、計時工程（ステップＳ７）と、報知制御工程（ステップＳ９、ステップＳ１０）と、を含む。
【００７８】
ステップＳ１では、時系列画像取得部４０は、動画３８のフレーム画像３８ａを取得する。ステップＳ２では、画像表示制御部６２Ａは、ステップＳ１で取得したフレーム画像３８ａを表示器１６に表示させる。
【００７９】
ステップＳ３では、注目領域検出部４２は、ステップＳ１で取得したフレーム画像３８ａから注目領域を検出する。ステップＳ４では、制御部６０は、ステップＳ３においてフレーム画像３８ａから注目領域が検出されたか否かを判定する。
【００８０】
ステップＳ４において注目領域が検出されていないと判定された場合は、本フローチャートの処理を終了する。この場合は、報知情報が存在しないため、報知情報の報知（表示）は行われない。したがって、表示器１６には注目領域の位置を示す図形は表示されない。
【００８１】
一方、ステップＳ４において注目領域が検出されたと判定された場合は、ステップＳ５に移行する。ステップＳ５では、判定部５６は、ステップＳ１で取得したフレーム画像３８ａが非報知条件を充足するか否かを判定する。
【００８２】
ステップＳ５においてフレーム画像３８ａが非報知条件を充足すると判定された場合は、ステップＳ９に移行する。ステップＳ９では、報知情報表示制御部６２Ｂは報知情報を非報知状態（非表示状態）とし、本フローチャートの処理を終了する。したがって、表示器１６には注目領域の位置を示す図形は表示されない。
【００８３】
一方、ステップＳ５においてフレーム画像３８ａが非報知条件を非充足であると判定された場合は、ステップＳ６に移行する。ステップＳ６では、判定部５６は、ステップＳ１で取得したフレーム画像３８ａよりも過去のフレーム画像３８ａが非報知条件を充足していたか否かを判定する。
【００８４】
ステップＳ６において過去のフレーム画像３８ａが非報知条件を非充足であったと判定された場合は、ステップＳ１０に移行する。ステップＳ１０では、報知情報表示制御部６２Ｂは報知情報を報知状態（表示状態）とし、本フローチャートの処理を終了する。したがって、表示器１６に表示されたフレーム画像３８ａの注目領域の位置に図形が重畳される。
【００８５】
また、ステップＳ６において過去のフレーム画像３８ａが非報知条件を充足していたと判定された場合は、ステップＳ７に移行する。ステップＳ７では、計時部５８は、動画３８が非報知条件を非充足になってからの経過時間を計時する。
【００８６】
続くステップＳ８において、報知情報表示制御部６２Ｂは、計時部５８が計時した経過時間が非報知維持時間を超えたか否かを判定する。ここでは、非報知維持時間は、非報知維持時間設定部５４により予め定められた時間が設定される。
【００８７】
非報知維持時間は、０より大きい時間が設定される。非報知維持時間は、例えば０．５秒以上３０秒以下の時間である。非報知維持時間は、好ましくは１秒以上７秒以下の時間であり、より好ましくは２秒以上４秒以下の時間である。
【００８８】
ステップＳ８において、経過時間が非報知維持時間を超えていないと判定された場合は、ステップＳ９に移行する。ステップＳ９では、ステップＳ５から移行した場合と同様に、報知情報表示制御部６２Ｂは報知情報を非報知状態とし、本フローチャートの処理を終了する。したがって、表示器１６には注目領域の位置を示す図形は表示されない。
【００８９】
ステップＳ８において、経過時間が非報知維持時間を超えていると判定された場合は、ステップＳ１０に移行する。ステップＳ１０では、ステップＳ６から移行した場合と同様に、報知情報表示制御部６２Ｂは報知情報を報知状態とし、本フローチャートの処理を終了する。したがって、表示器１６に表示されたフレーム画像３８ａの注目領域の位置に図形が重畳される。
【００９０】
以上のように、第１実施形態に係る医療画像処理方法によれば、ユーザ操作によらずに医療画像の報知情報の報知（表示）の有無を適切に制御することができる。
【００９１】
本フローチャートでは、注目領域検出部４２は、報知状態及び非報知状態にかかわらずフレーム画像３８ａに対して注目領域検出を行っているが、注目領域検出部４２は、報知状態の場合のみ注目領域検出を行ってもよい。
【００９２】
図４は、表示器１６の表示の遷移を示す図である。図４に示すＦ４Ａは、ある時点における表示器１６の表示を示している。また、図４に示すＦ４ＢはＦ４Ａから一定時間経過後の表示器１６の表示を示しており、図４に示すＦ４ＣはＦ４Ｂからさらに一定時間経過後の表示器１６の表示を示している。Ｆ４Ａ、Ｆ４Ｂ、及びＦ４Ｃにおいて表示器１６に表示されるフレーム画像３８ａは、一定のフレームレートを構成する１つの動画３８のそれぞれ異なるフレーム画像３８ａである。
【００９３】
Ｆ４Ａは、フレーム画像３８ａが非報知条件を非充足であるため、報知情報が報知状態である場合を示している。Ｆ４Ａでは、フレーム画像３８ａにおいて検出された注目領域Ｒ１を囲む枠形状の図形Ｆ１が、フレーム画像３８ａに重畳されて表示器１６に表示されている。このように、注目領域の位置を報知することで、ユーザが注目領域を見落とすことを防止することができる。
【００９４】
Ｆ４Ｂは、フレーム画像３８ａが非報知条件を充足しているため、報知情報が非報知状態である場合を示している。Ｆ４Ｂでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報が非表示とされるため図形Ｆ１は表示されていない。
【００９５】
表示器１６に図形Ｆ１が表示されていると、状況によってはフレーム画像３８ａの観察の妨げになりかねない。例えば、ユーザが注目領域Ｒ１を発見した後は観察の邪魔にしかならない。そこで、Ｆ４Ｂに示すように、報知情報が不必要なタイミングであると考えられる非報知条件を充足する場合には、報知情報を非表示にすることで、ユーザが医療画像を観察しやすくすることが可能となる。
【００９６】
また、注目領域検出部４２の誤った検出結果によって図形Ｆ１が表示される場合も、フレーム画像３８ａの観察の妨げになる。したがって、注目領域検出部４２の検出結果の信頼度が低くなるタイミングであると考えられる非報知条件を充足する場合も同様に、報知情報を非表示にすることで、ユーザが医療画像を観察しやすくすることが可能となる。
【００９７】
なお、フレーム画像３８ａが非報知条件を非充足になってから非報知維持時間が経過するまでの間も、報知情報の非報知状態が維持されるため、Ｆ４Ｂと同様に図形Ｆ１は表示されない。
【００９８】
Ｆ４Ｃは、フレーム画像３８ａが非報知条件を非充足になってから非報知維持時間の経過後に、報知情報が再び報知状態となった場合を示している。Ｆ４Ａと同様に、フレーム画像３８ａにおいて検出された注目領域Ｒ１を囲む枠形状の図形Ｆ１が、フレーム画像３８ａに重畳されて表示器１６に表示されている。
【００９９】
報知情報を非報知状態のままにすると、その後に注目領域のスクリーニングを再開して報知情報の表示が必要となった場合にも報知情報が表示されず、ユーザが注目領域を見落とす可能性がある。そこで、非報知条件を非充足になった場合には報知情報を報知状態にする。これにより、表示を再開させるためのユーザ操作によらずに、継続して報知情報の表示が行われなくなることを防止することができる。
【０１００】
ここで、非報知条件を非充足になってから直ちに報知情報を表示すると、動画３８の画像情報によっては短い間隔で表示と非表示とを繰り返してしまい、ユーザにとって煩わしい場合が発生する。このため、非報知条件を非充足になってから非報知維持時間の経過後に報知状態にする。このように非表示から表示へ移行させることで、短い間隔で表示と非表示とを繰り返すことを防止することができる。
【０１０１】
＜表示の変形例＞
〔注目領域の報知の態様〕
表示器１６において注目領域を報知する態様は、枠形状の図形で注目領域を囲む例に限定されない。
【０１０２】
図５〜図８は、報知状態における表示器１６の表示の一例を示す図であり、それぞれ注目領域Ｒ１を含むフレーム画像３８ａが表示されている。
【０１０３】
図５に示す場合は、報知情報表示制御部６２Ｂは、注目領域Ｒ１を塗りつぶした情報ＩＮ１を表示することで、注目領域Ｒ１を報知している。塗りつぶす色は、ユーザに報知できる色であれば限定されない。このように、注目領域を塗りつぶすことで、注目領域の範囲を認識しやすく報知することができる。
【０１０４】
図６及び図７は、注目領域の画像内の位置にかかわらず、注目領域が検出されたか否かを報知する例を示している。
【０１０５】
図６に示す場合は、報知情報表示制御部６２Ｂは、フレーム画像３８ａの周囲を着色した情報ＩＮ２を表示することで、注目領域Ｒ１が検出された旨を報知している。このように、医療画像の周囲の色で報知することで、医療画像に観察を妨げる図形を重畳することなく、かつ、ユーザの視線移動を少なくして報知することができる。
【０１０６】
図７に示す例では、報知情報表示制御部６２Ｂは、フレーム画像３８ａの外側の右上の位置に星形の図形の情報ＩＮ３を表示することで、注目領域Ｒ１が検出された旨を報知している。図形の形状及び配置する位置はこの例に限定されない。このように、医療画像の外側の特定の位置に特定の図形を表示することで、医療画像に観察を妨げる図形を重畳することなく、かつ、ユーザの視線移動を少なくして報知することができる。また、報知による表示画面内における影響範囲が小さくて済むため、ユーザにとって報知が煩わしくないという利点がある。
【０１０７】
図８に示す場合は、報知情報表示制御部６２Ｂは、フレーム画像３８ａの周囲のうち、注目領域に近い領域（ここでは右上）のみを着色した情報ＩＮ４を表示することで、注目領域Ｒ１のおおよその位置を報知している。このように、医療画像の周囲のうち注目領域に近い領域を色で報知することで、医療画像に観察を妨げる図形を重畳することなく、かつ、検出対象の大まかな位置を把握可能に報知することができる。
【０１０８】
〔その他の情報の表示〕
図９は、表示器１６の表示の遷移を示す図である。図９に示すＦ９Ａは、ある時点における表示器１６の表示を示している。また、図９に示すＦ９ＢはＦ９Ａから３秒経過後の表示器１６の表示を示しており、図９に示すＦ９ＣはＦ９Ｂからさらに２秒経過後の表示器１６の表示を示している。Ｆ９Ａ、Ｆ９Ｂ、及びＦ９Ｃにおいて表示器１６に表示されるフレーム画像３８ａは、一定のフレームレートを構成する１つの動画３８のそれぞれ異なるフレーム画像３８ａである。
【０１０９】
Ｆ９Ａ、Ｆ９Ｂ、及びＦ９Ｃでは、報知状態又は非報知状態の情報ＩＮ５（非報知状態である旨の情報の一例）、及び報知情報を非報知状態とする残り時間、即ち非報知維持時間と経過時間との差分の時間の情報ＩＮ６（医療画像が非報知条件を非充足になってからの経過時間に関する情報の一例）が、表示器１６のフレーム画像３８ａの表示領域（第１表示部の一例）とは異なる表示領域（第３表示部の一例）に表示されている。
【０１１０】
Ｆ９Ａ及びＦ９Ｂは、非報知状態の場合を示している。Ｆ９Ａ及びＦ９Ｂでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報表示制御部６２Ｂは注目領域Ｒ１の報知を行わない。
【０１１１】
Ｆ９Ａでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ６として残り時間が５秒である旨の「５ｓｅｃ」を表示している。また、Ｆ９Ｂでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ６として残り時間が２秒である旨の「２ｓｅｃ」を表示している。
【０１１２】
Ｆ９Ｃは、非報知維持時間が経過して報知状態となった場合を示している。Ｆ９Ｃでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されており、報知情報表示制御部６２Ｂは注目領域Ｒ１を囲む枠形状の図形Ｆ１をフレーム画像３８ａに重畳する。また、Ｆ９Ｃでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として報知状態である旨の「ｏｎ」を表示し、情報ＩＮ６として非報知維持時間が経過した旨の「０ｓｅｃ」を表示している。報知情報表示制御部６２Ｂは、報知状態の場合は情報ＩＮ６を非表示としてもよい。
【０１１３】
また、図１０及び図１１は、それぞれ表示器１６の表示の遷移を示す図である。図１０に示すＦ１０Ａ、Ｆ１０Ｂ、及びＦ１０Ｃの遷移のタイミングと、図１１に示すＦ１１Ａ、Ｆ１１Ｂ、及びＦ１１Ｃの遷移のタイミングとは、それぞれ図９に示すＦ９Ａ、Ｆ９Ｂ、及びＦ９Ｃの遷移のタイミングと同様である。即ち、Ｆ１０Ａ、Ｆ１０Ｂ、及びＦ１０Ｃにおいて表示されているフレーム画像３８ａと、Ｆ１１Ａ、Ｆ１１Ｂ、及びＦ１１Ｃにおいて表示されているフレーム画像３８ａとは、それぞれＦ９Ａ、Ｆ９Ｂ、及びＦ９Ｃにおいて表示されているフレーム画像と同様である。
【０１１４】
Ｆ１０Ａ、Ｆ１０Ｂ、及びＦ１０Ｃでは、報知状態又は非報知状態の情報ＩＮ５、及び報知情報を非報知状態とする残り時間の情報ＩＮ７（医療画像が非報知条件を非充足になってからの経過時間に関する情報の一例）が、表示器１６のフレーム画像３８ａの表示領域とは異なる表示領域に表示されている。
【０１１５】
情報ＩＮ７は、バー（プログレスバー）を用いて非報知状態の残り時間を表現したものであり、バーの塗りつぶし部分の長さと経過時間とが相関を持つように設定される。
【０１１６】
Ｆ１０Ａ及びＦ１０Ｂは、非報知状態の場合を示している。Ｆ１０Ａ及びＦ１０Ｂでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報表示制御部６２Ｂは注目領域Ｒ１の報知を行わない。Ｆ１０Ａでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ７として残り時間の５秒分を塗りつぶしたバーを表示している。また、Ｆ１０Ｂでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ７として残り時間の２秒分を塗りつぶしたバーを表示している。
【０１１７】
Ｆ１０Ｃは、非報知維持時間が経過して報知状態となった場合を示している。Ｆ１０Ｃでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されており、報知情報表示制御部６２Ｂは注目領域Ｒ１を囲む枠形状の図形Ｆ１をフレーム画像３８ａに重畳する。また、Ｆ１０Ｃでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として報知状態である旨の「ｏｎ」を表示し、情報ＩＮ７として残り時間の０秒分を塗りつぶしたバー、即ち塗りつぶしのないバーを表示している。報知情報表示制御部６２Ｂは、報知状態の場合は情報ＩＮ７を非表示としてもよい。
【０１１８】
このように、塗りつぶし部分の長さと経過時間とが相関を持つバーを表示することで、ユーザは残り時間を図形的に解釈可能となる。
【０１１９】
Ｆ１１Ａ、Ｆ１１Ｂ、及びＦ１１Ｃでは、報知状態又は非報知状態の情報ＩＮ５、及び報知情報を非報知状態とする残り時間の情報ＩＮ８（医療画像が非報知条件を非充足になってからの経過時間に関する情報の一例）が、表示器１６のフレーム画像３８ａの表示領域とは異なる表示領域に表示されている。
【０１２０】
情報ＩＮ８は、表示領域の一部の色情報で残り時間を表現しており、残り時間が短くなるほど色が濃くなる。
【０１２１】
Ｆ１１Ａ及びＦ１１Ｂは、非報知状態の場合を示している。Ｆ１１Ａ及びＦ１１Ｂでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報表示制御部６２Ｂは注目領域Ｒ１の報知を行わない。Ｆ１１Ａでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ８として残り時間が５秒に相当する濃度の色を表示している。また、Ｆ１１Ｂでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ８として残り時間が２秒に相当する濃度の色を表示している。
【０１２２】
Ｆ１１Ｃは、非報知維持時間が経過して報知状態となった場合を示している。Ｆ１１Ｃでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されており、報知情報表示制御部６２Ｂは注目領域Ｒ１を囲む枠形状の図形Ｆ１をフレーム画像３８ａに重畳する。また、Ｆ１１Ｃでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として報知状態である旨の「ｏｎ」を表示し、情報ＩＮ８として残り時間が０秒に相当する濃度の色を表示している。
【０１２３】
ここで、Ｆ１１Ａの情報ＩＮ８の色の濃度よりもＦ１１Ｂの情報ＩＮ８の色の濃度の方が相対的に高く、Ｆ１１Ｂの情報ＩＮ８の色の濃度よりもＦ１１Ｃの情報ＩＮ８の色の濃度の方が相対的に高い。なお、残り時間が短くなるほど色を濃くしてもよい。
【０１２４】
このように、医療画像の表示領域の周辺の色の濃度で残り時間を表現することで、ユーザは特定の領域を注視する必要なく残り時間を把握でき、観察の妨げにならないという利点がある。
【０１２５】
図１２は、表示器１６の表示の遷移を示す図である。図１２に示すＦ１２Ａは、ある時点における表示器１６の表示を示している。また、図１２に示すＦ１２ＢはＦ１２Ａから一定時間経過後の表示器１６の表示を示しており、図１２に示すＦ１２ＣはＦ１２Ｂからさらに一定時間経過後の表示器１６の表示を示している。Ｆ１２Ａ、Ｆ１２Ｂ、及びＦ１２Ｃにおいて表示器１６に表示されるフレーム画像３８ａは、一定のフレームレートを構成する１つの動画３８のそれぞれ異なるフレーム画像３８ａである。
【０１２６】
Ｆ１２Ａ、Ｆ１２Ｂ、及びＦ１２Ｃでは、報知状態又は非報知状態の情報と、報知情報を非報知状態とする残り時間の情報とをまとめて表現した情報ＩＮ９が、表示器１６のフレーム画像３８ａの表示領域とは異なる表示領域に表示されている。
【０１２７】
情報ＩＮ９は、「ＡＩ」の文字がグレーアウトしている場合は、非報知条件を充足している非報知状態であることを示す。また、「ＡＩ」の文字が一定の濃度の赤色の場合は、報知状態であることを表す。さらに、非報知条件を非充足となってから非報知維持時間が経過するまでの非報知状態では、残り時間に応じて赤色の濃度が連続的に変化する。
【０１２８】
Ｆ１２Ａは、非報知条件を充足している非報知状態の場合を示している。Ｆ１２Ａでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報表示制御部６２Ｂは注目領域Ｒ１の報知を行わない。また、報知情報表示制御部６２Ｂは、情報ＩＮ９としてグレーアウトさせた「ＡＩ」の文字を表示する。これは、ＡＩ（Artificial Intelligence）による注目領域の検出の報知が機能していないことを表す。
【０１２９】
Ｆ１２Ｂは、非報知条件を非充足となってから非報知維持時間が経過するまでの非報知状態の場合を示している。Ｆ１２Ｂでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報表示制御部６２Ｂは注目領域Ｒ１の報知を行わない。また、報知情報表示制御部６２Ｂは、情報ＩＮ９として残り時間に応じた濃度の赤色の「ＡＩ」の文字を表示する。
【０１３０】
Ｆ１２Ｃは、報知状態の場合を示している。Ｆ１２Ｃでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されており、報知情報表示制御部６２Ｂは注目領域Ｒ１を囲む枠形状の図形Ｆ１をフレーム画像３８ａに重畳する。また、報知情報表示制御部６２Ｂは、情報ＩＮ９として報知状態に相当する一定の濃度の赤色の「ＡＩ」の文字を表示する。これは、注目領域の検出が機能していることを表す。
【０１３１】
ここで、Ｆ１２Ｂの情報ＩＮ９の赤色の濃度よりもＦ１２Ｃの情報ＩＮ９の赤色の濃度の方が相対的に高い。なお、情報ＩＮ９の非報知条件を充足している非報知状態での色、報知状態での色及び濃度はこの例に限定されない。
【０１３２】
このように、報知状態又は非報知状態の情報と、残り時間の情報とをまとめて表現することで、画面表示が煩雑にならないという利点がある。また、報知状態と非報知状態とで文字の色を変化させることで、ユーザは報知状態及び非報知状態の識別が容易になる。さらに、残り時間に応じて文字の色の濃度を連続的に変化させることで、ユーザは残り時間を把握することが可能となる。非報知状態の場合の文字は、グレーアウトするのではなく表示自体をやめてもよい。また、残り時間は、文字ではなくアイコンなどの図の濃淡で表現してもよい。
【０１３３】
＜非報知条件の詳細＞
〔画像特徴量を判定する場合〕
判定部５６が判定する非報知条件は、例えば医療画像の画像特徴量を判定する条件である。画像特徴量は、医療画像の輝度、色情報、時間的変化、及び周波数情報の少なくとも１つを含む。
【０１３４】
例えば、動画３８からユーザが注目領域を発見し、注目領域を観察している間は、報知情報が不必要なタイミングであると考えられる。注目領域の観察時は、一般に動画３８の時間的変化の方が相対的に小さくなる。
【０１３５】
したがって、画像特徴量取得部４８が画像特徴量として動画３８の複数のフレーム画像３８ａの時間的変化を検出する。判定部５６は、検出した時間的変化と非報知条件として設定された時間的変化とを比較する。その結果、検出した時間的変化の方が相対的に小さいと判定された場合は、報知情報表示制御部６２Ｂは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
【０１３６】
また、内視鏡システム９が送水中又は吸水中である間は、報知情報が不必要なタイミングであると考えられる。送水時及び吸水時は、一般にフレーム画像３８ａの黄色成分及び高周波成分が多くなる。
【０１３７】
したがって、画像特徴量取得部４８が画像特徴量としてフレーム画像３８ａの色成分を検出する。判定部５６は、検出した黄色成分と非報知条件として設定された黄色成分とを比較する。その結果、検出した黄色成分の方が相対的に多いと判定された場合は、報知情報表示制御部６２Ｂは、内視鏡システム９が送水中又は吸水中であると判断して報知情報を非報知状態とする。
【０１３８】
同様に、画像特徴量取得部４８が画像特徴量としてフレーム画像３８ａの周波数成分を検出する。判定部５６は、検出した高周波成分と非報知条件として設定された高周波成分とを比較する。その結果、検出した高周波成分の方が相対的に多いと判定された場合は、報知情報表示制御部６２Ｂは、内視鏡システム９が送水中又は吸水中であると判断して報知情報を非報知状態とする。
【０１３９】
また、フレーム画像３８ａの輝度が高すぎる場合、低すぎる場合、又はフレーム画像３８ａのボケが大きすぎる場合は、注目領域検出部４２の検出結果の信頼度が低下するタイミングであると考えられる。
【０１４０】
したがって、画像特徴量取得部４８が画像特徴量としてフレーム画像３８ａの輝度を検出する。判定部５６は、検出した輝度と非報知条件として設定された輝度の範囲とを比較する。その結果、検出した輝度が設定された輝度の範囲に含まれないと判定された場合は、報知情報表示制御部６２Ｂは、注目領域検出部４２の検出結果の精度が悪くなると判断して報知情報を非報知状態とする。
【０１４１】
同様に、画像特徴量取得部４８が画像特徴量としてフレーム画像３８ａのボケを検出する。判定部５６は、検出したボケと非報知条件として設定されたボケとを比較する。その結果、検出したボケの方が相対的に大きいと判定された場合は、報知情報表示制御部６２Ｂは、注目領域検出部４２の検出結果の精度が悪くなると判断して報知情報を非報知状態とする。
【０１４２】
このように、非報知条件を、報知情報が不必要なタイミング、又は注目領域検出結果の信頼度が低くなるタイミングの画像特徴量に設定し、設定された画像特徴量と画像特徴量取得部４８によって取得した画像特徴量とを判定部５６が比較することで、適切なタイミングで自動的に報知情報を非報知状態とすることができる。
【０１４３】
画像特徴量を判定する非報知条件が非充足になった場合、すぐに報知情報の報知状態を再開するべきではない。例えば、フレーム画像３８ａの時間的変化が小さい場合に、体動の影響で一時的に時間的変化が大きくなり、すぐに変化量が小さく戻るといった状況は多々ある。このような一時的な時間的変化が大きいタイミングはスクリーニングを再開したというわけではなく、報知情報を表示する必要はない。また、短い間隔で表示と非表示とを繰り返すと、ユーザにとって煩わしいという問題がある。そこで非報知条件が非充足になってからも、非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知状態にすることで、このような問題を回避することができる。
【０１４４】
〔処置状態を判定する場合〕
非報知条件は、医療画像の被検体に対する処置状態を判定する条件であってもよい。ユーザが被検体に対して処置を施している間は、報知情報が不必要なタイミングであると考えられる。処置状態として、フレーム画像３８ａに処置具が写っている場合、出血が映っている場合、又は内視鏡システム９が所定の倍率で拡大して撮像する拡大モードに設定されている場合等が考えられる。
【０１４５】
例えば、処置状態推定部５０がフレーム画像３８ａから処置具を検出する。判定部５６は、検出された処置具と非報知条件として設定された処置具である生検鉗子又はスネアとを比較する。検出された処置状態が非報知条件を充足していると判定された場合は、報知情報表示制御部６２Ｂは、ユーザが処置中と判断して報知情報を非報知状態とする。
【０１４６】
なお、フレーム画像３８ａから処置具が検出された場合は、処置具の種類に依らずユーザが処置中と判断して報知情報を非報知状態としてもよい。この場合、判定部５６は非報知条件を満たすか否かの判定を行わなくてもよいし、非報知条件として全ての処置具を設定して判定してもよい。
【０１４７】
また、処置状態推定部５０がフレーム画像３８ａから出血量を検出する。判定部５６は、検出された出血量と非報知条件として設定された出血量とを比較する。検出された出血量が非報知条件を充足していると判定された場合は、報知情報表示制御部６２Ｂは、ユーザが処置中と判断して報知情報を非報知状態とする。
【０１４８】
また、処置状態推定部５０において、内視鏡システム９が設定されているモードを検出する。判定部５６は、検出されたモードと非報知条件として設定された拡大モードとを比較する。検出されたモードが非報知条件を充足していると判定された場合は、報知情報表示制御部６２Ｂは、ユーザが処置中と判断して報知情報を非報知状態とする。
【０１４９】
また、処置状態推定部５０が、被検体内に散布されている色素材を検出する。判定部５６は、検出した色素材と非報知条件として設定された色素材とを比較する。検出された色素材が非報知条件を充足していると判定された場合は、報知情報表示制御部６２Ｂは、ユーザが診断中と判断して報知情報を非報知状態とする。
【０１５０】
なお、色素材が検出された場合は、色素材の種類に依らずユーザが処置中と判断して報知情報を非報知状態としてもよい。この場合、判定部５６は非報知条件を満たすか否かの判定を行わなくてもよいし、非報知条件として全ての色素材を設定して判定してもよい。
【０１５１】
このように、非報知条件を、報知情報が不必要なタイミングの処置状態に設定し、設定された処置状態と処置状態推定部５０によって取得した処置状態とを判定部５６が比較することで、適切なタイミングで自動的に報知情報を非報知状態とすることができる。
【０１５２】
処置状態を判定する非報知条件が非充足になった場合、すぐに報知情報の表示を再開するべきではない。例えば、フレーム画像３８ａに生検鉗子が含まれていて非報知とされている場合に、粘膜又は残液によって鉗子が被覆されて一時的に写らなくなり、すぐに戻るといった状況は多々ある。このような一時的に鉗子が写らないタイミングにおいてすぐに表示を再開するのは、画像特徴量を判定する場合と同様の理由から好ましくない。したがって、非報知条件が非充足になってからも、非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知状態にすることで、このような問題を回避することができる。
【０１５３】
また、処置状態に応じて非報知維持時間を変更してもよい。例えば、フレーム画像３８ａに生検鉗子が含まれている場合は、生検監視が鉗子口から出ていない状態になれば生検処置が終了したと判断することができる。したがって、非報知維持時間設定部５４は、生検監視が鉗子口から出ていない状態になった後の非報知維持時間を相対的に短い時間に設定すればよい。
【０１５４】
一方でＥＭＲ（Endoscopic Mucosal Resection）のような処置の場合は、局部注射、スネアによる切除、及びクリップによる止血という一連の流れがある。例えば、局部注射後からスネアを鉗子口から出すまでの間はフレーム画像３８ａから処置具を検出することはできないが、この間も処置作業中であり報知情報を再表示すべきではない。そこで、フレーム画像３８ａから局部注射を検出した場合は、非報知維持時間設定部５４は、局部注射が検出されなくなった後の非報知維持時間を相対的に長い時間に設定することで、一連の作業中に報知情報を再表示することを避けることが可能となる。
【０１５５】
〔注目領域特徴量を判定する場合〕
非報知条件は、医療画像の注目領域特徴量を判定する条件であってもよい。注目領域特徴量は、注目領域の面積、医療画像内の位置、及び時間的変化の少なくとも１つを含む。
【０１５６】
注目領域の観察時は、一般にフレーム画像３８ａにおける注目領域の面積の割合が大きい、フレーム画像３８ａ内の注目領域の位置が中央部にある、及び注目領域の時間的変化が小さい。
【０１５７】
したがって、注目領域特徴量取得部５２が注目領域特徴量としてフレーム画像３８ａ内の注目領域の面積を検出する。判定部５６は、検出した面積と非報知条件として設定された面積とを比較する。その結果、検出した面積の方が相対的に大きいと判定された場合は、報知情報表示制御部６２Ｂは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
【０１５８】
また、注目領域特徴量取得部５２が、注目領域特徴量として注目領域のフレーム画像３８ａ内の位置を検出する。判定部５６は、検出した位置と非報知条件として設定された位置とを比較する。その結果、検出した注目領域の位置が非報知条件として設定された位置よりも中央部寄りにあると判定された場合は、報知情報表示制御部６２Ｂは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
【０１５９】
同様に、注目領域特徴量取得部５２が、注目領域特徴量として動画３８の注目領域の時間的変化を検出する。判定部５６は、検出した時間的変化と非報知条件として設定された時間的変化とを比較する。その結果、検出した時間的変化の方が相対的に小さいと判定された場合は、報知情報表示制御部６２Ｂは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
【０１６０】
このように、非報知条件を、報知情報が不必要なタイミングの注目領域特徴量に設定し、設定された注目領域特徴量と注目領域特徴量取得部５２によって取得した注目領域特徴量とを判定部５６が比較することで、適切なタイミングで自動的に報知情報を非報知状態とすることができる。
【０１６１】
これまでと同様に、注目領域特徴量を判定する非報知条件が非充足になった場合、すぐに報知情報の表示を再開するべきではない。例えば、注目領域の面積が大きいにもかかわらず、一時的に残液などに注目領域の一部が被覆されて面積が小さいと判断されてしまう場合、又はフレーム画像３８ａの中央部に位置しているにもかかわらず体動の影響で一時的にフレーム画像３８ａの端部に移動してしまう場合等がある。したがって、非報知条件が非充足になってからも、非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知状態にすることで、このような問題を回避することができる。
【０１６２】
＜第２実施形態＞
〔医療画像処理装置の構成〕
ここまでは医療画像処理装置１４に単一の表示器１６が接続されている例を説明したが、医療画像処理装置１４は複数の表示装置に接続されていてもよい。
【０１６３】
図１３は、第２実施形態に係る医療画像処理装置１４の電気的構成を示すブロック図である。医療画像処理装置１４は、図２に示すブロック図と同様である。表示制御部６２は、第１表示器１６Ａ、第２表示器１６Ｂ、第３表示器１６Ｃ、及び第４表示器１６Ｄに接続されており、それぞれの表示を制御する。
【０１６４】
第１表示器１６Ａ、第２表示器１６Ｂ、第３表示器１６Ｃ、及び第４表示器１６Ｄは、例えば内視鏡システム９に備えられる。第１表示器１６Ａ、第２表示器１６Ｂ、第３表示器１６Ｃ、及び第４表示器１６Ｄは、それぞれ異なる液晶モニタ等の表示装置である。ここでは、４つの表示装置に接続されているが、表示装置の数は必要に応じて決めればよい。また、第１表示器１６Ａ、第２表示器１６Ｂ、第３表示器１６Ｃ、及び第４表示器１６Ｄは、単一の表示装置の画面内のそれぞれ異なる領域であってもよい。
【０１６５】
図１４は、第１表示器１６Ａ及び第２表示器１６Ｂの表示の遷移の一例を示す図である。
【０１６６】
報知情報表示制御部６２Ｂは、第１表示器１６Ａ（第１表示部の一例）の表示については、第１実施形態に係る表示器１６の表示と同様に制御する。図１４に示すＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃは、第１表示器１６Ａの表示を示しており、図４に示すＦ４Ａ、Ｆ４Ｂ、及びＦ４Ｃと同様である。
【０１６７】
即ち、Ｆ１４Ａ及びＦ１４Ｃは、報知情報が報知状態である場合を示している。Ｆ１４Ａ及びＦ１４Ｃでは、フレーム画像３８ａにおいて検出された注目領域Ｒ１を囲む枠形状の図形Ｆ１がフレーム画像３８ａに重畳されている。また、Ｆ１４Ｂは、報知情報が非報知状態である場合を示している。Ｆ１４Ｂでは、図形Ｆ１は表示されず、フレーム画像３８ａのみが表示される。
【０１６８】
また、報知情報表示制御部６２Ｂは、第１表示器１６Ａの報知状態及び非報知状態に応じて第２表示器１６Ｂ（第２表示部の一例）の報知情報の表示の態様を変更する。ここでは、報知情報表示制御部６２Ｂは、報知情報が非報知状態の場合に第２表示器１６Ｂに報知情報を表示する。
【０１６９】
図１４に示すＦ１４Ｄ、Ｆ１４、及びＦ１４は、それぞれＦ１４Ａ、Ｆ１４、及びＦ１４と同じタイミングにおける第２表示器１６Ｂの表示を示している。Ｆ１４Ｄ、Ｆ１４、及びＦ１４において表示されるフレーム画像３８ａは、それぞれＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃにおいて表示されるフレーム画像３８ａと同じ画像である。
【０１７０】
報知情報が報知状態のタイミングであるＦ１４Ｄ及びＦ１４では、図形Ｆ１は表示されていない。一方、報知情報が非報知状態のタイミングであるＦ１４において、注目領域Ｒ１を囲む枠形状の図形Ｆ１がフレーム画像３８ａに重畳されている。
【０１７１】
このように、報知情報が非報知状態の場合にのみ第２表示器１６Ｂに報知情報を表示させる。これにより、第１表示器１６Ａについては、報知情報が不必要なタイミングでユーザの観察を妨げる影響を抑えることができる。また、第２表示器１６Ｂについては、ユーザが報知情報を必要とした場合に報知情報を確認することができる。
【０１７２】
ここでは、第２表示器１６Ｂにフレーム画像３８ａを表示したが、第２表示器１６Ｂに表示させるのは報知情報である図形Ｆ１のみであってもよい。
【０１７３】
図１５は、第１表示器１６Ａ及び第２表示器１６Ｂの表示の遷移の他の例を示す図である。この例では、報知情報表示制御部６２Ｂは、報知情報が非報知状態の場合に、第２表示器１６Ｂに表示させる報知情報をより強調レベルの高い表示に変更する。ここで、強調レベルとは、ユーザによる報知情報の認識のしやすさであり、強調レベルが相対的に高いほどユーザが報知情報を認識しやすい。
【０１７４】
図１５に示すＦ１５、Ｆ１５Ｂ、及びＦ１５Ｃは、第１表示器１６Ａの表示を示しており、図１４に示すＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃと同様である。また、図１５に示すＦ１５、Ｆ１５Ｅ、及びＦ１５Ｆは、それぞれＦ１５Ａ、Ｆ１５Ｂ、及びＦ１５Ｃと同じタイミングにおける第２表示器１６Ｂの表示を示している。Ｆ１５Ｄ、Ｆ１５Ｅ、及びＦ１５Ｆにおいて表示されるフレーム画像３８ａは、それぞれＦ１５Ａ、Ｆ１５Ｂ、及びＦ１５Ｃにおいて表示されるフレーム画像３８ａと同じ画像である。
【０１７５】
報知状態のタイミングであるＦ１５Ｄ及びＦ１５Ｆでは、Ｆ１５Ａ及びＦ１５Ｃと同様に、フレーム画像３８ａにおいて検出された注目領域Ｒ１を囲む枠形状の図形Ｆ１がフレーム画像３８ａに重畳されている。また、非報知状態のタイミングであるＦ１５Ｅでは、フレーム画像３８ａにおいて検出された注目領域Ｒ１を囲む枠形状の図形Ｆ２がフレーム画像３８ａに重畳されている。ここで、図形Ｆ２の線の太さは、図形Ｆ１の線の太さよりも相対的に太い。このため、図形Ｆ２の強調レベルは、図形Ｆ１の強調レベルよりも相対的に高い。
【０１７６】
このように第２表示器１６Ｂの表示を制御することで、報知情報が非報知状態の際にユーザが報知情報を必要とした場合に、報知情報をより確認しやすくすることができる。
【０１７７】
報知情報表示制御部６２Ｂは、図５〜図８に示した注目領域を報知するための情報ＩＮ１〜ＩＮ４を第２表示器１６Ｂに表示させてもよい。また、報知情報表示制御部６２Ｂは、報知情報が非報知状態の場合にのみ、情報ＩＮ１〜ＩＮ４を第２表示器１６Ｂに表示させてもよい。この場合、画像表示制御部６２Ａは、第２表示器１６Ｂに医療画像を表示してもよいし、医療画像を表示しなくてもよい。
【０１７８】
図１６は、第１表示器１６Ａ及び第３表示器１６Ｃの表示の遷移の他の例を示す図である。この例では、報知情報表示制御部６２Ｂは、報知情報が非報知状態の場合に、報知情報が非報知状態である旨の情報を第３表示器１６Ｃ（第３表示部の一例）に表示する。
【０１７９】
図１６に示すＦ１６Ａ、Ｆ１６Ｂ、及びＦ１６Ｃは、第１表示器１６Ａの表示を示しており、図１４に示すＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃと同様である。また、図１６に示すＦ１６、Ｆ１６Ｅ、及びＦ１６Ｆは、それぞれＦ１６Ａ、Ｆ１６Ｂ、及びＦ１６Ｃと同じタイミングにおける第３表示器１６Ｃの表示を示している。
【０１８０】
報知情報表示制御部６２Ｂは、報知状態のタイミングであるＦ１６Ｄ及びＦ１６Ｆでは、第３表示器１６Ｃには表示を行わない。また、報知情報表示制御部６２Ｂは、非報知状態のタイミングであるＦ１６Ｅでは、非報知状態である旨の情報ＩＮ１０を第３表示器１６Ｃに表示する。
【０１８１】
ここでは、情報ＩＮ１０として文字を用いているが、記号、又は色等でもよい。また、報知情報表示制御部６２Ｂは、報知状態のタイミングであるＦ１６Ｄ及びＦ１６Ｆにおいて、報知状態である旨の情報を第３表示器１６Ｃに表示してもよい。
【０１８２】
このように第３表示器１６Ｃの表示を制御することで、非報知状態であることをユーザが認識することができる。非報知状態においてユーザが操作部１５による操作を行うことで、第１表示器１６Ａを直ちに報知状態にしてもよい。
【０１８３】
図１７は、第１表示器１６Ａ及び第４表示器１６Ｄの表示の遷移の他の例を示す図である。この例では、報知情報表示制御部６２Ｂは、非報知条件を非充足になってからの経過時間に関する情報を第４表示器１６Ｄ（第４表示部の一例）に表示する。
【０１８４】
図１７に示すＦ１７Ａ、Ｆ１７Ｂ、及びＦ１７Ｃは、第１表示器１６Ａの表示を示しており、図１４に示すＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃと同様である。なお、Ｆ１７Ｂは、フレーム画像３８ａが非報知条件を非充足になってから非報知維持時間が経過するまでの間に報知情報の非報知状態が維持されている場合を示している。図１７に示すＦ１７Ｄ、Ｆ１７Ｅ、及びＦ１７Ｆは、それぞれＦ１７Ａ、Ｆ１７Ｂ、及びＦ１７Ｃと同じタイミングにおける第４表示器１６Ｄの表示を示している。
【０１８５】
報知情報表示制御部６２Ｂは、非報知条件を非充足のタイミングであるＦ１７Ｄ及びＦ１７では、第４表示器１６Ｄには表示を行わない。また、報知情報表示制御部６２Ｂは、フレーム画像３８ａが非報知条件を非充足になってから非報知維持時間が経過するまでのタイミングであるＦ１７Ｅでは、報知情報を非報知状態とする残り時間、即ち非報知維持時間と経過時間との差分の時間の情報ＩＮ１１を第４表示器１６Ｄに表示する。
【０１８６】
ここでは、情報ＩＮ１１として報知情報を非報知状態とする残り時間の文字情報、及び残り時間を間接的に表示した図形であって、順に領域の色が変化する図形を表示したが、非報知条件を非充足になってからの経過時間を表示してもよい。また、報知情報表示制御部６２Ｂは、図９〜図１２に示した残り時間の情報ＩＮ６〜ＩＮ９を第２表示器１６Ｂに表示させてもよい。
【０１８７】
このように第４表示器１６Ｄの表示を制御することで、非報知条件を非充足になってからの経過時間に関する情報をユーザが認識することができる。第４表示器１６Ｄに情報ＩＮ１１が表示されている状態においてユーザが操作部１５による操作を行うことで、第１表示器１６Ａを直ちに報知状態にしてもよい。
【０１８８】
＜第３実施形態＞
〔医療画像処理装置の構成〕
図１８は、第３実施形態に係る医療画像処理装置１４の電気的構成の一例を示すブロック図である。なお、図２に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１８９】
医療画像処理装置１４は、音制御部７０を備えている。音制御部７０は、被検体を撮像した医療画像に含まれる報知情報を報知部において報知する報知制御部の一例である。音制御部７０は、音出力部１７に接続される。音出力部１７は、報知情報を報知する報知部として機能し、例えば内視鏡システム９（図１参照）に備えられる。音出力部１７は、例えばブザー、又はスピーカ等の音を出力する部材を含んで構成される。音制御部７０は、報知状態において音出力部１７に音を出力させて報知情報を報知する。出力する音は、アラーム音でもよいし、報知情報に関する音声でもよい。
【０１９０】
ここでは、報知情報を報知する報知部として表示器１６及び音出力部１７を含む構成を説明したが、音出力部１７のみを備えていてもよい。また、報知情報を報知する報知部として、発光するランプ、又は振動するバイブレータ等を用いる態様も可能である。
【０１９１】
＜その他＞
上記の医療画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
【０１９２】
ここまで説明した実施形態において、内視鏡プロセッサ装置１２及び医療画像処理装置１４は、それぞれ異なる装置として説明したが、内視鏡プロセッサ装置１２及び医療画像処理装置１４を一体の装置として構成し、医療画像処理装置１４の機能を有する内視鏡プロセッサ装置１２としてもよい。
【０１９３】
内視鏡プロセッサ装置１２及び医療画像処理装置１４の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【０１９４】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
【０１９５】
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
【０１９６】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【０１９７】
９…内視鏡システム
１０…内視鏡スコープ
１１…光源装置
１２…内視鏡プロセッサ装置
１３…表示装置
１４…医療画像処理装置
１５…操作部
１６…表示器
１６Ａ…第１表示器
１６Ｂ…第２表示器
１６Ｃ…第３表示器
１６Ｄ…第４表示器
１７…音出力部
２０…挿入部
２１…手元操作部
２２…ユニバーサルコード
２５…軟性部
２６…湾曲部
２７…先端部
２８…撮像素子
２９…湾曲操作ノブ
３０…送気送水ボタン
３１…吸引ボタン
３２…静止画撮像指示部
３３…処置具導入口
３５…ライトガイド
３６…信号ケーブル
３７ａ…コネクタ
３７ｂ…コネクタ
３８…動画
３８ａ…フレーム画像
３９…静止画
４０…時系列画像取得部
４２…注目領域検出部
４４…座標算出部
４６…画像情報取得部
４８…画像特徴量取得部
５０…処置状態推定部
５２…注目領域特徴量取得部
５４…非報知維持時間設定部
５６…判定部
５８…計時部
６０…制御部
６２…表示制御部
６２Ａ…画像表示制御部
６２Ｂ…報知情報表示制御部
６４…記憶部
６６…図形記憶部
６８…プログラム
７０…音制御部
Ｆ１，Ｆ２…図形
ＩＮ１〜ＩＮ１１…情報
Ｒ１…注目領域
Ｓ１〜Ｓ１０…医療画像処理方法の各ステップ
【図１】
2020090729.tif 000003
【図２】
2020090729.tif 000004
【図３】
2020090729.tif 000005
【図４】
2020090729.tif 000006
【図５】
2020090729.tif 000007
【図６】
2020090729.tif 000008
【図７】
2020090729.tif 000009
【図８】
2020090729.tif 000010
【図９】
2020090729.tif 000011
【図１０】
2020090729.tif 000012
【図１１】
2020090729.tif 000013
【図１２】
2020090729.tif 000014
【図１３】
2020090729.tif 000015
【図１４】
2020090729.tif 000016
【図１５】
2020090729.tif 000017
【図１６】
2020090729.tif 000018
【図１７】
2020090729.tif 000019
【図１８】
2020090729.tif 000020
【手続補正書】
【提出日】令和3年5月25日(2021.5.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１２
【補正方法】変更
【補正の内容】
【請求項１２】
前記表示制御部は、前記報知状態又は前記非報知状態に応じて前記第２表示部の前記報知情報の表示の態様を変更する請求項１１に記載の医療画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
表示制御部は、報知状態又は非報知状態に応じて第２表示部の報知情報の表示の態様を変更することが好ましい。これにより、報知情報を適切に報知することができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１５３
【補正方法】変更
【補正の内容】
【０１５３】
また、処置状態に応じて非報知維持時間を変更してもよい。例えば、フレーム画像３８ａに生検鉗子が含まれている場合は、生検監視が鉗子口から出ていない状態になれば生検処置が終了したと判断することができる。したがって、非報知維持時間設定部５４は、生検鉗子が鉗子口から出ていない状態になった後の非報知維持時間を相対的に短い時間に設定すればよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１６８
【補正方法】変更
【補正の内容】
【０１６８】
また、報知情報表示制御部６２Ｂは、第１表示器１６Ａの報知状態又は非報知状態に応じて第２表示器１６Ｂ（第２表示部の一例）の報知情報の表示の態様を変更する。ここでは、報知情報表示制御部６２Ｂは、報知情報が非報知状態の場合に第２表示器１６Ｂに報知情報を表示する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１６９
【補正方法】変更
【補正の内容】
【０１６９】
図１４に示すＦ１４Ｄ、Ｆ１４Ｅ、及びＦ１４Ｆは、それぞれＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃと同じタイミングにおける第２表示器１６Ｂの表示を示している。Ｆ１４Ｄ、Ｆ１４Ｅ、及びＦ１４Ｆにおいて表示されるフレーム画像３８ａは、それぞれＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃにおいて表示されるフレーム画像３８ａと同じ画像である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
報知情報が報知状態のタイミングであるＦ１４Ｄ及びＦ１４Ｆでは、図形Ｆ１は表示されていない。一方、報知情報が非報知状態のタイミングであるＦ１４Ｅにおいて、注目領域Ｒ１を囲む枠形状の図形Ｆ１がフレーム画像３８ａに重畳されている。
【国際調査報告】
2020090729.tif 000021
2020090729.tif 000022
2020090729.tif 000023
2020090729.tif 000024