(57)【要約】医療画像の観察を妨げることなく注目領域を報知する医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システムを提供する。表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理部と、注目領域の特徴量に応じて遷移時間を設定する遷移時間設定部と、を備え、強調処理部は、注目領域の位置を第１強調レベルで強調し、かつ第１強調レベルで強調してから遷移時間経過後に第１強調レベルよりも相対的に小さい第２強調レベルで強調する医療画像処理装置によって上記課題を解決する。
2020054542.tif 000002
【特許請求の範囲】
【請求項１】
表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理部と、
前記注目領域の特徴量に応じて遷移時間を設定する遷移時間設定部と、
を備え、
前記強調処理部は、前記注目領域の位置を第１強調レベルで強調し、かつ前記第１強調レベルで強調してから前記遷移時間経過後に前記第１強調レベルよりも相対的に小さい第２強調レベルで強調する医療画像処理装置。
【請求項２】
前記複数の医療画像を取得する画像取得部と、
前記医療画像から注目領域を検出する注目領域検出部と、
前記注目領域の特徴量を算出する特徴量算出部と、
を備えた請求項１に記載の医療画像処理装置。
【請求項３】
前記複数の医療画像を前記表示部に順次表示させる表示制御部を備えた請求項１又は２に記載の医療画像処理装置。
【請求項４】
前記特徴量は、前記注目領域の視認性に基づいて算出される請求項１から３のいずれか１項に記載の医療画像処理装置。
【請求項５】
前記遷移時間設定部は、前記注目領域の視認性が相対的に悪いほど前記遷移時間を長い時間に設定する請求項４に記載の医療画像処理装置。
【請求項６】
前記特徴量は、前記注目領域の前記医療画像内における大きさに基づいて算出される請求項１から５のいずれか１項に記載の医療画像処理装置。
【請求項７】
前記遷移時間設定部は、前記注目領域の前記医療画像内における大きさが相対的に小さいほど前記遷移時間を長い時間に設定する請求項６に記載の医療画像処理装置。
【請求項８】
前記特徴量は、前記注目領域の前記医療画像内の位置に基づいて算出される請求項１から７のいずれか１項に記載の医療画像処理装置。
【請求項９】
前記遷移時間設定部は、前記注目領域の前記医療画像内の位置が周辺部に相対的に近いほど前記遷移時間を長い時間に設定する請求項８に記載の医療画像処理装置。
【請求項１０】
前記特徴量は、前記注目領域の輝度値、又は前記注目領域の輝度値と前記注目領域外の輝度値との差分に基づいて算出される請求項１から９のいずれか１項に記載の医療画像処理装置。
【請求項１１】
前記遷移時間設定部は、前記注目領域の輝度値が小さいほど、又は前記注目領域の輝度値と前記注目領域外の輝度値との差分が小さいほど前記遷移時間を長い時間に設定する請求項１０に記載の医療画像処理装置。
【請求項１２】
前記特徴量は、前記注目領域の色情報、又は前記注目領域の色情報と前記注目領域外の色情報との差分に基づいて算出される請求項１から１１のいずれか１項に記載の医療画像処理装置。
【請求項１３】
前記遷移時間設定部は、前記注目領域の色空間と前記注目領域外の色空間との差分が小さいほど前記遷移時間を長い時間に設定する請求項１２に記載の医療画像処理装置。
【請求項１４】
前記特徴量は、前記注目領域の動き量、又は前記注目領域の動き方向に基づいて算出される請求項１から１３のいずれか１項に記載の医療画像処理装置。
【請求項１５】
前記遷移時間設定部は、前記注目領域の動き量が大きいほど前記遷移時間を長い時間に設定する請求項１４に記載の医療画像処理装置。
【請求項１６】
前記遷移時間設定部は、前記第１強調レベルで強調してから前記遷移時間が経過するまでの間の前記注目領域の特徴量に応じて前記遷移時間を再設定する請求項１から１５のいずれか１項に記載の医療画像処理装置。
【請求項１７】
前記強調処理部は、前記第１強調レベルで強調してから前記遷移時間が経過するまで前記第１強調レベルで強調する請求項１から１６のいずれか１項に記載の医療画像処理装置。
【請求項１８】
前記強調処理部は、前記第１強調レベルで強調してから前記遷移時間が経過するまで強調レベルを相対的に徐々に下げて強調する請求項１から１６のいずれか１項に記載の医療画像処理装置。
【請求項１９】
前記強調処理部は、前記第２強調レベルで強調してから一定時間が経過すると強調を終了する請求項１から１８のいずれか１項に記載の医療画像処理装置。
【請求項２０】
前記強調処理部は、前記第２強調レベルで強調してから前記一定時間が経過するまで前記第２強調レベルで強調する請求項１９に記載の医療画像処理装置。
【請求項２１】
前記強調処理部は、前記第２強調レベルで強調してから前記一定時間が経過するまで強調レベルを相対的に徐々に下げて強調する請求項１９に記載の医療画像処理装置。
【請求項２２】
前記複数の医療画像を撮像する内視鏡スコープと、
前記表示部と、
請求項１から２１のいずれか１項に記載の医療画像処理装置と、
を備えた内視鏡システム。
【請求項２３】
表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理工程と、
前記注目領域の特徴量に応じて遷移時間を設定する遷移時間設定工程と、
を備え、
前記強調処理工程は、前記注目領域の位置を第１強調レベルで強調し、かつ前記第１強調レベルで強調してから前記遷移時間経過後に前記第１強調レベルよりも相対的に小さい第２強調レベルで強調する医療画像処理方法。
【請求項２４】
請求項２３に記載の医療画像処理方法をコンピュータに実行させるためのプログラム。
【請求項２５】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項２４に記載のプログラムをコンピュータに実行させる記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システムに係り、特に時系列画像の注目領域を報知する技術に関する。
【背景技術】
【０００２】
医療分野においては、内視鏡システムを用いた検査が行われている。近年、内視鏡スコープにより撮像された内視鏡画像から病変等の注目領域を自動検出する技術が病変の見落とし防止につながるとして期待されている。【０００３】
自動検出された結果の術者への報知方法として、画像中の注目領域に図形を重畳するなどして強調表示などが挙げられる。【０００４】
特許文献１には、白色光の波長帯域における情報を有する通常光画像に基づき生成される表示画像の表示態様設定処理を行う際に、特定の波長帯域光画像内の画素の特徴量に基づいて注目領域を検出し、注目領域の検出結果に基づいて経過時間の設定処理を行い、経過時間が経過するまでの間、注目領域についてのアラート情報が設定された表示画像を表示する画像処理装置が開示されている。この超過時間は、通常光画像の動き量が検出され、検出された動き量が大きいほど短く設定される。【０００５】
また、特許文献２には、順次入力される被検体の観察画像から注目領域を検出し、注目領域が継続して検出された場合に、注目領域の検出が開始されたタイミングから第１時間経過後に入力される被検体の観察画像に対し、注目領域に対応する位置の強調処理をする内視鏡画像処理装置が開示されている。この第１時間は、観察画像内における注目領域の位置情報、及びサイズ情報のうちの少なくとも一方に基づいて設定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１６０８４８号公報
【特許文献２】国際公開第２０１７／２０３５６０号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の画像処理装置は、設定された経過時間を超過するまでアラート情報が設定された表示画像を表示するため、注目領域が画面内から消えてもアラート情報が表示され続ける場合があり、このようなアラート情報は画像観察の妨げになるという問題点があった。また、動き量が大きいほど超過時間を短く設定しても、見落としやすい注目領域をより強調することはできないという問題点があった。【０００８】
さらに、特許文献２に記載の内視鏡画像処理装置では、注目領域の検出直後に強調処理が行われないため、注目領域の見落としを防止することができないという課題があった。また、術者が注目領域を発見した後も強調処理が行われている可能性も高く、画像観察の妨げになるという問題点があった。【０００９】
本発明はこのような事情に鑑みてなされたもので、医療画像の観察を妨げることなく注目領域を報知する医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために医療画像処理装置の一の態様は、表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理部と、注目領域の特徴量に応じて遷移時間を設定する遷移時間設定部と、を備え、強調処理部は、注目領域の位置を第１強調レベルで強調し、かつ第１強調レベルで強調してから遷移時間経過後に第１強調レベルよりも相対的に小さい第２強調レベルで強調する医療画像処理装置である。【００１１】
本態様によれば、注目領域の位置を第１強調レベルで強調し、遷移時間経過後に第１強調レベルよりも相対的に小さい第２強調レベルで強調するようにしたので、医療画像の観察を妨げることなく注目領域を報知することができる。【００１２】
本発明によれば、医療画像の観察を妨げることなく注目領域を報知することができる。【００１３】
複数の医療画像を取得する画像取得部と、医療画像から注目領域を検出する注目領域検出部と、注目領域の特徴量を算出する特徴量算出部と、を備えることが好ましい。これにより、複数の医療画像、注目領域、特徴量を適切に取得することができる。【００１４】
複数の医療画像を表示部に順次表示させる表示制御部を備えることが好ましい。これにより、注目領域を強調した複数の医療画像を表示部に順次表示させることができる。【００１５】
特徴量は、注目領域の視認性に基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。【００１６】
遷移時間設定部は、注目領域の視認性が相対的に悪いほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。【００１７】
特徴量は、注目領域の医療画像内における大きさに基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。【００１８】
遷移時間設定部は、注目領域の医療画像内における大きさが相対的に小さいほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。【００１９】
特徴量は、注目領域の医療画像内の位置に基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。【００２０】
遷移時間設定部は、注目領域の医療画像内の位置が周辺部に相対的に近いほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。【００２１】
特徴量は、注目領域の輝度値、又は注目領域の輝度値と注目領域外の輝度値との差分に基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。【００２２】
遷移時間設定部は、注目領域の輝度値が小さいほど、又は注目領域の輝度値と注目領域外の輝度値との差分が小さいほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。【００２３】
特徴量は、注目領域の色情報、又は注目領域の色情報と注目領域外の色情報との差分に基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。【００２４】
遷移時間設定部は、注目領域の色空間と注目領域外の色空間との差分が小さいほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。【００２５】
特徴量は、注目領域の動き量、又は注目領域の動き方向に基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。【００２６】
遷移時間設定部は、注目領域の動き量が大きいほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。【００２７】
遷移時間設定部は、第１強調レベルで強調してから遷移時間が経過するまでの間の注目領域の特徴量に応じて遷移時間を再設定することが好ましい。これにより、遷移時間を適切に設定することができる。【００２８】
強調処理部は、第１強調レベルで強調してから遷移時間が経過するまで第１強調レベルで強調することが好ましい。これにより、注目領域の位置を適切に強調することができる。【００２９】
強調処理部は、第１強調レベルで強調してから遷移時間が経過するまで強調レベルを相対的に徐々に下げて強調することが好ましい。これにより、注目領域の位置を適切に強調することができる。【００３０】
強調処理部は、第２強調レベルで強調してから一定時間が経過すると強調を終了することが好ましい。これにより、医療画像の観察を妨げることなく注目領域を強調することができる。【００３１】
強調処理部は、第２強調レベルで強調してから一定時間が経過するまで第２強調レベルで強調することが好ましい。これにより、注目領域の位置を適切に強調することができる。【００３２】
強調処理部は、第２強調レベルで強調してから一定時間が経過するまで強調レベルを相対的に徐々に下げて強調することが好ましい。これにより、注目領域の位置を適切に強調することができる。【００３３】
上記目的を達成するために内視鏡システムの一の態様は、複数の医療画像を撮像する内視鏡スコープと、表示部と、上記の医療画像処理装置と、を備えた内視鏡システムである。【００３４】
本態様によれば、医療画像の観察を妨げることなく注目領域を報知することができる。【００３５】
上記目的を達成するために医療画像処理方法の一の態様は、表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理工程と、注目領域の特徴量に応じて遷移時間を設定する遷移時間設定工程と、を備え、強調処理工程は、注目領域の位置を第１強調レベルで強調し、かつ第１強調レベルで強調してから遷移時間経過後に第１強調レベルよりも相対的に小さい第２強調レベルで強調する医療画像処理方法である。【００３６】
本態様によれば、医療画像の観察を妨げることなく注目領域を報知することができる。上記の医療画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
【発明の効果】
【００３７】
本発明によれば、医療画像の観察を妨げることなく注目領域を報知することができる。
【図面の簡単な説明】
【００３８】
【図１】図１は、内視鏡システムの全体構成を示す概略図である。
【図２】図２は、医療画像処理装置の電気的構成を示すブロック図である。
【図３】図３は、医療画像処理方法の各処理を示すフローチャートである。
【図４】図４は、強調処理工程の詳細を示すフローチャートである。
【図５】図５は、注目領域の強調レベルの遷移を示す図である。
【図６】図６は、注目領域の強調表示の遷移の一例を示す図である。
【図７】図７は、図形の色を変更して注目領域の強調レベルを変更する態様の一例を示す図である。
【図８】図８は、図形の線の太さを変更して注目領域の強調レベルを変更する態様の一例を示す図である。
【図９】図９は、図形の形状を変更して注目領域の強調レベルを変更する態様の一例を示す図である。
【図１０】図１０は、図形の濃度を変更して注目領域の強調レベルを変更する態様の一例を示す図である。
【図１１】図１１は、注目領域の強調レベルの連続的な遷移を示す図である。
【図１２】図１２は、医療画像処理方法の各処理を示すフローチャートである。
【図１３】図１３は、遷移時間設定工程の詳細を示すフローチャートである。
【図１４】図１４は、注目領域の強調レベルの遷移の一例を示す図である。
【発明を実施するための形態】
【００３９】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【００４０】
＜内視鏡システムの全体構成＞
図１は、本実施形態に係る医療画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、医療画像処理装置１４と、操作部１５と、表示器１６と、を備える。
【００４１】
内視鏡スコープ１０は、被写体像を含む時系列画像を取得する時系列画像取得部に相当するものであり、例えば軟性内視鏡である。この内視鏡スコープ１０は、被検体内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つ術者が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。
【００４２】
挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。
【００４３】
撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。
【００４４】
手元操作部２１には、術者によって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮影指示を行うための静止画撮影指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。
【００４５】
ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。
【００４６】
コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。
【００４７】
コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されるとともに、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。
【００４８】
光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。尚、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
【００４９】
特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
【００５０】
特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
【００５１】
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。
【００５２】
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。
【００５３】
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。
【００５４】
内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａ（図２参照）からなる時系列画像（複数の医療画像の一例）である動画３８を生成する。動画３８のフレームレートは、例えば３０ｆｐｓ（frame per second）である。
【００５５】
更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮影指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像３８ａを撮影指示のタイミングに応じて取得し、静止画３９とする。
【００５６】
動画３８及び静止画３９は、被検体内、即ち生体内を撮像した医療画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と医療画像処理装置１４とにそれぞれ出力する。
【００５７】
尚、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤（Red）、緑（Green）、及び青（Blue）のＲＧＢ色情報あるいはシアン（Cyan）、マゼンタ（Magenta）、及びイエロー（Yellow）のＣＭＹ色情報に基づく演算を行うことで得る。
【００５８】
また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。尚、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的で人体を撮像し、又は計測した結果を画像化した医療画像である。
【００５９】
表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する。術者（医師）は、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等を行う。
【００６０】
＜医療画像処理装置の構成＞
医療画像処理装置１４は、主として時系列画像に含まれる注目領域を術者に報知するものであり、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部１５は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器１６（表示部の一例）はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
【００６１】
図２は、医療画像処理装置１４の電気的構成を示すブロック図である。図２に示す医療画像処理装置１４は、主として時系列画像取得部４０と、注目領域検出部４１と、注目領域情報取得部４２と、座標算出部４３と、制御部４４と、表示制御部４５と、遷移時間設定部４６と、記憶部４７と、から構成されている。
【００６２】
制御部４４は、記憶部４７に記憶されたプログラム（医療画像処理プログラム）５１に基づき、時系列画像取得部４０、注目領域検出部４１、注目領域情報取得部４２、座標算出部４３、表示制御部４５、及び遷移時間設定部４６を統括制御し、また、これらの各部の一部として機能する。
【００６３】
記憶部４７は、注目領域検出部４１による検出結果を記憶し、また、撮像された静止画３９を記憶するとともに、報知情報を構成する図形を記憶する図形記憶部５０、プログラム５１及び医療画像処理装置１４の各種制御に係る情報等を記憶する部分である。
【００６４】
時系列画像取得部４０は、内視鏡プロセッサ装置１２（図１）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から被写体像を含む時系列のフレーム画像３８ａからなる動画３８（本例では、内視鏡スコープ１０により撮像される動画３８）を取得する。また、内視鏡スコープ１０にて動画３８の撮像途中に既述の静止画３９の撮像が行われた場合、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。
【００６５】
尚、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８を直接取得する代わりに、メモリーカード、ハードディスク装置等の各種情報記憶媒体を介して動画３８を取得してもよい。また、時系列画像取得部４０は、インターネット上のサーバ或いはデータベース等にアップロードされた動画３８をインターネット経由で取得してもよい。
【００６６】
注目領域検出部４１は、体腔の観察中に撮像された動画３８から注目領域を検出する部分である。注目領域検出部４１は、動画３８の各フレーム画像３８ａ（又は間引かれた一定間隔のフレーム画像３８ａ）の特徴量（画像特徴量の一例）を算出し、画像内の注目領域の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含み、画像内の色情報、画素値の勾配等で特徴量を算出する。注目領域検出部４１は、算出された特徴量を用いて画像内の病変等の注目領域を検出する。
【００６７】
注目領域の例としては、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕、ＥＳＤ（Endoscopic Submucosal Dissection）瘢痕、クリップ箇所、出血点、穿孔、血管異型性、処置具などがある。
【００６８】
注目領域検出部４１は、検出された注目領域が、「腫瘍性」、「非腫瘍性」、「その他」といった病変に関する複数のカテゴリのうちのいずれのカテゴリに属するかのカテゴリ分類等の認識結果を取得することも可能である。
【００６９】
尚、注目領域検出部４１は、ＣＮＮにより注目領域を検出するものに限らず、画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出するものでもよい。
【００７０】
注目領域情報取得部４２は、注目領域検出部４１により注目領域が検出された場合、注目領域検出部４１から注目領域を示す注目領域情報を取得する。注目領域情報は、例えば画像内の注目領域の輪郭の座標情報、及び注目領域の特徴量とすることができる。
【００７１】
座標算出部４３は、注目領域情報取得部４２から注目領域情報を取得し、取得した注目領域情報に基づいて動画３８における注目領域の位置を示す１つ以上の注目座標を算出する。座標算出部４３は、例えば注目領域を囲む多角形又は円の輪郭線上の１つ以上の注目座標を算出する。多角形の頂点の座標、又は多角形の辺の中点の座標を注目座標として算出してもよいし、円の円周を複数に等分割する点の座標を注目座標として算出してもよい。
【００７２】
遷移時間設定部４６は、注目領域情報取得部４２から注目領域の特徴量を取得し、取得した特徴量に応じて強調処理の遷移時間を設定する。
【００７３】
表示制御部４５は、画像表示制御部４５Ａ及び報知情報表示制御部４５Ｂを備えている。画像表示制御部４５Ａは、時系列画像取得部４０が取得した動画３８を表示器１６に出力し、表示器１６に動画３８を表示させる。即ち、表示器１６には、複数のフレーム画像３８ａが順次表示される。
【００７４】
報知情報表示制御部４５Ｂは、座標算出部４３により算出された注目座標に基づいて、かつ遷移時間設定部４６により設定された遷移時間に基づいて、注目領域を報知する図形からなる報知情報を表示器１６に出力する。これにより、表示器１６に表示される動画３８に遷移時間に応じて報知情報が重畳され、報知情報により注目領域の位置が強調される。報知情報表示制御部４５Ｂは、複数の注目座標と同数の複数の図形を重畳させてもよいし、複数の注目座標を直線で結んだ矩形又は円形の図形を重畳させてもよい。
【００７５】
＜医療画像処理方法：第１の実施形態＞
内視鏡システム９を用いた医療画像処理方法について説明する。図３は、第１の実施形態に係る医療画像処理方法の各処理を示すフローチャートである。医療画像処理方法は、画像取得工程（ステップＳ１）と、注目領域検出工程（ステップＳ２）と、特徴量算出工程（ステップＳ４）と、遷移時間設定工程（ステップＳ５）と、強調処理工程（ステップＳ６）と、を含む。
【００７６】
ステップＳ１では、時系列画像取得部４０は、内視鏡スコープ１０により撮像される動画３８のフレーム画像３８ａを取得する。
【００７７】
ステップＳ２では、注目領域検出部４１は、ステップＳ１で取得したフレーム画像３８ａから注目領域を検出する。
【００７８】
ステップＳ３では、注目領域情報取得部４２は、ステップＳ２で新たな注目領域を検出したか否かを判定する。即ち、注目領域情報取得部４２は、ステップＳ２で検出された注目領域が、前回のフレーム画像３８ａにおいて検出された注目領域が今回のフレーム画像３８ａにおいて引き続き検出された注目領域であるか、又は前回のフレーム画像３８ａでは検出されていなかった新たな注目領域であるかを判定する。ステップＳ２で新たな注目領域が検出された場合は、ステップＳ４へ移行する。ステップＳ２で検出された注目領域が新たな注目領域でない場合、又は注目領域が検出されていない場合は、ステップＳ６へ移行する。
【００７９】
ステップＳ４では、注目領域情報取得部４２（特徴量算出部の一例）は、注目領域検出部４１が検出した新たな注目領域の特徴量を算出する。特徴量は、注目領域の視認性に基づいて算出される。
【００８０】
ステップＳ５では、遷移時間設定部４６は、ステップＳ４で算出した特徴量に応じて新たな注目領域の遷移時間Ｔａを設定する。遷移時間Ｔａは、注目領域の視認性が相対的に悪いほど長い時間に設定される。
【００８１】
遷移時間設定部４６は、設定した遷移時間Ｔａを新たな注目領域に紐付けて不図示のメモリに記憶する。また、遷移時間設定部４６は、不図示の計時部により新たな注目領域が最初に検出された時刻ｔｆを取得し、取得した時刻ｔｆを新たな注目領域に紐付けて不図示のメモリに記憶する。
【００８２】
ステップＳ６では、医療画像処理装置１４は、時系列画像に含まれる注目領域の位置を強調する。即ち、画像表示制御部４５Ａは、表示器１６にフレーム画像３８ａを表示させる。また、報知情報表示制御部４５Ｂは、表示器１６に表示されるフレーム画像３８ａのステップＳ２で検出された注目領域の位置に図形からなる報知情報を重畳させる。
【００８３】
ここでは、画像表示制御部４５Ａは、ステップＳ２で注目領域を検出したフレーム画像３８ａを表示させる。ステップＳ３〜ステップＳ６の処理時間が長くなる場合には、画像表示制御部４５Ａは、ステップＳ２で注目領域を検出したフレーム画像３８ａより後のフレーム画像３８ａに報知情報を重畳してもよい。
【００８４】
また、病変が検出された直後は画面の動きが大きい場合が多く、見落とし防止のためにはより強いレベルの強調表示が必要となる。一方で、検出から特定タイミングが経過してユーザが注目領域を発見した後は、強調表示を行うことは観察の妨げになるため好ましくない。したがって、ステップＳ６では、報知情報表示制御部４５Ｂ（強調処理部の一例）は、注目領域の位置を第１強調レベルで強調し、かつ第１強調レベルで強調してから遷移時間経過後に第１強調レベルよりも相対的に小さい第２強調レベルで強調する。この強調処理の詳細については後述する。
【００８５】
続くステップＳ７では、制御部４４は、内視鏡検査の終了を判定する。検査が終了した場合は、本フローチャートの処理を終了する。終了していない場合は、ステップＳ１に戻り同様の処理を繰り返す。
【００８６】
〔強調処理工程〕
図４は、強調処理工程（ステップＳ６）の詳細を示すフローチャートである。
【００８７】
ステップＳ１１では、報知情報表示制御部４５Ｂは、ステップＳ２で検出された注目領域の中から１つの注目領域を選択する。
【００８８】
ステップＳ１２では、報知情報表示制御部４５Ｂは、ステップＳ１１で選択した注目領域が最初に検出されてから、遷移時間Ｔａが経過したか否かを判定する。
【００８９】
即ち、報知情報表示制御部４５Ｂは、ステップＳ１１で選択した注目領域に紐付けられた遷移時間Ｔａ、及びステップＳ１１で選択した注目領域が最初に検出された時刻ｔｆを、不図示のメモリから読み出す。また、報知情報表示制御部４５Ｂは、不図示の計時部から現在の時刻ｔｃを読み出す。そして、報知情報表示制御部４５Ｂは、ステップＳ１１で選択した注目領域が最初に検出されてからの経過時間Ｔｐ＝ｔｃ−ｔｆを算出し、経過時間Ｔｐと遷移時間Ｔａとを比較する。
【００９０】
注目領域が最初に検出されてからの時間が遷移時間Ｔａを経過していない場合は、ステップＳ１３へ移行する。ステップＳ１３では、報知情報表示制御部４５Ｂは、ステップＳ１１で選択した注目領域を第１強調レベルＬＶ１で強調する。このように、検出直後は相対的に大きい強調レベルである第１強調レベルＬＶ１で強調するため、術者による注目領域の見落としを防止することができる。
【００９１】
注目領域が最初に検出されてからの時間が遷移時間Ｔａを経過している場合は、ステップＳ１４へ移行する。ステップＳ１４では、報知情報表示制御部４５Ｂは、ステップＳ１１で選択した注目領域が最初に検出されてから、終了時間Ｔｅが経過したか否かを判定する。ここでは、終了時間Ｔｅ＝遷移時間Ｔａ＋一定時間Ｔｂとし、報知情報表示制御部４５Ｂは、経過時間Ｔｐと終了時間Ｔｅとを比較する。一定時間Ｔｂは、予め不図示のメモリに記憶されている。一定時間Ｔｂを遷移時間Ｔａと同じ時間にしてもよい。
【００９２】
注目領域が最初に検出されてからの時間が終了時間Ｔｅを経過していない場合は、ステップＳ１５へ移行する。ステップＳ１５では、報知情報表示制御部４５Ｂは、ステップＳ１１で選択した注目領域を第２強調レベルＬＶ２で強調する。第２強調レベルＬＶ２は、第１強調レベルＬＶ１よりも相対的に小さい強調レベルである。
【００９３】
このように、遷移時間Ｔａの経過後は相対的に小さい強調レベルである第２強調レベルＬＶ２で強調するため、適切な強調表示を行うことができる。
【００９４】
注目領域が最初に検出されてからの時間が終了時間Ｔｅを経過している場合は、ステップＳ１６へ移行する。ステップＳ１６では、報知情報表示制御部４５Ｂは、ステップＳ１１で選択した注目領域の強調を終了する。即ち、報知情報表示制御部４５Ｂは、ステップＳ１１で選択した注目領域について、終了時間Ｔｅを経過した後は強調しない。
【００９５】
このように、終了時間Ｔｅの経過後は強調処理を行わないことで、術者が発見した注目領域について観察の妨げになることがない。
【００９６】
続くステップＳ１７では、報知情報表示制御部４５Ｂは、ステップＳ２において検出された全ての注目領域について強調処理が終了したか否かを判定する。全ての注目領域について強調処理を終了した場合は、本フローチャートの処理を終了する。終了していない場合は、ステップＳ１に戻って異なる注目領域を選択し、同様の処理を繰り返す。
【００９７】
なお、一度検出されて遷移時間Ｔａが設定された検出領域であっても、ステップＳ２で検出されなかった注目領域はステップＳ１１で選択されない。即ち、ステップＳ２で検出されなかった注目領域は、設定された遷移時間Ｔａにかかわらず強調処理は行われない。したがって、画面内から消滅した注目領域には強調処理は行われず、術者による動画の観察が不要な強調処理によって阻害されることはない。また、見落としやすい注目領域をより強調することができる。
【００９８】
〔強調処理の表示例〕
図５は、注目領域の強調レベルの遷移の一例を示す図である。図５に示す例では、時刻ｔ１は注目領域が検出された時刻である。また、時刻ｔ２は時刻ｔ１から遷移時間Ｔａが経過した時刻である。更に、時刻ｔ３は時刻ｔ１から終了時間Ｔｅ（＝Ｔａ＋Ｔｂ）が経過した時刻である。
【００９９】
また、図６は、注目領域の強調表示の遷移の一例を示す図である。図６のＦ６Ａは、時刻ｔ１から時刻ｔ２までの間に表示器１６に表示される画像の一例を示している。Ｆ６Ａに示すように、時刻ｔ１から時刻ｔ２までの間は、時刻ｔ１において新たに検出された注目領域Ｒ１が、矩形の図形Ｆ１によって囲まれることで強調されている。この例では、図形Ｆ１は、第１強調レベルＬＶ１の色を有しており、注目領域Ｒ１の位置が図形Ｆ１により第１強調レベルＬＶ１で強調される。このように、新たに検出された注目領域Ｒ１が第１強調レベルＬＶ１で強調されることで、術者による注目領域の見落としを防止することができる。
【０１００】
図６のＦ６Ｂは、時刻ｔ２から時刻ｔ３までの間に表示器１６に表示される画像の一例を示している。Ｆ６Ｂに示すように、時刻ｔ２から時刻ｔ３までの間は、時刻ｔ１から引き続き検出されている注目領域Ｒ１が、矩形の図形Ｆ２によって囲まれることで強調されている。図形Ｆ２は、第２強調レベルＬＶ２の色を有しており、注目領域Ｒ１の位置が図形Ｆ２により第２強調レベルＬＶ２で強調される。
【０１０１】
遷移時間Ｔａの経過後は、注目領域Ｒ１の報知（強調）の必要性が低くなる。したがって、遷移時間Ｔａの経過後は、第１強調レベルＬＶ１よりも強調レベルの小さい第２強調レベルＬＶ２で注目領域Ｒ１を強調することで、場面ごとに適切な強調表示を行うことができる。
【０１０２】
また、遷移時間Ｔａを注目領域の特性に応じて設定することで、注目領域ごとの最適な時間で強調表示を切り替えることが可能になる。ここでは、注目領域の視認性を評価して視認性が悪い場合ほど遷移時間を長く設定した。視認性の悪い場合ほど術者による発見が遅れる可能性が高いため、より長く第１強調レベルＬＶ１での表示を行うことで、見落とし防止に貢献できる。逆に、視認性の高い病変は術者にとって発見容易であるので、短時間で第１強調レベルＬＶ１での表示から第２強調レベルＬＶ２の強調に切り替えることで、術者の観察への悪影響を小さくすることができる。
【０１０３】
図６のＦ６Ｃは、時刻ｔ３以降に表示器１６に表示される画像の一例を示している。Ｆ６Ｃに示すように、時刻ｔ３以降は注目領域Ｒ１が強調されていない。終了時間Ｔｅの経過後は、注目領域Ｒ１の報知の必要性は無いと考えられる。したがって、注目領域Ｒ１が強調されないことで、術者による動画の観察が阻害されることを防止することができる。
【０１０４】
〔強調レベル変更のバリエーション〕
図６に示した例では、重畳表示する図形の色を変更することで第１強調レベルＬＶ１での強調及び第２強調レベルＬＶ２での強調を行ったが、強調レベルの変更は以下の態様も可能である。
【０１０５】
図７は、図形の色を変更して注目領域の強調レベルを変更する態様の一例を示す図である。図７のＦ７Ａでは、注目領域Ｒ２が矩形の図形Ｆ１１によって囲まれることで強調されている。図形Ｆ１１は、第１強調レベルＬＶ１の濃度を有しており、注目領域Ｒ２の位置が図形Ｆ１１により第１強調レベルＬＶ１で強調される。また、図７のＦ７Ｂでは、注目領域Ｒ２が矩形の図形Ｆ１２によって囲まれることで強調されている。図形Ｆ１２は、第２強調レベルＬＶ２の濃度を有しており、注目領域Ｒ２の位置が図形Ｆ１２により第２強調レベルＬＶ２で強調される。このように、図形Ｆ１１と図形Ｆ１２を用いて強調することで、強調レベルを変更することができる。
【０１０６】
図８は、図形の線の太さを変更して注目領域の強調レベルを変更する態様の一例を示す図である。図８のＦ８Ａでは、注目領域Ｒ３が矩形の図形Ｆ２１によって囲まれることで強調されている。図形Ｆ２１は、第１強調レベルＬＶ１の線の太さを有しており、注目領域Ｒ３の位置が図形Ｆ２１により第１強調レベルＬＶ１で強調される。また、図８のＦ８Ｂでは、注目領域Ｒ３が矩形の図形Ｆ２２によって囲まれることで強調されている。図形Ｆ２２は、第２強調レベルＬＶ２の線の太さを有しており、注目領域Ｒ３の位置が図形Ｆ２２により第２強調レベルＬＶ２で強調される。このように、図形Ｆ２１と図形Ｆ２２を用いて強調することで、強調レベルを変更することができる。
【０１０７】
図９は、図形の形状を変更して注目領域の強調レベルを変更する態様の一例を示す図である。図９のＦ９Ａでは、注目領域Ｒ４が実線の矩形の図形Ｆ３１によって囲まれることで強調されている。図形Ｆ３１は、第１強調レベルＬＶ１の形状を有しており、注目領域Ｒ４の位置が図形Ｆ３１により第１強調レベルＬＶ１で強調される。また、図９のＦ９Ｂ１では、注目領域Ｒ４が破線の矩形の図形Ｆ３２によって囲まれることで強調されている。図形Ｆ３２は、第２強調レベルＬＶ２の形状を有しており、注目領域Ｒ４の位置が図形Ｆ３２により第２強調レベルＬＶ２で強調される。このように、図形Ｆ３１と図形Ｆ３２を用いて強調することで、強調レベルを変更することができる。
【０１０８】
また、図９のＦ９Ｂ２では、注目領域Ｒ４が矢印型の図形Ｆ３３によって指し示されることで強調されている。図形Ｆ３３は、第２強調レベルＬＶ２の形状を有しており、注目領域Ｒ４の位置が図形Ｆ３３により第２強調レベルＬＶ２で強調される。したがって、図形Ｆ３１と図形Ｆ３３を用いて強調することで、強調レベルを変更することができる。
【０１０９】
図１０は、図形の濃度を変更して注目領域の強調レベルを変更する態様の一例を示す図である。ここでは、図形を注目領域に重畳させている。図１０のＦ１０Ａでは、注目領域Ｒ５が図形Ｆ４１によって重畳されることで強調されている。図形Ｆ４１は、第１強調レベルＬＶ１の濃度を有しており、注目領域Ｒ５の位置が図形Ｆ４１により第１強調レベルＬＶ１で強調される。また、図１０のＦ１０Ｂでは、注目領域Ｒ５が図形Ｆ４２によって重畳されることで強調されている。図形Ｆ４２は、第２強調レベルＬＶ２の濃度を有しており、注目領域Ｒ５の位置が図形Ｆ４２により第２強調レベルＬＶ２で強調される。このように、図形Ｆ４１と図形Ｆ４２を用いて強調することで、強調レベルを変更することができる。
【０１１０】
色、濃度、線の太さ、形状のうち複数を変更してもよいし、図６〜図１０に示した第１強調レベルＬＶ１の図形と第２強調レベルＬＶ２の図形とを、適宜組み合わせて使用することも可能である。
【０１１１】
図５に示す例では、強調レベルを段階的に変更していたが、強調レベルを連続的に変更してもよい。図１１は、注目領域の強調レベルの連続的な遷移を示す図である。時刻ｔ１、ｔ２、及びｔ３は、図５と同様の時刻である。
【０１１２】
図１１に示す例では、第１強調レベルで強調してから遷移時間Ｔａが経過するまで（時刻ｔ１から時刻ｔ２まで）強調レベルを相対的に徐々に下げて強調し、第２強調レベルＬＶ２で強調してから一定時間Ｔｂが経過するまで（時刻ｔ２から時刻ｔ３まで）強調レベルを相対的に徐々に下げて強調している。このように強調レベルを変更してもよい。
【０１１３】
なお、時刻ｔ１から時刻ｔ２までは強調レベルを相対的に徐々に下げて強調し、時刻ｔ２から時刻ｔ３までは第２強調レベルＬＶ２で強調してもよいし、時刻ｔ１から時刻ｔ２までは第１強調レベルＬＶ１で強調し、時刻ｔ２から時刻ｔ３までは強調レベルを相対的に徐々に下げて強調してもよい。
【０１１４】
〔特徴量と遷移時間〕
本実施形態では、注目領域情報取得部４２は、注目領域の視認性に基づいて特徴量を算出し、遷移時間設定部４６は、視認性が相対的に悪いほど長い時間に遷移時間Ｔａを設定したが、注目領域の他の特性に基づいて特徴量を算出し、遷移時間を設定してもよい。
【０１１５】
例えば、特徴量は、注目領域の画像内における大きさに基づいて算出されてもよい。この場合、遷移時間は注目領域の画像内における大きさに基づいて設定される。注目領域が小さいほど術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域が相対的に小さいほど、遷移時間Ｔａが長い時間に設定されることが好ましい。
【０１１６】
特徴量は、注目領域の画像内における位置に基づいて算出されてもよい。この場合、遷移時間は注目領域の画像内における位置に基づいて設定される。注目領域の位置が画像の端（周辺部）に近いほど術者の注意が薄く、注目領域が画像の外側に外れやすいため、術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域の位置が画像の周辺部に相対的に近いほど、遷移時間Ｔａが長い時間に設定されることが好ましい。
【０１１７】
また、特徴量は、注目領域の輝度値、又は注目領域と注目領域外の輝度値の差分に基づいて算出されてもよい。この場合、遷移時間は注目領域の輝度値、又は注目領域と注目領域外の輝度値の差分に基づいて設定される。注目領域が暗い、又は周囲との輝度値の差分が小さいほど術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域の輝度値が相対的に小さいほど、又は注目領域と注目領域外の輝度値の差分が相対的に小さいほど、遷移時間Ｔａが長い時間に設定されることが好ましい。注目領域の輝度値、及び注目領域外の輝度値は、輝度値の平均値、又は中央値等の統計的な指標に基づいて算出することができる。
【０１１８】
また、特徴量は、注目領域の色情報、又は注目領域の色情報と注目領域外の色情報との差分（色空間における距離）に基づいて算出されてもよい。この場合、遷移時間は注目領域の色情報、又は注目領域の色情報と注目領域外の色情報との差分（色空間における距離）に基づいて設定される。注目領域の彩度（色情報の一例）が低い、又は周囲との色差が小さいほど、術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域の彩度が相対的に低いほど、又は注目領域の彩度と注目領域外の彩度との差分が相対的に小さいほど、遷移時間Ｔａが長い時間に設定されることが好ましい。
【０１１９】
更に、特徴量は、注目領域の動き量、又は注目領域の動き方向に基づいて算出されてもよい。この場合、遷移時間は注目領域の動き量、又は注目領域の動き方向に基づいて設定される。注目領域の動き量が大きいほど、術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域の動き量が大きいほど、遷移時間Ｔａが長い時間に設定されることが好ましい。また、注目領域の動き方向が画面の端に向かう方向の場合は、術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域の動き方向が画面の端に向かう方向である場合は、画面の中央に向かう方向である場合よりも、遷移時間Ｔａが相対的に長い時間に設定されることが好ましい。
【０１２０】
＜第２の実施形態＞
第１の実施形態では、新たな注目領域が検出されると、その注目領域の特徴量を算出し、算出した特徴量に応じてその注目領域の遷移時間Ｔａを設定していた。したがって、遷移時間Ｔａは検出された時点で決定しており、その後の内視鏡スコープ１０の移動等による注目領域の変化には対応していない。これに対し、第２の実施形態では、注目領域の特徴量に応じて遷移時間を再設定する。
【０１２１】
第２の実施形態に係る医療画像処理方法について説明する。図１２は、第２の実施形態に係る医療画像処理方法の各処理を示すフローチャートである。なお、図３に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１２２】
第２の実施形態に係る医療画像処理方法は、遷移時間設定工程（ステップＳ５）と強調処理工程（ステップＳ６）との間に、遷移時間再設定工程（ステップＳ２１）を含んでいる。
【０１２３】
〔遷移時間再設定工程〕
図１３は、遷移時間設定工程（ステップＳ２１）の詳細を示すフローチャートである。
【０１２４】
ステップＳ３１では、遷移時間設定部４６は、ステップＳ２で検出された注目領域の中から１つの注目領域を選択する。
【０１２５】
ステップＳ３２では、遷移時間設定部４６は、ステップＳ３１で選択した注目領域が最初に検出されてから、再評価時間Ｔｒが経過したか否かを判定する。
【０１２６】
即ち、遷移時間設定部４６は、予め設定された再評価時間Ｔｒ、及びステップＳ３１で選択した注目領域が最初に検出された時刻ｔｆを、不図示のメモリから読み出す。また、遷移時間設定部４６は、不図示の計時部から現在の時刻ｔｃを読み出す。そして、遷移時間設定部４６は、ステップＳ３１で選択した注目領域が最初に検出されてからの経過時間Ｔｐ＝ｔｃ−ｔｆを算出し、経過時間Ｔｐと再評価時間Ｔｒとを比較する。
【０１２７】
再評価時間Ｔｒを経過していない場合は、ステップＳ３５へ移行する。一方、再評価時間Ｔｒを経過している場合は、ステップＳ３３へ移行する。ステップＳ３３では、注目領域情報取得部４２は、ステップＳ３１で選択した注目領域の特徴量を算出する。特徴量は、例えば注目領域の視認性に基づいて算出される。なお、特徴量は、注目領域の他の特性に基づいて算出されてもよい。
【０１２８】
続くステップＳ３４では、遷移時間設定部４６は、ステップＳ３３で再算出した特徴量に応じてステップＳ３１で選択した注目領域の遷移時間を再設定する。再設定された遷移時間をＴａｒとする。遷移時間Ｔａｒは、例えば注目領域の視認性が相対的に悪いほど長い時間に設定される。
【０１２９】
遷移時間設定部４６は、再設定した遷移時間ＴａｒをステップＳ３１で選択した注目領域に紐付けて不図示のメモリに記憶する。
【０１３０】
ステップＳ３５では、遷移時間設定部４６は、ステップＳ２において検出された全ての注目領域について強調処理が終了したか否かを判定する。全ての注目領域について強調処理を終了した場合は、本フローチャートの処理を終了する。終了していない場合は、ステップＳ３１に戻って異なる注目領域を選択し、同様の処理を繰り返す。
【０１３１】
以上のように、遷移時間が再設定される。ステップＳ６の強調処理工程では、再設定された遷移時間Ｔａｒに基づいて強調処理を行う。
【０１３２】
図１４は、本実施形態における注目領域の強調レベルの遷移の一例を示す図である。時刻ｔ１は注目領域が検出された時刻である。また、時刻ｔ２は時刻ｔ１から最初に設定された遷移時間Ｔａが経過する時刻である。
【０１３３】
時刻ｔ４は、時刻ｔ１から再評価時間Ｔｒが経過した時刻である。ここでは、時刻ｔ４において遷移時間Ｔａｒが再設定されている。時刻ｔ５は、時刻ｔ１から再設定された遷移時間Ｔａｒが経過した時刻である。
【０１３４】
このように、図１４に示す例では、再設定された遷移時間Ｔａｒは当初の遷移時間Ｔａよりも短い時間である。時刻ｔ４における注目領域の特徴量によっては、再設定された遷移時間Ｔａｒが当初の遷移時間Ｔａよりも長い時間の場合もある。
【０１３５】
本実施形態によれば、注目領域の特徴量が時間的に変動しても遷移時間を適切に設定することができる。例えば注目領域が検出されたタイミングでは注目領域の画像内のサイズが小さい場合でも、その後の術者による内視鏡スコープ１０の操作によって注目領域の画像内のサイズが大きくなることは多々ある。このような場合、検出されたタイミングで設定された比較的長い遷移時間は不適切となってしまう問題がある。
【０１３６】
本実施形態によれば、注目領域の特徴量の再評価によって遷移時間が短く再設定されるので、このような問題を解決できる。逆に、注目領域が検出されたタイミングでは視認性が良く、何等かの要因で視認性が悪化した場合には、遷移時間を長く再設定することができる。この特徴量の再評価は１度だけである必要はなく、一定時間間隔で何度も行ってもよいし、毎フレーム行ってもよい。
【０１３７】
なお、遷移時間再設定工程において、遷移時間設定部４６は注目領域の特徴量に基づいて一定時間Ｔｂを再設定してもよい。
【０１３８】
＜その他＞
上記の医療画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
【０１３９】
ここまで説明した実施形態において、内視鏡プロセッサ装置１２及び医療画像処理装置１４は、それぞれ異なる装置として説明したが、内視鏡プロセッサ装置１２及び医療画像処理装置１４を一体の装置として構成し、医療画像処理装置１４の機能を有する内視鏡プロセッサ装置１２としてもよい。
【０１４０】
また、内視鏡プロセッサ装置１２及び医療画像処理装置１４の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【０１４１】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
【０１４２】
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
【０１４３】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【０１４４】
９…内視鏡システム
１０…内視鏡スコープ
１１…光源装置
１２…内視鏡プロセッサ装置
１３…表示装置
１４…医療画像処理装置
１５…操作部
１６…表示器
２０…挿入部
２１…手元操作部
２２…ユニバーサルコード
２５…軟性部
２６…湾曲部
２７…先端部
２８…撮像素子
２９…湾曲操作ノブ
３０…送気送水ボタン
３１…吸引ボタン
３２…静止画撮影指示部
３３…処置具導入口
３５…ライトガイド
３６…信号ケーブル
３７ａ…コネクタ
３７ｂ…コネクタ
３８…動画
３８ａ…フレーム画像
３９…静止画
４０…時系列画像取得部
４１…注目領域検出部
４２…注目領域情報取得部
４３…座標算出部
４４…制御部
４５…表示制御部
４５Ａ…画像表示制御部
４５Ｂ…報知情報表示制御部
４６…遷移時間設定部
４７…記憶部
５０…図形記憶部
５１…プログラム
Ｆ１〜Ｆ４２…図形
Ｒ１〜Ｒ５…注目領域
Ｓ１〜Ｓ３５…医療画像処理方法の各ステップ
【図１】
2020054542.tif 000003
【図２】
2020054542.tif 000004
【図３】
2020054542.tif 000005
【図４】
2020054542.tif 000006
【図５】
2020054542.tif 000007
【図６】
2020054542.tif 000008
【図７】
2020054542.tif 000009
【図８】
2020054542.tif 000010
【図９】
2020054542.tif 000011
【図１０】
2020054542.tif 000012
【図１１】
2020054542.tif 000013
【図１２】
2020054542.tif 000014
【図１３】
2020054542.tif 000015
【図１４】
2020054542.tif 000016
【手続補正書】
【提出日】令和3年4月15日(2021.4.15)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
【図１】図１は、内視鏡システムの全体構成を示す概略図である。
【図２】図２は、医療画像処理装置の電気的構成を示すブロック図である。
【図３】図３は、医療画像処理方法の各処理を示すフローチャートである。
【図４】図４は、強調処理工程の詳細を示すフローチャートである。
【図５】図５は、注目領域の強調レベルの遷移を示す図である。
【図６】図６は、注目領域の強調表示の遷移の一例を示す図である。
【図７】図７は、図形の色を変更して注目領域の強調レベルを変更する態様の一例を示す図である。
【図８】図８は、図形の線の太さを変更して注目領域の強調レベルを変更する態様の一例を示す図である。
【図９】図９は、図形の形状を変更して注目領域の強調レベルを変更する態様の一例を示す図である。
【図１０】図１０は、図形の濃度を変更して注目領域の強調レベルを変更する態様の一例を示す図である。
【図１１】図１１は、注目領域の強調レベルの連続的な遷移を示す図である。
【図１２】図１２は、医療画像処理方法の各処理を示すフローチャートである。
【図１３】図１３は、遷移時間再設定工程の詳細を示すフローチャートである。
【図１４】図１４は、注目領域の強調レベルの遷移の一例を示す図である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
〔遷移時間再設定工程〕
図１３は、遷移時間再設定工程（ステップＳ２１）の詳細を示すフローチャートである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
再評価時間Ｔｒを経過していない場合は、ステップＳ３５へ移行する。一方、再評価時間Ｔｒを経過している場合は、ステップＳ３３へ移行する。ステップＳ３３では、注目領域情報取得部４２は、ステップＳ３１で選択した注目領域の特徴量を再算出する。特徴量は、例えば注目領域の視認性に基づいて算出される。なお、特徴量は、注目領域の他の特性に基づいて算出されてもよい。
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2020054542.tif 000017
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2020054542.tif 000018
【国際調査報告】
2020054542.tif 000019
2020054542.tif 000020
2020054542.tif 000021
2020054542.tif 000022