(57)【要約】医用画像における注目領域を報知する際に、医用画像の視認の阻害を抑制し得る、医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラムを提供する。内視鏡画像（３８）を取得する画像取得部（４０）と、注目領域を検出する注目領域検出部（４１）と、モニタ装置（１６）を用いて内視鏡画像を表示する際に、注目領域を強調する強調領域の候補である強調候補領域を注目領域のそれぞれに設定する強調候補領域設定部（４２ａ）と、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合した前記強調領域を設定する強調領域調整部（４２ｂ）と、強調領域を表示装置に表示させる表示制御部（４４）とを備える。
2020067100.tif 000002
【特許請求の範囲】
【請求項１】
医用画像を取得する画像取得部と、
前記医用画像から注目領域を検出する注目領域検出部と、
表示装置を用いて前記医用画像を表示する際に前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定部と、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整部と、
前記強調領域を前記表示装置に表示させる表示制御部と、
を備えた医用画像処理装置。
【請求項２】
前記画像取得部は、前記医用画像として静止画像を取得し、
前記強調領域調整部は、前記静止画像において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１に記載の医用画像処理装置。
【請求項３】
前記画像取得部は、前記医用画像として動画像を取得し、
前記強調領域調整部は、前記動画像を構成する二以上の異なるフレーム画像において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１に記載の医用画像処理装置。
【請求項４】
前記強調領域調整部は、第一フレーム画像において一つの注目領域として検出された注目領域が、前記第一フレーム画像の後の第二フレーム画像において二以上の前記注目領域として検出された場合に、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項３に記載の医用画像処理装置。
【請求項５】
前記強調領域調整部は、前記二以上の注目領域のそれぞれの間の距離が、０を超え規定の閾値以下の場合に前記二以上の注目領域ごとの前記強調候補領域を統合する請求項２又は３に記載の医用画像処理装置。
【請求項６】
前記強調領域調整部は、前記二以上の注目領域の重心間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１から５のいずれか一項に記載の医用画像処理装置。
【請求項７】
前記強調領域調整部は、前記二以上の注目領域ごとの前記強調候補領域の重複度に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１から５のいずれか一項に記載の医用画像処理装置。
【請求項８】
前記強調領域調整部は、前記注目領域の特徴量に応じて前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１から７のいずれか一項に記載の医用画像処理装置。
【請求項９】
前記強調領域調整部は、統合対象の前記二以上の注目領域を全て包含する前記強調領域を設定する請求項１から８のいずれか一項に記載の医用画像処理装置。
【請求項１０】
内視鏡装置を制御する内視鏡制御部と、
前記内視鏡装置から医用画像を取得する画像取得部と、
前記医用画像から注目領域を検出する注目領域検出部と、
表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定部と、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整部と、
前記強調領域を前記表示装置に表示させる表示制御部と、
を備えたプロセッサ装置。
【請求項１１】
医用画像を取得する画像取得工程と、
前記医用画像から注目領域を検出する注目領域検出工程と、
表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定工程と、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整工程と、
前記強調領域を前記表示装置に表示させる表示制御工程と、
を備えた医用画像処理方法。
【請求項１２】
コンピュータに、
医用画像を取得する画像取得機能、
前記医用画像から注目領域を検出する注目領域検出機能、
表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定機能、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整機能、及び
前記強調領域を前記表示装置に表示させる表示制御機能を実現させるプログラム。
【請求項１３】
非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
医用画像を取得する画像取得機能、
前記医用画像から注目領域を検出する注目領域検出機能、
表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定機能、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整機能、及び
前記強調領域を前記表示装置に表示させる表示制御機能をコンピュータに実行させる記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラムに係り、特に検出結果の報知に関する。
【背景技術】
【０００２】
特許文献１は、記憶媒体から符号化されたＸ線医療画像を読み出す際に、診断に有効な領域を自動決定して、その領域に係わるデータを優先的に読み出し、表示する画像処理装置が記載されている。【０００３】
同文献に記載の装置は、陽性と判定された複数の陰影パターンが近接する場合には、一つの陽性領域としている。また、同文献に記載の装置は、符号化された領域を指定するために陽性領域を矩形化している。【０００４】
特許文献２は、特殊光画像から注目候補領域を検出し、注目候補領域が注目領域であることの確からしさを示す信頼度を算出し、信頼度から注目領域を設定し、通常光画像の対応注目領域に対して加工処理を行う内視鏡システムが記載されている。同文献に記載のシステムは、注目領域及び優先して表示すべき度合いを表す優先度に基づいてアラート領域を設定する。【０００５】
同文献に記載のシステムは、アラート領域の数が上限数を超えると予測される場合は、上限数を超えるアラート領域を非表示とし、ドクターが一度に認識するには多すぎる数のアラート領域が表示されてしまう事態を抑止している。【０００６】
特許文献３は、注目領域の検出結果に応じて、注目領域に対応するアラート画像を表示すべきか否かの判定を行い、アラート画像を表示すべきと判定された注目領域である表示対象注目領域に対応するアラート画像を表示させる画像処理装置が記載されている。【０００７】
同文献に記載の発明は、注目領域の数が少ない場合はサイズが閾値を超える注目領域についてアラート画像を非表示とし、注目領域の数が多い場合はサイズが閾値以下の注目領域についてアラート画像を非表示としている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第５６９３５５０号公報
【特許文献２】特許第５６５８８７３号公報
【特許文献３】特開２０１１−２５５００６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
病変部を自動検出する医療診断システムにおいて複数の病変が検出された場合は、病変の検出位置ごとに病変の検出位置を報知する報知部分が複数存在し得る。多数の病変が検出され多数の報知部分が存在すると医用画像の表示画面が煩雑になり、医師の診断の妨げになる懸念がある。【００１０】
特許文献１に記載の発明では、最終的に一つの陽性領域として取り扱われる範囲内の複数の陽性領域を一つの陽性領域として取り扱うものであり、陽性領域を報知する報知部分が多数存在する場合に病変の視認を妨げるという課題に着目して、かかる課題を解決するものではない。【００１１】
特許文献２に記載の発明は、上限数を超えるアラート領域を非表示としているため、表示すべきアラート領域が非表示となることがあり得る。【００１２】
特許文献３に記載の発明は、注目領域の数及び注目領域のサイズに応じてアラート画像を非表示としているため、表示すべきアラート領域が非表示となることがあり得る。【００１３】
本発明はこのような事情に鑑みてなされたもので、医用画像における注目領域を報知する際に、医用画像の視認の阻害を抑制し得る、医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、次の発明態様を提供する。【００１５】
第１態様に係る医用画像処理装置は、医用画像を取得する画像取得部と、医用画像から注目領域を検出する注目領域検出部と、表示装置を用いて医用画像を表示する際に注目領域を強調する強調領域の候補である強調候補領域を、注目領域のそれぞれに設定する強調候補領域設定部と、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合した強調領域を設定する強調領域調整部と、強調領域を表示装置に表示させる表示制御部と、を備えた医用画像処理装置である。【００１６】
第１態様によれば、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域が統合された強調領域を設定する。これにより、注目領域を強調する強調領域が整理されるので、医用画像の視認の阻害を抑制し得る。【００１７】
強調候補調整領域は、二以上の注目領域間の距離に応じて強調候補領域を統合してもよいし、二以上の注目領域間の距離に基づいて変化する物理量に応じて強調候補領域を統合してもよい。【００１８】
第２態様は、第１態様の医用画像処理装置において、画像取得部は、医用画像として静止画像を取得し、強調領域調整部は、静止画像において二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。【００１９】
静止画像は、動画像を構成する各フレーム画像が含まれ得る。【００２０】
第３態様は、第１態様の医用画像処理装置において、画像取得部は、医用画像として動画像を取得し、強調領域調整部は、動画像を構成する二以上の異なるフレーム画像において二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。【００２１】
動画像の異なるフレーム画像において二以上の注目領域が検出された場合には、第一フレーム画像において第一注目領域が検出され、第一フレーム画像に後続する第二フレーム画像において第二注目領域が検出された場合が含まれ得る。【００２２】
第４態様は、第３態様の医用画像処理装置において、強調領域調整部は、第一フレーム画像において一つの注目領域として検出された注目領域が、第一フレーム画像の後の第二フレームにおいて二以上の注目領域として検出された場合に、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。【００２３】
強調領域調整部は、第一フレーム画像の注目領域の特徴量及び第二フレーム画像の注目領域の特徴量に基づいて、第一フレーム画像の強調候補領域と第二フレーム画像の強調候補領域とを統合するか否かを判定し得る。【００２４】
第５態様は、第２態様又は第３態様の医用画像処理装置において、強調領域調整部は、二以上の注目領域のそれぞれの間の距離が、０を超え規定の閾値以下の場合に二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。【００２５】
第６態様は、第１態様から第５態様のいずれか一態様の医用画像処理装置において、強調領域調整部は、二以上の注目領域の重心間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。【００２６】
第７態様は、第１態様から第５態様のいずれか一態様の医用画像処理装置において、強調領域調整部は、二以上の注目領域ごとの強調候補領域の重複度に応じて、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。【００２７】
強調候補領域の重複度として強調候補領域の重なりの面積が適用される場合、強調候補領域の重なりの面積が規定の面積閾値以上が、注目領域の間の距離が０を超え規定の閾値以下に相当する。【００２８】
第８態様は、第１態様から第７態様のいずれか一態様の医用画像処理装置において、強調領域調整部は、注目領域の特徴量に応じて二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。【００２９】
第９態様は、第１態様から第８態様のいずれか一態様の医用画像処理装置において、強調領域調整部は、統合対象の二以上の注目領域を全て包含する強調領域を設定する構成としてもよい。【００３０】
第１０態様に係るプロセッサ装置は、内視鏡装置を制御する内視鏡制御部と、内視鏡装置から医用画像を取得する画像取得部と、医用画像から注目領域を検出する注目領域検出部と、表示装置を用いて医用画像を表示する際に、注目領域を強調する強調領域の候補である強調候補領域を、注目領域のそれぞれに設定する強調候補領域設定部と、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合した強調領域を設定する強調領域調整部と、強調領域を表示装置に表示させる表示制御部と、を備えたプロセッサ装置である。【００３１】
第１０態様によれば、第１態様と同様の効果を得ることができる。【００３２】
第１０態様において、第２態様から第９態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプロセッサ装置の構成要素として把握することができる。【００３３】
第１１態様に係る医用画像処理方法は、医用画像を取得する画像取得工程と、医用画像から注目領域を検出する注目領域検出工程と、表示装置を用いて医用画像を表示する際に、注目領域を強調する強調領域の候補である強調候補領域を、注目領域のそれぞれに設定する強調候補領域設定工程と、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合した強調領域を設定する強調領域調整工程と、強調領域を表示装置に表示させる表示制御工程と、を備えた医用画像処理方法である。【００３４】
第１１態様によれば、第１態様と同様の効果を得ることができる。【００３５】
第１１態様において、第２態様から第９態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う医用画像処理方法の構成要素として把握することができる。【００３６】
第１２態様に係るプログラムは、コンピュータに、医用画像を取得する画像取得機能、医用画像から注目領域を検出する注目領域検出機能、表示装置を用いて医用画像を表示する際に、注目領域を強調する強調領域の候補である強調候補領域を、注目領域のそれぞれに設定する強調候補領域設定機能、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合した強調領域を設定する強調領域調整機能、及び強調領域を表示装置に表示させる表示制御機能を実現させるプログラムである。【００３７】
第１２態様によれば、第１態様と同様の効果を得ることができる。【００３８】
第１２態様において、第２態様から第９態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
【発明の効果】
【００３９】
本発明によれば、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域が統合された強調領域を設定する。これにより、注目領域を強調する強調領域が整理されるので、医用画像の視認の阻害を抑制し得る。
【図面の簡単な説明】
【００４０】
【図１】図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。
【図２】図２は医用画像処理装置のハードウェア構成を示すブロック図である。
【図３】図３は第一実施形態に係る医用画像処理装置の機能ブロック図である。
【図４】図４は注目領域検出及び強調候補領域設定の説明図である。
【図５】図５は注目領域の重心間距離導出の説明図である。
【図６】図６は重心間距離に基づく強調候補領域統合の説明図である。
【図７】図７は第一実施形態に係る医用画像処理方法のフローチャートである。
【図８】図８は強調候補領域の重複度導出の説明図である。
【図９】図９は重複度に基づく強調候補領域の統合の説明図である。
【図１０】図１０は第三実施形態に係る医用画像処理装置に適用される強調候補領域の統合の説明図である。
【図１１】図１１は注目領域の間の距離の導出の説明図である。
【図１２】図１２は注目領域の間の距離に基づく強調候補領域の統合の説明図である。
【図１３】図１３は注目領域の特徴量に基づく複数の強調候補領域の統合の模式図である。
【図１４】図１４は注目領域の特徴量に基づく複数の強調候補領域の統合の他の例の模式図である。
【発明を実施するための形態】
【００４１】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略することとする。
【００４２】
［内視鏡システムの全体構成］
図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。図１に示す内視鏡システム９は、内視鏡１０、光源装置１１、プロセッサ装置１２、表示装置１３、医用画像処理装置１４、入力装置１５、及びモニタ装置１６を備える。実施形態に記載の内視鏡システム９は、内視鏡装置の一例である。
【００４３】
図１に示す内視鏡１０は電子内視鏡であり、かつ軟性内視鏡である。内視鏡１０は挿入部２０、操作部２１、及びユニバーサルコード２２を備える。挿入部２０は被検体内に挿入される。挿入部２０は、全体が細径で長尺状に形成されている。
【００４４】
挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７を備える。挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７が連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮像光学系及び撮像素子２８等が内蔵される。
【００４５】
撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子が適用される。ＣＭＯＳは、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、Charge Coupled Deviceの省略語である。
【００４６】
先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓は図示しないカバーが取り付けられる。観察窓の後方には、図示しない撮像光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮像光学系等を介して、被観察部位の像光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位の像光を撮像して、撮像信号を出力する。ここでいう撮像は、被観察部位からの反射光を電気信号へ変換するという意味が含まれる。
【００４７】
操作部２１は挿入部２０の基端側に連設される。操作部２１は、術者が操作する各種操作部材を備える。具体的には、操作部２１は、二種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。なお、術者は、医師、操作者、観察者、及びユーザなどと呼ばれることがあり得る。
【００４８】
操作部２１は、送気送水ボタン３０、及び吸引ボタン３１を備える。送気送水ボタン３０は、術者が送気送水操作を行う際に用いられる。吸引ボタン３１は、術者が吸引操作を行う際に用いられる。
【００４９】
操作部２１は、静止画像撮像指示部３２、及び処置具導入口３３を備える。静止画像撮像指示部３２は、被観察部位の静止画像を撮像する際に、術者が操作する。処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。静止画像は符号３９を付して図３に図示する。
【００５０】
ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。
【００５１】
また、ユニバーサルコード２２の先端部は、光源装置１１に接続されるコネクタ３７ａ、及びコネクタ３７ａから分岐され、かつプロセッサ装置１２に接続されるコネクタ３７ｂを備える。
【００５２】
コネクタ３７ａを光源装置１１に接続すると、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。
【００５３】
その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから先端面２７ａの図示しない観察窓に向けて気体又は水が噴射される。
【００５４】
コネクタ３７ｂをプロセッサ装置１２に接続すると、信号ケーブル３６とプロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ装置１２へ被観察部位の撮像信号が出力され、かつプロセッサ装置１２から内視鏡１０へ制御信号が出力される。
【００５５】
本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮像を可能な各種の電子内視鏡を用いてもよい。
【００５６】
光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光、又は特定の波長帯域の光を適用可能である。照明光は、白色光、及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。
【００５７】
白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、一種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域は、特殊光と呼ばれる場合がある。
【００５８】
プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。プロセッサ装置１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。
【００５９】
プロセッサ装置１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の観察画像である内視鏡画像３８を生成する。ここでいう内視鏡画像３８には動画像が含まれる。内視鏡画像３８は静止画像３９が含まれてもよい。なお、動画像は符号３８ａを付して図３に図示する。実施形態に示す内視鏡画像３８は医用画像の一例である。
【００６０】
プロセッサ装置１２は、操作部２１の静止画像撮像指示部３２が操作された場合、動画像の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像３９を生成する。静止画像３９は、動画像の解像度に対して高解像度に生成されていてもよい。
【００６１】
内視鏡画像３８の生成の際に、プロセッサ装置１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ装置１２はＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像３８へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。実施形態に示すプロセッサ装置は、内視鏡を制御する内視鏡制御部を備えるプロセッサ装置の一例である。
【００６２】
プロセッサ装置１２は、内視鏡画像３８を表示装置１３及び医用画像処理装置１４のそれぞれに出力する。プロセッサ装置１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、図示しないネットワークを介して、図示しない記憶装置へ内視鏡画像３８を出力してもよい。なお、ネットワークは図２に示すネットワーク１４０を適用し得る。
【００６３】
表示装置１３は、プロセッサ装置１２に接続される。表示装置１３は、プロセッサ装置１２から送信された内視鏡画像３８を表示する。術者は、表示装置１３に表示される内視鏡画像３８を確認しながら、挿入部２０の進退操作等をし得る。術者は、被観察部位に病変等を検出した場合に、静止画像撮像指示部３２を操作して被観察部位の静止画を撮像し得る。
【００６４】
医用画像処理装置１４は、コンピュータが用いられる。入力装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。入力装置１５とコンピュータとの接続は有線接続又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。
【００６５】
医用画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を用いてもよい。この場合、入力装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、医用画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。
【００６６】
医用画像処理装置１４は、内視鏡画像３８の取得、及び内視鏡画像３８の記憶を行う。医用画像処理装置１４は、モニタ装置１６の再生制御を行う。なお、本明細書における画像という用語は、画像を表す電気信号、及び画像を表す情報等の画像データという意味が含まれている。本明細書における画像という用語は、画像自身、及び画像データの少なくともいずれかを意味している。
【００６７】
また、画像の記憶という用語は、画像の保存、及び画像の格納等と読み替えることが可能である。ここでいう画像の記憶は、画像の非一時的記憶を意味する。医用画像処理装置１４は画像を一時記憶する一時記憶用のメモリを備えてもよい。
【００６８】
入力装置１５は、医用画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、医用画像処理装置１４の制御の下、内視鏡画像３８の表示を行う。モニタ装置１６は、医用画像処理装置１４における各種情報の表示部として機能してもよい。
【００６９】
医用画像処理装置１４は、図１に図示しないネットワークを介して、図示しない記憶装置と接続され得る。画像の格納形式、及びネットワークを経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。
【００７０】
図示しない記憶装置は、データを非一時的に記憶するストレージ等を適用可能である。記憶装置は、図示しないサーバ装置を用いて管理されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。
【００７１】
［医用画像処理装置のハードウェア構成］
図２は医用画像処理装置のハードウェア構成を示すブロック図である。図２に示す医用画像処理装置１４は、制御部１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、電源装置１２８、ディスプレイコントローラ１３０、入出力インターフェース１３２、及び入力コントローラ１３４を備える。なお、図２に示すＩ／Ｏは入出力インターフェースを表す。
【００７２】
制御部１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、ディスプレイコントローラ１３０、及び入出力インターフェース１３２は、バス１３６を介してデータ通信が可能に接続される。
【００７３】
〔制御部〕
制御部１２０は、医用画像処理装置１４の全体制御部、各種演算部、及び記憶制御部として機能する。制御部１２０は、メモリ１２２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。
【００７４】
制御部１２０は、ネットワークコントローラ１２６を介して、図示しない外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１４０を介して医用画像処理装置１４と通信可能に接続されていてもよい。
【００７５】
制御部１２０は、メモリ１２２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、医用画像処理装置１４の各種機能が実現される。
【００７６】
制御部１２０は、ストレージ装置１２４からのデータの読み出し、及びストレージ装置１２４へのデータの書き込みを制御する。制御部１２０は、ネットワークコントローラ１２６を介して、外部の記憶装置から各種データを取得してもよい。制御部１２０は、取得した各種データを用いて、演算等の各種処理を実行可能である。
【００７７】
制御部１２０は、一つ又は二つ以上のプロセッサ（processor）が含まれてもよい。プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ及びＰＬＤは、製造後に回路構成を変更し得るデバイスである。
【００７８】
プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。
【００７９】
制御部１２０は、同じ種類の二つ以上のプロセッサを適用可能である。例えば、制御部１２０は二つ以上のＦＰＧＡを用いてもよいし、二つのＰＬＤを用いてもよい。制御部１２０は、異なる種類の二つ以上プロセッサを適用してもよい。例えば、制御部１２０は一つ以上のＦＰＧＡと一つ以上のＡＳＩＣとを適用してもよい。
【００８０】
複数の制御部１２０を備える場合、複数の制御部１２０は一つのプロセッサを用いて構成してもよい。複数の制御部１２０を一つのプロセッサで構成する一例として、一つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて一つのプロセッサを構成し、このプロセッサが複数の制御部１２０として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。
【００８１】
複数の制御部１２０を一つのプロセッサで構成する他の例として、複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。
【００８２】
このように、制御部１２０は、ハードウェア的な構造として、各種のプロセッサを一つ以上用いて構成される。
【００８３】
〔メモリ〕
メモリ１２２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、医用画像処理装置１４において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及び制御部１２０のワーク領域等として機能する。
【００８４】
〔ストレージ装置〕
ストレージ装置１２４は、各種データを非一時的に記憶する。ストレージ装置１２４は、医用画像処理装置１４の外部に外付けされてもよい。ストレージ装置１２４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
【００８５】
〔ネットワークコントローラ〕
ネットワークコントローラ１２６は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ１２６を介して接続されるネットワーク１４０は、ＬＡＮなどの公知のネットワークを適用し得る。
【００８６】
〔電源装置〕
電源装置１２８は、ＵＰＳ(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置１２８は停電等に起因して商用電源が遮断された際に、医用画像処理装置１４の各部へ電源を供給する。
【００８７】
〔ディスプレイコントローラ〕
ディスプレイコントローラ１３０は、制御部１２０から送信される指令信号に基づいてモニタ装置１６を制御するディスプレイドライバーとして機能する。
【００８８】
〔入出力インターフェース〕
入出力インターフェース１３２は、医用画像処理装置１４と外部機器との通信可能に接続する。入出力インターフェース１３２は、ＵＳＢ（Universal Serial Bus）などの通信規格を適用し得る。
【００８９】
〔入力コントローラ〕
入力コントローラ１３４は、入力装置１５を用いて入力された信号の形式を医用画像処理装置１４の処理に適した形式に変換する。入力コントローラ１３４を介して入力装置１５から入力された情報は、制御部１２０を介して各部へ送信される。
【００９０】
なお、図２に示す医用画像処理装置１４のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。また、図２に示す医用画像処理装置１４のハードウェア構成は、以下に説明する各実施形態及び変形例に適用し得る。
【００９１】
［第一実施形態に係る医用画像処理装置］
〔機能ブロックの説明〕
図３は第一実施形態に係る医用画像処理装置の機能ブロック図である。医用画像処理装置１４は、画像取得部４０、注目領域検出部４１、強調領域設定部４２、表示制御部４４、及び記憶部４６を備える。
【００９２】
画像取得部４０は、プロセッサ装置１２から内視鏡画像３８を取得する。画像取得部４０は、内視鏡画像３８を内視鏡画像記憶部４７へ記憶する。
【００９３】
画像取得部４０は、メモリカード等の情報記憶媒体を介して、プロセッサ装置１２から内視鏡画像３８を取得してもよい。画像取得部４０は、図２に示すネットワーク１４０を介して内視鏡画像３８を取得してもよい。
【００９４】
画像取得部４０は、時系列のフレーム画像３８ｂから構成される動画像３８ａを取得し得る。画像取得部４０は動画像３８ａの撮像途中に静止画撮像が実施された場合に、静止画像３９を取得し得る。
【００９５】
注目領域検出部４１は、内視鏡画像３８から注目領域を検出する。注目領域検出部４１は、内視鏡画像３８を構成するフレーム画像３８ｂを複数の局所領域に分割し、局所領域ごとに特徴量を算出し、局所領域ごとの特徴量に基づいて注目領域を検出し得る。
【００９６】
強調領域設定部４２は、内視鏡画像３８から検出された注目領域を強調する強調領域を設定する。強調領域設定部４２は、強調候補領域設定部４２ａ及び強調領域調整部４２ｂを備える。
【００９７】
強調候補領域設定部４２ａは、強調領域の候補となる強調候補領域を設定する。複数の注目領域が設定された場合、強調候補領域設定部４２ａは注目領域ごとに強調候補領域を設定する。強調候補領域設定部４２ａは注目領域が検出されたすべての内視鏡画像３８について強調候補領域を設定し得る。なお、強調候補領域は、内視鏡画像３８の表示画面に表示されるオブジェクトではなく、表示画面には表示されない演算上のオブジェクトである。
【００９８】
強調候補領域設定部４２ａは、注目領域の座標値に基づいて強調候補領域の位置を設定し得る。強調候補領域設定部４２ａは、注目領域の座標値として注目領域の重心の座標値を取得し得る。強調候補領域設定部４２ａは、注目領域の座標値として注目領域の縁を構成する閉曲線上の座標値を取得し得る。強調候補領域設定部４２ａは、注目領域の縁を構成する閉曲線が内接する四角形を強調候補領域の外形として設定し得る。四角形は円又は四角形以外の多角形を適用し得る。
【００９９】
強調領域調整部４２ｂは、複数の強調候補領域が設定された場合に、注目領域の間の距離に応じて複数の強調候補領域を統合し、複数の注目領域に対して一つの強調領域を設定する。また、強調領域調整部４２ｂは、他の強調候補領域と統合されない強調候補領域を強調領域として設定する。
【０１００】
図示を省略するが、医用画像処理装置１４は、複数の強調候補領域を統合するか否かを判定する際の閾値を設定する閾値設定部を備え得る。閾値設定部は、予め閾値が記憶されている閾値記憶部から閾値を読み出し得る。閾値設定部は、入力装置１５から入力される閾値の情報に基づいて閾値を設定し得る。
【０１０１】
表示制御部４４は、内視鏡画像３８及び強調領域をモニタ装置１６へ表示させる表示制御信号をモニタ装置１６へ送信する。表示制御部４４は、規定の更新間隔を適用して内視鏡画像３８の表示及び強調領域の表示を更新する。
【０１０２】
モニタ装置１６は、内視鏡画像３８及び強調領域を表示する。モニタ装置１６は強調領域を内視鏡画像３８に重畳表示し得る。強調領域の表示は、内視鏡画像３８の視認を阻害しない態様が適用される。
【０１０３】
記憶部４６は、内視鏡画像記憶部４７、注目領域記憶部４８、及び強調領域記憶部４９を備える。記憶部４６は、図示しない閾値記憶部を備え得る。内視鏡画像記憶部４７は、画像取得部４０を用いて取得した内視鏡画像３８を記憶する。
【０１０４】
注目領域記憶部４８は、注目領域の情報を記憶する。注目領域記憶部４８は、注目領域を検出した内視鏡画像３８と関連付けされた注目領域の情報を記憶し得る。注目領域の情報は内視鏡画像３８における注目領域の座標値を適用し得る。注目領域の座標値は、強調領域を設定する際に適用される注目領域の座標値と同一である。
【０１０５】
強調領域記憶部４９は、強調候補領域及び強調領域の情報を記憶する。強調領域記憶部４９は、強調候補領域又は強調領域が設定された内視鏡画像３８と関連付けされた強調候補領域又は強調領域の情報を記憶し得る。
【０１０６】
記憶部４６は、一つ以上の記憶素子を適用し得る。すなわち、記憶部４６は、内視鏡画像記憶部４７、注目領域記憶部４８、及び強調領域記憶部４９のそれぞれに対応する三つの記憶素子を備え得る。また、内視鏡画像記憶部４７、注目領域記憶部４８、及び強調領域記憶部４９は、それぞれ複数の記憶素子を適用し得る。さらに、内視鏡画像記憶部４７、注目領域記憶部４８、及び強調領域記憶部４９のうち二つ又は全てを、一つの記憶素子を用いて構成し得る。
【０１０７】
〔強調候補領域の統合〕
図４は注目領域検出及び強調候補領域設定の説明図である。図４に示すフレーム画像３８ｂは、動画像３８ａ構成する任意のフレーム画像である。以下の説明において、フレーム画像３８ｂの説明は、静止画像３９の説明に置き替えることが可能である。すなわち、実施形態に示すフレーム画像３８ｂは静止画像の一例である。
【０１０８】
注目領域検出部４１は、図４に示すフレーム画像３８ｂから第一注目領域１５０１及び第二注目領域１５０２を検出する。強調候補領域設定部４２ａは、第一注目領域１５０１について第一強調候補領域１５２１を設定し、第二注目領域１５０２について第二強調候補領域１５２２を設定する。
【０１０９】
強調候補領域設定部４２ａは、第一注目領域１５０１の重心１５４１の座標値及び第一注目領域１５０１の縁を表す閉曲線の座標値を取得する。強調候補領域設定部４２ａは、第一注目領域１５０１の重心１５４１の座標値を第一強調候補領域１５２１の座標値に設定する。
【０１１０】
また、強調候補領域設定部４２ａは、第一注目領域１５０１の縁を表す閉曲線の座標値に基づき、第一注目領域１５０１の縁を表す閉曲線を囲む枠を第一強調候補領域１５２１の外形として設定する。
【０１１１】
強調候補領域設定部４２ａは、第二注目領域１５０２の重心１５４２の座標値を第二強調候補領域１５２２の重心の座標値に設定する。強調候補領域設定部４２ａは、第二注目領域１５０２の縁を表す閉曲線の座標値に基づき、第二注目領域１５０２の縁を表す閉曲線を囲む枠を第二強調候補領域１５２２の外形として設定する。フレーム画像３８ｂに適用される座標系は、二次元直交座標系を適用し得る。
【０１１２】
なお、座標値は画素位置に置き替えることが可能である。すなわち、強調候補領域設定部４２ａは、第一強調候補領域１５２１を設定する際に、第一注目領域１５０１の重心の画素位置、及び第一注目領域１５０１の縁を表す閉曲線を構成する画素位置を特定してもよい。第一強調候補領域１５２１についても同様である。
【０１１３】
強調領域調整部４２ｂは、フレーム画像３８ｂにおける注目領域の個数を判定する。複数の注目領域が検出された場合、複数の注目領域の間の距離に応じて、複数の注目領域のそれぞれに設定された強調候補領域を統合するか否かを判定する。複数の注目領域の間の距離は、注目領域の重心間の距離を適用し得る。
【０１１４】
すなわち、強調領域調整部４２ｂは、フレーム画像３８ｂから第一注目領域１５０１及び第二注目領域１５０２が検出された場合、第一注目領域１５０１の重心１５４１の座標値及び第二注目領域１５０２の重心１５４２の座標値を取得する。強調領域調整部４２ｂは、第一注目領域１５０１の重心１５４１と第二注目領域１５０２の重心１５４２との距離を表す重心間距離Ｌを算出する。
【０１１５】
強調領域調整部４２ｂは、注目領域の重心間距離Ｌに基づいて第一強調候補領域１５２１と第二強調候補領域１５２２とを統合するか否かを判定する。
【０１１６】
図５は強調候補領域が統合される場合の注目領域及び強調候補領域の模式図である。図５には、第一注目領域１５０１の重心１５４１と第二注目領域１５０２の重心１５４２との重心間距離Ｌが規定の閾値ＴＨ以下となるフレーム画像３８ｂを示す。実施形態に記載の規定の閾値ＴＨ以下は閾値以下の一例である。
【０１１７】
強調領域調整部４２ｂは、第一注目領域１５０１と第二注目領域１５０２との重心間距離Ｌが規定の閾値ＴＨ以下の場合に、第一強調候補領域１５２１と第二強調候補領域１５２２とを統合する。
【０１１８】
一方、強調領域調整部４２ｂは、第一注目領域１５０１と第二注目領域１５０２との重心間距離Ｌが規定の閾値ＴＨを超える場合は、第一強調候補領域１５２１を第一注目領域１５０１の強調領域として設定する。同様に、強調領域調整部４２ｂは、第二強調候補領域１５２２を第二注目領域１５０２の強調領域として設定する。
【０１１９】
図６は強調候補領域が統合される場合の強調候補領域及び強調領域の模式図である。強調領域調整部４２ｂは、第一注目領域１５０１及び第二注目領域１５０２に対して、第一強調候補領域１５２１と第二強調候補領域１５２２とを統合した強調領域１５２を設定する。
【０１２０】
強調領域調整部４２ｂは、第一注目領域１５０１の重心１５４１の座標値と、第二注目領域１５０２の重心１５４２の座標値との中心位置の座標値を算出し、算出した座標値を強調領域１５２の重心１５４の座標値に設定する。
【０１２１】
図６に示す強調領域１５２は、重心１５４を中心とする四角形の枠が適用される。強調領域１５２の四角形を構成する各辺は、第一注目領域１５０１及び第二注目領域１５０２の少なくともいずれかに接している。
【０１２２】
換言すると、第一注目領域１５０１及び第二注目領域１５０２に設定された強調領域１５２は、第一注目領域１５０１及び第二注目領域１５０２を全て包含し、面積が最小となる四角形の枠を適用し得る。実施形態に記載の第一注目領域１５０１及び第二注目領域１５０２を全て包含する最小の四角形の枠は、統合対象の二以上の注目領域を全て包含する強調領域の一例である。
【０１２３】
強調領域１５２は、第一強調候補領域１５２１の形状を適用してもよいし、第二強調候補領域１５２２の形状を適用してもよい。強調領域１５２は、第一強調候補領域１５２１及び第二強調候補領域１５２２の全てを包含する四角形を適用してもよい。
【０１２４】
但し、内視鏡画像３８の視認を阻害しないという観点、及び強調領域１５２が不必要に大きくなり過ぎないという観点から、強調領域１５２は図６に示す態様が好ましい。なお、強調候補領域の形状とは、強調候補領域の形及び強調候補領域の大きさの概念を含み得る。
【０１２５】
本実施形態では、動画像３８ａを構成するフレーム画像３８ｂにおける強調候補領域の統合を例示したが、本実施形態に係る強調候補領域の統合は静止画像３９にも適用し得る。
【０１２６】
〈第一変形例〉
強調領域調整部４２ｂは、強調領域１５２のサイズを調整する機能を備えてもよい。換言すると強調領域設定部４２は強調領域のサイズを調整するサイズ調整部を備え得る。こここでいう調整は、サイズの初期設定を含み得る。例えば、注目領域の重心間距離Ｌに応じて強調領域１５２のサイズを調整してもよい。
【０１２７】
また、強調領域調整部４２ｂは、強調候補領域及び強調領域１５２の形を設定する機能を備えてもよい。換言すると強調領域設定部４２は強調領域の形を設定する形設定部を備え得る。
【０１２８】
〈第二変形例〉
複数の注目領域の距離として、注目領域の重心間距離Ｌに代わり、注目領域の縁間距離の最小値を適用してもよい。すなわち、強調領域調整部４２ｂは注目領域の外形を示す閉曲線の座標値から、注目領域の縁間距離の最小値を算出し得る。
【０１２９】
〈第三変形例〉
強調領域調整部４２ｂは三つ以上の強調候補領域を統合してもよい。例えば、図５に示すフレーム画像３８ｂにおいて、第三注目領域が検出され、第三注目領域に対して第三強調候補領域が設定された場合を考える。
【０１３０】
第一注目領域１５０１及び第三強調候補領域における注目領域の重心間距離Ｌが閾値ＴＨ以下の場合、強調領域調整部４２ｂは第一強調候補領域１５２１、第二強調候補領域１５２２、及び第三強調候補領域を統合する。
【０１３１】
また、第二注目領域１５０２及び第三強調候補領域における注目領域の重心間距離Ｌが閾値ＴＨ以下の場合、強調領域調整部４２ｂは第一強調候補領域１５２１、第二強調候補領域１５２２、及び第三強調候補領域を統合する。
【０１３２】
一方、第一注目領域１５０１及び第三強調候補領域における注目領域の重心間距離Ｌが閾値ＴＨを超え、かつ、第二注目領域１５０２及び第三強調候補領域における注目領域の重心間距離Ｌが閾値ＴＨを超える場合、強調領域調整部４２ｂは第一強調候補領域１５２１及び第二強調候補領域１５２２を統合し、第一強調候補領域１５２１及び第二強調候補領域１５２２に対して第三強調候補領域を非統合とする。
【０１３３】
〔医用画像処理方法のフローチャート〕
図７は第一実施形態に係る医用画像処理方法のフローチャートである。第一実施形態に係る医用画像処理方法は、内視鏡画像取得工程Ｓ１０、注目領域検出工程Ｓ１２、強調候補領域設定工程Ｓ１４、注目領域間距離導出工程Ｓ１６、統合判定工程Ｓ１８、非統合工程Ｓ２０、統合工程Ｓ２２、最終フレーム画像判定工程Ｓ２４を含んで構成される。非統合工程Ｓ２０と統合工程Ｓ２２とをまとめて強調領域調整工程としてもよい。
【０１３４】
内視鏡画像取得工程Ｓ１０では、図３に示す医用画像処理装置１４は、画像取得部４０を用いて内視鏡システム９から内視鏡画像３８を構成するフレーム画像３８ｂを取得する。画像取得部４０は内視鏡画像記憶部４７へフレーム画像３８ｂを記憶する。内視鏡画像取得工程Ｓ１０の後に注目領域検出工程Ｓ１２へ進む。
【０１３５】
注目領域検出工程Ｓ１２では、注目領域検出部４１は、フレーム画像３８ｂから注目領域を検出し、注目領域の位置及び形状を特定する。注目領域検出部４１は、注目領域の情報として注目領域の位置を表す座標値の情報及び注目領域の形状の情報を注目領域記憶部４８へ記憶する。注目領域検出工程Ｓ１２の後に強調候補領域設定工程Ｓ１４へ進む。
【０１３６】
なお、ここでいう注目領域は、図４等に示す第一注目領域１５０１等の総称である。また、後述する強調候補領域は、図４等に示す第一強調候補領域１５２１等の総称である。
【０１３７】
強調候補領域設定工程Ｓ１４では、強調候補領域設定部４２ａは、注目領域検出工程Ｓ１２において検出された注目領域の位置及び形状に基づいて強調候補領域の位置及び形状を設定する。強調候補領域設定部４２ａは、強調候補領域の情報として強調候補領域の位置の情報及び強調候補領域の形状の情報を強調領域記憶部４９へ記憶する。強調候補領域設定工程Ｓ１４の後に注目領域間距離導出工程Ｓ１６へ進む。
【０１３８】
注目領域間距離導出工程Ｓ１６では、強調領域調整部４２ｂは、注目領域の重心間距離Ｌを導出する。強調領域調整部４２ｂは、注目領域の重心間距離Ｌを強調領域記憶部４９へ記憶する。注目領域間距離導出工程Ｓ１６の後に統合判定工程Ｓ１８へ進む。
【０１３９】
統合判定工程Ｓ１８では、強調領域調整部４２ｂは、注目領域の重心間距離Ｌと規定の閾値ＴＨとを比較する。統合判定工程Ｓ１８の前の工程として、閾値設定工程が実施されてもよい。
【０１４０】
強調領域調整部４２ｂが注目領域の重心間距離Ｌが閾値ＴＨを超えると判定した場合はＮｏ判定となり非統合工程Ｓ２０へ進む。一方、強調領域調整部４２ｂが注目領域の重心間距離Ｌが閾値ＴＨ以下と判定した場合はＹｅｓ判定となり統合工程Ｓ２２へ進む。
【０１４１】
非統合工程Ｓ２０では、強調領域調整部４２ｂは強調候補領域を統合せずに、それぞれの強調候補領域を強調領域１５２として設定する。強調領域調整部４２ｂは強調領域１５２の情報を強調領域記憶部４９へ記憶する。非統合工程Ｓ２０の後に最終フレーム画像判定工程Ｓ２４へ進む。
【０１４２】
統合工程Ｓ２２では、強調領域調整部４２ｂは複数の強調候補領域を統合し、強調領域１５２を設定する。強調領域調整部４２ｂは強調領域１５２の情報を強調領域記憶部４９へ記憶する。統合工程Ｓ２２の後の工程として、複数の強調候補領域が統合された強調領域のサイズを調整するサイズ調整工程が実施されてもよい。また、統合工程Ｓ２２の後の工程として、複数の強調候補領域が統合された強調領域の形を設定する形設定工程が実施されてもよい。
【０１４３】
非統合工程Ｓ２０及び統合工程Ｓ２２の後の工程として、表示制御部４４が注目領域及び強調領域１５２を表す信号をモニタ装置１６へ送信する表示制御工程が実施されてもよい。統合工程Ｓ２２の後に最終フレーム画像判定工程Ｓ２４へ進む。
【０１４４】
最終フレーム画像判定工程Ｓ２４では、画像取得部４０は、内視鏡画像取得工程Ｓ１０において取得したフレーム画像３８ｂが最終のフレーム画像３８ｂであるか否かを判定する。画像取得部４０は、フレーム画像３８ｂを取得した後に、次のフレーム画像３８ｂが入力されない期間が規定の期間以上の場合に、最終のフレーム画像３８ｂを取得したと判定し得る。画像取得部４０は、内視鏡画像３８の送信終了を表す信号を受信した際に、最終のフレーム画像３８ｂを取得したと判定し得る。
【０１４５】
最終フレーム画像判定工程Ｓ２４において、画像取得部４０が最終のフレーム画像３８ｂではないフレーム画像３８ｂを取得したと判定した場合はＮｏ判定となり、内視鏡画像取得工程Ｓ１０へ進む。以降、最終フレーム画像判定工程Ｓ２４においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０から最終フレーム画像判定工程Ｓ２４までの各工程を繰り返し実施する。
【０１４６】
一方、最終フレーム画像判定工程Ｓ２４において、画像取得部４０が最終のフレーム画像３８ｂを取得したと判定した場合はＹｅｓ判定となり、規定の終了処理が実施された後に医用画像処理方法を終了する。
【０１４７】
［第一実施形態の作用効果］
上記の如く構成された第一実施形態に係る医用画像処理装置１４によれば、以下の作用効果を得ることが可能である。
【０１４８】
〔１〕
二以上の注目領域が検出された場合に、注目領域ごとに強調候補領域が設定される。注目領域の間の距離に応じて、複数の強調候補領域が統合された強調領域を設定する。二以上の注目領域に対して一つの強調領域が設定される。これにより、複数の強調候補領域がまとめられるので、内視鏡画像３８における注目領域を報知する際に、内視鏡画像の視認の阻害を抑制し得る。
【０１４９】
〔２〕
規定の閾値を用いて複数の強調候補領域を統合するか否かを判定する。これにより、予め規定した基準を適用した複数の強調候補領域の統合処理を実施し得る。
【０１５０】
〔３〕
注目領域の間の距離は、注目領域の重心間の距離が適用される。これにより、様々な形状を有する注目領域について、注目領域の間の距離の導出が可能となる。
【０１５１】
〔４〕
複数の強調候補領域が統合された強調領域は、各強調候補領域に対応する複数の注目領域の全てを包含する形状を有する。これにより、注目領域と強調領域との重なりが回避されるので、複数の注目領域の視認の阻害を抑制し、かつ、複数の注目領域の強調が可能となる。
【０１５２】
〔５〕
複数の強調候補領域が統合された強調領域は、複数の強調候補領域を合成した形状よりも小さくする。これにより、複数の強調候補領域が統合された強調領域が必要以上に大きくなることを抑制し得る。
【０１５３】
［第二実施形態に係る医用画像処理装置］
次に、第二実施形態に係る医用画像処理装置について説明する。第二実施形態に係る医用画像処理装置は、図２に示すハードウェア構成及び図３に示す機能ブロックを適用可能である。ここでは、医用画像処理装置のハードウェア構成の説明及び機能ブロックの説明を省略する。
【０１５４】
第二実施形態に係る医用画像処理装置は、注目領域の間の距離として、強調候補領域の重複度を適用する。必ずしも、第一実施形態に示す注目領域の重心間距離Ｌを算出しなくても、複数の注目領域の間の距離に基づき複数の強調候補領域を統合するか否かを判定し得る。
【０１５５】
強調候補領域の重複度とは、複数の強調候補領域の重なりの度合いを表す指標である。複数の注目領域の間の距離が相対的に小さくなると、重複度が相対的に大きくなる。一方、複数の注目領域の間の距離が相対的に大きくなると、重複度が相対的に小さくなる。すなわち、強調候補領域の重複度は、複数の注目領域の間の距離として観念し得る。
【０１５６】
図８は強調候補領域の重複度導出の説明図である。強調領域調整部４２ｂは、第一強調候補領域１５２１と第二強調候補領域１５２２との重複領域１５６の面積を導出する。すなわち、重複度として重複領域１５６の面積が適用される。強調領域調整部４２ｂは、重複領域１５６の面積に基づいて第一強調候補領域１５２１と第二強調候補領域１５２２とを統合するか否かを判定する。
【０１５７】
図９は重複度に基づく強調候補領域の統合の説明図である。図９に示すように、強調領域調整部４２ｂは、図８に示す重複領域１５６の面積が規定の閾値以上の場合は、第一強調候補領域１５２１と第二強調候補領域１５２２とを統合する。強調領域調整部４２ｂは、第一注目領域１５０１及び第二注目領域１５０２に対して強調領域１５２を設定する。
【０１５８】
一方、強調領域調整部４２ｂは、重複領域１５６の面積が規定の閾値未満の場合は、第一強調候補領域１５２１と第二強調候補領域１５２２とを非統合とする。強調領域調整部４２ｂは、重複領域１５６の面積が規定の閾値未満の場合は、第一注目領域１５０１の強調領域として第一強調候補領域１５２１を設定し、第二注目領域１５０２の強調領域として第二強調候補領域１５２２を設定する。
【０１５９】
第二実施形態は、第一実施形態に示す第一変形例及び第三変形例を適用可能である。すなわち、強調領域調整部４２ｂは強調候補領域の重複度に応じて強調領域１５２のサイズを調整し得る。また、三つ以上の注目領域が検出された場合に、強調候補領域の重複度に基づいて、強調候補領域を統合するか否かを判定し、強調候補領域を統合し得る。
【０１６０】
三つ以上の注目領域に対して、各注目領域に対応する強調候補領域が統合された一つの強調領域を設定し得る。
【０１６１】
［第二実施形態の作用効果］
第二実施形態に係る医用画像処理装置によれば、第一実施形態に係る医用画像処理装置１４と同様の作用効果を得ることが可能である。また、複数の注目領域の間の距離として、複数の強調候補領域の重複度を適用して、複数の強調候補領域を統合するか否かを判定し得る。
【０１６２】
［第三実施形態に係る医用画像処理装置］
次に、第三実施形態に係る医用画像処理装置について説明する。第三実施形態に係る医用画像処理装置は、図２に示すハードウェア構成及び図３に示す機能ブロックを適用可能である。ここでは、医用画像処理装置のハードウェア構成の説明及び機能ブロックの説明を省略する。
【０１６３】
第三実施形態に係る医用画像処理装置は、動画像３８ａを構成する複数のフレーム画像３８ｂ間において複数の注目領域が検出された場合に、複数の注目領域の間の距離に応じて、複数の注目領域のそれぞれに対応する強調候補領域を統合する。
【０１６４】
図１０は第三実施形態に係る医用画像処理装置に適用される強調候補領域の統合の説明図である。符号３８ｂ２は自フレームを示す。自フレームとは任意のタイミングにおいて注目しているフレーム画像３８ｂである。符号３８ｂ１は自フレームの一つ前のフレーム画像３８ｂを示す。
【０１６５】
図１０に示すフレーム画像３８ｂ１は、第一注目領域１５０１が検出される。強調候補領域設定部４２ａは、第一注目領域１５０１に対して第一強調候補領域１５２１を設定する。フレーム画像３８ｂ２は、第二注目領域１５０２が検出される。強調候補領域設定部４２ａは、第二注目領域１５０２に対して第二強調候補領域１５２２を設定する。
【０１６６】
強調候補領域設定部４２ａは、フレーム画像３８ｂごとに注目領域の情報を注目領域記憶部４８へ記憶する。強調候補領域設定部４２ａは、フレーム画像３８ｂごとに強調候補領域の情報を強調領域記憶部４９へ記憶する。
【０１６７】
図１０には動画像３８ａを構成する複数のフレーム画像３８ｂのうち、二枚のフレーム画像３８ｂに対する処理を例示したが、強調候補領域設定部４２ａは、三枚以上のフレーム画像３８ｂについても同じ処理を適用し得る。
【０１６８】
強調領域調整部４２ｂは、フレーム画像３８ｂ２について、一つ前のフレーム画像３８ｂ１との間の注目領域の変動について確認する。すなわち、強調領域調整部４２ｂは、フレーム画像３８ｂ２の第二注目領域１５０２と、フレーム画像３８ｂ１の第一注目領域１５０１との距離を導出する。
【０１６９】
第一注目領域１５０１と第二注目領域１５０２との距離は、第一実施形態に示す重心間距離Ｌ又は第二実施形態に示す重複度を適用し得る。フレーム画像３８ｂ２において注目領域１５０２が検出されている場合は、一つ前のフレーム画像３８ｂ１において検出されている注目領域１５０１と距離が近いもの同士は同じ注目領域の可能性がある。そこで、一つ前のフレーム画像３８ｂ１において検出されている注目領域１０５１と距離が近いもの同士をフレーム画像３８ｂ２における注目領域１５０２の間の距離の導出対象とする。
【０１７０】
強調領域調整部４２ｂは、第一閾値を用いて注目領域の重心間距離を導出する対象の強調候補領域を特定し、第一閾値未満の第二閾値を用いて複数の強調候補領域を統合するか否かを判定し得る。
【０１７１】
図１１は注目領域の間の距離の導出の説明図である。図１１には、図１０に示すフレーム画像３８ｂ１とフレーム画像３８ｂ２とを合成した仮想的なフレーム画像３８ｃを示す。図１１に示す例では、注目領域の間の距離は、注目領域の重心間距離Ｌが適用される。
【０１７２】
強調領域調整部４２ｂは、第一注目領域１５０１の重心１５４１と第二注目領域１５０２の重心１５４２との重心間距離Ｌを導出する。重心間距離Ｌの導出には、第一実施形態と同様に二次元直交座標系の座標値を適用し得る。
【０１７３】
図１２は注目領域の間の距離に基づく強調候補領域の統合の説明図である。強調領域調整部４２ｂは、第一注目領域１５０１の重心１５４１と第二注目領域１５０２の重心１５４２との重心間距離Ｌが規定の閾値ＴＨ以下の場合に、第一強調候補領域１５２１と第二強調候補領域１５２２とを統合し、フレーム画像３８ｂ２において強調領域１５２を設定する。
【０１７４】
第一強調候補領域１５２１と第二強調候補領域１５２２との統合は、第一実施形態において説明したとおりである。図１２には、第一強調候補領域１５２１及び第二強調候補領域１５２２の全てを包含する強調領域１５２を示したが、複数の強調候補領域が統合された強調領域１５２に適用可能な形状は、第一実施形態において説明したとおりである。
【０１７５】
［第三実施形態の作用効果］
第三実施形態に係る医用画像処理装置によれば、動画像３８ａを構成する複数のフレーム画像３８ｂの間において複数の注目領域が検出される場合に、注目領域の間の距離に応じて強調候補領域を統合する。これにより、第一実施形態に係る医用画像処理装置１４と同様の作用効果を得ることが可能である。
【０１７６】
また、注目領域の間の距離として、複数の強調候補領域の重複度を適用する。これにより、第二実施形態に係る医用画像処理装置と同様の作用効果を得ることが可能である。
【０１７７】
フレーム画像３８ｂごとに強調領域の有無、及び強調領域の位置が変化すると、内視鏡画像３８を表示する表示画面にちらつきが発生し得る。複数の注目領域に対して一つの強調領域を設定することにより、内視鏡画像３８を表示する表示画面にちらつきを抑制し得る。
【０１７８】
［第四実施形態］
次に、第四実施形態に係る医用画像処理装置について説明する。第四実施形態に係る医用画像処理装置は、図２に示すハードウェア構成及び図３に示す機能ブロックを適用可能である。ここでは、医用画像処理装置のハードウェア構成の説明及び機能ブロックの説明を省略する。
【０１７９】
第四実施形態に係る医用画像処理装置は、注目領域の特徴量に基づく複数の強調候補領域の統合を併用する。
【０１８０】
図１３は注目領域の特徴量に基づく複数の強調候補領域の統合の模式図である。図１３の符号３８１は、細長い病変１６０が存在するフレーム画像３８ｂの模式図である。図１３の符号３８２は、符号３８１に示すフレーム画像３８ｂにおける注目領域の検出結果の模式図である。図１３の符号３８３は、複数の注目領域のそれぞれの特徴量に基づいて、複数の注目領域について一つの強調候補領域を設定したフレーム画像３８ｂの模式図である。
【０１８１】
図１３の符号３８１に示すような細長い病変１６０が存在する場合、符号３８２に示すように、一つの注目領域として検出することができずに、符号３８２に示す第一注目領域１５０１と第二注目領域１５０２とのように、複数の注目領域が検出されることがあり得る。
【０１８２】
そこで、第一注目領域１５０１と第二注目領域１５０２との粘膜構造を比較して、粘膜構造が同一又は類似する複数の注目領域について、一つの強調候補領域を設定する。これにより、複数の注目領域を一つの注目領域として視認することが可能となる。
【０１８３】
強調候補領域設定部４２ａは、第一注目領域１５０１の特徴量及び第二注目領域１５０２の特徴量を導出し、それぞれの特徴量に基づいて、第一注目領域１５０１の粘膜構造と第二注目領域１５０２の粘膜構造とが同一又は類似するか否かを判定する。
【０１８４】
強調候補領域設定部４２ａは、第一注目領域１５０１の粘膜構造と第二注目領域１５０２の粘膜構造とが同一又は類似する場合は、第一注目領域１５０１及び第二注目領域１５０２について、一つの強調候補領域１５２０を設定する。
【０１８５】
図１４は注目領域の特徴量に基づく複数の強調候補領域の統合の他の例の模式図である。図１４には、先の第一フレーム画像３８ｂ１１において一つの注目領域１５００として検出され、第一フレーム画像３８ｂ１１の後の第二フレーム画像３８ｂ１２において複数の注目領域として検出された場合の強調候補領域の統合を模式的に示す。
【０１８６】
図１４の符号３８１は、図１３と同様に、細長い病変１６０が存在するフレーム画像３８ｂの模式図である。符号３８４は、任意のタイミングにおける第一フレーム画像３８ｂ１１の模式図である。第一フレーム画像３８ｂ１１では、符号３８１の病変１６０に対応する注目領域１５００が検出されている。また、第一フレーム画像３８ｂ１１では、注目領域１５００に対応する強調候補領域１５２０が設定されている。
【０１８７】
符号３８５は、第一フレーム画像３８ｂ１１の後の第二フレーム画像３８ｂ１２の模式図である。第二フレーム画像３８ｂ１２では、第一フレーム画像３８ｂ１１において注目領域１５００として検出された病変１６０が、第一注目領域１５０１及び第二注目領域１５０２として検出されている。
【０１８８】
このような場合は、第一注目領域１５０１に対応する第一強調候補領域１５２１及び第二注目領域１５０２に対応する第二強調候補領域１５２２が設定されるものの、本来は、符号３８４に示す強調候補領域１５２０が設定されるべきである。
【０１８９】
そこで、第一注目領域１５０１の特徴量と第二注目領域１５０２の特徴量とを比較して、両者が同一又は類似する粘膜構造を有する場合は、第一強調候補領域１５２１と第二注目領域１５０２とを統合する。
【０１９０】
符号３８６に示す第二フレーム画像３８ｂ１２では、第一注目領域１５０１及び第二注目領域１５０２に対して、第一強調候補領域１５２１と第二強調候補領域１５２２とが統合され、一つの強調候補領域１５２０が設定されている。
【０１９１】
［第四実施形態の作用効果］
第四実施形態に係る医用画像処理装置によれば、注目領域の特徴量に基づいて複数の注目領域に対して一つの強調候補領域を設定する。これにより、複数の注目領域を一つの注目領域として取り扱うことが可能となる。
【０１９２】
また、第一強調候補領域１５２１と第二強調候補領域１５２２とのそれぞれが強調領域として設定された場合と比較して、強調領域のちらつきを抑制し得る。
【０１９３】
［内視鏡システムの変形例］
〔プロセッサ装置の変形例〕
プロセッサ装置１２は、医用画像処理装置１４の機能を有してもよい。すなわち、プロセッサ装置１２は、医用画像処理装置１４と一体に構成されてもよい。かかる態様では、表示装置１３はモニタ装置１６と兼用し得る。プロセッサ装置１２は入力装置１５を接続させる接続端子を備え得る。
【０１９４】
〔照明光の変形例〕
本実施形態に示す内視鏡システム９を用いて取得可能な医用画像の一例として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像が挙げられる。
【０１９５】
本実施形態に示す内視鏡システム９を用いて取得可能な医用画像の他の例として、特定の波長領域の光を照射して得た画像が挙げられる。特定の波長帯域は白色帯域よりも狭い帯域を適用可能である。以下の変形例の適用が可能である。
【０１９６】
〈第一変形例〉
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、かつ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。
【０１９７】
〈第二変形例〉
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、かつ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。
【０１９８】
〈第三変形例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、かつ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。
【０１９９】
〈第四変形例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。
【０２００】
〈第五変形例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、かつ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。
【０２０１】
〔特殊光画像の生成例〕
プロセッサ装置１２は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置１２は、特殊光画像取得部として機能する。そして、プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。
【０２０２】
なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。
【０２０３】
〔特徴量画像の生成例〕
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。
【０２０４】
［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した医用画像処理方法は、コンピュータを用いて、医用画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、医用画像を取得する画像取得機能、医用画像から注目領域を検出する注目領域検出機能、表示装置を用いて医用画像を表示する際に、注目領域を強調する強調候補領域を注目領域のそれぞれに設定する強調候補領域設定機能、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合する強調領域調整機能、及び二以上の注目領域ごとの強調候補領域を統合した強調領域を表示装置に表示させる表示制御機能を実現させるプログラムを構成し得る。
【０２０５】
上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
【０２０６】
また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。
【０２０７】
［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
【０２０８】
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
【符号の説明】
【０２０９】
９  内視鏡システム
１０  内視鏡
１１  光源装置
１２  プロセッサ装置
１３  表示装置
１４  医用画像処理装置
１５  入力装置
１６  モニタ装置
２０  挿入部
２１  操作部
２２  ユニバーサルコード
２５  軟性部
２６  湾曲部
２７  先端部
２７ａ  先端面
２８  撮像素子
２９  湾曲操作ノブ
３０  送気送水ボタン
３１  吸引ボタン
３２  静止画像撮像指示部
３３  処置具導入口
３５  ライトガイド
３６  信号ケーブル
３７ａ  コネクタ
３７ｂ  コネクタ
３８  内視鏡画像
３８ａ  動画像
３８ｂ  フレーム画像
３８ｂ１  フレーム画像
３８ｂ２  フレーム画像
３８ｂ１１  第一フレーム画像
３８ｂ１２  第二フレーム画像
３８ｃ  フレーム画像
３９  静止画像
４０  画像取得部
４１  注目領域検出部
４２  強調領域設定部
４２ａ  強調候補領域設定部
４２ｂ  強調領域調整部
４４  表示制御部
４６  記憶部
４７  内視鏡画像記憶部
４８  注目領域記憶部
４９  強調領域記憶部
１２０  制御部
１２２  メモリ
１２４  ストレージ装置
１２６  ネットワークコントローラ
１２８  電源装置
１３０  ディスプレイコントローラ
１３２  入出力インターフェース
１３４  入力コントローラ
１３６  バス
１４０  ネットワーク
１５２  強調領域
１５４  重心
１５６  重複領域
１６０  病変
３８１  符号
３８２  符号
３８３  符号
３８４  符号
３８５  符号
３８６  符号
１５００  注目領域
１５０１  第一注目領域
１５０２  第二注目領域
１５２０  強調候補領域
１５２１  第一強調候補領域
１５２２  第二強調候補領域
１５４１  重心
１５４２  重心
Ｌ  重心間距離
Ｓ１０からＳ２４  医用画像処理方法の各工程
【図１】
2020067100.tif 000003
【図２】
2020067100.tif 000004
【図３】
2020067100.tif 000005
【図４】
2020067100.tif 000006
【図５】
2020067100.tif 000007
【図６】
2020067100.tif 000008
【図７】
2020067100.tif 000009
【図８】
2020067100.tif 000010
【図９】
2020067100.tif 000011
【図１０】
2020067100.tif 000012
【図１１】
2020067100.tif 000013
【図１２】
2020067100.tif 000014
【図１３】
2020067100.tif 000015
【図１４】
2020067100.tif 000016
【手続補正書】
【提出日】令和3年5月21日(2021.5.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
医用画像を取得する画像取得部と、
前記医用画像から注目領域を検出する注目領域検出部と、
表示装置を用いて前記医用画像を表示する際に前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定部と、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整部と、
前記強調領域を前記表示装置に表示させる表示制御部と、
を備え、
前記画像取得部は、前記医用画像として動画像を取得し、
前記強調領域調整部は、前記動画像を構成する二以上の異なるフレーム画像において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する、医用画像処理装置。
【請求項２】
前記画像取得部は、前記医用画像として静止画像を取得し、
前記強調領域調整部は、前記静止画像において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１に記載の医用画像処理装置。
【請求項３】
前記強調領域調整部は、第一フレーム画像において一つの注目領域として検出された注目領域が、前記第一フレーム画像の後の第二フレーム画像において二以上の前記注目領域として検出された場合に、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１に記載の医用画像処理装置。
【請求項４】
前記強調領域調整部は、前記二以上の注目領域のそれぞれの間の距離が、０を超え規定の閾値以下の場合に前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１又は２に記載の医用画像処理装置。
【請求項５】
前記強調領域調整部は、前記二以上の注目領域の重心間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１から４のいずれか一項に記載の医用画像処理装置。
【請求項６】
前記強調領域調整部は、前記二以上の注目領域ごとの前記強調候補領域の重複度に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１から４のいずれか一項に記載の医用画像処理装置。
【請求項７】
前記強調領域調整部は、前記注目領域の特徴量に応じて前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１から６のいずれか一項に記載の医用画像処理装置。
【請求項８】
前記強調領域調整部は、統合対象の前記二以上の注目領域を全て包含する前記強調領域を設定する請求項１から７のいずれか一項に記載の医用画像処理装置。
【請求項９】
内視鏡装置を制御する内視鏡制御部と、
前記内視鏡装置から医用画像を取得する画像取得部と、
前記医用画像から注目領域を検出する注目領域検出部と、
表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定部と、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整部と、
前記強調領域を前記表示装置に表示させる表示制御部と、
を備え、
前記画像取得部は、前記医用画像として動画像を取得し、
前記強調領域調整部は、前記動画像を構成する二以上の異なるフレーム画像において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する、プロセッサ装置。
【請求項１０】
医用画像を取得する画像取得工程と、
前記医用画像から注目領域を検出する注目領域検出工程と、
表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定工程と、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整工程と、
前記強調領域を前記表示装置に表示させる表示制御工程と、
を備え、
前記画像取得工程において、前記医用画像として動画像を取得し、
前記強調領域調整工程において、前記動画像を構成する二以上の異なるフレーム画像において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する、医用画像処理方法。
【請求項１１】
コンピュータに、
医用画像を取得する画像取得機能、
前記医用画像から注目領域を検出する注目領域検出機能、
表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定機能、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整機能、及び
前記強調領域を前記表示装置に表示させる表示制御機能を実現させるプログラムであって、
前記画像取得機能は、前記医用画像として動画像を取得し、
前記強調領域調整機能は、前記動画像を構成する二以上の異なるフレーム画像において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合することを含む、プログラム。
【請求項１２】
非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
医用画像を取得する画像取得機能、
前記医用画像から注目領域を検出する注目領域検出機能、
表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定機能、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整機能、及び
前記強調領域を前記表示装置に表示させる表示制御機能をコンピュータに実行させる記憶媒体であって、
前記画像取得機能は、前記医用画像として動画像を取得し、
前記強調領域調整機能は、前記動画像を構成する二以上の異なるフレーム画像において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合することを含む、記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
強調候補調整部は、二以上の注目領域間の距離に応じて強調候補領域を統合してもよいし、二以上の注目領域間の距離に基づいて変化する物理量に応じて強調候補領域を統合してもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
第４態様は、第３態様の医用画像処理装置において、強調領域調整部は、第一フレーム画像において一つの注目領域として検出された注目領域が、第一フレーム画像の後の第二フレーム画像において二以上の注目領域として検出された場合に、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、一種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域の光は、特殊光と呼ばれる場合がある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
［医用画像処理装置のハードウェア構成］
図２は医用画像処理装置のハードウェア構成を示すブロック図である。図２に示す医用画像処理装置１４は、制御部１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、電源装置１２８、ディスプレイコントローラ１３０、入出力インターフェース１３２、及び入力コントローラ１３４を備える。なお、図２に示すＩ／Ｏは入出力インターフェース１３２を表す。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
複数の制御部１２０を一つのプロセッサで構成する他の例として、複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On a Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１１２
【補正方法】変更
【補正の内容】
【０１１２】
なお、座標値は画素位置に置き替えることが可能である。すなわち、強調候補領域設定部４２ａは、第一強調候補領域１５２１を設定する際に、第一注目領域１５０１の重心１５４１の画素位置、及び第一注目領域１５０１の縁を表す閉曲線を構成する画素位置を特定してもよい。第二強調候補領域１５２２についても同様である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０２０３
【補正方法】変更
【補正の内容】
【０２０３】
〔特徴量画像の生成例〕
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０２０４
【補正方法】変更
【補正の内容】
【０２０４】
［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した医用画像処理方法は、コンピュータを用いて、医用画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、医用画像を取得する画像取得機能、医用画像から注目領域を検出する注目領域検出機能、表示装置を用いて医用画像を表示する際に、注目領域を強調する強調領域の候補である強調候補領域を注目領域のそれぞれに設定する強調候補領域設定機能、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合する強調領域調整機能、及び二以上の注目領域ごとの強調候補領域を統合した強調領域を表示装置に表示させる表示制御機能を実現させるプログラムを構成し得る。
【国際調査報告】
2020067100.tif 000017
2020067100.tif 000018
2020067100.tif 000019
2020067100.tif 000020