(57)【要約】内視鏡を用いた内視鏡検査において、検出が困難な病変等の見落としを抑制し得る内視鏡システム、報知方法、及びプログラムを提供する。仮想内視鏡画像を入力する第１画像入力部（４１ａ）、実内視鏡画像を入力する第２画像入力部（４１ｂ）、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け部（５８）、仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部（５０）、実内視鏡画像から第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部（５４）と、及び第１特徴領域が第２特徴領域に対応付けされていないことを報知する報知部（５９）と、を備える。
2019087969.tif 000002
【特許請求の範囲】
【請求項１】
被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力部と、
内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力部と、
前記仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け部と、
前記仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部と、
前記実内視鏡画像から前記第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部と、
前記第１特徴領域が前記第２特徴領域と対応付けされていない場合に報知を行う報知部と、
を備えた内視鏡システム。
【請求項２】
前記報知部は、前記第１特徴領域が前記第２特徴領域と対応付けされた場合に、前記第１特徴領域が前記内視鏡の観察範囲に位置する前記第２特徴領域に対応付けされたことを報知し、
前記第１特徴領域が前記第２特徴領域と対応付けされていない場合は、前記第１特徴領域が前記第２特徴領域と対応付けされた場合における報知方法、及び報知レベルと比較して、前記報知方法、及び前記報知レベルの少なくともいずれかを変更する請求項１に記載の内視鏡システム。
【請求項３】
前記実内視鏡画像を表示する表示部を備え、
前記報知部は、前記第１特徴領域が前記第２特徴領域と対応付けされていないことを報知する第１報知画像、及び前記第１特徴領域が前記第２特徴領域に対応付けされたことを報知する第２報知画像を前記表示部に表示し、且つ前記第２報知画像より前記第１報知画像を拡大して表示する請求項２に記載の内視鏡システム。
【請求項４】
前記実内視鏡画像を表示する表示部を備え、
前記報知部は、前記第１特徴領域が前記第２特徴領域と対応付けされていないことを報知する第１報知画像、及び前記第１特徴領域が前記第２特徴領域と対応付けされたことを報知する第２報知画像を前記表示部に表示し、且つ前記第１報知画像は前記第２報知画像と色を変更する請求項２に記載の内視鏡システム。
【請求項５】
前記実内視鏡画像を表示する表示部を備え、
前記報知部は、前記第１特徴領域が前記第２特徴領域と対応付けされていないことを報知する第１報知画像、及び前記第１特徴領域が前記第２特徴領域に対応付けされたことを報知する第２報知画像を前記表示部に表示し、且つ前記第１報知画像を点滅表示する一方、前記第２報知画像を点灯表示する請求項２に記載の内視鏡システム。
【請求項６】
前記実内視鏡画像を表示する表示部を備え、
前記報知部は、前記第１特徴領域が前記第２特徴領域と対応付けされていないことを報知する第１報知画像、及び前記第１特徴領域が前記第２特徴領域に対応付けされたことを報知する第２報知画像を前記表示部に点滅表示し、且つ前記第２報知画像に対して前記第１報知画像の点滅周期を短くする請求項２に記載の内視鏡システム。
【請求項７】
前記表示部は、前記実内視鏡画像と別に生成された前記第１報知画像、及び前記第２報知画像を前記実内視鏡画像に重畳表示させる請求項３から６のいずれか一項に記載の内視鏡システム。
【請求項８】
前記表示部は、前記仮想内視鏡画像を表示し、且つ前記仮想内視鏡画像における前記内視鏡の位置を表示する請求項３から７のいずれか一項に記載の内視鏡システム。
【請求項９】
前記表示部は、前記仮想内視鏡画像を表示し、且つ前記第１特徴領域の情報を表示する請求項３から７のいずれか一項に記載の内視鏡システム。
【請求項１０】
前記表示部は、前記第１特徴領域を拡大して表示する請求項９に記載の内視鏡システム。
【請求項１１】
前記表示部は、前記第１特徴領域を点滅表示する請求項９に記載の内視鏡システム。
【請求項１２】
報知音を出力する報知音出力部を備え、
前記報知部は、前記報知音出力部を用いて、前記第１特徴領域が前記第２特徴領域と対応付けされていないことを表す第１報知音を出力する請求項１から１１のいずれか一項に記載の内視鏡システム。
【請求項１３】
前記報知部は、前記報知音出力部を用いて、前記第１特徴領域が前記第２特徴領域に対応付けされたことを表し、且つ前記第１報知音と異なる第２報知音を出力する請求項１２に記載の内視鏡システム。
【請求項１４】
前記報知部は、前記第２報知音に対して前記第１報知音の音量を大きくする請求項１３に記載の内視鏡システム。
【請求項１５】
前記報知部は、前記第１特徴領域と対応付けがされた前記実内視鏡画像の領域から前記実内視鏡画像の観察位置までの間の距離が短くなるに従い報知レベルを変更する請求項２から１４のいずれか一項に記載の内視鏡システム。
【請求項１６】
前記第１特徴領域抽出部は、前記実内視鏡画像の観察の際に、予め前記仮想内視鏡画像から前記第１特徴領域を抽出する請求項１から１５のいずれか一項に記載の内視鏡システム。
【請求項１７】
前記第１特徴領域抽出部は、前記実内視鏡画像の観察の際に、前記実内視鏡画像の観察に対応して、逐次、前記仮想内視鏡画像から前記第１特徴領域を抽出する請求項１から１５のいずれか一項に記載の内視鏡システム。
【請求項１８】
前記第１特徴領域抽出部は、同一の前記第１条件を用いて複数の第１特徴領域を抽出した場合、前記複数の第１特徴領域を一括して管理する請求項１から１７のいずれか一項に記載の内視鏡システム。
【請求項１９】
前記第１特徴領域抽出部は、前記第１条件として前記仮想内視鏡画像における位置の情報を適用する請求項１から１８のいずれか一項に記載の内視鏡システム。
【請求項２０】
前記第１特徴領域抽出部は、前記位置の情報として前記内視鏡の観察範囲の死角の位置を適用する請求項１９に記載の内視鏡システム。
【請求項２１】
前記第１特徴領域抽出部は、前記位置の情報としてひだの裏側を適用する請求項１９又は２０に記載の内視鏡システム。
【請求項２２】
前記第２特徴領域抽出部は、前記第２特徴領域として病変を抽出する請求項１から２１のいずれか一項に記載の内視鏡システム。
【請求項２３】
前記第２特徴領域抽出部は、機械学習を用いて生成された抽出規則を適用して、前記実内視鏡画像から前記第２特徴領域を抽出する請求項１から２２のいずれか一項に記載の内視鏡システム。
【請求項２４】
被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力工程と、
内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力工程と、
前記仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け工程と、
前記仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出工程と、
前記実内視鏡画像から前記第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出工程と、
前記第１特徴領域が前記第２特徴領域と対応付けされていない場合に報知を行う報知工程と、
を含む報知方法。
【請求項２５】
コンピュータに、
被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力機能、
内視鏡を用いて前記被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力機能、
前記仮想内視鏡画像と前記実内視鏡画像とを対応付けする対応付け機能、
前記仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出機能、
前記実内視鏡画像から前記第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出機能、及び
前記第１特徴領域が前記第２特徴領域と対応付けされていない場合に報知を行う報知機能、を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は内視鏡システム、報知方法、及びプログラムに係り、特に仮想内視鏡画像の表示に関する。
【背景技術】
【０００２】
近年、内視鏡を用いて患者の大腸等の管状構造物を観察又は処置を行う技術が注目されている。内視鏡画像はＣＣＤ（Charge Coupled Device）等の撮像素子を用いて撮影された画像である。そして、内視鏡画像は管状構造物内部の色、及び質感が鮮明に表現された画像である。一方、内視鏡画像は、管状構造物の内部を表す２次元画像である。このため、内視鏡画像が管状構造物内のどの位置を表しているものかを把握することが困難である。【０００３】
そこで、ＣＴ装置又はＭＲＩ装置等のモダリティを用いた断層撮影をして取得された３次元検査画像を用いて、実際に内視鏡を用いて撮影した画像と類似した仮想内視鏡画像を生成する手法が提案されている。【０００４】
仮想内視鏡画像は、内視鏡を管状構造物内の目標とする位置まで導くためのナビゲーション画像として用いられる場合がある。なお、ＣＴはComputed Tomographyの省略語である。また、ＭＲＩはMagnetic Resonance Imagingの省略語である。【０００５】
このため、３次元検査画像から管状構造物の画像を抽出し、管状構造物の画像と内視鏡を用いて撮影を行い取得した実際の内視鏡画像である実内視鏡画像との対応付けを行い、内視鏡の現在位置における仮想内視鏡画像を管状構造物の３次元検査画像から生成して表示する手法が提案されている。【０００６】
特許文献１は、３次元画像データからポリープなどの病変を検出し、内視鏡の観察位置が病変付近に到達したことを報知する内視鏡観察支援装置が記載されている。【０００７】
特許文献２は、撮像対象の部位を表すボリュームデータを抽出し、ボリュームデータにおける内視鏡プローブの先端の位置と方向とを特定し、任意の視野における仮想内視鏡画像を生成し、表示する医用画像処理装置が記載されている。【０００８】
特許文献２に記載の医用画像処理装置は、ボリュームデータに基づいて腫瘍候補の形状と位置とを特定し、腫瘍候補の位置にマーカーを重ねて表示する。これにより、操作者はマーカーを用いて腫瘍候補の有無存在を認識することが可能となる。【０００９】
特許文献３は、被検体における管腔臓器の展開画像中の死角領域を検出し、死角領域の有無を操作者に報知する医用画像表示装置が記載されている。特許文献３に記載の医用画像処理装置は、死角領域が存在する場合、死角領域が存在することを表す文字情報を表示する。特許文献３には、死角領域が存在する場合に、死角領域の位置を、マーカーを用いて色付けして表示する他の表示態様が記載されている。【００１０】
特許文献４は、身体３次元領域における内視鏡の相対的な位置及び姿勢の情報、及びボリュームデータに基づいて仮想内視鏡画像を生成し、内視鏡を用いて取得されるカラー内視鏡実画像と、仮想内視鏡画像との構図を一致させる内視鏡システムが記載されている。【００１１】
特許文献４に記載の内視鏡システムは、仮想内視鏡画像から特徴的な形状を検出する。次いで、カラー内視鏡画像のうち、仮想内視鏡画像の特徴的な形状に相当する領域の画素値を変更する。これにより、他の領域と区別可能な表示形態を実現している。【００１２】
特許文献５は、ＣＴ装置からボリュームデータを取得し、取得したボリュームデータから３次元画像を生成し表示する医用画像処理装置が記載されている。特許文献５に記載の医用画像処理装置は、表示部に表示された３次元画像の特徴部位に対してマークを付すための入力操作を受け付け、表示部にマークが表示される。特許文献５には、画像解析を用いて自動的に特徴部位を設定可能であることが記載されている。【００１３】
特許文献６は、被験者の内部を観察する内視鏡、内視鏡を用いて取得した内視鏡画像を表示させるモニタを備える内視鏡装置が記載されている。特許文献６に記載の内視鏡装置は、内視鏡を用いて撮像した被写体像に応じた画像を取得し、取得した画像内における病変部位を検出する処理を、画像を取得する毎に実行する。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２０１４−２３０６１２号公報
【特許文献２】特開２０１１−１３９７９７号公報
【特許文献３】国際公開第２０１０／０７４０５８号
【特許文献４】特開２００６−６１２７４号公報
【特許文献５】特開２０１６−１４３１９４号公報
【特許文献６】特開２００８−３０１９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、内視鏡の観察範囲には、体腔の内壁に存在するひだの裏側などの死角が存在する。内視鏡を用いた内視鏡検査は内視鏡の観察範囲の死角に位置する病変を見落としてしまう可能性がある。したがって、内視鏡の観察範囲の死角に位置する病変の見落としを防ぐため対処が必要となる。【００１６】
特許文献１に記載の発明は、内視鏡の観察位置に病変付近に到達したことを報知するものの、内視鏡の観察範囲の死角に位置する病変に対する対応がなされていない。そうすると、特許文献１に記載の発明は、内視鏡の観察範囲の死角に位置する病変を見落とすことがあり得る。【００１７】
特許文献２に記載の発明は、腫瘍候補の位置にマーカーを重ねて表示するものの、腫瘍候補の位置が内視鏡の観察範囲の死角の場合の対応がなされていない。そうすると、特許文献２に記載の発明は、内視鏡の観察範囲の死角に位置する病変を見落とすことがあり得る。【００１８】
特許文献３に記載の発明は、病変の有無に関わらず展開画像中の死角領域の有無を操作者に報知するものであり、展開画像中の死角領域について病変の有無を報知するものではない。そうすると、特許文献３に記載の発明は、内視鏡の観察範囲の死角に位置する病変を見落とすことがあり得る。【００１９】
特許文献４に記載の発明は、仮想内視鏡画像において特徴的な領域の画素値を変更して、特徴的な領域と他の領域との区別を可能とするものであり、内視鏡画像を用いた内視鏡の観察範囲の死角に位置する病変等の発見に適用されるものではない。【００２０】
特許文献５に記載の発明は、内視鏡画像に対して自動的に特徴部位を設定可能であるものの、特許文献５には、特徴領域が内視鏡の観察範囲の死角となる場合に関する記載はない。そうすると、特許文献５に記載の発明は、内視鏡の観察範囲の死角に位置する病変を見落とすことがあり得る。【００２１】
特許文献６に記載の発明は、内視鏡画像を構成するフレーム画像単位で病変部位の検出が可能であるものの、特許文献６には、病変部位が内視鏡の観察範囲の死角となる場合に関する記載はない。そうすると、特許文献６に記載の発明は、内視鏡の観察範囲の死角に位置する病変を見落とすことがあり得る。【００２２】
すなわち、特許文献１から特許文献６に記載の発明には、内視鏡の観察範囲の死角に位置する病変を見落とし等の、内視鏡検査において検出が困難な病変等の見落としという課題が存在し、この課題に対する対処が必要である。【００２３】
本発明はこのような事情に鑑みてなされたもので、内視鏡を用いた内視鏡検査において、検出が困難な病変等の見落としを抑制し得る内視鏡システム、報知方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２４】
上記目的を達成するために、次の発明態様を提供する。【００２５】
第１態様に係る内視鏡システムは、被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力部と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力部と、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け部と、仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出部と、実内視鏡画像から第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出部と、第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う報知部と、を備えた内視鏡システムである。【００２６】
第１態様によれば、仮想内視鏡画像から第１特徴領域を抽出する。仮想内視鏡画像と実内視鏡画像とを対応付ける。第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う。報知に起因して、第１特徴領域が第２特徴領域と対応付けされていないことを、ユーザが認識し得る。これにより、内視鏡を用いた内視鏡検査において第２特徴領域として抽出されるべき領域として把握される、内視鏡検査において検出が困難な病変等の見落としを抑制し得る。【００２７】
第１画像入力部は、予め生成された仮想内視鏡画像を入力してもよいし、３次元検査画像を取得し、取得した３次元検査画像から仮想内視鏡画像を生成し、生成された仮想内視鏡画像を入力してもよい。【００２８】
３次元検査画像の例として、ＣＴ装置を用いて被検体を断層撮影して得られた３次元検査画像が挙げられる。仮想内視鏡の一例として、大腸を被検体とする仮想大腸内視鏡が挙げられる。【００２９】
第１特徴領域の抽出に適用される第１条件を設定する第１条件設定部を備える態様が好ましい。また、第２特徴領域の抽出に適用される第２条件を設定する第２条件設定部を備える態様が好ましい。【００３０】
第２態様は、第１態様の内視鏡システムにおいて、報知部は、第１特徴領域が第２特徴領域と対応付けされた場合に、第１特徴領域が内視鏡の観察範囲に位置する第２特徴領域に対応付けされたことを報知し、第１特徴領域が第２特徴領域と対応付けされていない場合は、第１特徴領域が第２特徴領域と対応付けされた場合における報知方法、及び報知レベルと比較して、報知方法、及び報知レベルの少なくともいずれかを変更する構成としてもよい。【００３１】
第２態様によれば、第１特徴領域が第２特徴領域と対応付けされた場合と、第１特徴領域が第２特徴領域と対応付けされていない場合とを区別して報知し得る。【００３２】
第３態様は、第２態様の内視鏡システムにおいて、実内視鏡画像を表示する表示部を備え、報知部は、第１特徴領域が第２特徴領域と対応付けされていないことを報知する第１報知画像、及び第１特徴領域が内視鏡の観察範囲に位置する第２特徴領域に対応付けされたことを報知する第２報知画像を表示部に表示し、且つ第２報知画像より第１報知画像を拡大して表示する構成としてもよい。【００３３】
第３態様によれば、第１特徴領域が第２特徴領域に対応付けされている場合に対して、第１特徴領域が第２特徴領域に対応付けされていない場合が強調される。【００３４】
第４態様は、第２態様の内視鏡システムにおいて、実内視鏡画像を表示する表示部を備え、報知部は、第１特徴領域が第２特徴領域と対応付けされていないことを報知する第１報知画像、及び第１特徴領域が第２特徴領域と対応付けされたことを報知する第２報知画像を表示部に表示し、且つ第１報知画像は第２報知画像と色を変更する構成としてもよい。【００３５】
第４態様によれば、第１特徴領域が第２特徴領域に対応付けされている場合に対して、第１特徴領域が第２特徴領域に対応付けされていない場合が強調される。【００３６】
第５態様は、第２態様の内視鏡システムにおいて、実内視鏡画像を表示する表示部を備え、報知部は、第１特徴領域が第２特徴領域と対応付けされていないことを表す第１報知画像、及び第１特徴領域が第２特徴領域に対応付けされたことを表す第２報知画像を表示部に表示し、且つ第１報知画像を点滅表示する一方、第２報知画像を点灯表示する構成としてもよい。【００３７】
第５態様によれば、第１特徴領域が第２特徴領域に対応付けされている場合に対して、第１特徴領域が第２特徴領域に対応付けされていない場合が強調される。【００３８】
第６態様は、第２態様の内視鏡システムにおいて、実内視鏡画像を表示する表示部を備え、報知部は、第１特徴領域が第２特徴領域と対応付けされていないことを表す第１報知画像、及び第１特徴領域が第２特徴領域に対応付けされたことを表す第２報知画像を表示部に点滅表示し、且つ第２報知画像に対して第１報知画像の点滅周期を短くする構成としてもよい。【００３９】
第６態様によれば、第１特徴領域が第２特徴領域に対応付けされている場合に対して、第１特徴領域が第２特徴領域に対応付けされている場合が強調される。【００４０】
第７態様は、第３態様から第６態様のいずれか一態様の内視鏡システムにおいて、表示部は、実内視鏡画像と別に生成された第１報知画像、及び第２報知画像を実内視鏡画像に重畳表示させる構成としてもよい。【００４１】
第７態様によれば、実内視鏡画像を加工することなく、実内視鏡画像の強調表示を行うことが可能である。【００４２】
第８態様は、第３態様から第７態様のいずれか一態様の内視鏡システムにおいて、表示部は、仮想内視鏡画像を表示し、且つ仮想内視鏡画像における内視鏡の位置を表示する構成としてもよい。【００４３】
第８態様によれば、内視鏡の操作者は、実内視鏡画像における観察位置に対応する仮想内視鏡画像の位置の認識が可能である。【００４４】
第９態様は、第３態様から第７態様のいずれか一態様の内視鏡システムにおいて、表示部は、仮想内視鏡画像を表示し、且つ第１特徴領域の情報を表示する構成としてもよい。【００４５】
第９態様によれば、内視鏡の操作者は、仮想内視鏡画像における第１特徴領域の認識が可能である。【００４６】
第１０態様は、第９態様の内視鏡システムにおいて、表示部は、第１特徴領域を拡大して表示する構成としてもよい。【００４７】
第１０態様によれば、仮想内視鏡画像における第１特徴領域が視認し易くなる。【００４８】
第１１態様は、第９態様の内視鏡システムにおいて、表示部は、第１特徴領域を点滅表示する構成としてもよい。【００４９】
第１１態様によれば、仮想内視鏡画像における第１特徴領域が視認し易くなる。【００５０】
第１２態様は、第１態様から第１１態様のいずれか一態様の内視鏡システムにおいて、報知音を出力する報知音出力部を備え、報知部は、報知音出力部を用いて、第１特徴領域が第２特徴領域と対応付けされていないことを表す第１報知音を出力する構成としてもよい。【００５１】
第１２態様によれば、第１特徴領域が第２特徴領域と対応付けされていない場合に第１報知音を出力する。これにより、第１特徴領域が第２特徴領域と対応付けされていない場合に、第２特徴領域として抽出されるべき領域の見落としを抑制し得る。【００５２】
また、実内視鏡画像に対して加工等を施す必要がなく、実内視鏡画像への報知の影響を及ぼし難い。【００５３】
第１３態様は、第１２態様の内視鏡システムにおいて、報知部は、報知音出力部を用いて、第１特徴領域が第２特徴領域に対応付けされたことを表し、且つ第１報知音と異なる第２報知音を出力する構成としてもよい。【００５４】
第１３態様によれば、第１特徴領域が第２特徴領域と対応付けされていない場合と、第１特徴領域が第２特徴領域と対応付けされた場合とを区別して報知し得る。【００５５】
第１４態様は、第１３態様の内視鏡システムにおいて、報知部は、第２報知音に対して第１報知音の音量を大きくする構成としてもよい。【００５６】
第１４態様によれば、第１特徴領域が第２特徴領域に対応付けされている場合に対して、第１特徴領域が第２特徴領域に対応付けされていない場合が強調される。【００５７】
第１５態様は、第２態様から第１４態様のいずれか一態様の内視鏡システムにおいて、報知部は、第１特徴領域と対応付けがされた実内視鏡画像の領域から実内視鏡画像の観察位置までの間の距離が短くなるに従い報知レベルを変更する構成としてもよい。【００５８】
第１５態様によれば、第１特徴領域と対応付けがされた実内視鏡画像の領域が内視鏡の観察領域に近づいていることを認識し得る。【００５９】
第１５態様において、報知レベルを変更する際に報知レベル大きくする態様が好ましい。報知レベル大きくする際に、連続的に報知レベル大きくしてもよいし、段階的に報知レベル大きくしてもよい。【００６０】
第１５態様における第１特徴領域と対応付けがされた実内視鏡画像の領域は、第１特徴領域と対応付けされた第２特徴領域、及び第１特徴領域と対応付けがされた実内視鏡画像の非抽出領域の少なくともいずれか一方が含まれる。実内視鏡画像の非抽出領域とは、実内視鏡画像から第２特徴領域として抽出されていない領域を表す。【００６１】
第１６態様は、第１態様から第１５態様のいずれか一態様の内視鏡システムにおいて、第１特徴領域抽出部は、実内視鏡画像の観察の際に、予め仮想内視鏡画像から第１特徴領域を抽出する構成としてもよい。【００６２】
第１６態様によれば、仮想内視鏡画像から第１特徴領域の抽出を省略できる。これにより、画像処理の処理負荷が軽減される。【００６３】
第１７態様は、第１態様から第１５態様のいずれか一態様の内視鏡システムにおいて、第１特徴領域抽出部は、実内視鏡画像の観察の際に、実内視鏡画像の観察に対応して逐次仮想内視鏡画像から第１特徴領域を抽出する構成としてもよい。【００６４】
第１７態様によれば、第１特徴領域が非抽出の仮想内視鏡画像の取得が可能である。これにより、第１画像入力部の処理負荷が軽減される。【００６５】
第１８態様は、第１態様から第１７態様のいずれか一態様の内視鏡システムにおいて、第１特徴領域抽出部は、同一の第１条件を用いて複数の第１特徴領域を抽出した場合、複数の第１特徴領域を一括して管理する構成としてもよい。【００６６】
第１８態様によれば、同一の第１条件を用いて抽出された複数の第１特徴領域を一括して管理することが可能である。【００６７】
第１９態様は、第１態様から第１８態様のいずれか一態様の内視鏡システムにおいて、第１特徴領域抽出部は、第１条件として仮想内視鏡画像における位置の情報を適用する構成としてもよい。【００６８】
第１９態様によれば、第１特徴領域抽出部は、仮想内視鏡画像における位置の情報に基づいて第１特徴領域を抽出し得る。【００６９】
第２０態様は、第１９態様の内視鏡システムにおいて、第１特徴領域抽出部は、位置の情報として内視鏡の観察範囲の死角の位置を適用する構成としてもよい。【００７０】
第２０態様によれば、第１特徴領域抽出部は、内視鏡の観察範囲の死角の位置における第１特徴領域の抽出が可能となる。これにより、内視鏡の観察範囲の死角の位置について、第２特徴領域として抽出されるべき領域の見落としを抑制し得る。【００７１】
第２０態様において、第１特徴領域抽出部は、第１条件として内視鏡の観察範囲の死角の位置が設定された場合に、内視鏡の観察範囲の死角の位置を第１特徴領域として抽出し得る。【００７２】
第２１態様は、第１９態様又は第２０態様の内視鏡システムにおいて、第１特徴領域抽出部は、位置の情報としてひだの裏側を適用する構成としてもよい。【００７３】
第２１態様によれば、第１特徴領域抽出部は、ひだの裏側の位置における第１特徴領域の抽出が可能となる。【００７４】
第２２態様は、第１態様から第２１態様のいずれか一態様の内視鏡システムにおいて、第２特徴領域抽出部は、第２特徴領域として病変を抽出する構成としてもよい。【００７５】
第２２態様によれば、内視鏡を用いた内視鏡検査において、第２特徴領域として抽出されるべき領域の病変の見落としを抑制し得る。【００７６】
第２３態様は、第１態様から第２２態様のいずれか一態様の内視鏡システムにおいて、第２特徴領域抽出部は、機械学習を用いて生成された抽出規則を適用して、実内視鏡画像から第２特徴領域を抽出する構成としてもよい。【００７７】
第２３態様によれば、実内視鏡画像における第２特徴領域抽出の精度が向上し得る。これにより、内視鏡検査の精度が向上し得る。【００７８】
第２４態様に係る報知方法は、被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力工程と、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力工程と、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け工程と、仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出工程と、実内視鏡画像から第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出工程と、第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う報知工程と、を含む報知方法である。【００７９】
第２４態様によれば、第１態様と同様の効果を得ることができる。【００８０】
第２４態様において、第２態様から第２３態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、内視鏡システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う報知方法の構成要素として把握することができる。【００８１】
第２５態様に係るプログラムは、コンピュータに、被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力機能、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力機能、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け機能、仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出機能、実内視鏡画像から第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出機能、及び第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う報知機能、を実現させるプログラムある。【００８２】
第２５態様によれば、第１態様と同様の効果を得ることができる。【００８３】
第２５態様において、第２態様から第２３態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、内視鏡システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。【００８４】
第２５態様は、少なくとも１つ以上のプロセッサと、少なくとも１つ以上のメモリとを有するシステムであって、被検体の３次元画像から生成される仮想内視鏡画像を入力する第１画像入力機能、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する第２画像入力機能、仮想内視鏡画像と実内視鏡画像とを対応付けする対応付け機能、仮想内視鏡画像から規定の第１条件に合致する第１特徴領域を抽出する第１特徴領域抽出機能、実内視鏡画像から第１条件に対応する第２条件に合致する第２特徴領域を抽出する第２特徴領域抽出機能、及び第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う報知機能を実現させるシステムとして構成し得る。
【発明の効果】
【００８５】
本発明によれば、仮想内視鏡画像から第１特徴領域を抽出する。仮想内視鏡画像と実内視鏡画像とを対応付ける。第１特徴領域が第２特徴領域と対応付けされていない場合に報知を行う。報知に起因して、第１特徴領域が第２特徴領域と対応付けされていないことを、ユーザが認識し得る。これにより、内視鏡を用いた内視鏡検査において第２特徴領域として抽出されるべき領域として把握される、内視鏡検査において検出が困難な病変等の見落としを抑制し得る。
【図面の簡単な説明】
【００８６】
【図１】図１は内視鏡システムの全体構成を示す概略図である。
【図２】図２は医療画像処理装置の機能を示す機能ブロック図である。
【図３】図３は医療画像解析処理部の機能を示す機能ブロック図である。
【図４】図４は画像記憶部の機能を示す機能ブロック図である。
【図５】図５はＣＴＣ画像の模式図である。
【図６】図６は内視鏡画像の模式図である。
【図７】図７は内視鏡の観察範囲の死角を示す模式図である。
【図８】図８は第１特徴領域抽出の説明図である。
【図９】図９は第２特徴領域抽出の説明図である。
【図１０】図１０は病変の対応付けの例を示す模式図である。
【図１１】図１１はひだの対応付けの例を示す模式図である。
【図１２】図１２はひだの番号を用いたひだの対応付けの例を示す模式図である。
【図１３】図１３は非報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。
【図１４】図１４は第１報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。
【図１５】図１５は第２報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。
【図１６】図１６は報知方法の手順を示すフローチャートである。
【図１７】図１７は第１変形例に係る報知の説明図である。
【図１８】図１８は第２変形例に係る報知の説明図である。
【図１９】図１９は第３変形例に係る報知の説明図である。
【図２０】図２０は第１特徴領域の他の表示例の説明図である。
【図２１】図２１は他の実施形態に係る報知を実現する医療画像処理装置の機能を示す機能ブロック図である。
【発明を実施するための形態】
【００８７】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
【００８８】
［内視鏡システムの全体構成］
図１は内視鏡システムの全体構成を示す概略図である。図１に示した内視鏡システム９は、内視鏡１０と、光源装置１１と、プロセッサ１２と、表示装置１３と、医療画像処理装置１４と、操作装置１５と、モニタ装置１６と、を備える。内視鏡システム９は、ネットワーク１７を介して画像記憶装置１８と通信可能に接続される。
【００８９】
内視鏡１０は電子内視鏡である。また、内視鏡１０は軟性内視鏡である。内視鏡１０は挿入部２０と、操作部２１と、ユニバーサルコード２２と、を備える。挿入部２０は先端と基端とを備える。挿入部２０は被検体内に挿入される。操作部２１は術者が把持して各種操作を行う。操作部２１は挿入部２０の基端側に連設される。挿入部２０は、全体が細径で長尺状に形成されている。
【００９０】
挿入部２０は、軟性部２５と、湾曲部２６と、先端部２７と、を備える。挿入部２０は、軟性部２５と、湾曲部２６と、先端部２７とが連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮影光学系及び撮像素子２８等が内蔵される。
【００９１】
撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子である。ＣＭＯＳは、相補型金属酸化膜半導体を表す英語表記である、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、電荷結合素子を表す英語表記である、Charge Coupled Deviceの省略語である。
【００９２】
先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓の後方には、図示しない撮影光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮影光学系等を介して、被観察部位の像光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位の像光を撮像して、撮像信号を出力する。ここでいう撮像は、像光を電気信号へ変換するという意味が含まれる。
【００９３】
操作部２１は、各種操作部材を備える。各種操作部材は術者により操作される。具体的には、操作部２１は、２種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。
【００９４】
操作部２１は、送気送水ボタン３０と、吸引ボタン３１と、を備える。送気送水ボタン３０は、送気送水操作の際に用いられる。吸引ボタン３１は、吸引操作の際に用いられる。
【００９５】
操作部２１は、静止画像撮影指示部３２と、処置具導入口３３と、を備える。静止画像撮影指示部３２は、被観察部位の静止画像３９の撮影指示を行う際に用いられる。処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。
【００９６】
ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。
【００９７】
また、ユニバーサルコード２２の端部は、光源装置１１に接続されるコネクタ３７ａと、コネクタ３７ａから分岐され、且つプロセッサ１２に接続されるコネクタ３７ｂと、を備える。
【００９８】
コネクタ３７ａを光源装置１１に接続した場合、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。
【００９９】
その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから先端面２７ａの図示しない観察窓に向けて気体又は水が噴射される。
【０１００】
コネクタ３７ｂをプロセッサ１２に接続した場合、信号ケーブル３６とプロセッサ１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ１２へ被観察部位の撮像信号が出力され、且つプロセッサ１２から内視鏡１０へ制御信号が出力される。
【０１０１】
本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮影を可能な各種の電子内視鏡を用いてもよい。
【０１０２】
光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光、又は特定の波長帯域の光を適用可能である。照明光は、白色光、及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。
【０１０３】
白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、１種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域は、特殊光と呼ばれる場合がある。
【０１０４】
プロセッサ１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。プロセッサ１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。
【０１０５】
プロセッサ１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の動画像３８を生成する。更に、プロセッサ１２は、内視鏡１０の操作部２１にて静止画像撮影指示部３２が操作された場合、動画像３８の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像３９を生成する。この静止画像３９は、動画像３８の解像度に対して高解像度に生成されていてもよい。
【０１０６】
動画像３８及び静止画像３９の生成の際に、プロセッサ１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ１２はＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を動画像３８及び静止画像３９へ付加してもよい。
【０１０７】
動画像３８及び静止画像３９は、被検体内、すなわち生体内を撮影した生体内画像である。更に、動画像３８及び静止画像３９が、特定の波長帯域の光を用いて撮像して得られた画像である場合、両者は特殊光画像である。そして、プロセッサ１２は、生成した動画像３８及び静止画像３９を、表示装置１３と医療画像処理装置１４とのそれぞれに出力する。プロセッサ１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ネットワーク１７を介して動画像３８及び静止画像３９を画像記憶装置１８へ出力してもよい。
【０１０８】
表示装置１３は、プロセッサ１２に接続されている。表示装置１３は、プロセッサ１２から入力された動画像３８及び静止画像３９を表示する。医師等のユーザは、表示装置１３に表示される動画像３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を検出した場合には静止画像撮影指示部３２を操作して被観察部位の静止画撮影を実行し得る。
【０１０９】
医療画像処理装置１４は、コンピュータが用いられる。操作装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。操作装置１５とコンピュータとの接続は有線接続、又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。
【０１１０】
医療画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を用いてもよい。この場合、操作装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、医療画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。
【０１１１】
医療画像処理装置１４は、動画像３８の取得、及び動画像３８の記憶を行う。医療画像処理装置１４は、静止画像３９の取得、及び静止画像３９の記憶を行う。医療画像処理装置１４は、動画像３８の再生制御、及び静止画像３９の再生制御を行う。
【０１１２】
操作装置１５は、医療画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、医療画像処理装置１４の制御の下、動画像３８及び静止画像３９の表示を行う。モニタ装置１６は、医療画像処理装置１４における各種情報の表示部として機能する。
【０１１３】
ネットワーク１７を介して、医療画像処理装置１４と接続される画像記憶装置１８は、ＣＴＣ画像１９が記憶される。ＣＴＣ画像１９は図示しないＣＴＣ画像生成装置を用いて生成される。なお、ＣＴＣは大腸３次元ＣＴ検査を表すＣＴコロノグラフィ（colonography）を表す省略表記である。
【０１１４】
図示しないＣＴＣ画像生成装置は、３次元検査画像からＣＴＣ画像１９を生成する。３次元検査画像は、３次元画像撮像装置を用いて検査対象部位を撮像して得られた撮像信号から生成される。３次元画像撮像装置の例として、ＣＴ装置、ＭＲＩ装置、ＰＥＴ(Positron Emission Tomography)、及び超音波診断装置等が挙げられる。本実施形態では、大腸を撮影して得られた３次元検査画像からＣＴＣ画像１９が生成される例を示す。
【０１１５】
内視鏡システム９は、ネットワーク１７を介してサーバ装置と通信可能に接続されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。図１に示した画像記憶装置１８に記憶される情報は、サーバ装置を用いて管理されてもよい。なお、画像データの格納形式、及びネットワーク１７を経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。
【０１１６】
［医療画像処理装置の機能］
図２は医療画像処理装置の機能を示す機能ブロック図である。図２に示した医療画像処理装置１４は、図示しないコンピュータを備える。コンピュータは、プログラムの実行に基づき、画像取得部４１、情報取得部４２、医療画像解析処理部４３、及び表示制御部４４として機能する。医療画像処理装置１４は、医療画像処理装置１４の各種制御に用いる情報を記憶する記憶部４７を備える。
【０１１７】
〔画像取得部〕
画像取得部４１は、ＣＴＣ画像取得部４１ａ、及び内視鏡画像取得部４１ｂを備える。ＣＴＣ画像取得部４１ａは、図示しない画像入出力インターフェースを介して、ＣＴＣ画像１９を取得する。内視鏡画像取得部４１ｂは、図示しない画像入出力インターフェースを介して、内視鏡画像３７を取得する。画像入出力インターフェースの接続形態は有線でもよいし、無線でもよい。以下に、ＣＴＣ画像取得部４１ａ、及び内視鏡画像取得部４１ｂについて詳細に説明する。
【０１１８】
《ＣＴＣ画像取得部》
ＣＴＣ画像取得部４１ａは、図１に示した画像記憶装置１８に記憶されているＣＴＣ画像１９を取得する。図２に示したＣＴＣ画像取得部４１ａを用いて取得したＣＴＣ画像１９は、画像記憶部４８に記憶される。ＣＴＣ画像取得部４１ａは、後述する内視鏡画像取得部４１ｂと同様の構成を適用可能である。符号１９ｂは視点画像を表す。視点画像１９ｂはＣＴＣ画像１９に設定される視点における視野の画像である。視点は符号Ｐを付して図５に図示する。視点画像、及び視点の詳細は後述する。
【０１１９】
ここで、本実施形態における画像という用語は、画像を表すデータの概念、又は信号の概念が含まれる。ＣＴＣ画像１９は仮想内視鏡画像の一例である。ＣＴＣ画像１９は仮想大腸内視鏡画像に相当する。ＣＴＣ画像取得部４１ａは仮想内視鏡画像を入力する第１画像入力部の一例である。
【０１２０】
《内視鏡画像取得部》
内視鏡画像取得部４１ｂは、図１に示したプロセッサ１２を用いて生成された内視鏡画像３７を取得する。内視鏡画像３７は図２に示した動画像３８及び静止画像３９が含まれる。本実施形態では、図１に示したプロセッサ１２を用いて生成された内視鏡画像３７を取得したが、外部の記憶装置に記憶されている内視鏡画像３７を取得してもよい。図２に示した内視鏡画像取得部４１ｂは、メモリーカード等の各種情報記憶媒体を介して内視鏡画像３７を取得してもよい。
【０１２１】
動画像３８の撮影途中に静止画像３９の撮影が行われた場合、内視鏡画像取得部４１ｂは、図１に示したプロセッサ１２から動画像３８及び静止画像３９を取得する。医療画像処理装置１４は、内視鏡画像取得部４１ｂを用いて取得した動画像３８及び静止画像３９を画像記憶部４８に記憶する。符号３８ａは、動画像３８を構成する複数のフレーム画像を表す。
【０１２２】
医療画像処理装置１４は、プロセッサ１２等から入力される内視鏡画像３７の動画像３８の全てを画像記憶部４８に記憶させる必要はなく、図１に示した静止画像撮影指示部３２の操作に応じて被観察部位の静止画撮影が行われた場合、その前後の１分間の動画像３８を、図２に示した画像記憶部４８に記憶させてもよい。前後の１分間は、撮影前１分間から撮影後１分間までの期間を表す。
【０１２３】
内視鏡画像取得部４１ｂは、実内視鏡画像を入力する第２画像入力部の一例である。内視鏡画像３７は実内視鏡画像に相当する。
【０１２４】
〔情報取得部〕
情報取得部４２は、操作装置１５等を介して外部から入力された情報を取得する。例えば、操作装置１５を用いてユーザが判定した判定結果、及び抽出結果等が入力された場合に、情報取得部４２はユーザの判定情報、及び抽出情報等を取得する。
【０１２５】
〔医療画像解析処理部〕
医療画像解析処理部４３はＣＴＣ画像１９を解析する。また、医療画像解析処理部４３は内視鏡画像３７を解析する。医療画像解析処理部４３を用いたＣＴＣ画像１９、及び内視鏡画像３７の解析の詳細は後述する。
【０１２６】
〔深層学習アルゴリズム〕
医療画像解析処理部４３は、深層学習アルゴリズム６５に基づき、深層学習を用いた画像解析処理を実施する。深層学習アルゴリズム６５は、公知のコンボリューションニューラルネットワークの手法と、全結合層と、出力層とを含むアルゴリズムである。
【０１２７】
なお、深層学習はディープラーニングと呼ばれることがある。コンボリューションニューラルネットワークは、畳み込み層及びプーリング層の繰り返し処理である。コンボリューションニューラルネットワークは、畳み込みニューラルネットワークと呼ばれる場合がある。なお、深層学習を用いた画像解析処理は公知技術であるので、具体的な説明は省略する。深層学習は機械学習の一例である。
【０１２８】
〔表示制御部〕
表示制御部４４は、モニタ装置１６の画像表示を制御する。表示制御部４４は、再生制御部４４ａ及び情報表示制御部４４ｂとして機能する。
【０１２９】
《再生制御部》
再生制御部４４ａは、ＣＴＣ画像取得部４１ａを用いて取得したＣＴＣ画像１９、及び内視鏡画像取得部４１ｂを用いて取得した内視鏡画像３７の再生制御を行う。再生制御部４４ａは、操作装置１５を用いて画像を再生する操作がされた場合、表示制御プログラムを実行してモニタ装置１６を制御する。表示制御プログラムはプログラム記憶部４９に記憶されるプログラムに含まれる。
【０１３０】
ＣＴＣ画像１９、及び内視鏡画像３７の表示制御例として、ＣＴＣ画像１９、又は内視鏡画像３７のいずれか一方を全画面表示する例が挙げられる。ＣＴＣ画像１９、及び内視鏡画像３７の他の表示制御例として、ＣＴＣ画像１９、及び内視鏡画像３７を一画面内に並列表示する例が挙げられる。再生制御部４４ａは、上述した２つの表示を切り替えてもよい。
【０１３１】
内視鏡画像３７の表示制御例として、動画像３８、又は静止画像３９のいずれか一方を全画面表示する形態が挙げられる。内視鏡画像３７の他の表示例として、動画像３８、及び静止画像３９を１画面内に並列表示する形態が挙げられる。再生制御部４４ａは、上述した２つの表示を切り替えてもよい。
【０１３２】
ＣＴＣ画像１９、及び内視鏡画像３７の表示例として、ＣＴＣ画像１９、及び内視鏡画像３７を一画面内に並列表示させる例を図１４から図１６等に示す。
【０１３３】
《情報表示制御部》
情報表示制御部４４ｂは、ＣＴＣ画像１９の付帯情報の表示制御、及び内視鏡画像３７の付帯情報の表示制御を行う。ＣＴＣ画像１９の付帯情報の一例として、第１特徴領域を表す情報が挙げられる。内視鏡画像３７の付帯情報の例として、第２特徴領域を表す情報が挙げられる。
【０１３４】
情報表示制御部４４ｂは、医療画像解析処理部４３における各種処理の際に必要な情報の表示制御を行う。医療画像解析処理部４３における各種処理の例として、ＣＴＣ画像１９と内視鏡画像３７との対応付け処理、ＣＴＣ画像１９の特徴領域抽出処理、及び内視鏡画像３７の特徴領域抽出処理が挙げられる。
【０１３５】
医療画像解析処理部４３における各種処理の他の例として、ＣＴＣ画像１９と内視鏡画像３７との対応付け処理が挙げられる。ここに列挙した医療画像解析処理部４３における各種処理の詳細は後述する。
【０１３６】
〔記憶部〕
記憶部４７は、画像記憶部４８を備える。画像記憶部４８は、医療画像処理装置１４が取得したＣＴＣ画像１９、及び内視鏡画像３７を記憶する。図２には、医療画像処理装置１４が記憶部４７を備える態様を例示したが、医療画像処理装置１４とネットワークを介して通信可能に接続される記憶装置等が記憶部４７を備えてもよい。上述した記憶装置の例として、図１に示したネットワーク１７を介して通信可能に接続される画像記憶装置１８が挙げられる。
【０１３７】
記憶部４７は、プログラム記憶部４９を備える。プログラム記憶部４９を用いて記憶されるプログラムは、動画像３８の再生制御を医療画像処理装置１４に実行させるためのアプリケーションプログラムが含まれる。また、プログラム記憶部４９を用いて記憶されるプログラムは、医療画像解析処理部４３の処理を医療画像処理装置１４に実行させるためのプログラムが含まれる。
【０１３８】
〔医療画像処理装置のハードウェア構成〕
医療画像処理装置１４は、複数のコンピュータ等を用いて構成してもよい。複数のコンピュータ等は、ネットワークを介して通信可能に接続されてもよい。ここでいう複数のコンピュータは、ハードウェア的に分離していてもよいし、ハードウェア的に一体に構成され、且つ機能的に分離されていてもよい。
【０１３９】
〔各種制御部のハードウェア構成〕
図２に示した医療画像処理装置１４の各種制御を実行する制御部のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。図３に示す医療画像解析処理部４３についても同様である。
【０１４０】
各種のプロセッサには、ソフトウェアを実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。なお、ここでいうソフトウェアはプログラムと同義である。
【０１４１】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサを用いて構成されてもよい。２つ以上のプロセッサの例として、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡとの組み合わせが挙げられる。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアント装置、及びサーバ装置等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組合せを用いて１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、ＳｏＣ（System On Chip）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。なお、ＩＣは集積回路の英語表記であるIntegrated Circuitの省略語である。
【０１４２】
〔医療画像解析処理部の詳細な説明〕
図３は医療画像解析処理部の機能を示す機能ブロック図である。以下の説明における内視鏡１０は図１に図示されている。また、ＣＴＣ画像１９、視点画像１９ｂ、内視鏡画像３７、及びフレーム画像３８ａは図２に図示されている。
【０１４３】
図３に示した医療画像解析処理部４３は、第１特徴領域抽出部５０と、第１条件設定部５２と、第２特徴領域抽出部５４と、第２条件設定部５６と、対応付け部５８と、報知部５９と、報知画像生成部６０と、を備える。
【０１４４】
《第１特徴領域抽出部》
第１特徴領域抽出部５０は、ＣＴＣ画像１９から、規定の第１条件に合致する特徴領域である第１特徴領域を抽出する。ＣＴＣ画像１９の第１特徴領域の例として、病変、ひだ、各結腸間の変化点、及び血管が挙げられる。なお、血管は血管の走行パターンが含まれる。第１特徴領域抽出部５０が担う機能は第１特徴領域抽出機能に相当する。
【０１４５】
《第１条件設定部》
第１条件設定部５２は第１条件を設定する。第１条件は、第１特徴領域抽出部５０を用いた抽出処理に適用される抽出条件である。第１条件設定部５２は、図２に示した操作装置１５を用いて入力された情報を第１条件として設定し得る。上述した第１特徴領域の例示は、第１条件の例示として把握される。
【０１４６】
《第２特徴領域抽出部》
第２特徴領域抽出部５４は、図２に示した内視鏡画像３７から、規定の第２条件に合致する特徴領域である第２特徴領域を抽出する。内視鏡画像３７の第２特徴領域の例として、ＣＴＣ画像１９の第１特徴領域と同様に、病変、ひだ、各結腸間の変化点、及び血管が挙げられる。
【０１４７】
第２特徴領域抽出部５４は、第２条件に合致する第２特徴領域を内視鏡画像３７から自動的に抽出してもよい。第２特徴領域抽出部５４は、第２条件に合致する第２特徴領域を、ユーザが内視鏡画像３７から手動抽出した抽出結果を取得してもよい。ユーザは、図２に示した情報取得部４２を用いて手動抽出した抽出結果を入力してもよい。第２特徴領域抽出部５４が担う機能は第２特徴領域抽出機能に相当する。
【０１４８】
《第２条件設定部》
第２条件設定部５６は、内視鏡画像３７の第２特徴領域の抽出条件として、第１条件に対応する第２条件を設定する。第１条件に対応する第２条件には、第１条件と同一の第２条件が含まれる。例えば、第１条件として病変が設定された場合、第２条件として病変が設定され得る。
【０１４９】
第１条件、及び第２条件は、病変という包括概念に代わり、ポリープ、及び炎症等の具体的な病変が設定されてもよい。また、第１条件、及び第２条件は、複数の条件を組み合わせてもよい。
【０１５０】
第２条件として病変が設定され、且つ第２特徴領域として内視鏡画像３７から病変を抽出する場合は、内視鏡検査における病変の検出に相当する。上述した第２特徴領域の例示は、第２条件の例示として把握される。
【０１５１】
《対応付け部》
対応付け部５８は、図２に示したＣＴＣ画像１９と内視鏡画像３７との対応付けを行う。ＣＴＣ画像１９と内視鏡画像３７との対応付けの例として、ＣＴＣ画像１９の第１特徴領域と内視鏡画像３７の第２特徴領域との対応付けが挙げられる。例えば、内視鏡画像３７の第２特徴領域として病変が検出された場合、検出された病変に対応するＣＴＣ画像１９の第１特徴領域を内視鏡画像３７の第２特徴領域に対応付けする。
【０１５２】
ＣＴＣ画像１９と内視鏡画像３７との対応付けは位置情報を用いることが可能である。例えば、ＣＴＣ画像１９の基準位置と内視鏡画像３７の基準位置とを一致させて、ＣＴＣ画像１９、及び内視鏡画像３７のそれぞれの基準位置からの距離を用いて、ＣＴＣ画像１９と内視鏡画像３７との対応付けが可能である。
【０１５３】
また、ＣＴＣ画像１９の座標値と内視鏡画像３７のフレーム画像３８ａの番号とを対応付けしてもよい。ＣＴＣ画像１９と内視鏡画像３７との対応付けには、ＣＴＣ画像１９の第１特徴領域と内視鏡画像３７の非抽出領域との対応付けが含まれる。ＣＴＣ画像１９の第１特徴領域と内視鏡画像３７の非抽出領域との対応付けとの具体例は後述する。対応付け部５８が担う機能を対応付け機能に相当する。
【０１５４】
《報知部》
報知部５９は、ＣＴＣ画像１９抽出された第１特徴領域８０と対応付けされた内視鏡画像３７の領域のうち、内視鏡画像３７から抽出されない非抽出領域となる領域が存在する場合に、その旨を報知する。非抽出領域の一例として、内視鏡１０の観察範囲の死角の位置が挙げられる。報知部５９は、表示制御部４４を介してモニタ装置１６に報知情報を表示する。報知情報の一例として、後述する報知画像が挙げられる。報知部５９が担う機能は報知機能に相当する。
【０１５５】
《報知画像生成部》
報知画像生成部６０は、内視鏡画像３７の第２特徴領域の存在を報知する報知画像を生成する。報知画像の例として、第２特徴領域の任意の位置に付される記号、第２特徴領域の縁を表す閉曲線等が挙げられる。
【０１５６】
報知画像の表示例として、内視鏡画像３７と報知画像とを別のレイヤーとして生成し、報知画像を内視鏡画像３７にオーバーレイ表示させる態様が挙げられる。すなわち、報知画像生成部６０は、内視鏡画像３７に処理を加えることなく、内視鏡画像３７に重畳表示させることが可能な報知画像を生成する。
【０１５７】
報知画像の一例として図１４に第１報知画像１４０を図示する。報知画像の他の例として図１５に第２報知画像１４２を図示する。報知画像の詳細は後述する。
【０１５８】
〔画像記憶部の詳細な説明〕
図４は画像記憶部の機能を示す機能ブロック図である。画像記憶装置１８は、第１特徴領域記憶部６４と、第２特徴領域記憶部６６と、対応付け結果記憶部６８とを備える。
【０１５９】
《第１特徴領域記憶部》
第１特徴領域記憶部６４は、図３に示した第１特徴領域抽出部５０を用いてＣＴＣ画像１９から抽出された第１特徴領域の情報を記憶する。第１特徴領域の情報の例として、ＣＴＣ画像１９における第１特徴領域の位置を表す情報が挙げられる。ＣＴＣ画像１９における第１特徴領域の位置は、ＣＴＣ画像１９に設定された座標における座標値、及びＣＴＣ画像１９に設定された視点等を用いて特定し得る。
【０１６０】
《第２特徴領域記憶部》
第２特徴領域記憶部６６は、図３に示した第２特徴領域抽出部５４を用いて内視鏡画像３７から抽出された第２特徴領域の情報を記憶する。第２特徴領域の情報の例として、内視鏡画像３７における第２特徴領域の位置を表す情報が挙げられる。
【０１６１】
内視鏡画像３７における第２特徴領域の位置は、内視鏡１０が備えるセンサの検出情報を用いて、被観察対象の基準位置からの距離を用いて特定し得る。
【０１６２】
《対応付け結果記憶部》
対応付け結果記憶部６８は、図３に示した対応付け部５８を用いて実行されたＣＴＣ画像１９と内視鏡画像３７との対応付けの結果を記憶する。例えば、ＣＴＣ画像１９の第１特徴領域の位置の情報と、内視鏡画像３７の第２特徴領域の位置の情報とを対応付けた結果を記憶し得る。
【０１６３】
［報知方法の説明］
次に、内視鏡検査における報知方法について説明する。本実施形態では、仮想大腸内視鏡検査を併用して実施される大腸の内視鏡検査を例示する。なお、大腸の内視鏡検査は例示であり、本実施形態に係る報知方法は、気管支等の他の部位の内視鏡検査に適用可能である。
【０１６４】
〔ＣＴＣ画像〕
図５はＣＴＣ画像の模式図である。図５に示した全体画像１９ａは、被観察部位である大腸の全体を表すＣＴＣ画像１９の一形態である。被観察部位は、被検体、及び被検体の観察対象と同義である。
【０１６５】
全体画像１９ａは、設定されたパス１９ｃの上に１つ以上の視点Ｐを置き、スタート位置ＰＳから、ゴール位置ＰＧまで順次に視点Ｐを変更しつつ、各視点Ｐから管腔の内部を見たことを想定した画像である。パス１９ｃは、全体画像１９ａに対して細線化を施して生成し得る。細線化処理は公知の細線化手法を適用可能である。図５には、複数の視点Ｐを図示したが、視点Ｐの配置、及び数量は検査条件等に応じて、適宜決定し得る。
【０１６６】
全体画像１９ａの各視点Ｐを指定した場合、指定された視点Ｐにおける視野の画像を表す視点画像を表示可能である。なお、各視点Ｐにおける視点画像は符号１９ｂ１、及び符号１９ｂ２を付して図８に図示する。
【０１６７】
各視点Ｐにおいて、内視鏡１０の撮像方向を反映させた視点画像を生成し得る。内視鏡１０の撮像方向を反映させた視点画像は、複数の撮像方向のそれぞれについて生成し得る。図５に示した全体画像１９ａ、及び図５に図示しない視点画像は、図２に示したＣＴＣ画像１９の概念に含まれる。
【０１６８】
図５に全体画像１９ａを示したＣＴＣ画像１９は、図示しない３次元座標が設定される。ＣＴＣ画像１９に設定される３次元座標は、ＣＴＣ画像１９の任意の基準位置を原点とする３次元座標を適用可能である。３次元座標は、直交座標、極座標、及び円筒座標など、任意の３次元座標を適用可能である。なお、３次元座標の図示は省略する。
【０１６９】
〔仮想大腸内視鏡検査〕
仮想大腸内視鏡検査は、ＣＴ装置を用いて大腸を撮像して大腸のＣＴ画像を取得し、大腸のＣＴ画像に画像処理を施して生成されたＣＴＣ画像１９を用いて病変等を検出する。仮想大腸内視鏡検査は、内視鏡１０の移動と連動して、内視鏡１０に見立てたポインタ１９ｄをスタート位置ＰＳからゴール位置ＰＧまで、パス１９ｃ上を移動させる。図５に示した矢印は、ポインタ１９ｄの移動方向を表す。
【０１７０】
図５には、スタート位置ＰＳとして盲腸を適用し、且つゴール位置ＰＧとして肛門を適用した例を示す。すなわち、図５には、内視鏡１０をスタート位置ＰＳまで挿入し、内視鏡１０を抜きながらゴール位置ＰＧ位置へ移動させる場合の仮想大腸内視鏡検査を模式的に図示した。
【０１７１】
ポインタ１９ｄの位置は、内視鏡１０の移動条件から導出される。内視鏡１０の移動条件の例として、内視鏡１０の移動速度、及び内視鏡１０の移動方向を表す移動ベクトルが挙げられる。
【０１７２】
内視鏡１０は図示しないセンサを用いて被観察部位の内部における位置を把握し得る。また、内視鏡１０は図示しないセンサを用いて内視鏡１０の移動速度、及び移動方向を表す移動ベクトルの導出が可能である。更に、内視鏡１０は図示しないセンサを用いて内視鏡１０の向きの導出が可能である。
【０１７３】
仮想大腸内視鏡検査では、内視鏡画像３７から取得することが困難な３次元情報を、ＣＴＣ画像１９から取得し得る。
【０１７４】
〔内視鏡画像〕
内視鏡検査は、内視鏡画像３７からポリープ等の病変を検出する。すなわち、内視鏡検査は、内視鏡１０を用いて、リアルタイムに生成される動画像３８を見て、病変の位置、及び形状等を特定する。内視鏡検査は、内視鏡画像３７の再生画像を用いてもよい。
【０１７５】
図６は内視鏡画像の模式図である。内視鏡画像３７の一例として、動画像３８を構成する任意のフレーム画像３８ａを図６に示す。図６に示したフレーム画像３８ａは２次元画像である。フレーム画像３８ａは色情報、及びテクスチャ情報を有している。
【０１７６】
内視鏡画像３７は色情報、及びテクスチャ情報を有しているために、内視鏡検査は平坦な病変、及び表面状態の違い等の検出に強い。一方、内視鏡検査は、ひだ等の突起構造の裏側の病変の発見を苦手とする。
【０１７７】
図７は内視鏡の観察範囲の死角を示す模式図である。図７は、ＣＴＣ画像１９のパス１９ｃに沿う模式的な断面１００、及びＣＴＣ画像１９の断面１００に対応する内視鏡画像３７の模式的な断面１２０を図示する。
【０１７８】
２点鎖線を用いて図示した内視鏡１０Ａ、及び内視鏡１０Ｂは、既に観察を終えた観察位置における内視鏡１０を表す。実線を用いて図示した内視鏡１０は、観察中の観察位置における内視鏡１０を表す。矢印線は内視鏡１０の移動方向を表す。
【０１７９】
なお、図７では、図示の都合上、図７における上下方向の内視鏡１０Ａ、内視鏡１０Ｂ、及び内視鏡１０の位置をずらして、内視鏡１０Ａ、内視鏡１０Ｂ、及び内視鏡１０を図示した。
【０１８０】
ＣＴＣ画像１９は３次元情報を有しているために、仮想大腸内視鏡検査はポリープ等の凸形状の検出に強い。また、ひだの裏に隠れているポリープ等の検出にも強い。例えば、ＣＴＣ画像１９は、ひだ１０２の裏側に位置するポリープ１０４、及びひだ１０２の表側に位置するポリープ１０６のいずれの検出も可能である。但し、視点画像ではひだ１０２の裏側に位置するポリープ１０６は表示されない場合があり得る。
【０１８１】
一方、内視鏡画像３７は３次元情報を有していないので、内視鏡検査では、ひだ１２２の表側に位置するポリープ１２６の検出は可能であるものの、ひだ１２２の裏側に位置するポリープ１２４の検出を苦手とする。
【０１８２】
例えば、ひだ１２２の表側のポリープ１２６は、内視鏡１０Ｂ、又は内視鏡１０の観察範囲に位置する。内視鏡１０Ａはポリープ１２６を検出し得る。ひだ１２２の裏側のポリープ１２４は、内視鏡１０Ａ、内視鏡１０Ｂ、及び内視鏡１０の観察範囲の死角に位置する。内視鏡１０Ａ、内視鏡１０Ｂ、及び内視鏡１０はひだ１２２の裏側のポリープ１２４の検出が困難である。
【０１８３】
このようにして、内視鏡１０、内視鏡１０Ａ、及び内視鏡１０Ｂは、いずれもひだ１２２の裏側のポリープ１２４の検出が困難である。
【０１８４】
〔特徴領域抽出処理〕
図８は第１特徴領域抽出の説明図である。図８には、ＣＴＣ画像１９のうち、任意の視点Ｐにおける視点画像１９ｂ１、及び視点画像１９ｂ２を図示する。図８に示した視点画像１９ｂ１、及び視点画像１９ｂ２を包括する概念が視点画像１９ｂである。
【０１８５】
第１特徴領域抽出処理は、図３に示した第１特徴領域抽出部５０を用いて、図８に示したＣＴＣ画像１９から第１特徴領域８０を抽出する。また、第１特徴領域抽出処理は、図７に示したひだ１０２の裏側に位置するポリープ１０６を第１特徴領域８０として検出し得る。ＣＴＣ画像１９から第１特徴領域８０を抽出する処理は、公知の特徴領域抽出技術を適用可能である。後述する第２特徴領域抽出も同様である。
【０１８６】
公知の特徴領域抽出技術の例として、複数の領域ごとの特徴量を算出して、領域ごとの特徴量に応じて、第１条件に合致する領域を抽出対象の領域として特定する例が挙げられる。領域ごとの特徴量は、各領域に含まれる各画素の画素値を用いて算出し得る。
【０１８７】
図８に示した視点画像１９ｂ１は、第１特徴領域８０として凸形状のポリープが抽出されている。ＣＴＣ画像１９の第１特徴領域８０は、ＣＴＣ画像１９に設定されている３次元座標における座標値の特定が可能である。
【０１８８】
図８には、ＣＴＣ画像１９から第１特徴領域８０として凸形状のポリープを抽出する例を示したが、ひだ、各結腸の変化点、及び血管を抽出してもよい。血管として血管の走行パターンを抽出してもよい。後述する第２特徴領域抽出も同様である。
【０１８９】
複数の第１特徴領域８０が抽出された場合は、複数の第１特徴領域８０は、第１条件と関連付けされ、一括して管理される。
【０１９０】
第１特徴領域８０は、複数の属性に分類してもよい。例えば、病変の位置に関する情報を分類の条件として、第１特徴領域８０として抽出した病変を位置に応じて分類してもよい。病変の位置に関する情報の例として、ひだの表であるか裏であるかの情報が挙げられる。すなわち、第１特徴領域８０として抽出した病変をひだの表の病変と、ひだの裏の病変とに分類してもよい。第１条件として、ひだの表の病変、及びひだの裏の病変を適用して、２種類の第１特徴領域を抽出してもよい。
【０１９１】
図９は第２特徴領域抽出の説明図である。図９には、内視鏡画像３７のうち、任意のフレーム画像３８ａ１を図示する。第２特徴領域の抽出結果は内視鏡検査の結果として取り扱うことが可能である。なお、図９に示したフレーム画像３８ａ１は、静止画像３９を用いてもよい。
【０１９２】
第２特徴領域抽出処理は、図３に示した第２特徴領域抽出部５４を用いて内視鏡画像３７から第２特徴領域７０を抽出する。図９に示したフレーム画像３８ａ１は、第２特徴領域７０として凸形状のポリープが抽出されている。一方、第２特徴領域抽出処理は、図７に示したひだ１２２の裏側のポリープ１２６を第２特徴領域７０として抽出することが困難である。
【０１９３】
図８に示した第１特徴領域８０の情報は、第１特徴領域の抽出結果として、図４に示した第１特徴領域記憶部６４に記憶される。また、図９に示した第２特徴領域７０の情報は、第２特徴領域の抽出結果として、図４に示した第２特徴領域記憶部６６に保存される。
【０１９４】
〔対応付け処理〕
図１０から図１２を用いて対応付け処理について説明する。図１２は病変の対応付けの例を示す模式図である。図１０には内視鏡画像３７のフレーム画像３８ａ１において凸形状のポリープである第２特徴領域７０が検出された場合の例を示す。
【０１９５】
なお、図１０に示した視点画像１９ｂ１は図８に示した視点画像１９ｂ１である。図１０に示した視点画像１９ｂ２は図８に示した視点画像１９ｂ２である。図１０に示した第１特徴領域８０は、図８に示した第１特徴領域８０である。
【０１９６】
また、図１０に示したフレーム画像３８ａ１は、図９に示したフレーム画像３８ａ１である。図１０に示した第２特徴領域７０は、図９に示した第２特徴領域７０である。
【０１９７】
以下に、内視鏡１０の移動に対応して、全体画像１９ａのパス１９ｃに沿って、内視鏡１０の位置を表すポインタ１９ｄを移動させながら、内視鏡検査を行う場合について説明する。内視鏡１０の位置は、内視鏡１０が備えるセンサを用いて既知である。また、各視点Ｐにおける内視鏡１０の向きは、図４に示したパス１９ｃの各視点Ｐにおける接線方向とする。
【０１９８】
図３に示した対応付け部５８は、図１０に示した内視鏡画像３７から第２特徴領域７０が抽出された場合に、第２特徴領域７０に対応する第１特徴領域８０をＣＴＣ画像１９から検索する。内視鏡画像３７の第２特徴領域７０に対応するＣＴＣ画像１９の第１特徴領域８０が検出された場合、ＣＴＣ画像１９の第１特徴領域８０と、内視鏡画像３７の第２特徴領域７０とを対応付ける。
【０１９９】
図３に示した対応付け部５８は、ＣＴＣ画像１９の位置の情報と内視鏡画像３７の位置の情報とを用いてＣＴＣ画像１９の第１特徴領域８０と、内視鏡画像３７の第２特徴領域７０との対応付けをし得る、ＣＴＣ画像１９の位置の情報に代えてＣＴＣ画像１９の画像の情報を適用し、且つ内視鏡画像３７の位置の情報に代えて内視鏡画像３７の画像の情報を適用してもよい。
【０２００】
図３に示した対応付け部５８は、図１０に示したＣＴＣ画像１９の第１特徴領域８０と、内視鏡画像３７の第２特徴領域７０との対応付け結果を、図４に示した対応付け結果記憶部６８へ記憶する。
【０２０１】
換言すると、ＣＴＣ画像１９と内視鏡画像３７との対応付けという概念は、ＣＴＣ画像１９の構成要素と、内視鏡画像３７の構成要素との組を構成するという概念が含まれる。ＣＴＣ画像１９と内視鏡画像３７との対応付けという概念には、内視鏡画像３７の構成要素に対応するＣＴＣ画像１９の構成要素を検索して、特定するという概念が含まれてもよい。
【０２０２】
図１１はひだの対応付けの例を示す模式図である。図１１に示したフレーム画像３８ａ１１は、第２特徴領域７２としてひだが抽出されている。視点画像１９ｂ１１は、第１特徴領域８２としてひだが抽出されている。図１２には、視点画像１９ｂ１１の視点Ｐに対して連続する視点Ｐにおける視点画像１９ｂ１２、及び視点画像１９ｂ１３が図示されている。図３に示した対応付け部５８は、図１１に示した第１特徴領域８２と第２特徴領域７２とを対応付ける。
【０２０３】
図３に示した対応付け部５８は、図１１に示した第１特徴領域８２と第２特徴領域７２との対応付け結果を、図４に示した対応付け結果記憶部６８へ記憶する。
【０２０４】
図１２はひだの番号を用いたひだの対応付けの例を示す模式図である。ＣＴＣ画像１９、及び内視鏡画像３７のいずれにおいても、ひだの数は変わらない。そこで、基準とするひだを定めて、ひだの番号を用いてＣＴＣ画像１９と内視鏡画像３７との対応付けが可能である。
【０２０５】
図１２に示したフレーム画像３８ａ２１は、第２特徴領域７４としてひだが抽出されている。視点画像１９ｂ２１は、第１特徴領域８４としてひだが抽出されている。図１２に示した視点画像１９ｂ２２、及び視点画像１９ｂ２３もまた、第２特徴領域としてひだが抽出されている。なお、視点画像１９ｂ２２、及び視点画像１９ｂ２３の第２特徴領域の図示は省略する。
【０２０６】
視点画像１９ｂ２１に付されたｎ１はひだの番号を表す整数である。視点画像１９ｂ２２に付されたｎ２、視点画像１９ｂ２３に付されたｎ３、及びフレーム画像３８ａ２１に付されたｎ１も同様である。
【０２０７】
フレーム画像３８ａ２１におけるひだの番号ｎ１と、視点画像１９ｂ２１におけるひだの番号ｎ１とが一致する場合、図３に示した対応付け部５８は、図１２に示した第２特徴領域７４と第１特徴領域８４とを対応付けする。
【０２０８】
図３に示した対応付け部５８は、図１２に示した第２特徴領域７４と第１特徴領域８４と対応付け結果を、図４に示した対応付け結果記憶部６８へ記憶する。
【０２０９】
図示は省略するが、各結腸間の変換点、及び血管についても、図１０から図１２を用いて説明した例と同様に、対応付けが可能である。
【０２１０】
〔報知処理〕
次に、図１３から図１５を用いて、報知処理について説明する。図１３は非報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。図１３に示したモニタ装置１６は、内視鏡画像３７を表示し、且つ内視鏡画像３７に対応するＣＴＣ画像１９を表示する。ＣＴＣ画像１９の視点画像１９ｂ３１は、内視鏡画像３７のフレーム画像３８ａ３１に対応している。
【０２１１】
モニタ装置１６に表示される内視鏡画像３７は、内視鏡検査の進行に合わせて、順次更新される。また、ＣＴＣ画像１９は内視鏡画像３７の更新に合わせて、順次更新される。なお、ＣＴＣ画像１９と内視鏡画像３７との間には許容範囲内の遅延があってもよい。
【０２１２】
図１３に示したＣＴＣ画像１９は、ポリープ等の病変が第１特徴領域８０として抽出されていない。また、内視鏡画像３７は、ＣＴＣ画像１９の第１特徴領域８０と対応付けされた領域が存在していない。したがって、モニタ装置１６は、後述する第１報知画像１４０、及び第２報知画像１４２を表示しない。
【０２１３】
図１４は第１報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。図１４に示した内視鏡画像３７のフレーム画像３８ａ３２は、第１報知画像１４０が表示されている。第１報知画像１４０は、ひだ１５０の裏側に図示しないポリープが存在しているものの、フレーム画像３８ａ３２にはポリープが映し出されていない場合に表示される。
【０２１４】
ひだ１５０の裏側にポリープが存在しているものの、フレーム画像３８ａ３２にはポリープが映し出されていない場合でも、ひだ１５０の裏側にポリープが存在している場合は、ＣＴＣ画像１９から、ひだ１６０の裏側のポリープが第１特徴領域８０ｄとして抽出されている。
【０２１５】
但し、視点画像１９ｂ３２は、フレーム画像３８ａ３２と同様の視野を表示しているので、第１特徴領域８０ｄとして抽出されたポリープは表示されていない。第１特徴領域８０ｄを表す破線は、第１特徴領域８０ｄが視点画像１９ｂ３２に表示されていないことを表す。
【０２１６】
図１４に破線を用いて図示した第１特徴領域８０ｄは、内視鏡画像３７から第２特徴領域７０として抽出されていない非抽出領域７６と対応付けがされている。非抽出領域７６の例として、内視鏡画像３７における内視鏡１０の観察範囲の死角に位置する領域が挙げられる。
【０２１７】
すなわち、非抽出領域７６は、本来、第２特徴領域７０が抽出されるべき領域である。また、非抽出領域７６は、内視鏡１０の観察範囲の死角に位置する領域のために、実際に第２特徴領域７０が抽出されない領域である。
【０２１８】
図３に示した報知部５９は、内視鏡画像３７に非抽出領域７６が存在する場合に、第１報知として、モニタ装置１６に表示した内視鏡画像３７の非抽出領域７６の位置に、第１報知画像１４０をオーバーレイ表示させる。また、第１報知画像１４０は、内視鏡画像３７の非抽出領域７６の位置に表示される。図１４に示した第１報知画像１４０は一例であり、形状等は任意に規定し得る。
【０２１９】
第１報知画像１４０は、フレーム画像３８ａ３２の前後のフレーム画像３８ａに表示してもよい。すなわち、内視鏡検査の進行に応じて、非抽出領域７６が内視鏡１０の視野に進入したタイミングから、非抽出領域７６が内視鏡１０の視野から外れるタイミングまでの任意のタイミングにおいて、第１報知画像１４０を表示し得る。図１５に示す第２報知画像１４２についても同様である。
【０２２０】
図１４に示した内視鏡画像３７のひだ１５０は、図７に示した断面１２０ひだ１２２に対応する。また、ＣＴＣ画像１９のひだ１６０は、図７に示した断面１００ひだ１２２に対応する。図１５に示したひだ１５０、及びひだ１６０も同様である。
【０２２１】
図１５は第２報知の場合の内視鏡画像、及び仮想内視鏡画像の模式図である。第２報知は、内視鏡画像３７から第２特徴領域７０が抽出された場合に行われる。図１５に示した内視鏡画像３７は、第２特徴領域７０としてポリープが抽出されており、第２報知として第２報知画像１４２が表示される。
【０２２２】
換言すると、第１特徴領域８０ｅとして、ひだ１６０の表側のポリープが抽出されている場合、図３に示した報知部５９は、モニタ装置１６に表示した内視鏡画像３７の第２特徴領域７０の位置に、第２報知画像１４２をオーバーレイ表示させる。
【０２２３】
図１５に示した内視鏡画像３７のフレーム画像３８ａ３３の第２特徴領域７０は、ＣＴＣ画像１９の視点画像１９ｂ３３の第１特徴領域８０ｅと対応付けがされる。第１特徴領域８０ｅはひだ１６０の表側のポリープである。
【０２２４】
図１４に示した第１報知画像１４０は、図１５に示した第２報知画像１４２に対して報知のレベルが変更されている。具体的には、図１４に示した第１報知画像１４０は、図１５に示した第２報知画像１４２に対して報知のレベルが上げられ、図１４に示した第１報知画像１４０は、図１５に示した第２報知画像１４２に対してサイズが大きくされている。第１報知と第２報知との報知レベルの違いの詳細は後述する。
【０２２５】
本実施形態に示した、ひだ１６０の裏側のポリープとして抽出された第１特徴領域８０ｄ、及びひだ１６０の表側のポリープとして抽出された第１特徴領域８０ｅは、ポリープという条件と、ひだの表側か裏側かという条件を組み合わせた第１条件を適用して、ＣＴＣ画像１９から予め抽出されてもよい。
【０２２６】
［報知方法の手順］
図１６は報知方法の手順を示すフローチャートである。まず、ＣＴＣ画像入力工程Ｓ１０が実行される。ＣＴＣ画像入力工程Ｓ１０では、図２に示したＣＴＣ画像取得部４１ａを用いてＣＴＣ画像１９が入力される。ＣＴＣ画像１９は、画像記憶部４８へ記憶される。図１６に示したＣＴＣ画像入力工程Ｓ１０は第１画像入力工程の一例である。
【０２２７】
ＣＴＣ画像入力工程Ｓ１０の後に、第１特徴領域抽出工程Ｓ１２へ進む。第１特徴領域抽出工程Ｓ１２では、図３に示した第１特徴領域抽出部５０を用いて、ＣＴＣ画像１９から第１特徴領域を抽出する。第１特徴領域の情報は、図４に示した第１特徴領域記憶部６４へ記憶される。
【０２２８】
図１６に示した第１特徴領域抽出工程Ｓ１２の後に、内視鏡画像入力工程Ｓ１４へ進む。内視鏡画像入力工程Ｓ１４では、図３に示した内視鏡画像取得部４１ｂを用いて、内視鏡画像３７が入力される。図１６に示した内視鏡画像入力工程Ｓ１４は第２画像入力工程の一例である。
【０２２９】
内視鏡画像入力工程Ｓ１４後に、第２特徴領域抽出工程Ｓ１６へ進む。第２特徴領域抽出工程Ｓ１６では、図３に示した第２特徴領域記憶部６６を用いて、内視鏡画像３７から第２特徴領域が抽出される。
【０２３０】
図１６に示した内視鏡画像入力工程Ｓ１４、及び第２特徴領域抽出工程Ｓ１６は、内視鏡検査として把握し得る。すなわち、図２に示した内視鏡画像取得部４１ｂは、内視鏡１０を用いて撮像された動画像３８を逐次入力し、図１に示したモニタ装置１６へ内視鏡画像３７として表示する。
【０２３１】
図３に示した第２特徴領域抽出部５４は、内視鏡画像３７から自動的に第２特徴領域７０として病変を抽出する。第２特徴領域抽出部５４は、ユーザが操作装置１５を用いて入力した抽出情報に基づいて、内視鏡画像３７から第２特徴領域７０として病変を抽出してもよい。
【０２３２】
また、図３に示した第１特徴領域抽出部５０は、内視鏡画像３７の取得、及び第２特徴領域７０の抽出と並行して、ＣＴＣ画像１９から第１特徴領域８０の抽出を実行する。第１特徴領域８０は予め抽出され、記憶されていてもよい。
【０２３３】
図１６に示した対応付け工程Ｓ１８では、図３に示した対応付け部５８を用いて、ＣＴＣ画像１９と内視鏡画像３７との対応付けを行う。すなわち、対応付け部５８は、第１特徴領域８０と第２特徴領域７０とを対応付けするか、又は第１特徴領域８０と非抽出領域
７６とを対応付けする。図１６に示した対応付け工程Ｓ１８における対応付けの結果は、図４に示した対応付け結果記憶部６８へ記憶される。
【０２３４】
図１６に示した対応付け工程Ｓ１８の後に判定工程Ｓ２０が実行される。判定工程Ｓ２０では、図５に示した報知部５９を用いて、図１４を用いた説明した第１報知を実行するか、又は図１５に示した第２報知を実行するかを判定する。
【０２３５】
図１６に示した判定工程Ｓ２０において、第１特徴領域８０が内視鏡画像３７の非抽出領域７６に対応付けされた場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は第１報知工程Ｓ２２へ進む。判定工程Ｓ２０において、第１特徴領域８０が内視鏡画像３７の第２特徴領域７０に対応付けされた場合はＮｏ判定となる。Ｎｏ判定の場合は第２報知工程Ｓ２４へ進む。
【０２３６】
例えば、図５に示した報知部５９は、ＣＴＣ画像１９から第１特徴領域８０として抽出されたポリープ等の病変が、内視鏡１０の観察範囲の死角の位置であるか、又は内視鏡１０の観察範囲の位置であるかを判定してもよい。
【０２３７】
報知部５９は、ＣＴＣ画像１９から第１特徴領域８０として抽出されたポリープ等の病変が、内視鏡１０の観察範囲の死角に位置する場合は第１報知を実行し得る。一方、ＣＴＣ画像１９から第１特徴領域８０として抽出されたポリープ等の病変が、内視鏡１０の観察範囲に位置する場合は第２報知を実行し得る。
【０２３８】
第１報知工程Ｓ２２は、図３に示した報知部５９を用いて、図１４を用いて説明した第１報知を実行する。図１６に示した第１報知工程Ｓ２２の後に検査終了判定工程Ｓ２６へ進む。
【０２３９】
第２報知工程Ｓ２４は、図３に示した報知部５９を用いて、図１５を用いて説明した第２報知を実行する。図１６に示した第２報知工程Ｓ２４の後に検査終了判定工程Ｓ２６へ進む。
【０２４０】
検査終了判定工程Ｓ２６は、図３に示した医療画像処理装置１４を用いて、内視鏡検査が終了したか否かを判定する。検査終了判定工程Ｓ２６において、医療画像処理装置１４が、内視鏡検査が終了したと判定した場合はＹｅｓとなる。Ｙｅｓ判定の場合、医療画像処理装置１４は報知方法を終了する。
【０２４１】
一方、検査終了判定工程Ｓ２６において、医療画像処理装置１４が、内視鏡検査が継続されていると判定した場合はＮｏとなる。Ｎｏ判定の場合、医療画像処理装置１４は報知方法を継続する。すなわち、検査終了判定工程Ｓ２６においてＮｏ判定の場合は、内視鏡画像入力工程Ｓ１４へ進む。以降、検査終了判定工程Ｓ２６においてＹｅｓ判定となるまで、内視鏡画像入力工程Ｓ１４から検査終了判定工程Ｓ２６までの各工程が実行される。
【０２４２】
［作用効果］
〔１〕
上記の如く構成された内視鏡システム、及び報知方法によれば、ＣＴＣ画像１９から第１特徴領域８０としてポリープ等の病変を抽出する。ＣＴＣ画像１９と内視鏡画像３７とを対応付ける。ＣＴＣ画像１９の第１特徴領域８０が内視鏡画像３７の非抽出領域７６に対応付けされている場合は第１報知を行う。第１報知に起因して、ユーザは内視鏡画像３７から抽出されない、例えば、内視鏡１０の観察範囲の死角に位置するポリープ等の病変の存在を認識し得る。これにより、内視鏡１０を用いた内視鏡検査において、内視鏡１０の観察範囲の死角となる位置のポリープ等の病変の見落としを抑制し得る。
【０２４３】
また、内視鏡１０の観察範囲の死角に位置するポリープ等の病変の存在を認識した場合は、内視鏡１０の観察範囲を妨げているひだ等を押すことで、内視鏡１０の観察範囲の死角の観察が可能となる。
【０２４４】
〔２〕
第１特徴領域８０が第２特徴領域７０に対応付けされている場合は第２報知を行う。第１報知は第２報知に対して報知のレベルが変更され、報知のレベルが上げられている。これにより、第１特徴領域８０が第２特徴領域７０に対応付けされている場合と比較して、第１特徴領域が非抽出領域７６と対応付けされている場合の認識がし易くなる。
【０２４５】
〔３〕
第１報知画像、及び第２報知画像は、内視鏡画像３７にオーバーレイ表示される。これにより、内視鏡画像３７自体に処理を施すことなく、内視鏡画像３７に第１報知画像１４０、又は第２報知画像１４２を重畳表示させることが可能となる。
【０２４６】
［報知の変形例］
〔第１変形例〕
図１７は第１変形例に係る報知の説明図である。図１７に示した第１報知画像１４４は、第２報知画像１４６に対して濃度が変更される。例えば、第１報知画像１４４は、第２報知画像１４６に対して濃い濃度が適用される。
【０２４７】
第１報知画像１４４と第２報知画像１４６との色を変更してもよい。例えば、第１報知画像１４４は黒が用いられ、第２報知画像１４６はイエローが用いられる。すなわち、第１報知画像１４４は、第２報知画像１４６と比較して、内視鏡画像３７における視認性が高い色が適用される。
【０２４８】
第１変形例に係る報知によれば、第１報知画像１４４と第２報知画像１４６との濃度、及び色の少なくともいずれか一方を変更する。これにより第２報知画像１４６に対して第１報知画像１４４の視認性を高くし得る。
【０２４９】
〔第２変形例〕
図１８は第２変形例に係る報知の説明図である。図１８に示した第１報知画像１４７は、点滅表示される。一方、第２報知画像１４８は、点灯表示される。点灯表示は通常表示として把握し得る。
【０２５０】
第２変形例に係る報知によれば、第１報知画像１４７を点滅表示させ、且つ第２報知画像１４８を点灯表示させる。これにより第２報知画像１４８に対して第１報知画像１４７の視認性を高くし得る。
【０２５１】
〔第３変形例〕
図１９は第３変形例に係る報知の説明図である。図１９に示した第１報知画像１４７Ａは、点滅表示される。第２報知画像１４７Ｂもまた点滅表示される。第１報知画像１４７Ａは、第２報知画像１４７Ｂに対して点滅周期が短くされる。
【０２５２】
第３変形例に係る報知によれば、第１報知画像１４７Ａを点滅表示させ、且つ第２報知画像１４７Ｂを点滅表示させる。第１報知画像１４７Ａは第２報知画像１４７Ｂに対して点滅周期が短くされる。これにより第２報知画像１４７Ｂに対して第１報知画像１４７Ａの視認性を高くし得る。
【０２５３】
上述した第１変形例は、第２変形例、又は第３変形例と、適宜組み合わせることが可能である。
【０２５４】
〔第４変形例〕
第１報知画像１４０は、内視鏡画像３７の非抽出領域７６が内視鏡１０の観察領域に近づくに従い、連続的に、又は段階的にサイズを大きくする等の強調を実行してもよい。第２報知画像１４２も同様である。また、後述する報知音を用いた場合も同様である。
【０２５５】
〔第５変形例〕
第１報知画像１４０、及び第２報知画像１４２をＣＴＣ画像１９に表示してもよい。ＣＴＣ画像１９に表示する第１報知画像１４０、及び第２報知画像１４２は、内視鏡画像３７に表示する第１報知画像１４０、及び第２報知画像１４２と同様の表示態様の変更が可能である。
【０２５６】
［第１特徴領域の他の表示例］
図２０は第１特徴領域の他の表示例の説明図である。図２０は、ＣＴＣ画像１９に第１特徴領域８０を表示する例を示す。図２０に示したＣＴＣ画像１９は、図５に示した全体画像１９ａに相当する。
【０２５７】
細線を用いて図示されたパス１９ｃは、内視鏡１０が既に観察を終えた領域のパス１９ｃを表す。また、太線を用いて図示されたパス１９ｃは、内視鏡１０がこれから観察を行う領域のパス１９ｃを表す。
【０２５８】
第１特徴領域８０ａは、内視鏡１０が既に観察を終えた第１特徴領域８０を表す。第１特徴領域８０ｂは、内視鏡１０が次に観察する第１特徴領域８０を表す。内視鏡１０が次に観察する第１特徴領域８０ｂは強調表示がされる。強調表示は第１報知画像１４０の例と同様に、拡大、色の変更、及び点滅等を適用可能である。
【０２５９】
第１特徴領域８０ｃは、内視鏡１０が第１特徴領域８０ｂの次に観察する第１特徴領域８０を表す。内視鏡１０が第１特徴領域８０ｂを観察した後に、第１特徴領域８０ｃは強調表示がされる。
【０２６０】
モニタ装置１６は、図１４等に示したＣＴＣ画像１９に代わり、図２０に示したＣＴＣ画像１９を表示してもよい。これにより、内視鏡１０の位置の近傍に存在する第１特徴領域８０の位置を把握することができる。図１４に示した第１報知画像１４０等との併用により、内視鏡画像３７から第２特徴領域７０として検出されないポリープ等の病変の検出に寄与する。
【０２６１】
本実施形態では、ＣＴＣ画像１９、及び内視鏡画像３７をモニタ装置１６に２画面表示させる態様を例示したが、内視鏡画像３７をモニタ装置１６に全画面表示させてもよい。
【０２６２】
［報知の他の実施形態］
〔機能の説明〕
図２１は他の実施形態に係る報知を実現する医療画像処理装置の機能を示す機能ブロック図である。他の実施形態に係る報知では、報知音を用いた報知を実行する。図２１に示した医療画像処理装置１４Ａは、図２に示した医療画像処理装置１４に対して、報知音制御部２００、及び音源２０２が追加されている。また、図２１に示した内視鏡システム９Ａは、図２に示した内視鏡システム９に対して、スピーカ２０４が追加されている。
【０２６３】
報知音制御部２００は、スピーカ２０４を介して音源２０２を用いて生成された報知音を出力する。報知音は音声を適用してもよい。報知音は警告音を適用してもよい。報知音制御部２００は、ＣＴＣ画像１９の第１特徴領域８０が、例えば、内視鏡１０の観察範囲に位置する領域等の、内視鏡画像３７の第２特徴領域７０に対応付けされた場合に対して、ＣＴＣ画像１９の第１特徴領域８０が、例えば、内視鏡１０の観察範囲の死角に位置する領域等の、内視鏡画像３７の非抽出領域７６に対応付けされ場合に報知音を強調してもよい。報知音の強調の例として、音量を上げる等が挙げられる。
【０２６４】
ＣＴＣ画像１９の第１特徴領域８０が、例えば、内視鏡１０の観察範囲の死角に位置する領域等の、内視鏡画像３７の非抽出領域７６に対応付けされた場合の報知は第１報知音の一例である。また、ＣＴＣ画像１９の第１特徴領域８０が、例えば、内視鏡１０の観察範囲に位置する領域等の、内視鏡画像３７の第２特徴領域７０に対応付けされた場合の報知音は第２報知音の一例である。
【０２６５】
報知音制御部２００、音源２０２、及びスピーカ２０４は、それぞれ、報知音出力部の構成要素の一例である。
【０２６６】
〔報知の他の実施形態の作用効果〕
他の実施形態に係る報知によれば、ＣＴＣ画像１９の第１特徴領域８０が内視鏡画像３７の非抽出領域７６に対応付けされ場合に音を用いた報知を実行する。これにより、内視鏡画像３７自体に処理を施すことなく、報知が可能となる。
【０２６７】
［他の構成要件の変形例］
〔ＣＴＣ画像の変形例〕
《第１例》
図２に示した医療画像処理装置１４は、ＣＴ画像等の３次元検査画像からＣＴＣ画像１９を生成するＣＴＣ画像生成部を備えてもよい。医療画像処理装置１４は、ＣＴＣ画像取得部４１ａを介して３次元検査画像を取得し、ＣＴＣ画像生成部を用いてＣＴＣ画像１９を生成してもよい。
【０２６８】
《第２例》
図５に示した視点Ｐは、パス１９ｃの上に限定されない。視点Ｐは任意の位置に設定可能である。視点画像１９ｂの視野方向は、内視鏡１０の撮像方向に対応して任意に設定し得る。
【０２６９】
《第３例》
視点画像１９ｂは、全体画像１９ａの任意の断面における３次元検査画像を２次元画像に変換した２次元検査画像としてもよい。
【０２７０】
〔第１特徴領域抽出の変形例〕
《第１例》
第１特徴領域８０の抽出は、ＣＴＣ画像１９の生成に用いられる３次元検査画像を用いてもよい。
【０２７１】
《第２例》
第１特徴領域８０は、予め抽出し、記憶してもよい。予め抽出された第１特徴領域８０は、第１特徴領域８０の位置の情報をインデックスとして検索可能に記憶されてもよい。
【０２７２】
〔第２特徴領域抽出の変形例〕
第２特徴領域の抽出は、動画像３８を再生して実行してもよい。
【０２７３】
〔照明光の変形例〕
特定の波長領域は、以下の変形例の適用が可能である。
【０２７４】
《第１例》
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、且つ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。
【０２７５】
《第２例》
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、且つ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。
【０２７６】
《第３例》
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、且つ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。
【０２７７】
《第４例》
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ且つこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。
【０２７８】
《第５例》
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、且つ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。
【０２７９】
〔特殊光画像の生成例〕
プロセッサ１２は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ１２は、特殊光画像取得部として機能する。そして、プロセッサ１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。
【０２８０】
なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。
【０２８１】
〔特徴量画像の生成例〕
プロセッサ１２は、通常光画像、及び特殊光画像の少なくともいずれか一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。
【０２８２】
［機械学習を用いた抽出規則の更新］
図３に示した第２特徴領域抽出部５４は、ＣＴＣ画像１９の第１特徴領域８０と内視鏡画像３７の非抽出領域７６との対応関係を学習データとして機械学習を実行して、第２特徴領域の抽出規則を更新することが可能である。機械学習は、図２に示した深層学習アルゴリズム６５が適用される。
【０２８３】
［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、ＣＴＣ画像入力機能、第１特徴領域抽出機能、内視鏡画像入力機能、第２特徴領域抽出機能、対応付け機能、及び保存機能を実現させるプログラムを構成し得る。
【０２８４】
ＣＴＣ画像入力機能は第１画像入力機能に相当する。内視鏡画像入力機能は第２画像入力機能に相当する。
【０２８５】
上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
【０２８６】
また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。
【０２８７】
［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
【０２８８】
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
【符号の説明】
【０２８９】
９、９Ａ  内視鏡システム
１０、１０Ａ、１０Ｂ  内視鏡
１１  光源装置
１２  プロセッサ
１３  表示装置
１４、１４Ａ  医療画像処理装置
１５  操作装置
１６  モニタ装置
１７  ネットワーク
１８  画像記憶装置
１９  ＣＴＣ画像
１９ａ  全体画像
１９ｂ、１９ｂ１、１９ｂ２、１９ｂ３、１９ｂ１１、１９ｂ１２、１９ｂ１３、１９ｂ２１、１９ｂ２２、１９ｂ２３、１９ｂ３１、１９ｂ３２、１９ｂ３３  視点画像
１９ｃ  パス
１９ｄ  ポインタ
２０  挿入部
２１  操作部
２２  ユニバーサルコード
２５  軟性部
２６  湾曲部
２７  先端部
２７ａ  先端面
２８  撮像素子
２９  湾曲操作ノブ
３０  送気送水ボタン
３１  吸引ボタン
３２  静止画像撮影指示部
３３  処置具導入口
３５  ライトガイド
３６  信号ケーブル
３７  内視鏡画像
３７ａ、３７ｂ  コネクタ
３８  動画像
３８ａ、３８ａ１、３８ａ１１、３８ａ２１、３８ａ３１、３８ａ３２、３８ａ３３  フレーム画像
３９  静止画像
４１  画像取得部
４１ａ  ＣＴＣ画像取得部
４１ｂ  内視鏡画像取得部
４２  情報取得部
４３  医療画像解析処理部
４４  表示制御部
４４ａ  再生制御部
４４ｂ  情報表示制御部
４７  記憶部
４８  画像記憶部
４９  プログラム記憶部
５０  第１特徴領域抽出部
５２  第１条件設定部
５４  第２特徴領域抽出部
５６  第２条件設定部
５８  対応付け部
５９  報知部
６０  報知画像生成部
６４  第１特徴領域記憶部
６５  深層学習アルゴリズム
６６  第２特徴領域記憶部
６８  対応付け結果記憶部
７０、７２、７４  第２特徴領域
７６  非抽出領域
８０、８０ａ、８０ｂ、８０ｃ、８０ｄ、８０ｅ、８２、８４  第１特徴領域
１００、１２０  断面
１０２、１２２、１５０、１６０  ひだ
１０４、１０６、１２４、１２６  ポリープ
１４０、１４４、１４７、１４７Ａ  第１報知画像
１４２、１４６、１４７Ｂ、１４８  第２報知画像
２００  報知音制御部
２０２  音源
２０４  スピーカ
Ｐ  視点
ＰＳ  スタート位置
ＰＧ  ゴール位置
ｎ１、ｎ２、ｎ３  ひだの番号
Ｓ１０からＳ２６  報知方法の各工程
【図１】
2019087969.tif 000003
【図２】
2019087969.tif 000004
【図３】
2019087969.tif 000005
【図４】
2019087969.tif 000006
【図５】
2019087969.tif 000007
【図６】
2019087969.tif 000008
【図７】
2019087969.tif 000009
【図８】
2019087969.tif 000010
【図９】
2019087969.tif 000011
【図１０】
2019087969.tif 000012
【図１１】
2019087969.tif 000013
【図１２】
2019087969.tif 000014
【図１３】
2019087969.tif 000015
【図１４】
2019087969.tif 000016
【図１５】
2019087969.tif 000017
【図１６】
2019087969.tif 000018
【図１７】
2019087969.tif 000019
【図１８】
2019087969.tif 000020
【図１９】
2019087969.tif 000021
【図２０】
2019087969.tif 000022
【図２１】
2019087969.tif 000023
【国際調査報告】
2019087969.tif 000024
2019087969.tif 000025
2019087969.tif 000026