(57)【要約】医用画像において注目領域の強調表示及び分類等を報知する際に、ユーザ等における観察対象の観察の妨げを抑制し、診断支援を利用し得る、医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラムを提供する。医用画像（３８）から注目領域を検出し、注目領域を分類する認識部（４２）、注目領域の強調表示及び注目領域の分類を、観察対象を表示させる画面に表示させる表示制御部（４４）、強調表示の表示態様を変更するか及び分類の表示態様を変更するかの少なくともいずれかを判定する変更判定部（４８）を備え、表示制御部は強調表示の表示態様を変更すると判定された場合に強調表示の表示態様を変更し、分類の表示態様を変更すると判定された場合に分類の表示態様を変更する。
2020174747.tif 000002
【特許請求の範囲】
【請求項１】
取得した医用画像から注目領域を検出し、検出した前記注目領域を分類する認識部と、
前記注目領域を強調する強調表示及び前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
前記強調表示が表示されている場合に前記強調表示の表示態様を変更するか否か、及び前記分類が表示されている場合に前記分類の表示態様を変更するか否かの少なくともいずれかを判定する変更判定部と、
を備え、
前記表示制御部は、前記変更判定部において前記強調表示の表示態様を変更すると判定された場合に、前記強調表示の強調の程度を弱める変更を実施し、前記変更判定部において前記分類の表示態様を変更すると判定された場合に、前記分類の視認性を弱める変更を実施する医用画像処理装置。
【請求項２】
操作部が操作された際に送信される指令信号を取得する指令信号取得部を備え、
前記変更判定部は、前記指令信号取得部が前記強調表示の表示態様を変更することを表す前記指令信号を取得した場合に前記強調表示の表示態様を変更すると判定し、前記指令信号取得部が前記分類の表示態様を変更することを表す前記指令信号を取得した場合に前記分類の表示態様を変更すると判定する請求項１に記載の医用画像処理装置。
【請求項３】
前記注目領域の分類を実施しているか否かを表す分類実施信号を取得する分類実施信号取得部を備え、
前記変更判定部は、前記分類実施信号取得部が前記注目領域の分類を実施していることを表す前記分類実施信号を取得した場合に前記強調表示の表示態様を変更すると判定する請求項１又は２に記載の医用画像処理装置。
【請求項４】
処置具が動作しているか否かを判定する処置具動作判定部を備え、
前記変更判定部は、前記処置具動作判定部が、前記処置具が動作していると判定した場合に前記強調表示の表示態様を変更すると判定するか、前記分類の表示態様を変更すると判定するか、前記強調表示及び前記分類の表示態様を変更すると判定する請求項１から３のいずれか一項に記載の医用画像処理装置。
【請求項５】
前記認識部は、入力画像のサイズを段階的に小さくする処理を実施する複数のダウンサイジング処理部と、
前記複数のダウンサイジング処理部のそれぞれの出力画像から特徴マップを生成する特徴マップ生成部と、
を備えた請求項１から４のいずれか一項に記載の医用画像処理装置。
【請求項６】
前記ダウンサイジング処理部は、入力画像に対してプーリング処理を施すプーリング処理部、及び入力画像に対して畳み込み処理を施す畳み込み処理部の少なくともいずれかを備える請求項５に記載の医用画像処理装置。
【請求項７】
前記認識部は、前記特徴マップ生成部を用いて生成された複数の前記特徴マップから前記注目領域の特定及び前記注目領域の分類の少なくともいずれかを実施する注目領域認識部を備えた請求項５又は６に記載の医用画像処理装置。
【請求項８】
前記注目領域認識部は、前記複数の特徴マップの重なり具合に基づき前記注目領域の検出及び前記注目領域の分類を実施する請求項７に記載の医用画像処理装置。
【請求項９】
前記認識部は、少なくとも一つの画像に対して注目領域の検出及び注目領域の分類を一括して学習したパラメータを記憶するパラメータ記憶部を備える請求項１から８のいずれか一項に記載の医用画像処理装置。
【請求項１０】
前記表示制御部は、前記強調表示に前記注目領域を囲む閉曲線を適用し、
前記強調表示の表示態様を変更する際に、前記閉曲線の色彩、濃度、及び線の種類の少なくともいずれかを変更する請求項１から９のいずれか一項に記載の医用画像処理装置。
【請求項１１】
前記表示制御部は、前記強調表示の表示態様を変更する際に、前記強調表示の視認性を弱める位置に前記強調表示を移動させる請求項１から１０のいずれか一項に記載の医用画像処理装置。
【請求項１２】
前記表示制御部は、前記注目領域の分類を表す分類情報として分類の内容を表す文字情報を適用し、
前記注目領域の分類の表示態様を変更する際に、前記文字情報の視認性を弱める位置に前記文字情報を移動させる請求項１から１１のいずれか一項に記載の医用画像処理装置。
【請求項１３】
前記表示制御部は、前記注目領域の分類の表示態様を変更する際に、前記文字情報の位置を、前記観察対象を表す画像の表示領域の外に移動させる請求項１２に記載の医用画像処理装置。
【請求項１４】
前記表示制御部は、複数の前記注目領域が検出された場合に、前記複数の注目領域の位置関係を維持して、前記複数の注目領域のそれぞれの分類を表す複数の文字情報を、前記観察対象を表す画像の表示領域の外に移動させる請求項１３に記載の医用画像処理装置。
【請求項１５】
前記表示制御部は、前記注目領域の分類の表示態様を変更する際に、前記文字情報を前記分類の意味を表す文字列の頭文字のみを表示させる請求項１２から１４のいずれか一項に記載の医用画像処理装置。
【請求項１６】
内視鏡を制御する内視鏡制御部と、
前記内視鏡を用いて取得した医用画像から注目領域を検出し、検出した前記注目領域を分類する認識部と、
前記注目領域を強調する強調表示及び前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
前記強調表示が表示されている場合に前記強調表示の表示態様を変更するか否か、及び前記分類が表示されている場合に前記分類の表示態様を変更するか否かの少なくともいずれかを判定する変更判定部と、
を備え、
前記表示制御部は、前記変更判定部において前記強調表示の表示態様を変更すると判定された場合に、前記強調表示の強調の程度を弱める変更を実施し、前記変更判定部において前記分類の表示態様を変更すると判定された場合に、前記分類の視認性を弱める変更を実施するプロセッサ装置。
【請求項１７】
内視鏡と、
前記内視鏡を制御するプロセッサ装置と、
前記内視鏡を用いて取得した内視鏡画像に処理を施す医用画像処理装置と、
を備えた内視鏡システムであって、
前記医用画像処理装置は、
取得した医用画像から注目領域を検出し、検出した前記注目領域を分類する認識部と、
前記注目領域を強調する強調表示及び前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
前記強調表示が表示されている場合に前記強調表示の表示態様を変更するか否か、及び前記分類が表示されている場合に前記分類の表示態様を変更するか否かの少なくともいずれかを判定する変更判定部と、
を備え、
前記表示制御部は、前記変更判定部において前記強調表示の表示態様を変更すると判定された場合に、前記強調表示の強調の程度を弱める変更を実施し、前記変更判定部において前記分類の表示態様を変更すると判定された場合に、前記分類の視認性を弱める変更を実施する内視鏡システム。
【請求項１８】
取得した医用画像から注目領域を検出し、検出した前記注目領域を分類する認識工程と、
前記注目領域を強調する強調表示及び前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示工程と、
前記強調表示が表示されている場合に前記強調表示の表示態様を変更するか否か、及び前記分類が表示されている場合に前記分類の表示態様を変更するか否かの少なくともいずれかを判定する変更判定工程と、
を含み、
前記表示工程は、前記変更判定工程において前記強調表示の表示態様を変更すると判定された場合に、前記強調表示の強調の程度を弱める変更を実施し、前記変更判定工程において前記分類の表示態様を変更すると判定された場合に、前記分類の視認性を弱める変更を実施する医用画像処理方法。
【請求項１９】
コンピュータに、
取得した医用画像から注目領域を検出し、検出した前記注目領域を分類する認識機能、
前記注目領域を強調する強調表示及び前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示機能、及び
前記強調表示が表示されている場合に前記強調表示の表示態様を変更するか否か、及び前記分類が表示されている場合に前記分類の表示態様を変更するか否かの少なくともいずれかを判定する変更判定機能を実現させるプログラムであって、
前記表示機能は、前記変更判定機能を用いて前記強調表示の表示態様を変更すると判定された場合に、前記強調表示の強調の程度を弱める変更を実施し、前記変更判定機能を用いて前記分類の表示態様を変更すると判定された場合に、前記分類の視認性を弱める変更を実施するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラムに係り、特に画面表示に関する。
【背景技術】
【０００２】
一般的な内視鏡システムは、内視鏡の挿入部の先端から照明光を照射し、撮像素子を用いて観察対象を撮像し、観察対象の画像情報を取得する。撮像された画像はモニタに表示される。医師等のユーザはモニタに映し出された画像を観察し、検査を行う。
【０００３】
近年、深層学習を適用した高度な自動認識が可能となっている。非特許文献１は深層学習を適用した画像認識に関する技術が記載されている。内視鏡システムにおいても、深層学習を適用して作製された認識器を用いて、病変等の検出及び病変等の分類を自動で行うことが考えられている。その中でも、非特許文献２に記載されているＳＳＤ（Single Shot multi box Detector）と呼ばれる手法があり、検出と分類等とを一括して行えることが知られている。なお、病変等の分類は鑑別と呼ばれる場合があり得る。
【０００４】
特許文献１は、内視鏡システムを用いて取得した内視鏡画像から強調すべき被写体である生体粘膜を特定し、特定した生体粘膜に対して強調処理を行う画像処理装置が記載されている。
【０００５】
特許文献２は、内視鏡システムを用いて取得した内視鏡画像を基に、病変の種類を自動的に判別及び分類する内視鏡診断支援装置が記載されている。同文献に記載の装置は、内視鏡画像にＲＯＩ（Region Of Interest）を設定し、ＲＯＩごとに特徴量を算出し、特徴量を用いた判別分類処理を実施する。同文献には、判別分類処理の例としてニューラルネットワークが記載されている。
【０００６】
特許文献３は、通常光観察と特殊光観察とを切替可能に構成された内視鏡システムが記載されている。同文献に記載の装置は、特殊光画像から病変部の位置を特定し、特定された位置情報を基に通常光画像を加工して病変部の視認性を高めている。同文献には通常光画像の加工例として、ターゲット色の重畳処理、ターゲット色を用いて病変部の周縁を囲う処理、及び病変部の通常光画像と特殊光画像とを合成する処理が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第６１７６９７９号公報
【特許文献２】特許第４４５１４６０号公報
【特許文献３】特許第５６５８８７３号公報
【非特許文献】
【０００８】
【非特許文献１】A.Krizhevsky, I.Sutskever,and G.Hinton著、「ImageNet classification with deep convolutional neural networks.」、NIPS(Neural Information Processing Systems conference), 2012
【非特許文献２】Pierre Sermanet, David Eigen, Xiang Zhang, Michael Mathieu, Rob Fergus, Yann LeCun著「OverFeat: Integrated Recognition, Localization and Detectionusing Convolutional Networks」、ICLR(International Conference on Learning Representations), 2014
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、内視鏡画像等の医用画像において、注目領域を検出し、注目領域を画面に表示し、注目領域を分類し、分類を画面に表示する場合、注目領域及び分類の報知が、医師等が実施する観察対象の観察の妨げになってしまう懸念がある。
【００１０】
特許文献１に記載の装置は、ユーザが強調処理のオンオフ指示を行うスイッチを備えている。同装置は、ユーザがスイッチを操作することで、撮像画像から特定した生体粘膜の領域に対する強調処理のオフを実施している。
【００１１】
強調処理が生体粘膜領域の観察の妨げになる場合、ユーザは強調処理をオフすることが可能であるが、強調処理をオフしてしまうと、強調処理を適用した診断支援の利用が困難になる。
【００１２】
特許文献２に記載の装置では、レポート表示ウィンドウを開いて判定分類結果を含めた診断支援情報を表示しているので、レポート表示ウィンドウが開かれている場合は、内視鏡画像におけるＲＯＩを観察することができない。
【００１３】
特許文献３に記載の装置では、病変部の視認性を高めた結果、病変部の見落としを抑制することができるが、表示態様が適切でない場合に、病変部の視認性を高める表示が病変部の観察の妨げになることが懸念される。
【００１４】
本発明はこのような事情に鑑みてなされたもので、医用画像において注目領域の強調表示及び分類等を報知する際に、ユーザ等における観察対象の観察の妨げを抑制し、診断支援を利用し得る、医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、次の発明態様を提供する。
【００１６】
第１態様に係る医用画像処理装置は、取得した医用画像から注目領域を検出する認識部であり、注目領域を分類する認識部と、注目領域を強調する強調表示及び注目領域の分類を、医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、強調表示が表示されている場合に強調表示の表示態様を変更するか否か、及び分類が表示されている場合に分類の表示態様を変更するか否かの少なくともいずれかを判定する変更判定部と、を備え、表示制御部は、変更判定部において強調表示の表示態様を変更すると判定された場合に、強調表示の強調の程度を弱める変更を実施し、変更判定部において分類の表示態様を変更すると判定された場合に、分類の視認性を弱める変更を実施する医用画像処理装置である。
【００１７】
第１態様によれば、ユーザが観察対象を観察する際に、強調表示及び分類の少なくともいずれかが観察の妨げになることを抑制し得る。また、ユーザは、観察対象を観察する際に、強調表示及び分類の少なくともいずれかを利用し得る。
【００１８】
注目領域の強調は、注目領域を視覚的に強調する態様を適用し得る。
【００１９】
第２態様は、第１態様の医用画像処理装置において、操作部が操作された際に送信される指令信号を取得する指令信号取得部を備え、変更判定部は、指令信号取得部が強調表示の表示態様を変更することを表す指令信号を取得した場合に強調表示の表示態様を変更すると判定し、指令信号取得部が分類の表示態様を変更することを表す指令信号を取得した場合に分類の表示態様を変更すると判定する構成としてもよい。
【００２０】
第２態様によれば、操作部が操作された際に、注目領域の表示態様の変更及び注目領域の分類の表示態様の変更を実施し得る。
【００２１】
第３態様は、第１態様又は第２態様の医用画像処理装置において、注目領域の分類を実施しているか否かを表す分類実施信号を取得する分類実施信号取得部を備え、変更判定部は、分類実施信号取得部が注目領域の分類を実施していることを表す分類実施信号を取得した場合に強調表示の表示態様を変更すると判定する構成としてもよい。
【００２２】
第３態様によれば、注目領域の分類が実施されている際に、注目領域の表示態様の変更及び分類の表示態様の変更を実施し得る。
【００２３】
第４態様は、第１態様から第３態様のいずれか一態様において、処置具が動作しているか否かを判定する処置具動作判定部を備え、変更判定部は、処置具動作判定部が、処置具が動作していると判定した場合に強調表示の表示態様を変更すると判定するか、分類の表示態様を変更すると判定するか、強調表示及び分類の表示態様を変更すると判定する構成としてもよい。
【００２４】
第４態様によれば、処置具が動作している際に、注目領域の表示態様の変更及び分類の表示態様の変更を実施し得る。
【００２５】
第５態様は、第１態様から第４態様のいずれか一態様の医用画像処理装置において、認識部は、入力画像のサイズを段階的に小さくする処理を実施する複数のダウンサイジング処理部と、複数のダウンサイジング処理部のそれぞれの出力画像から特徴マップを生成する特徴マップ生成部と、を備えた構成としてもよい。
【００２６】
第６態様は、第５態様の医用画像処理装置において、ダウンサイジング処理部は、入力画像に対してプーリング処理を施すプーリング処理部、及び入力画像に対して畳み込み処理を施す畳み込み処理部の少なくともいずれかを備える構成としてもよい。
【００２７】
第６態様によれば、注目領域の検出及び注目領域の分類において、畳み込みニューラルネットワークを適用し得る。
【００２８】
第７態様は、第５態様又は第６態様の医用画像処理装置において、認識部は、特徴マップ生成部を用いて生成された複数の特徴マップから注目領域の特定及び注目領域の分類の少なくともいずれかを実施する注目領域認識部を備えた構成としてもよい。
【００２９】
第７態様によれは、注目領域の検出及び注目領域の分類の少なくともいずれかに、入力画像の特徴を表す特徴マップを適用し得る。
【００３０】
第８態様は、第７態様の医用画像処理装置において、注目領域認識部は、複数の特徴マップの重なり具合に基づき注目領域の検出及び注目領域の分類を実施する構成としてもよい。
【００３１】
第８態様によれば、注目領域の検出精度及び注目領域の分類精度が向上し得る。
【００３２】
第９態様は、第１態様から第８態様のいずれか一態様の医用画像処理装置において、認識部は、少なくとも一つの画像に対して注目領域の検出及び注目領域の分類を一括して学習したパラメータを記憶するパラメータ記憶部を備える構成としてもよい。
【００３３】
第９態様によれば、注目領域の検出処理の一部と注目領域の分類処理の一部とを共通化し得る。
【００３４】
第１０態様は、第１態様から第９態様のいずれか一態様の医用画像処理装置において、表示制御部は、強調表示に注目領域を囲む閉曲線を適用し、強調表示の表示態様を変更する際に、閉曲線の色彩、濃度、及び線の種類の少なくともいずれかを変更する構成としてもよい。
【００３５】
第１０態様によれば、強調表示に閉曲線が適用される場合において、効果的に強調表示を弱めることが可能となる。
【００３６】
第１１態様は、第１態様から第１０態様のいずれか一態様の医用画像処理装置において、表示制御部は、強調表示の表示態様を変更する際に、強調表示の視認性を弱める位置に強調表示を移動させる構成としてもよい。
【００３７】
第１１態様によれば、強調表示が観察の妨げになることを抑制し得る。
【００３８】
第１２態様は、第１態様から第１１態様のいずれか一態様の医用画像処理装置において、表示制御部は、注目領域の分類を表す分類情報として分類の内容を表す文字情報を適用し、注目領域の分類の表示態様を変更する際に、文字情報の視認性を弱める位置に文字情報を移動させる構成としてもよい。
【００３９】
第１２態様によれば、注目領域の分類の内容を表す文字情報が観察の妨げになることを抑制し得る。
【００４０】
第１３態様は、第１２態様の医用画像処理装置において、表示制御部は、注目領域の分類の表示態様を変更する際に、文字情報の位置を、観察対象を表す画像の表示領域の外に移動させる構成としてもよい。
【００４１】
第１３態様によれば、文字情報と観察対象を表す画像とが重畳しない。これにより、文字情報が観察の妨げになることを抑制し得る。
【００４２】
第１４態様は、第１３態様の医用画像処理装置において、表示制御部は、複数の注目領域が検出された場合に、複数の注目領域の位置関係を維持して、複数の注目領域のそれぞれの分類を表す複数の文字情報を、観察対象を表す画像の表示領域の外に移動させる構成としてもよい。
【００４３】
第１４態様によれば、複数の分類の位置関係を用いて、観察対象を表す画像における複数の注目領域の位置関係を把握し得る。
【００４４】
第１５態様は、第１２態様から第１４態様のいずれか一態様の医用画像処理装置において、表示制御部は、注目領域の分類の表示態様を変更する際に、文字情報を分類の意味を表す文字列の頭文字のみを表示させる構成としてもよい。
【００４５】
第１５態様によれば、分類の視認性を弱め、かつ分類の内容を把握し得る。
【００４６】
第１６態様に係るプロセッサ装置は、内視鏡を制御する内視鏡制御部と、内視鏡を用いて取得した医用画像から注目領域を検出する認識部であり、注目領域を分類する認識部と、注目領域を強調する強調表示及び注目領域の分類を、医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、強調表示が表示されている場合に強調表示の表示態様を変更するか否か、及び分類が表示されている場合に分類の表示態様を変更するか否かの少なくともいずれかを判定する変更判定部と、を備え、表示制御部は、変更判定部において強調表示の表示態様を変更すると判定された場合に、強調表示の強調の程度を弱める変更を実施し、変更判定部において分類の表示態様を変更すると判定された場合に、分類の視認性を弱める変更を実施するプロセッサ装置である。
【００４７】
第１６態様によれば、第１態様と同様の効果を得ることができる。
【００４８】
第１６態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプロセッサ装置の構成要素として把握することができる。
【００４９】
第１７態様に係る内視鏡システムは、内視鏡と、内視鏡を制御するプロセッサ装置と、内視鏡を用いて取得した内視鏡画像に処理を施す画像処理装置と、を備えた内視鏡システムであって、画像処理装置は、取得した医用画像から注目領域を検出する認識部であり、注目領域を分類する認識部と、注目領域を強調する強調表示及び注目領域の分類を、医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、強調表示が表示されている場合に強調表示の表示態様を変更するか否か、及び分類が表示されている場合に分類の表示態様を変更するか否かの少なくともいずれかを判定する変更判定部と、を備え、表示制御部は、変更判定部において強調表示の表示態様を変更すると判定された場合に、強調表示の強調の程度を弱める変更を実施し、変更判定部において分類の表示態様を変更すると判定された場合に、分類の視認性を弱める変更を実施する内視鏡システムである。
【００５０】
第１７態様によれば、第１態様と同様の効果を得ることができる。
【００５１】
第１７態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う内視鏡システムの構成要素として把握することができる。
【００５２】
第１８態様に係る医用画像処理方法は、取得した医用画像から注目領域を検出する認識工程であり、注目領域を分類する認識工程と、注目領域を強調する強調表示及び注目領域の分類を、医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示工程と、強調表示が表示されている場合に強調表示の表示態様を変更するか否か、及び分類が表示されている場合に分類の表示態様を変更するか否かの少なくともいずれかを判定する変更判定工程と、を含み、表示工程は、変更判定工程において強調表示の表示態様を変更すると判定された場合に、強調表示の強調の程度を弱める変更を実施し、変更判定工程において分類の表示態様を変更すると判定された場合に、分類の視認性を弱める変更を実施する医用画像処理方法である。
【００５３】
第１８態様によれば、第１態様と同様の効果を得ることができる。
【００５４】
第１８態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う医用画像処理方法の構成要素として把握することができる。
【００５５】
第１９態様に係るプログラムは、コンピュータに、取得した医用画像から注目領域を検出する認識機能であり、注目領域を分類する認識機能、注目領域を強調する強調表示及び注目領域の分類を、医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示機能、及び強調表示が表示されている場合に強調表示の表示態様を変更するか否か、及び分類が表示されている場合に分類の表示態様を変更するか否かの少なくともいずれかを判定する変更判定機能を実現させるプログラムであって、表示機能は、変更判定機能を用いて強調表示の表示態様を変更すると判定された場合に、強調表示の強調の程度を弱める変更を実施し、変更判定機能を用いて分類の表示態様を変更すると判定された場合に、分類の視認性を弱める変更を実施するプログラムである。
【００５６】
第１９態様によれば、第１態様と同様の効果を得ることができる。
【００５７】
第１９態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
【発明の効果】
【００５８】
本発明によれば、ユーザが観察対象を観察する際に、強調表示及び分類の少なくともいずれかが観察の妨げになることを抑制し得る。また、ユーザは、観察対象を観察する際に、強調表示及び分類の少なくともいずれかを利用し得る。
【図面の簡単な説明】
【００５９】
【図１】図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。
【図２】図２は医用画像処理装置のハードウェア構成を示すブロック図である。
【図３】図３は実施形態に係る医用画像処理装置の機能ブロック図である。
【図４】図４は実施形態に係る医用画像処理方法の手順を示すフローチャートである。
【図５】図５は内視鏡画像の説明図である。
【図６】図６は注目領域の強調表示及び注目領域の分類表示の説明図である。
【図７】図７は強調表示の表示態様の変更の説明図である。
【図８】図８は強調表示の表示態様の変更の他の態様の説明図である。
【図９】図９は強調表示の位置を移動させる表示態様の説明図である。
【図１０】図１０は分類の表示態様の変更の説明図である。
【図１１】図１１は分類の表示態様の変更の他の態様の説明図である。
【図１２】図１２は畳み込みニューラルネットワークの説明図である。
【発明を実施するための形態】
【００６０】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。
【００６１】
［内視鏡システムの全体構成］
図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。図１に示す内視鏡システム９は、内視鏡１０、光源装置１１、プロセッサ装置１２、表示装置１３、医用画像処理装置１４、入力装置１５、及びモニタ装置１６を備える。
【００６２】
図１に示す内視鏡１０は電子内視鏡であり、かつ軟性内視鏡である。内視鏡１０は挿入部２０、操作部２１、及びユニバーサルコード２２を備える。挿入部２０は被検体内に挿入される。挿入部２０は、全体が細径で長尺状に形成されている。
【００６３】
挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７を備える。挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７が連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮像光学系及び撮像素子２８等が内蔵される。
【００６４】
撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子が適用される。なお、ＣＭＯＳは、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、Charge Coupled Deviceの省略語である。
【００６５】
先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓は図示しないカバーが取り付けられる。
観察窓の後方には、図示しない撮像光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮像光学系等を介して、被観察部位の像光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位の像光を撮像して、撮像信号を出力する。ここでいう撮像は、被観察部位からの反射光を電気信号へ変換するという意味が含まれる。
【００６６】
操作部２１は挿入部２０の基端側に連設される。操作部２１は、術者が操作する各種操作部材を備える。具体的には、操作部２１は、二種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。なお、術者は、医師、操作者、観察者、及びユーザ等を含み得る。
【００６７】
操作部２１は、送気送水ボタン３０、及び吸引ボタン３１を備える。送気送水ボタン３０は、術者が送気送水操作を行う際に用いられる。吸引ボタン３１は、術者が吸引操作を行う際に用いられる。
【００６８】
操作部２１は、静止画像撮像指示部３２、及び処置具導入口３３を備える。静止画像撮像指示部３２は、被観察部位の静止画像を撮像する際に術者が操作するボタンを備える。
処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。
【００６９】
ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。
【００７０】
また、ユニバーサルコード２２の先端部は、光源装置１１に接続されるコネクタ３７ａ、及びコネクタ３７ａから分岐され、かつプロセッサ装置１２に接続されるコネクタ３７ｂを備える。
【００７１】
コネクタ３７ａが光源装置１１に接続された際に、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光、水等の液体、及び空気等の気体が供給される。
【００７２】
その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから先端面２７ａの図示しない観察窓に向けて気体又は水が噴射される。なお、被観察部位は観察対象、検査対象等と呼ばれる場合があり得る。
【００７３】
コネクタ３７ｂがプロセッサ装置１２に接続された際に、信号ケーブル３６とプロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ装置１２へ被観察部位の撮像信号が出力され、かつプロセッサ装置１２から内視鏡１０へ制御信号が出力される。
【００７４】
本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮像を可能な各種の電子内視鏡を用いてもよい。
【００７５】
光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光又は特定の波長帯域の光を適用可能である。照明光は、白色光及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。
【００７６】
白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、一種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域は、特殊光と呼ばれる場合がある。
【００７７】
プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０へ指令信号を送信し、内視鏡１０の動作を制御する。また、プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。すなわち、プロセッサ装置１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。
【００７８】
プロセッサ装置１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の観察画像である内視鏡画像３８を生成する。ここでいう内視鏡画像３８には動画像が含まれる。内視鏡画像３８は静止画像３９が含まれてもよい。なお、動画像は符号３８ａを付して図３に図示する。実施形態に示す内視鏡画像３８は医用画像の一例である。
【００７９】
プロセッサ装置１２は、操作部２１の静止画像撮像指示部３２が操作された場合、動画像の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像３９を生成する。静止画像３９は、動画像の解像度に対して高解像度に生成されていてもよい。
【００８０】
内視鏡画像３８の生成の際に、プロセッサ装置１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ装置１２はＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像３８へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。実施形態に示すプロセッサ装置は、内視鏡を制御する内視鏡制御部を備えるプロセッサ装置の一例である。
【００８１】
プロセッサ装置１２は、内視鏡画像３８を表示装置１３及び医用画像処理装置１４のそれぞれに出力する。プロセッサ装置１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、図示しない通信ネットワークを介して、図示しない記憶装置へ内視鏡画像３８を出力してもよい。なお、通信ネットワークは図２に示す通信ネットワーク１４０を適用し得る。
【００８２】
表示装置１３は、プロセッサ装置１２に接続される。表示装置１３は、プロセッサ装置１２から送信された内視鏡画像３８を表示する。術者は、表示装置１３に表示される内視鏡画像３８を確認しながら、挿入部２０の進退操作等をし得る。術者は、被観察部位に病変等を検出した場合に、静止画像撮像指示部３２を操作して被観察部位の静止画を撮像し得る。
【００８３】
医用画像処理装置１４は、コンピュータを適用し得る。入力装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。入力装置１５とコンピュータとの接続は有線接続又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。
【００８４】
医用画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を適用してもよい。この場合、入力装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、医用画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。
【００８５】
医用画像処理装置１４は、内視鏡画像３８の取得、及び内視鏡画像３８の記憶を行う。医用画像処理装置１４は、モニタ装置１６の再生制御を行う。なお、本明細書における画像という用語は、画像を表す電気信号、及び画像を表す情報等の画像データという意味が含まれている。本明細書における画像という用語は、画像自身、及び画像データの少なくともいずれかを意味している。
【００８６】
また、画像の記憶という用語は、画像の保存、及び画像の格納等と読み替えることが可能である。ここでいう画像の記憶は、画像の非一時的記憶を意味する。医用画像処理装置１４は画像を一時記憶する一時記憶用のメモリを備えてもよい。
【００８７】
入力装置１５は、医用画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、医用画像処理装置１４の制御の下、内視鏡画像３８の表示を行う。モニタ装置１６は、医用画像処理装置１４における各種情報の表示部として機能してもよい。
【００８８】
医用画像処理装置１４は、図１に図示しない通信ネットワークを介して、図示しない記憶装置と接続され得る。画像の格納形式、及び通信ネットワークを経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。
【００８９】
図示しない記憶装置は、データを非一時的に記憶するストレージ等を適用可能である。記憶装置は、図示しないサーバ装置を用いて管理されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。
【００９０】
［医用画像処理装置のハードウェア構成］
図２は医用画像処理装置のハードウェア構成を示すブロック図である。図２に示す医用画像処理装置１４は、プロセッサ１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、電源装置１２８、ディスプレイコントローラ１３０、入出力インターフェース１３２、及び入力コントローラ１３４を備える。なお、図２に示すＩ／Ｏは入出力インターフェースを表す。
【００９１】
プロセッサ１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、ディスプレイコントローラ１３０、及び入出力インターフェース１３２は、バス１３６を介してデータ通信が可能に接続される。
【００９２】
〔プロセッサ〕
プロセッサ１２０は、医用画像処理装置１４の全体制御部、各種演算部、及び記憶制御部として機能する。プロセッサ１２０は、メモリ１２２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。
【００９３】
プロセッサ１２０は、ネットワークコントローラ１２６を介して、図示しない外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、通信ネットワーク１４０を介して医用画像処理装置１４と通信可能に接続されていてもよい。
【００９４】
プロセッサ１２０は、メモリ１２２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、医用画像処理装置１４の各種機能が実現される。
【００９５】
プロセッサ１２０は、ストレージ装置１２４からのデータの読み出し、及びストレージ装置１２４へのデータの書き込みを制御する。プロセッサ１２０は、ネットワークコントローラ１２６を介して、外部の記憶装置から各種データを取得してもよい。プロセッサ１２０は、取得した各種データを用いて、演算等の各種処理を実行可能である。
【００９６】
プロセッサ１２０は、一つ又は二つ以上のデバイスが含まれてもよい。デバイスの一例として、ＦＰＧＡ（Field Programmable Gate Array）及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ及びＰＬＤは、製造後に回路構成を変更し得るデバイスである。
【００９７】
デバイスの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。
【００９８】
プロセッサ１２０は、同じ種類の二つ以上のデバイスを適用可能である。例えば、プロセッサ１２０は二つ以上のＦＰＧＡを用いてもよいし、二つのＰＬＤを用いてもよい。プロセッサ１２０は、異なる種類の二つ以上のデバイスを適用してもよい。例えば、プロセッサ１２０は一つ以上のＦＰＧＡと一つ以上のＡＳＩＣとを適用してもよい。
【００９９】
複数のプロセッサ１２０を備える場合、複数のプロセッサ１２０は一つのデバイスを用いて構成してもよい。一つのデバイスを用いて複数のプロセッサ１２０を構成する一例として、一つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて一つのデバイスを構成し、このデバイスが複数のプロセッサ１２０として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。
【０１００】
複数のプロセッサ１２０を一つのデバイスで構成する他の例として、複数のプロセッサ１２０を含むシステム全体の機能を一つのＩＣチップで実現するデバイスを使用する形態が挙げられる。複数のプロセッサ１２０を含むシステム全体の機能を一つのＩＣチップで実現するデバイスの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。このように、プロセッサ１２０は、ハードウェア的な構造として、各種のデバイスを一つ以上用いて構成される。
【０１０１】
〔メモリ〕
メモリ１２２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、医用画像処理装置１４において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及びプロセッサ１２０のワーク領域等として機能する。
【０１０２】
〔ストレージ装置〕
ストレージ装置１２４は、各種データを非一時的に記憶する。ストレージ装置１２４は、医用画像処理装置１４の外部に外付けされてもよい。ストレージ装置１２４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
【０１０３】
〔ネットワークコントローラ〕
ネットワークコントローラ１２６は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ１２６を介して接続される通信ネットワーク１４０は、ＬＡＮなどの公知の通信ネットワークを適用し得る。
【０１０４】
〔電源装置〕
電源装置１２８は、ＵＰＳ(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置１２８は停電等に起因して商用電源が遮断された際に、医用画像処理装置１４の各部へ電源を供給する。
【０１０５】
〔ディスプレイコントローラ〕
ディスプレイコントローラ１３０は、プロセッサ１２０から送信される指令信号に基づいてモニタ装置１６を制御するディスプレイドライバーとして機能する。
【０１０６】
〔入出力インターフェース〕
入出力インターフェース１３２は、医用画像処理装置１４と外部機器との通信可能に接続する。入出力インターフェース１３２は、ＵＳＢ（Universal Serial Bus）などの通信規格を適用し得る。
【０１０７】
〔入力コントローラ〕
入力コントローラ１３４は、入力装置１５を用いて入力された信号の形式を医用画像処理装置１４の処理に適した形式に変換する。入力コントローラ１３４を介して入力装置１５から入力された情報は、プロセッサ１２０を介して各部へ送信される。
【０１０８】
なお、図２に示す医用画像処理装置１４のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。また、図２に示すハードウェア構成は、図１に示すプロセッサ装置１２にも適用し得る。
【０１０９】
［医用画像処理装置の機能ブロック］
図３は実施形態に係る医用画像処理装置の機能ブロック図である。医用画像処理装置１４は、画像取得部４０、認識部４２、表示制御部４４、記憶部４６、及び変更判定部４８を備える。尚、本実施形態では、図２に示す医用画像処理装置１４のプロセッサ１２０が、画像取得部４０、認識部４２、表示制御部４４、変更判定部４８の機能を実行する。また、図２に示すストレージ装置１２４が記憶部４６の機能を実行する。尚、画像取得部４０、認識部４２、表示制御部４４、変更判定部４８の機能は、１つまたは複数の汎用目的プロセッサ（例えば、マイクロプロセッサ）、及び、１つまたは複数の特殊目的プロセッサ（例えば、ＡＳＩＣ、ＦＰＧＡ）などの組み合わせにより実現してもよい。
【０１１０】
〔画像取得部〕
画像取得部４０は、プロセッサ装置１２から内視鏡１０を用いて撮像した内視鏡画像３８を取得する。画像取得部４０は、内視鏡画像３８を内視鏡画像記憶部４６ａへ記憶する。
【０１１１】
画像取得部４０は、メモリカード等の情報記憶媒体を介して、プロセッサ装置１２から内視鏡画像３８を取得してもよい。画像取得部４０は、図２に示す通信ネットワーク１４０を介して内視鏡画像３８を取得してもよい。
【０１１２】
画像取得部４０は、時系列のフレーム画像３８ｂから構成される動画像３８ａを取得し得る。画像取得部４０は動画像３８ａの撮像途中に静止画撮像が実施された場合に、静止画像３９を取得し得る。
【０１１３】
〔認識部〕
認識部４２は、注目領域検出部４２ａ、強調表示設定部４２ｂ、及び分類部４２ｃ、分類表示設定部４２ｄを備える。認識部４２は、ＣＮＮ（Convolutional Neural Network）等の学習器を適用して内視鏡画像３８から注目領域を検出する。認識部４２は、注目領域を強調する強調表示を設定する。認識部４２は学習を適用して注目領域を分類する。
【０１１４】
注目領域検出部４２ａは、画像取得部４０を用いて取得した内視鏡画像３８から注目領域を検出する。注目領域検出部４２ａは、内視鏡画像３８と内視鏡画像３８における注目領域とのペアを正解データとして、学習を実施した学習済みの学習器が適用される。注目領域検出部４２ａは、内視鏡画像３８から検出した注目領域を注目領域記憶部４６ｂへ記憶する。
【０１１５】
強調表示設定部４２ｂは、内視鏡画像３８から検出された注目領域を強調する強調表示を設定する。強調表示設定部４２ｂは、注目領域の位置及び注目領域のサイズを特定し、注目領域の位置及び注目領域のサイズに応じて、強調表示の位置及び強調表示のサイズを特定する。強調表示設定部４２ｂは、強調表示の位置及び強調表示のサイズを含む強調表示の情報を注目領域と関連付けして記憶する。
【０１１６】
強調表示設定部４２ｂは、注目領域を囲む閉曲線を強調表示に適用し得る。注目領域を囲む閉曲線は、注目領域を囲む四角形等の多角形、円、及び任意形状の閉曲線を適用し得る。注目領域を囲む閉曲線は、注目領域が内接する多角形及び円、注目領域と重なる多角形及び円、並びに注目領域を内部に含む多角形及び円であり、注目領域と非接触の多角形及び円等を適用し得る。
【０１１７】
分類部４２ｃは、注目領域を分類する。例えば、分類部４２ｃは注目領域が病変であるか非病変であるかを分類する。分類部４２ｃは病変である注目領域の疾病名を特定してもよい。分類部４２ｃは、ＵＩＣＣ（Union for International Cancer Control）及びＴＮＭ分類等の規格化された分類を適用し得る。分類部４２ｃは注目領域ごとの分類を注目領域の情報を対応付けして分類記憶部４６ｃへ記憶する。分類表示設定部４２ｄは、分類部４２ｃで分類された注目領域の表示態様を設定する。例えば、分類部４２ｃで特定された注目領域の疾病名を文字列で表示するか、絵及びアイコンで表示するかを設定する。文字列で表示する場合は、文字の濃度や文字の色彩、文字のサイズを特定する。また、注目領域に対する分類の表示位置を特定する。
【０１１８】
なお、ＴＮＭのＴは、tumorの頭文字である。ＴＮＭのＮは、nodesの頭文字である。ＴＮＭのＭは、metastasisの頭文字である。
【０１１９】
〔表示制御部〕
表示制御部４４は、内視鏡画像３８をモニタ装置１６へ表示させる画像等を表す表示信号をモニタ装置１６へ送信する。表示制御部４４は、注目領域及び注目領域の分類を表す表示信号をモニタ装置１６へ送信する。表示制御部４４は、モニタ装置１６の制御信号をモニタ装置１６へ送信する。
【０１２０】
モニタ装置１６は、内視鏡画像３８、注目領域、及び注目領域の分類を表示する。モニタ装置１６は、注目領域及び注目領域の分類を内視鏡画像３８に重畳表示し得る。モニタ装置１６は、内視鏡画像３８が表示される領域と区画された領域に注目領域及び注目領域の分類を表示し得る。表示制御部４４は、規定の更新間隔を適用して内視鏡画像３８の表示、注目領域の表示、及び注目領域の分類の表示を更新する。
【０１２１】
〔記憶部〕
記憶部４６は、内視鏡画像記憶部４６ａ、注目領域記憶部４６ｂ、及び分類記憶部４８ｃを備える。内視鏡画像記憶部４６ａは、画像取得部４０を用いて取得した内視鏡画像３８を記憶する。
【０１２２】
注目領域記憶部４６ｂは、注目領域の情報を記憶する。注目領域記憶部４６ｂは、注目領域を検出した内視鏡画像３８と関連付けされた注目領域の情報を記憶し得る。注目領域の情報は、内視鏡画像３８における注目領域の座標値及び注目領域の形状を適用し得る。
【０１２３】
注目領域の座標値は、強調表示を設定する際に適用される強調表示の座標値に適用し得る。注目領域の形状は、注目領域の形態及び注目領域面積を含み得る。
【０１２４】
分類記憶部４６ｃは、注目領域ごとの分類が注目領域の情報と関連付けして記憶される。注目領域の情報は、注目領域を特定し得る番号及び記号等が適用される。
【０１２５】
記憶部４６は、一つ以上の記憶素子を適用し得る。すなわち、記憶部４６は、内視鏡画像記憶部４６ａ、注目領域記憶部４６ｂ、及び分類記憶部４６ｃのそれぞれに対応する三つの記憶素子を備え得る。また、内視鏡画像記憶部４６ａ、注目領域記憶部４６ｂ、及び分類記憶部４６ｃは、それぞれ複数の記憶素子を適用し得る。更に、内視鏡画像記憶部４６ａ、注目領域記憶部４６ｂ、及び分類記憶部４６ｃのうち二つ又は全てを、一つの記憶素子を用いて構成し得る。
【０１２６】
〔変更判定部〕
変更判定部４８は、強調表示の表示形態及び注目領域の分類の表示形態の少なくともいずれかを変更するか否かを判定する。変更判定部４８は、強調領域の表示形態を変更することを表す指令信号を取得した場合に、強調表示の表示形態を変更すると判定し得る。
【０１２７】
変更判定部４８は、強調表示の表示形態を変更することを表す指令信号を表示制御部４４へ送信する。表示制御部４４は、受信した指令信号に応じて強調表示の表示形態を変更する。
【０１２８】
なお、実施形態に記載の変更判定部４８は、操作部が操作された際に送信される指令信号を取得する指令信号取得部を構成要素として含み得る。
【０１２９】
例えば、術者が持つ把持部の操作ボタン４９を術者が操作して、内視鏡１０から医用画像処理装置１４へ強調表示の表示形態を変更することを表す信号を送信し、内視鏡１０から送信された信号を医用画像処理装置１４が受信した場合に、医用画像処理装置１４は強調表示の表示形態を変更し得る。術者が持つ把持部の例として図１に示す操作部２１が挙げられる。
【０１３０】
強調表示の表示形態の変更の例として、強調表示の濃度を下げて薄くする、強調表示の色彩を薄い色彩に変更する、実線の閉曲線が適用される場合に実線を破線等に変更する、及び強調表示を移動させるなど、強調表示をオフせずに強度を弱める例が挙げられる。強調表示をオフせずに強度を弱める際に、強調表示を視認可能に弱めることが好ましい。
【０１３１】
また、術者が注目領域の分類を実施していると認識された場合に、医用画像処理装置１４は強調表示の表示形態を変更し得る。術者が注目領域の分類を実施している場合の例として、通常光から特殊光への変更が実施された場合が挙げられる。
【０１３２】
なお、実施形態に記載の変更判定部４８は、注目領域の分類を実施しているか否かを表す分類実施信号を取得する分類実施信号取得部を構成要素として含み得る。
【０１３３】
更に、処置動作が実施されていると認識された場合に、医用画像処理装置１４は強調表示の表示形態を変更し得る。処置動作が実施されていると認識された場合の例として、内視鏡画像３８に処置具が写っている場合が挙げられる。
【０１３４】
なお、実施形態に記載の変更判定部４８は、処置具が動作しているか否かを判定する処置具動作判定部を構成要素として含み得る。
【０１３５】
変更判定部４８は、注目領域の分類の表示形態を変更することを表す指令信号を取得した場合に、注目領域の分類の表示形態を変更すると判定し得る。変更判定部４８は、注目領域の分類の表示形態を変更することを表す指令信号を表示制御部４４へ送信する。表示制御部４４は、受信した指令信号に応じて注目領域の分類の表示形態を変更する。
【０１３６】
例えば、術者が持つ把持部の操作ボタン４９を術者が操作して、内視鏡１０から医用画像処理装置１４へ注目領域の分類の表示形態を変更することを表す信号を送信し、内視鏡１０から送信された信号を医用画像処理装置１４が受信した場合に、医用画像処理装置１４は注目領域の分類の表示形態を変更し得る。
【０１３７】
注目領域の分類の表示形態の変更の例として、分類を表す文字の濃度を下げる、分類を表す文字の色彩を薄い色彩に変更する、分類を表す文字のサイズを小さくする、及び分類を表す文字を移動させる例が挙げられる。注目領域の分類の表示形態の変更の他の例として、分類を表す文字列の一部を省略する、文字列を絵及びアイコン等に変更する例が挙げられる。文字列の一部を省略する例として、文字列を表す省略語を適用する及び文字列の頭文字を適用する例が挙げられる。
【０１３８】
［医用画像処理方法の手順］
図４は実施形態に係る医用画像処理方法の手順を示すフローチャートである。以下に説明する医用画像処理方法は、内視鏡１０を用いた検査の際に取得した内視鏡画像３８に適用してもよいし、医用画像サーバ等から取得した内視鏡画像３８に適用してもよい。
【０１３９】
内視鏡画像取得工程Ｓ１０では、図３に示す画像取得部４０は、図１に示すプロセッサ装置１２から内視鏡画像３８を取得する。内視鏡画像取得工程Ｓ１０では、画像取得部４０は内視鏡画像記憶部４６ａへ内視鏡画像３８を記憶する。内視鏡画像取得工程Ｓ１０の後に注目領域検出工程Ｓ１２へ進む。
【０１４０】
注目領域検出工程Ｓ１２では、注目領域検出部４２ａは内視鏡画像３８を構成する動画像３８ａの任意のフレーム画像３８ｂから注目領域を検出する。注目領域検出部４２ａは一枚のフレーム画像３８ｂから複数の注目領域を検出してもよい。
【０１４１】
注目領域検出工程Ｓ１２では、注目領域検出部４２ａは動画像３８ａの全てのフレーム画像３８ｂから注目領域を検出してもよいし、規定の期間おきのフレーム画像３８ｂから注目領域を検出してもよい。
【０１４２】
注目領域検出工程Ｓ１２では、注目領域検出部４２ａは注目領域をフレーム画像３８ｂの情報と関連付けして、注目領域記憶部４６ｂへ記憶する。注目領域検出工程Ｓ１２の後に分類工程Ｓ１４へ進む。なお、注目領域検出工程Ｓ１２は、注目領域を検出する認識工程の一例に相当する。
【０１４３】
分類工程Ｓ１４では、分類部４２ｃは注目領域ごとに分類を実施する。分類工程Ｓ１４では、分類部４２ｃは注目領域ごとの分類を注目領域と関連付けして、分類記憶部４６ｃへ記憶する。分類工程Ｓ１４の後に表示工程Ｓ１６へ進む。なお、分類工程Ｓ１４は、注目領域を分類する認識工程の一例に相当する。
【０１４４】
表示工程Ｓ１６では、強調表示設定部４２ｂは注目領域ごとに強調表示を設定し、強調表示の情報を表示制御部４４へ送信する。表示制御部４４は内視鏡画像３８を表示する画面に強調表示を表示させる。
【０１４５】
表示工程Ｓ１６では、分類部４２ｃは注目領域ごとの分類の情報を分類表示設定部４２ｄに送付し、分類表示設定部４２ｄは、注目領域ごとに分類の表示態様を設定し、分類の表示態様の情報を表示制御部４４へ送信する。表示制御部４４は内視鏡画像３８を表示する画面に注目領域ごとの分類を表示させる。表示工程Ｓ１６の後に強調表示変更判定工程Ｓ１８へ進む。
【０１４６】
強調表示変更判定工程Ｓ１８では、変更判定部４８は強調表示の表示態様を変更するか否かを判定する。強調表示変更判定工程Ｓ１８において、変更判定部４８が強調表示の表示態様を変更しないと判定した場合はＮｏ判定となり、分類表示変更判定工程Ｓ２０へ進む。一方、強調表示変更判定工程Ｓ１８において、変更判定部４８が強調表示の表示態様を変更すると判定した場合はＹｅｓ判定となり、強調表示変更工程Ｓ２２へ進む。
【０１４７】
分類表示変更判定工程Ｓ２０では、変更判定部４８は分類の表示態様を変更するか否かを判定する。分類表示変更判定工程Ｓ２０において、変更判定部４８が分類の表示態様を変更しないと判定した場合はＮｏ判定となり、最終フレーム画像判定工程Ｓ２６へ進む。
一方、分類表示変更判定工程Ｓ２０において、変更判定部４８が分類の表示態様を変更すると判定した場合はＹｅｓ判定となり、分類表示変更工程Ｓ２４へ進む。なお、強調表示変更判定工程Ｓ１８と分類表示変更判定工程Ｓ２０とは順番を入れ替えてもよい。
【０１４８】
強調表示変更工程Ｓ２２では、強調表示設定部４２ｂは表示態様を変更した強調表示の情報を表す指令信号を表示制御部４４へ送信する。表示制御部４４は受信した指令信号に基づいて、強調表示の表示態様を変更する。強調表示変更工程Ｓ２２の後に最終フレーム画像判定工程Ｓ２６へ進む。
【０１４９】
分類表示変更工程Ｓ２４では、分類部表示設定部４２ｄは表示態様を変更した注目領域の分類の表示態様の情報を表す指令信号を表示制御部４４へ送信する。表示制御部４４は受信した指令信号に基づいて、注目領域の分類の表示態様を変更する。分類表示変更工程Ｓ２４の後に最終フレーム画像判定工程Ｓ２６へ進む。
【０１５０】
最終フレーム画像判定工程Ｓ２６では、医用画像処理装置１４は表示されている内視鏡画像３８が最終フレーム画像であるか否かを判定する。最終フレーム画像判定工程Ｓ２６において、医用画像処理装置１４が表示されている内視鏡画像３８が最終フレーム画像でないと判定した場合はＮｏ判定となり、内視鏡画像取得工程Ｓ１０へ進む。以降、最終フレーム画像判定工程Ｓ２６においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０から最終フレーム画像判定工程Ｓ２６までの各工程を実施する。
【０１５１】
一方、最終フレーム画像判定工程Ｓ２６において、医用画像処理装置１４が表示されている内視鏡画像３８が最終フレーム画像であると判定した場合はＹｅｓ判定となり、医用画像処理装置１４は医用画像処理方法を終了させる。
【０１５２】
［強調表示の表示態様の変更及び分類の表示態様の変更の具体例］
次に、強調表示の表示態様の変更及び分類の表示態様の変更の具体例について説明する。以下の説明では、図１に示す内視鏡１０を用いて大腸を観察して得られた動画像３８ａにおける任意のフレーム画像３８ｂを例示する。なお、観察対象は大腸に限定されず、食道、胃、及び小腸等を観察対象としてもよい。
【０１５３】
図５は内視鏡画像の説明図である。図５に示す内視鏡画像３８は、第一病変２００、第二病変２０２、及び第三病変２０４が視認されている。図５では図示を省略するが、内視鏡画像３８が表示される画面は、患者情報を表示する領域、操作ボタンを表示する領域等を含み得る。
【０１５４】
図３に示す注目領域検出部４２ａは、第一病変２００を第一注目領域２０１として検出する。同様に、注目領域検出部４２ａは、第二病変２０２を第二注目領域２０３として検出し、第三病変２０４を第三注目領域２０５として検出する。
【０１５５】
図６は注目領域の強調表示及び注目領域の分類表示の説明図である。同図に示す内視鏡画像３８は、内視鏡画像３８を表示する画面と同一の画面に注目領域の強調表示及び注目領域の分類が表示される。これにより、術者は視線を移動させずに、内視鏡画像３８、注目領域の強調表示、及び注目領域の分類を視認し得る。
【０１５６】
内視鏡画像３８には、注目領域の強調表示としてバウンディングボックスが適用される。バウンディングボックスは、注目領域を囲む四角形が適用される。すなわち、第一病変２００に対応する第一注目領域２０１は第一バウンディングボックス２１０が重畳表示される。
【０１５７】
同様に、第二病変２０２に対応する第二注目領域２０３は、第二バウンディングボックス２１２が重畳表示され、第三病変２０４に対応する第三注目領域２０５には、第三バウンディングボックス２１４が重畳表示される。
【０１５８】
また、内視鏡画像３８は、注目領域の分類として病変の種類を表す英単語が重畳表示される。すなわち、第一病変２００に対応する第一注目領域２０１は、第一バウンディングボックス２１０の上側の位置に、非腫瘍性ポリープを表す英単語であるＨｙｐｅｒＰｌａｓｔｉｃが第一分類２２０として表示される。
【０１５９】
同様に、第二病変２０２に対応する第二注目領域２０３は、第二バウンディングボックス２１２の上側の位置に、腫瘍を表す英単語であるＡｄｅｎｏｍａが第二分類２２２として表示される。また、第三病変２０４に対応する第三注目領域２０５は、第三バウンディングボックス２１４の上側の位置に、非腫瘍性ポリープを表す英単語であるＨｙｐｅｒＰｌａｓｔｉｃが第三分類２２４として表示される。
【０１６０】
〔強調表示の表示態様の変更の具体例〕
図７は強調表示の表示態様の変更の説明図である。同図に示す内視鏡画像３８は注目領域の強調表示の強調の程度を弱めている。すなわち、第四バウンディングボックス２１０ａは、図６に示す第一バウンディングボックス２１０と比較して濃度が下げられ薄くされている。
【０１６１】
同様に、第五バウンディングボックス２１２ａは、第二バウンディングボックス２１２と比較して濃度が下げられ薄くされており、第六バウンディングボックス２１４ａは、第三バウンディングボックス２１４と比較して濃度が下げられ薄くされている。
【０１６２】
強調表示の強調の程度を弱める表示態様の変更は、強調表示の色彩を変更してもよい。強調表示の色彩変更の例として、赤から黄への変更、及び黒から灰色への変更等が挙げられる。
【０１６３】
図８は強調表示の表示態様の変更の他の態様の説明図である。同図に示す内視鏡画像３８は、強調表示に適用されている閉曲線の種類が変更されている。すなわち、第七バウンディングボックス２１０ｂ、第八バウンディングボックス２１２ｂ、及び第九バウンディングボックス２１４ｂは、線の種類として破線が適用されている。
【０１６４】
線の種類の変更に代わり、又は線の種類の変更と併用して、線の太さを変更してもよい。線の太さを細くした場合に強調の程度は弱められる。
【０１６５】
図９は強調表示の位置を移動させる表示態様の説明図である。同図に示す内視鏡画像３８は、注目領域の全体を囲まない位置へバウンディングボックスの位置を移動させている。すなわち、第十バウンディングボックス２１０ｃは、第一注目領域２０１を囲む位置から第一注目領域２０１を囲まない位置へ移動されている。
【０１６６】
同様に、第十一バウンディングボックス２１２ｃは、第二注目領域２０３を囲む位置から第二注目領域２０３を囲まない位置へ移動され、第十二バウンディングボックス２１４ｃは、第三注目領域２０５を囲む位置から第三注目領域２０５を囲まない位置へ移動されている。
【０１６７】
図示は省略するが、第十バウンディングボックス２１０ｃ、第十一バウンディングボックス２１２ｃ、及び第十二バウンディングボックス２１４ｃは、内視鏡画像３８と非重畳の位置へ移動させてもよい。実施形態に記載の内視鏡画像３８と非重畳の位置は、観察対象を表す画像の表示領域の外の一例に相当する。
【０１６８】
〔分類の表示態様の変更の具体例〕
図１０は分類の表示態様の変更の説明図である。同図に示す第四分類２２０ａは、内視鏡画像３８と重畳する位置から内視鏡画像３８と非重畳の位置に移動させている。同様に、第五分類２２２ａ及び第六分類２２４ａは、内視鏡画像３８と重畳する位置から内視鏡画像３８と非重畳の位置に移動させている。
【０１６９】
また、第四分類２２０ａ、第五分類２２２ａ、及び第六分類２２４ａの相互の位置関係は、図５等に示す第一分類２２０、第二分類２２２、及び第三分類２２４の相互の位置関係が維持されている。
【０１７０】
更に、第四分類２２０ａは、第一分類２２０に適用された文字列の一部が省略された略語が適用される。同様に、第五分類２２２ａは、第二分類２２２に適用された文字列の一部が省略された略語が適用され、第六分類２２４ａは、第三分類２２４に適用された文字列の一部が省略された略語が適用される。
【０１７１】
図１１は分類の表示態様の変更の他の態様の説明図である。同図に示す第七分類２２０ｂは、第一分類２２０に適用された文字列ＨｙｐｅｒＰｌａｓｔｉｃの頭文字Ｈが適用される。第八分類２２２ｂは、第二分類２２２に適用された文字列Ａｄｅｎｏｍａの頭文字Ａが適用される。第九分類２２４ｂは、第三分類２２４に適用された文字列ＨｙｐｅｒＰｌａｓｔｉｃの頭文字Ｈが適用される。
【０１７２】
［畳み込みニューラルネットワークの具体例］
図１２は畳み込みニューラルネットワークの説明図である。ネットワーク３００は、複数のレイヤ構造を有し、複数の重みパラメータを保持している。重みパラメータが初期値から最適値に更新されることで、未学習モデルが学習済みモデルとなる。
【０１７３】
ネットワーク３００は、入力層３１０、中間層３１２、及び出力層３１４を備える。中間層３１２は、第一畳み込み層３２０ａ、第一プーリング層３２２ａ、第二畳み込み層３２０ｂ、第二プーリング層３２２ｂ、第三畳み込み層３２０ｃ、及び全結合層３２４を備える。各層は複数のノードがエッジで結ばれる構造を有している。
【０１７４】
入力層３１０は学習対象の内視鏡画像３８が入力される。中間層３１２は内視鏡画像３８から特徴を抽出する。第一畳み込み層３２０ａ、第二畳み込み層３２０ｂ、及び第三畳み込み層３２０ｃは前の層のノードにフィルタ処理を施して特徴マップを取得する。すなわち、第一畳み込み層３２０ａ、第二畳み込み層３２０ｂ、及び第三畳み込み層３２０ｃは、ノードに対してフィルタを使用した畳み込み演算を実施する。
【０１７５】
第一畳み込み層３２０ａは、２０個のフィルタを用いて、３２×３２サイズの内視鏡画像３８から、２０個の２８×２８サイズの特徴マップを生成する。第二畳み込み層３２０ｂは、２０個の１４×１４サイズの特徴マップから、２０個の１０×１０サイズの特徴マップを生成する。第三畳み込み層３２０ｃは、２０個の１０×１０サイズの特徴マップから、２０個の５×５サイズの特徴マップを生成する。
【０１７６】
第一プーリング層３２２ａは、第一畳み込み層３２０ａから出力された特徴マップを縮小して新たな特徴マップを生成する。第二プーリング層３２２ｂは、第二畳み込み層３２０ｂから出力された特徴マップを縮小して新たな特徴マップを生成する。
【０１７７】
第一プーリング層３２２ａは、２０個の２８×２８サイズの特徴マップから、２０個の１４×１４サイズの特徴マップを生成する。第二プーリング層３２２ｂは、２０個の１０×１０サイズの特徴マップから、２０個の５×５サイズの特徴マップを生成する。
【０１７８】
第一プーリング層３２２ａ及び第二プーリング層３２２ｂは、抽出された特徴が平行移動などによる影響を受けないようにロバスト性を与える役割を担う。なお、中間層３１２は畳み込み層及びプーリング層を一セットとする場合に限らず、畳み込み層が連続する場合、及び図示しない正規化層が含まれる構成もあり得る。
【０１７９】
全結合層３２４は、前の層のすべての出力を次の層の全てのノードに結合する。すなわち、全結合層３２４は第三畳み込み層３２０ｃの出力を出力層３１４の全てのノードに結合する。
【０１８０】
出力層３１４は、中間層３１２を適用して内視鏡画像３８から抽出された特徴を出力する。図３に示す認識部４２は、内視鏡画像３８から注目領域を抽出するネットワーク、及び注目領域の分類を実施するネットワークを備える。
【０１８１】
学習前のネットワーク３００における第一畳み込み層３２０ａ等に適用されるフィルタ係数、オフセット値及び全結合層３２４における次の層との接続の重みは、任意の初期値が設定される。
【０１８２】
ネットワーク３００は、出力層３１４から出力される出力結果、出力結果に対する正解データを取得し、両者間の誤差を算出する。誤差の算出方法として、ソフトマックスエントロピー及びシグモナイド等が挙げられる。
【０１８３】
ネットワーク３００は、算出された誤差を基に、誤差伝播法を適用してネットワーク３００のパラメータを調整する。ネットワーク３００はパラメータの調整を繰り返し実施し、出力結果と正解データとの誤差が小さくなるまで学習を実施する。
【０１８４】
学習後のネットワーク３００は、入力画像に対する注目領域及び注目領域の分類の少なくともいずれかを出力する。出力結果を正解データとして、入力画像と出力結果とのペアを用いてネットワーク３００を再学習してもよい。
【０１８５】
内視鏡画像３８から注目領域を検出するネットワークと、注目領域を分類するネットワークとは、中間層３１２の一部において共通の処理が実施される。そこで、内視鏡画像３８から注目領域を検出するネットワークと、注目領域を分類するネットワークとは、中間層３１２の一部のパラメータを共通化することが可能である。
【０１８６】
図示を省略するが、認識部４２は、内視鏡画像３８から注目領域を検出するネットワークに適用されるパラメータ、及び注目領域を分類するネットワークに適用されるパラメータを記憶するパラメータ記憶部を備える。
【０１８７】
内視鏡画像３８から注目領域を検出するネットワークと、注目領域を分類するネットワークとは、特徴マップの重なり具合に基づき、注目領域の位置の特定及び注目領域の分類を実施し得る。
【０１８８】
内視鏡画像３８から注目領域を検出するネットワークと、注目領域を分類するネットワークとは、一つの内視鏡画像３８に対して、注目領域の検出及び注目領域の分類を一括して学習し得る。
【０１８９】
実施形態に記載の複数の畳み込み層は、入力画像のサイズを段階的に小さくする処理を実施する複数のダウンサイジング部の一例に相当する。実施形態に記載の複数の畳み込み層及び複数のプーリング層の組み合わせは、入力画像のサイズを段階的に小さくする処理を実施する複数のダウンサイジング部の一例に相当する。
【０１９０】
実施形態に記載の畳み込み層は、ダウンサイジング処理部のそれぞれの出力画像から特徴マップを生成する特徴マップ生成部の一例に相当する。
【０１９１】
実施形態に記載のネットワーク３００は、特徴マップから特徴領域の特定及び特徴領域の分類の少なくともいずれかを実施する注目領域認識部の一例に相当する。
【０１９２】
実施形態に記載のプーリング層は、入力画像に対してプーリング処理を施すプーリング処理部の一例に相当する。実施形態に記載の畳み込み層は、畳み込み処理部の一例に相当する。
【０１９３】
［作用効果］
本実施形態に示す医用画像処理装置及び医用画像処理方法によれば、以下の作用効果を得ることが可能である。
【０１９４】
〔１〕
内視鏡画像３８から注目領域を検出し、注目領域を強調する強調表示を設定する。注目領域を分類する。強調表示及び分類を内視鏡画像３８に重畳表示させる。強調表示の表示態様の変更を実施するか否かを判定し、強調表示の表示態様の変更を実施すると判定された場合は強調表示を弱める表示態様の変更を実施する。分類の表示態様の変更を実施するかを判定し、分類の表示態様の変更を実施すると判定された場合は分類の視認性を弱める表示態様の変更を実施する。これにより、術者が観察対象を観察する際に、強調表示及び分類が術者の観察を妨げることを抑制し得る。
【０１９５】
強調表示の表示をオフせずに、強調表示の視認が可能な程度に、強調を弱める表示態様の変更を実施する。これにより、強調表示を用いた診断支援の利用が可能となる。分類の表示をオフせずに、分類の視認が可能な程度に、分類の視認性を弱める表示態様の変更を実施する。これにより、分類を用いた診断支援の利用が可能となる。
【０１９６】
〔２〕
術者が操作部を操作した場合に、強調表示及び分類の少なくともいずれかの表示態様の変更を実施する。これにより、術者の操作に基づく強調表示及び分類の少なくともいずれかの表示態様の変更が可能となる。
【０１９７】
〔３〕
注目領域の分類が実施されている場合に、強調表示及び分類の少なくともいずれかの表示態様の変更を実施する。これにより、注目領域の分類が実施されている場合に、強調表示及び分類の少なくともいずれかの表示態様の変更が可能となる。
【０１９８】
〔４〕
処置具が操作されている場合に強調表示及び分類の少なくともいずれかの表示態様の変更を実施する。これにより、処置具が操作されている場合に、強調表示及び分類の少なくともいずれかの表示態様の変更が可能となる。
【０１９９】
〔５〕
認識部はＣＮＮ等の深層学習器が適用される。これにより、注目領域の検出精度及び注目領域の分類精度が向上し得る。注目領域の検出結果及び注目領域の分類結果を用いた再学習を実施する。これにより、注目領域の検出精度及び注目領域の分類精度が更に向上し得る。
【０２００】
〔６〕
強調表示の表示態様の変更は、強調表示を弱める変更を実施する。これにより、強調表示の視認性を低下させ得る。
【０２０１】
〔７〕
強調表示は注目領域を囲む閉曲線が適用される。強調表示の表示態様の変更は線の濃度変更、色彩変更、線の種類変更の少なくともいずれかが適用される。これにより、強調表示自体の大幅な変更をすることなく、強調表示の視認性を低下させ得る。
【０２０２】
〔８〕
強調表示の表示態様の変更は、強調表示を内視鏡画像３８と非重畳の位置への移動を適用する。これにより、強調表示を表示した状態において、強調表示の視認性を低下させ得る。
【０２０３】
〔９〕
分類の内容を表す分類情報として文字情報を適用する。分類の表示態様の変更は、文字情報を内視鏡画像３８との非重畳の位置への移動を適用する。これにより、分類の内容を表す文字情報を表示した状態において、分類の内容を表す文字情報の視認性を低下させ得る。
【０２０４】
〔１０〕
複数の注目領域が検出された場合に、複数の注目領域の位置関係を維持して、複数の注目領域に対応する複数の分類を移動させる。これにより、複数の分類の位置関係を用いて複数の注目領域の位置関係を把握し得る。
【０２０５】
〔１１〕
分類の内容を表す分類情報として文字情報を適用する。分類の表示態様の変更は、文字情報の一部の省略が適用される。これにより、分類の内容を表す文字情報を表示した状態において、分類の内容を表す文字情報の視認性を低下させ得る。
【０２０６】
〔１２〕
分類の内容を表す分類情報として文字情報を適用する。分類の表示態様の変更は、文字情報の頭文字のみの表示が適用される。これにより、分類の内容を表す文字情報を表示した状態において、分類の内容を表す文字情報の視認性を低下させ得る。
【０２０７】
［医用画像処理装置の変形例］
〔第一変形例〕
注目領域の表示態様の変更と分類の表示態様の変更とを、選択的に実施してもよい。例えば、注目領域の表示態様の変更と分類の表示態様の変更とを切り替えるスイッチを操作部２１に備え、スイッチの操作に応じて注目領域の表示態様の変更と分類の表示態様の変更とを切り替える。
【０２０８】
〔第二変形例〕
注目領域の表示態様の変更に注目領域の表示オフ可能とする。分類の表示態様の変更に分類の表示オフを可能とする。サイクリックに動作するスイッチを用いて、標準の表示態様、表示を継続して弱める表示態様、及び表示をオフする表示態様を切り替えることが可能である。
【０２０９】
〔第三変形例〕
注目領域の表示態様の変更実施から規定の期間が経過した後に、注目領域の表示態様を標準の表示態様に戻してもよい。分類の表示態様の変更実施から規定の期間が経過した後に、分類領域の表示態様を標準の表示態様に戻してもよい。規定の期間は任意の期間を設定可能とし得る。
【０２１０】
〔第四変形例〕
内視鏡１０の観察状態を検出して、自動的に注目領域の表示態様の変更及び分類の表示態様の変更の少なくともいずれかを実施してもよい。例えば、標準光観察の場合は、注目領域の強調表示及び注目領域の分類を表示させ、特殊光観察の場合は、注目領域の強調表示は不要であり、注目領域の強調表示を弱める変更をしてもよい。
【０２１１】
〔第五変形例〕
内視鏡画像３８を拡大して観察する際に、注目領域の強調表示の表示態様を変更する。
内視鏡画像３８の拡大に応じて注目領域の強調表示を拡大させる処理は、注目領域の強調表示が不自然になり得る。そこで、内視鏡画像３８を拡大して観察する際に、注目領域の強調表示の表示態様を変更して、注目領域の強調表示の視認性を低下させ、術者の負担を軽減させる。
【０２１２】
［内視鏡システムの変形例］
〔プロセッサ装置の変形例〕
プロセッサ装置１２は、医用画像処理装置１４の機能を有してもよい。すなわち、プロセッサ装置１２は、医用画像処理装置１４と一体に構成されてもよい。かかる態様では、表示装置１３はモニタ装置１６と兼用し得る。プロセッサ装置１２は入力装置１５を接続させる接続端子を備え得る。
【０２１３】
〔照明光の変形例〕
本実施形態に示す内視鏡システム９を用いて取得可能な医用画像の一例として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像が挙げられる。
【０２１４】
本実施形態に示す内視鏡システム９を用いて取得可能な医用画像の他の例として、特定の波長帯域の光を照射して得た画像が挙げられる。特定の波長帯域は白色帯域よりも狭い帯域を適用可能である。以下の変形例の適用が可能である。
【０２１５】
〈第一変形例〉
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、かつ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。
【０２１６】
〈第二変形例〉
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、かつ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。
【０２１７】
〈第三変形例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、かつ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。
【０２１８】
〈第四変形例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。
【０２１９】
〈第五変形例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、かつ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。
【０２２０】
〔特殊光画像の生成例〕
プロセッサ装置１２は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置１２は、特殊光画像取得部として機能する。そして、プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。
【０２２１】
なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。
【０２２２】
〔特徴量画像の生成例〕
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。
【０２２３】
上記の実施形態及び変形例では、医用画像の一例として内視鏡画像を例示したが、医用画像はＣＴ画像等を適用してもよい。
【０２２４】
［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した医用画像処理方法は、コンピュータを用いて、医用画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、取得した内視鏡画像３８から注目領域を検出し、注目領域を分類する認識機能、注目領域を強調する強調表示及び注目領域の分類を内視鏡画像３８と同一の画面に表示させる表示機能、及び強調表示の表示態様を変更するか否か、及び注目領域の分類の表示態様を変更するか否かを判定する変更判定機能を実現させるプログラムであって、表示機能は、強調表示の表示態様を変更すると判定された場合に強調表示の強調の程度を弱める変更を実施し、分類の表示態様を変更すると判定された場合に分類の視認性を弱める変更を実施するプログラムを構成し得る。
【０２２５】
上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
【０２２６】
また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、通信ネットワークを介してプログラム信号を提供する態様も可能である。
【０２２７】
［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
【０２２８】
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
【符号の説明】
【０２２９】
９  内視鏡システム
１０  内視鏡
１１  光源装置
１２  プロセッサ装置
１３  表示装置
１４  医用画像処理装置
１５  入力装置
１６  モニタ装置
２０  挿入部
２１  操作部
２２  ユニバーサルコード
２５  軟性部
２６  湾曲部
２７  先端部
２７ａ  先端面
２８  撮像素子
２９  湾曲操作ノブ
３０  送気送水ボタン
３１  吸引ボタン
３２  静止画像撮像指示部
３３  処置具導入口
３５  ライトガイド
３６  信号ケーブル
３７ａ  コネクタ
３７ｂ  コネクタ
３８  内視鏡画像
３８ａ  動画像
３８ｂ  フレーム画像
３９  静止画像
４０  画像取得部
４２  認識部
４２ａ  注目領域検出部
４２ｂ  強調表示設定部
４２ｃ  分類部
４２ｄ  分類表示設定部
４４  表示制御部
４６  記憶部
４６ａ  内視鏡画像記憶部
４６ｂ  注目領域記憶部
４６ｃ  分類記憶部
４８  変更判定部
４９  操作ボタン
１２０  プロセッサ
１２２  メモリ
１２４  ストレージ装置
１２６  ネットワークコントローラ
１２８  電源装置
１３０  ディスプレイコントローラ
１３２  入出力インターフェース
１３４  入力コントローラ
１３６  バス
１４０  通信ネットワーク
２００  第一病変
２０１  第一注目領域
２０２  第二病変
２０３  第二注目領域
２０４  第三病変
２０５  第三注目領域
２１０  第一バウンディングボックス
２１０ａ  第四バウンディングボックス
２１０ｂ  第七バウンディングボックス
２１０ｃ  第十バウンディングボックス
２１２  第二バウンディングボックス
２１２ａ  第五バウンディングボックス
２１２ｂ  第八バウンディングボックス
２１２ｃ  第十一バウンディングボックス
２１４  第三バウンディングボックス
２１４ａ  第六バウンディングボックス
２１４ｂ  第九バウンディングボックス
２１４ｃ  第十二バウンディングボックス
２２０  第一分類
２２０ａ  第四分類
２２０ｂ  第七分類
２２２  第二分類
２２２ａ  第五分類
２２２ｂ  第八分類
２２４  第三分類
２２４ａ  第六分類
２２４ｂ  第九分類
３００  ネットワーク
３１０  入力層
３１２  中間層
３１４  出力層
３２０ａ  第一畳み込み層
３２０ｂ  第二畳み込み層
３２０ｃ  第三畳み込み層
３２２ａ  第一プーリング層
３２２ｂ  第二プーリング層
３２４  全結合層
Ｓ１０からＳ２６  医用画像処理方法の各工程
【図１】
2020174747.tif 000003
【図２】
2020174747.tif 000004
【図３】
2020174747.tif 000005
【図４】
2020174747.tif 000006
【図５】
2020174747.tif 000007
【図６】
2020174747.tif 000008
【図７】
2020174747.tif 000009
【図８】
2020174747.tif 000010
【図９】
2020174747.tif 000011
【図１０】
2020174747.tif 000012
【図１１】
2020174747.tif 000013
【図１２】
2020174747.tif 000014
【国際調査報告】
2020174747.tif 000015
2020174747.tif 000016
2020174747.tif 000017
2020174747.tif 000018