(57)【要約】医用画像による検査が阻害されず、かつ報知情報による支援結果の利活用を十分に機能させることができる医用画像処理装置及び方法を提供する。医用画像を取得する画像取得部（４０）と、画像取得部（４０）により取得した医用画像に基づいて医用画像又は医用画像に含まれる注目領域を分類する分類部（４２）と、分類された分類結果に応じて表示用の第１報知情報と、第１報知情報と異なる保存用の第２報知情報とを生成する報知情報生成部（４３）と、医用画像及び第２報知情報を保存する記録部（４８）と、を備える。ここで、表示用の第１報知情報と保存用の第２報知情報とを異ならせることで、表示用の第１報知情報は、ユーザ（医師）のみが認識できる報知形式（患者等が認識できない形式）の第１報知情報とすることができ、一方、保存用の第２報知情報は、ユーザ以外も理解できる報知形式とすることができる。
2020184257.tif 000002
【特許請求の範囲】
【請求項１】
医用画像を取得する画像取得部と、
前記画像取得部により取得した前記医用画像に基づいて前記医用画像又は前記医用画像に含まれる注目領域を分類する分類部と、
前記分類された分類結果に応じて表示用の第１報知情報と前記第１報知情報と異なる保存用の第２報知情報とを生成する報知情報生成部と、
前記医用画像及び前記第２報知情報を保存する記録部と、
を備える医用画像処理装置。
【請求項２】
前記記録部は、前記医用画像と前記第２報知情報とが合成された合成画像を保存する請求項１に記載の医用画像処理装置。
【請求項３】
前記記録部は、前記医用画像と前記第２報知情報とを関連付けて保存する請求項１に記載の医用画像処理装置。
【請求項４】
前記記録部は、複数の記録部からなり、
前記報知情報生成部は、前記複数の前記記録部の総数を上限として複数の前記第２報知情報を生成し、
前記複数の前記記録部は、前記医用画像及び前記複数の前記第２報知情報のうちの各記録部に対応する前記第２報知情報を保存する請求項１から３のいずれか１項に記載の医用画像処理装置。
【請求項５】
前記医用画像及び前記第１報知情報を表示部に表示させる表示制御部を備える請求項１から４のいずれか１項に記載の医用画像処理装置。
【請求項６】
前記報知情報生成部は、複数の前記表示部の総数を上限として複数の前記第１報知情報を生成し、
前記表示制御部は、前記医用画像及び前記複数の前記第１報知情報をそれぞれ前記複数の表示部に対応して表示させる請求項５に記載の医用画像処理装置。
【請求項７】
前記報知情報生成部は、前記分類結果の詳細が患者に伝わらない報知形式の前記第１報知情報と前記分類結果の詳細を示す前記第２報知情報とを生成する請求項１から６のいずれか１項に記載の医用画像処理装置。
【請求項８】
前記分類結果は、前記分類される病変の確信度の情報を含み、
前記報知情報生成部は、前記確信度の情報が省略された前記第１報知情報と前記確信度の情報を含む前記第２報知情報とを生成する請求項１から７のいずれか１項に記載の医用画像処理装置。
【請求項９】
前記報知情報生成部は、表示部の解像度情報から前記分類結果の表示領域を取得し、前記表示領域の大きさに対応して前記分類結果の詳細が簡略化された前記第１報知情報と前記分類結果の詳細を示す前記第２報知情報とを生成する請求項１から８のいずれか１項に記載の医用画像処理装置。
【請求項１０】
前記画像取得部は、時系列の前記医用画像を取得し、
前記記録部は、前記時系列の前記医用画像及び前記第２報知情報、又は前記時系列の前記医用画像に含まれる静止画撮影された前記医用画像及び前記第２報知情報を保存する請求項１から９のいずれか１項に記載の医用画像処理装置。
【請求項１１】
医用画像を取得するステップと、
前記取得した前記医用画像に基づいて前記医用画像又は前記医用画像に含まれる注目領域を分類するステップと、
前記分類された分類結果に応じて表示用の第１報知情報と前記第１報知情報と異なる保存用の第２報知情報とを生成するステップと、
前記医用画像及び前記第１報知情報を表示部に表示させるステップと、
前記医用画像及び前記第２報知情報を保存するステップと、
を含む医用画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は医用画像処理装置及び方法に係り、特に医用画像に基づいて病変等を自動的に分類した分類結果を医師や患者に報知する技術に関する。
【背景技術】
【０００２】
特許文献１には、医師に提供する分類結果と患者に提供する分類結果とを異ならせる画像処理装置が記載されている。【０００３】
特許文献１に記載の画像処理装置は、時系列で撮影された画像群に含まれる画像毎に、各画像内の病変候補領域を異なる基準（病変候補としての信頼度の高さ）により分類する。そして、信頼度の低い基準以上の病変候補領域と他の領域とを識別可能な第１映像信号を生成し、医師用の第１表示装置に出力し、信頼度の高い基準以上の病変候補領域と他の領域とを識別可能な第２映像信号を生成し、患者用の第２表示装置に出力する。【０００４】
これにより、患者に提供する必要のない情報（信頼度の低い病変候補領域の情報）を患者に提供しないようにし、患者に対しては余計な不安を煽ることがないようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−２１３０５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
医用画像から病変が癌性であるか、非癌性であるかを分類し、その分類結果をユーザに報知する支援システムが期待されている。【０００７】
分類結果を報知する際、文言や形式、位置などユーザの診断を阻害しない形でされることが望ましい。また、明確に癌性であると認識できる形で報知すると、ユーザ以外、特に患者にとっては余計に不安を煽ることになる。しかし、検査するユーザのみが認識できる形式だと学会などで専門家の理解を得ることが難しくなる可能性もある。【０００８】
特許文献１に記載の画像処理装置は、画像内の病変候補領域を異なる信頼度の基準で分類し、その分類結果が視認可能な医師用の第１映像信号と患者用の第２映像信号とを生成し、それぞれ医師用の第１表示装置及び患者用の第２表示装置に表示させるため、医師と患者に同じ情報（同一の医用画像と分類結果）を報知することは想定されていない。また、特許文献１には、医用画像と分類結果とを関連付けて保存する記録部に関する記載はない。【０００９】
本発明はこのような事情に鑑みてなされたもので、医用画像の分類結果に応じて表示用と保存用の複数の形式で報知情報を生成することで、医用画像による検査が阻害されず、かつ報知情報による支援結果の利活用を十分に機能させることができる医用画像処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明の一の態様に係る医用画像処理装置は、医用画像を取得する画像取得部と、画像取得部により取得した医用画像に基づいて医用画像又は医用画像に含まれる注目領域を分類する分類部と、分類された分類結果に応じて表示用の第１報知情報と、第１報知情報と異なる保存用の第２報知情報とを生成する報知情報生成部と、医用画像及び第２報知情報を保存する記録部と、を備える。【００１１】
本発明の一の態様によれば、取得した医用画像に基づいて医用画像又は医用画像に含まれる注目領域を分類し、分類した分類結果に応じて表示用の第１報知情報と、第１報知情報と異なる保存用の第２報知情報とを生成する。生成された保存用の第２報知情報は、医用画像とともに記録部に保存される。ここで、表示用の第１報知情報と保存用の第２報知情報とを異ならせることで、表示用の第１報知情報は、ユーザ（医師）のみが認識できる報知形式（患者等が認識できない形式）の第１報知情報とすることができ、一方、保存用の第２報知情報は、ユーザ以外も理解できる報知形式とすることができる。【００１２】
本発明の他の態様に係る医用画像処理装置において、記録部は、医用画像と第２報知情報とが合成された合成画像を保存することが好ましい。【００１３】
本発明の更に他の態様に係る医用画像処理装置において、記録部は、医用画像と第２報知情報とを関連付けて保存することが好ましい。【００１４】
本発明の更に他の態様に係る医用画像処理装置において、記録部は、複数の記録部からなり、報知情報生成部は、複数の記録部の総数を上限として複数の第２報知情報を生成し、複数の記録部は、医用画像及び複数の第２報知情報のうちの各記録部に対応する第２報知情報を保存することが好ましい。【００１５】
本発明の更に他の態様に係る医用画像処理装置において、医用画像及び第１報知情報を表示部に表示させる表示制御部を備えることが好ましい。【００１６】
本発明の更に他の態様に係る医用画像処理装置において、報知情報生成部は、複数の表示部の総数を上限として複数の第１報知情報を生成し、表示制御部は、医用画像及び複数の第１報知情報をそれぞれ複数の表示部に対応して表示させることが好ましい。例えば、ユーザ用の表示部に表示させる第１報知情報と、患者用の表示部に表示させる第１報知情報とを異ならせることができる。【００１７】
本発明の更に他の態様に係る医用画像処理装置において、報知情報生成部は、分類結果の詳細が患者に伝わらない報知形式の第１報知情報と分類結果の詳細を示す第２報知情報とを生成することが好ましい。【００１８】
本発明の更に他の態様に係る医用画像処理装置において、分類結果は、分類される病変の確信度の情報を含み、報知情報生成部は、確信度の情報が省略された第１報知情報と確信度の情報を含む第２報知情報とを生成することが好ましい。【００１９】
本発明の更に他の態様に係る医用画像処理装置において、報知情報生成部は、表示部の解像度情報から分類結果の表示領域を取得し、表示領域の大きさに対応して分類結果の詳細が簡略化された第１報知情報と分類結果の詳細を示す第２報知情報とを生成することが好ましい。表示部の解像度により分類結果を表示する表示領域を十分に確保できない場合がある。この場合、表示領域の大きさに収まるように第１報知情報を簡略化して表示することが好ましい。【００２０】
本発明の更に他の態様に係る医用画像処理装置において、画像取得部は、時系列の医用画像を取得し、記録部は、時系列の医用画像及び第２報知情報、又は時系列の医用画像に含まれる静止画撮影された医用画像及び第２報知情報を保存することが好ましい。【００２１】
本発明の更に他の態様に係る医用画像処理方法は、医用画像を取得するステップと、取得した医用画像に基づいて医用画像又は医用画像に含まれる注目領域を分類するステップと、分類された分類結果に応じて表示用の第１報知情報と、第１報知情報と異なる保存用の第２報知情報とを生成するステップと、医用画像及び第１報知情報を表示部に表示させるステップと、医用画像及び第２報知情報を保存するステップと、を含む。
【発明の効果】
【００２２】
本発明によれば、医用画像の分類結果に応じて表示用と保存用の複数の形式で報知情報を生成することで、医用画像による検査が阻害されず、かつ報知情報による支援結果の利活用を十分に機能させることができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明に係る医用画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。
【図２】図２は、医用画像処理装置１４の実施形態を示すブロック図である。
【図３】図３は、本例の分類部４２に適用されるＣＮＮの代表的な構成例を示す模式図である。
【図４】図４は、分類結果と表示用の第１報知情報、保存用の第２報知情報との関係を示す図表である。
【図５Ａ】図５Ａは、表示用の第１合成画像の報知形式の第１実施形態を示す図である。
【図５Ｂ】図５Ｂは、保存用の第２合成画像の報知形式の第１実施形態を示す図である。
【図６Ａ】図６Ａは、表示用の第１合成画像の報知形式の第１実施形態の変形例を示す図である。
【図６Ｂ】図６Ｂは、保存用の第２合成画像の報知形式の第１実施形態の変形例を示す図である。
【図７Ａ】図７Ａは、表示用の第１合成画像の報知形式の第２実施形態を示す図である。
【図７Ｂ】図７Ｂは、保存用の第２合成画像の報知形式の第２実施形態を示す図である。
【図８Ａ】図８Ａは、表示用の第１合成画像の報知形式の第３実施形態を示す図である。
【図８Ｂ】図８Ｂは、保存用の第２合成画像の報知形式の第３実施形態を示す図である。
【図９】図９は、表示器と記録部の数に応じた分類結果と表示用の第１報知情報、保存用の第２報知情報との関係を示す図表である。
【図１０Ａ】図１０Ａは、保存用１の第２報知情報が合成された保存用１の合成画像を示す図である。
【図１０Ｂ】図１０Ｂは、保存用２の第２報知情報が合成された保存用２の合成画像を示す図である。
【図１１Ａ】図１１Ａは、表示用１の第１報知情報が合成された表示用１の合成画像を示す図である。
【図１１Ｂ】図１１Ｂは、表示用２の第１報知情報が合成された表示用２の合成画像を示す図である。
【図１２】図１２は、本発明に係る医用画像処理方法の実施形態を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、添付図面に従って本発明に係る医用画像処理装置及び方法の好ましい実施形態について説明する。
【００２５】
［医用画像処理装置を含む内視鏡システムの全体構成］
図１は、本発明に係る医用画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。
【００２６】
図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、医用画像処理装置１４と、操作部１５と、表示器１６と、を備える。
【００２７】
内視鏡スコープ１０は、被写体像を含む時系列の医用画像を撮影するものであり、例えば軟性内視鏡である。この内視鏡スコープ１０は、被検体内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つ術者が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。
【００２８】
挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。
【００２９】
撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。
【００３０】
手元操作部２１には、術者によって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮影指示を行うための静止画撮影指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。
【００３１】
ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。
【００３２】
コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。
【００３３】
コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されると共に、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。
【００３４】
光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の特殊光が選択される。尚、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
【００３５】
各種波長帯域の特殊光は、特殊光画像（ＢＬＩ（Blue Light Imaging or Blue LASER Imaging）、ＬＣＩ（Linked Color Imaging）、又はＮＢＩ(Narrow Band Imaging)）用の特殊光を含む。
【００３６】
ＢＬＩ用の照明光は、表層血管での吸収率が高い紫色光の比率が高く、中層血管での吸収率が高い緑色光の比率を抑えた照明光であり、被検体の粘膜表層の血管や構造の強調に適した画像（ＢＬＩ）の生成に適している。
【００３７】
ＬＣＩ用の照明光は、紫色光の比率が白色光に比べて高く、白色光と比べて微細な色調変化を捉えるのに適した照明光であり、赤色成分の信号も利用して粘膜付近の色を中心に、赤味を帯びている色はより赤く、白っぽい色はより白くなるような色強調処理が行われた画像（ＬＣＩ）の生成に適している。
【００３８】
また、ＮＢＩの照明光は、照射する照明光の波長の範囲を狭くすることで、照射される面の細かな変化を強調した画像（ＮＢＩ）の生成に適している。
【００３９】
特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
【００４０】
特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
【００４１】
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。
【００４２】
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。
【００４３】
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。
【００４４】
内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａからなる画像（「動画３８」ともいう）を生成する。更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮影指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像を撮影指示のタイミングに応じた静止画３９とする。
【００４５】
動画３８及び静止画３９は、被検体内、即ち生体内を撮像した医用画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と医用画像処理装置１４とにそれぞれ出力する。
【００４６】
尚、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青［ＲＧＢ（Red,Green,Blue）］あるいはシアン、マゼンタ、及びイエロー［ＣＭＹ（Cyan，Magenta，Yellow）］の色情報に基づく演算を行うことで得る。
【００４７】
また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。尚、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的でヒトの人体を撮像し、又は計測した結果を画像化した医用画像である。
【００４８】
表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する表示部として機能する。ユーザ（医師）は、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等を行う。
【００４９】
［医用画像処理装置］
医用画像処理装置１４は、主として時系列の医用画像に基づいて撮影中の医用画像又は医用画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類し、分類結果をユーザに報知するものであり、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部１５は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器（表示部）１６はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
【００５０】
図２は、医用画像処理装置１４の実施形態を示すブロック図である。
【００５１】
図２に示す医用画像処理装置１４は、主として画像取得部４０、ＣＰＵ（Central Processing Unit）４１、分類部４２、報知情報生成部４３、合成画像生成部４４、表示制御部４６、記憶部４７、及び記録部４８から構成されている。
【００５２】
ＣＰＵ４１は、記憶部４７に記憶されたプログラムに基づいて動作し、画像取得部４０、分類部４２、報知情報生成部４３、合成画像生成部４４、表示制御部４６及び記録部４８を統括制御し、また、これらの各部の一部として機能する。
【００５３】
画像取得部４０は、内視鏡プロセッサ装置１２（図１）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から被写体像を含む時系列のフレーム画像３８ａからなる画像（本例では、内視鏡スコープ１０により撮影される動画３８）を取得する。また、内視鏡スコープ１０にて動画３８の撮影途中に既述の静止画３９の撮像が行われた場合、画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。
【００５４】
分類部４２は、画像取得部４０により取得された時系列のフレーム画像３８ａに基づいてフレーム画像３８ａの特徴量を取得し、取得した特徴量に基づいて各フレーム画像３８ａ、又は各フレーム画像３８ａに含まれる注目領域を２以上のクラスのうちのいずれかに分類する。
【００５５】
本例では、後述するように２以上のクラスとして、「非腫瘍性」、「腫瘍性」、「その他」の３つのクラスのうちの１つのクラスに分類する。
【００５６】
報知情報生成部４３は、分類部４２により分類されたフレーム画像３８ａ又は注目領域の分類結果に応じて表示用の第１報知情報と、第１報知情報と異なる保存用の第２報知情報とを生成する部分である。尚、報知情報生成部４３の詳細については後述する。
【００５７】
合成画像生成部４４は、フレーム画像３８ａとそのフレーム画像３８ａの分類結果に応じて生成された表示用の第１報知情報とを合成した合成画像（表示用の第１合成画像）と、フレーム画像３８ａとそのフレーム画像３８ａの分類結果に応じて生成された保存用の第２報知情報とを合成した合成画像（保存用の第２合成画像）とを生成する。
【００５８】
表示制御部４６は、画像取得部４０が取得した医用画像（動画３８、静止画３９）に基づいて表示用の画像データを生成して表示器１６に出力するが、合成画像生成部４４により表示用の第１合成画像が生成された場合には、表示用の第１合成画像の画像データを優先して表示器１６に出力する。
【００５９】
これにより、表示器１６には医用画像が表示され、また、病変等の注目領域を有する医用画像に対しては、その医用画像又は注目領域の分類結果を示す表示用の第１報知情報（即ち、表示用の第１合成画像）が表示される。
【００６０】
記憶部４７は、ＣＰＵ４１の作業領域として機能したり、オペレーティングシステム、医用画像処理プログラム等の各種のプログラム、医用画像の分類結果とその分類結果に対応する第１報知情報、第２報知情報との関係を示すテーブル等を記憶する記憶部として機能する。
【００６１】
記録部４８は、撮影された動画３８や静止画３９を保存するが、合成画像生成部４４により保存用の第２合成画像が生成された場合には、保存用の第２合成画像を優先して保存する。
【００６２】
＜分類部＞
次に、分類部４２の一実施形態について説明する。
【００６３】
本例の分類部４２は、画像（フレーム画像３８ａ）から特徴量を算出し、画像の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含み、画像内の色情報、画素値の勾配等で特徴量を算出する。分類部４２は、算出した特徴量に基づいて画像（医用画像）又は画像に含まれる注目領域を、本例では「非腫瘍性」、「腫瘍性」、「その他」といった複数のクラスのうちのいずれかに分類する。
【００６４】
図３は、本例の分類部４２に適用されるＣＮＮの代表的な構成例を示す模式図である。
【００６５】
図３に示すように、分類部（ＣＮＮ）４２は、入力層４２Ａと、畳み込み層とプーリング層から構成された複数セット、及び全結合層を有する中間層４２Ｂと、出力層４２Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
【００６６】
入力層４２Ａには、動画３８の各フレーム画像３８ａが順次入力される。
【００６７】
中間層４２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層とを有し、入力層から入力したフレーム画像３８ａから特徴量を抽出する。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
【００６８】
尚、中間層４２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれる。
【００６９】
全結合層は、前の層の全てのノードと重み付き結合し、活性化関数によって変換された値（特徴変数）を出力する部分であり、本例では、フレーム画像３８ａ又はフレーム画像３８ａに含まれる病変等の注目領域に対する分類ごとの特徴変数を出力する。
【００７０】
推論部として機能する出力層４２Ｃは、全結合層からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、分類する各クラスに対するスコア（確率）を算出する。本例では、フレーム画像３８ａ又は注目領域を「非腫瘍性」、「腫瘍性」、「その他」の３つのクラスのいずれかに分類するため、出力層４２Ｃは、３つのクラスのスコア（３つのスコアの合計は１００％）のうちのスコアが最大となるクラスと、そのクラスのスコアを分類結果として出力する。
【００７１】
尚、中間層４２Ｂの各畳み込み層にて使用されるフィルタのパラメータや全結合層の重み係数等は、予め多数の学習データにより最適化されている。
【００７２】
図４は、分類結果と表示用の第１報知情報、保存用の第２報知情報との関係を示す図表である。
【００７３】
図４に示す例では、医用画像又は医用画像に含まれる注目領域の分類結果が「非腫瘍性」の場合、表示用の第１報知情報は「ＮＮ」の文字情報であり、保存用の第２報知情報は「nonneoplastic」の文字情報である。
【００７４】
また、分類結果が「腫瘍性」の場合、表示用の第１報知情報は「Ｎ」の文字情報であり、保存用の第２報知情報は「neoplastic」の文字情報であり、分類結果が「その他」の場合、表示用の第１報知情報は「Ｏ」の文字情報であり、保存用の第２報知情報は「other」の文字情報である。
【００７５】
図４に示す例では、表示用の第１報知情報は、保存用の第２報知情報の頭文字となっており、異なる分類結果の頭文字が共通する場合には、少なくとも区別できる簡略化した文字情報としている。
【００７６】
第１報知情報は、ユーザが任意に設定できるようにしてもよいし、予め設定されたルールにしたがって第２報知情報から自動的に生成してもよい。また、図４に示すような分類結果と表示用の第１報知情報、保存用の第２報知情報との関係を示すテーブルを用意し、ユーザが操作部１５を使用して、テーブル上の第１報知情報及び第２報知情報をそれぞれユーザが任意に設定できるようにしてよい。
【００７７】
＜報知形式の第１実施形態＞
図５Ａ及び図５Ｂは、それぞれ表示用の第１合成画像及び保存用の第２合成画像の報知形式の第１実施形態を示す図である。
【００７８】
前述したように合成画像生成部４４は、フレーム画像３８ａとそのフレーム画像３８ａの分類結果に応じて生成された表示用の第１報知情報とを合成した表示用の第１合成画像（図５Ａ参照）と、フレーム画像３８ａとそのフレーム画像３８ａの分類結果に応じて生成された保存用の第２報知情報とを合成した保存用の第２合成画像（図５Ｂ参照）とを生成する。
【００７９】
図５Ａ及び図５Ｂは、分類部４２により「腫瘍性」の分類結果が得られた場合の表示用の第１合成画像及び保存用の第２合成画像の一例を示している。
【００８０】
「腫瘍性」の分類結果が得られた場合の表示用の第１報知情報は、図４に示したように「Ｎ」の文字情報であるため、図５Ａに示す第１合成画像は、医用画像と分類結果（result）を示す「Ｎ」の文字情報とが合成されたものとなる。
【００８１】
一方、「腫瘍性」の分類結果が得られた場合の保存用の第１報知情報は、図４に示したように「neoplastic」の文字情報であるため、図５Ｂに示すように第２合成画像は、医用画像と分類結果（result）を示す「neoplastic」の文字情報とが合成されたものとなる。尚、本例の保存用の第２合成画像には、図５Ｂに示すように病変として分類された「腫瘍性」の確信度（スコア）の情報（「７０％」）が合成されているが、表示用の第１合成画像には「腫瘍性」の確信度の情報は合成されていない。
【００８２】
表示用の第１合成画像は、内視鏡診断中に表示器１６に表示され、ユーザ（医師）及び患者により観察可能である。この表示用の第１合成画像は、リアルタイムに表示されるが、保存されることはない。
【００８３】
ユーザは、表示器１６に表示される第１合成画像に含まれる医用画像により内視鏡検査を行うことができ、また、第１合成画像に含まれる第１報知情報（分類結果を示す「Ｎ」の文字情報）を内視鏡検査に利活用することできる。
【００８４】
尚、ユーザは、第１報知情報の「Ｎ」から分類部４２による医用画像又は注目領域に対する分類結果を認識することができるが、ユーザ以外（患者）は、第１報知情報の「Ｎ」が何を意味しているか認識することができない。即ち、第１報知情報の「Ｎ」は、分類結果が患者に直接伝わらない報知形式の情報であり、患者の不安を煽るような情報としては認識されない。
【００８５】
また、図４に示した例では、分類結果が「その他」の場合、表示用の第１報知情報は「Ｏ」の文字情報であり、保存用の第２報知情報は「other」の文字情報であるが、表示用の第１報知情報も「other」の文字情報としてもよい。分類結果が「その他」の場合、これを患者が認識しても余計な不安を煽ることにはならないからである。即ち、分類結果に応じて、表示用の第１報知情報と保存用の第２報知情報とは異なるようにしてもよいし、同一にしてもよい。
【００８６】
一方、第１報知情報の「Ｎ」のように、検査するユーザのみが認識できる形式だと学会などで専門家や他の医師の理解を得ることは難しくなる可能性がある。そこで、保存用の第２報知情報は、この種の専門家等が理解できる報知形式の情報（本例では、「neoplastic」の文字情報）としており、図５Ｂに示す例では、更に分類結果に対する確信度の情報（「７０％」）も付加されている。
【００８７】
保存用の第２報知情報を含む保存用の第２合成画像は、記録部４８に保存される。保存される第２合成画像は、第２報知情報がフレーム毎に合成された動画であるが、記録部４８には、内視鏡検査中に静止画撮影指示されたフレーム及びそのフレームに対する第２報知情報が合成された静止画の合成画像のみを保存するようにしてもよい。
【００８８】
分類部４２による医用画像又は注目領域の分類は、上記実施形態の「非腫瘍性」、「腫瘍性」及び「その他」のうちのいずれかのクラスに分類するが、分類するクラスはこれらに限定されない。例えば、内視鏡所見分類であるＮＩＣＥ（NBI International Colorectal Endoscopic）分類、ＪＮＥＴ（The Japan NBI Expert Team）分類などがある。また、病種による分類（例えば、過形成性ポリープ、線種、粘膜内癌、高度浸潤癌、炎症性ポリープなど）や、病変の形状、大きさ、位置等による分類、病変部の分類結果の確信度、重傷度による分類、及びこれらを組み合せた分類を含む。
【００８９】
内視鏡画像がＮＢＩ用の特殊光下で撮影された画像の場合、分類部４２は、ＮＩＣＥ分類やＪＮＥＴ分類にしたがって内視鏡画像を分類することができる。また、分類結果に応じた表示用の第１報知情報及び保存用の第２報知情報は、分類方法に応じて異なることは言うまでもない。
【００９０】
また、報知情報の形式要素は、上記のように文言、数値に限らず、図形、色、位置等を含む。
【００９１】
＜報知形式の第１実施形態の変形例＞
図６Ａ及び図６Ｂは、第１報知情報及び第２報知情報の報知形式の第１実施形態の変形例を示す図であり、分類部４２が医用画像又は注目領域をＮＩＣＥ分類の「Type 2」と分類した場合の表示用の第１合成画像及び保存用の第２合成画像を示している。
【００９２】
ＮＩＣＥ分類の「Type 2」は、線種「adenoma」が最も可能性の高い病理であるため、表示用の第１報知情報は、「adenoma」の頭文字である「Ａ」の文字情報とする。したがって、図６Ａに示すように表示用の第１合成画像は、医用画像と「Ａ」の文字情報とを合成したものとしている。
【００９３】
一方、ＮＩＣＥ分類の「Type 2」の分類結果が得られた場合の保存用の第２報知情報は、「adenoma」の文字情報とする。したがって、図６Ｂに示すように保存用の第２合成画像は、医用画像と「adenoma」の文字情報とを合成したものとしている。
【００９４】
このように、報知形式の第１実施形態の変形例は、報知形式の第１実施形態と同様に、表示用の第１報知情報は、分類結果が患者に直接伝わらない報知形式の情報とし、保存用の第２報知情報は、専門家等が理解できる報知形式の情報とする。
【００９５】
＜報知形式の第２実施形態＞
図７Ａ及び図７Ｂは、第１報知情報及び第２報知情報の報知形式の第２実施形態を示す図であり、分類部４２が医用画像又は注目領域をＮＩＣＥ分類の「Type 2」と分類した場合の表示用の第１合成画像及び保存用の第２合成画像を示している。
【００９６】
ＮＩＣＥ分類の「Type 2」と分類された場合であって、線種「adenoma」の確信度が高いもの（癌性が高いもの）として分類結果が得られた場合、表示用の第１報知情報は、注意を喚起させない色（例えば、無彩色）の「adenoma」の文字情報とする。したがって、図７Ａに示すように表示用の第１合成画像は、医用画像と表示用の第１報知情報（注意を喚起させない色の「adenoma」の文字情報）とを合成したものとしている。
【００９７】
一方、ＮＩＣＥ分類の「Type 2」の分類結果が得られた場合の保存用の第２報知情報は、例えば、赤色等の注意を喚起させる色の「adenoma」の文字情報としている。したがって、図７Ｂに示すように保存用の第２合成画像は、医用画像と注意を喚起させる色の「adenoma」の文字情報とを合成したものとしている。
【００９８】
このように、報知形式の第２実施形態の表示用の第１報知情報は、病変の確信度が高い（癌性が高い）分類結果が得られた場合、注意を喚起させない色の文字情報とし、一方、保存用の第２報知情報は、注意を喚起させる色の文字情報とする。
【００９９】
これにより、患者が表示器１６に表示される第１合成画像を見ても、病変の癌性等が患者に伝わないようにすることができ、患者に対して不安を煽ることがないようにすることができる。
【０１００】
ユーザに注意を喚起させるための情報は、文字情報の色に限らず、病変の確信度の数値情報の付加、文字情報の大きさ及び位置などが考えられる。
【０１０１】
＜報知形式の第３実施形態＞
図８Ａ及び図８Ｂは、第１報知情報及び第２報知情報の報知形式の第３実施形態を示す図であり、分類部４２が医用画像又は注目領域をＮＩＣＥ分類の「Type 2」と分類した場合の表示用の第１合成画像及び保存用の第２合成画像を示している。
【０１０２】
報知情報生成部４３は、表示用の第１合成画像の出力先の表示器の解像度情報を取得する。
【０１０３】
表示器の解像度が低い場合、医用画像の画像サイズを小さくすると、診断に悪影響が生じるため、医用画像は、撮影時の画像サイズで表示することが好ましい。したがって、表示器の解像度が低い場合、医用画像は表示器の画面一杯に表示される結果、分類結果に応じた表示用の第１報知情報を十分に表示する表示領域を確保できない場合がある。
【０１０４】
そこで、報知情報生成部４３は、表示器から取得した表示器の解像度情報から分類結果の表示領域を取得し、表示領域の大きさに対応して分類結果の詳細が簡略化された表示用の第１報知情報を生成する。
【０１０５】
図８Ａに示す報知形式の第３実施形態では、ＮＩＣＥ分類の「Type 2」と分類した場合の表示用の第１報知情報は、「adenoma」をその頭文字の「Ａ」のみに簡略化している。
【０１０６】
また、合成画像生成部４４は、表示器の画面の右下の領域を分類結果の表示領域とし、この表示領域に「Ａ」を合成した表示用の第１合成画像を生成する。
【０１０７】
一方、図８Ｂに示す報知形式の第３実施形態では、ＮＩＣＥ分類の「Type 2」の分類結果が得られた場合の保存用の第２報知情報は、表示器の解像度に影響されないため、分類結果の詳細を示す第２報知情報（簡略化されていない「adenoma」の文字情報）としている。
【０１０８】
また、合成画像生成部４４は、医用画像の右側の領域の略中央に「adenoma」の文字情報合成した表示用の第２合成画像を生成する。
【０１０９】
即ち、表示用の第１報知情報のサイズは、表示器の解像度により制限を受ける場合があり、この場合には表示用の第１報知情報自体を簡略化することで、第１表示情報のサイズを小さくする。一方、保存用の第２報知情報は、表示器のサイズに合わせる必要がないため、分類結果に応じた第２報知情報のサイズは小さくせず、分類結果の詳細を示す第２報知情報としている。
【０１１０】
尚、図８Ａ及び図８Ｂに示す例では、第１報知情報は、「adenoma」をその頭文字の「Ａ」に簡略化されているが、文字情報の簡略化に限らず、分類結果として複数の情報が含まれている場合には、複数の情報から必要な情報のみに絞り込むことで表示用の情報量を簡略化するようにしてもよい。
【０１１１】
＜表示器と記録部の数に応じた報知形式＞
図９は、表示器と記録部の数に応じた分類結果と表示用の第１報知情報、保存用の第２報知情報との関係を示す図表であり、表示器及び記録部がそれぞれ２つずつ設けられている場合に関して示している。
【０１１２】
施設により表示器が患者用とユーザ用とで分かれている場合や、同じ表示器を見ながら検査をする場合がある。また、記録時も施設用と学会用などで保存する情報を分けたい場合がある。
【０１１３】
図９に示す２つの表示用の第１報知情報、及び２つの保存用の第２報知情報は、分類部４２が医用画像又は注目領域を、分類結果「１」、「２」、「３」、「４」、…と分類した場合である。
【０１１４】
分類結果「１」、「２」、「３」は、それぞれＮＩＣＥ分類の「Type 1」、「Type 2」、「Type 3」と分類した場合を示し、分類結果「４」は、「Adenoma」、確信度「７０％」と分類した場合に関して示している。
【０１１５】
分類結果「１」、「２」、「３」、「４」に応じた保存用１の第２報知情報は、ＮＩＣＥ分類の「Type 1」、「Type 2」．「Type 3」が示す最も可能性の高い病理である「Hyperplastic」、「adenoma」、「Malignancy」、及び赤文字の「Adenoma」であり、これに対応する表示用１の第１報知情報は、これらの文字情報の頭文字「Ｈ」、「Ａ」、「Ｍ」、「Ａ」である。
【０１１６】
また、分類結果「１」、「２」、「３」、「４」に応じた保存用２の第２報知情報は、「ＮＩＣＥ分類Type 1」、「ＮＩＣＥ分類Type 2」、「ＮＩＣＥ分類Type 3」及び「Adenoma 70％」であり、これに対応する表示用２の第２報知情報は、「Type A」、「Type B」、「Type C」及び無彩色の「Adenoma」である。
【０１１７】
ここで、分類結果「１」、「２」、「３」に応じた保存用２の第２報知情報に対応する表示用２の第１報知情報は、「Type A」、「Type B」、「Type C」であるが、これらの第１報知情報は、分類方法や「Type A」、「Type B」、「Type C」の意味が不明であるため、ユーザ以外（患者）は、分類結果を認識することができない。分類結果「４」に応じた保存用２の第２報知情報に対応する表示用２の第１報知情報は、無彩色の「Adenoma」であり、かつ確信度の数値が省略されており、患者に対して不安を煽ることがないようにしている。
【０１１８】
図９に示す例では、表示器及び記録部がそれぞれ２つずつ設けられている場合に関して示しているが、表示器及び記録部の少なくとも一方が２以上の場合でもよい。また、報知情報生成部４３は、複数の表示器が設けられている場合、複数の表示器の総数を上限として複数の第１報知情報を生成し、複数の記録部が設けられている場合、複数の記録部の総数を上限として複数の第２報知情報を生成する。
【０１１９】
図１０Ａ及び図１０Ｂは、それぞれ保存用１、２の第２報知情報が合成された保存用１、２の合成画像を示しており、保存用１の合成画像は、記録部４８Ａに保存され、保存用２の合成画像は、記録部４８Ｂに保存される。尚、記録部４８Ａ及び４８Ｂは、物理的に異なる記録部でもよいし、記録部４８（図２）における異なる保存領域でもよい。
【０１２０】
図１１Ａ及び図１１Ｂは、それぞれ表示用１、２の第１報知情報が合成された表示用１、２の合成画像を示しており、表示用１の合成画像は、表示器１６Ａに表示され、表示用２の合成画像は、表示器１６Ｂに表示される。
【０１２１】
［医用画像処理方法］
図１２は、本発明に係る医用画像処理方法の実施形態を示すフローチャートであり、図２に示した医用画像処理装置１４の各部の処理手順に関して示している。
【０１２２】
図１２において、画像取得部４０は、内視鏡プロセッサ装置１２から処理対象である時系列の医用画像のうちの１フレームの医用画像を取得する（ステップＳ１０）。
【０１２３】
分類部４２は、ステップＳ１０で取得した医用画像から医用画像の特徴量を求め、その特徴量に基づいて医用画像又は医用画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する（ステップＳ１２）。例えば、図４に示す例では、医用画像又は注目領域を、「非腫瘍性」、「腫瘍性」、「その他」といった複数のクラスのうちのいずれかに分類する。
【０１２４】
報知情報生成部４３は、分類部４２による医用画像又は注目領域の分類結果に応じて表示用の第１報知情報と保存用の第２報知情報を生成する（ステップＳ１４）。保存用の第２報知情報は、図４に示すように「非腫瘍性」、「腫瘍性」、「その他」の分類結果に応じた「nonneoplastic」、「neoplastic」、「other」の文字情報であるが、表示用の第１報知情報は、これらの第２報知情報を略した「ＮＮ」、「Ｎ」、「Ｏ」であり、ユーザ以外（患者）は、表示用の第１報知情報が示す分類結果を認識できないようになっている。
【０１２５】
合成画像生成部４４は、医用画像と第１報知情報とを合成した表示用の第１合成画像と、医用画像と第２報知情報とを合成した保存用の第２合成画像を生成する（ステップＳ１６）。
【０１２６】
表示制御部４６は、表示用の第１合成画像を表示器１６に表示させ（ステップＳ１８）、記録部４８は、保存用の第２合成画像を保存する（ステップＳ２０）。
【０１２７】
続いて、ＣＰＵ４１は、操作部１５から内視鏡画像による診断終了（又は撮影終了）の指示があったか否かを判別する（ステップＳ２２）。ＣＰＵ４１は、診断終了の指示がない場合（「No」の場合）には、ステップＳ１０に遷移させ、ステップＳ１０からステップＳ２２により次のフレームの医用画像に対する処理を実行させ、診断終了の指示がある場合（「Yes」の場合）には、本処理を終了させる。
【０１２８】
［その他］
本発明に係る分類器は、ＣＮＮ等の学習器により医用画像又は医用画像に含まれる注目領域を分類するものに限らず、医用画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出し、検出した注目領域の特徴量により医用画像又は医用画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類するものでもよいし、これと学習器とを併用したものでもよい。
【０１２９】
また、医用画像処理装置１４は、表示制御部４６を設けずに、表示用の合成画像を内視鏡プロセッサ装置１２に出力し、内視鏡プロセッサ装置１２に含まれる表示制御部（図示せず）が、表示用の合成画像を表示装置１３に表示させるようにしてもよい。
【０１３０】
上記実施形態では、内視鏡プロセッサ装置１２と医用画像処理装置１４とが別体に設けられているが、内視鏡プロセッサ装置１２と医用画像処理装置１４とが一体化されていてもよい。即ち、内視鏡プロセッサ装置１２に、医用画像処理装置１４としての機能を設けてもよい。
【０１３１】
また、上記実施形態では、合成画像生成部４４は、医用画像と保存用の第２報知情報とを合成した第２合成画像を生成するが、これに限らず、医用画像と第２報知情報とを関連付けて保存するようにしてもよい。この場合、第２報知情報は、第２報知情報を示す画像情報ではなく、例えば、テキスト情報とすることが可能であり、医用画像に対する付属情報として付加することができる。第２報知情報をテキスト情報とすることで、第２報知情報は編集可能である。また、医用画像が動画の場合、動画のフレーム番号、又はフレームのタイプスタンプを、各フレームに対応する第２報知情報に付与することで、動画の各フレームと第２報知情報とを関連付けて記録することが可能である。
【０１３２】
更に、上記実施形態の医用画像処理装置１４の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【０１３３】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【０１３４】
また、上記実施形態では、内視鏡スコープ１０により撮影された時系列の画像又は静止画を、処理対象の医用画像としたが、これに限らず、例えば超音波診断装置、Ｘ線撮影装置等の他のモダリティで撮影された医用画像であってもよい。
【０１３５】
更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１３６】
９  内視鏡システム
１０  内視鏡スコープ
１１  光源装置
１２  内視鏡プロセッサ装置
１３  表示装置
１４  医用画像処理装置
１５  操作部
１６、１６Ａ、１６Ｂ  表示器
２０  挿入部
２１  手元操作部
２２  ユニバーサルコード
２５  軟性部
２６  湾曲部
２７  先端部
２８  撮像素子
２９  湾曲操作ノブ
３０  送気送水ボタン
３１  吸引ボタン
３２  静止画撮影指示部
３３  処置具導入口
３５  ライトガイド
３６  信号ケーブル
３７ａ  コネクタ
３７ｂ  コネクタ
３８  動画
３８ａ  フレーム画像
３９  静止画
４０  画像取得部
４１  ＣＰＵ
４２  分類部
４２Ａ  入力層
４２Ｂ  中間層
４２Ｃ  出力層
４３  報知情報生成部
４４  合成画像生成部
４６  表示制御部
４７  記憶部
４８、４８Ａ、４８Ｂ  記録部
Ｓ１０〜Ｓ２２  ステップ
【図１】
2020184257.tif 000003
【図２】
2020184257.tif 000004
【図３】
2020184257.tif 000005
【図４】
2020184257.tif 000006
【図５Ａ】
2020184257.tif 000007
【図５Ｂ】
2020184257.tif 000008
【図６Ａ】
2020184257.tif 000009
【図６Ｂ】
2020184257.tif 000010
【図７Ａ】
2020184257.tif 000011
【図７Ｂ】
2020184257.tif 000012
【図８Ａ】
2020184257.tif 000013
【図８Ｂ】
2020184257.tif 000014
【図９】
2020184257.tif 000015
【図１０Ａ】
2020184257.tif 000016
【図１０Ｂ】
2020184257.tif 000017
【図１１Ａ】
2020184257.tif 000018
【図１１Ｂ】
2020184257.tif 000019
【図１２】
2020184257.tif 000020
【手続補正書】
【提出日】令和3年8月17日(2021.8.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
また、ＮＢＩ用の照明光は、照射する照明光の波長の範囲を狭くすることで、照射される面の細かな変化を強調した画像（ＮＢＩ）の生成に適している。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
一方、「腫瘍性」の分類結果が得られた場合の保存用の第２報知情報は、図４に示したように「neoplastic」の文字情報であるため、図５Ｂに示すように第２合成画像は、医用画像と分類結果（result）を示す「neoplastic」の文字情報とが合成されたものとなる。尚、本例の保存用の第２合成画像には、図５Ｂに示すように病変として分類された「腫瘍性」の確信度（スコア）の情報（「７０％」）が合成されているが、表示用の第１合成画像には「腫瘍性」の確信度の情報は合成されていない。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
分類部４２による医用画像又は注目領域の分類は、上記実施形態の「非腫瘍性」、「腫瘍性」及び「その他」のうちのいずれかのクラスに分類するが、分類するクラスはこれらに限定されない。例えば、内視鏡所見分類であるＮＩＣＥ（NBI International Colorectal Endoscopic）分類、ＪＮＥＴ（The Japan NBI Expert Team）分類などがある。また、病種による分類（例えば、過形成性ポリープ、腺腫、粘膜内癌、高度浸潤癌、炎症性ポリープなど）や、病変の形状、大きさ、位置等による分類、病変部の分類結果の確信度、重傷度による分類、及びこれらを組み合せた分類を含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
ＮＩＣＥ分類の「Type 2」は、腺腫「adenoma」が最も可能性の高い病理であるため、表示用の第１報知情報は、「adenoma」の頭文字である「Ａ」の文字情報とする。したがって、図６Ａに示すように表示用の第１合成画像は、医用画像と「Ａ」の文字情報とを合成したものとしている。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
ＮＩＣＥ分類の「Type 2」と分類された場合であって、腺腫「adenoma」の確信度が高いもの（癌性が高いもの）として分類結果が得られた場合、表示用の第１報知情報は、注意を喚起させない色（例えば、無彩色）の「adenoma」の文字情報とする。したがって、図７Ａに示すように表示用の第１合成画像は、医用画像と表示用の第１報知情報（注意を喚起させない色の「adenoma」の文字情報）とを合成したものとしている。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
即ち、表示用の第１報知情報のサイズは、表示器の解像度により制限を受ける場合があり、この場合には表示用の第１報知情報自体を簡略化することで、第１報知情報のサイズを小さくする。一方、保存用の第２報知情報は、表示器のサイズに合わせる必要がないため、分類結果に応じた第２報知情報のサイズは小さくせず、分類結果の詳細を示す第２報知情報としている。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
分類結果「１」、「２」、「３」、「４」に応じた保存用１の第２報知情報は、ＮＩＣＥ分類の「Type 1」、「Type 2」．「Type 3」が示す最も可能性の高い病理である「Hyperplastic」、「Adenoma」、「Malignancy」、及び赤文字の「Adenoma」であり、これに対応する表示用１の第１報知情報は、これらの文字情報の頭文字「Ｈ」、「Ａ」、「Ｍ」、「Ａ」である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
また、分類結果「１」、「２」、「３」、「４」に応じた保存用２の第２報知情報は、「ＮＩＣＥ分類Type 1」、「ＮＩＣＥ分類Type 2」、「ＮＩＣＥ分類Type 3」及び「Adenoma 70％」であり、これに対応する表示用２の第１報知情報は、「Type A」、「Type B」、「Type C」及び無彩色の「Adenoma」である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１２８
【補正方法】変更
【補正の内容】
【０１２８】
［その他］
本発明に係る分類部は、ＣＮＮ等の学習器により医用画像又は医用画像に含まれる注目領域を分類するものに限らず、医用画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出し、検出した注目領域の特徴量により医用画像又は医用画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類するものでもよいし、これと学習器とを併用したものでもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１３１
【補正方法】変更
【補正の内容】
【０１３１】
また、上記実施形態では、合成画像生成部４４は、医用画像と保存用の第２報知情報とを合成した第２合成画像を生成するが、これに限らず、医用画像と第２報知情報とを関連付けて保存するようにしてもよい。この場合、第２報知情報は、第２報知情報を示す画像情報ではなく、例えば、テキスト情報とすることが可能であり、医用画像に対する付属情報として付加することができる。第２報知情報をテキスト情報とすることで、第２報知情報は編集可能である。また、医用画像が動画の場合、動画のフレーム番号、又はフレームのタイムスタンプを、各フレームに対応する第２報知情報に付与することで、動画の各フレームと第２報知情報とを関連付けて記録することが可能である。
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2020184257.tif 000021
【国際調査報告】
2020184257.tif 000022
2020184257.tif 000023
2020184257.tif 000024
2020184257.tif 000025