(57)【要約】【課題】内視鏡用処置具の写った内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行う内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置を提供する。【解決手段】内視鏡用処置具が抽出された前景画像を前景画像の背景となる背景内視鏡画像に重畳した重畳画像を生成する画像生成部と、重畳画像を使用して画像認識用の学習モデルの学習を行う機械学習部と、を備える内視鏡画像学習装置によって上記課題を解決する。【選択図】図４
2020141995.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡用処置具が抽出された前景画像を前記前景画像の背景となる背景内視鏡画像に重畳した重畳画像を生成する画像生成部と、
前記重畳画像を使用して画像認識用の学習モデルの学習を行う機械学習部と、
を備える内視鏡画像学習装置。
【請求項２】
前記前景画像を取得する前景画像取得部と、
前記背景内視鏡画像を取得する背景画像取得部と、
を備える請求項１に記載の内視鏡画像学習装置。
【請求項３】
学習用内視鏡画像を取得する学習用内視鏡画像取得部を備え、
前記機械学習部は、前記学習用内視鏡画像を使用して学習を行う請求項１又は２に記載の内視鏡画像学習装置。
【請求項４】
前記前景画像に特定の処理を施す画像処理部を備える請求項１から３のいずれか１項に記載の内視鏡画像学習装置。
【請求項５】
前記特定の処理は、アフィン変換処理、色彩変換処理、及びノイズの付与処理のうちの少なくとも１つである請求項４に記載の内視鏡画像学習装置。
【請求項６】
前記内視鏡用処置具を含む前景素材画像を取得する前景素材画像取得部と、
前記前景素材画像から前記内視鏡用処置具を切り出して前記前景画像を生成する画像切出部と、
を備える請求項１から５のいずれか１項に記載の内視鏡画像学習装置。
【請求項７】
前記前景素材画像は、内視鏡装置において前記内視鏡用処置具を使用した際に撮影された内視鏡画像である請求項６に記載の内視鏡画像学習装置。
【請求項８】
前記前景素材画像は、内視鏡画像以外の画像である請求項６に記載の内視鏡画像学習装置。
【請求項９】
前記学習モデルは、前記内視鏡用処置具の有無を認識する学習モデル、前記内視鏡用処置具の種類を認識する学習モデル、前記内視鏡用処置具の領域と前記内視鏡用処置具の領域以外の領域とを区別する学習モデル、注目領域の位置を検出する学習モデル、及び画像を分類する学習モデルのうちの少なくとも１つである請求項１から８のいずれか１項に記載の内視鏡画像学習装置。
【請求項１０】
機械学習部は、畳み込みニューラルネットワークを用いて学習を行う請求項１から９のいずれか１項に記載の内視鏡画像学習装置。
【請求項１１】
内視鏡画像を取得する画像取得部と、
請求項１から１０のいずれか１項に記載の内視鏡画像学習装置によって学習された学習モデルを用いて前記画像取得部が取得した内視鏡画像の画像認識を行う画像認識部と、
を備えた内視鏡画像認識装置。
【請求項１２】
内視鏡用処置具が抽出された前景画像を前記前景画像の背景となる背景内視鏡画像に重畳した重畳画像を生成する画像生成工程と、
前記重畳画像を使用して画像認識用の学習モデルの学習を行う機械学習工程と、
を備える内視鏡画像学習方法。
【請求項１３】
請求項１２に記載の内視鏡画像学習方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置に係り、特に内視鏡画像を認識する学習モデルの学習を行う技術に関する。
【背景技術】
【０００２】
近年、機械学習の一分野として多層ニューラルネットワークを利用した深層学習が注目を集めている。特に画像認識の分野では人間の識別能力を上回る性能を実現している。
【０００３】
この深層学習を用いて内視鏡画像を認識する技術が考案されている。例えば、特許文献１には、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を用いて、畳み込みニューラルネットワークにより内視鏡画像の分類器を自動作成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１９−０１３４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
深層学習による認識器の学習において精度向上の決め手となるのは、より大量で多様な学習データによって学習することである。しかしながら、医療分野における画像認識において、画像データ収集の難しさによりデータの量と多様性を確保することは困難である。
【０００６】
例えば、内視鏡用処置具の使用を高精度で認識するためには、市場に出回る多くの種類の内視鏡用処置具を使用している画像を収集する必要がある。しかし、それらの画像を大量に収集するのは、医療行為への介入に当たるため、困難である。また、市場には数十種類の内視鏡用処置具が出回っており、それら全てに対して大量の学習データを収集するのは困難である。
【０００７】
本発明はこのような事情に鑑みてなされたもので、内視鏡用処置具の写った内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行う内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための内視鏡画像学習装置の一の態様は、内視鏡用処置具が抽出された前景画像を前景画像の背景となる背景内視鏡画像に重畳した重畳画像を生成する画像生成部と、重畳画像を使用して画像認識用の学習モデルの学習を行う機械学習部と、を備える内視鏡画像学習装置である。
【０００９】
本態様によれば、内視鏡用処置具が抽出された前景画像を前景画像の背景となる背景内視鏡画像に重畳した重畳画像を使用して画像認識用の学習モデルの学習を行うようにしたので、内視鏡用処置具の写った内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行うことができる。
【００１０】
前景画像を取得する前景画像取得部と、背景内視鏡画像を取得する背景画像取得部と、を備えることが好ましい。これにより、前景画像及び背景内視鏡画像を適切に取得することができる。
【００１１】
学習用内視鏡画像を取得する学習用内視鏡画像取得部を備え、機械学習部は、学習用内視鏡画像を使用して学習を行うことが好ましい。重畳画像だけでなく、学習用内視鏡画像を使用して学習を行うことで、学習モデルの学習を適切に行うことができる。
【００１２】
前景画像に特定の処理を施す画像処理部を備えることが好ましい。特定の処理は、アフィン変換処理、色彩変換処理、及びノイズの付与処理のうちの少なくとも１つであることが好ましい。これにより、適切な前景画像を使用することができる。
【００１３】
内視鏡用処置具を含む前景素材画像を取得する前景素材画像取得部と、前景素材画像から内視鏡用処置具を切り出して前景画像を生成する画像切出部と、を備えることが好ましい。これにより、適切な前景画像を使用することができる。
【００１４】
前景素材画像は、内視鏡装置において内視鏡用処置具を使用した際に撮影された内視鏡画像であることが好ましい。また、前景素材画像は、内視鏡画像以外の画像であってもよい。これにより、適切な前景画像を生成することができる。
【００１５】
学習モデルは、内視鏡用処置具の有無を認識する学習モデル、内視鏡用処置具の種類を認識する学習モデル、内視鏡用処置具の領域と内視鏡用処置具の領域以外の領域とを区別する学習モデル、注目領域の位置を検出する学習モデル、及び画像を分類する学習モデルのうちの少なくとも１つであることが好ましい。本態様によれば、様々な画像認識用の学習モデルの学習を行うことができる。
【００１６】
機械学習部は、畳み込みニューラルネットワークを用いて学習を行うことが好ましい。これにより、学習モデルの学習を適切に行うことができる。
【００１７】
上記目的を達成するための内視鏡画像認識装置の一の態様は、内視鏡画像を取得する画像取得部と、上記に記載の内視鏡画像学習装置によって学習された学習モデルを用いて画像取得部が取得した内視鏡画像の画像認識を行う画像認識部と、を備えた内視鏡画像認識装置である。
【００１８】
本態様によれば、内視鏡用処置具の写った内視鏡画像を適切に認識することができる。
【００１９】
上記目的を達成するための内視鏡画像学習方法は、内視鏡用処置具が抽出された前景画像を前景画像の背景となる背景内視鏡画像に重畳した重畳画像を生成する画像生成工程と、重畳画像を使用して画像認識用の学習モデルの学習を行う機械学習工程と、を備える内視鏡画像学習方法である。
【００２０】
本態様によれば、内視鏡用処置具が抽出された前景画像を前景画像の背景となる背景内視鏡画像に重畳した重畳画像を使用して画像認識用の学習モデルの学習を行うようにしたので、内視鏡用処置具の写った内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行うことができる。
【００２１】
上記に記載の内視鏡画像学習方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
【発明の効果】
【００２２】
本発明によれば、内視鏡用処置具の写った内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行うことができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、内視鏡画像学習装置のハードウェア構成の一例を示すブロック図である。
【図２】図２は、前景素材画像１４Ａの一例を示す図である。
【図３】図３は、前景素材画像１４Ａの他の例を示す図である。
【図４】図４は、第１の実施形態に係る内視鏡画像学習装置１０の主要な機能を示す機能ブロック図である。
【図５】図５は、機械学習部５０の主要な機能を示す機能ブロック図である。
【図６】図６は、内視鏡画像学習装置１０による内視鏡画像学習方法の一例を示すフローチャートである。
【図７】図７は、内視鏡画像学習装置１０の画像処理を説明するための図である。
【図８】図８は、前景素材画像１４Ａの一例を示す図である。
【図９】図９は、図７に示した前景画像３０Ａを変換した前景画像３０Ａを示す図である。
【図１０】図１０は、図７に示した前景画像３０Ａを変換した前景画像３０Ａを示す図である。
【図１１】図１１は、処置具のセグメンテーションを認識する学習モデルの場合の重畳画像３８Ａ及び重畳画像３８Ａの正解データ３８Ｂを示す図である。
【図１２】図１２は、病変の位置を認識する学習モデルの場合の背景画像１６Ａ及び背景画像１６Ａの正解データ１６Ｂと、背景画像１６Ａから生成された重畳画像３８Ａ及び重畳画像３８Ａの正解データ３８Ｂとの一例を示す図である。
【図１３】図１３は、第２の実施形態に係る内視鏡システム１００を示す外観図である。
【図１４】図１４は、挿入部１０２Ａの先端部１０２Ｄの正面図である。
【図１５】図１５は、内視鏡システム１００の機能を示すブロック図である。
【図１６】図１６は、光Ｌ１及び光Ｌ２の強度分布を示すグラフである。
【発明を実施するための形態】
【００２４】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【００２５】
＜内視鏡画像学習装置のハードウェア構成＞
本発明に係る内視鏡画像学習装置は、内視鏡画像の認識を行う学習モデルの学習に使用する学習データを水増しすることで、学習モデルの学習を適切に行う装置である。図１は、内視鏡画像学習装置のハードウェア構成の一例を示すブロック図である。
【００２６】
内視鏡画像学習装置１０は、パーソナルコンピュータ又はワークステーションによって構成される。内視鏡画像学習装置１０は、通信部１２、前景素材画像データベース１４、背景内視鏡画像データベース１６、学習用内視鏡画像データベース１８、操作部２０、ＣＰＵ（Central Processing Unit）２２、ＲＡＭ(Random Access Memory)２４、ＲＯＭ(Read Only Memory)２６、及び表示部２８から構成される。
【００２７】
通信部１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。
【００２８】
前景素材画像データベース１４は、内視鏡用処置具（以下、処置具と表記する）が写った複数の前景素材画像１４Ａを記憶する大容量ストレージ装置である。処置具は、鉗子出口１０５（図１４参照）から突出される生検鉗子、スネア、高周波ナイフ、メジャー鉗子及び止血クリップを含む。また、処置具は、内視鏡１０２の先端部１０２Ｄに装着されるキャップ１０２Ｆ（図１３参照）を含む。処置具は、その他の内視鏡画像に写り込む可能性のある器具を含んでもよい。前景素材画像データベース１４は、必要に応じて、前景素材画像に画像内の処置具の種類を示す情報を関連付けて記憶してもよい。
【００２９】
図２は、前景素材画像１４Ａの一例を示す図である。図２に示す前景素材画像１４Ａは、内視鏡によって生体を観察中に処置具を使用している際に撮影された画像であり、鉗子出口１０５（図１４参照）から突出した生検鉗子である処置具Ｔ１が写った画像である。
【００３０】
図３は、前景素材画像１４Ａの他の例を示す図である。図３に示す前景素材画像１４Ａは、内視鏡によって生体を観察中に処置具を使用している際に撮影された画像であり、先端部に装着されたキャップである処置具Ｔ２が写った画像である。
【００３１】
図１の説明に戻り、背景内視鏡画像データベース１６は、前景画像の背景となる複数の背景内視鏡画像を記憶する大容量ストレージ装置である。背景内視鏡画像は、例えば内視鏡システム１００（図１３参照）によって撮影された内視鏡画像である。背景内視鏡画像は、それぞれ異なる不図示の複数の内視鏡装置によって撮影された内視鏡画像であってよい。背景内視鏡画像は、処置具が写っていない画像であることが好ましい。背景内視鏡画像データベース１６は、必要に応じて、背景内視鏡画像に画像内の病変（注目領域の一例）の有無の情報、病変の位置の情報、及び病変の分類の情報を関連付けて記憶してもよい。病変の位置の情報は、画像内における病変の座標の情報でもよいし、病変を囲む矩形の情報、又は病変を覆い隠すマスクデータの情報でもよい。
【００３２】
病変とは、病気が原因のものに限定されず、外観上正常な状態とは異なる状態の領域を含んでいる。病変としては、例えば、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕又はＥＳＤ（Endoscopic Submucosal Dissection）瘢痕等の治療痕、クリップ箇所、出血点、穿孔、及び血管異型性等が挙げられる。病変の分類は、腫瘍性、非腫瘍性の２分類、NICE分類等が挙げられる。
【００３３】
学習用内視鏡画像データベース１８は、学習用内視鏡画像を記憶する大容量ストレージ装置である。学習用内視鏡画像は、内視鏡システム１００（図１３参照）によって撮影された内視鏡画像である。学習用内視鏡画像は、それぞれ異なる不図示の複数の内視鏡装置によって撮影された内視鏡画像であってよい。学習用内視鏡画像は、処置具が写っている画像、及び処置具が写っていない画像を含む。学習用内視鏡画像データベース１８は、必要に応じて、学習用内視鏡画像に画像内の処置具の有無の情報、画像内の病変の有無の情報、病変の位置の情報、及び病変の分類の情報を関連付けて記憶してもよい。
【００３４】
前景素材画像データベース１４、背景内視鏡画像データベース１６、及び学習用内視鏡画像データベース１８のうち少なくとも２つを同一のストレージ装置としてもよい。また、前景素材画像データベース１４、背景内視鏡画像データベース１６、及び学習用内視鏡画像データベース１８のうち少なくとも１つを、内視鏡画像学習装置１０の外部に設けてもよい。この場合、通信部１２を介して外部のデータベースから画像を取得する。
【００３５】
操作部２０は、内視鏡画像学習装置１０に対する各種の操作入力を受け付ける入力インターフェースである。操作部２０は、コンピュータに有線接続又は無線接続されるキーボード又はマウス等が用いられる。
【００３６】
ＣＰＵ２２は、ＲＯＭ２６又は不図示のハードディスク装置等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ２４は、ＣＰＵ２２の作業領域として使用される。また、ＲＡＭ２４は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。内視鏡画像学習装置１０は、ＧＰＵ（Graphics Processing Unit）を備えていてもよい。
【００３７】
表示部２８は、内視鏡画像学習装置１０の必要な情報が表示される出力インターフェースである。表示部２８は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
【００３８】
内視鏡画像学習装置１０は、操作部２０からの指示入力により、ＣＰＵ２２がＲＯＭ２６又はハードディスク装置等に記憶されている内視鏡画像学習プログラムを読み出し、内視鏡画像学習プログラムを実行する。これにより、後述する内視鏡画像学習方法が実施され、重畳画像の生成、及び重畳画像を用いた学習モデルの学習が行われる。
【００３９】
内視鏡画像学習方法をコンピュータに実行させる内視鏡画像学習プログラムは、コンピュータの読取可能な非一時的な記録媒体に記憶させて提供されてもよい。
【００４０】
なお、ここでは内視鏡画像学習装置１０を単一のパーソナルコンピュータ又はワークステーションによって構成する例を説明したが、複数のパーソナルコンピュータによって内視鏡画像学習装置１０を構成してもよい。例えば、重畳画像を生成するパーソナルコンピュータと機械学習を行うパーソナルコンピュータとを分けることで、学習データの生成と学習モデルの生成とを物理的にも時間的にも互いに束縛されることなく実施することができる。
【００４１】
＜第１の実施形態＞
第１の実施形態では、内視鏡画像内の処置具の有無を画像認識する学習モデルを生成する。
【００４２】
〔内視鏡画像学習装置〕
図４は、第１の実施形態に係る内視鏡画像学習装置１０の主要な機能を示す機能ブロック図である。内視鏡画像学習装置１０は、前景画像取得部３０、背景画像取得部３６、画像生成部３８、学習用内視鏡画像取得部４０、及び機械学習部５０を備えている。
【００４３】
前景画像取得部３０は、処置具が抽出された前景画像３０Ａを取得する。ここでは、前景画像取得部３０は、前景素材画像１４Ａから処置具を抽出した前景画像３０Ａを取得する。前景画像取得部３０は、画像切出部３２、及び画像処理部３４を備えている。
【００４４】
画像切出部３２（前景素材画像取得部の一例）は、前景素材画像データベース１４から前景素材画像１４Ａを取得する。画像切出部３２は、取得した前景素材画像１４Ａのうち、処置具が写った領域を切り出す（抽出の一例）。この切り出した領域が前景画像３０Ａである。
【００４５】
画像処理部３４は、画像切出部３２から前景画像３０Ａを取得する。画像処理部３４は、取得した前景画像３０Ａに特定の処理を施す。特定の処理は、アフィン変換処理、色彩変換処理、及びノイズの付与処理のうちの少なくとも１つの画像処理である。
【００４６】
画像処理部３４は、前景画像３０Ａにアフィン変換処理を施すことで、焦点距離等、内視鏡装置の光学系と前景画像３０Ａを撮影した光学系の違いを補正することができる。即ち、アフィン変換処理後の前景画像３０Ａは、内視鏡装置の光学系で撮影された画像と同様の特性を有する。
【００４７】
画像処理部３４は、前景画像３０Ａに色彩変換処理を施すことで、後述する背景内視鏡画像３６Ａの色彩との違いを補正することができる。例えば、色彩変換処理によって、前景画像３０Ａに背景内視鏡画像３６Ａの粘膜の反射を再現することができる。
【００４８】
画像処理部３４は、前景画像３０Ａにノイズの付与処理を施すことで、ノイズの量を補正することができる。例えば、後述する背景内視鏡画像３６Ａが暗い画像でノイズが多い場合に、前景画像３０Ａにも同様のノイズを付与することで、同様の暗さを再現することができる。
【００４９】
画像処理部３４によって特定の処理が施された前景画像３０Ａは、画像生成部３８に入力される。
【００５０】
背景画像取得部３６は、背景内視鏡画像データベース１６から前景画像の背景となる背景内視鏡画像３６Ａを取得する。
【００５１】
画像生成部３８は、前景画像取得部３０から前景画像３０Ａを取得する。また、画像生成部３８は、背景画像取得部３６から背景内視鏡画像３６Ａを取得する。画像生成部３８は、前景画像３０Ａを背景内視鏡画像３６Ａに重畳した重畳画像３８Ａを生成する。また、画像生成部３８は、生成した重畳画像３８Ａの正解データ３８Ｂを生成する。
【００５２】
ここでは、画像生成部３８は、少なくとも１枚の前景画像３０Ａについて、それぞれ異なる複数枚の背景内視鏡画像３６Ａを取得し、それぞれ前景画像を重畳した複数枚の重畳画像３８Ａを生成する。前景画像３０Ａと背景内視鏡画像３６Ａとの組み合わせは、ランダムに決定することが好ましい。また、重畳画像３８Ａの正解データ３８Ｂは、全て「処置具あり」である。画像生成部３８は、重畳画像３８Ａ及び正解データ３８Ｂのデータセットを生成した重畳画像３８Ａの数だけ出力する。
【００５３】
本実施形態に係る学習用内視鏡画像データベース１８は、学習用内視鏡画像に画像内の処置具の有無の情報を関連付けて記憶している。学習用内視鏡画像取得部４０は、学習用内視鏡画像データベース１８から学習用内視鏡画像４０Ａを取得する。また、学習用内視鏡画像取得部４０は、取得した学習用内視鏡画像４０Ａに関連付けられた処置具の有無の情報から、正解データ４０Ｂを取得する。正解データ４０Ｂは、学習用内視鏡画像４０Ａに応じて「処置具あり」及び「処置具なし」がある。学習用内視鏡画像取得部４０は、取得した学習用内視鏡画像４０Ａ及び正解データ４０Ｂのデータセットを機械学習部５０に入力する。
【００５４】
機械学習部５０は、少なくとも重畳画像３８Ａを使用して画像認識用の学習モデルの学習を行う。ここでは、機械学習部５０は、重畳画像３８Ａ及び学習用内視鏡画像４０Ａを使用して画像認識用の学習モデルを生成する。機械学習部５０は、学習モデルの一つである畳み込みニューラルネットワーク（CNN：Convolution Neural Network）を構築する。
【００５５】
図５は、機械学習部５０の主要な機能を示す機能ブロック図である。機械学習部５０は、ＣＮＮ５２、誤差算出部５４、及びパラメータ更新部５６を備える。
【００５６】
ＣＮＮ５２は、内視鏡画像内の処置具の有無を画像認識する認識器である。ＣＮＮ５２は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。ＣＮＮ５２は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。
【００５７】
このＣＮＮ５２は、入力層５２Ａ、中間層５２Ｂ、及び出力層５２Ｃを備える。入力層５２Ａ、中間層５２Ｂ、及び出力層５２Ｃは、それぞれ複数の「ノード」が「エッジ」で結ばれる構造となっている。
【００５８】
入力層５２Ａには、学習対象である重畳画像３８Ａ及び学習用内視鏡画像４０Ａが入力される。
【００５９】
中間層５２Ｂは、入力層から入力した画像から特徴を抽出する層である。中間層５２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層とを有する。畳み込み層は、前の層で近くにあるノードに対してフィルタを使用した畳み込み演算を行い、特徴マップを取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。全結合層は、直前の層（ここではプーリング層）のノードの全てを結合する。畳み込み層は、画像からのエッジ抽出等の特徴抽出の役割を担い、プーリング層は抽出された特徴が、平行移動等による影響を受けないようにロバスト性を与える役割を担う。なお、中間層５２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合、及び正規化層も含まれる。
【００６０】
出力層５２Ｃは、中間層５２Ｂにより抽出された特徴に基づいて内視鏡画像内の処置具の有無の認識結果を出力する層である。
【００６１】
学習済みのＣＮＮ５２は、内視鏡画像内の処置具の有無を分類する場合、例えば内視鏡画像を「処置具あり」及び「処置具なし」の２つのカテゴリに分類し、認識結果は「処置具あり」及び「処置具なし」に対応する２つのスコアとして出力する。２つのスコアの合計は１００％である。
【００６２】
学習前のＣＮＮ５２の各畳み込み層に適用されるフィルタの係数、オフセット値、及び全結合層における次の層との接続の重みは、任意の初期値がセットされる。
【００６３】
誤差算出部５４は、ＣＮＮ５２の出力層５２Ｃから出力される認識結果と、入力画像に対する正解データとを取得し、両者間の誤差を算出する。誤差の算出方法は、例えばソフトマックスクロスエントロピー、又は最小二乗誤差（MSE:Mean Squared Error）等が考えられる。
【００６４】
パラメータ更新部５６は、誤差算出部５４により算出された誤差を元に、誤差逆伝播法によりＣＮＮ５２の重みパラメータを調整する。
【００６５】
このパラメータの調整処理を繰り返し行い、ＣＮＮ５２の出力と正解データとの差が小さくなるまで繰り返し学習を行う。
【００６６】
機械学習部５０は、少なくとも重畳画像３８Ａ及び正解データ３８Ｂのデータセットを使用し、ＣＮＮ５２の各パラメータを最適化する。ここでは、機械学習部５０は、重畳画像３８Ａ及び正解データ３８Ｂのデータセットと、学習用内視鏡画像４０Ａ及び正解データ４０Ｂのデータセットとを使用し、ＣＮＮ５２の各パラメータを最適化する。それぞれのデータセットを混合した状態で学習してもよい。機械学習部５０の学習は、一定の数のデータセットを抽出し、抽出したデータセットによって学習のバッチ処理を行い、これを繰り返すミニバッチ法を用いてもよい。
【００６７】
機械学習部５０は、実現したい認識処理によっては正解データを用いなくてもよい。また、機械学習部５０は、エッジ抽出等のあらかじめ設計したアルゴリズムで特徴を抽出し、その情報を用いてサポートベクターマシン等で学習してもよい。
【００６８】
〔内視鏡画像学習方法〕
図６は、内視鏡画像学習装置１０による内視鏡画像学習方法の一例を示すフローチャートである。内視鏡画像学習方法は、前景画像取得工程（ステップＳ１）、背景画像取得工程（ステップＳ２）、画像生成工程（ステップＳ３）、及び機械学習工程（ステップＳ４）を有している。
【００６９】
ステップＳ１では、前景画像取得部３０は、処置具が抽出された前景画像３０Ａを取得する。即ち、前景画像取得部３０の画像切出部３２は、前景素材画像データベース１４から前景素材画像１４Ａを取得し、処置具が写った領域を切り出して前景画像３０Ａを生成する。
【００７０】
図７は、内視鏡画像学習装置１０の画像処理を説明するための図である。ここでは、画像切出部３２は、一例として図２に示した前景素材画像１４Ａを取得したものとする。図７に、画像切出部３２が前景素材画像１４Ａから切り出した前景画像３０Ａの一例を示す。図７に示すように、前景画像３０Ａは処置具Ｔ１の領域以外の領域が透明の画像である。なお、前景画像３０Ａは、処置具Ｔ１の領域だけの画像であってもよい。
【００７１】
図６の説明に戻り、ステップＳ２では、背景画像取得部３６は、背景内視鏡画像データベース１６から前景画像の背景となる背景内視鏡画像３６Ａを取得する。図７に、背景画像取得部３６が取得した背景内視鏡画像３６Ａの一例を示す。図７に示すように、背景内視鏡画像３６Ａは、処置具が写っていない画像である。
【００７２】
ステップＳ３では、画像生成部３８は、前景画像３０Ａを背景内視鏡画像３６Ａに重畳した重畳画像３８Ａを生成する。図７に、画像生成部３８が重畳した重畳画像３８Ａの一例を示す。図７に示すように、重畳画像３８Ａは、処置具の使用中に撮影された内視鏡画像と同様の画像である。
【００７３】
ステップＳ４では、機械学習部５０は、画像認識用の学習モデルの学習を行う。ここでは、機械学習部５０は、重畳画像及び学習用内視鏡画像を使用して画像認識用の学習モデルを生成する。
【００７４】
ステップＳ１〜ステップＳ３の処理を予め行うことで、生成した複数の重畳画像３８Ａ及び正解データ３８Ｂのデータセットを不図示のデータベースに記憶させておき、機械学習部５０がデータベースから複数のデータセットを読み出すことでステップＳ４の処理を実行してもよい。
【００７５】
内視鏡で観察される内視鏡画像は、視点の変化や、管空の形状の変化によって変化する。しかし、内視鏡の撮像系と位置関係の変わらないままの状態にある物体は、画像上での位置が変化しない。例えば、内視鏡の先端部に設けられた鉗子出口１０５（図１４参照）から突出される処置具は、基本的に常に同じような見え方になる。内視鏡の先端部に装着されるキャップ１０２Ｆ（図１３参照）も同様である。即ち、生体を撮影した通常の内視鏡画像が背景、処置具が前景という状態になる。
【００７６】
本実施形態によれば、背景画像である内視鏡画像に処置具の前景画像を合成した重畳画像を生成して学習データとして使用するので、学習データを水増しすることができる。したがって、処置具を含む内視鏡画像に対する画像認識の性能を向上させることができる。
【００７７】
本実施形態によれば、データ収集の困難な処置具を含む内視鏡画像を、大量に収集することなく学習が可能になる。また、処置具使用時の内視鏡画像を擬似的に再現することで、病変検出時等の場面でも正常に動作させるための学習が可能になる。
【００７８】
一般の画像認識においても、前景画像と背景画像とを合成することで学習データを自動的に大量に水増しすることが考えられるが、たいていの場合、違和感のある画像が出来上がることが多く、これらの画像を用いて学習しても精度向上への寄与は少ない。また、違和感の無い画像を作成しようとすると、合成画像の作成に時間を要し大量生産の実現が困難になる。
【００７９】
一方、内視鏡画像の画像認識においては、処置具は前景にある人工物であり、背景となる生体に対して「違和感のある」物体である。したがって、合成画像を自動的に大量生産することによって得られた学習画像を用いた学習においても、精度向上が期待できる。
【００８０】
＜前景画像のその他の態様＞
上記の例では、前景素材画像データベース１４に保存された前景素材画像１４Ａは、内視鏡によって生体を観察中に処置具を使用している際に撮影された画像であった。このため、前景画像取得部３０は、処置具の金属部分等の光が反射する部分に管腔等の生体の状態が写り込んだ、より現実的な前景画像３０Ａを取得することができる。
【００８１】
ここでは、前景素材画像１４Ａとして、内視鏡によって生体以外の部分を観察しながら処置具を使用している際に撮影された画像を用いる例を説明する。
【００８２】
この場合、第１の実施形態と比較して前景画像３０Ａの現実感に欠けるが、処置具を実際に生体内で使用する必要が無いため、前景素材画像１４Ａの収集が容易であるというメリットがある。
【００８３】
図８は、前景素材画像１４Ａの一例を示す図である。前景素材画像１４Ａは、処置具Ｔ１の背景Ｂが一定の色となっている。このように、背景の領域が一定の色になるように撮影することで、例えば「前景素材画像１４Ａのうち色相が一定の範囲外の部分を前景画像３０Ａとして切り出す」という方法で、前景画像３０Ａを機械的に切り出すことも可能になる。
【００８４】
また、内視鏡の撮像系以外の撮影デバイスで撮影された画像、即ち内視鏡画像以外の画像から切り出してもよい。この画像は、内視鏡の撮像系で撮影された処置具の画像とは乖離するものの、より容易に前景素材画像１４Ａを収集し、前景画像３０Ａを生成することが可能となる。
【００８５】
前景画像３０Ａはそのまま用いてもよいが、前景画像３０Ａのバリエーションを増やすために、画像処理部３４において種々の変換を行ってもよい。
【００８６】
図９及び図１０は、図７に示した前景画像３０Ａを変換した前景画像３０Ａを示す図である。図９に示す前景画像３０Ａは、図７の前景画像３０Ａの処置具Ｔ１を図７における下方に平行移動させた画像である。このような前景画像３０Ａを用いることで、処置具の挿入長による変化を再現することができる。また、図１０に示す前景画像３０Ａは、図７の処置具Ｔ１の筒部（シース部）の色調を変化させた画像である。このような前景画像３０Ａを用いることで、形状が同一で色が異なる処置具の使用を再現することができる。例えば、生体の粘膜の色に類似する色のシース部を有する処置具Ｔ１の学習データを生成することができる。
【００８７】
＜背景画像のその他の態様＞
背景内視鏡画像データベース１６に保存された背景内視鏡画像３６Ａは、生体を撮影した画像であることが好ましい。その中でも、処置具の使用中の画像、又は送水中で水が撮像系に付着し曇った状態の画像等の前景が写っている画像は、重畳の背景として不向きなため、使用しない。また、生体組織に近接して観察している際は処置具を用いることが稀なため、近接して撮影された画像は除外した方が好ましい。
【００８８】
＜学習モデルのその他の態様＞
本実施形態では、機械学習部５０は内視鏡画像内の処置具の有無を画像認識する学習モデルを生成したが、画像認識にはその他のバリエーションが考えられる。例えば、学習モデルは、内視鏡画像内の処置具の種類を画像認識する学習モデルであってもよい。
【００８９】
この場合、重畳画像３８Ａの正解データ３８Ｂとして、前景画像３０Ａの処置具のクラスのラベルを付与する。処置具のクラスのラベルは、前景素材画像１４Ａに関連付けて前景素材画像データベース１４に記憶しておけばよい。
【００９０】
また、学習モデルは、処置具の領域と処置具の領域以外の領域とを区別する処置具のセグメンテーションを行う学習モデルであってもよい。
【００９１】
図１１は、処置具のセグメンテーションを認識する学習モデルの場合の重畳画像３８Ａ及び重畳画像３８Ａの正解データ３８Ｂを示す図である。図１１に示すように、重畳画像３８Ａには処置具Ｔ１が重畳されている。また、正解データ３８Ｂは、処置具Ｔ１の領域に対応する領域Ｍ１である。ここでは、領域Ｍ１以外の領域がマスクされた画像である。
【００９２】
学習モデルは、処置具の認識でなくてもよい。例えば、学習モデルは病変の分類（画像の分類の一例）を行う学習モデルであってもよい。前景画像を重畳した場合であっても、背景画像に写る病変の診断結果に変化はない。したがって、これらの重畳画像を学習に用いることができる。また、このような水増しにより、処置具の使用により分類結果に想定外の影響を及ぼす危険性を減らすことができる。この場合は、背景画像１６Ａに付与されている病変に関するラベルを変更せずに正解データとして使用して学習を行えばよい。
【００９３】
学習モデルは、病変部の位置を認識する学習モデルであってもよい。この場合、前景画像３０Ａの合成により、背景画像１６Ａの病変の面積が変化する場合がある。この場合は、以下のように正解データを変化させる。
【００９４】
図１２は、病変の位置を認識する学習モデルの場合の背景画像１６Ａ及び背景画像１６Ａの正解データ１６Ｂと、背景画像１６Ａから生成された重畳画像３８Ａ及び重畳画像３８Ａの正解データ３８Ｂとの一例を示す図である。
【００９５】
図１２に示すように、背景画像１６Ａは、病変に相当する注目領域Ｒ１が存在する。また、背景画像１６Ａの正解データ１６Ｂは、注目領域Ｒ１に対応する領域Ｍ２である。
【００９６】
また、重畳画像３８Ａには処置具Ｔ１が重畳されており、処置具Ｔ１は注目領域Ｒ１の一部と重なっている。したがって、この場合の正解データ３８Ｂは、図１２に示すように領域Ｍ２と処置具Ｔ１の領域との差分の領域Ｍ３となる。機械学習部５０は、この正解データ３８Ｂを使用して学習することで、病変部の位置を認識する学習モデルを適切に学習することができる。
【００９７】
＜第２の実施形態＞
内視鏡画像学習装置１０を適用した内視鏡システムの一例について説明する。
【００９８】
〔内視鏡システムの構成〕
図１３は、第２の実施形態に係る内視鏡システム１００を示す外観図である。図１３に示すように、内視鏡システム１００は、内視鏡１０２、光源装置１１４、プロセッサ装置１１６、表示部１１８、及び入力部１２０を備えている。
【００９９】
内視鏡１０２は、被験者の肛門から挿入され、直腸及び大腸等を観察するために用いられる下部内視鏡である。内視鏡１０２は、光源装置１１４と光学的に接続される。また、内視鏡１０２は、プロセッサ装置１１６と電気的に接続される。
【０１００】
内視鏡１０２は、被験者の体腔内に挿入される挿入部１０２Ａと、挿入部１０２Ａの基端部分に設けられた操作部１０２Ｂと、挿入部１０２Ａの先端側に設けられた湾曲部１０２Ｃと、先端部１０２Ｄとを有している。
【０１０１】
操作部１０２Ｂには、アングルノブ１０２Ｅと、モード切替スイッチ１０３とが設けられている。
【０１０２】
アングルノブ１０２Ｅを操作することにより、湾曲部１０２Ｃが湾曲動作する。この湾曲動作によって先端部１０２Ｄが所望の方向に向けられる。
【０１０３】
モード切替スイッチ１０３は、観察モードの切り替え操作に用いられる。内視鏡システム１００は、照射光の波長パターンがそれぞれ異なる複数の観察モードを有している。医師は、モード切替スイッチ１０３を操作することにより、所望の観察モードに設定することができる。内視鏡システム１００は、波長パターンと画像処理との組み合わせによって、設定された観察モードに応じた画像を生成して表示部１１８に表示する。
【０１０４】
また、操作部１０２Ｂには、不図示の取得指示入力部が設けられている。取得指示入力部は、医師が静止画の取得指示を入力するためのインターフェースである。取得指示入力部は、静止画の取得指示を受け付ける。取得指示入力部において受け付けた静止画の取得指示は、プロセッサ装置１１６に入力される。
【０１０５】
操作部１０２Ｂの先端側には、鉗子口１０４が設けられる。鉗子口１０４には、処置具が挿通される。鉗子口１０４は、挿入部１０２Ａ内の不図示の鉗子チャンネルを通して、挿入部１０２Ａの先端部１０２Ｄの鉗子出口１０５（図１４参照）に連通している。
【０１０６】
図１４は、挿入部１０２Ａの先端部１０２Ｄの正面図である。図１４に示すように、先端部１０２Ｄには、鉗子口１０４から挿通された処置具が突出する鉗子出口１０５、エア又は水を噴出させる送気送水ノズル１０６、照射光Ｌ０（図１５参照）の反射光を撮像部１３７（図１５参照）に導く観察窓１０７、及び撮影対象に照射光Ｌ０を照射する照明窓１０８が設けられている。
【０１０７】
なお、図１３に示すように、先端部１０２Ｄにはキャップ１０２Ｆ（内視鏡用処置具の一例）が装着される場合がある。キャップ１０２Ｆは、キャップ１０２Ｆを撮影対象に当接させることで、撮影対象と観察窓１０７との距離を一定に保つために用いられる。
【０１０８】
プロセッサ装置１１６は、表示部１１８及び入力部１２０と電気的に接続される。表示部１１８は、観察対象の画像及び観察対象の画像に関連する情報等を出力表示する表示デバイスである。入力部１２０は、内視鏡システム１００の機能設定及び各種指示等の入力操作を受け付けるユーザインターフェースとして機能する。
【０１０９】
図１５は、内視鏡システム１００の機能を示すブロック図である。図１５に示すように、光源装置１１４は、第１レーザ光源１２２Ａ、第２レーザ光源１２２Ｂ、及び光源制御部１２４を備えている。
【０１１０】
第１レーザ光源１２２Ａは、中心波長４４５ｎｍの青色レーザ光源である。第２レーザ光源１２２Ｂは、中心波長４０５ｎｍの紫色レーザ光源である。第１レーザ光源１２２Ａ及び第２レーザ光源１２２Ｂとして、レーザダイオードを用いることができる。第１レーザ光源１２２Ａ及び第２レーザ光源１２２Ｂの発光は、光源制御部１２４により個別に制御される。第１レーザ光源１２２Ａと第２レーザ光源１２２Ｂとの発光強度比は変更自在になっている。
【０１１１】
また、図１５に示すように、内視鏡１０２は、光ファイバ１２８Ａ、光ファイバ１２８Ｂ、蛍光体１３０、拡散部材１３２、撮像レンズ１３４、撮像素子１３６、及びアナログデジタル変換部１３８を備えている。
【０１１２】
第１レーザ光源１２２Ａから出射されるレーザ光は、光ファイバ１２８Ａによって、内視鏡１０２の先端部１０２Ｄに配置された蛍光体１３０に照射される。蛍光体１３０は、第１レーザ光源１２２Ａからの青色レーザ光の一部を吸収して緑色〜黄色に励起発光する複数種の蛍光体を含んで構成される。これにより、蛍光体１３０から出射する光は、第１レーザ光源１２２Ａからの青色レーザ光を励起光とする緑色〜黄色の励起光Ｌ１１と、蛍光体１３０に吸収されずに透過した青色のレーザ光Ｌ１２とが合わされて、白色（疑似白色）の光Ｌ１となる。
【０１１３】
なお、ここで言う白色光とは、厳密に可視光の全ての波長成分を含むものに限らない。例えば、Ｒ、Ｇ、Ｂ等、特定の波長帯域の光を含むものであればよく、緑色から赤色にかけての波長成分を含む光、又は青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
【０１１４】
一方、第２レーザ光源１２２Ｂから出射されるレーザ光は、光ファイバ１２８Ｂによって、内視鏡１０２の先端部１０２Ｄに配置された拡散部材１３２に照射される。拡散部材１３２は、透光性を有する樹脂材料等を用いることができる。拡散部材１３２から出射する光は、照射領域内において光量が均一化された狭帯域波長の光Ｌ２となる。
【０１１５】
図１６は、光Ｌ１及び光Ｌ２の強度分布を示すグラフである。光源制御部１２４は、第１レーザ光源１２２Ａと第２レーザ光源１２２Ｂとの光量比を変更する。これにより、光Ｌ１と光Ｌ２との光量比が変更され、光Ｌ１と光Ｌ２との合成光である照射光Ｌ０の波長パターンが変更される。したがって、観察モードに応じて異なる波長パターンの照射光Ｌ０を照射することができる。
【０１１６】
図１５の説明に戻り、撮像レンズ１３４、撮像素子１３６、及びアナログデジタル変換部１３８によって、撮像部１３７が構成される。撮像部１３７は、内視鏡１０２の先端部１０２Ｄに配置される。
【０１１７】
撮像レンズ１３４は、入射した光を撮像素子１３６に結像させる。撮像素子１３６は、受光した光に応じたアナログ信号を生成する。撮像素子１３６としては、ＣＣＤ（Charge Coupled Device）型イメージセンサ、又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサが用いられる。撮像素子１３６から出力されるアナログ信号は、アナログデジタル変換部１３８によりデジタル信号に変換され、プロセッサ装置１１６に入力される。
【０１１８】
また、プロセッサ装置１１６は、撮影制御部１４０、画像処理部１４２、画像取得部１４４、及び画像認識部１４６を備えている。
【０１１９】
撮影制御部１４０は、光源装置１１４の光源制御部１２４、内視鏡１０２の撮像素子１３６及びアナログデジタル変換部１３８、プロセッサ装置１１６の画像処理部１４２を制御することで、内視鏡システム１００による動画及び静止画の撮影を統括制御する。
【０１２０】
画像処理部１４２は、内視鏡１０２のアナログデジタル変換部１３８から入力されたデジタル信号に画像処理を施し、画像を示す画像データ（以下、画像と表記する）を生成する。画像処理部１４２は、撮影時の照射光の波長パターンに応じた画像処理を施す。
【０１２１】
画像取得部１４４は、画像処理部１４２が生成した画像を取得する。即ち、画像取得部１４４は、被験者の生体内を一定のフレームレートで時系列的に撮影した複数の画像を順次取得する。なお、画像取得部１４４は、入力部１２０から入力された画像、又は記憶部１６２に記憶された画像を取得してもよい。また、不図示のネットワークに接続されたサーバ等の外部装置から画像を取得してもよい。
【０１２２】
画像認識部１４６（内視鏡画像認識装置の一例）は、内視鏡画像学習装置１０によって学習された学習モデルを用いて、画像取得部１４４が取得した画像の画像認識を行う。本実施形態では、画像取得部１４４が取得した画像から処置具の有無を分類する。
【０１２３】
表示制御部１５８は、画像処理部１４２によって生成された画像を表示部１１８に表示させる。また、画像認識部１４６によって分類された処置具の有無の分類結果を表示してもよい。
【０１２４】
記憶制御部１６０は、画像処理部１４２によって生成された画像を記憶部１６２に記憶させる。例えば、静止画の取得指示に従って撮影された画像及び画像を撮影した際の照射光Ｌ０の波長パターンの情報等を記憶部１６２に記憶させる。
【０１２５】
記憶部１６２は、例えばハードディスク等のストレージ装置である。なお、記憶部１６２は、プロセッサ装置１１６に内蔵されたものに限定されない。例えば、プロセッサ装置１１６に接続される不図示の外部記憶装置であってもよい。外部記憶装置は、不図示のネットワークを介して接続されていてもよい。
【０１２６】
このように構成された内視鏡システム１００は、通常は一定のフレームレートで動画撮影を行い、撮影した画像を表示部１１８に表示する。また、撮影された動画から、処置具の有無を分類し、分類結果を表示部１１８に表示する。
【０１２７】
内視鏡システム１００によれば、内視鏡画像学習装置１０によって学習された学習モデルを用いた画像認識部１４６によって内視鏡画像の画像認識を行うので、画像認識を適切に行うことができる。
【０１２８】
＜付記＞
上述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。
【０１２９】
（付記１）
医療画像解析処理部（画像認識部）は、医療画像（内視鏡画像）の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
【０１３０】
（付記２）
医療画像解析処理部（画像認識部）は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
【０１３１】
（付記３）
医療画像解析結果取得部（画像認識部）は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
【０１３２】
（付記４）
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
【０１３３】
（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
【０１３４】
（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
【０１３５】
（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
【０１３６】
（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
【０１３７】
（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
【０１３８】
（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
【０１３９】
（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
【０１４０】
（付記１２）
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
【０１４１】
（付記１３）
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
【０１４２】
（付記１４）
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
【０１４３】
（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
【０１４４】
（付記１６）
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
【０１４５】
（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるRGB（Red Green Blue）あるいはCMY（Cyan, Magenta, Yellow）の色情報に基づく演算により得る医療画像処理装置。
【０１４６】
（付記１８）
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
【０１４７】
（付記１９）
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
【０１４８】
（付記２０）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
【０１４９】
（付記２１）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
【０１５０】
＜その他＞
ここまで説明した実施形態において、例えば、内視鏡画像学習装置１０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【０１５１】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
【０１５２】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
【０１５３】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【０１５４】
１０…内視鏡画像学習装置
１２…通信部
１４…前景素材画像データベース
１４Ａ…前景素材画像
１６…背景内視鏡画像データベース
１６Ａ…背景画像
１６Ｂ…正解データ
１８…学習用内視鏡画像データベース
２０…操作部
２８…表示部
３０…前景画像取得部
３０Ａ…前景画像
３２…画像切出部
３４…画像処理部
３６…背景画像取得部
３６Ａ…背景内視鏡画像
３８…画像生成部
３８Ａ…重畳画像
３８Ｂ…正解データ
４０…学習用内視鏡画像取得部
４０Ａ…学習用内視鏡画像
４０Ｂ…正解データ
５０…機械学習部
５２Ａ…入力層
５２Ｂ…中間層
５２Ｃ…出力層
５４…誤差算出部
５６…パラメータ更新部
１００…内視鏡システム
１０２…内視鏡
１０２Ａ…挿入部
１０２Ｂ…操作部
１０２Ｃ…湾曲部
１０２Ｄ…先端部
１０２Ｅ…アングルノブ
１０２Ｆ…キャップ
１０３…モード切替スイッチ
１０４…鉗子口
１０５…鉗子出口
１０６…送気送水ノズル
１０７…観察窓
１０８…照明窓
１１４…光源装置
１１６…プロセッサ装置
１１８…表示部
１２０…入力部
１２２Ａ…第１レーザ光源
１２２Ｂ…第２レーザ光源
１２４…光源制御部
１２８Ａ…光ファイバ
１２８Ｂ…光ファイバ
１３０…蛍光体
１３２…拡散部材
１３４…撮像レンズ
１３６…撮像素子
１３７…撮像部
１３８…アナログデジタル変換部
１４０…撮影制御部
１４２…画像処理部
１４４…画像取得部
１４６…画像認識部
１５８…表示制御部
１６０…記憶制御部
１６２…記憶部
【図１】
2020141995.tif 000003
【図２】
2020141995.tif 000004
【図３】
2020141995.tif 000005
【図４】
2020141995.tif 000006
【図５】
2020141995.tif 000007
【図６】
2020141995.tif 000008
【図７】
2020141995.tif 000009
【図８】
2020141995.tif 000010
【図９】
2020141995.tif 000011
【図１０】
2020141995.tif 000012
【図１１】
2020141995.tif 000013
【図１２】
2020141995.tif 000014
【図１３】
2020141995.tif 000015
【図１４】
2020141995.tif 000016
【図１５】
2020141995.tif 000017
【図１６】
2020141995.tif 000018