(57)【要約】【課題】  病変を検出する能力が高い内視鏡用プロセッサ等を提供すること。【解決手段】  内視鏡用プロセッサは、内視鏡により撮影された撮影画像を取得する画像取得部と、前記画像取得部が取得した撮影画像に基づいて第１処理画像５７１を生成する第１画像処理部と、前記撮影画像に基づいて第２処理画像５７２を生成する第２画像処理部と、前記第１画像処理部が生成した前記第１処理画像５７１と、前記第２画像処理部が生成した前記第２処理画像５７２とを入力した場合に、疾病の状態を出力する学習モデル６１を用いて、取得した疾病の状態を出力する出力部とを備える。【選択図】図１
2020156903.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡により撮影された撮影画像を取得する画像取得部と、
前記画像取得部が取得した撮影画像に基づいて第１処理画像を生成する第１画像処理部と、
前記撮影画像に基づいて第２処理画像を生成する第２画像処理部と、
前記第１画像処理部が生成した前記第１処理画像と、前記第２画像処理部が生成した前記第２処理画像とを入力した場合に、疾病の状態を出力する学習モデルを用いて、取得した疾病の状態を出力する出力部と
を備える内視鏡用プロセッサ。
【請求項２】
前記第１画像処理部または前記第２画像処理部は、前記撮影画像のＲ成分、Ｇ成分およびＢ成分のいずれか一つを、他の成分よりも強調した画像を生成する
請求項１に記載の内視鏡用プロセッサ。
【請求項３】
前記第１画像処理部または前記第２画像処理部は、前記撮影画像のＲ成分、Ｇ成分およびＢ成分のいずれか一つを抽出した画像を生成する
請求項１または請求項２に記載の内視鏡用プロセッサ。
【請求項４】
前記第１画像処理部または前記第２画像処理部は、前記撮影画像のＲ成分、Ｇ成分およびＢ成分のいずれか一つを削除した画像を生成する
請求項１から請求項３のいずれか一つに記載の内視鏡用プロセッサ。
【請求項５】
前記第１画像処理部または前記第２画像処理部は、前記撮影画像のエッジ成分を強調した画像を生成する
請求項１から請求項４のいずれか一つに記載の内視鏡用プロセッサ。
【請求項６】
互いに異なる結果を出力する複数の前記学習モデルの中から、使用する学習モデルの選択を受け付ける学習モデル選択受付部を備え、
前記出力部は、前記学習モデル選択受付部が選択を受け付けた学習モデルを用いた結果を出力する
請求項１から請求項５のいずれか一つに記載の内視鏡用プロセッサ。
【請求項７】
前記撮影画像に基づいて互いに異なる処理画像を生成する３個以上の画像処理部と、
前記画像処理部の中から、使用する画像処理部の選択を受け付ける処理選択受付部とを備え、
前記出力部は、前記処理選択受付部が選択を受け付けた画像処理部が生成した処理画像を入力した場合に疾病の状態を出力する学習モデルを用いて取得した疾病の状態を出力する
請求項１から請求項５のいずれか一つに記載の内視鏡用プロセッサ。
【請求項８】
前記出力部は、前記疾病の状態とともに、前記撮影画像に基づいて生成された内視鏡画像を出力する
請求項１から請求項７のいずれか一つに記載の内視鏡用プロセッサ。
【請求項９】
前記内視鏡画像は、前記第１処理画像または前記第２処理画像である
請求項８に記載の内視鏡用プロセッサ。
【請求項１０】
前記第１処理画像および前記第２処理画像から、前記学習モデルの出力に影響を及ぼす部分を抽出する抽出部を備え、
前記出力部は、前記抽出部が抽出した領域を示す指標を出力する
請求項１から請求項９のいずれか一つに記載の内視鏡用プロセッサ。
【請求項１１】
内視鏡用プロセッサから内視鏡により撮影された撮影画像を取得する画像取得部と、
前記画像取得部が取得した撮影画像に基づいて第１処理画像を生成する第１画像処理部と、
前記撮影画像に基づいて第２処理画像を生成する第２画像処理部と、
前記第１画像処理部が生成した前記第１処理画像と、前記第２画像処理部が生成した前記第２処理画像とを入力した場合に、疾病の状態を出力する学習モデルを用いて取得した疾病の状態を出力する出力部と
を備える情報処理装置。
【請求項１２】
内視鏡により撮影された撮影画像を取得し、
取得した撮影画像に基づいて第１処理画像を生成し、
前記撮影画像に基づいて第２処理画像を生成し、
前記第１処理画像と前記第２処理画像とを入力した場合に、疾病の状態を出力する学習モデルを用いて、疾病の状態を出力する
処理をコンピュータに実行させるプログラム。
【請求項１３】
内視鏡により撮影された撮影画像を取得し、
取得した撮影画像に基づいて第１処理画像を生成し、
前記撮影画像に基づいて第２処理画像を生成し、
前記第１処理画像と前記第２処理画像とを入力した場合に、疾病の状態を出力する学習モデルを用いて、疾病の状態を出力する
処理をコンピュータに実行させる情報処理方法。
【請求項１４】
内視鏡により撮影された撮影画像に撮影されている疾病の状態と、前記撮影画像に基づいて生成された第１処理画像および第２処理画像とを関連づけた複数の組の教師データを取得し、
前記教師データを用いて、撮影画像に基づいて生成された第１処理画像および第２処理画像が入力された場合に、前記撮影画像に撮影されている疾病の状態に関する予測を出力する学習モデルを生成する
学習モデルの生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法に関する。
【背景技術】
【０００２】
内視鏡画像等の医用画像から、学習モデルを使用して病変部位を自動的に検出するコンピュータ支援診断技術が開発されている。正解ラベルが付与された教師データを用いた教師あり機械学習により、学習モデルを生成する手法が知られている。
【０００３】
通常の内視鏡で撮影された画像群を教師データに用いた第１の学習と、カプセル内視鏡で撮影された画像群を教師データに用いた第２の学習とを組み合わせる学習方法が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１７／１７５２８２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の手法では、病変を検出する能力は十分ではないという問題がある。
【０００６】
一つの側面では、病変を検出する能力が高い内視鏡用プロセッサ等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
内視鏡用プロセッサは、内視鏡により撮影された撮影画像を取得する画像取得部と、前記画像取得部が取得した撮影画像に基づいて第１処理画像を生成する第１画像処理部と、前記撮影画像に基づいて第２処理画像を生成する第２画像処理部と、前記第１画像処理部が生成した前記第１処理画像と、前記第２画像処理部が生成した前記第２処理画像とを入力した場合に、疾病の状態を出力する学習モデルを用いて、取得した疾病の状態を出力する出力部とを備える。
【発明の効果】
【０００８】
一つの側面では、病変を検出する能力が高い内視鏡用プロセッサ等を提供できる。
【図面の簡単な説明】
【０００９】
【図１】学習モデルを使用した内視鏡システムの概要を説明する説明図である。
【図２】学習モデルの構成を説明する説明図である。
【図３】内視鏡システムの外観を示す説明図である。
【図４】内視鏡システムの構成を説明する説明図である。
【図５】表示装置に表示する画面の例を示す説明図である。
【図６】プログラムの処理の流れを説明するフローチャートである。
【図７】サーバの構成を説明する説明図である。
【図８】教師データＤＢのレコードレイアウトを説明する説明図である。
【図９】学習モデルＤＢのレコードレイアウトを説明する説明図である。
【図１０】学習モデルを生成するプログラムの処理の流れを説明するフローチャートである。
【図１１】実施の形態３の学習モデルの構成を説明する説明図である。
【図１２】タッチパネルに表示する画面の例を示す説明図である。
【図１３】実施の形態３の表示装置に表示する画面の例を示す説明図である。
【図１４】実施の形態３のプログラムの処理の流れを説明するフローチャートである。
【図１５】実施の形態４の学習モデルＤＢのレコードレイアウトを説明する説明図である。
【図１６】実施の形態４のタッチパネルに表示する画面の例を示す説明図である。
【図１７】実施の形態４の表示装置に表示する画面の例を示す説明図である。
【図１８】実施の形態５の追加教師データＤＢのレコードレイアウトを説明する説明図である。
【図１９】教師データを追加する画面の例を示す説明図である。
【図２０】追加の教師データを取得するプログラムの処理の流れを説明するフローチャートである。
【図２１】学習モデルを更新するプログラムの処理の流れを説明するフローチャートである。
【図２２】スコア学習モデルの構成を説明する説明図である。
【図２３】スコア教師データＤＢのレコードレイアウトを説明する説明図である。
【図２４】実施の形態６の表示装置に表示する画面の例を示す説明図である。
【図２５】実施の形態７の内視鏡システムの構成を説明する説明図である。
【図２６】実施の形態８の内視鏡システムの機能ブロック図である。
【発明を実施するための形態】
【００１０】
［実施の形態１］
図１は、学習モデル６１を使用した内視鏡システム１０の概要を説明する説明図である。内視鏡４０（図３参照）を用いて撮影した元画像５６に対してそれぞれ異なる画像処理を行ない、第１処理画像５７１、第２処理画像５７２および第３処理画像５７３等の処理画像５７を生成する。
【００１１】
図１では、３枚の処理画像５７を生成して使用する場合を例にして説明するが、処理画像５７の数は２枚または４枚以上でもよい。いずれかの処理画像５７が、元画像５６と同一の画像、すなわち、元画像５６に対して画像処理を行なわない画像であっても良い。
【００１２】
元画像５６は、内視鏡４０の先端部４４３（図３参照）に設けられた撮像素子により撮影されて、内視鏡用プロセッサ２０（図３参照）に伝送された撮影画像、または、撮影画像に対して内視鏡用プロセッサ２０内部でガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行なってユーザが目視しやすい状態にした内視鏡画像５９（図５参照）であっても良い。元画像５６は、撮影画像から内視鏡画像５９を生成する途中段階の画像であっても良い。撮影画像から内視鏡画像５９を生成する処理は従来から行なわれているため、詳細については説明を省略する。
【００１３】
第１処理画像５７１、第２処理画像５７２および第３処理画像５７３が、学習モデル６１に入力される。学習モデル６１から、疾病の状態が出力される。学習モデル６１の詳細については後述する。
【００１４】
本実施の形態では、疾病の状態は潰瘍の重症度である場合を例にして説明する。元画像５６に写っている領域に、重度の潰瘍が含まれる確率は２パーセント、中度の潰瘍が含まれる確率は８パーセント、軽度の潰瘍が含まれる確率は７０パーセント、潰瘍が含まれていない確率は２０パーセントであると判定されている。
【００１５】
たとえばＧｒａｄ−ＣＡＭ（Gradient-weighted Class Activation Mapping）、または、Ｇｒａｄ−ＣＡＭ＋＋等のモデル可視化手法により、第１注目領域５８１が抽出される。第１注目領域５８１は、学習モデル６１に入力された処理画像５７中の、出力に強く影響した領域である。図１の下部に、第１注目領域５８１の範囲を示す指標を表示した注目領域画像５８の例を示す。図１に示す例では、注目領域画像５８は、内視鏡画像５９に第１注目領域５８１が重畳表示された画像である。第１注目領域５８１は、出力への影響度が高いほど細かいハッチングを用いて表示されている。
【００１６】
第１注目領域５８１は、影響度の高低を色相で表現する、いわゆるヒートマップ形式で表現されても良い。第１注目領域５８１は、影響度の高低が等高線で表現されても良い。注目領域画像５８は、白色または黒色等の無地の画像に第１注目領域５８１を重畳して表示されても良い。
【００１７】
第１注目領域５８１は、学習モデル６１に入力されたそれぞれの処理画像５７から抽出されて、それぞれの処理画像５７中の影響度を合算して定めることができる。第１注目領域５８１は、学習モデル６１に入力された処理画像５７のうちの一部から抽出されても良い。
【００１８】
撮影画像から内視鏡画像５９を生成する画像処理においては、ユーザが目視して病変を発見しやすいような画像が生成される。しかしながら、ユーザによる視認性に重点をおいた画像処理を行なうことにより、撮影画像に含まれている情報の一部が目立たなくなってしまう。
【００１９】
複数の処理画像５７を使用することにより、このような目立たなくなってしまう情報を強調した画像を学習モデル６１に入力できる。学習モデル６１は、内視鏡画像５９では目立たなくなってしまう特徴を利用して、疾病の状態を出力する。以上により、病変を検出する能力が高い内視鏡用プロセッサ２０等を提供できる。
【００２０】
図２は、学習モデル６１の構成を説明する説明図である。学習モデル６１は、第１処理画像５７１、第２処理画像５７２および第３処理画像５７３の３枚の処理画像５７が入力された場合に、元画像５６に写っている疾病の状態を出力する。
【００２１】
本実施の形態の学習モデル６１は、ＣＮＮを用いて学習を行なう。各モデルは、入力層５３１、中間層５３２、出力層５３３、および、図示を省略する畳込み層とプーリング層とを有するニューラルネットワークモデル５３により構成される。
【００２２】
学習モデル６１に、第１処理画像５７１、第２処理画像５７２および第３処理画像５７３の３枚の処理画像５７が入力される。入力された画像は、畳込み層およびプーリング層により繰り返し処理が行なわれた後に、全結合層に入力される。
【００２３】
出力層５３３に、疾病の状態の確率が出力される。図２においては、出力層５３３は、元画像５６に写っている領域に重度の潰瘍が含まれる確率、中度の潰瘍が含まれる確率、軽度の潰瘍が含まれる確率および潰瘍が含まれていない確率をそれぞれ出力する４個の出力ノードを有する。
【００２４】
中間層５３２の各ニューロンのパラメータは、教師データＤＢ（Database）６５（図７参照）に基づいて機械学習により調整されている。教師データＤＢ６５については、後述する。
【００２５】
学習モデル６１は、診断対象の疾病ごとに生成されており、疾病ごとに異なる数の入力ノードおよび出力ノードを有する。たとえば癌および潰瘍等の、多くの部位で発生する疾病については、学習モデル６１はさらに診断対象の部位ごとに生成されている。
【００２６】
表１に、元画像５６から処理画像５７を生成する画像処理の例を示す。
【００２７】
【表１】
2020156903.tif 000003
【００２８】
一般的に、カラー画像を構成する各画素は、ＲＧＢ（Red Green Blue）の三色の成分を有する。表１のＮｏ．１は、元画像５６の各画素のＲ成分を強調する処理を示す。具体的には、たとえば各画素のＧ成分およびＢ成分をそれぞれ元画像５６の半分にすることにより、相対的にＲ成分を強調する。同様に、Ｎｏ．２はＧ成分を強調する処理を、Ｎｏ．３はＢ成分を強調する処理を示す。
【００２９】
Ｎｏ．４は、元画像５６の各画素のＲ成分のみを抽出する処理、すなわち各画素のＧ成分およびＢ成分をゼロにする処理を示す。同様に、Ｎｏ．５はＧ成分のみを抽出する処理を、Ｎｏ．６はＢ成分のみを抽出する処理を示す。
【００３０】
Ｎｏ．７は、元画像５６の各画素のＲ成分のみを除去する処理、すなわち各画素のＲ成分をゼロにする処理を示す。同様に、Ｎｏ．８はＧ成分のみを除去する処理を、Ｎｏ．９はＢ成分のみを除去する処理を示す。
【００３１】
Ｎｏ．１０は、元画像５６にエッジ強調フィルタを掛けてエッジ成分を強調する処理を意味する。Ｎｏ．１１は、ユーザが目視しやすい状態にした内視鏡画像５９を生成する一連の画像処理を意味する。元画像５６が内視鏡画像５９である場合には、Ｎｏ．１１は元画像５６に対して画像処理を行なわないことを意味する。
【００３２】
表１に示すのは画像処理手法の例示であり、その他任意の画像処理手法を使用して処理画像５７を生成できる。たとえば、表１のＮｏ１２は、Ｎｏ．１のＲ成分強調処理を行なったのちに、Ｎｏ．１０のエッジ強調処理を行なう処理である。その他、複数の処理を任意の順番で組み合わせて処理画像５７を生成しても良い。それぞれの組合せに対しても、Ｎｏ．１２と同様に固有の番号が付与される。
【００３３】
これらの画像処理を行なった処理画像５７を入力に使用することにより、内視鏡画像５９または撮影画像からは抽出できない疾病を検出する学習モデル６１が実現できる。
【００３４】
表１に例示する画像処理は、いずれも制御部２１（図４参照）に掛かる負荷が少ない処理であるため、複数の処理画像５７をリアルタイムで生成できる。
【００３５】
図３は、内視鏡システム１０の外観を示す説明図である。内視鏡システム１０は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。表示装置５０は、たとえば液晶表示装置、または、有機ＥＬ（Electro Luminescence）表示装置である。
【００３６】
表示装置５０はキャスター付きの収容棚１６の上段に設置されている。内視鏡用プロセッサ２０は、収容棚１６の中段に収容されている。収容棚１６は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚１６は内視鏡用プロセッサ２０に接続されたキーボード１５を搭載する、引き出し式の棚を有する。
【００３７】
内視鏡用プロセッサ２０は、略直方体形状であり、一面にタッチパネル２５を備える。タッチパネル２５の下部に、読取部２８が配置されている。読取部２８は、たとえばＵＳＢコネクタ、ＳＤ（Secure Digital）カードスロット、またはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）ドライブ等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。
【００３８】
内視鏡４０は、挿入部４４、操作部４３、ユニバーサルコード４９およびスコープコネクタ４８を有する。操作部４３には、制御ボタン４３１が設けられている。挿入部４４は長尺であり、一端が折止部４５を介して操作部４３に接続されている。挿入部４４は、操作部４３側から順に軟性部４４１、湾曲部４４２および先端部４４３を有する。湾曲部４４２は、湾曲ノブ４３３の操作に応じて湾曲する。
【００３９】
ユニバーサルコード４９は長尺であり、第一端が操作部４３に、第二端がスコープコネクタ４８にそれぞれ接続されている。ユニバーサルコード４９は、軟性である。スコープコネクタ４８は略直方体形状である。スコープコネクタ４８には、送気送水用のチューブを接続する送気送水口金３６（図４参照）が設けられている。
【００４０】
図４は、内視鏡システム１０の構成を説明する説明図である。前述のとおり内視鏡システム１０は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。内視鏡用プロセッサ２０は、タッチパネル２５および読取部２８に加えて、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示装置Ｉ／Ｆ（Interface）２６、入力装置Ｉ／Ｆ２７、内視鏡用コネクタ３１、光源３３、ポンプ３４およびバスを備える。内視鏡用コネクタ３１は、電気コネクタ３１１および光コネクタ３１２を含む。
【００４１】
制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。
【００４２】
主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。
【００４３】
補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置である。補助記憶装置２３には、学習モデル６１、制御部２１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。なお、学習モデル６１は内視鏡用プロセッサ２０に接続された外部の大容量記憶装置に記憶されていてもよい。
【００４４】
通信部２４は、内視鏡用プロセッサ２０とネットワークとの間のデータ通信を行なうインターフェイスである。タッチパネル２５は、液晶表示パネル等の表示部２５１と、表示部２５１に積層された入力部２５２とを備える。
【００４５】
表示装置Ｉ／Ｆ２６は、内視鏡用プロセッサ２０と表示装置５０とを接続するインターフェイスである。入力装置Ｉ／Ｆ２７は、内視鏡用プロセッサ２０とキーボード１５等の入力装置とを接続するインターフェイスである。
【００４６】
光源３３は、たとえばキセノンランプ等の高輝度の白色光源である。光源３３は、図示を省略するドライバを介してバスに接続されている。光源３３の点灯、消灯および明るさの変更は、制御部２１により制御される。光源３３から照射した照明光は、光コネクタ３１２に入射する。光コネクタ３１２は、スコープコネクタ４８と係合し、内視鏡４０に照明光を供給する。
【００４７】
ポンプ３４は、内視鏡４０の送気・送水機能用の圧力を発生させる。ポンプ３４は、図示を省略するドライバを介してバスに接続されている。ポンプ３４のオン、オフおよび圧力の変更は、制御部２１により制御される。ポンプ３４は、送水タンク３５を介して、スコープコネクタ４８に設けられた送気送水口金３６に接続される。
【００４８】
内視鏡用プロセッサ２０に接続された内視鏡４０の機能の概略を説明する。スコープコネクタ４８、ユニバーサルコード４９、操作部４３および挿入部４４の内部に、ファイバーバンドル、ケーブル束、送気チューブおよび送水チューブ等が挿通されている。光源３３から出射した照明光は、光コネクタ３１２およびファイバーバンドルを介して、先端部４４３に設けられた照明窓から放射される。
【００４９】
照明光により照らされた範囲を、先端部４４３に設けられた撮像素子で撮影する。撮像素子からケーブル束および電気コネクタ３１１を介して内視鏡用プロセッサ２０に撮影画像が伝送される。
【００５０】
制御部２１は、撮影画像に画像処理を施して、ユーザが目視して病変を発見しやすい内視鏡画像５９を生成する。図１を使用して説明したように、制御部２１は元画像５６に画像処理を行なって複数の処理画像５７を生成する。制御部２１は、学習モデル６１から出力される疾病の状態を取得する。
【００５１】
制御部２１は、学習モデル６１に入力された処理画像５７中の、学習モデル６１からの出力に強く影響した第１注目領域５８１を抽出して、注目領域画像５８を生成する。制御部２１は、内視鏡画像５９、疾病の状態および注目領域画像５８を、表示装置５０に出力する。
【００５２】
図５は、表示装置５０に表示する画面の例を示す説明図である。図５に示す画面には、内視鏡画像５９、注目領域画像５８および結果欄７２が表示されている。結果欄７２には、学習モデル６１から出力された疾病の状態が一覧表示されている。
【００５３】
内視鏡検査中は、内視鏡画像５９はリアルタイムで更新される。内視鏡４０を操作するユーザは、内視鏡画像５９を観察しながら内視鏡４０を操作する。注目領域画像５８および結果欄７２もリアルタイムで更新されることが望ましいが、制御部２１の負荷が高い場合には、たとえば内視鏡画像５９よりも小さいフレームレートで更新されても良い。
【００５４】
ユーザは、結果欄７２および注目領域画像５８を参照しながら内視鏡画像５９を観察する。以上により、病変の見落とし等を防止できる。
【００５５】
たとえば、学習モデル６１により潰瘍が含まれる確率が高いと判定された場合、第１注目領域５８１は潰瘍が生じている可能性が高い場所である。学習モデル６１により潰瘍が含まれない確率が高いと判定された場合、第１注目領域５８１は正常な粘膜である可能性が高い場所である。ユーザは、疾病の状態の判定結果と、第１注目領域５８１との双方の情報に基づいて、学習モデル６１による判定の理由を推測するとともに、必要に応じて内視鏡画像５９を観察し、適切な診断および治療を行なう。
【００５６】
図６は、プログラムの処理の流れを説明するフローチャートである。図６に示すフローチャートは、制御部２１により実行される。制御部２１は、内視鏡画像５９の生成、光源３３および内視鏡４０の先端部４４３に配置された撮像素子の制御等の処理と並行して、図６に示すプログラムを実行する。
【００５７】
制御部２１は、内視鏡４０から撮影画像を取得する（ステップＳ５０１）。制御部２１は、画像処理を行ない、処理画像５７を生成する（ステップＳ５０２）。制御部２１は、生成した処理画像５７を補助記憶装置２３に一時的に記憶する。制御部２１は、学習モデル６１に入力する処理画像５７の生成を終了したか否かを判定する（ステップＳ５０３）。終了していないと判定した場合（ステップＳ５０３でＮＯ）、制御部２１はステップＳ５０２に戻る。
【００５８】
終了したと判定した場合（ステップＳ５０３でＹＥＳ）、制御部２１は処理画像５７を学習モデル６１に入力して、出力層５３３から出力される疾病の状態を取得する（ステップＳ５０４）。制御部２１は、たとえばＧｒａｄ−ＣＡＭ等の手法により、出力層５３３からの出力に強く影響した第１注目領域５８１を抽出する（ステップＳ５０５）。制御部２１は、注目領域画像５８を生成する。
【００５９】
制御部２１は、内視鏡画像５９、注目領域画像５８およびステップＳ５０４で学習モデル６１から取得した結果を、表示装置５０に表示する（ステップＳ５０６）。制御部２１は、処理を終了するか否かを判定する（ステップＳ５０７）。たとえば、ユーザにより内視鏡検査の終了が指示された場合、または、内視鏡４０が内視鏡用プロセッサ２０から取り外された場合等に、制御部２１は処理を終了すると判定する。
【００６０】
終了しないと判定した場合（ステップＳ５０７でＮＯ）、制御部２１はステップＳ５０１に戻る。終了すると判定した場合（ステップＳ５０７でＹＥＳ）、制御部２１は処理を終了する。
【００６１】
本実施の形態によると、病変を検出する能力が高い内視鏡用プロセッサ２０を提供できる。
【００６２】
内視鏡４０により撮影された撮影画像を直接使用するか、または、撮影画像から内視鏡画像５９を生成する途中段階の画像を使用することにより、ユーザが目視しやすいことを重視した内視鏡画像５９では失われてしまう情報を利用して、疾病の状態を出力する内視鏡用プロセッサ２０を提供できる。
【００６３】
たとえばＧｒａｄ−ＣＡＭ等のモデル可視化手法を使用することにより、たとえばＲ−ＣＮＮ等の物体検出手法に比べると比較的少ない計算負荷で、病変の存在する可能性が高い位置を表示する内視鏡用プロセッサ２０を提供できる。計算負荷が低いことにより、内視鏡検査に必要な表示のリアルタイム性を損なわずに、ユーザの判断を支援する内視鏡用プロセッサ２０を提供できる。
【００６４】
学習モデル６１は、ＳＶＭ（Support Vector Machine）、決定木、ランダムフォレスト、ＸＧＢｏｏｓｔ等の、任意の分類アルゴリズムを使用して生成されても良い。学習モデル６１は、Ｒ−ＣＮＮ、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ  ＲＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、または、ＹＯＬＯ（You Only Look Once）等の、任意の物体検出アルゴリズムを使用して生成されてもよい。
【００６５】
［実施の形態２］
本実施の形態は、学習モデル６１を生成するサーバ８０等に関する。実施の形態１と共通する部分については、説明を省略する。
【００６６】
図７は、サーバ８０の構成を説明する説明図である。サーバ８０は、制御部８１、主記憶装置８２、補助記憶装置８３、通信部８４およびバスを備える。制御部８１は、本実施の形態のプログラムを実行する演算制御装置である。制御部８１には、一または複数のＣＰＵ、マルチコアＣＰＵまたはＧＰＵ（Graphics Processitg Utit）等が使用される。制御部８１は、バスを介してサーバ８０を構成するハードウェア各部と接続されている。
【００６７】
主記憶装置８２は、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ等の記憶装置である。主記憶装置８２には、制御部８１が行なう処理の途中で必要な情報および制御部８１で実行中のプログラムが一時的に保存される。
【００６８】
補助記憶装置８３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置８３には、制御部８１に実行させるプログラム、教師データＤＢ６５、学習モデルＤＢ６６、制御部８１が生成した学習モデル６１およびプログラムの実行に必要な各種データが保存される。なお、教師データＤＢ６５、学習モデルＤＢ６６および学習モデル６１は、サーバ８０に接続された外部の大容量記憶装置等に保存されていても良い。
【００６９】
サーバ８０は、汎用のパソコン、タブレット、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。サーバ８０は、分散処理を行なう複数のパソコン等であっても良い。
【００７０】
図８は、教師データＤＢ６５のレコードレイアウトを説明する説明図である。教師データＤＢ６５は、学習モデル６１の生成に用いる教師データを記録するＤＢである。教師データＤＢ６５は、元画像フィールド、部位フィールド、疾病フィールドおよび画像処理フィールドを有する。疾病フィールドは、たとえば潰瘍フィールド、腫瘍フィールド、出血フィールド等、学習モデル６１を用いて状態を出力する疾病に関するサブフィールドを有する。
【００７１】
画像処理フィールドは、第１処理画像フィールド、第２処理画像フィールド、第３画像処理フィールド等のサブフィールドを有する。教師データＤＢ６５は、１枚の元画像５６について、１つのレコードを有する。
【００７２】
元画像フィールドには、元画像５６が記録されている。部位フィールドには、元画像５６が撮影された部位が記録されている。疾病フィールドの各サブフィールドには、専門の医師が判断した疾病の状態が記録されている。
【００７３】
たとえば、図８の一番上のレコードは、元画像「Ａ００１１．ｂｍｐ」に、重度の潰瘍と出血が含まれており、腫瘍は含まれていないという、医師による判断が記録されている。元画像５６が撮影された位置から採取された生検サンプルの病理診断が行なわれた場合には、疾病フィールドに病理診断の結果が記録されても良い。
【００７４】
第１処理画像フィールドには、第１処理画像５７１が記録されている。第２画像処理フィールドには、第２処理画像５７２が記録されている。第３画像処理フィールドには、第３処理画像５７３が記録されている。画像処理フィールドの以後のサブフィールドも同様である。
【００７５】
それぞれの教師データの作成は、内視鏡画像を用いた診断に特に高い知見を有する専門医等により行なわれる。教師データの作成は、複数の専門医等により構成された、いわゆるエキスパートパネルグループにより行なわれることが、さらに望ましい。
【００７６】
後述するように、制御部８１は、教師データＤＢ６５を使用して、学習モデル６１を生成する。たとえば、図２を使用して説明した、潰瘍判定用の学習モデル６１を生成する場合、制御部８１は教師データＤＢ６５から潰瘍フィールド、第１処理画像フィールド、第２処理画像フィールドおよび第３処理画像フィールドを抽出した教師データを作成する。
【００７７】
図９は、学習モデルＤＢ６６のレコードレイアウトを説明する説明図である。学習モデルＤＢ６６は、教師データＤＢ６５を使用して生成した学習モデル６１を記録するＤＢである。
【００７８】
学習モデルＤＢ６６は、学習モデルＩＤフィールド、部位フィールド、疾病フィールド、および入力データフィールドを有する。学習モデルＤＢ６６は、一つの学習モデルＩＤについて、１つのレコードを有する。
【００７９】
学習モデルＩＤフィールドには、学習モデル６１に固有に付与された学習モデルＩＤが記録されている。部位フィールドには、学習モデル６１が対象とする部位が記録されている。疾病フィールドには、学習モデル６１が対象とする疾病が記録されている。入力データフィールドには、学習モデル６１の入力データが、画像処理の種類の組合せで記録されている。
【００８０】
学習モデル６１が内視鏡用プロセッサ２０に配信される際に、学習モデルＤＢ６６のうち配信される学習モデル６１に対応するレコードも内視鏡用プロセッサ２０に配信される。
【００８１】
図１０は、学習モデル６１を生成するプログラムの処理の流れを説明するフローチャートである。図１０に示すフローチャートは制御部８１により実行される。図１０ではユーザにより指定された部位に対する学習モデル６１を生成する場合を例にして説明する。
【００８２】
制御部８１は、学習モデル６１を生成する対象の疾病を選択する（ステップＳ５２１）。選択は、たとえばユーザによる指示に基づいて行なわれる。制御部８１は、使用する画像処理を選択する（ステップＳ５２２）。選択は、たとえばユーザによる指示に基づいて行なわれる。選択は、ランダムに、または、所定のルールに基づいて行なわれても良い。制御部８１は、使用可能な画像処理の順列組合せによる、いわゆる総当りを順番に選択してもよい。
【００８３】
制御部８１は教師データＤＢ６５からステップＳ５２１およびステップＳ５２２の選択に対応するフィールドを抽出して、教師データを作成する（ステップＳ５２３）。制御部８１は抽出した教師データを、訓練データとテストデータとに分離する（ステップＳ５２４）。制御部８１は、訓練データを使用し、誤差逆伝播法等を用いて中間層５３２のパラメータを演算することにより、教師あり機械学習を行ない、学習モデル６１を生成する（ステップＳ５２５）。
【００８４】
制御部８１は、訓練データを用いて学習モデル６１の精度を検証する（ステップＳ５２６）。検証は、訓練データ中の処理画像５７を学習モデル６１に入力した場合に、出力が訓練データ中の疾病フィールドと一致する確率を算出することにより行なわれる。
【００８５】
制御部８１は、ステップＳ５２５で生成した学習モデル６１の精度が合格であるか否かを判定する（ステップＳ５２７）。合格であると判定した場合（ステップＳ５２７でＹＥＳ）、制御部８１は学習モデルＤＢ６６に新規レコードを作成する。制御部８１は、ステップＳ５２５で作成した学習モデル６１に固有に付与した学習モデルＩＤを、学習モデルＩＤフィールドに記録する。
【００８６】
制御部８１は、部位フィールドに学習モデル６１が対象とする部位を、疾病フィールドにステップＳ５２１で選択した疾病を、入力データフィールドに、生成した学習モデル６１の入力データをそれぞれ記録する（ステップＳ５２８）。制御部８１は、学習モデルＩＤに関連づけて、ステップＳ５２５で生成した学習モデル６１を補助記憶装置８３に記録する。制御部８１は処理を終了する。
【００８７】
合格でないと判定した場合（ステップＳ５２７でＮＯ）、制御部８１は処理を終了するか否かを判定する（ステップＳ５２９）。たとえば、ステップＳ５２２からステップＳ５２９までの処理を所定の回数繰り返した場合に、制御部８１は処理を終了すると判定する。処理を終了しないと判定した場合（ステップＳ５２９でＮＯ）、制御部８１はステップＳ５２２に戻る。処理を終了すると判定した場合（ステップＳ５２９でＹＥＳ）、制御部８１は処理を終了する。
【００８８】
同一の部位および疾病に対して、ステップＳ５２７で合格する学習モデル６１が複数生成された場合、制御部８１はたとえば精度が低い方の学習モデル６１、または、計算量が多い方の学習モデル６１を記録したレコードを、学習モデルＤＢ６６から削除しても良い。
【００８９】
制御部８１が生成した学習モデル６１は、たとえば医薬品医療機器等法上の承認等の手続が終了した後に、内視鏡用プロセッサ２０に配信される。
【００９０】
本実施の形態によると、良好な出力を得られる学習モデル６１を生成できる。本実施の形態によると、一つの元画像５６を、複数の疾病用の学習モデル６１の生成に使用できる。
【００９１】
［実施の形態３］
本実施の形態は、複数の疾病の状態を出力する内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
【００９２】
図１１は、実施の形態３の学習モデル６１の構成を説明する説明図である。本実施の形態では、第１学習モデル６１１および第２学習モデル６１２の２つの学習モデル６１を使用する。
【００９３】
第１学習モデル６１１および第２学習モデル６１２は、いずれも実施の形態２で説明したように制御部８１により生成され、所定の法的手続を経て内視鏡用プロセッサ２０に配信されている。第１学習モデル６１１および第２学習モデル６１２が記録されたレコードを含む学習モデルＤＢ６６も、内視鏡用プロセッサ２０に配信されている。
【００９４】
第１学習モデル６１１は、第１処理画像５７１、第２処理画像５７２および第３処理画像５７３の３枚の処理画像５７が入力された場合に、元画像５６に写っている潰瘍の状態を出力する。第１学習モデル６１１が出力する潰瘍の状態は、元画像５６に重度の潰瘍が含まれる確率、中度の潰瘍が含まれる確率、軽度の潰瘍が含まれる確率、および、潰瘍が含まれない確率である。
【００９５】
第２学習モデル６１２は、第３処理画像５７３および第４処理画像５７４の２枚の処理画像５７が入力された場合に、元画像５６に写っている腫瘍の状態を出力する。第２学習モデル６１２が出力する潰瘍の状態は、元画像５６に悪性の腫瘍が含まれる確率、良性の潰瘍が含まれる確率、および、腫瘍が含まれない確率である。
【００９６】
図１２は、タッチパネル２５に表示する画面の例を示す説明図である。図１２に示す画面は、検査対象部位欄７６、潰瘍ボタン７７１、腫瘍ボタン７７２、出血ボタン７７３およびポリープボタン７７４を含む。検査対象部位欄７６はプルダウンメニュー形式のボタンである。ユーザは、検査対象部位欄７６を操作して内視鏡検査を行なう対象部位を選択できる。
【００９７】
潰瘍ボタン７７１、腫瘍ボタン７７２、出血ボタン７７３およびポリープボタン７７４は、それぞれオン状態またはオフ状態に設定できるトグルボタンである。ユーザは、これらのボタンを用いて学習モデル６１を使用する疾病を選択できる。図１２は、対象部位は大腸であり、潰瘍ボタン７７１および腫瘍ボタン７７２が選択された状態を示す。
【００９８】
図１３は、実施の形態３の表示装置５０に表示する画面の例を示す説明図である。図１３に示す画面には、内視鏡画像５９、注目領域画像５８および結果欄７２が表示されている。注目領域画像５８は、第１注目領域５８１および第２注目領域５８２を含む。結果欄７２は、第１結果欄７２１および第２結果欄７２２を含む。
【００９９】
第１結果欄７２１には、第１学習モデル６１１から出力された潰瘍の状態が表示されている。元画像５６に写っている領域に、重度の潰瘍が含まれる確率は２パーセント、中度の潰瘍が含まれる確率は８パーセント、軽度の潰瘍が含まれる確率は７０パーセント、潰瘍が含まれていない確率は２０パーセントであると判定されている。
【０１００】
第２結果欄７２２には、第２学習モデル６１２から出力された腫瘍の状態が表示されている。元画像５６に写っている領域に悪性腫瘍が含まれる確率は１０パーセント、良性腫瘍が含まれる確率は７０パーセント、腫瘍が含まれていない確率は２０パーセントであると判定されている。
【０１０１】
第１注目領域５８１は、第１学習モデル６１１に入力された処理画像５７中の、出力に強く影響した領域である。第２注目領域５８２は、第２学習モデル６１２に入力された処理画像５７中の、出力に強く影響した領域である。
【０１０２】
制御部２１は、たとえば、第１結果欄７２１および第１注目領域５８１を赤系の色で、第２結果欄７２２と第２注目領域５８２を青系の色で表示する等の色分け表示を行なう。色分け表示により、ユーザは潰瘍の判定に影響を与えた部分と、腫瘍の判定に影響を与えた部分とを容易に識別できる。
【０１０３】
なお、図１２を使用して説明した検査対象部位欄７６、潰瘍ボタン７７１、腫瘍ボタン７７２、出血ボタン７７３およびポリープボタン７７４等を、図１３を使用して説明した表示画面の余白に表示しても良い。ユーザは、視線を表示装置５０から動かさずに、判定を行なう疾病を切り替えることができる。
【０１０４】
制御部２１は、キーボード１５等またはマウス等を介して、表示装置５０に表示された検査対象部位欄７６等の操作を受け付けても良い。表示装置５０にタッチパネル機能が設けられていてもよい。制御部２１は、図示を省略するマイクを介した音声認識機能により表示装置５０に表示された検査対象部位欄７６等の操作を受け付けても良い。
【０１０５】
図１４は、実施の形態３のプログラムの処理の流れを説明するフローチャートである。図１４に示すフローチャートは、制御部２１により実行される。
【０１０６】
制御部２１は、検査対象部位欄７６を介して内視鏡検査を行なう対象部位を取得する（ステップＳ５４１）。制御部２１は、潰瘍ボタン７７１、腫瘍ボタン７７２、出血ボタン７７３およびポリープボタン７７４等を介して学習モデル６１を使用する疾病を取得する（ステップＳ５４２）。
【０１０７】
制御部２１は、ステップＳ５４１で取得した部位、および、ステップＳ５４２で取得した疾病をキーにして学習モデルＤＢ６６を検索してレコードを抽出する。制御部２１は、抽出したレコードの学習モデルＩＤフィールドに記録された学習モデルＩＤに基づいて、以後の処理で使用する学習モデル６１を選択する（ステップＳ５４３）。ユーザにより、複数の疾病が選択されている場合には、ステップＳ５４３で複数の学習モデル６１が選択される。
【０１０８】
制御部２１は、内視鏡４０から撮影画像を取得する（ステップＳ５４４）。制御部２１は、画像処理を行ない、処理画像５７を生成する（ステップＳ５４５）。制御部２１は、生成した処理画像５７を補助記憶装置２３に一時的に記憶する。
【０１０９】
制御部２１は、ステップＳ５４３で選択したすべての学習モデル６１に入力する処理画像５７の生成を終了したか否かを判定する（ステップＳ５４６）。終了していないと判定した場合（ステップＳ５４６でＮＯ）、制御部２１はステップＳ５４５に戻る。
【０１１０】
終了したと判定した場合（ステップＳ５４６でＹＥＳ）、制御部２１は処理画像５７をステップＳ５４３で選択した学習モデル６１の一つに入力して、出力層５３３から出力される疾病の状態を取得する（ステップＳ５４７）。制御部２１は、たとえばＧｒａｄ−ＣＡＭ等の手法により、出力層５３３からの出力に強く影響した注目領域を抽出する（ステップＳ５４８）。制御部２１は、疾病の状態および注目領域を補助記憶装置２３に一時的に記憶する。
【０１１１】
制御部２１は、ステップＳ５４３で選択したすべての学習モデル６１の処理を終了したか否かを判定する（ステップＳ５４９）。終了していないと判定した場合（ステップＳ５４９でＮＯ）、制御部２１はステップＳ５４７に戻る。
【０１１２】
終了したと判定した場合（ステップＳ５４９でＹＥＳ）、制御部２１はステップＳ５４８で抽出した注目領域を組み合わせて注目領域画像５８を生成する。制御部２１は、内視鏡画像５９、注目領域画像５８およびステップＳ５４７で学習モデル６１から取得した結果を、表示装置５０に表示する（ステップＳ５５０）。
【０１１３】
制御部２１は、処理を終了するか否かを判定する（ステップＳ５５１）。終了しないと判定した場合（ステップＳ５５１でＮＯ）、制御部２１はステップＳ５４２に戻る。終了すると判定した場合（ステップＳ５５１でＹＥＳ）、制御部２１は処理を終了する。
【０１１４】
本実施の形態によると、複数の疾病の状態を表示する内視鏡システム１０を提供できる。ステップＳ５５１で終了しないと判定した場合に、制御部２１がステップＳ５４２に戻るため、制御部２１は内視鏡検査の途中で学習モデル６１を使用する対象の疾病の変更を受け付ける。したがって、ユーザは、内視鏡画像５９で観察中の視野内で、気になる疾病について、学習モデル６１による判定を随時参照できる。
【０１１５】
制御部２１は、内視鏡画像５９の１フレームごとに、異なる学習モデル６１を使用して疾病の状態を出力しても良い。たとえば、偶数フレームでは制御部２１は第１学習モデル６１１を使用して疾病の状態を出力し、奇数フレームでは制御部２１は第２学習モデル６１２を使用して疾病の状態を出力する。すなわち、図１３を使用して説明した画面において、第１結果欄７２１は奇数フレームで更新され、第２結果欄７２２は偶数フレームで更新される。制御部２１の負荷を低減できる。
【０１１６】
［実施の形態４］
本実施の形態は、使用する処理画像５７を選択できる内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
【０１１７】
図１５は、実施の形態４の学習モデルＤＢ６６のレコードレイアウトを説明する説明図である。学習モデルＤＢ６６は、学習モデルＩＤフィールド、部位フィールド、疾病フィールド、および入力データフィールドを有する。入力データフィールドは、第１処理画像フィールド、第２処理画像フィールド、第３処理画像フィールド等のサブフィールドを有する。学習モデルＤＢ６６は、一つの学習モデルＩＤについて、１つのレコードを有する。
【０１１８】
学習モデルＩＤフィールドには、学習モデル６１に固有に付与された学習モデルＩＤが記録されている。部位フィールドには、学習モデル６１が対象とする部位が記録されている。疾病フィールドには、学習モデル６１が対象とする疾病が記録されている。
【０１１９】
第１処理画像フィールドには、第１処理画像５７１が学習モデル６１に入力されるか否かが記録されている。第１処理画像フィールドの「１」は、第１処理画像５７１が学習モデル６１に入力されることを示す。第１処理画像フィールドの「０」は、第１処理画像５７１が学習モデル６１に入力されないことを示す。第２処理画像フィールド以降も同様である。
【０１２０】
図１６は、実施の形態４のタッチパネル２５に表示する画面の例を示す説明図である。図１６に示す画面は、検査対象部位欄７６、検出対象疾病欄７７、１２個の画像処理選択ボタン７８、および２個のセット選択ボタン７１を含む。検査対象部位欄７６および検出対象疾病欄７７はプルダウンメニュー形式のボタンである。画像処理選択ボタン７８およびセット選択ボタン７１はそれぞれオン状態またはオフ状態に設定できるトグルボタンである。
【０１２１】
ユーザは、検査対象部位欄７６を操作して内視鏡検査を行なう対象部位を選択できる。
ユーザは、検出対象疾病欄７７を操作して学習モデル６１を使用する疾病を選択できる。ユーザは、画像処理選択ボタン７８を使用して、処理画像５７の生成に使用する画像処理の手法を選択する。
【０１２２】
たとえば、「Ｒ強調」の画像処理選択ボタン７８がオン状態である場合、元画像５６の各画素のＲ成分を強調する画像処理を行なった処理画像５７が学習モデル６１に入力される。図１６においては、「Ｒ強調」、「Ｒ除去」および「Ｂ抽出」の画像処理選択ボタン７８が選択された状態を示す。
【０１２３】
制御部２１は、検査対象部位欄７６、検出対象疾病欄７７およびそれぞれの画像処理選択ボタン７８の選択状態をキーにして学習モデルＤＢ６６を検索し、レコードを抽出する。制御部２１は、抽出されたレコードの学習モデルＩＤフィールドに記録された学習モデルＩＤに対応する学習モデル６１を使用して、後述する図１７中の結果欄７２および注目領域画像５８を表示する。
【０１２４】
セット選択ボタン７１には、推奨する画像処理の組合せが設定されている。それぞれのセット選択ボタン７１に設定された画像処理の組合せは、補助記憶装置２３に記憶されている。
【０１２５】
ユーザがセット選択ボタン７１をオン状態にした場合、画像処理選択ボタン７８の状態がセット選択ボタン７１に設定された状態に変更される。ユーザが画像処理選択ボタン７８を直接選択した場合と同様に、制御部２１は学習モデルＤＢ６６に基づいて使用する学習モデル６１を決定する。
【０１２６】
ユーザが、それぞれのセット選択ボタン７１に対応する画像処理の組合せを設定できても良い。セット選択ボタン７１に、様々な疾病の判定に適した画像処理の組合せが設定されていても良い。そのようにする場合、セット選択ボタン７１に、たとえば「潰瘍向け」、「腫瘍向け」等の、適した疾病の名称が表示されても良い。
【０１２７】
図１７は、実施の形態４の表示装置５０に表示する画面の例を示す説明図である。図１７に示す画面には、内視鏡画像５９、注目領域画像５８、結果欄７２および画像処理選択欄７９が表示されている。
【０１２８】
結果欄７２には、学習モデル６１から出力された疾病の状態が一覧表示されている。画像処理選択欄７９には、図１６を使用して説明した画像処理選択ボタン７８の選択有無が一覧表示されている。たとえば、画像処理選択欄７９の「Ｒ１」は、「Ｒ強調」の画像処理選択ボタン７８に、画像処理選択欄７９の「Ｒ２」は、「Ｒ抽出」の画像処理選択ボタン７８に、それぞれ対応する。「Ｒ強調」の画像処理選択ボタン７８がオン状態である場合、画像処理選択欄７９の「Ｒ１」の部分が強調表示される。
【０１２９】
画像処理選択欄７９は、ユーザによる選択を受け付ける画像処理選択ボタン７８を兼ねても良い。このようにする場合、制御部２１は、キーボード１５等またはマウス等を介して、表示装置５０に表示された画像処理選択欄７９の操作を受け付ける。
【０１３０】
実施の形態４のプログラムの処理の流れは、図１４を使用して説明した実施の形態３のプログラムの処理の流れと同一である。ただし本実施の形態では、ステップＳ５４３において図１５を使用して説明した学習モデルＤＢ６６を使用する。すなわち、制御部２１は、ステップＳ５４１で取得した部位、ステップＳ５４２で取得した疾病および、画像処理選択ボタン７８による各処理画像５７の使用有無をキーにして学習モデルＤＢ６６を検索してレコードを抽出する。
【０１３１】
なお、ユーザにより選択された処理画像５７の組合せに対応する学習モデル６１が生成されていない場合には、制御部２１はその旨をタッチパネル２５または表示装置５０に表示してユーザによる再選択を促す。制御部２１は、ユーザの選択に類似した処理画像５７の組合せを使用する学習モデル６１を代替案としてユーザに提示してもよい。
【０１３２】
［実施の形態５］
本実施の形態は、学習モデル６１を更新するサーバ８０等に関する。実施の形態２と共通する部分については、説明を省略する。
【０１３３】
図１８は、実施の形態５の追加教師データＤＢのレコードレイアウトを説明する説明図である。追加教師データＤＢは、学習モデル６１の更新に用いる追加教師データを記録するＤＢである。追加教師データＤＢは、元画像フィールド、部位フィールド、疾病フィールド、入力データフィールドおよび判断結果フィールドを有する。入力データフィールドは、第１処理画像フィールド、第２処理画像フィールド、第３処理画像フィールド等のサブフィールドを有する。
【０１３４】
元画像フィールドには、元画像５６が記録されている。部位フィールドには、元画像５６が撮影された部位が記録されている。疾病フィールドには、専門の医師が判断した疾病の種類が記録されている。
【０１３５】
第１処理画像フィールドには、教師データ作成時に第１処理画像５７１が学習モデル６１に入力されたか否かが記録されている。第１処理画像フィールドの「１」は、第１処理画像５７１が学習モデル６１に入力されたことを示す。第１処理画像フィールドの「０」は、第１処理画像５７１が学習モデル６１に入力されなかったことを示す。第２処理画像フィールド以降も同様である。判断結果フィールドには専門の医師が判断した疾病の状態が記録されている。追加教師データＤＢは、一組の教師データについて、１つのレコードを有する。
【０１３６】
それぞれの追加教師データの作成は、内視鏡画像を用いた診断に特に高い知見を有する専門医等により行なわれる。追加教師データの作成は、複数の専門医等により構成された、いわゆるエキスパートパネルグループにより行なわれることが、さらに望ましい。
【０１３７】
追加教師データの具体例を説明する。図１８の一番上のレコードには、「胃」を撮影した「Ｂ０１１１．ｂｍｐ」の元画像を使用して、潰瘍の状態を専門家等が判断した追加教師データが記録されている。専門家は、第１処理画像５７１、第４処理画像５７４等を入力に使用する学習モデル６１を参照した。専門家は、潰瘍は「重度」であると判断した。
【０１３８】
図１８の上から２番目のレコードには、同じ「Ｂ０１１１．ｂｍｐ」の元画像を使用して、腫瘍の状態を専門家等が判断した追加教師データが記録されている。専門家は、第３処理画像５７３等を入力に使用する学習モデル６１を参照した。専門家は、腫瘍は「なし」であると判断した。
【０１３９】
図１９は、教師データを追加する画面の例を示す説明図である。図１９に示す画面には、内視鏡画像５９、注目領域画像５８、結果欄７２、部位欄７５４および次ボタン７５６が表示されている。結果欄７２の左端に、正解入力欄７５５が表示されている。結果欄７２の上部に示されているとおり、図１９においては潰瘍に関する学習モデル６１を使用した結果が結果欄７２に表示されている。
【０１４０】
本実施の形態では実施の形態４と同様の方法で学習モデル６１が選択される場合を例にして説明する。専門医等は、図１９を使用して説明したタッチパネル２５の画面と同様のユーザインターフェイス画面を使用して、使用する画像処理を選択する。ユーザにより選択された部位、疾病および画像処理の組合せに基づいて、学習モデル６１が選択される。
【０１４１】
専門医等は、内視鏡画像５９を見て潰瘍の状態を判断し、いずれかの正解入力欄７５５を選択する。潰瘍の状態の判断に適さない内視鏡画像５９である場合には、専門医等は結果欄７２の最下部に設けた「不明」を選択する。
【０１４２】
図１９においては、「軽度」が選択されている。なお、学習モデル６１の精度が十分に高い場合には、最も確率が高い項目に対応する正解入力欄７５５がデフォルトで選択された状態にすることで、専門医等の負担を減らすことができる。
【０１４３】
専門医等は、たとえば画面左上に表示された患者ＩＤを選択することにより、患者のカルテ等を参照できる。専門医等は、患者のカルテ等を参照することにより疾病の状態を的確に判断できる。専門医の判断が入力された後に、追加教師データＤＢに追加レコードが記録される。
【０１４４】
専門医等により次ボタン７５６が選択された場合、次に使用する学習モデル６１を設定する画面が表示される。その後、設定された学習モデル６１を使用した結果で注目領域画像５８および結果欄７２が更新される。
【０１４５】
図２０は、追加の教師データを取得するプログラムの処理の流れを説明するフローチャートである。図２０に示すプログラムは、ネットワークを介してサーバに接続されたクライアントで実行される。クライアントはユーザインターフェイスのみを提供するいわゆるシンクライアントであり、プログラムの実行は制御部８１で行なわれる場合を例にして説明する。クライアントの構成については、図示を省略する。
【０１４６】
なお、図２０に示すプログラムは、クライアントの制御部で実行されても良い。図２０に示すプログラムは、内視鏡用プロセッサ２０の制御部２１で実行されても良い。
【０１４７】
制御部８１は、各地の病院等で撮影および保存された撮影画像を取得する（ステップＳ６１１）。制御部８１は、画像処理を行ない、処理画像５７を生成する（ステップＳ６１２）。制御部８１は、生成した処理画像５７を補助記憶装置２３に一時的に記憶する。
【０１４８】
制御部８１は、学習モデル６１に入力する処理画像５７の生成を終了したか否かを判定する（ステップＳ６１３）。終了していないと判定した場合（ステップＳ６１３でＮＯ）、制御部８１はステップＳ６１２に戻る。
【０１４９】
終了したと判定した場合（ステップＳ６１３でＹＥＳ）、制御部８１は、図１９を使用して説明したタッチパネル２５の画面と同様のユーザインターフェイス画面を表示して、使用する学習モデル６１の設定、すなわち部位、疾病および画像処理の組合せを取得する（ステップＳ６２１）。
【０１５０】
制御部８１は、ステップＳ６２１で取得した条件をキーにして、図１５を使用して説明した学習モデルＤＢ６６を検索してレコードを抽出する。制御部８１は、抽出したレコードの学習モデルＩＤフィールドに記録された学習モデルＩＤに基づいて、以後の処理で使用する学習モデル６１を選択する（ステップＳ６２２）。
【０１５１】
なお、ステップＳ６２１でユーザにより選択された処理画像５７の組合せに対応する学習モデル６１が生成されていない場合には、制御部８１はその旨を表示してユーザによる再選択を促す。制御部８１は、ユーザの選択に類似した処理画像５７の組合せを使用する学習モデル６１を代替案としてユーザに提示してもよい。
【０１５２】
制御部８１は、ステップＳ６２２で取得した学習モデル６１に、ステップＳ６２１で取得した画像処理の組合せに対応する処理画像５７を入力して、出力層５３３から出力される疾病の状態を取得する（ステップＳ６１４）。制御部８１は、第１注目領域５８１を抽出する（ステップＳ６１５）。制御部８１は、注目領域画像５８を生成する。
【０１５３】
制御部８１は、図１９を使用して説明した画面を、クライアントの表示部に表示する（ステップＳ６１６）。なお、内視鏡画像５９は、たとえば撮影画像と関連づけて保存されており、ステップＳ６１１で撮影画像とともに取得される。制御部８１が、撮影画像に対して所定の画像処理を行ない、内視鏡画像５９を生成してもよい。
【０１５４】
制御部８１は、正解入力欄７５５を介して専門医等による判断を取得する（ステップＳ６１７）。制御部８１はステップＳ６１７で「不明」以外の判断が入力されたか否かを判定する（ステップＳ６１９）。「不明」以外の判断が入力された判定した場合（ステップＳ６１９でＹＥＳ）、制御部８１は追加教師データＤＢに新規レコードを作成して、それぞれのフィールドにデータを記録する（ステップＳ６２０）。
【０１５５】
「不明」の判断が入力されたと判定した場合（ステップＳ６１９でＮＯ）、または、ステップＳ６１９の終了後、制御部８１は、処理を終了するか否かを判定する（ステップＳ６２３）。たとえば、ユーザが処理を終了する旨の指示を入力した場合、制御部８１は処理を終了すると判定する。
【０１５６】
処理を終了しないと判定した場合（ステップＳ６２３でＮＯ）、制御部８１はステップＳ６２１に戻る。処理を終了すると判定した場合（ステップＳ６２３でＹＥＳ）、制御部８１は処理を終了する。
【０１５７】
図２１は、学習モデル６１を更新するプログラムの処理の流れを説明するフローチャートである。図２１を使用して説明するプログラムは、追加教師データＤＢに十分な数の教師データが追加された場合に実行される。
【０１５８】
制御部８１は、追加教師データＤＢから１つのレコードを取得する（ステップＳ６３１）。制御部８１は、元画像フィールドに記録された元画像に対して、「１」が記録された入力データフィールドに対応する画像処理を行ない、補助記憶装置８３に一時的に記憶する（ステップＳ６３２）。
【０１５９】
制御部８１は、学習モデル６１に入力する処理画像５７の生成を終了したか否かを判定する（ステップＳ６３３）。終了していないと判定した場合（ステップＳ６３３でＮＯ）、制御部８１はステップＳ５３２に戻る。
【０１６０】
終了したと判定した場合（ステップＳ６３３でＹＥＳ）、制御部８１は、ステップＳ６３１で取得した追加教師データレコードの部位フィールド、疾病フィールドおよび入力データフィールドをキーにして、図１５を使用して説明した学習モデルＤＢ６６を検索してレコードを抽出する。制御部８１は、抽出したレコードの学習モデルＩＤフィールドに記録された学習モデルＩＤを抽出する（ステップＳ６３４）。
【０１６１】
制御部８１は、抽出した学習モデルＩＤに対応する学習モデル６１を取得する（ステップＳ６３５）。制御部８１は、ステップＳ６３２で記憶した処理画像５７を学習モデル６１の入力データに、追加教師データレコードの判断結果フィールドに記録された判断を学習モデル６１の出力に設定する（ステップＳ６３６）。
【０１６２】
制御部８１は、誤差逆伝播法により、学習モデル６１のパラメータを更新する（ステップＳ６３７）。制御部８１は、更新されたパラメータを記録する（ステップＳ６３８）。制御部８１は、追加教師データＤＢに記録されたレコードの処理を終了したか否かを判定する（ステップＳ６３９）。終了していないと判定した場合（ステップＳ６３９でＮＯ）、制御部８１はステップＳ６３１に戻る。終了したと判定した場合（ステップＳ６３９でＹＥＳ）、制御部８１は処理を終了する。
【０１６３】
本実施の形態で更新された学習モデル６１は、たとえば医薬品医療機器等法上の承認等の手続が終了した後に、ネットワークを介して、または、記録媒体を介して、内視鏡用プロセッサ２０に配信される。以上により、学習モデル６１が更新される。
【０１６４】
本実施の形態は、追加教師データを作成して学習モデル６１を更新する手段の一例である。追加教師データは、任意の手段により追加できる。
【０１６５】
なお制御部８１は、追加教師データＤＢの入力データフィールドに記録された処理画像５７の組合せとは異なる処理画像５７を入力データに使用する学習モデル６１を更新しても良い。このようにする場合には、制御部８１はステップＳ６３４において、追加教師データレコードの部位フィールドおよび疾病フィールドのみをキーにして、更新する学習モデル６１を抽出する。追加教師データＤＢの入力データフィールドは不要である。
【０１６６】
たとえば、専門医等は既存の学習モデル６１の出力を参照せずに、内視鏡画像５９およびカルテに記録された医療情報に基づいて追加教師データＤＢを作成しても良い。このようにする場合には、図１８を使用して説明した追加教師データＤＢにおいて、入力データフィールドは不要である。
【０１６７】
既存の学習モデル６１の出力を参照せずに追加教師データＤＢを作成した場合、制御部８１は、既存の学習モデル６１で使用されている処理画像５７の組合せを入力として、その学習モデル６１のパラメータを更新する。
【０１６８】
［実施の形態６］
本実施の形態は、内視鏡画像５９に対する専門家の主観評価を予測して表示する内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
【０１６９】
本実施の形態においては、学習モデル６１に加えてスコア学習モデルを使用する。スコア学習モデルは、内視鏡画像５９が入力された場合に、専門家の主観評価を予測したスコアを出力する。
【０１７０】
図２２は、スコア学習モデルの構成を説明する説明図である。スコア学習モデルは、入力層５３１、中間層５３２、出力層５３３、および、図示を省略する畳込み層とプーリング層とを有するニューラルネットワークモデル５３により構成される。
【０１７１】
スコア学習モデルに、内視鏡画像５９が入力される。入力された内視鏡画像５９は、畳込み層およびプーリング層により繰り返し処理が行なわれた後に、全結合層に入力される。
【０１７２】
出力層５３３に、内視鏡画像５９を専門家が見た際の主観評価を予測したスコアが出力される。中間層５３２の各ニューロンのパラメータは、後述するスコア教師データＤＢに基づいて機械学習により調整されている。
【０１７３】
スコア学習モデルは、部位ごと、および、予測対象である主観評価項目ごとに生成されている。主観評価項目は、たとえば赤み、または、血管透見レベル等である。
【０１７４】
図２３は、スコア教師データＤＢのレコードレイアウトを説明する説明図である。スコア教師データＤＢは、スコア学習モデルの生成に用いる教師データを記録するＤＢである。スコア教師データＤＢは、内視鏡画像フィールド、部位フィールドおよびスコアフィールドを有する。スコアフィールドは、たとえば赤みフィールド、血管透見フィールド等、専門家による主観評価が行なわれる項目に関するサブフィールドを有する。
【０１７５】
内視鏡画像フィールドには、内視鏡画像５９が記録されている。部位フィールドには、内視鏡画像５９が撮影された部位が記録されている。赤みフィールドには、専門の医師が内視鏡画像５９を見て判断した赤みに関するスコアが記録されている。血管透見フィールドには、専門の医師が内視鏡画像５９を見て判断した血管透見に関するスコアが記録されている。
【０１７６】
たとえば、図２３の一番上のレコードは、内視鏡画像「Ａ００５１．ｂｍｐ」を見た専門の医師が、赤みについては１００点、血管透見については１０点のスコアを付けたことを意味する。スコア教師データＤＢは、一枚の内視鏡画像５９について一つのレコードを有する。
【０１７７】
図２４は、実施の形態６の表示装置５０に表示する画面の例を示す説明図である。図２４に示す画面には、内視鏡画像５９、注目領域画像５８、結果欄７２およびスコア欄７４が表示されている。結果欄７２には、学習モデル６１から出力された疾病の状態が一覧表示されている。スコア欄７４には、スコア学習モデルから出力された赤みおよび血管透見のそれぞれのスコアが表示されている。
【０１７８】
ユーザは、スコア欄７４を参照して、ベテランの医師であれば赤みが強いと判定するか否か等の情報を得て、診断の参考にする。以上により、比較的経験の少ない医師でも、ベテランの医師と同様の診断を行なえる。
【０１７９】
［実施の形態７］
本実施の形態は、内視鏡用プロセッサ２０と汎用のコンピュータ９０とを組み合わせて動作させることにより実現する内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
【０１８０】
図２５は、実施の形態７の内視鏡システム１０の構成を説明する説明図である。本実施の形態の内視鏡システム１０は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とコンピュータ９０とを含む。内視鏡用プロセッサ２０は、内視鏡画像５９の生成および内蔵する光源３３の制御等を行なう。内視鏡用プロセッサ２０の構成については説明を省略する。
【０１８１】
コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示装置Ｉ／Ｆ２６、入力装置Ｉ／Ｆ２７、読取部２８およびバスを備える。表示装置Ｉ／Ｆ２６に、表示装置５０が接続されている。入力装置Ｉ／Ｆ２７に、キーボード１５等の入力装置が接続されている。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレット、またはサーバマシン等の情報機器である。
【０１８２】
コンピュータ９０は、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータであっても良い。コンピュータ９０は、分散処理を行なう複数のパソコン等であっても良い。
【０１８３】
内視鏡用プロセッサ２０と、コンピュータ９０とは、接続ケーブルまたは無線通信により接続されている。内視鏡用プロセッサ２０からコンピュータ９０に、元画像５６および内視鏡画像５９が伝送される。
【０１８４】
実施の形態１等で説明したプログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２８を介してプログラム９７を読み込み、補助記憶装置２３に保存する。
【０１８５】
また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出しても良い。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存しても良い。
【０１８６】
プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。以上により、本実施の形態の内視鏡用プロセッサ２０とコンピュータ９０とは連携して実施の形態１等で説明した内視鏡システム１０の機能を果たす。
【０１８７】
［実施の形態８］
図２６は、実施の形態８の内視鏡用プロセッサ２０の機能ブロック図である。内視鏡用プロセッサ２０は、画像取得部８６と、第１画像処理部８７と、第２画像処理部８８と、出力部８９とを備える。
【０１８８】
画像取得部８６は、内視鏡４０により撮影された撮影画像を取得する。第１画像処理部８７は、画像取得部８６が取得した撮影画像に基づいて第１処理画像５７１を生成する。第２画像処理部８８は、撮影画像に基づいて第２処理画像５７２を生成する。出力部８９は、第１画像処理部８７が生成した第１処理画像５７１と、第２画像処理部８８が生成した第２処理画像５７２とを入力した場合に、疾病の状態を出力する学習モデル６１を用いて、取得した疾病の状態を出力する。
【０１８９】
各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１９０】
１０  内視鏡システム
１５  キーボード
１６  収容棚
２０  内視鏡用プロセッサ
２１  制御部
２２  主記憶装置
２３  補助記憶装置
２４  通信部
２５  タッチパネル
２５１  表示部
２５２  入力部
２６  表示装置Ｉ／Ｆ
２７  入力装置Ｉ／Ｆ
２８  読取部
３１  内視鏡用コネクタ
３１１  電気コネクタ
３１２  光コネクタ
３３  光源
３４  ポンプ
３５  送水タンク
３６  送気送水口金
４０  内視鏡
４３  操作部
４３１  制御ボタン
４３３  湾曲ノブ
４４  挿入部
４４１  軟性部
４４２  湾曲部
４４３  先端部
４５  折止部
４８  スコープコネクタ
４９  ユニバーサルコード
５０  表示装置
５３  ニューラルネットワークモデル
５３１  入力層
５３２  中間層
５３３  出力層
５６  元画像
５７  処理画像
５７１  第１処理画像
５７２  第２処理画像
５７３  第３処理画像
５７４  第４処理画像
５８  注目領域画像
５８１  第１注目領域  
５８２  第２注目領域  
５９  内視鏡画像
６１  学習モデル
６１１  第１学習モデル
６１２  第２学習モデル
６５  教師データＤＢ
６６  学習モデルＤＢ
７１  セット選択ボタン
７２  結果欄
７２１  第１結果欄
７２２  第２結果欄
７３  注目箇所欄
７４  スコア欄
７５４  部位欄
７５５  正解入力欄
７５６  次ボタン
７６  検査対象部位欄
７７  検出対象疾病欄
７７１  潰瘍ボタン
７７２  腫瘍ボタン
７７３  出血ボタン
７７４  ポリープボタン
７８  画像処理選択ボタン
７９  画像処理選択欄
８０  サーバ
８１  制御部
８２  主記憶装置
８３  補助記憶装置
８４  通信部
８６  画像取得部
８７  第１画像処理部
８８  第２画像処理部
８９  出力部
９０  コンピュータ
９６  可搬型記録媒体
９７  プログラム
９８  半導体メモリ
【図１】
2020156903.tif 000004
【図２】
2020156903.tif 000005
【図３】
2020156903.tif 000006
【図４】
2020156903.tif 000007
【図５】
2020156903.tif 000008
【図６】
2020156903.tif 000009
【図７】
2020156903.tif 000010
【図８】
2020156903.tif 000011
【図９】
2020156903.tif 000012
【図１０】
2020156903.tif 000013
【図１１】
2020156903.tif 000014
【図１２】
2020156903.tif 000015
【図１３】
2020156903.tif 000016
【図１４】
2020156903.tif 000017
【図１５】
2020156903.tif 000018
【図１６】
2020156903.tif 000019
【図１７】
2020156903.tif 000020
【図１８】
2020156903.tif 000021
【図１９】
2020156903.tif 000022
【図２０】
2020156903.tif 000023
【図２１】
2020156903.tif 000024
【図２２】
2020156903.tif 000025
【図２３】
2020156903.tif 000026
【図２４】
2020156903.tif 000027
【図２５】
2020156903.tif 000028
【図２６】
2020156903.tif 000029