(57)【特許請求の範囲】
【請求項１】
学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群であって、正常または異常の２クラスに分割した類似画像群に基づいて、人体内管腔構造の持つ、光源の拡がり方、影の発生の仕方、および奥行きによる被写体の歪みといった画像の特徴を捉えるためのパラメータの事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別部を備え、
前記被写体の形状は、生体内の管構造であり、
前記類似画像群は、前記管構造を模倣した模倣臓器を撮像した模倣臓器画像群であることを特徴とする画像処理装置。
【請求項２】
前記対象画像群は、所定の区間の生体内管腔を撮像した画像群であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体の組織構造は、器官系の粘膜構造であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記器官系は、消化器、呼吸器、泌尿器および循環器のいずれかであることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群であって、正常または異常の２クラスに分割した類似画像群に基づいて、人体内管腔構造の持つ、光源の拡がり方、影の発生の仕方、および奥行きによる被写体の歪みといった画像の特徴を捉えるためのパラメータの事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別部を備え、
前記機器の撮像系は、内視鏡の撮像系であり、
前記類似画像群は、前記対象画像群と同じ前記内視鏡の撮像系で所定の臓器を模倣した模倣臓器を撮像した画像群であることを特徴とする画像処理装置。
【請求項６】
前記事前学習は、前記対象画像群と特性が異なる非類似画像群に基づいて、基礎学習が行われた基礎学習結果および前記類似画像群に基づいて行われることを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群であって、正常または異常の２クラスに分割した類似画像群に基づいて、人体内管腔構造の持つ、光源の拡がり方、影の発生の仕方、および奥行きによる被写体の歪みといった画像の特徴を捉えるためのパラメータの事前学習を行う事前学習部と、
前記事前学習部の事前学習結果および前記対象画像群に基づいて、本学習を行う本学習部と、
を備え、
前記被写体の形状は、生体内の管構造であり、
前記類似画像群は、前記管構造を模倣した模倣臓器を撮像した模倣臓器画像群であることを特徴とする学習装置。
【請求項８】
画像処理装置が実行する画像処理方法であって、
学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群であって、正常または異常の２クラスに分割した類似画像群に基づいて、人体内管腔構造の持つ、光源の拡がり方、影の発生の仕方、および奥行きによる被写体の歪みといった画像の特徴を捉えるためのパラメータの事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別ステップを含み、
前記被写体の形状は、生体内の管構造であり、
前記類似画像群は、前記管構造を模倣した模倣臓器を撮像した模倣臓器画像群であることを特徴とする画像処理方法。
【請求項９】
学習装置が実行する識別基準の作成方法であって、
学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群であって、正常または異常の２クラスに分割した類似画像群に基づいて、人体内管腔構造の持つ、光源の拡がり方、影の発生の仕方、および奥行きによる被写体の歪みといった画像の特徴を捉えるためのパラメータの事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を前記識別基準として出力する識別ステップを含み、
前記被写体の形状は、生体内の管構造であり、
前記類似画像群は、前記管構造を模倣した模倣臓器を撮像した模倣臓器画像群であることを特徴とする識別基準の作成方法。
【請求項１０】
学習装置が実行する学習方法であって、
学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群を記録部から取得し、取得した前記類似画像群であって、正常または異常の２クラスに分割した類似画像群に基づいて、人体内管腔構造の持つ、光源の拡がり方、影の発生の仕方、および奥行きによる被写体の歪みといった画像の特徴を捉えるためのパラメータの事前学習を行う事前学習ステップと、
前記記録部から前記対象画像群を取得し、取得した前記対象画像群および前記事前学習ステップの事前学習結果に基づいて、本学習を行う本学習ステップと、
を含み、
前記被写体の形状は、生体内の管構造であり、
前記類似画像群は、前記管構造を模倣した模倣臓器を撮像した模倣臓器画像群であることを特徴とする学習方法。
【請求項１１】
画像処理装置に、
学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群であって、正常または異常の２クラスに分割した類似画像群に基づいて、人体内管腔構造の持つ、光源の拡がり方、影の発生の仕方、および奥行きによる被写体の歪みといった画像の特徴を捉えるためのパラメータの事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別ステップを実行させ、
前記被写体の形状は、生体内の管構造であり、
前記類似画像群は、前記管構造を模倣した模倣臓器を撮像した模倣臓器画像群であることを特徴とするプログラム。
【請求項１２】
学習装置に、
学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群であって、正常または異常の２クラスに分割した類似画像群に基づいて、人体内管腔構造の持つ、光源の拡がり方、影の発生の仕方、および奥行きによる被写体の歪みといった画像の特徴を捉えるためのパラメータの事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を識別基準として出力する識別ステップを実行させ、
前記被写体の形状は、生体内の管構造であり、
前記類似画像群は、前記管構造を模倣した模倣臓器を撮像した模倣臓器画像群であることを特徴とするプログラム。
【請求項１３】
学習装置に実行させるプログラムであって、
学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群を記録部から取得し、取得した前記類似画像群であって、正常または異常の２クラスに分割した類似画像群に基づいて、人体内管腔構造の持つ、光源の拡がり方、影の発生の仕方、および奥行きによる被写体の歪みといった画像の特徴を捉えるためのパラメータの事前学習を行う事前学習ステップと、
前記記録部から前記対象画像群を取得し、取得した前記対象画像群および前記事前学習ステップの事前学習結果に基づいて、本学習を行う本学習ステップと、
を実行させ、
前記被写体の形状は、生体内の管構造であり、
前記類似画像群は、前記管構造を模倣した模倣臓器を撮像した模倣臓器画像群であることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体内医療画像から正常であるか否かを識別する識別器を作成する画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラムに関する。
【背景技術】
【０００２】
近年、大容量のデータを用いて識別器の学習を行う学習装置において、少量データセットの学習におけるオーバーフィッティングを回避するため、イメージネット（Imagenet）等の大量の一般物体画像データセットを用いて識別器の事前学習を行った後に、少量データセットを用いて本学習を行う学習方法が知られている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Pulkit  Agrawal，et.al  “Analyzing  the  Performance  of  Multilayer  Neural  Networks  for  Object  Recognition”，arXiv：1407．1610V2,arXiv.org，（22，Sep，2014）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、医療分野においても、上述した事前学習を行った後に、本学習を行うことが考えられる。しかしながら、上述した従来技術の一般物体画像データセットによる事前学習では、一般物体画像データおよび医療画像データそれぞれの特徴が異なるため、医療画像データに特有の特徴を捉えることができず、事前学習が不十分となるという問題点があった。【０００５】
本発明は、上記に鑑みてなされたものであって、医療画像データに特有の特徴を捉えることができる画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別部を備えることを特徴とする。【０００７】
また、本発明に係る学習装置は、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習を行う事前学習部と、前記事前学習部の事前学習結果および前記対象画像群に基づいて、本学習を行う本学習部と、を備えたことを特徴とする。【０００８】
また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別ステップを含むことを特徴とする。【０００９】
また、本発明に係る識別基準の作成方法は、学習装置が実行する識別基準の作成方法であって、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を前記識別基準として出力する識別ステップを含むことを特徴とする。【００１０】
また、本発明に係る学習方法は、学習装置が実行する学習方法であって、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群を記録部から取得し、取得した前記類似画像に基づいて、事前学習を行う事前学習ステップと、前記記録部から前記対象画像群を取得し、取得した前記対象画像群および前記事前学習ステップの事前学習結果に基づいて、本学習を行う本学習ステップと、を含むことを特徴とする。【００１１】
また、本発明に係るプログラムは、画像処理装置に、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別ステップを実行させることを特徴とする。【００１２】
また、本発明に係るプログラムは、学習装置に、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を識別基準として出力する識別ステップを実行させることを特徴とする。【００１３】
また、本発明に係るプログラムは、学習装置に実行させるプログラムであって、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群を記録部から取得し、取得した前記類似画像に基づいて、事前学習を行う事前学習ステップと、
前記記録部から前記対象画像群を取得し、取得した前記対象画像群および前記事前学習ステップの事前学習結果に基づいて、本学習を行う本学習ステップと、を実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、医療画像データに特有の特徴を捉えることができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の実施の形態１に係る学習装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る学習装置が実行する処理の概要を示すフローチャートである。
【図３】図３は、図２の事前学習処理の概要を示すフローチャートである。
【図４】図４は、図３の事前学習用医療画像取得処理の概要を示すフローチャートである。
【図５】図５は、図２の本学習の概要を示すフローチャートである。
【図６】図６は、本発明の実施の形態１の変形例１に係る事前学習用医療画像取得処理の概要を示すフローチャートである。
【図７】図７は、本発明の実施の形態１の変形例２に係る事前学習部が実行する事前学習処理の概要を示すフローチャートである。
【図８】図８は、図７の医療画像取得処理の概要を示すフローチャートである。
【図９】図９は、本発明の実施の形態１の変形例３に係る事前学習部が実行する事前学習処理の概要を示すフローチャートである。
【図１０】図１０は、図９の医療画像取得処理の概要を示すフローチャートである。
【図１１】図１１は、本発明の実施の形態２に係る学習装置の構成を示すブロック図である。
【図１２】図１２は、本発明の実施の形態２に係る学習装置が実行する処理の概要を示すフローチャートである。
【図１３】図１３は、図１２の基礎学習処理の概要を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図１５】図１５は、本発明の実施の形態３に係る画像処理装置が実行する処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態に係る学習装置を備えた画像処理装置、学習方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して示している。
【００１７】
（実施の形態１）
〔学習装置の構成〕
図１は、本発明の実施の形態１に係る学習装置の構成を示すブロック図である。本実施の形態１に係る学習装置１は、一例として、内視鏡（軟性内視鏡や硬性内視鏡等の内視鏡スコープ）またはカプセル型内視鏡（以下、これらをまとめて単に「内視鏡」という）によって、生体の管腔を撮像することにより取得された学習対象の医療画像群における被写体の形状、被写体の組織構造および内視鏡の撮像系の少なくとも１つの特性が類似画像群に基づいて、事前学習を行った後に、学習対象の医療画像群に基づいて、本学習を行う。ここで、医療画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）およびＢ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。
【００１８】
図１に示す学習装置１は、内視鏡によって撮像された医療画像群に対応する対象医療画像群データおよび事前学習用医療画像群データを内視鏡または外部から取得する画像取得部２と、外部からの操作によって入力された入力信号を受け付ける入力部３と、画像取得部２によって取得された画像データや各種プログラムを記録する記録部４と、学習装置１全体の動作を制御する制御部５と、画像取得部２が取得した対象医療画像群データおよび事前学習用医療画像群データに基づいて、学習を行う演算部６と、を備える。
【００１９】
画像取得部２は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、画像取得部２は、内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された画像データを読み出すリーダ装置として構成される。また、画像取得部２は、サーバを介して内視鏡によって撮像された画像データを取得する場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって画像データを取得する。さらにまた、画像取得部２は、内視鏡によって撮像された画像データを記録する記録装置からケーブルを介して画像データが入力されるインターフェース装置等で構成してもよい。
【００２０】
入力部３は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、外部からの操作に応じて受け付けた入力信号を制御部５へ出力する。
【００２１】
記録部４は、フラッシュメモリ、ＲＯＭ（Read  Only  Memory）およびＲＡＭ（Random  Access  Memory）といった各種ＩＣメモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部４は、画像取得部２によって取得された画像データの他、学習装置１を動作させるとともに、種々の機能を学習装置１に実行させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部４は、事前学習用医療画像群を用いて事前学習を行った後に、対象医療画像群を用いて本学習を行うためのプログラム記録部４１、後述する演算部６が学習を行うために、ネットワーク構造に関する情報等を記録する。
【００２２】
制御部５は、ＣＰＵ（Central  Processing  Unit）等を用いて実現され、記録部４に記録された各種プログラムを読み込むことにより、画像取得部２から入力される画像データや入力部３から入力される入力信号等に従って、学習装置１を構成する各部への指示やデータの転送等を行い、学習装置１全体の動作を統括的に制御する。
【００２３】
演算部６は、ＣＰＵ等によって実現され、記録部４が記録するプログラム記録部４１からプログラムを読み込むことによって学習処理を実行する。
【００２４】
〔演算部の構成〕
次に、演算部６の詳細な構成について説明する。演算部６は、事前学習用医療画像群に基づいて、事前学習を行う事前学習部６１と、対象医療画像群に基づいて、本学習を行う本学習部６２と、を備える。
【００２５】
事前学習部６１は、事前学習用データを取得する事前学習用データ取得部６１１と、事前学習用のネットワーク構造を決定する事前学習用ネットワーク構造決定部６１２と、事前学習用のネットワークの初期パラメータを決定する事前学習用初期パラメータ決定部６１３と、事前学習を行う事前学習用学習部６１４と、事前学習によって学習されたパラメータを出力する事前学習用パラメータ出力部６１５と、を有する。
【００２６】
本学習部６２は、本学習用データを取得する本学習用データ取得部６２１と、本学習用のネットワーク構造を決定する本学習用ネットワーク構造決定部６２２と、本学習用のネットワークの初期パラメータを決定する本学習用初期パラメータ決定部６２３と、本学習を行う本学習用学習部６２４と、本学習によって学習されたパラメータを出力する本学習用パラメータ出力部６２５と、を有する。
【００２７】
〔学習装置の処理〕
次に、学習装置１が実行する処理について説明する。図２は、学習装置１が実行する処理の概要を示すフローチャートである。
【００２８】
図２に示すように、まず、画像取得部２は、処理対象である対象医療画像群を取得するとともに（ステップＳ１）、事前学習時に処理対象とする事前学習用医療画像群を取得する（ステップＳ２）。
【００２９】
続いて、事前学習部６１は、画像取得部２が取得した事前学習用医療画像群に基づいて、事前学習を行う事前学習処理を実行する（ステップＳ３）。
【００３０】
〔事前学習処理〕
図３は、図２のステップＳ３における事前学習処理の概要を示すフローチャートである。
【００３１】
図３に示すように、事前学習用データ取得部６１１は、記録部４に記録された事前学習用医療画像群を取得する事前学習用医療画像取得処理を実行する（ステップＳ１０）。ここで、事前学習用医療画像群とは、本学習において対象となる医療画像群と異なり、かつ、医療画像群の特性と類似する医療画像群である。具体的には、被写体の形状が類似している医療画像群である。例えば、被写体の形状としては、管構造が上げられる。医療画像における人体内独特の管構造は、内視鏡による光源の拡がり方、陰の発生の仕方、および奥行きによる被写体の歪み等を撮像するにあたり特殊な環境が発生する。この特殊な環境を事前学習するには、一般物体画像群では、不十分であると考えられる。そこで、本実施の形態１では、上述の特殊な環境に類似している医療画像群を事前学習において学習することによって、特殊な環境に合わせたパラメータを事前学習において取得することができる。この結果、高い精度で事前学習を行うことができる。具体的には、本実施の形態１では、生体内管腔における他の臓器画像群を事前学習用医療画像群として用いる。例えば、本実施の形態１においては、対象医療画像群が小腸内視鏡によって撮像された小腸の医療画像群（以下、「小腸内視鏡画像群」という）であった場合、一般的により検査数（症例数）が多いとされている大腸内視鏡によって撮像された大腸の医療画像群（以下、「大腸内視鏡画像群」という）を事前学習用医療画像群とする。
【００３２】
〔事前学習用医療画像取得処理〕
図４は、図３のステップＳ１０における事前学習用医療画像取得処理の概要を示すフローチャートである。
【００３３】
図４に示すように、事前学習用データ取得部６１１は、入力部３から入力された指示信号に対応する対象医療画像群が小腸内視鏡画像群である場合、記録部４から事前学習用医療画像として大腸内視鏡画像群を取得する（ステップＳ２１）。この場合、事前学習用データ取得部６１１は、大腸内視鏡画像群を任意のクラスに分けて取得する。例えば、事前学習用データ取得部６１１は、本学習の小腸内視鏡画像群の異常を検出するため、正常または異常の２クラスに分割して取得する。このため、事前学習用データ取得部６１１は、同様に事前学習用医療画像群としての大腸内視鏡画像群も正常または異常の２クラスに分割して取得する。このように、事前学習用データ取得部６１１は、管腔という人体内部特有の構造を有する点において共通であるため、対象医療画像群が少数枚であっても、上述の特殊な環境を効果的に事前学習において学習することができる。ステップＳ２１の後、学習装置１は、図３の事前学習処理へ戻る。
【００３４】
図３に戻り、ステップＳ１１以降の説明を続ける。
ステップＳ１１において、事前学習用ネットワーク構造決定部６１２は、事前学習に用いるネットワークの構造を決定する。例えば、事前学習用ネットワーク構造決定部６１２は、ニューラルネットワーク（ＮＮ：Neural  Network）の一種であるコンボリューショナルニューラルネットワーク（ＣＮＮ：Convolutional  Neural  Network）を事前学習に用いるネットワークの構造として決定する（参考：シュプリンガージャパン、「パターン認識と機械学習」、ｐ．２７０−２７２（第５章ニューラルネットワーク  ５．５．６畳み込みニューラルネットワーク））。ここで、事前学習用ネットワーク構造決定部６１２が決定するＣＮＮの構造は、深層学習の画像認識ルーツＣａｆｆｅのチュートリアル（参考：http://caffe.berkeleyvision.org/）に搭載されているｉｍａｇｅＮｅｔ用の構造、またはＣＩＦＡＲ−１０用の構造等を適宜選択することができる。
【００３５】
続いて、事前学習用初期パラメータ決定部６１３は、事前学習用ネットワーク構造決定部６１２によって決定されたネットワーク構造の初期パラメータを決定する（ステップＳ１２）。本実施の形態１では、事前学習用初期パラメータ決定部６１３は、ランダム値を初期パラメータとして決定する。
【００３６】
その後、事前学習用学習部６１４は、事前学習用データ取得部６１１が取得した事前学習用医療画像を入力し、事前学習用ネットワーク構造決定部６１２が決定したネットワークの構造で、事前学習用初期パラメータ決定部６１３が決定した初期値を用いて、事前学習を行う（ステップＳ１３）。
【００３７】
ここで、事前学習用学習部６１４による事前学習の詳細について説明する。以下においては、事前学習用ネットワーク構造決定部６１２がネットワーク構造としてＣＮＮを決定した場合について説明する（参考：最適化から見たディープラーニングの考え方）。
【００３８】
ＣＮＮは、モデルの一種であり、予測関数を複数の非線形変換の合成で表す。入力ｘ＝ｈ0に対して、ｆ１，・・・，ｆLを非線形関として、以下の式（１）のように定義する。
【数１】
0006707131.tif 000002
【００３９】
Ｗｉは、結合重み行列であり、ｂｉは、ｂｉａｓベクトルであり、ともに学習すべきパラメータである。また、各ｈｉの成分をユニットと呼ぶ。各非線形関数ｆiは、活性化関数であり、パラメータを持たない関数である。損失関数は、ＮＮの出力ｈLに対して、定義される。本実施の形態１では、交差エントロピー誤差を用いる。具体的には、以下の式（２）を用いる。
【数２】
0006707131.tif 000003
【００４０】
この場合、ｈLは、確立ベクトルである必要があるため、最終層の活性化関数としてソフトマックス関数を用いる。具体的には、以下の式（３）を用いる。
【数３】
0006707131.tif 000004
【００４１】
ここでは、出力層のユニット数である。これは、ユニット毎の実数値関数に分解できない活性化関数の一例である。ＮＮの最適化手法は、勾配に基づく方法が主流である。あるデータに対する送信ｌ＝ｌ（ｈL）の勾配は、上述した式（１）に連鎖律を適用して次のように計算することができる。
【数４】
0006707131.tif 000005
【００４２】
▽ＨLｌを出発点として、上述した式（４）を用いて、▽ＨLｌをi＝Ｌ−１，・・・，２の順に計算し、層毎に式（５）を用いてパラメータの勾配を求める。このアルゴリズムを誤差逆伝搬法という。この誤差逆伝搬法を用いて、損失関数を最小化するように学習を進めて行く。本実施の形態１では、活性化関数として、関数ｍａｘ（０，ｘ）を用いる。この関数は、Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ（ＲｅＬＵ）やＲｅｃｔｉｆｉｅｒ等と呼ばれる。ＲｅＬＵは、値域が有界でない欠点があるものの、正の値をとるユニットについて勾配が減衰せずに伝搬するため、最適化において有利である（参考：シュプリンガージャパン、「パターン認識と機械学習」、ｐ．２４２−２５０（第５章ニューラルネットワーク  ５．３．誤差逆伝搬）。事前学習用学習部６１４は、学習の終了条件を、例えば学習回数に設定し、設定した学習回数に達した場合、事前学習を終了する。
【００４３】
ステップＳ１３の後、事前学習用パラメータ出力部６１５は、事前学習用学習部６１４によって事前学習された学習終了時のパラメータを出力する（ステップＳ１４）。ステップＳ１４の後、学習装置１は、図２へ戻る。
【００４４】
図２に戻り、ステップＳ４以降の説明を続ける。
ステップＳ４において、本学習部６２は、画像取得部２が取得した対象医療画像群に基づいて、本学習を行う本学習処理を実行する。
【００４５】
〔本学習処理〕
図５は、図２のステップＳ４における本学習の概要を示すフローチャートである。
【００４６】
図５に示すように、本学習用データ取得部６２１は、記録部４に記録された対象医療画像群を取得する（ステップＳ３１）。
【００４７】
続いて、本学習用ネットワーク構造決定部６２２は、上述したステップＳ１１において事前学習用ネットワーク構造決定部６１２が決定したネットワーク構造を、本学習において用いるネットワーク構造に決定する（ステップＳ３２）。
【００４８】
その後、本学習用初期パラメータ決定部６２３は、上述したステップＳ１４において事前学習用パラメータ出力部６１５が出力した値（パラメータ）を初期パラメータに決定する（ステップＳ３３）。
【００４９】
続いて、本学習用学習部６２４は、本学習用データ取得部６２１が取得した対象医療画像群を入力し、本学習用ネットワーク構造決定部６２２が決定したネットワークの構造で、本学習用初期パラメータ決定部６２３が決定した初期値を用いて、本学習を行う（ステップＳ３４）。
【００５０】
その後、本学習用パラメータ出力部６２５は、本学習用学習部６２４によって本学習された学習終了時のパラメータを出力する（ステップＳ３５）。ステップＳ３５の後、学習装置１は、図２のメインルーチンへ戻る。
【００５１】
図２に戻り、ステップＳ５以降の説明を続ける。
ステップＳ５において、演算部６は、本学習のパラメータに基づいた識別器を外部へ出力する。
【００５２】
以上説明した本発明の実施の形態１によれば、事前学習部６１が対象医療画像と異なるが、対象医療画像に写る被写体の形状が管構造であるという特性が類似した医療画像を事前学習し、本学習部６２が対象医療画像に対して、事前学習部６１の事前学習結果を初期値として本学習を行うことによって、人体内管腔構造の持つ、光源の拡がり方、影の発生の仕方、および奥行きによる被写体の歪みといった画像の特徴を捉えるためのパラメータを事前学習することで、高精度な学習を行うことができる。この結果、少量データセットであっても、識別精度の高い識別器を得ることができる。
【００５３】
（実施の形態１の変形例１）
次に、本発明の実施の形態１の変形例１について説明する。本実施の形態１の変形例１は、上述した実施の形態１に係る事前学習用データ取得部６１１が実行する事前学習用医療画像取得処理と異なる。以下においては、本実施の形態１の変形例１に係る事前学習用データ取得部６１１が実行する事前学習用医療画像取得処理についてのみ説明する。なお、上述した実施の形態１に係る学習装置１と同一の構成には同一の符号を付して説明を省略する。
【００５４】
〔事前学習用医療画像取得処理〕
図６は、本発明の実施の形態１の変形例１に係る事前学習用医療画像取得処理の概要を示すフローチャートである。
【００５５】
図６に示すように、事前学習用データ取得部６１１は、入力部３から入力された指示信号に対応する対象医療画像群が小腸内視鏡画像群である場合、記録部４から事前学習用医療画像群として小腸の状態を模倣した模倣臓器を撮像した模倣臓器画像群を取得する（ステップＳ４１）。ここで、模倣臓器画像群とは、所謂、小腸の状態を模倣した生体ファントムを内視鏡等によって撮像した画像群である。この場合、事前学習用データ取得部６１１は、模倣画像群を任意のクラスに分けて取得する。例えば、通常では、本学習の小腸内視鏡画像群の異常を検出するため、正常または異常の２クラスに分割されている。このため、事前学習用データ取得部６１１は、同様に事前学習用医療画像群としての模倣臓器画像群も、例えば粘膜損傷状態を生体ファントム内に設けておき、正常部位と粘膜損傷状態の部位を内視鏡等によって撮像することによって、正常または異常の２クラスに分割して取得する。ステップＳ４１の後、学習装置１は、図３の事前学習処理へ戻る。
【００５６】
以上説明した本発明の実施の形態１の変形例１によれば、データの収集が難しい小腸の小腸内視鏡画像群と比較し、生体ファントムであれば、何度も撮像することが可能でため、人体内部特有の構造を学習することができので、高い精度での事前学習を行うことができる。
【００５７】
（実施の形態１の変形例２）
次に、本発明の実施の形態１の変形例２について説明する。本実施の形態１の変形例２は、上述した実施の形態１に係る事前学習部６１が実行する事前学習処理と異なる。以下においては、本実施の形態１の変形例２に係る事前学習部が実行する事前学習処理について説明する。なお、上述した実施の形態１に係る学習装置１と同一の構成には同一の符号を付して説明を省略する。
【００５８】
〔事前学習処理〕
図７は、本発明の実施の形態１の変形例２に係る事前学習部６１が実行する事前学習処理の概要を示すフローチャートである。
【００５９】
図７に示すように、まず、事前学習用データ取得部６１１は、記録部４に記録された事前学習用医療画像群を取得する事前学習用医療画像取得処理を実行する（ステップＳ６１）。ここで、事前学習用医療画像とは、本学習において対象となる医療画像と異なり、かつ、医療画像の特性と類似する医療画像である。具体的には、本学習において対象となる医療画像の被写体の組織構造が類似した医療画像である。被写体の組織構造としては、例えば器官系が一致していることが挙げられる。人体内特有の組織構造は、テクスチャパターン、細かな構造がもたらす反射光の様相等、内視鏡等によって撮像するにあたり多くの特殊な環境が発生する。そこで、本実施の形態１の変形例２では、上述の特殊な環境に類似している画像データ群を事前学習において学習することによって、特殊な環境に合わせたパラメータを事前学習において取得することができる。この結果、高い精度で事前学習を行うことができる。具体的には、本実施の形態１の変形例２においては、器官系が消化器、呼吸器、泌尿器および循環器のいずれかで共通しているものとする。事前学習用データ取得部６１１は、対象医療画像が小腸内視鏡であった場合、同じ消化器である胃の画像を事前学習に用いる事前学習用医療画像として取得する。
【００６０】
〔医療画像取得処理〕
図８は、図７のステップＳ６１において説明した事前学習用医療画像取得処理の概要を示すフローチャートである。
【００６１】
図８に示すように、事前学習用データ取得部６１１は、入力部３から入力された指示信号に対応する対象医療画像群が小腸内視鏡画像群である場合、記録部４から事前学習用医療画像群として、同一消化器であるという特性を持ち、対象医療画像群の器官が異なる胃画像群を取得する（ステップＳ７１）。この場合、事前学習用データ取得部６１１は、クラス数を任意とする。ステップＳ７１の後、学習装置１は、図７へ戻る。ステップＳ６２〜ステップＳ６５は、上述した図３のステップＳ１１〜ステップＳ１４それぞれに対応する。ステップＳ６５の後、学習装置１は、図２のメインルーチンへ戻る。
【００６２】
以上説明した本発明の実施の形態１の変形例２によれば、同一消化器であることにより対象医療画像群の特徴と類似する人体内特有の粘膜構造を学習するため、医療画像で特に問題となる細かなテクスチャ特徴量について事前学習し、事前学習結果を初期値として本学習を行うことによって、人体内組織構造が持つテクスチャパターンおよび細かな構造がもたらす反射光の様相等の画像の特徴を捉えることができるので、高精度な学習を行うことができる。
【００６３】
（実施の形態１の変形例３）
次に、本発明の実施の形態１の変形例３について説明する。本実施の形態１の変形例３は、上述した実施の形態１に係る事前学習部６１が実行する事前学習処理と異なる。以下においては、本実施の形態１の変形例３に係る事前学習処理が実行する事前学習処理について説明する。なお、上述した実施の形態１に係る学習装置１と同一の構成には同一の符号を付して説明を省略する。
【００６４】
〔事前学習処理〕
図９は、本発明の実施の形態１の変形例３に係る事前学習部６１が実行する事前学習処理の概要を示すフローチャートである。
【００６５】
図９に示すように、まず、事前学習用データ取得部６１１は、記録部４に記録された事前学習対象である医療画像群を取得する医療画像取得処理を実行する（ステップＳ８１）。ここで、事前学習用である医療画像群とは、本学習において対象となる医療画像群と異なり、かつ、医療画像群の特性と類似する医療画像群である。具体的には、本学習において対象となる医療画像群を撮像した撮像系（光学系や照明系を含む）および被写体それぞれが類似した医療画像群である。撮像系としては、内視鏡の撮像系が挙げられる。被検体内部に入り込む内視鏡は、広角特有の撮像の歪み、撮像素子自体の特性および照明光による照射特性等、内視鏡等によって撮像するにあたり多くの特殊な環境が発生する。そこで、本実施の形態１の変形例３では、上述の特殊な環境に類似している画像群を事前学習において学習することによって、特殊な環境に合わせたパラメータを事前学習において取得することができる。この結果、高い精度で事前学習を行うことができる。具体的には、本実施の形態１の変形例３においては、撮像系が同一であり、かつ、この同一の撮像系によって模倣臓器を撮像した医療画像群を事前学習において用いる。例えば、事前学習用データ取得部６１１は、対象医療画像群が胃用の内視鏡で胃が撮像された画像群であった場合、胃用の内視鏡で胃を模倣した生体ファントムを撮像した画像群を事前学習用医用画像群として取得する。
【００６６】
〔医療画像取得処理〕
図１０は、図９のステップＳ８１において説明した医療画像取得処理の概要を示すフローチャートである。
【００６７】
図１０に示すように、事前学習用データ取得部６１１は、入力部３から入力された指示信号に対応する対象医療画像群が胃用の内視鏡で撮像された胃内視鏡画像群である場合、記録部４から事前学習用医療画像群として、同一の撮像系であるという特性を持つとともに、対象医療画像の器官が同じ特性を持つ模倣臓器画像群を取得する（ステップＳ９１）。この場合、事前学習用データ取得部６１１が取得する模倣臓器画像群は、クラス数を任意とする。好ましくは、本学習の胃内視鏡画像群の異常を検知するため、正常または異常の２クラスに分類されているので、同様に事前学習の模倣画像群も、粘膜損傷状態を生体ファントムに作成し、粘膜損傷状態を撮像されたものを異常とし、それ以外を撮像されたものを正常とする２クラスに分類することが好ましい。これにより、データの収集が難しい実際の胃の内視鏡画像群と比較し、生体ファントムであれば、何度でも撮像することが可能であるので、少数データに対応しながら、同一の撮像系で学習できるため、高い精度で事前学習を行うことができる。ステップＳ９１の後、学習装置１は、図９へ戻る。ステップＳ８２〜ステップＳ８５は、上述した図３のステップＳ１１〜ステップＳ１４それぞれに対応する。ステップＳ８５の後、学習装置１は、図２のメインルーチンへ戻る。
【００６８】
以上説明した本発明の実施の形態１の変形例３によれば、事前学習部６１が対象医療画像群と異なり、対象医療画像群の特性と類似する撮像系の医療画像群を事前学習し、本学習部６２が対象医療画像群に対し、事前学習部６１によって事前学習された事前学習結果を初期値として本学習することによって、人体内部を撮像する内視鏡が持つ、広角特有の撮像の歪み、撮像素子自体の特性および照明光による照明特性等の画像の特徴を捉えるパラメータを事前学習することができ、高精度な学習を行うことができる。
【００６９】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る画像処理装置は、上述した実施の形態１に係る学習装置１と構成が異なる。具体的には、上述した実施の形態１では、事前学習を行った後に、本学習を行っていたが、本実施の形態２では、事前学習を行う前に、さらに基礎学習を行う。以下においては、本実施の形態２に係る画像処理装置の構成を説明後、本実施の形態２に係る学習装置が実行する処理について説明する。なお、上述した実施の形態１に係る学習装置１と同一の構成には同一の符号を付して説明を省略する。
【００７０】
〔画像処理装置の構成〕
図１１は、本発明の実施の形態２に係る学習装置の構成を示すブロック図である。図１１に示す学習装置１ａは、上述した実施の形態１に係る学習装置１の演算部６に換えて、演算部６ａを備える。
【００７１】
〔演算部の構成〕
演算部６ａは、上述した実施の形態１に係る演算部６の構成に加えて、基礎学習部６０をさらに有する。
【００７２】
基礎学習部６０は、基礎学習を行う。ここで、基礎学習とは、事前学習より前に対象医療画像群と異なり、一般的な大規模データ（一般的な大規模画像群）を用いて学習することである。一般的な大規模データとしては、Ｉｍａｇｅｎｅｔ等である。一般的な大規模画像群によるＣＮＮの学習によって、ネットワークの一部が哺乳類の初期視覚野を模倣する（参考：ディープラーニングと画像認識  基礎と最近の動向  岡谷貴之）。本実施の形態２では、上述した初期視野を模倣した初期値を持たせて事前学習を実行する。これにより、ランダム値よりも精度を向上させることができる。
【００７３】
基礎学習部６０は、基礎学習画像群を取得する基礎学習用データ取得部６０１と、基礎学習用のネットワーク構造を決定する基礎学習用ネットワーク構造決定部６０２と、基礎学習用ネットワークの初期パラメータを決定する基礎学習用初期パラメータ決定部６０３と、基礎学習を行う基礎学習用学習部６０４と、基礎学習によって学習されたパラメータを出力する基礎学習用パラメータ出力部６０５と、を有する。
【００７４】
〔学習装置の処理〕
次に、学習装置１ａが実行する処理について説明する。図１２は、学習装置１ａが実行する処理の概要を示すフローチャートである。図１２において、ステップＳ１０１、ステップＳ１０２、ステップＳ１０５〜ステップＳ１０７は、上述した図２のステップＳ１〜ステップＳ５それぞれに対応する。
【００７５】
ステップＳ１０３において、画像取得部２は、基礎学習を行うための基礎学習用画像群を取得する。
【００７６】
続いて、基礎学習部６０は、基礎学習を行う基礎学習処理を実行する（ステップＳ１０４）。
【００７７】
〔基礎学習処理〕
図１３は、上述した図１２のステップＳ１０４における基礎学習処理の概要を示すフローチャートである。
【００７８】
図１３に示すように、基礎学習用データ取得部６０１は、記録部４に記録された基礎学習用一般画像群を取得する（ステップＳ２０１）。
【００７９】
続いて、基礎学習用ネットワーク構造決定部６０２は、学習に使われるネットワーク構造を決定する（ステップＳ２０２）。例えば、基礎学習用ネットワーク構造決定部６０２は、学習に使われるネットワーク構造をＣＮＮに決定する。
【００８０】
その後、基礎学習用初期パラメータ決定部６０３は、基礎学習用ネットワーク構造決定部６０２が決定したネットワーク構造の初期パラメータを決定する（ステップＳ２０３）。この場合、基礎学習用初期パラメータ決定部６０３は、初期パラメータとしてランダム値を決定する。
【００８１】
続いて、基礎学習用学習部６０４は、基礎学習用データ取得部６０１が取得した基礎画像用の一般画像群を入力し、基礎学習用ネットワーク構造決定部６０２が決定したネットワークの構造で、基礎学習用初期パラメータ決定部６０３が決定した初期値を用いて、事前学習を行う（ステップＳ２０４）。
【００８２】
その後、基礎学習用パラメータ出力部６０５は、基礎学習用学習部６０４によって基礎学習された学習終了時のパラメータを出力する（ステップＳ２０５）。ステップＳ２０５の後、学習装置１ａは、図１２のメインルーチンへ戻る。
【００８３】
以上説明した本発明の実施の形態２によれば、基礎学習部６０が事前学習の前に、対象となる医療画像と異なる大量の一般画像を基礎学習することにより、事前学習の際に有効となる初期値を得ることができ、高精度な学習を行うことができる。
【００８４】
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る画像処理装置は、上述した実施の形態１に係る学習装置１と構成が異なる。具体的には、上述した実施の形態１では、学習結果を識別器へ出力していたが、本実施の形態３では、画像処理装置に識別器を設け、本学習出力パラメータに基づいて、識別対象画像を識別する。以下においては、本実施の形態３に係る画像処理装置の構成を説明後、本実施の形態３に係る画像処理装置が実行する処理について説明する。
【００８５】
〔画像処理装置の構成〕
図１４は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。図１４に示す画像処理装置１ｂは、上述した実施の形態１に係る学習装置１の演算部６および記録部４に換えて、演算部６ｂおよび記録部４ｂを備える。
【００８６】
記録部４ｂは、上述した実施の形態１に係る記録部４の構成に加えて、上述した実施の形態１，２の学習装置１，１ａによって生成された識別基準である本学習出力パラメータ（本学習結果）を記録する識別基準記録部４２を有する。
【００８７】
〔演算部の構成〕
演算部６ｂは、識別部６３を有する。識別部６３は、識別基準記録部４２が記録する識別基準である本学習出力パラメータに基づいて、識別対象画像群を識別した識別結果を出力する。
【００８８】
〔画像処理装置の処理〕
図１５は、画像処理装置１ｂが実行する処理の概要を示すフローチャートである。図１５に示すように、画像取得部２は、識別対象画像を取得する（ステップＳ３０１）。
【００８９】
続いて、識別部６３は、識別基準記録部４２が記録する識別基準である本学習出力パラメータに基づいて、識別対象画像を識別する（ステップＳ３０２）。具体的には、識別部６３は、本学習において小腸内視鏡画像が正常であるか、異常であるかといった２クラス分類を行う場合、本学習において学習されたパラメータを初期値としたネットワークに基づく識別基準を作成し、この作成した識別基準に基づいて新たな識別対象画像が正常であるか、異常であるかの２クラス分類を行う。
【００９０】
その後、演算部６ｂは、識別部６３の分類結果に基づいて、識別結果を出力する（ステップＳ３０３）。ステップＳ３０３の後、本処理を終了する。
【００９１】
以上説明した本発明の実施の形態３によれば、識別部６３が本学習において学習されたパラメータを初期値としたネットワークを用いて、新たな識別対象画像を識別するので、精度高く学習した結果を識別対象画像に適用することができる。
【００９２】
（その他の実施の形態）
本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜２およびこれらの変形例に係る学習装置および画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。
【００９３】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【００９４】
なお、本発明は、実施の形態１〜３およびこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【００９５】
１，１ａ  学習装置
１ｂ  画像処理装置
２  画像取得部
３  入力部
４  記録部
５  制御部
６，６ａ，６ｂ  演算部
４１  プログラム記録部
６０  基礎学習部
６１  事前学習部
６２  本学習部
６３  識別部
６０１  基礎学習用データ取得部
６０２  基礎学習用ネットワーク構造決定部
６０３  基礎学習用初期パラメータ決定部
６０４  基礎学習用学習部
６０５  基礎学習用パラメータ出力部
６１１  事前学習用データ取得部
６１２  事前学習用ネットワーク構造決定部
６１３  事前学習用初期パラメータ決定部
６１４  事前学習用学習部
６１５  事前学習用パラメータ出力部
６２１  本学習用データ取得部
６２２  本学習用ネットワーク構造決定部
６２３  本学習用初期パラメータ決定部
６２４  本学習用学習部
６２５  本学習用パラメータ出力部
【図１】
0006707131.tif 000006
【図２】
0006707131.tif 000007
【図３】
0006707131.tif 000008
【図４】
0006707131.tif 000009
【図５】
0006707131.tif 000010
【図６】
0006707131.tif 000011
【図７】
0006707131.tif 000012
【図８】
0006707131.tif 000013
【図９】
0006707131.tif 000014
【図１０】
0006707131.tif 000015
【図１１】
0006707131.tif 000016
【図１２】
0006707131.tif 000017
【図１３】
0006707131.tif 000018
【図１４】
0006707131.tif 000019
【図１５】
0006707131.tif 000020