(57)【特許請求の範囲】
【請求項１】
コンボリューショナルニューラルネットワークを含む画像認識装置が行う学習方法であって、
外部から入力された第１フレームレートによって撮像された第１画像群を用いて前記コンボリューショナルニューラルネットワークによる第１の学習を行い、
前記第１の学習を行った後に、外部から入力された前記第１フレームレートよりも低い第２フレームレートで撮像された第２画像群であって、前記第１画像群より枚数が少ない第２画像群を用いて第２の学習を行う
ことを特徴とする学習方法。
【請求項２】
前記第１の学習は、
前記コンボリューショナルニューラルネットワークの出力と前記第１画像群に付与される正解ラベルとの誤差を小さくする誤差逆伝搬法によって前記コンボリューショナルニューラルネットワークの重みを更新するプレトレーニングであり、
前記第２の学習は、
前記プレトレーニングによって前記重みが更新された前記コンボリューショナルニューラルネットワークを用いて前記重みを更新するファインチューニングである
ことを特徴とする請求項１に記載の学習方法。
【請求項３】
前記ファインチューニングによって前記重みが更新された前記コンボリューショナルニューラルネットワークの中間出力を前記第２画像群の特徴量として抽出し、前記第２画像群の正解ラベルおよび前記特徴量を用いて学習器による入力画像の識別または認識対象物の検出を学習する第３の学習を行う
ことを特徴とする請求項２に記載の学習方法。
【請求項４】
前記第３の学習を行った後に、前記第２画像群を用いて前記学習器による入力画像に対する分類または認識対象物の検出を行う
ことを特徴とする請求項３に記載の学習方法。
【請求項５】
前記第１の学習は、
前記コンボリューショナルニューラルネットワークの出力と前記第１画像群に含まれる正解ラベルとの誤差を小さくする誤差逆伝搬法によって前記コンボリューショナルニューラルネットワークの重みを更新するプレトレーニングであり、
前記第２の学習は、
前記プレトレーニングによって前記コンボリューショナルニューラルネットワークの重みが更新された前記コンボリューショナルニューラルネットワークを用いて、前記第２画像群の特徴量を抽出し、前記第２画像群の正解ラベルおよび前記特徴量を用いて学習器による入力画像の識別または認識対象物の学習を行う
ことを特徴とする請求項１に記載の学習方法。
【請求項６】
前記第２の学習を行った後に、前記第２画像群を用いて前記学習器による前記入力画像の分類または認識対象物の検出を行う
ことを特徴とする請求項５に記載の学習方法。
【請求項７】
前記第２画像群は、インターバル撮影された画像群であることを特徴とする請求項１〜６のいずれか一つに記載の学習方法。
【請求項８】
前記第１画像群は、被検体に挿入可能な内視鏡によって撮像された画像群であり、
前記第２画像群は、被検体に飲み込まれて所定時間後に排出されるカプセル型内視鏡によって撮像された画像群であることを特徴とする請求項１〜７のいずれか一つに記載の学習方法。
【請求項９】
コンボリューショナルニューラルネットワークを含む画像認識装置であって、
第１フレームレートによって撮像された第１画像群および前記第１フレームレートよりも低い第２フレームレートで撮像された第２画像群であって、前記第１画像群より枚数が少ない第２画像群それぞれを取得する取得部と、
前記第１画像群が前記コンボリューショナルニューラルネットワークに入力され、前記コンボリューショナルニューラルネットワークの出力結果と前記第１画像群に付与された正解ラベルとの第１誤差を算出する誤差算出部と、
前記第１誤差が前記コンボリューショナルニューラルネットワークに逆伝搬することによって、前記コンボリューショナルニューラルネットワークの重みを更新する制御部と、
を備え、
前記誤差算出部は、前記重みが更新された後に、第２画像群が前記コンボリューショナルニューラルネットワークに入力され、前記コンボリューショナルニューラルネットワークの出力結果と前記第２画像群に付与された正解ラベルとの第２誤差を算出し、
前記制御部は、前記第２誤差が前記コンボリューショナルニューラルネットワークに逆伝搬することによって、前記コンボリューショナルニューラルネットワークの重みを更新することを特徴とする画像認識装置。
【請求項１０】
前記重みが更新された後に、前記コンボリューショナルニューラルネットワークによって前記第２画像群の特徴量として抽出された前記コンボリューショナルニューラルネットワークの中間出力と前記第２画像群の正解ラベルとを用いて入力画像の識別または認識対象物の検出を学習する学習器をさらに備えたことを特徴とする請求項９に記載の画像認識装置。
【請求項１１】
前記学習器は、前記第２画像群を学習した後に、前記第２画像群を用いて入力画像に対する分類または認識対象物の検出を行う
ことを特徴とする請求項１０に記載の画像認識装置。
【請求項１２】
前記学習器は、サポートベクターマシンであることを特徴とする請求項１１に記載の画像認識装置。
【請求項１３】
コンボリューショナルニューラルネットワークを含む画像認識装置であって、
第１フレームレートによって撮像された第１画像群および前記第１フレームレートよりも低い第２フレームレートで撮像された第２画像群であって、前記第１画像群より枚数が少ない第２画像群それぞれを取得する取得部と、
前記第１画像群が前記コンボリューショナルニューラルネットワークに入力され、前記コンボリューショナルニューラルネットワークの出力結果と前記第１画像群に付与された正解ラベルとの第１誤差を算出する誤差算出部と、
前記第１誤差を前記コンボリューショナルニューラルネットワークに逆伝搬することによって、前記コンボリューショナルニューラルネットワークの重みを更新する制御部と、
前記第２画像群を用いて入力画像の識別または画像中からの認識対象物の検出を学習する学習器と、
を備え、
前記学習器は、前記重みが更新された後に、前記コンボリューショナルニューラルネットワークによって前記第２画像群の特徴量として抽出された前記コンボリューショナルニューラルネットワークの中間出力と前記第２画像群の正解ラベルとを用いて前記入力画像の識別または画像中からの認識対象物の検出を学習することを特徴とする画像認識装置。
【請求項１４】
前記学習器は、サポートベクターマシンであることを特徴とする請求項１３に記載の画像認識装置。
【請求項１５】
コンボリューショナルニューラルネットワークを含む画像認識装置に、
外部から入力された第１フレームレートによって撮像された第１画像群を用いて前記コンボリューショナルニューラルネットワークによる第１の学習を行う第１の学習手順と、
前記第１の学習を行った後に、外部から入力された前記第１フレームレートよりも低い第２フレームレートで撮像された第２画像群であって、前記第１画像群より枚数が少ない第２画像群を用いて第２の学習を行う第２の学習手順と、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像群を学習して認識するコンボリューショナルニューラルネットワークを含む学習方法、画像認識装置およびプログラムに関する。
【背景技術】
【０００２】
近年、医療装置の分野において、被検体が撮像された画像群をコンピュータなどにより機械を用いて学習することによって、画像群から自動的に臓器を分類したり、病変を検出したりするコンピュータ診断支援技術が知られている。例えば、ＣＴ装置が被検体を撮像した画像群から関連する画像同士の位置合わせや重ね合わせを行うために、基準点として用いられるランドマークの最も確からしい位置を自動的に特定する技術が知られている（特許文献１参照）。この技術では、ランドマークの位置が既知である第１の医用画像を用いて分類器に学習（トレーニング）させた後に、分類器にランドマークの位置が未知である第２の医用画像に対してランドマークの位置を特定させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−３６１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、機械学習を用いた診断支援技術の一例として、ポリープや腫瘍等の病変を、機械学習する際には、豊富な数の学習用画像が必要となる。しかしながら、病変が写っている画像の出現頻度は、一般的に低いため、学習用画像が不足するという問題点があった。上述した特許文献１には、医療画像の第１領域より狭い第２領域を用いて分類器を調整することによってランドマーク位置の特定精度を向上させる方法が提示されているが、学習用画像が不足する問題に対する解決策については記載されていない。【０００５】
また、例えばカプセル型内視鏡のようにインターバル撮影された画像群の場合、胃の幽門や大腸の回盲弁等のランドマークが写っている画像と写っていない画像とが存在する。そのため、ランドマークの学習用画像が不足するという問題点があった。【０００６】
本発明は、上記に鑑みてなされたものであって、学習用画像が不足する認識対象に対して、高精度の画像認識を実現することができる学習方法、画像認識装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る学習方法は、コンボリューショナルニューラルネットワークを含む画像認識装置が行う学習方法であって、外部から入力された第１フレームレートによって撮像された第１画像群を用いて前記コンボリューショナルニューラルネットワークによる第１の学習を行い、前記第１の学習を行った後に、外部から入力された前記第１フレームレートよりも低い第２フレームレートで撮像された第２画像群であって、前記第１画像群より枚数が少ない第２画像群を用いて第２の学習を行うことを特徴とする。【０００８】
また、本発明に係る画像認識装置は、コンボリューショナルニューラルネットワークを含む画像認識装置であって、第１フレームレートによって撮像された第１画像群および前記第１フレームレートよりも低い第２フレームレートで撮像された第２画像群であって、前記第１画像群より枚数が少ない第２画像群それぞれを取得する取得部と、前記第１画像群が前記コンボリューショナルニューラルネットワークに入力され、コンボリューショナルニューラルネットワークの出力結果と前記第１画像群に付与された正解ラベルとの第１誤差を算出する誤差算出部と、前記第１誤差がコンボリューショナルニューラルネットワークに逆伝搬することによって、前記コンボリューショナルニューラルネットワークの重みを更新する制御部と、を備え、前記誤差算出部は、前記重みが更新された後に、第２画像群がコンボリューショナルニューラルネットワークに入力され、コンボリューショナルニューラルネットワークの出力結果と前記第２画像群に付与された正解ラベルとの第２誤差を算出し、前記制御部は、前記第２誤差がコンボリューショナルニューラルネットワークに逆伝搬することによって、前記コンボリューショナルニューラルネットワークの重みを更新することを特徴とする。【０００９】
また、本発明に係る画像認識装置は、コンボリューショナルニューラルネットワークを含む画像認識装置であって、第１フレームレートによって撮像された第１画像群および前記第１フレームレートよりも低い第２フレームレートで撮像された第２画像群であって、前記第１画像群より枚数が少ない第２画像群それぞれを取得する取得部と、前記第１画像群が前記コンボリューショナルニューラルネットワークに入力され、前記コンボリューショナルニューラルネットワークの出力結果と前記第１画像群に付与された正解ラベルとの第１誤差を算出する誤差算出部と、前記第１誤差を前記コンボリューショナルニューラルネットワークに逆伝搬することによって、前記コンボリューショナルニューラルネットワークの重みを更新する制御部と、前記第２画像群を用いて入力画像の識別または画像中からの認識対象物の検出を学習する学習器と、を備え、前記学習器は、前記重みが更新された後に、前記コンボリューショナルニューラルネットワークによって前記第２画像群の特徴量として抽出された前記コンボリューショナルニューラルネットワークの中間出力と前記第２画像群の正解ラベルとを用いて前記入力画像の識別または画像中からの認識対象物の検出を学習することを特徴とする。【００１０】
また、本発明に係るプログラムは、コンボリューショナルニューラルネットワークを含む画像認識装置に、外部から入力された第１フレームレートによって撮像された第１画像群を用いて前記コンボリューショナルニューラルネットワークによる第１の学習を行う第１の学習手順と、前記第１の学習を行った後に、外部から入力された前記第１フレームレートよりも低い第２フレームレートで撮像された第２画像群であって、前記第１画像群より枚数が少ない第２画像群を用いて第２の学習を行う第２の学習手順と、を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、学習用画像が不足する認識対象に対して、高精度の画像認識を実現することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態１に係る学習システムの構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る画像認識装置における演算部の概略構成を示す模式図である。
【図３】図３は、本発明の実施の形態１に係る画像認識装置が実行する学習処理の概要を示すフローチャートである。
【図４】図４は、本発明の実施の形態１に係る画像認識装置が実行する認識処理の概要を示すフローチャートである。
【図５】図５は、本発明の実施の形態１に係る画像認識装置が実行するランドマーク処理において用いるステップ関数の一例を模式的に示す図である。
【図６】図６は、本発明の実施の形態１に係る画像認識装置によるランドマーク処理において胃と小腸の時系列画像群を自動分類した一例を示す図である。
【図７】図７は、本発明の実施の形態１に係る画像認識装置が実行するランドマーク処理の概要を示すフローチャートである。
【図８】図８は、本発明の実施の形態１の変形例１に係る画像認識装置が実行する学習処理の概要を示すフローチャートである。
【図９】図９は、本発明の実施の形態１の変形例２に係る画像認識装置が実行する学習処理の概要を示すフローチャートである。
【図１０】図１０は、本発明の実施の形態２に係る画像認識装置が実行する学習処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態に係る学習方法、画像認識装置およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して説明する。
【００１４】
（実施の形態１）
〔学習システムの構成〕
図１は、本発明の実施の形態１に係る学習システムの構成を示すブロック図である。本実施の形態１に係る学習システム１は、一例として、被検体に挿入することによって被検体の体内を撮像する消化器内視鏡（軟性内視鏡や硬性内視鏡等の内視鏡スコープ）および被写体に飲み込まれて所定時間後に排出されるカプセル型内視鏡によって、被検体の管腔を撮像することにより取得された管腔内画像に基づいて学習を行う学習処理、認識を行う認識処理、胃の幽門や大腸の回盲弁等の臓器区分を表すランドマークの位置や臓器区分を分類するランドマーク処理を実行するシステムである。
【００１５】
図１に示す学習システム１は、消化器内視鏡によって被検体内を撮像した画像データ群およびランドマークを認識するための正解ラベルを記録する消化器内視鏡画像データベース２と、カプセル型内視鏡によって被検体内を撮像した画像データ群およびランドマークを認識するための正解ラベルを記録するカプセル型内視鏡画像データベース３と、コンボリューショナルニューラルネットワーク（Convolutional  Neural  Network）を含み、消化器内視鏡画像データベース２、カプセル型内視鏡画像データベース３および外部から管腔内画像のいずれかから画像データを取得して学習または認識する画像認識装置４と、を備える。なお、消化器内視鏡画像データベース２、カプセル型内視鏡画像データベース３および画像認識装置４は、ネットワークを介して双方向に通信可能に接続されてもよい。この場合には、無線および有線のいずれかによって接続されればよい。
【００１６】
〔消化器内視鏡画像データベース〕
消化器内視鏡画像データベース２は、ハードディスク等の記録媒体を用いて構成される。消化器内視鏡画像データベース２は、被検体に挿入可能な消化器内視鏡が第１フレームレートによって撮像した画像データ群（以下、「第１画像群」という）を記録するとともに、ランドマークを認識するための正解ラベル（以下、「第１正解ラベル」という）を記録する。ここで、第１フレームレートとは、例えば６０ｆｐｓまたは３０ｆｐｓのいずれかである。また、第１正解ラベルとは、画像認識装置４にランドマークを学習させるために消化器内視鏡によって撮像された画像群からランドマークが写る画像とそうでない画像を予め選択し、それぞれに付与した識別子（例えば：＋１、−１）のことである。
【００１７】
〔カプセル型内視鏡画像データベース〕
カプセル型内視鏡画像データベース３は、ハードディスク等の記録媒体を用いて構成される。カプセル型内視鏡画像データベース３は、カプセル型内視鏡が第２フレームレートによって撮像した画像データ群（以下、「第２画像群」という）であって、第１画像群より撮影枚数が少ない第２画像群を記録するとともに、ランドマークを認識するための正解ラベル（以下、「第２正解ラベル」という）を記録する。ここで、第２フレームレートとは、例えば２ｆｐｓである。また、第２画像群は、インターバル撮影された画像群である。さらに、第２正解ラベルとは、画像認識装置４にランドマークを学習させるためにカプセル型内視鏡によって撮像された画像群からランドマークが写る画像とそうでない画像を予め選択し、それぞれに付与した識別子（例えば:＋1と-１）のことである。さらに、第１画像群より撮影枚数が少ないとは、例えば第１画像群が５０万枚に対して、第２画像群が５万枚であり、あくまでも一例にすぎない。
【００１８】
〔画像認識装置の詳細な構成〕
画像認識装置４は、消化器内視鏡画像データベース２、カプセル型内視鏡画像データベース３および外部のいずれかから画像群を取得する取得部４１と、外部からの操作によって入力された入力信号を受け付ける入力部４２と、画像や各種情報を表示する表示部４３と、取得部４１によって取得された画像群や各種のプログラムを記録する記録部４４と、画像認識装置４全体の動作を制御する制御部４５と、画像群に対して学習および認識を行う演算部４６と、を備える。
【００１９】
取得部４１は、画像群の受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された画像群を読み出すリーダ装置として構成される。また、取得部４１は、画像群を記録するサーバまたはデータベースを用いる場合、このサーバまたはデータベースとネットワークを介して通信可能な通信装置等で構成され、サーバまたはデータベースとデータ通信を行うことによって画像群を取得する。さらにまた、取得部４１は、消化器内視鏡からケーブルを介して画像群が入力されるインターフェース装置等で構成してもよい。
【００２０】
入力部４２は、例えばキーボード、マウス、タッチパネルおよび各種スイッチ等の入力デバイスによって実現される。入力部４２は、外部からの操作に応じて受け付けた入力信号を制御部４５へ出力する。
【００２１】
表示部４３は、液晶や有機ＥＬ（Electro  Luminescence）等の表示パネルによって実現される。表示部４３は、制御部４５の制御のもと、画像を含む各種画面を表示する。
【００２２】
記録部４４は、フラッシュメモリ、ＲＯＭ（Read  Only  Memory）およびＲＡＭ（Random  Access  Memory）といった各種メモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部４４は、取得部４１によって取得された画像データの他、画像認識装置４を動作させるとともに、種々の機能を画像認識装置４に実行させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部４４は、取得部４１から入力された画像群を学習するプログラムを記録するプログラム記録部４４１を記録する。
【００２３】
制御部４５は、ＣＰＵ（Central  Processing  Unit）等を用いて実現される。制御部４５は、記録部４４に記録された各種プログラムを読み込むことによって、取得部４１から入力される画像群や入力部４２から入力される入力信号等に従って、画像認識装置４を構成する各部への指示や転送等を行い、画像認識装置４全体の動作を統括的に制御する。また、制御部４５は、後述する誤差算出部５１が算出した第１誤差をコンボリューショナルニューラルネットワーク５０（以下、「ＣＮＮ５０」という）に逆伝搬することによって、ＣＮＮ５０のパラメータの重みを更新する。さらに、制御部４５は、後述する誤差算出部５１が算出した第２誤差をＣＮＮ５０に逆伝搬することによって、ＣＮＮ５０のパラメータの重みを更新する。
【００２４】
演算部４６は、ＣＰＵ等によって実現される。演算部４６は、プログラム記録部４４１が記録するプログラムを読み込むことによって画像群に対する学習処理、認識処理およびランドマーク処理を実行する。
【００２５】
〔演算部の詳細な構成〕
次に、演算部４６の詳細な構成について説明する。
図２は、演算部４６の概略構成を示す模式図である。図１および図２に示す演算部４６は、ＣＮＮ５０と、誤差算出部５１と、サポートベクターマシン（Support  Vector  Machine）５２（以下、「ＳＶＭ５２」という）と、臓器切り替わり位置判定部５３と、を有する。
【００２６】
ＣＮＮ５０は、取得部４１が消化器内視鏡画像データベース２から取得した第１画像群を用いて学習した後に、取得部４１がカプセル型内視鏡画像データベース３から取得した第２画像群を用いて学習する。具体的には、ＣＮＮ５０は、第１画像群と第１正解ラベルとを用いて、第１画像群と第１正解ラベルとの誤差を小さくする誤差逆伝搬法によってパラメータの重みを更新する第１の学習としてのプレトレーニング（Pre-training）を行った後に、第２画像群と第２正解ラベルとを用いて、第２画像群と第２正解ラベルとの誤差を小さくする誤差逆伝搬法によってパラメータを更新する第２の学習としてのファインチューニング（Fine-tuning）を行う。
【００２７】
ＣＮＮ５０は、コンボリュ−ション層５０１と、プーリング層５０２（サブサンプリング層）と、全結合層５０３と、を有する。本実施の形態１において、ＣＮＮ５０は、コンボリュ−ション層５０１とプーリング層５０２とを３回繰り返す構成によって説明するが、少なくともコンボリュ−ション層５０１とプーリング層５０２とを１回以上繰り返す構成であればよく、例えばコンボリュ−ション層５０１とプーリング層５０２とを４回繰り返す構成であってもよい。また、本実施の形態１において、ＣＮＮ５０は、全結合層５０３を２回繰り返す構成によって説明するが、少なくとも全結合層５０３を１回以上繰り返す構成であればよく、例えば全結合層５０３を３回繰り返す構成であってもよい。
【００２８】
誤差算出部５１は、第１画像群がＣＮＮ５０に入力され、ＣＮＮ５０の出力結果と第１正解ラベルとの第１誤差を算出する。また、誤差算出部５１は、ＣＮＮ５０の重みが更新された後に、第２画像群がＣＮＮ５０に入力され、ＣＮＮ５０の出力結果と第２画像群に付与された第２正解ラベルとの第２誤差を算出する。
【００２９】
ＳＶＭ５２は、ＣＮＮ５０のパラメータの重みが更新された後に、ＣＮＮ５０によって第２画像群の特徴量として抽出されたＣＮＮ５０の中間出力と第２画像群の正解ラベルとを用いて入力画像の識別または認識対象物の検出を学習する。さらに、ＳＶＭ５２は、第２画像群を学習した後に、第２画像群を用いて入力画像に対する分類または認識対象物の検出を行う。ここで、入力画像は、例えば胃や大腸等の管腔臓器の内壁を撮影した臓器画像である。認識対象物は、例えば管腔臓器の内壁表面に存在するポリープ等の病変部である。なお、本実施の形態１では、ＳＶＭ５２が学習器として機能するが、これに限定することなく、他の学習器を組み合わせてもよい。
【００３０】
臓器切り替わり位置判定部５３は、ＳＶＭ５２によって臓器の区分が判定（分類）された判定結果と後述するステップ関数との類似度とによって、臓器の切り替わり位置、例えば、胃と小腸との切り替わり位置の候補を抽出（決定）し、幽門や回盲弁などの臓器の切替りの正解な位置を決定する。
【００３１】
〔学習処理〕
次に、画像認識装置４が実行する学習処理について説明する。図３は、画像認識装置４が実行する学習処理の概要を示すフローチャートである。
【００３２】
図３に示すように、まず、制御部４５は、ＣＮＮ５０の重みを乱数で初期化する（ステップＳ１０１）。
【００３３】
続いて、制御部４５は、取得部４１を介して消化器内視鏡画像データベース２から消化器内視鏡画像をＣＮＮ５０に入力する（ステップＳ１０２）。
【００３４】
続いて、制御部４５は、ＣＮＮ５０の出力と消化器内視鏡画像データベース２からの正解ラベル（＋１，−１等）との誤差を小さくする誤差逆伝搬法によってＣＮＮ５０の重みを更新する（ステップＳ１０３）。具体的には、図２に示すように、ＣＮＮ５０は、消化器内視鏡画像に対して、コンボリュ−ション層５０１によるコンボリューション処理およびプーリング層５０２によるプーリング処理それぞれを順伝搬によって３回行い、全結合層５０３による全結合処理を順伝搬によって２回行った後、この出力と第１正解ラベルとの第１誤差を誤差算出部５１が算出する。そして、制御部４５は、誤差算出部５１が算出した第１誤差を全結合層５０３、プーリング層５０２およびコンボリュ−ション層５０１の順で逆伝搬することによって、ＣＮＮ５０パラメータの重みを更新するプレトレーニング（第１の学習）を行う。
【００３５】
その後、ＣＮＮ５０によるプレトレーニングの学習枚数が所定の閾値Ｔｈ１を超えた場合（ステップＳ１０４：Ｙｅｓ）、画像認識装置４は、ステップＳ１０５へ移行する。これに対して、ＣＮＮ５０によるプレトレーニングの学習枚数が所定の閾値Ｔｈ１を超えていない場合（ステップＳ１０４：Ｎｏ）、画像認識装置４は、上述したステップＳ１０２へ戻る。
【００３６】
ステップＳ１０５において、制御部４５は、取得部４１を介してカプセル型内視鏡画像データベース３からカプセル型内視鏡画像をＣＮＮ５０に入力する。
【００３７】
続いて、制御部４５は、ＣＮＮ５０の出力とカプセル型内視鏡画像データベース３からの正解ラベル（＋１，−１等）との誤差を小さくする誤差逆伝搬法によってＣＮＮ５０の重みを更新する（ステップＳ１０６）。具体的には、図２に示すように、ＣＮＮ５０は、カプセル型内視鏡画像に対して、コンボリュ−ション層５０１によるコンボリューション処理およびプーリング層５０２によるプーリング処理それぞれを順伝搬によって３回行い、全結合層５０３による全結合処理を順伝搬によって２回行った後、この出力と第２正解ラベルとの第２誤差を誤差算出部５１が算出する。そして、制御部４５は、誤差算出部５１が算出した第２誤差を全結合層５０３、プーリング層５０２およびコンボリュ−ション層５０１の順で逆伝搬することによって、ＣＮＮ５０の重みを更新するファインチューニング（第２の学習）を行う。
【００３８】
その後、ＣＮＮ５０によるファインチューニングの学習枚数が所定の閾値Ｔｈ２を超えた場合（ステップＳ１０７：Ｙｅｓ）、画像認識装置４は、ステップＳ１０８へ移行する。これに対して、ＣＮＮ５０によるファインチューニングの学習枚数が所定の閾値Ｔｈ２を超えていない場合（ステップＳ１０７：Ｎｏ）、画像認識装置４は、上述したステップＳ１０５へ戻る。
【００３９】
ステップＳ１０８において、制御部４５は、取得部４１を介してカプセル型内視鏡画像データベース３からカプセル型内視鏡画像をＣＮＮ５０に入力する。
【００４０】
続いて、ＣＮＮ５０は、全結合層５０３の手前の中間出力を第２画像群のＣＮＮ特徴量として抽出する（ステップＳ１０９）。具体的には、ＣＮＮ５０は、取得部４１を介して入力されたカプセル型内視鏡画像に対して、コンボリュ−ション層５０１によるコンボリューション処理およびプーリング層５０２によるプーリング処理それぞれを順伝搬によって３回行い、この結果を第２画像群のＣＮＮ特徴量として抽出する。
【００４１】
その後、ＳＶＭ５２は、ＣＮＮ５０から入力されたＣＮＮ特徴量とカプセル型内視鏡画像データベース３から入力された第２正解ラベルとに基づいて、正例と負例との判別境界のマージンが最大となるようサポートベクター係数を決定する（ステップＳ１１０）。ステップＳ１１０の後、画像認識装置４は、本処理を終了する。
【００４２】
このように画像認識装置４は、ＣＮＮ５０が消化器内視鏡画像群と第１正解ラベルとを用いて、消化器内視鏡画像群と第１正解ラベルとの誤差を小さくする誤差逆伝搬法によってパラメータの重みを更新するプレトレーニング（第１の学習）を行った後、ＣＮＮ５０がカプセル型内視鏡画像群と第２正解ラベルとを用いて、カプセル型内視鏡画像群と第２正解ラベルとの誤差を小さくする誤差逆伝搬法によってパラメータを更新するファインチューニング（第２の学習）を行う。その後、ＣＮＮ５０は、ＣＮＮ５０の中間出力をカプセル型内視鏡画像群のＣＮＮ特徴量として抽出する。続いて、ＳＶＭ５２は、ＣＮＮ５０によって抽出されたＣＮＮ特徴量と第２正解ラベルとを用いてカプセル型内視鏡画像群に対する入力画像の識別または認識対象物の検出を学習する（第３の学習）。そして、ＳＶＭ５２は、取得部４１から入力される未知のカプセル型内視鏡画像群に対して分類または認識対象物の検出を行う。これにより、学習用画像が不足する認識対象に対して、高精度の画像認識を実現することができる。
【００４３】
〔認識処理〕
次に、学習済みのＣＮＮ５０およびＳＶＭ５２を用いて、画像認識装置４が未知の画像を認識する認識処理について説明する。図４は、画像認識装置４が実行する認識処理の概要を示すフローチャートである。なお、以下においては、未知の画像として、カプセル型内視鏡装置によって撮像されたカプセル型内視鏡画像を例に説明する。
【００４４】
図４に示すように、まず、制御部４５は、取得部４１を介して外部から未知のカプセル型内視鏡画像をＣＮＮ５０に入力する（ステップＳ２０１）。
【００４５】
続いて、ＣＮＮ５０は、全結合層５０３の手前の出力をＣＮＮ特徴量として抽出する（ステップＳ２０２）。具体的には、ＣＮＮ５０は、取得部４１を介して入力されたカプセル型内視鏡画像に対して、コンボリュ−ション層５０１によるコンボリューション処理およびプーリング層５０２によるプーリング処理それぞれを順伝搬によって３回行い、この結果をＣＮＮ特徴量として抽出する。
【００４６】
その後、ＳＶＭ５２は、ＣＮＮ５０からＣＮＮ特徴量を入力し、分類結果（胃、小腸および大腸のいずれか）を出力する（ステップＳ２０３）。例えば、ＳＶＭ５２は、未知のカプセル型内視鏡画像が胃であると出力する。ステップＳ２０３の後、画像認識装置４は、本処理を終了する。
【００４７】
このように画像認識装置４は、学習済みのＣＮＮ５０および学習済みのＳＶＭ５２を用いて、未知のカプセル型内視鏡画像を識別して分類することができる。
【００４８】
〔ランドマーク処理〕
次に、画像認識装置４が実行する時間的に連続する時系列画像の臓器分類結果系列に対して、臓器の切り替え位置を推定するランドマーク処理について説明する。以下においては、画像の２分類として、胃と小腸の画像を自動的に分類（判定）する例を説明する。学習済みのＳＶＭ５２は、時間的に連続するカプセル型内視鏡画像の対象物が胃であるか小腸であるかを判定（分類）する。続いて、臓器切り替わり位置判定部５３は、この判定結果とステップ関数との類似度により胃と小腸との切り替わり位置の候補を抽出（決定）する。そして、後述するように、臓器切り替わり位置判定部５３は、幽門や回盲弁などの臓器の切替りの正解な位置を決定する。ここで、時間的に連続するカプセル型内視鏡画像とは、撮影された時間の順に並んだ未分類（未知のラベル）の画像であり、具体的には、所定のフレームレート（例えば６０ｆｐｓや３０ｆｐｓ）で撮像された動画像または所定の間隔（例えば２ｆｐｓや４ｆｐｓ）で連続的にインターバル撮像された画像である。
【００４９】
図５は、画像認識装置４が実行するランドマーク処理において用いるステップ関数の一例を模式的に示す図である。図６は、胃と小腸の時系列画像群を自動分類（判定結果）した一例を示す図である。図６において、縦軸がＳＶＭ５２の判定結果を示し、横軸が時系列画像の番号を示す。また、図６において、ＳＶＭ５２の判定結果Ｓ（ｘ）＝−１が胃を示し、Ｓ（ｘ）＝＋１が小腸を表す。画像には、時系列の順にｉｍｇ００００２３〜ｉｍｇ００９６２３の番号が付されおり、その時系列の順に判定結果（分類結果）Ｓ（ｘ）が並んでいる。さらに、図６において、線Ｂ１が胃から小腸への切り替わりの正解位置である幽門を表す。さらにまた、図６において、画像の番号は、所定の間隔でサンプリングされたものとする。
【００５０】
臓器切り替わり位置判定部５３は、図５に示すステップ関数Ｈ（ｘ）と図６に示す判定結果Ｓ（ｘ）とのコンボリューション処理（畳み込み演算処理）を行うことによって、以下の式（１）における評価値Ｃｏｎｖ（ｘ）を求める。そして、評価値Ｃｏｎｖ（ｘ）と式（２）とに基づいて、臓器切り替わり位置を抽出する。
【数１】
0006656357.tif 000002
【００５１】
ここで、図５に示すステップ関数Ｈ（ｘ）は、ｘ＝−Ｌ〜＋Ｌの範囲で定義された関数であり、その窓幅Ｌは、可変である。また、臓器切り替わり位置判定部５３は、上式（１）において、窓幅Ｌを任意に固定し、２Ｌで除算した値を正規化した中でコンボリーション処理による評価値Ｃｏｎｖ（ｘ）を算出する。
【００５２】
また、上式（２）の［］内において、臓器切り替わり位置判定部５３は、位置ｘを任意に固定し、窓幅ＬをＬ０（例えば１０とする）〜Ｌ１まで動かす中でのＣｏｎｖ（ｘ）の最小値を算出する。ここで、画像の探索開始位置をＭ０、画像の探索終了位置をＭ１とすると、Ｌ１＝ＭＩＮ［ｘ−Ｍ０，Ｍ１−ｘ］となる。例えば、Ｍ０＝１、Ｍ１＝１００００とする。
【００５３】
そして、臓器切り替わり位置判定部５３は、Ａｒｇ関数により、最小値の位置ｘを臓器切り替え位置として抽出する。なお、臓器切り替わり位置判定部５３は、上述した式（２）において、Ｃｏｎｖ（ｘ）の最小値を用いていたが、これに限定されることなく、Ｃｏｎｖ（ｘ）の最大値を用いてもよい。
【００５４】
以下において、画像認識装置４が実行するランドマーク処理の詳細な処理について説明する。図７は、画像認識装置４が実行するランドマーク処理の概要を示すフローチャートである。
【００５５】
図７に示すように、まず、取得部４１は、外部から入力されたカプセル型内視鏡画像列から疎な間隔（例えば５０枚間隔）でサンプリングする（ステップＳ３００）。
【００５６】
その後、制御部４５は、取得部４１がカプセル型内視鏡画像列から疎な間隔でサンプリングしたそれぞれの画像を学習済みのＣＮＮ５０に入力することによって、胃、小腸および大腸に分類させる（ステップＳ３０１）。
【００５７】
続いて、臓器切り替わり位置判定部５３は、は、上述したステップＳ３０１において、ＣＮＮ５０による分類結果列から、胃と小腸および小腸と大腸の切り替え概略位置を上述の算出方法によって推定する（ステップＳ３０２）。
【００５８】
その後、取得部４１は、ステップＳ３０２において臓器切り替わり位置判定部５３が推定した切り替え概略位置の近傍の区間から密な間隔（例えば概略推定位置の前後各２００枚全て）で外部から入力されたカプセル型内視鏡画像列をサンプリングする（ステップＳ３０３）。ここで、切り替え概略位置の近傍の区間から密な間隔でサンプリングしたカプセル型内視鏡の画像群をＭ画像群と呼ぶ。
【００５９】
続いて、制御部４５は、取得部４１がサンプリングしたＭ画像群を学習済みのＣＮＮ５０に入力することによって、胃、小腸および大腸それぞれに分類させる（ステップＳ３０４）。
【００６０】
その後、臓器切り替わり位置判定部５３は、ステップＳ３０４においてＣＮＮ５０が分類した分類結果に基づいて、胃と小腸および小腸と大腸の切り替わりの位置を上述の方法によってより高精度に推定する（ステップＳ３０５）。
【００６１】
続いて、制御部４５は、Ｍ画像群を、胃と小腸の切り替わりの正確な位置を表す幽門、小腸と大腸の切り替りの正確な位置を表す回盲弁、およびそれ以外の３つのカテゴリを消化器内視鏡画像を用いてプレトレーニングを行った後に、カプセル型内視鏡画像を用いてファインチューニングを行ったＣＮＮ５０に入力することによって、幽門、回盲弁およびそれ以外に分類させる（ステップＳ３０６）。この場合、ＣＮＮ５０は、幽門の信頼度に相当する幽門スコアと、回盲弁の信頼度に相当する回盲弁スコアを算出する。
【００６２】
その後、幽門スコアが所定の閾値Ｔｈ４より大きい場合（ステップＳ３０７：Ｙｅｓ）、ＣＮＮ５０は、幽門スコアの最大位置の画像を幽門ランドマークとして表示部４３に表示する（ステップＳ３０８）。ステップＳ３０８の後、画像認識装置４は、後述するステップＳ３１０へ移行する。
【００６３】
ステップＳ３０７において、幽門スコアが所定の閾値Ｔｈ４以下である場合（ステップＳ３０７：Ｎｏ）、ＣＮＮ５０は、Ｍ画像群に幽門が写っていない可能性があるため、ステップＳ３０５において推定した胃と小腸の切り替わり推定位置を幽門ランドマークとして表示部４３に表示する（ステップＳ３０９）。ステップＳ３０９の後、画像認識装置４は、後述するステップＳ３１０へ移行する。
【００６４】
続いて、回盲弁スコアが所定の閾値Ｔｈ５より大きい場合（ステップＳ３１０：Ｙｅｓ）、ＣＮＮ５０は、回盲弁スコアの最大位置の画像を回盲弁ランドマークとして表示部４３に表示する（ステップＳ３１１）。ステップＳ３１１の後、画像認識装置４は、本処理を終了する。
【００６５】
ステップＳ３１０において、回盲弁スコアが所定の閾値Ｔｈ５以下である場合（ステップＳ３１０：Ｎｏ）、ＣＮＮ５０は、Ｍ画像群に回盲弁が写っていない可能性があるため、ステップＳ３０５において推定した小腸と大腸の切り替わり推定位置を回盲弁ランドマークとして表示部４３に表示する（ステップＳ３１２）。ステップＳ３１２の後、画像認識装置４は、本処理を終了する。
【００６６】
以上説明した本実施の形態１によれば、ＣＮＮ５０が消化器内視鏡画像群と第１正解ラベルとを用いて、消化器内視鏡画像群と第１正解ラベルとの誤差を小さくする誤差逆伝搬法によってパラメータの重みを更新するプレトレーニングを行った後、ＣＮＮ５０がカプセル型内視鏡画像群と第２正解ラベルとを用いて、カプセル型内視鏡画像群と第２正解ラベルとの誤差を小さくする誤差逆伝搬法によってパラメータを更新するファインチューニングを行い、ＣＮＮ５０の中間出力をカプセル型内視鏡画像群の特徴量として抽出し、ＳＶＭ５２がＣＮＮ５０によって抽出されたカプセル型内視鏡画像群の特徴量と第２正解ラベルとを用いて入力画像の識別または認識対象物の検出を学習する第３の学習を行う。これにより、学習用画像が不足する認識対象に対して、高精度な画像認識を実現することができる。
【００６７】
また、本実施の形態１によれば、消化管の蠕動運動によって運ばれ、液体（例えば水や消化液等を介して撮像されたカプセル型内視鏡画像群の代わりに、医師によって撮像方向が調整され、かつ、空気を介して撮像された消化器内視鏡によるカプセル型内視鏡画像と見え方が異なる消化器内視鏡画像群を間接的にプレトレーニング用の画像として利用することで、デジタルカメラや他の医療装置による映像画像をプレトレーニングに用いる場合よりも、高精度な学習を行うことができる。
【００６８】
（実施の形態１の変形例１）
次に、本発明の実施の形態１の変形例１について説明する。本実施の形態１の変形例１は、上述した実施の形態１と同様の構成を有し、画像認識装置が実行する学習処理が異なる。以下においては、本実施の形態１の変形例１に係る画像認識装置が実行する学習処理について説明する。なお、上述した実施の形態１に係る画像認識装置４と同一の構成には同一の符号を付して説明を省略する。
【００６９】
〔学習処理〕
図８は、本実施の形態１の変形例１に係る画像認識装置４が実行する学習処理の概要を示すフローチャートである。図８において、ステップＳ４０１〜ステップＳ４０４は、上述した図３のステップＳ１０１〜ステップＳ１０４それぞれに対応し、ＣＮＮ５０による消化器内視鏡画像群を用いたプレトレーニング（第１の学習）に対応する。また、ステップＳ４０５〜ステップＳ４０７は、上述した図３のステップＳ１０８〜ステップＳ１１０それぞれに対応し、ＳＶＭ５２によるカプセル型内視鏡画像群を用いた学習処理（第２の学習）に対応する。ステップＳ４０７の後、画像認識装置４は、本処理を終了する。
【００７０】
以上説明した本実施の形態１の変形例１によれば、ＣＮＮ５０によるカプセル型内視鏡画像を用いたファインチューニングを省略することによって、ＣＮＮ５０による学習時間を短縮することができる。
【００７１】
（実施の形態１の変形例２）
次に、本発明の実施の形態１の変形例２について説明する。本実施の形態１の変形例２は、上述した実施の形態１と同様の構成を有し、画像認識装置が実行する学習処理が異なる。以下においては、本実施の形態１の変形例２に係る画像認識装置が実行する学習処理について説明する。なお、上述した実施の形態１に係る画像認識装置４と同一の構成には同一の符号を付して説明を省略する。
【００７２】
〔学習処理〕
図９は、本実施の形態１の変形例２に係る画像認識装置４が実行する学習処理の概要を示すフローチャートである。図９において、ステップＳ５０１〜ステップＳ５０４は、上述した図３のステップＳ１０１〜ステップＳ１０４それぞれに対応し、ＣＮＮ５０による消化器内視鏡画像を用いたプレトレーニング（第１の学習）に対応する。また、ステップＳ５０５〜ステップＳ５０７は、上述した図３のステップＳ１０５〜ステップＳ１０７それぞれに対応し、ＣＮＮ５０によるカプセル型内視鏡画像を用いたファインチューニング（第２の学習）に対応する。
【００７３】
以上説明した本実施の形態１の変形例２によれば、ＳＶＭ５２によるカプセル型内視鏡画像を用いた学習を省略することができる。
【００７４】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２は、上述した実施の形態１と同様の構成を有し、画像認識装置が実行する学習処理が異なる。具体的には、本実施の形態１では、カプセル型内視鏡画像群に対する画像分類を説明していたが、本実施の形態２では、病変部等の病変部の概略位置および大きさに関する情報も学習する。なお、上述した実施の形態１と同一の構成には同一の符号を付して説明を省略する。
【００７５】
〔学習処理〕
図１０は、本実施の形態２に係る画像認識装置４が実行する学習処理の概要を示すフローチャートである。なお、図１０においては、ＣＮＮ５０のタイプをＦａｓｔｅｒ  Ｒ−ＣＮＮ（以下、「Ｒ−ＣＮＮ５０」という）の例として説明する。また、図１０においては、Ｒ−ＣＮＮ５０のネットワークを上述した実施の形態１において説明した全結合層５０３に代えて、物体が存在する矩形領域（Bounding  Box）の位置および大きさ（矩形の４頂点）を学習して回帰および分類するネットワークを設定した場合について説明する。さらに、図１０においては、画像上でなく、Ｒ−ＣＮＮ５０のコンボリーション層とプーリング層との最終層の出力上において、矩形領域をスライドさせる代わりに、Ｆｕｌｌｙ−ＣＮＮとして実現する。
【００７６】
図１０において、まず、制御部４５は、Ｒ−ＣＮＮ５０の重みを乱数で初期化する（ステップＳ６０１）。
【００７７】
続いて、制御部４５は、取得部４１を介して消化器内視鏡画像データベース２から消化器内視鏡によるポリープ画像および正常画像をＲ−ＣＮＮ５０に入力する。
【００７８】
その後、制御部４５は、Ｒ−ＣＮＮ５０の出力と消化器内視鏡画像データベース２からの正解ラベル（＋１，−１等）との誤差を小さくする誤差逆伝搬法によってＲ−ＣＮＮ５０の重みを更新する（ステップＳ６０３）。これにより、Ｒ−ＣＮＮ５０は、消化器内視鏡によるポリープ画像および正常画像のプレトレーニング（第１の学習）を行うことができる。
【００７９】
続いて、Ｒ−ＣＮＮ５０によるプレトレーニングの学習枚数が所定の閾値Ｔｈ１を超えた場合（ステップＳ６０４：Ｙｅｓ）、画像認識装置４は、ステップＳ６０５へ移行する。これに対して、Ｒ−ＣＮＮ５０によるプレトレーニングの学習枚数が所定の閾値Ｔｈ１を超えていない場合（ステップＳ６０４：Ｎｏ）、画像認識装置４は、上述したステップＳ６０２へ戻る。
【００８０】
ステップＳ６０５において、制御部４５は、取得部４１を介してカプセル型内視鏡によるポリープ画像および正常画像をＲ−ＣＮＮ５０に入力する。
【００８１】
続いて、制御部４５は、Ｒ−ＣＮＮ５０の出力とカプセル型内視鏡画像データベース３からの正解ラベル（＋１，−１等）との誤差を小さくする誤差逆伝搬法によってＲ−ＣＮＮ５０の重みを更新する（ステップＳ６０６）。これにより、Ｒ−ＣＮＮ５０は、カプセル型内視鏡によるポリープ画像および正常画像のファインチューニング（第２の学習）を行うことによって、病変部の位置（座標）および大きさを認識することができる回帰および分類用のネットワークを構成することができる。
【００８２】
その後、Ｒ−ＣＮＮ５０によるファインチューニングの学習枚数が所定の閾値Ｔｈ２を超えた場合（ステップＳ６０７：Ｙｅｓ）、画像認識装置４は、本処理を終了する。これに対して、Ｒ−ＣＮＮ５０によるファインチューニングの学習枚数が所定の閾値Ｔｈ２を超えていない場合（ステップＳ６０７：Ｎｏ）、画像認識装置４は、上述したステップＳ６０５へ戻る。
【００８３】
以上説明した本実施の形態２によれば、学習用画像が不足する認識対象に対して、高精度な画像認識を実現することができる。
【００８４】
さらに、本実施の形態２によれば、カプセル型内視鏡画像列をＲ−ＣＮＮ５０に入力した場合、ポリープ候補の矩形領域を出力することができる。
【００８５】
なお、本実施の形態２では、Ｒ−ＣＮＮ５０をＦａｓｔｅｒ  Ｒ−ＣＮＮを用いて説明したが、ＯｖｅｒＦｅａｔ、Ｓｐａｔｉａｌ  Ｐｙｒａｍｉｄ  Ｐｏｏｌｉｎｇ  Ｎｅｔｗｏｒｋ（ＳＰＰ＿Ｎｅｔ）やそれ以外のＣＮＮを用いてもよい。
【００８６】
（その他の実施の形態）
本発明に係るＣＮＮとして、周知のネットワークを用いて構成してもよい。例えば、ＣＮＮをＶＧＧ−１６によって構成してもよい。この場合、ＶＧＧ−１６は、３×３のサイズのコンボリューションフィルタを用いて、入力画像とのコンボリーション結果を非線形関数ＲｅＬＵに適用する。そして、ＶＧＧ−１６は、コンボリーション層を２層または３層続けた後、ＭａｘＰｏｏｌｉｎｇ（前層の２×２の出力の中の最大値を選択するサブサンプリング）が用いられる。なお、ＶＧＧ−１６では、層の数え方の中にプーリング層が入っていない。即ち、ＶＧＧ−１６では、１３層のコンボリーション層、５層のＭａｘＰｏｏｌｉｎｇおよび３層の全結合層から構成される。ＣＮＮとしてＶＧＧ−１６を用いる場合であっても、消化器内視鏡画像を用いてプレトーニング学習（第１学習）を行った後に、カプセル型内視鏡画像を用いてファインチューニング（第２学習）を行うことによって、上述した実施の形態と同様の構成を奏する。なお、ＣＮＮの構成例としてＶＧＧ−１６を例に説明したが、例えば、Ａｌｅｘ−ｎｅｔ、Ａｌｅｘ−ｎｅｔの改良版であるＺ_Ｆ−ｎｅｔ、ＧｏｏｇＬｅＮｅｔおよびＮｅｔｗｏｒｋ  ｉｎ  Ｎｅｔｗｏｒｋのいずれかを用いて構成してもよいし、これらのネットワークを適宜組み合わせて構成してもよい。
【００８７】
また、本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１，２およびこれらの変形例に係る画像認識装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。
【００８８】
なお、本発明は、実施の形態１，２およびこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【００８９】
１  学習システム
２  消化器内視鏡画像データベース
３  カプセル型内視鏡画像データベース
４  画像認識装置
４１  取得部
４２  入力部
４３  表示部
４４  記録部
４５  制御部
４６  演算部
５０  コンボリューショナルニューラルネットワーク
５１  誤差算出部
５２  サポートベクターマシン
５３  臓器切り替わり位置判定部
４４１  プログラム記録部
５０１  コンボリューション層
５０２  プーリング層
５０３  全結合層
【図１】
0006656357.tif 000003
【図２】
0006656357.tif 000004
【図３】
0006656357.tif 000005
【図４】
0006656357.tif 000006
【図５】
0006656357.tif 000007
【図６】
0006656357.tif 000008
【図７】
0006656357.tif 000009
【図８】
0006656357.tif 000010
【図９】
0006656357.tif 000011
【図１０】
0006656357.tif 000012