(57)【要約】教師データの作成が容易であり、かつ過学習を防止することができる学習装置及び学習方法を提供する。学習装置（１０）は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する第１データベース及び第２データベースを備える。第１画像セットを使用してＣＮＮ（３２）のパラメータを更新する場合（学習を行う場合）、マスクデータ作成部（３８）は、注目領域よりも広い領域を特定する座標情報を元に第１マスクデータを作成する。そして、ＣＮＮ（３２）の入力画像として第１画像及び第２画像を使用し、教師データとして第１マスクデータ及び第２マスクデータを使用してＣＮＮ（３２）のパラメータを更新する。
2020059446.tif 000002
【特許請求の範囲】
【請求項１】
学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、
入力画像から特徴マップを出力するニューラルネットワークと、
前記入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、
前記入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、
前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるパラメータ制御部と、
を備えた学習装置。
【請求項２】
前記第１画像に関連付けられた前記座標情報を元に前記第１マスクデータを作成するマスクデータ作成部を有し、
前記マスクデータ作成部は、前記第１画像を前記ニューラルネットワークに入力する前に、当該第１画像に対応する前記第１マスクデータを作成する請求項１に記載の学習装置。
【請求項３】
前記座標情報は、前記注目領域を含む四角領域を特定する情報であり、前記第１マスクデータは、前記四角領域をマスクしたマスクデータである請求項１又は２に記載の学習装置。
【請求項４】
前記四角領域内に前記四角領域よりも小さい領域を設定し、
前記第１損失値算出部は、前記四角領域内かつ前記四角領域よりも小さい領域外は損失値の計算に含めない請求項３に記載の学習装置。
【請求項５】
前記四角領域内に前記四角領域よりも小さい領域を設定し、
前記第１損失値算出部は、前記四角領域よりも小さい領域内は損失値の計算に含めない請求項３に記載の学習装置。
【請求項６】
前記座標情報は、前記注目領域を含む楕円領域を特定する情報であり、前記第１マスクデータは、前記楕円領域をマスクしたマスクデータである請求項１又は２に記載の学習装置。
【請求項７】
前記楕円領域内に前記楕円領域よりも小さい領域を設定し、
前記第１損失値算出部は、前記楕円領域内かつ前記楕円領域よりも小さい領域外は損失値の計算に含めない請求項６に記載の学習装置。
【請求項８】
前記楕円領域内に前記楕円領域よりも小さい領域を設定し、
前記第１損失値算出部は、前記楕円領域よりも小さい領域内は損失値の計算に含めない請求項６に記載の学習装置。
【請求項９】
前記第１損失値算出部は、前記第１画像よりもサイズが小さい前記第１特徴マップと前記第２画像よりもサイズが小さい前記第１マスクデータとを比較し、前記第１損失値を計算し、
前記第２損失値算出部は、前記第２画像よりもサイズが小さい前記第２特徴マップと前記第２画像よりもサイズが小さい前記第２マスクデータとを比較し、前記第２損失値を計算する請求項１から８のいずれか１項に記載の学習装置。
【請求項１０】
学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、
入力画像から特徴マップを出力するニューラルネットワークと、
前記入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、
前記入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、
前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるパラメータ制御部と、
を備えた学習装置。
【請求項１１】
前記第１マスクデータ及び前記第２マスクデータは、少なくとも１回はプーリング処理されたマスクデータである請求項１から１０のいずれか１項に記載の学習装置。
【請求項１２】
前記ニューラルネットワークは、少なくとも１つのプーリング層を有し、
前記第１マスクデータ及び前記第２マスクデータは、前記プーリング層に対応するプーリング処理がされたマスクデータである請求項１１に記載の学習装置。
【請求項１３】
前記第１画像セットには、ボケ又はブレを含む前記第１画像が存在する請求項１から１１のいずれか１項に記載の学習装置。
【請求項１４】
前記第１画像セットを構成する前記第１画像及び前記第２画像セットを構成する前記第２画像は、それぞれ医用画像である請求項１から１２のいずれか１項に記載の学習装置。
【請求項１５】
前記第１画像セットを構成する前記第１画像は、動画から抽出した画像である請求項１から１３のいずれか１項に記載の学習装置。
【請求項１６】
前記第１画像セットを構成する前記第１画像及び前記第２画像セットを構成する前記第２画像は、それぞれ内視鏡装置で撮像された画像である請求項１から１５のいずれか１項に記載の学習装置。
【請求項１７】
前記第２マスクデータは、前記第２画像に含まれる病変領域をマスクしたマスクデータである請求項１から１６のいずれか１項に記載の学習装置。
【請求項１８】
学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、
ニューラルネットワークの入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算するステップと、
前記ニューラルネットワークの入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算するステップと、
前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるステップと、
を含む学習方法。
【請求項１９】
学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、
ニューラルネットワークの入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記第１マスクデータとを比較し、第１損失値を計算するステップと、
前記ニューラルネットワークの入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算するステップと、
前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるステップと、
を含む学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は学習装置及び学習方法に係り、特に入力画像から所望の注目領域を識別するための技術に関する。
【背景技術】
【０００２】
近年、機械学習の分野では、多層ニューラルネットワークを利用する深層学習が注目を集めている。深層学習によれば、ニューラルネットワークは多様な特徴表現を半自動的に獲得できるので、設計者は特徴量の抽出法を考案する必要が無い。特に画像の認識においては、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が注目されている（非特許文献１）。【０００３】
また、ＣＮＮを利用してピクセル単位で領域を分離する手法も知られている（非特許文献２）。【０００４】
ＣＮＮにおいて、入力画像内の注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）するためには、入力画像の注目領域とそれ以外でピクセル単位、もしくはいくつかのピクセルを一塊にした単位でアノテーションを行ったマスクデータを作成し、これをＣＮＮに教師データとして与える必要がある。【０００５】
しかし、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位で分類を行う学習は、学習時のパラメータ変動が大きく、過学習に陥りやすい。【０００６】
過学習とは、教師データに対しては学習されているが、教師データに合わせすぎる結果、未知データに対しては適合できていない状態（汎化できていない状態）をいう。【０００７】
この過学習の防止のためには大量の教師データが必要であるが、入力画像の注目領域とそれ以外でピクセル単位、もしくはいくつかのピクセルを一塊にした単位でアノテーションを行ったマスクデータを大量に作成する必要がある。【０００８】
従来、教師データを生成する装置が提案されている（特許文献１、２）。【０００９】
特許文献１に記載のデータ処理装置は、教師データを生成する対象となる物体の種別が何であるかを目視により判断し、手動でラベリングを行う代わりに、認識処理部により入力画像から物体の種別を自動的に認識し、その認識結果を入力画像に付加することで、教師データを生成している。【００１０】
また、特許文献２に記載の教師データ生成装置は、入力画像から抽出されたオブジェクトの形状及びその他の外観要因の少なくともいずれか１つ以上の画像固有成分を記憶するデータベースと，このデータベースに記憶されている画像固有成分を変更して一又は複数種類の別の画像固有成分を生成する変更部と，この別の画像固有成分を用いて少なくとも部分的に入力画像に対応する再構成画像を生成し機械学習に適用する再構成部と、を備えている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１８−９６８３４号公報
【特許文献２】特許第６３３００９２号公報
【非特許文献】
【００１２】
【非特許文献１】A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS, 2012
【非特許文献２】Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation. Computer Vision and Pattern Recognition. IEEE, 2015:34-3440.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
特許文献１に記載の発明は、物体のラベリングを自動化することができ、大量の教師データを用意するための労力を軽減することができるが、入力画像からピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）を行うための学習用の教師データを生成するものではない。【００１４】
また、特許文献２に記載の発明は、一の入力画像から様々なバリエーションの教師データを生成するものであり、特許文献１と同様にセグメンテーションを行うための学習用の教師データを生成するものではない。【００１５】
本発明はこのような事情に鑑みてなされたもので、教師データの作成が容易であり、かつ過学習を防止することができる学習装置及び学習方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために本発明の一の態様に係る学習装置は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、入力画像から特徴マップを出力するニューラルネットワークと、入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるパラメータ制御部と、を備える。【００１７】
本発明の一の態様によれば、第１画像セットの作成に当り、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報との関連付けを行うが、注目領域よりも広い領域を特定する座標情報の入力は、注目領域を特定する第２マスクデータを手動で入力する場合（例えば、注目領域をピクセル単位で塗りつぶす作業）に比べて簡単である。即ち、第１画像セットと第２画像セットとを学習データとすることで、第２画像セットのみを学習データとする場合に比べて、学習データ（特に教師データ）を準備するための労力を大幅に軽減することができる。また、注目領域よりも広い領域を特定する座標情報を元に作成した第１マスクデータは、第２マスクデータのように注目領域を正確に示すものではないため、第１マスクデータを使用した学習により、少ない画像セットであっても過学習を防止することができ、更に第２マスクデータを使用した学習により、入力画像から注目領域を正確に認識できる学習が可能である。【００１８】
本発明の他の態様に係る学習装置において、第１画像に関連付けられた座標情報を元に第１マスクデータを作成するマスクデータ作成部を有し、マスクデータ作成部は、第１画像をニューラルネットワークに入力する前に、第１画像に対応する第１マスクデータを作成することが好ましい。【００１９】
本発明の更に他の態様に係る学習装置において、座標情報は、注目領域を含む四角領域を特定する情報であり、第１マスクデータは、四角領域をマスクしたマスクデータである。【００２０】
本発明の更に他の態様に係る学習装置において、四角領域内に四角領域よりも小さい領域を設定し、第１損失値算出部は、四角領域内かつ四角領域よりも小さい領域外は損失値の計算に含めないことが好ましい。四角領域内かつ四角領域よりも小さい領域外（特に四角領域の隅の領域）は、背景画像（注目領域ではない領域）である場合が多いからである。【００２１】
本発明の更に他の態様に係る学習装置において、四角領域内に四角領域よりも小さい領域を設定し、第１損失値算出部は、四角領域よりも小さい領域内は損失値の計算に含めないことが好ましい。【００２２】
本発明の更に他の態様に係る学習装置において、座標情報は、注目領域を含む楕円領域を特定する情報であり、第１マスクデータは、楕円領域をマスクしたマスクデータである。【００２３】
本発明の更に他の態様に係る学習装置において、楕円領域内に楕円領域よりも小さい領域を設定し、第１損失値算出部は、楕円領域内かつ楕円領域よりも小さい領域外は損失値の計算に含めないことが好ましい。【００２４】
本発明の更に他の態様に係る学習装置において、楕円領域内に楕円領域よりも小さい領域を設定し、第１損失値算出部は、楕円領域よりも小さい領域内は損失値の計算に含めないことが好ましい。【００２５】
本発明の更に他の態様に係る学習装置において、第１損失値算出部は、第１画像よりもサイズが小さい第１特徴マップと第２画像よりもサイズが小さい第１マスクデータとを比較し、第１損失値を計算し、第２損失値算出部は、第２画像よりもサイズが小さい第２特徴マップと第２画像よりもサイズが小さい第２マスクデータとを比較し、第２損失値を計算することが好ましい。第１特徴マップ及び第２特徴マップのサイズは、プーリング処理等により元の第１画像及び第２画像のサイズよりも小さくなるが、第１画像及び第２画像と同じサイズに戻さなくても損失値の計算はできるからである。【００２６】
本発明の更に他の態様に係る学習装置は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、入力画像から特徴マップを出力するニューラルネットワークと、入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるパラメータ制御部と、を備える。【００２７】
本発明の更に他の態様に係る学習装置において、第１マスクデータ及び第２マスクデータは、少なくとも１回はプーリング処理されたマスクデータであることが好ましい。第１マスクデータ及び第２マスクデータのサイズを、第１特徴マップ及び第２特徴マップのサイズと合わせるためである。【００２８】
本発明の更に他の態様に係る学習装置において、ニューラルネットワークは、少なくとも１つのプーリング層を有し、第１マスクデータ及び第２マスクデータは、プーリング層に対応するプーリング処理がされたマスクデータであることが好ましい。【００２９】
本発明の更に他の態様に係る学習装置において、第１画像セットには、ボケ又はブレを含む第１画像が存在することが好ましい。ボケ又はブレを含む第１画像を使用することで、更に過学習を防止可能にする。【００３０】
本発明の更に他の態様に係る学習装置において、第１画像セットを構成する第１画像及び第２画像セットを構成する第２画像は、それぞれ医用画像であることが好ましい。医用画像には、内視鏡画像、Ｘ線画像、ＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic Resonance Imaging）画像などが含まれる。【００３１】
本発明の更に他の態様に係る学習装置において、第１画像セットを構成する第１画像は、動画から抽出した画像であることが好ましい。第１画像を多数取得することができ、また、動画にはボケ又はブレを有する画像が含まれるからである。【００３２】
本発明の更に他の態様に係る学習装置において、第１画像セットを構成する第１画像及び第２画像セットを構成する第２画像は、それぞれ内視鏡装置で撮像された画像である。【００３３】
本発明の更に他の態様に係る学習装置において、第２マスクデータは、第２画像に含まれる病変領域をマスクしたマスクデータであることが好ましい。【００３４】
本発明の更に他の態様に係る学習方法は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、ニューラルネットワークの入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算するステップと、ニューラルネットワークの入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算するステップと、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるステップと、を含む。【００３５】
本発明の更に他の態様に係る学習方法は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、ニューラルネットワークの入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた第１マスクデータとを比較し、第１損失値を計算するステップと、ニューラルネットワークの入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算するステップと、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるステップと、を含む。
【発明の効果】
【００３６】
本発明によれば、第１画像セット及び第２画像セットを学習データとすることで、第２画像の注目領域とそれ以外の領域とでピクセル単位、もしくはいくつかのピクセルを一塊にした単位でアノテーションを行ったマスクデータが付帯する第２画像セットを大量に作成する必要がなく、第２画像セットのみを学習データとする場合に比べて、学習データを準備するための労力を大幅に軽減することができ、かつ過学習を防止することができる。
【図面の簡単な説明】
【００３７】
【図１】図１は、本発明に係る学習装置のハードウエア構成の一例を示すブロック図である。
【図２】図２は、第１データベース１４に記憶される第１画像セットの一例を示す図である。
【図３】図３は、内視鏡装置により撮像された画像（第１画像）及び四角領域Ｂを示す図である。
【図４】図４は、図２に示した座標情報から作成される第１マスクデータを説明するために用いた図である。
【図５】図５は、第２データベース１６に記憶される第２画像セットの一例を示す図である。
【図６】図６は、本発明に係る学習装置１０の実施形態を示すブロック図である。
【図７】図７は、内視鏡装置により撮像された画像（第１画像）及び楕円領域Ｅを示す図である。
【図８】図８は、第１マスクデータの他の実施形態を説明するために用いた図である。
【図９】図９は、第１マスクデータの更に他の実施形態を説明するために用いた図である。
【図１０】図１０は、ＣＮＮでのプーリング処理を経る毎に入力画像のサイズに対して特徴マップのサイズが徐々に小さくなる様子を示す模式図である。
【図１１】図１１は、本発明に係る画像学習方法の実施形態を示すフローチャートである。
【発明を実施するための形態】
【００３８】
以下、添付図面に従って本発明に係る学習装置及び方法の好ましい実施形態について説明する。
【００３９】
［学習装置のハードウエア構成］
図１は、本発明に係る学習装置のハードウエア構成の一例を示すブロック図である。
【００４０】
図１に示す学習装置１０は、入力画像内の注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）するための認識器として機能するための学習を行うものであり、パーソナルコンピュータ又はワークステーションにより構成することができる。
【００４１】
本例の学習装置１０は、主として通信部１２と、大容量のストレージもしくは第１データベース１４、第２データベース１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示部２６とから構成されている。
【００４２】
通信部１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行う部分である。
【００４３】
記憶部として機能する第１データベース１４及び第２データベース１６は、それぞれ学習用の第１画像セット及び第２画像セットを記憶している。
【００４４】
第１画像セットは、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた学習データの集合であり、また、第２画像セットは、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた学習データの集合である。
【００４５】
図２は、第１データベース１４に記憶される第１画像セットの一例を示す図であり、学習装置１０の入力画像として、内視鏡装置で撮像された第１画像（医用画像）を使用する場合に関して示している。
【００４６】
図２に示すように第１画像セットは、学習装置１０の学習時における入力画像である第１画像（図２の上段に示した画像）と、第１画像に対する教師データとして機能するマスクデータの作成に使用する座標情報（図２の下段に示した座標情報）とが対となって記憶された学習データの集合である。
【００４７】
ここで、座標情報は、図３に示すように第１画像に含まれる病変領域等の注目領域Ａよりも広い四角領域Ｂを特定する座標情報である。本例の座標情報は、注目領域Ａを含む四角領域Ｂの左辺を示す座標（left=ｗ)、上辺を示す座標（top=ｘ）、右辺を示す座標（right=ｙ）、及び下辺を示す座標（bottom=ｚ）を有している。
【００４８】
第１画像に関連付けられた座標情報は、図４の下段に示すマスクデータ（第１マスクデータ）を作成するために使用される。第１マスクデータは、注目領域を含む四角領域を、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位でマスクしたマスクデータであり、例えば、四角領域内のピクセルには、「１」を割り当て、背景領域（四角領域以外の領域）のピクセルには、「０」を割り当てることで２値の画像データとすることができる。
【００４９】
第１画像に含まれる注目領域Ａよりも広い領域を特定する座標情報の入力は、例えば、第１画像を表示部２６に表示させ、ユーザが、操作部１８（マウス等のポインティングデバイス）を操作して、注目領域Ａを囲む矩形枠（図３参照）を表示部２６に表示させ、その矩形枠の位置及びサイズを確定させることで行うことできる。
【００５０】
図５は、第２データベース１６に記憶される第２画像セットの一例を示す図であり、学習装置１０の入力画像として、内視鏡装置で撮像された第２画像（医用画像）を使用する場合に関して示している。
【００５１】
図５に示すように第２画像セットは、学習装置１０の学習時における入力画像である第２画像（図５の上段に示した画像）と、第２画像に対する教師データとして機能するマスクデータ（図５の下段に示した第２マスクデータ）とが対となって記憶された学習データの集合である。
【００５２】
第２マスクデータは、第２画像に含まれる注目領域（例えば、病変領域）をピクセル単位、もしくはいくつかのピクセルを一塊にした単位でマスクしたマスクデータである。
【００５３】
第２画像に含まれる注目領域Ａを特定する第２マスクデータの作成は、例えば、第２画像を表示部２６に表示させ、ユーザが、操作部１８（マウス等のポインティングデバイス）を操作して、注目領域Ａの輪郭を、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位で描画し、又は注目領域Ａをピクセル単位、もしくはいくつかのピクセルを一塊にした単位で塗り潰すことで行うことができる。
【００５４】
ユーザによる座標情報の入力は、第２マスクデータの作成に比べて簡単である。したがって、第１データベース１４に記憶させる第１画像セットは、第２データベース１６に記憶させる第２画像セットに比べて容易に作成することができ、これにより大量の第２画像セットを準備する場合に比べてユーザの労力を大幅に軽減することができる。
【００５５】
また、座標情報により作成される第１マスクデータは、注目領域をピクセル単位で正確に特定するものではないため、第１画像セットを使用する学習は、過学習に陥り難い利点がある。更に、過学習を防止するために、第１画像セットには、ボケ又はブレを含む第１画像が存在することが好ましい。
【００５６】
更にまた、第１画像セットには、ボケ又はブレを含む第１画像が存在してもよいため、例えば、内視鏡スコープが移動中に撮像される動画から抽出した画像であってもよい。動画から第１画像を抽出することで、第１画像は、第２画像に比べて多く集めることができる。
【００５７】
尚、本例では、第１データベース１４及び第２データベース１６は、学習装置１０が備えているが、外部に設けられたものでもよい。この場合、通信部１２を介して外部のデータベースから学習用の第１画像セット及び第２画像セットを取得することができる。
【００５８】
操作部１８は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、機械学習に当たって各種の操作入力を受け付ける。
【００５９】
ＣＰＵ２０は、ＲＯＭ２４又は図示しないハードディスク装置等に記憶された各種のプログラム（機械学習に使用する学習用プログラムを含む）を読み出し、各種の処理を実行する。ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。
【００６０】
表示部２６は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられ、操作部１８とともに、ユーザインターフェースの一部として使用される。
【００６１】
上記構成の学習装置１０は、操作部１８により指示入力によりＣＰＵ２０が、ＲＯＭ２４やハードディスク装置等に記憶されている学習用プログラムを読み出し、学習用プログラムを実行することにより、後述するように学習装置として機能する。
【００６２】
［学習装置の実施形態］
図６は、本発明に係る学習装置１０の実施形態を示すブロック図であり、図１に示した学習装置１０の主要な機能を示す機能ブロック図である。
【００６３】
図６に示す学習装置１０は、第１データベース１４に保存された第１画像セットと、第２データベース１６に保存された第２画像セットとを用いて学習することにより、入力画像から注目領域の領域分類（セグメンテーション）を行う学習モデルを生成する。本例では、学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）を構築する。
【００６４】
図６に示す学習装置１０は、主としてＣＮＮ３２と、損失値算出部３４と、パラメータ制御部３６と、マスクデータ作成部３８とから構成される。
【００６５】
ＣＮＮ３２は、例えば、内視鏡装置で撮像された画像（医用画像）を入力画像とするとき、その入力画像に写っている病変領域等の注目領域を認識する認識器に対応する部分であり、複数のレイヤ構造を有し、複数の重みパラメータを保持している。重みパラメータは、畳み込み層での畳み込み演算に使用されるカーネルと呼ばれるフィルタのフィルタ係数などである。
【００６６】
ＣＮＮ３２は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。
【００６７】
このＣＮＮ３２は、入力層３２Ａと、畳み込み層とプーリング層から構成された複数セットを有する中間層３２Ｂと、出力層３２Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
【００６８】
入力層３２Ａには、学習対象である入力画像３１が入力される。
【００６９】
中間層３２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットを有し、入力層３２Ａから入力した画像から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
【００７０】
尚、中間層３２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や活性化関数による活性化プロセス、正規化層も含まれ得る。
【００７１】
出力層３２Ｃは、中間層３２Ｂにより抽出された特徴を示す特徴マップを出力する部分である。また、出力層３２Ｃは、学習済みＣＮＮ３２では、例えば、入力画像に写っている病変領域等の注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）した認識結果を出力する。
【００７２】
学習前のＣＮＮ３２の各畳み込み層に適用されるフィルタの係数やオフセット値は、任意の初期値がセットされる。
【００７３】
第１損失値算出部及び第２損失値算出部として機能する損失値算出部３４は、ＣＮＮ３２の出力層３２Ｃから出力される特徴マップと、入力画像（第１画像又は第２画像）に対する教師データであるマスクデータ（第１マスクデータ又は第２マスクデータ）とを比較し、両者間の誤差（損失関数の値である損失値）を計算する。損失値の計算方法は、例えばソフトマックスクロスエントロピー、シグモイドなどが考えられる。
【００７４】
パラメータ制御部３６は、損失値算出部３４により算出された損失値（第１損失値、第２損失値）を元に、誤差逆伝播法によりＣＮＮ３０の重みパラメータを調整する。
【００７５】
このパラメータの調整処理を繰り返し行い、ＣＮＮ３２の出力と教師データであるマスクデータとの差が小さくなるまで繰り返し学習を行う。
【００７６】
マスクデータ作成部３８は、第１データベース１４に保存された第１画像セットの中から学習に使用する１又は複数（１バッチ）の学習データを取得し、取得した学習データを用いて学習を行う場合、学習データを構成する第１画像をＣＮＮ３２に入力する前に、ＣＮＮ３２に入力する第１画像に関連付けられた座標情報３７を元に第１マスクデータを作成する。
【００７７】
本例の座標情報３７は、図３に示すように注目領域Ａを含む四角領域の４辺（左辺、上辺、右辺、下辺）を示す座標情報であり、マスクデータ作成部３８は、これらの４辺の座標情報に基づいて四角領域をマスクした（四角領域と背景領域とを領域分類した）第１マスクデータを作成する。この第１マスクデータは、入力画像である第１画像に対する教師データである。尚、四角領域を特定するための座標情報は、四角領域の４辺を示す座標情報に限らず、例えば、四角領域の対角の２つの頂点を示す座標でもよい。
【００７８】
上記構成の学習装置１０は、第１データベース１４に記憶された第１画像セットと、第２データベース１６に記憶された第２画像セットとを使用して学習を行うが、第１画像セットに含まれる学習データと、第２画像セットに含まれる学習データとを交互に使用し、又は適当に混在させて使用して学習する場合、あるいは最初に第１画像セットに含まれる学習データを使用して学習し、その後、第２画像セットに含まれる学習データを使用して学習する場合が考えられる。
【００７９】
いま、ＣＮＮ３２が、第１データベース１４に記憶された第１画像セットに含まれる学習データに基づいて学習を行う場合、マスクデータ作成部３８は、第１データベース１４から取得した学習データを構成する第１画像を、入力画像３１としてＣＮＮ３２（入力層３２Ａ）に入力する前に、その第１画像に関連付けられた座標情報３７を元に第１マスクデータを作成し、これをマスクデータ３５とする。
【００８０】
その後、第１画像をＣＮＮ３２に入力し、ＣＮＮ３２の出力層３２Ｃからの出力である特徴マップが、損失値算出部３４に加えられる。
【００８１】
損失値算出部３４には、マスクデータ作成部３８により作成された第１マスクデータが加えられており、第１損失値算出部として機能する損失値算出部３４は、入力する特徴マップ（第１特徴マップ）と第１マスクデータとを比較し、損失値（第１損失値）を計算する。
【００８２】
パラメータ制御部３６は、損失値算出部３４により算出された第１損失値を元に、誤差逆伝播法によりＣＮＮ３０の重みパラメータを調整する。誤差逆伝播法では、誤差を最終レイヤから順に逆伝播させ、各レイヤにおいて確率的勾配降下法を行い、誤差が収束するまでパラメータの更新を繰り返す。
【００８３】
次に、ＣＮＮ３２が、第２データベース１６に記憶された第２画像セットに含まれる学習データに基づいて学習を行う場合、第２データベース１６から取得した学習データを構成する第２画像を、入力画像３１としてＣＮＮ３２（入力層３２Ａ）に入力する。そして、ＣＮＮ３２の出力層３２Ｃからの出力である特徴マップが、損失値算出部３４に加えられる。
【００８４】
損失値算出部３４には、ＣＮＮ３２に入力された第２画像に関連付けられた第２マスクデータが加えられており、第２損失値算出部として機能する損失値算出部３４は、入力する特徴マップ（第２特徴マップ）と第２マスクデータとに基づいて損失値（第２損失値）を算出する。
【００８５】
パラメータ制御部３６は、損失値算出部３４により算出された第２損失値を元に、誤差逆伝播法によりＣＮＮ３０の重みパラメータを調整する。
【００８６】
学習装置１０は、以上の第１画像セットの学習データを使用した学習と、第２画像セットの学習データを使用した学習とを繰り返すことで、ＣＮＮ３２が学習済みモデルとなり、未知の入力画像に対して注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類する認識結果を出力する。
【００８７】
この学習装置１０によれば、学習データとして、第２画像セットだけでなく、第１画像セットを使用することで、大量の第２画像セットを使用しなくても過学習に陥ることがなく、大量の第２画像セットを使用する場合と同等の認識結果を出力する学習モデルを生成することができる。
【００８８】
また、第１画像セットの学習データは、第１画像に含まれる注目領域よりも広い領域を特定する座標情報を指定することで作成することができ、画像に含まれる注目領域を特定するマスクデータ（第２マスクデータ）を教師データとして作成する必要がある、第２画像セットの学習データに比べて簡単に作成することができる。
【００８９】
また、この学習装置１０は、第１画像データと座標情報のセット（第１画像セット）を受け取るが、第１画像データとマスクデータ（第１マスクデータ）のセットを受け取る構成としても良い。
【００９０】
［第１画像セットの他の実施形態］
図２に示した第１画像セットの学習データは、第１画像に関連付けて、第１画像に含まれる注目領域Ａよりも広い四角領域を特定する座標情報を有するが、これに限らず、例えば注目領域よりも広い楕円領域を特定する座標情報でもよい。
【００９１】
図７は、内視鏡装置により撮像された画像（第１画像）及び楕円領域Ｅを示す図である。楕円領域Ｅは、第１画像に含まれる注目領域Ａを含む領域であり、注目領域Ａよりも広い。
【００９２】
楕円領域Ｅは、その長軸方向と注目領域Ａの最も長い方向と一致するように方向を決定することが好ましい。
【００９３】
楕円領域Ｅを特定する座標情報としては、図７に示すように楕円領域Ｅの長軸の両端（ａ，ｂ）の座標情報、及び短軸の両端（ｃ，ｄ）の座標情報が考えられる。
【００９４】
［第１マスクデータの他の実施形態］
図４に示した第１マスクデータは、図２に示した座標情報により特定される四角領域をマスクしたマスクデータであるが、四角領域内に四角領域よりも小さい領域を設定し、四角領域内かつ四角領域よりも小さい領域外の領域は、第１損失値算出部として機能する損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。
【００９５】
図８に示すように注目領域Ａを含む四角領域Ｂ内に、四角領域Ｂよりも小さい領域Ｃを設定する。この領域Ｃも注目領域Ａを含む領域である。
【００９６】
そして、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃ外の領域Ｄ（図８上で、四角領域Ｂの四隅の領域）は、損失値算出部３４での損失値の計算に含めようにする。
【００９７】
例えば、四角領域Ｂよりも小さい領域Ｃ内のピクセルには、「１」を割り当て、背景領域（四角領域Ｂの外側の領域）のピクセルには、「０」を割り当て、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃ外の領域Ｄのピクセルには、「−１」を割り当てることで、３値の画像データとすることができる。
【００９８】
損失値算出部３４は、「−１」が割り当てられた領域Ｄ内のピクセルについては、損失値の計算に含めないようにする。
【００９９】
尚、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃを、注目領域Ａを含む円領域又は楕円領域とする場合には、領域Ｃを特定する座標情報は、円領域又は楕円領域を示す情報とすることができ、また、四角領域Ｂの四隅をカットした八角形の領域とする場合には、八角形の領域を示す情報とすることができる。
【０１００】
また、第１マスクデータとして、楕円領域Ｅをマスクするマスクデータの場合（図７）、図９に示すように楕円領域Ｅ内に楕円領域Ｅよりも小さい領域Ｆを設定する。そして、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆ外は、第１損失値算出部として機能する損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。
【０１０１】
例えば、楕円領域Ｅよりも小さい領域Ｆ内のピクセルには、「１」を割り当て、背景領域（楕円領域Ｅの外側の領域）のピクセルには、「０」を割り当て、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆ外の領域Ｇのピクセルには、「−１」を割り当てることで、３値の画像データとすることができる。
【０１０２】
損失値算出部３４は、「−１」が割り当てられた領域Ｇ内のピクセルについては、損失値の計算に含めないようにする。
【０１０３】
尚、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆを、注目領域Ａを含む他の楕円領域又は円領域とする場合には、領域Ｇを特定する座標情報は、他の楕円領域又は円領域を示す情報とすることができる。
【０１０４】
更に、図８を用いて説明した第１マスクデータは、四角領域Ｂよりも小さい領域Ｃと、四角領域Ｂの外側の領域と、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃ外の領域Ｄとを領域分類するマスクデータであるが、第１マスクデータとして、四角領域Ｂ内に四角領域Ｂよりも小さい領域Ｃを設定し、四角領域Ｂよりも小さい領域Ｃは、損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。この場合、図８を用いて説明した第１マスクデータの「−１」が割り当てられた領域と、「１」が割り当てられた領域とが逆転することになる。
【０１０５】
同様に、図９を用いて説明した第１マスクデータは、楕円領域Ｅよりも小さい領域Ｆと、楕円領域Ｅの外側の領域（背景領域）と、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆ外の領域Ｇとを領域分類するマスクデータであるが、第１マスクデータとして、楕円領域Ｅ内に楕円領域Ｅよりも小さい領域Ｆを設定し、楕円領域Ｅよりも小さい領域Ｆは、損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。
【０１０６】
［学習装置の変形例］
本実施形態の学習装置１０は、ＣＮＮ３２の出力が、入力画像のサイズになるようにデコンボリューション処理や拡大処理を行うが、学習装置の変形例では、拡大処理等を行わず、１回以上のプーリング処理により入力画像のサイズよりも小さくなった特徴マップをそのまま出力する。
【０１０７】
図１０は、ＣＮＮでのプーリング処理を経る毎に入力画像のサイズに対して特徴マップのサイズが徐々に小さくなる様子を示す模式図である。
【０１０８】
学習装置の変形例では、ＣＮＮの出力層から出力される特徴マップ（入力画像のサイズになるように拡大処理されていない特徴マップ）と同じサイズの第１マスクデータ及び第２マスクデータを作成する。
【０１０９】
この場合、入力画像と同じサイズの第１マスクデータ、又は第２マスクデータに対して、ＣＮＮのプーリング処理と同じ処理（少なくとも１回のプーリング処理）を施すことで、ＣＮＮの出力層から出力される特徴マップと同じサイズの第１マスクデータ、又は第２マスクデータにすることができる。
【０１１０】
損失値算出部３４は、ＣＮＮから出力される拡大処理されていない特徴マップと、少なくとも１回のプーリング処理により縮小された第１マスクデータ、又は第２マスクとに基づいて損失値を算出することができる。
【０１１１】
［学習方法］
図１１は、本発明に係る画像学習方法の実施形態を示すフローチャートであり、図６に示した学習装置１０の各部の処理手順に関して示している。
【０１１２】
第１データベース１４及び第２データベース１６には、それぞれ学習用の第１画像セット及び第２画像セットが格納される（画像セットを準備するステップＳ１０）。
【０１１３】
第１画像セットの学習データを使用して学習する場合には、ステップＳ１２に遷移し、第２画像セットの学習データを使用して学習する場合には、ステップＳ２２に遷移する。尚、第１画像セットの学習データを使用するか、又は第２画像セットの学習データを使用するかは、予めプログラムにより決定されているものとする。
【０１１４】
ステップＳ１２では、第１画像セットから１又は１バッチの学習データを取得する。第１画像セットから取得した学習データには、学習時の入力画像となる第１画像と、教師データとなる第１マスクデータを作成するための座標情報とを含む（図２参照）。
【０１１５】
図６に示した学習装置１０のマスクデータ作成部３８は、ステップＳ１２で取得した座標情報を元に第１マスクデータを作成する（ステップＳ１３）。
【０１１６】
続いて、ステップＳ１２で取得した第１画像を、ＣＮＮ３２の入力画像３１として入力し、ＣＮＮ３２から出力される特徴マップを取得する（ステップＳ１４）。
【０１１７】
損失値算出部３４は、ステップＳ１４で取得した特徴マップとステップＳ１３で作成した第１マスクデータとを比較し、損失値（第１損失値）を計算する（ステップＳ１６）。
【０１１８】
パラメータ制御部３６は、損失値算出部３４により算出された第１損失値を元に、誤差逆伝播法によりＣＮＮ３０の重みパラメータを調整（更新）する（ステップＳ１８）。ステップＳ１４からステップＳ１８の処理は、誤差が収束するまで実行し、パラメータの更新を繰り返す。
【０１１９】
続いて、第１画像セット及び第２画像セットを使用した所望の学習が終了したか否かを判別し（ステップＳ２０）、終了していないと判別されると（「No」の場合）、ステップＳ１２又はステップＳ２２に遷移する。
【０１２０】
そして、第２画像セットの学習データを使用して学習する場合には、ステップＳ２２に進む。
【０１２１】
ステップＳ２２では、第２画像セットから１又は１バッチの学習データを取得する。第２画像セットから取得した学習データには、学習時の入力画像となる第２画像と、教師データとなる第２マスクデータとを含む（図５参照）。
【０１２２】
次に、ステップＳ２２で取得した第２画像を、ＣＮＮ３２の入力画像３１として入力し、ＣＮＮ３２から出力される特徴マップを取得する（ステップＳ２４）。
【０１２３】
損失値算出部３４は、ステップＳ２４で取得した特徴マップとステップＳ２２で取得した第２マスクデータとを比較し、損失値（第２損失値）を計算する（ステップＳ２６）。
【０１２４】
パラメータ制御部３６は、損失値算出部３４により算出された第２損失値を元に、誤差逆伝播法によりＣＮＮ３０の重みパラメータを調整（更新）する（ステップＳ２８）。ステップＳ２４からステップＳ２８の処理は、誤差が収束するまで実行し、パラメータの更新を繰り返す。
【０１２５】
その後、ステップＳ２０において、第１画像セット及び第２画像セットを使用した所望の学習が終了したと判別されると（「Yes」の場合）、本学習方法による処理が終了する。
【０１２６】
［その他］
本実施形態の学習装置１０の各種制御を実行するハードウエア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【０１２７】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウエア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【０１２８】
また、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【０１２９】
また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１３０】
１０  学習装置
１２  通信部
１４  第１データベース
１６  第２データベース
１８  操作部
２０  ＣＰＵ
２２  ＲＡＭ
２４  ＲＯＭ
２６  表示部
３１  入力画像
３２Ａ  入力層
３２Ｂ  中間層
３２Ｃ  出力層
３４  損失値算出部
３５  マスクデータ
３６  パラメータ制御部
３７  座標情報
３８  マスクデータ作成部
Ｓ１０〜Ｓ２８  ステップ
【図１】
2020059446.tif 000003
【図２】
2020059446.tif 000004
【図３】
2020059446.tif 000005
【図４】
2020059446.tif 000006
【図５】
2020059446.tif 000007
【図６】
2020059446.tif 000008
【図７】
2020059446.tif 000009
【図８】
2020059446.tif 000010
【図９】
2020059446.tif 000011
【図１０】
2020059446.tif 000012
【図１１】
2020059446.tif 000013
【手続補正書】
【提出日】令和3年5月7日(2021.5.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項５
【補正方法】変更
【補正の内容】
【請求項５】
前記四角領域内に前記四角領域よりも小さい領域を設定し、
前記第１損失値算出部は、前記四角領域よりも小さい領域は損失値の計算に含めない請求項３に記載の学習装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項９
【補正方法】変更
【補正の内容】
【請求項９】
前記第１損失値算出部は、前記第１画像よりもサイズが小さい前記第１特徴マップと前記第１画像よりもサイズが小さい前記第１マスクデータとを比較し、前記第１損失値を計算し、
前記第２損失値算出部は、前記第２画像よりもサイズが小さい前記第２特徴マップと前記第２画像よりもサイズが小さい前記第２マスクデータとを比較し、前記第２損失値を計算する請求項１から８のいずれか１項に記載の学習装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明の一の態様によれば、第１画像セットの作成に当り、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報との関連付けを行うが、注目領域よりも広い領域を特定する座標情報の入力は、注目領域を特定する第２マスクデータを手動で入力する場合（例えば、注目領域をピクセル単位で塗りつぶす作業）に比べて簡単である。即ち、第１画像セットと第２画像セットとを学習データとすることで、第２画像セットのみを学習データとする場合に比べて、学習データ（特に教師データ）を準備するための労力を大幅に軽減することができる。また、注目領域よりも広い領域を特定する座標情報を元に作成した第１マスクデータは、第２マスクデータのように注目領域を正確に示すものではないため、第１マスクデータを使用した学習により、少ないデータ量の画像セットであっても過学習を防止することができ、更に第２マスクデータを使用した学習により、入力画像から注目領域を正確に認識できる学習が可能である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明の更に他の態様に係る学習装置において、四角領域内に四角領域よりも小さい領域を設定し、第１損失値算出部は、四角領域内かつ四角領域よりも小さい領域外は損失値の計算に含めないことが好ましい。四角領域内かつ四角領域よりも小さい領域外（特に四角領域の隅の領域）は、背景領域（注目領域ではない領域）である場合が多いからである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
パラメータ制御部３６は、損失値算出部３４により算出された損失値（第１損失値、第２損失値）を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
パラメータ制御部３６は、損失値算出部３４により算出された第１損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整する。誤差逆伝播法では、誤差を最終レイヤから順に逆伝播させ、各レイヤにおいて確率的勾配降下法を行い、誤差が収束するまでパラメータの更新を繰り返す。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
パラメータ制御部３６は、損失値算出部３４により算出された第２損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
また、この学習装置１０は、第１画像と座標情報のセット（第１画像セット）を受け取るが、第１画像とマスクデータ（第１マスクデータ）のセットを受け取る構成としても良い。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
そして、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃ外の領域Ｄ（図８上で、四角領域Ｂの四隅の領域）は、損失値算出部３４での損失値の計算に含めないようにする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
損失値算出部３４は、ＣＮＮから出力される拡大処理されていない特徴マップと、少なくとも１回のプーリング処理により縮小された第１マスクデータ、又は第２マスクデータとに基づいて損失値を算出することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
パラメータ制御部３６は、損失値算出部３４により算出された第１損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整（更新）する（ステップＳ１８）。ステップＳ１４からステップＳ１８の処理は、誤差が収束するまで実行し、パラメータの更新を繰り返す。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正の内容】
【０１２４】
パラメータ制御部３６は、損失値算出部３４により算出された第２損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整（更新）する（ステップＳ２８）。ステップＳ２４からステップＳ２８の処理は、誤差が収束するまで実行し、パラメータの更新を繰り返す。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
１つの制御部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウエア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【国際調査報告】
2020059446.tif 000014
2020059446.tif 000015