(57)【要約】本発明は、同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる学習装置及び学習方法を提供することを目的とする。本発明の第１の態様に係る学習装置では、独立した第１，第２の入力層に第１，第２のデータをそれぞれ入力して特徴量を算出することで、第１，第２の入力層の一方における特徴量算出が他方の入力層における特徴量算出の影響を受けないようにしている。また、入力層における特徴抽出に加えて、第１，第２の入力層に共通な中間層において第１の中間特徴量算出処理と第２の中間特徴量算出処理とをそれぞれ少なくとも１回実行するので、入力層で第１，第２のデータから算出した特徴量を中間層における中間特徴量算出に反映することができる。これにより、同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる。
2020022027.tif 000002
【特許請求の範囲】
【請求項１】
第１の条件で取得された複数のデータで構成される第１のデータ群から選出された第１のデータを入力して特徴量を出力する第１の入力層と、
前記第１の入力層とは独立した第２の入力層であって、前記第１のデータ群を構成するデータと同一のカテゴリに属し前記第１の条件とは異なる第２の条件で取得された複数のデータで構成される第２のデータ群から選出された第２のデータを入力して特徴量を出力する第２の入力層と、
前記第１の入力層及び前記第２の入力層に対して共通の中間層であって、前記第１の入力層が出力する前記特徴量または前記第２の入力層が出力する前記特徴量を入力して他の特徴量を算出する中間層と、
を含む階層型ネットワークを備える学習装置であって、
前記第１の入力層から出力される前記特徴量に基づく第１の特徴量を前記中間層に入力し前記中間層で第１の中間特徴量を算出する第１の中間特徴量算出処理と、前記第２の入力層から出力される前記特徴量に基づく第２の特徴量を前記中間層に入力し前記中間層で第２の中間特徴量を算出する第２の中間特徴量算出処理と、をそれぞれ少なくとも１回実行する学習装置。
【請求項２】
前記第１の中間特徴量算出処理を少なくとも２回実行し、前記第１の中間特徴量算出処理が終了してから他の前記第１の中間特徴量算出処理が始まるまでの期間に前記第２の中間特徴量算出処理を実行する請求項１に記載の学習装置。
【請求項３】
前記第１の中間特徴量算出処理を少なくとも２回実行し、前記少なくとも２回の前記第１の中間特徴量算出処理が終了してから前記第２の中間特徴量算出処理を実行する請求項１または２に記載の学習装置。
【請求項４】
前記階層型ネットワークは畳み込みニューラルネットワークである請求項１から３のいずれか１項に記載の学習装置。
【請求項５】
前記第１の入力層及び／または前記第２の入力層は畳み込み演算によって前記特徴量を算出する請求項１から４のいずれか１項に記載の学習装置。
【請求項６】
前記第１の入力層及び／または前記第２の入力層はプーリング処理によって前記特徴量を算出する請求項１から５のいずれか１項に記載の学習装置。
【請求項７】
前記第１の入力層及び／または前記第２の入力層はバッチノーマライゼーション処理によって前記特徴量を算出する請求項１から６のいずれか１項に記載の学習装置。
【請求項８】
前記中間層は畳み込み演算によって前記特徴量を算出する請求項１から７のいずれか１項に記載の学習装置。
【請求項９】
前記中間層はプーリング処理によって前記特徴量を算出する請求項１から８のいずれか１項に記載の学習装置。
【請求項１０】
前記中間層はバッチノーマライゼーション処理によって前記特徴量を算出する請求項１から９のいずれか１項に記載の学習装置。
【請求項１１】
前記第１の入力層は前記第１の条件で取得された第１の画像データを前記第１のデータとして入力し、
前記第２の入力層は前記第１の条件とは異なる前記第２の条件で取得された第２の画像データを前記第２のデータとして入力する請求項１から１０のいずれか１項に記載の学習装置。
【請求項１２】
前記第１の条件と前記第２の条件とでは、撮像装置、観察光の波長バランス、解像度、及び画像に施す画像処理のうち少なくとも１つが異なる請求項１１に記載の学習装置。
【請求項１３】
前記第１の入力層は第１の観察光により取得された第１の医用画像のデータを前記第１の画像データとして入力し、
前記第２の入力層は前記第１の観察光と波長バランスが異なる第２の観察光により取得された第２の医用画像のデータを前記第２の画像データとして入力する請求項１２に記載の学習装置。
【請求項１４】
前記第１の入力層は白色光を前記第１の観察光として取得された前記第１の医用画像のデータを前記第１の画像データとして入力し、
前記第２の入力層は狭帯域光を前記第２の観察光として取得された前記第２の医用画像のデータを前記第２の画像データとして入力する請求項１３に記載の学習装置。
【請求項１５】
前記第１の入力層は第１の狭帯域光を前記第１の観察光として取得された前記第１の医用画像のデータを前記第１の画像データとして入力し、
前記第２の入力層は前記第１の狭帯域光とは異なる第２の狭帯域光を前記第２の観察光として取得された前記第２の医用画像のデータを前記第２の画像データとして入力する請求項１３に記載の学習装置。
【請求項１６】
第１の条件で取得された複数のデータで構成される第１のデータ群から選出された第１のデータを入力して特徴量を出力する第１の入力層と、前記第１の入力層とは独立した第２の入力層であって、前記第１のデータ群を構成するデータと同一のカテゴリに属し前記第１の条件とは異なる第２の条件で取得された複数のデータで構成される第２のデータ群から選出された第２のデータを入力して特徴量を出力する第２の入力層と、前記第１の入力層及び前記第２の入力層に対して共通の中間層であって、前記第１の入力層が出力する前記特徴量または前記第２の入力層が出力する前記特徴量を入力して他の特徴量を算出する中間層と、を含む階層型ネットワークを備える学習装置の学習方法であって、
前記第１の入力層から出力される前記特徴量に基づく第１の特徴量を前記中間層に入力し前記中間層で第１の中間特徴量を算出する第１の中間特徴量算出工程と、
前記第２の入力層から出力される前記特徴量に基づく第２の特徴量を前記中間層に入力し前記中間層で第２の中間特徴量を算出する第２の中間特徴量算出工程と、
をそれぞれ少なくとも１回実行する学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は学習装置及び学習方法に関し、特に階層型ネットワークを用いた機械学習を行う学習装置及び学習方法に関する。
【背景技術】
【０００２】
機械学習の分野では階層型ネットワークを用いて学習を行うことが知られている。階層型ネットワークは一般に特徴抽出や認識等を行う複数の層から構成されるが、具体的なネットワーク構成や学習方法には種々の態様が存在する。【０００３】
例えば特許文献１には、異なるカテゴリに属する複数のデータ（画像と画像に対するキャプション）を入力して関係を学習させる技術が記載されている。画像とキャプションは異なる入力層に入力される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１９９１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
機械学習では、同一のカテゴリに属する複数のデータ（データ群）を異なる条件で取得して学習に供する場合がある。例えば、異なる撮像装置、撮影日時、被写体、露出等で画像を取得する場合がある。このようにして取得したデータを学習する際は、異なる条件で取得したことを適切に考慮することが好ましい。しかしながら上述した特許文献１では異なるカテゴリに属するデータ群を入力しており、同一のカテゴリに属し取得条件が異なるデータを入力して学習するものではなかった。【０００６】
このように、従来の技術では同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することが困難であった。【０００７】
本発明はこのような事情に鑑みてなされたもので、同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる学習装置及び学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した目的を達成するため、本発明の第１の態様に係る学習装置は、第１の条件で取得された複数のデータで構成される第１のデータ群から選出された第１のデータを入力して特徴量を出力する第１の入力層と、第１の入力層とは独立した第２の入力層であって、第１のデータ群を構成するデータと同一のカテゴリに属し第１の条件とは異なる第２の条件で取得された複数のデータで構成される第２のデータ群から選出された第２のデータを入力して特徴量を出力する第２の入力層と、第１の入力層及び第２の入力層に対して共通の中間層であって、第１の入力層が出力する特徴量または第２の入力層が出力する特徴量を入力して他の特徴量を算出する中間層と、を含む階層型ネットワークを備える学習装置であって、第１の入力層から出力される特徴量に基づく第１の特徴量を中間層に入力し中間層で第１の中間特徴量を算出する第１の中間特徴量算出処理と、第２の入力層から出力される特徴量に基づく第２の特徴量を中間層に入力し中間層で第２の中間特徴量を算出する第２の中間特徴量算出処理と、をそれぞれ少なくとも１回実行する。【０００９】
第１の態様では、独立した第１，第２の入力層に第１，第２のデータをそれぞれ入力し、第１，第２の入力層でそれぞれ特徴量を算出することで、第１，第２の入力層の一方における特徴量算出が他方の入力層における特徴量算出の影響を受けないようにしている。また第１の態様では、入力層における特徴抽出に加えて、さらに第１，第２の入力層に共通な中間層において第１の中間特徴量算出処理と第２の中間特徴量算出処理とをそれぞれ少なくとも１回実行するので、入力層で第１，第２のデータから算出した特徴量を中間層における中間特徴量算出に反映することができる。また、階層型ネットワークはパラメータが多いため過学習になりがちであるが、大量にデータを与えることで過学習を回避できる。第１の態様に係る学習装置では、中間層は第１，第２のデータを合わせた大量のデータで学習できるため過学習になりにくく、一方、入力層は第１，第２の入力層に独立しておりそれぞれの入力層のパラメータは少なくなるため、少量のデータでも過学習になりにくい。【００１０】
第１の態様によれば、このようにして同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる。【００１１】
なお第１の態様及び以下の各態様において、「第１，第２の入力層から出力される特徴量に基づく第１，第２の特徴量」については、第１，第２の入力層から出力される特徴量をそのまま第１，第２の特徴量として入力してもよいし、第１，第２の入力層から出力される特徴量に何らかの処理を施した特徴量を第１，第２の特徴量として入力してもよい。また、「同一のカテゴリに属し」とは、画像と画像、テキストとテキスト、音声と音声のような組み合わせを意味し、「第１の条件と第２の条件が異なる」には「同じ条件で取得されたデータを２つに分ける」ことは含まれない。【００１２】
第１の態様及び以下の各態様において、第１，第２の入力層、及び中間層は１つの層で構成されていてもよいし、複数の層から構成されていてもよい。また、第１，第２の入力層を構成する層の数は同じでもよいし、違っていてもよい。階層型ネットワークは、第１，第２の入力層、中間層の他に出力層、認識層等を含んでいてもよい。【００１３】
また第１の態様及び以下の各態様において、第１，第２の入力層から出力される特徴量が第１，第２のデータの特徴を適切に表現できるように、学習の結果（例えば、認識結果と正解データとの誤差、損失等）を考慮して第１，第２の入力層の層数や各層におけるパラメータを調整することが好ましい。また、中間層についても、同様に学習の結果を考慮して中間層の層数や各層におけるパラメータを調整することが好ましい。【００１４】
第２の態様に係る学習装置は第１の態様において、第１の中間特徴量算出処理を少なくとも２回実行し、第１の中間特徴量算出処理が終了してから他の第１の中間特徴量算出処理が始まるまでの期間に第２の中間特徴量算出処理を実行する。第１の中間特徴量算出処理を多数回連続して行いその後に第２の中間特徴量算出処理を行う場合、中間層で算出される特徴量が第１のデータの影響を強く受けてしまい第２のデータに対する学習（特徴量の算出）が適切に行われない可能性がある（逆の場合も同様である）。このため第２の態様では、第１の中間特徴量算出処理が終了してから他の第１の中間特徴量算出処理が始まるまでの期間に第２の中間特徴量算出処理を実行しており、これにより第２の中間特徴量算出処理の際に算出される特徴量が第１のデータの影響を過度に受けることを避け、第１，第２のデータに対して適切に学習を行うことができる。【００１５】
第３の態様に係る学習装置は第１または第２の態様において、第１の中間特徴量算出処理を少なくとも２回実行し、少なくとも２回の第１の中間特徴量算出処理が終了してから第２の中間特徴量算出処理を実行する。第３の態様では、第２の態様について上述したのと同様に第２の中間特徴量算出処理の際に算出される特徴量が第１のデータの影響を過度に受けることを避け、第１，第２のデータに対して適切に学習を行うことができる。【００１６】
第４の態様に係る学習装置は第１から第３の態様のいずれか１つにおいて、階層型ネットワークは畳み込みニューラルネットワークである。第４の態様は階層型ネットワークの具体的態様の一例を規定するものである。【００１７】
第５の態様に係る学習装置は第１から第４の態様のいずれか１つにおいて、第１の入力層及び／または第２の入力層は畳み込み演算によって特徴量を算出する。第５の態様は第１，第２の入力層における特徴量算出の具体的手法の一態様を規定するものである。【００１８】
第６の態様に係る学習装置は第１から第５の態様のいずれか１つにおいて、第１の入力層及び／または第２の入力層はプーリング処理によって特徴量を算出する。第６の態様は第１，第２の入力層における特徴量算出の具体的手法の一態様を規定するものである。【００１９】
第７の態様に係る学習装置は第１から第６の態様のいずれか１つにおいて、第１の入力層及び／または第２の入力層はバッチノーマライゼーション処理によって特徴量を算出する。第７の態様は第１，第２の入力層における特徴量算出の具体的手法の一態様を規定するものである。【００２０】
第８の態様に係る学習装置は第１から第７の態様のいずれか１つにおいて、中間層は畳み込み演算によって特徴量を算出する。第８の態様は特徴量算出の具体的手法の一態様を規定するものである。【００２１】
第９の態様に係る学習装置は第１から第８の態様のいずれか１つにおいて、中間層はプーリング処理によって特徴量を算出する。第９の態様は特徴量算出の具体的手法の一態様を規定するものである。【００２２】
第１０の態様に係る学習装置は第１から第９の態様のいずれか１つにおいて、中間層はバッチノーマライゼーション処理によって特徴量を算出する。第１０の態様は特徴量算出の具体的手法の一態様を規定するものである。【００２３】
第１１の態様に係る学習装置は第１から第１０の態様のいずれか１つにおいて、第１の入力層は第１の条件で取得された第１の画像データを第１のデータとして入力し、第２の入力層は第１の条件とは異なる第２の条件で取得された第２の画像データを第２のデータとして入力する。第１１の態様は第１，第２の入力データの具体的態様の一例を規定するもので、異なる条件で取得された画像データ（同一のカテゴリに属するデータの一例）であっても、第１,第２の入力層に入力し第１，第２の中間特徴量算出処理を行うことで適切に学習することができる。【００２４】
第１２の態様に係る学習装置は第１１の態様において、第１の条件と第２の条件とでは、撮像装置、観察光の波長バランス、解像度、及び画像に施す画像処理のうち少なくとも１つが異なる。第１２の態様は第１の条件と第２の条件との相違の一態様を規定するものである。なお、第１２の態様において「撮像装置が異なる」とは、「モダリティは同じで、機種、型番、性能等が異なる」ことを意味するものとする。例えば、内視鏡装置とＣＴ装置ではモダリティが異なる。また、「観察光の波長バランスが異なる」とは、観察光の波長帯域及び／または観察光における各波長帯域の強度の相対関係が異なることを意味する。また、「画像に施す画像処理が異なる」には、例えば特定の波長成分の影響を強調または低減する処理、あるいは特定の対象や領域を強調または目立たなくする処理が含まれるが、これらに限定されるものではない。【００２５】
第１３の態様に係る学習装置は第１２の態様において、第１の入力層は第１の観察光により取得された第１の医用画像のデータを第１の画像データとして入力し、第２の入力層は第１の観察光と波長バランスが異なる第２の観察光により取得された第２の医用画像のデータを第２の画像データとして入力する。「撮影された画像で被写体のどのような構造が明確に（あるいは不明確に）映るか」は撮影に用いる観察光の波長バランスに依存するため、診断や診察の場面では波長バランスが異なる複数の観察光により画像を取得する場合があるが、第１３の態様ではそのような場合でも画像の学習を適切に行うことができる。なお第１３の態様及び以下の各態様において、「医用画像」は「医療画像」ともいう。【００２６】
第１４の態様に係る学習装置は第１３の態様において、第１の入力層は白色光を第１の観察光として取得された第１の医用画像のデータを第１の画像データとして入力し、第２の入力層は狭帯域光を第２の観察光として取得された第２の医用画像のデータを第２の画像データとして入力する。医用画像を取得する場合、ユーザの目視による確認等のため白色光を観察光とする画像を取得することが多い。一方、狭帯域光の場合、波長により被検体の細部や深部等、白色光画像と異なる構造を観察できるが、目視観察には適していないため白色光画像と比べて取得される画像の数が少ない。第１４の態様では、このような場合でも適切に学習を行うことができる。なお、第１４の態様において「狭帯域光」は青色光、紫色光等短波長の観察光でもよいし、赤色光、赤外光等長波長の観察光でもよい。【００２７】
第１５の態様に係る学習装置は第１３の態様において、第１の入力層は第１の狭帯域光を第１の観察光として取得された第１の医用画像のデータを第１の画像データとして入力し、第２の入力層は第１の狭帯域光とは異なる第２の狭帯域光を第２の観察光として取得された第２の医用画像のデータを第２の画像データとして入力する。医用画像を取得する場合、画像の利用目的によっては観察光として複数の狭帯域光を用いて画像を取得することがあるが、第１５の態様によればそのような場合でも適切に学習を行うことができる。なお「第１の狭帯域光とは異なる第２の狭帯域光」とは、第１の狭帯域光と第２の狭帯域光とで観察光の波長帯域及び／または観察光の強度が異なることを意味する。【００２８】
上述した目的を達成するため、本発明の第１６の態様に係る学習方法は第１の条件で取得された複数のデータで構成される第１のデータ群から選出された第１のデータを入力して特徴量を出力する第１の入力層と、第１の入力層とは独立した第２の入力層であって、第１のデータ群を構成するデータと同一のカテゴリに属し第１の条件とは異なる第２の条件で取得された複数のデータで構成される第２のデータ群から選出された第２のデータを入力して特徴量を出力する第２の入力層と、第１の入力層及び第２の入力層に対して共通の中間層であって、第１の入力層が出力する特徴量または第２の入力層が出力する特徴量を入力して他の特徴量を算出する中間層と、を含む階層型ネットワークを備える学習装置の学習方法であって、第１の入力層から出力される特徴量に基づく第１の特徴量を中間層に入力し中間層で第１の中間特徴量を算出する第１の中間特徴量算出工程と、第２の入力層から出力される特徴量に基づく第２の特徴量を中間層に入力し中間層で第２の中間特徴量を算出する第２の中間特徴量算出工程と、をそれぞれ少なくとも１回実行する。第１６の態様によれば、第１の態様と同様に、同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる。【００２９】
なお、第１６の態様に係る学習方法に対し、第２から第１５の態様と同様の構成をさらに含めてもよい。また、それら態様の学習方法を学習装置に実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
【発明の効果】
【００３０】
以上説明したように、本発明の学習装置及び学習方法によれば、同一のカテゴリに属し異なる条件で取得されたデータを適切に学習することができる。
【図面の簡単な説明】
【００３１】
【図１】図１は、第１の実施形態に係る学習システムの構成を示す図である。
【図２】図２は、階層型ネットワークの構成の例を示す図である。
【図３】図３は、階層型ネットワークの構成の他の例を示す図である。
【図４】図４は、階層型ネットワークの構成のさらに他の例を示す図である。
【図５】図５は、第１，第２のデータを用いた学習の様子を示す図である。
【図６】図６は、中間層に入力する特徴量を切り替える様子を示す図である。
【図７】図７は、中間層における畳み込みの様子を示す図である。
【図８】図８は、第１，第２の中間特徴量算出処理のパターンを示す図である。
【図９】図９は、第１，第２の中間特徴量算出処理の他のパターンを示す図である。
【発明を実施するための形態】
【００３２】
以下、添付図面を参照しつつ、本発明に係る学習装置及び学習方法の実施形態について詳細に説明する。
【００３３】
＜第１の実施形態＞
＜学習システムの構成＞
図１は、第１の実施形態に係る学習システム１０（学習装置）の構成を示すブロック図である。学習システム１０は、被検体内に挿入される内視鏡で撮像された画像に基づく学習処理、認識処理を行う学習認識装置１００（学習装置）と、通常光（白色光）を観察光として取得した複数の内視鏡画像を記録する第１の画像データベース２０１と、特殊光（狭帯域光）を観察光として取得した複数の内視鏡画像を記録する第２の画像データベース２０２とを備える。なお、以下の説明では通常光（白色光）を観察光として得られた画像を「通常光画像」（または「白色光画像」）といい、特殊光（狭帯域光）を観察光として得られた画像を「特殊光画像」（または「狭帯域光画像」）という。第１の画像データベース２０１，第２の画像データベース２０２に記録される内視鏡画像は、医用画像（医療画像ともいう）の一例である。
【００３４】
＜第１，第２の画像データベース＞
＜通常光画像及び特殊光画像＞
第１の画像データベース２０１及び第２の画像データベース２０２は、ハードディスク等の記録媒体により構成される。第１の画像データベース２０１には通常光を観察光（第１の観察光）として撮影された複数の通常光画像（第１のデータ群、第１のデータ、第１の画像データ、第１の医用画像）が記録され、第２の画像データベース２０２には特殊光を観察光（第２の観察光）として撮影された複数の特殊光画像（第２のデータ群、第２のデータ、第２の画像データ、第２の医用画像）が記録される。すなわち、第１の画像データベース２０１に記録された複数の通常光画像は本発明における「第１の条件で取得された複数のデータ」の一態様であり、第２の画像データベース２０２に記録された複数の特殊光画像は本発明における「第１の条件とは異なる第２の条件で取得された複数のデータ」の一態様である。特殊光画像を撮影する特殊光（狭帯域光）は例えば青色狭帯域光とすることができるが、赤色狭帯域光等他の波長でもよい。また、上述の例では第１，第２の観察光が白色光と狭帯域光である場合について説明しているが、波長帯域及び／または強度が異なる第１，第２の狭帯域光を観察光として取得された内視鏡画像等の医用画像を用いてもよい。
【００３５】
このように、通常光画像の取得条件（第１の条件）と特殊光画像の取得条件（第２の条件）は観察光の波長バランスが異なるが、この他、通常光画像と特殊光画像とで撮像装置、解像度、及び画像に施す画像処理が異なっていてもよい。すなわち、第１の条件と第２の条件とで撮像装置、観察光の波長バランス、解像度、及び画像に施す画像処理のうち少なくとも１つが異なっていてよい。「撮像装置が異なる」には光学系の特性やプロセッサの性能が異なる内視鏡を用いていることが含まれるが、これに限定されるものではない。また、「画像に施す画像処理が異なる」には、注目領域等特定の領域を強調または目立たなくする処理、特定の波長成分の影響を強調または低減する処理の有無及び／または程度が異なることが含まれるが、これに限定されるものではない。
【００３６】
＜データ取得条件によるデータ数の違い＞
内視鏡を用いた観察や検査を行う場合、ユーザは通常光（白色光）を観察光として取得された画像をモニタに表示させて確認するケースが多い。観察や検査の目的、状況（例えば、通常光では病変の構造が観察しづらい）により狭帯域光等の特殊光を観察光として画像をケースもあるが、通常光と比較すると観察光としての使用頻度が低く、そのため特殊光画像は通常光画像よりも著しく数が少ない場合が多い。機械学習により画像の学習及び／または認識を行う場合、特殊光画像についても学習及び／または認識を行う必要があるが、データ数が少ないと通常光画像と比較して学習及び／または認識の精度が低下するおそれがある。このような状況に鑑み、第１の実施形態では後述する階層型ネットワークの構成及び中間特徴量算出処理を採用してデータ数に差がある状況でも適切に学習及び／または認識できるようにしている。
【００３７】
＜内視鏡画像の正解データ＞
第１の画像データベース２０１及び第２の画像データベース２０２は、上述した内視鏡画像に加え、注目領域（ＲＯＩ：Region of Interest）を識別するための「正解データ」を画像と対応させて記憶する。具体的には、第１の画像データベース２０１は複数の通常光画像にそれぞれ対応する複数の正解データを記憶し、第２の画像データベース２０２は複数の特殊光画像にそれぞれ対応する複数の正解データを記憶する。正解データは、内視鏡画像に対して医師が指定した注目領域や鑑別結果であることが好ましい。
【００３８】
＜学習認識装置の構成＞
画像取得部１１０は、外部サーバ、データベース等とネットワークを介して通信する装置等により構成され、学習や認識に用いる内視鏡画像や正解データを第１の画像データベース２０１、第２の画像データベース２０２から取得する。画像取得部１１０は、図示せぬネットワークで学習システム１０と接続された内視鏡システム、病院内サーバ等からも内視鏡画像を取得することができる。操作部１２０は図示せぬキーボード、マウス等の入力デバイスを備え、ユーザはこれらデバイスを介して画像取得、学習や認識等の処理に必要な操作を行うことができる。制御部１３０は記録部１５０に記録された各種プログラムを読み込み、操作部１２０から入力される指令に従って、学習システム１０全体の動作を制御する。また制御部１３０は、後述する誤差算出部１６４が算出した誤差（損失）をＣＮＮ１６２（ＣＮＮ：Convolutional Neural Network、畳み込みニューラルネットワーク）に逆伝搬することにより、ＣＮＮ１６２の重みパラメータを更新する。
【００３９】
表示部１４０はモニタ１４２（表示装置）を備え、内視鏡画像、学習結果、認識結果、処理条件設定画面等を表示する。記録部１５０は図示せぬＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等で構成され、画像取得部１１０が取得したデータ、処理部１６０での学習結果や認識結果等を記録する。また、記録部１５０は内視鏡画像（医用画像）の学習、認識を行うためのプログラム（本発明の学習方法を学習システム１０に実行させるプログラムを含む）を記録する。処理部１６０は、階層型ネットワークであるＣＮＮ１６２、及びＣＮＮ１６２の出力（認識結果）と上述した「正解データ」とに基づいて損失（誤差）を算出する誤差算出部１６４を備える。
【００４０】
＜ＣＮＮの層構成＞
図２はＣＮＮ１６２の層構成の例を示す図である。図２の例において、ＣＮＮ１６２は第１の入力層３０１（第１の入力層）と、第２の入力層３０２（第２の入力層）と、２つの中間層３０３（中間層）と、認識処理層３０４とを含む。第１の入力層３０１は第１の画像データベース２０１に記憶された通常光画像（第１のデータ群）から選出された画像（第１のデータ）を入力して特徴量を出力する。第２の入力層３０２は第１の入力層３０１とは独立した入力層であり、第２の画像データベース２０２に記憶された特殊光画像（第２のデータ群）から選出された画像（第２のデータ）を入力して特徴量を出力する。中間層３０３は第１の入力層３０１及び第２の入力層３０２に対して共通の中間層であり、第１の入力層３０１が出力する特徴量または第２の入力層が出力する特徴量を入力して他の特徴量（第１，第２の中間特徴量）を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、複数の重みパラメータを保持している。重みパラメータの値は、学習が進むにつれて変化していく。
【００４１】
＜入力層及び中間層における処理＞
第１の入力層３０１、第２の入力層３０２、及び中間層３０３は、畳み込み演算、プーリング処理、及びバッチノーマライゼーションによって特徴量を算出する。畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル(１枚)の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされ、各層で畳み込みが行われるにつれて小さくなって行く。最終的には、入力した画像と同じサイズの１枚の「特徴マップ」が得られる。プーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。第１の入力層３０１、第２の入力層３０２、及び中間層３０３は、これらの処理を行う１または複数の層により構成することができる。なお、層の構成は畳み込み演算、プーリング処理、バッチノーマライゼーション処理を行う層を１つずつ含む場合に限らず、いずれかの層（例えば、畳み込み演算を行う層）が複数含まれていてもよい。
【００４２】
これら第１の入力層３０１、第２の入力層３０２、及び中間層３０３の層のうち、入力側に近い層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（対象物の形状、構造等に関する特徴の抽出）が行われる。また、中間層３０３では第１の入力層３０１及び第２の入力層３０２で抽出した特徴量に基づく対象物（注目領域）のセグメンテーションが行われるようになる。
【００４３】
＜認識処理層における処理＞
認識処理層３０４は、中間層３０３から出力された特徴量に基づき、入力された画像（通常光画像、特殊光画像）に映っている注目領域の位置検出を行ってその結果を出力する層である。認識処理層３０４は、中間層３０３から得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。即ち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。
【００４４】
認識処理層３０４は、病変に関する鑑別を実行して鑑別結果を出力するものでもよい。例えば、認識処理層３０４は、内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類し、鑑別結果として「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコア（３つのスコアの合計は１００％）として出力してもよいし、３つのスコアから明確に分類できる場合には分類結果を出力してもよい。なお鑑別結果を出力する場合、認識処理層３０４が最後の１層または複数の層として全結合層を有することが好ましい。
【００４５】
＜ＣＮＮの層構成（他の例）＞
図３はＣＮＮ１６２の層構成の他の例を示す図である。図３の例では、ＣＮＮ１６２は第１の入力層３０１（第１の入力層）を２つと、第２の入力層３０２（第２の入力層）を２つと、中間層３０３（中間層）を２つと、認識処理層３０４とを含んでいる。このように、第１の入力層３０１、第２の入力層３０２、中間層３０３が複数含まれていてもよい。
【００４６】
図４はＣＮＮ１６２の層構成のさらに他の例を示す図である。図４の例では、ＣＮＮ１６２は第１の入力層３０１（第１の入力層）を２つと、第２の入力層３０２（第２の入力層）を１つと、中間層３０３（中間層）を２つと、認識処理層３０４とを含んでいる。図４の例のように第１の入力層３０１と第２の入力層３０２との数が違っていてもよく、入力したデータの特徴量が適切に抽出されるように第１，第２の入力層の数を設定することができる。なお図３，４の例に関し、各層の層構成や処理（畳み込み演算、プーリング処理、及びバッチノーマライゼーション）の内容は図２の例について上述したのと同様である。図２〜図４に例示する構成のＣＮＮ１６２を用いた学習方法の具体的な手順については、詳細を後述する。
【００４７】
＜各種のプロセッサによる機能の実現＞
上述した画像取得部１１０、制御部１３０、処理部１６０（ＣＮＮ１６２、誤差算出部１６４）の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
【００４８】
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【００４９】
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る学習方法を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。これらのＲＯＭ，ＲＡＭ，ＥＥＰＲＯＭ等は、記録部１５０に備えられたものを用いることができる。
【００５０】
＜学習方法＞
上述した構成の学習システム１０では、第１の入力層３０１から出力される特徴量に基づく第１の特徴量を中間層３０３に入力し中間層３０３で第１の中間特徴量を算出する第１の中間特徴量算出処理と、第２の入力層３０２から出力される特徴量に基づく第２の特徴量を中間層３０３に入力し中間層３０３で第２の中間特徴量を算出する第２の中間特徴量算出処理と、をそれぞれ少なくとも１回実行する。
【００５１】
＜第１の中間特徴量算出処理＞
第１の中間特徴量算出処理では、第１の画像データベース２０１に記録されている複数の通常光画像から選出された複数の画像（第１のデータ）でミニバッチを構成し、第１の入力層３０１に入力する。中間層３０３には上述のように第１の入力層３０１及び第２の入力層３０２が接続されているので、学習の際には第１の入力層３０１の出力と第２の入力層３０２の出力とを切り替えて入力する。図５は出力を切り替える様子を示す図であり、同図の（ａ）部分は第１の入力層３０１からの出力を中間層３０３へ入力する状態を示している。なお、図５において下向き矢印は第１の入力層３０１、第２の入力層３０２から中間層３０３を経て認識処理層３０４に至る方向に情報が伝達されること（学習方向）を意味し、学習方向とは逆の上向き矢印は認識処理層３０４から中間層３０３を経て第１の入力層３０１、第２の入力層３０２に情報が伝達されること（後述する誤差逆伝搬）を意味する。
【００５２】
図５の（ａ）部分に示す状態で、第１の入力層３０１から出力される特徴量に基づく第１の特徴量を中間層３０３へ入力して、中間層３０３で第１の中間特徴量を算出する（第１の中間特徴量算出処理、第１の中間特徴量算出工程）。図６は中間層３０３に入力する特徴量を切り替える様子を示す図であり、同図の（ａ）部分は第１の特徴量を中間層３０３へ入力する状態（第１の入力層３０１に含まれる層を構成するノード３０１Ａからの出力を、中間層３０３を構成するノード３０３Ａに入力している）を示している。入力の際、第１の入力層３０１から出力される特徴量を第１の特徴量としてそのまま中間層３０３へ入力してもよいし、適宜重みを乗じた特徴量を第１の特徴量として中間層３０３へ入力してもよい（図７を参照）。なお、図中の実線は上述した出力の切り替えによりノードからデータが出力または入力されている状態を示し、図中の点線はノードからデータが出力または入力されていない状態を示す。ノード３０１Ａ，３０３Ａは概念的に示したものであり、数は特に限定されない。これらの点については図７でも同様である。
【００５３】
図７は第１の入力層３０１及び第２の入力層３０２から中間層３０３に特徴量を入力する際の畳み込み（Convolution）の様子を示す図である。図７の（ａ）部分は、第１の入力層３０１のノードＸ１１、Ｘ１２、Ｘ１３の出力に対しそれぞれ重みパラメータＷ１１、Ｗ１２、Ｗ１３を乗じて中間層３０３のノードＹ１１に入力する様子を示している（同図に示す状態では、ノードＸ１０からはノードＹ１１に入力されていない）。同図ではノードＸ１１、Ｘ１２、Ｘ１３とノードＹ１１との入力関係を示しているが、中間層３０３の他のノードＹ１０、Ｙ１２、Ｙ１３についても同様の関係が成立する。
【００５４】
＜認識結果の出力＞
中間層３０３で算出した第１の中間特徴量を認識処理層３０４に入力し、認識処理層３０４は認識結果を出力する。
【００５５】
＜誤差逆伝搬による重みパラメータの更新＞
誤差算出部１６４は認識処理層３０４が出力する認識結果と第１のデータに対する正解とを比較して損失（誤差）を計算し、損失が小さくなるように、図５の（ａ）部分に示すように、第１の入力層３０１及び中間層３０３における重みパラメータを出力側の層から入力側の層に向けて更新していく（誤差逆伝搬）。
【００５６】
＜第２の中間特徴量算出処理＞
第２の中間特徴量算出処理（第２の中間特徴量算出工程）は、第１の中間特徴量算出処理と同様に行うことができるので、第１の中間特徴量算出処理との相違を中心に説明する。第２の中間特徴量算出処理では、第２の画像データベース２０２に記録されている複数の特殊光画像から選出された複数の画像（第２のデータ）でミニバッチを構成し、第２の入力層３０２に入力する。この際、図５の（ｂ）部分に示すように出力を切り替え、第２の入力層３０２からの出力を中間層３０３へ入力する。図６の（ｂ）部分は、第２の特徴量を中間層３０３へ入力する様子（第２の入力層３０２を構成するノード３０２Ａからの出力を、中間層３０３を構成するノード３０３Ａに入力）を示す図である。図５の（ｂ）部分に示す状態で、第２の入力層３０２から出力される特徴量に基づく第２の特徴量を中間層３０３へ入力して、中間層３０３で第２の中間特徴量を算出する（第２の中間特徴量算出処理、第２の中間特徴量算出工程）。図６の（ｂ）部分は第２の特徴量を中間層３０３へ入力する状態を示している。
【００５７】
図７の（ｂ）部分は、同図の（ａ）部分と同様に、第２の入力層３０２のノードＸ２１、Ｘ２２、Ｘ２３の出力に対しそれぞれ重みパラメータＷ２１、Ｗ２２、Ｗ２３を乗じて中間層３０３のノードＹ１１に入力する様子を示している（同図に示す状態では、ノードＸ２０からはノードＹ１１に入力されていない）。同図ではノードＸ２１、Ｘ２２、Ｘ２３とノードＹ１１との入力関係を示しているが、中間層３０３の他のノードＹ１０、Ｙ１２、Ｙ１３についても同様の関係が成立する。
【００５８】
中間層３０３で算出した第２の中間特徴量を認識処理層３０４に入力し、認識処理層３０４は認識結果を出力する。誤差算出部１６４は、上述した通常光画像（第１のデータ）の場合と同様に誤差逆伝搬により重みパラメータを更新する（図５の（ｂ）部分を参照）。
【００５９】
＜学習パターンの例＞
学習システム１０では、第１、第２の中間特徴量算出処理（中間特徴量算出工程）をそれぞれ少なくとも１回実行する。以下、処理の回数及び順番の例について説明する。
【００６０】
（第１の例）
第１の例では、第１の入力層３０１における特徴量抽出処理及びこれに続く第１の中間特徴量算出処理（第１の中間特徴量算出工程）を少なくとも２回実行し、第１の中間特徴量算出処理が１回終了してから他の第１の中間特徴量算出処理が始まるまでの期間に第２の入力層３０２における特徴量抽出処理及びこれに続く第２の中間特徴量算出処理（第２の中間特徴量算出工程）を実行する。例えば、図８の（ａ）部分に示す順番で処理を繰り返す。図中「第１」、「第２」とあるのはそれぞれ「第１の入力層３０１における特徴量抽出処理及びこれに続く第１の中間特徴量算出処理」、「第２の入力層３０２における特徴量抽出処理及びこれに続く第２の中間特徴量算出処理」を意味し、ミニバッチ単位で１回、２回…と数える。
【００６１】
（第２の例）
第２の例では、第１の入力層３０１における特徴量抽出処理及びこれに続く第１の中間特徴量算出処理を少なくとも２回実行し、少なくとも２回の第１の中間特徴量算出処理が終了してから第２の入力層３０２における特徴量抽出処理及びこれに続く第２の中間特徴量算出処理を実行する。例えば、図８の（ｂ）部分に示す順番で処理を繰り返す。図８の（ｂ）部分中、「第１」、「第２」とあるのは同図の（ａ）部分と同じ意味である。この場合、図８の（ｃ）部分に示すように第２の中間特徴量算出処理を２回続けて行ってもよい。また、第１の入力層３０１における特徴量抽出処理及びこれに続く第１の中間特徴量算出処理を複数回継続して行い、第１の中間特徴量算出処理が終了してから第２の入力層３０２における特徴量抽出処理及びこれに続く第２の中間特徴量算出処理を行ってもよい（図９を参照）。なお、図８，９に示すパターンは例示であり、他にも様々なパターンで学習を行うことができる。
【００６２】
＜第１の実施形態の効果＞
第１の実施形態に係る学習システム１０では、第１の入力層３０１及びこれと独立した第２の入力層３０２に第１，第２のデータをそれぞれ入力し、各入力層でそれぞれ特徴量を算出することで、一方の入力層における特徴量算出が他方の入力層における特徴量算出の影響を受けないようにしている。また学習システム１０では、入力層での特徴抽出に加えて、第１の入力層３０１及び第２の入力層３０２に共通な中間層３０３において第１の中間特徴量算出処理と第２の中間特徴量算出処理とをそれぞれ少なくとも１回実行するので、入力層で算出した特徴量を中間層３０３における中間特徴量算出に反映することができる。また、階層型ネットワークはパラメータが多いため過学習になりがちであるが、第１の実施形態に係る学習システム１０では、中間層３０３は第１，第２のデータを合わせた大量のデータで学習できるため過学習になりにくく、一方、入力層は第１，第２の入力層に独立しておりそれぞれの入力層のパラメータは少なくなるため、少量のデータでも過学習になりにくい。これにより学習システム１０では、同一のカテゴリに属し異なる条件で取得されたデータ（通常光画像と特殊光画像等）を適切に学習することができる。
【００６３】
＜合成ミニバッチによる学習＞
なお、上述した学習パターンでは第１，第２のデータについてミニバッチ単位で別個に特徴量算出を行っているが、中間層３０３への入力直前に第１，第２のミニバッチを１つのミニバッチに合成してもよい。具体的には、第１の画像データベース２０１に記録されている複数の通常光画像から選出された複数の画像（第１のデータ）でミニバッチ（第１のミニバッチ）を構成し、第１の入力層３０１に入力して特徴量を算出する。また、第２の画像データベース２０２に記録されている複数の特殊光画像から選出された複数の画像（第２のデータ）でミニバッチ（第２のミニバッチ）を構成し、第２の入力層３０２に入力して特徴量を算出する。これらの特徴量について中間層３０３への入力直前に第１，第２のミニバッチを１つのミニバッチに合成して中間層３０３に入力してもよい。
【００６４】
＜認識処理＞
認識（推論）処理においては、第１の入力層３０１または第２の入力層３０２を取り外した構成にして認識を行ってもよい。例えば、図５の（ａ）部分のように第２の入力層３０２を取り外して第１の入力層３０１のみが接続されている状態で、第１，第２のデータに対して認識を行うことができる（この場合、第１、第２のデータはいずれも第１の入力層３０１に入力する）。また、図５の（ｂ）部分のように第１の入力層３０１を取り外して第２の入力層３０２のみが接続されている状態で、第１，第２のデータに対して認識を行うことができる（この場合、第１、第２のデータはいずれも第２の入力層３０２に入力する）。
【００６５】
＜第１狭帯域光画像及び第２狭帯域光画像による学習＞
上述した例では、通常光画像（白色光画像）及び特殊光画像（例えば、青色特殊光画像）を用いた学習について説明したが、観察光の波長バランスが異なる複数の狭帯域光画像を用いて学習を行ってもよい。第１の入力層は第１の狭帯域光を第１の観察光として取得された第１の医用画像のデータを第１の画像データとして入力し、第２の入力層は第１の狭帯域光とは異なる第２の狭帯域光を第２の観察光として取得された第２の医用画像のデータを第２の画像データとして入力してもよい。この場合、狭帯域光の組み合わせとしては複数の青色狭帯域光、青色狭帯域光と紫色狭帯域光、複数の赤色狭帯域光等を用いることができる。
【００６６】
＜その他のデータを用いた学習＞
第１の実施形態では異なる観察光で取得された内視鏡画像を用いた学習について説明したが、本発明に係る学習装置及び学習方法ではＣＴ装置（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）装置等の内視鏡画像以外の他の医用画像を用いる場合でも同様に学習することができる。また、医用画像以外の画像（例えば、人物、動物、風景等他の画像）を用いる場合でも同様に学習することができる。さらに、入力するデータが画像でなく文章、音声等の場合も同様に学習することができる。
【００６７】
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
【符号の説明】
【００６８】
１０      学習システム
１００    学習認識装置
１１０    画像取得部
１２０    操作部
１３０    制御部
１４０    表示部
１４２    モニタ
１５０    記録部
１６０    処理部
１６２    ＣＮＮ
１６４    誤差算出部
２０１    第１の画像データベース
２０２    第２の画像データベース
３０１    第１の入力層
３０１Ａ  ノード
３０２    第２の入力層
３０２Ａ  ノード
３０３    中間層
３０３Ａ  ノード
３０４    認識処理層
Ｗ１１    重みパラメータ
Ｗ１２    重みパラメータ
Ｗ１３    重みパラメータ
Ｗ２１    重みパラメータ
Ｗ２２    重みパラメータ
Ｗ２３    重みパラメータ
Ｘ１０    ノード
Ｘ１１    ノード
Ｘ１２    ノード
Ｘ１３    ノード
Ｘ２０    ノード
Ｘ２１    ノード
Ｘ２２    ノード
Ｘ２３    ノード
Ｙ１０    ノード
Ｙ１１    ノード
Ｙ１２    ノード
Ｙ１３    ノード
【図１】
2020022027.tif 000003
【図２】
2020022027.tif 000004
【図３】
2020022027.tif 000005
【図４】
2020022027.tif 000006
【図５】
2020022027.tif 000007
【図６】
2020022027.tif 000008
【図７】
2020022027.tif 000009
【図８】
2020022027.tif 000010
【図９】
2020022027.tif 000011
【手続補正書】
【提出日】令和3年1月27日(2021.1.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
このように、通常光画像の取得条件（第１の条件）と特殊光画像の取得条件（第２の条件）は観察光の波長バランスが異なるが、この他、通常光画像の取得条件と特殊光画像の取得条件とで撮像装置、解像度、及び画像に施す画像処理が異なっていてもよい。すなわち、第１の条件と第２の条件とで撮像装置、観察光の波長バランス、解像度、及び画像に施す画像処理のうち少なくとも１つが異なっていてよい。「撮像装置が異なる」には光学系の特性やプロセッサの性能が異なる内視鏡を用いていることが含まれるが、これに限定されるものではない。また、「画像に施す画像処理が異なる」には、注目領域等特定の領域を強調または目立たなくする処理、特定の波長成分の影響を強調または低減する処理の有無及び／または程度が異なることが含まれるが、これに限定されるものではない。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
＜入力層及び中間層における処理＞
第１の入力層３０１、第２の入力層３０２、及び中間層３０３は、畳み込み演算、プーリング処理、及びバッチノーマライゼーション処理によって特徴量を算出する。畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル(１枚)の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされ、各層で畳み込みが行われるにつれて小さくなって行く。最終的には、入力した画像と同じサイズの１枚の「特徴マップ」が得られる。プーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。第１の入力層３０１、第２の入力層３０２、及び中間層３０３は、これらの処理を行う１または複数の層により構成することができる。なお、層の構成は畳み込み演算、プーリング処理、バッチノーマライゼーション処理を行う層を１つずつ含む場合に限らず、いずれかの層（例えば、畳み込み演算を行う層）が複数含まれていてもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
図４はＣＮＮ１６２の層構成のさらに他の例を示す図である。図４の例では、ＣＮＮ１６２は第１の入力層３０１（第１の入力層）を２つと、第２の入力層３０２（第２の入力層）を１つと、中間層３０３（中間層）を２つと、認識処理層３０４とを含んでいる。図４の例のように第１の入力層３０１と第２の入力層３０２との数が違っていてもよく、入力したデータの特徴量が適切に抽出されるように第１，第２の入力層の数を設定することができる。なお図３，４の例に関し、各層の層構成や処理（畳み込み演算、プーリング処理、及びバッチノーマライゼーション処理）の内容は図２の例について上述したのと同様である。図２〜図４に例示する構成のＣＮＮ１６２を用いた学習方法の具体的な手順については、詳細を後述する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On a Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
図７は第１の入力層３０１及び第２の入力層３０２から中間層３０３に特徴量を入力する際の畳み込み（Convolution）の様子を示す図である。図７の（ａ）部分は、第１の入力層３０１のノードＸ１１、Ｘ１２、Ｘ１３の出力に対しそれぞれ重みパラメータＷ１１、Ｗ１２、Ｗ１３を乗じて中間層３０３のノードＹ１１に入力する様子を示している（同図に示す状態では、ノードＸ１０からはノードＹ１１に入力されていない）。同図ではノードＸ１１、Ｘ１２、Ｘ１３とノードＹ１１との入力関係を示しているが、中間層３０３の他のノードＹ１０、Ｙ１２、Ｙ１３についても同様の関係が成立する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
図７の（ｂ）部分は、同図の（ａ）部分と同様に、第２の入力層３０２のノードＸ２１、Ｘ２２、Ｘ２３の出力に対しそれぞれ重みパラメータＷ２１、Ｗ２２、Ｗ２３を乗じて中間層３０３のノードＹ１１に入力する様子を示している（同図に示す状態では、ノードＸ２０からはノードＹ１１に入力されていない）。同図ではノードＸ２１、Ｘ２２、Ｘ２３とノードＹ１１との入力関係を示しているが、中間層３０３の他のノードＹ１０、Ｙ１２、Ｙ１３についても同様の関係が成立する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
１０      学習システム
１００    学習認識装置
１１０    画像取得部
１２０    操作部
１３０    制御部
１４０    表示部
１４２    モニタ
１５０    記録部
１６０    処理部
１６２    ＣＮＮ
１６４    誤差算出部
２０１    第１の画像データベース
２０２    第２の画像データベース
３０１    第１の入力層
３０１Ａ  ノード
３０２    第２の入力層
３０２Ａ  ノード
３０３    中間層
３０３Ａ  ノード
３０４    認識処理層
Ｗ１１    重みパラメータ
Ｗ１２    重みパラメータ
Ｗ１３    重みパラメータ
Ｗ２１    重みパラメータ
Ｗ２２    重みパラメータ
Ｗ２３    重みパラメータ
Ｘ１０    ノード
Ｘ１１    ノード
Ｘ１２    ノード
Ｘ１３    ノード
Ｘ２０    ノード
Ｘ２１    ノード
Ｘ２２    ノード
Ｘ２３    ノード
Ｙ１０    ノード
Ｙ１１    ノード
Ｙ１２    ノード
Ｙ１３    ノード
【国際調査報告】
2020022027.tif 000012
2020022027.tif 000013
2020022027.tif 000014
2020022027.tif 000015