(57)【要約】学習装置は、階層毎に、入力画像に含まれる空間周波数の周波数帯域が異なる特徴を抽出することにより、入力画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルを学習させる。学習データ解析部は、学習データのうち、アノテーション画像に含まれる周波数帯域を解析する。学習方法決定部は、学習データ解析部による周波数帯域の解析結果に基づいて、学習データを用いた学習方法を決定する。学習部は、学習データを用いて、決定した学習方法で機械学習モデルを学習させる。
2020066233.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を解析する複数の階層を有する機械学習モデルであって、前記階層毎に、前記入力画像に含まれる空間周波数の周波数帯域が異なる特徴を抽出することにより、前記入力画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに学習データを与えて、前記機械学習モデルを学習させる学習装置であり、
前記学習データは、学習用入力画像と前記学習用入力画像に含まれる前記クラス毎の領域をアノテーションで示したアノテーション画像との組であり、前記学習データのうち、少なくとも前記アノテーション画像に含まれる前記周波数帯域を解析する学習データ解析部と、
前記学習データ解析部による前記周波数帯域の解析結果に基づいて、前記学習データを用いた学習方法を決定する学習方法決定部と、
前記学習データを用いて、決定した前記学習方法で前記機械学習モデルを学習させる学習部と、
を備えている学習装置。
【請求項２】
前記学習データ解析部は、前記アノテーション画像に含まれる前記周波数帯域を解析して、前記周波数帯域のうち、前記特徴を抽出する必要性が相対的に高い前記周波数帯域を必要帯域として特定し、
前記学習方法決定部は、特定した前記必要帯域に基づいて、前記機械学習モデルを再構成する請求項１に記載の学習装置。
【請求項３】
前記再構成において、前記学習方法決定部は、特定した前記必要帯域に基づいて、前記複数の階層のうち、学習に必要な必要階層と学習において省略可能な省略可能階層とを決定し、前記省略可能階層については、前記必要階層よりも、処理量を減らす請求項２に記載の学習装置。
【請求項４】
前記学習データ解析部は、前記アノテーション画像に含まれる前記周波数帯域を解析して、前記周波数帯域のうち、前記特徴を抽出する必要性が相対的に高い前記周波数帯域を必要帯域として特定し、
前記学習方法決定部は、特定した前記必要帯域に基づいて、前記学習用入力画像の解像度を下げて、前記アノテーション画像に含まれる前記周波数帯域の範囲と、前記機械学習モデルにおいて解析可能な前記周波数帯域の範囲とを整合させる請求項１から３のいずれか１項に記載の学習装置。
【請求項５】
前記学習データ解析部は、前記アノテーション画像に加えて、前記学習用入力画像に含まれる前記周波数帯域を解析し、
前記学習方法決定部は、前記アノテーション画像の解析結果と、前記学習用入力画像の解析結果とに基づいて、前記学習方法を決定する請求項１から４のいずれか１項に記載の学習装置。
【請求項６】
前記学習データ解析部は、前記アノテーション画像の解像度が段階的に下げられた、解像度が異なる複数の画像で構成される画像ピラミッドを生成し、
前記画像ピラミッドに基づいて前記アノテーション画像に含まれる前記周波数帯域を解析する請求項１から５のいずれか１項に記載の学習装置。
【請求項７】
前記機械学習モデルは、前記階層毎に、フィルタを用いた畳み込み演算を行って、前記入力画像に含まれる前記周波数帯域が異なる特徴を表す画像特徴マップを抽出する畳み込み処理と、前記畳み込み処理で抽出された前記画像特徴マップの局所的な統計量を計算して前記画像特徴マップを圧縮することにより、画像サイズが縮小された前記画像特徴マップを出力するプーリング処理とを行い、かつ、次の前記階層においては、前の前記階層で出力され、かつ、縮小された前記画像特徴マップに対して前記畳み込み処理と前記プーリング処理とを繰り返すことにより、前記階層毎の前記画像特徴マップを抽出するエンコーダネットワークと、
前記エンコーダネットワークにおいて出力される最小サイズの前記画像特徴マップから、アップサンプリングによって前記画像特徴マップの画像サイズを段階的に拡大するアップサンプリング処理と、段階的に拡大された前記画像特徴マップと、前記エンコーダネットワークにおいて前記階層毎に抽出され、かつ、前記画像サイズが同じ前記画像特徴マップとを結合するマージ処理とを繰り返すことにより、前記クラス毎の領域がセグメンテーションされた出力画像を生成するデコーダネットワークとを有する畳み込みニューラルネットワークで構成される請求項１から６のいずれか１項に記載の学習装置。
【請求項８】
前記入力画像は、細胞を映した細胞画像である請求項１から７のいずれか１項に記載の学習装置。
【請求項９】
前記学習データ解析部は、前記学習データを複数有する学習データ群に基づいて、前記周波数帯域を解析する請求項１から８のいずれか１項に記載の学習装置。
【請求項１０】
入力画像を解析する複数の階層を有する機械学習モデルであって、前記階層毎に、前記入力画像に含まれる空間周波数の周波数帯域が異なる特徴を抽出することにより、前記入力画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに学習データを与えて、前記機械学習モデルを学習させる学習装置の作動プログラムであり、
前記学習データは、学習用入力画像と前記学習用入力画像に含まれる前記クラス毎の領域をアノテーションで示したアノテーション画像との組であり、前記学習データのうち、少なくとも前記アノテーション画像に含まれる前記周波数帯域を解析する学習データ解析部と、
前記学習データ解析部による前記周波数帯域の解析結果に基づいて、前記学習データを用いた学習方法を決定する学習方法決定部と、
前記学習データを用いて、決定した前記学習方法で前記機械学習モデルを学習させる学習部として、コンピュータを機能させる学習装置の作動プログラム。
【請求項１１】
入力画像を解析する複数の階層を有する機械学習モデルであって、前記階層毎に、前記入力画像に含まれる空間周波数の周波数帯域が異なる特徴を抽出することにより、前記入力画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに学習データを与えて、前記機械学習モデルを学習させる学習装置の作動方法であり、
前記学習データは、学習用入力画像と前記学習用入力画像に含まれる前記クラス毎の領域をアノテーションで示したアノテーション画像との組であり、前記学習データのうち、少なくとも前記アノテーション画像に含まれる前記周波数帯域を解析する学習データ解析ステップと、
前記学習データ解析ステップにおける前記周波数帯域の解析結果に基づいて、前記学習データを用いた学習方法を決定する学習方法決定ステップと、
前記学習データを用いて、決定した前記学習方法で前記機械学習モデルを学習させる学習ステップと、を含む学習装置の作動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の技術は、学習装置、学習装置の作動プログラム及び作動方法に関する。
【背景技術】
【０００２】
近年、ニューラルネットワークを利用して入力画像を解析することで、セマンティックセグメンテーションを実現する機械学習モデルが知られている。セマンティックセグメンテーションは、入力画像内に含まれる複数のクラスの判別を画素単位で行って、判別したクラス毎に領域を区分けした出力画像を出力するものである。
【０００３】
クラスとは、例えば、入力画像に映る物体の種類である。セマンティックセグメンテーションは、端的に言えば、画像に映る物体のクラスとその輪郭を判別するもので、その判別結果を出力画像として出力する。例えば画像にコップ、本、携帯電話の３つの物体が映っていた場合、出力画像は、理想的には、コップ、本、携帯電話が各々クラスとして判別され、かつこれら物体の輪郭を忠実に辿った輪郭線で画定される領域がクラス毎に識別可能に提示されるものである。
【０００４】
こうしたセマンティックセグメンテーションを実施するための機械学習モデルとして、入力画像を解析する複数の階層を有し、階層毎に、入力画像に含まれる空間周波数の周波数帯域が異なる特徴を抽出する階層型の機械学習モデル（以下、単に階層型モデルという）が利用される。階層型モデルとしては、例えば、Ｕ−Ｎｅｔ（U-Shaped Neural Network）等の畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）が知られている。なお、以下において、特に断りなく周波数帯域という場合、空間周波数の周波数帯域を意味する。
【０００５】
こうした階層型モデルでは、階層毎に二次元に配列された複数の画素値を持つ入力データを入力して、入力データにフィルタを適用して、隣接する隣接画素の画素値を畳み込むことにより、入力画像の特徴を表す画像特徴マップを抽出する畳み込み処理が行われる。複数の階層のうち、初段の階層となる最上位の階層には、入力データとして解析対象の入力画像が入力される。入力画像における隣接画素の画素値で表される特徴は、最も細かい微細構造の特徴であるため、入力画像に対して、隣接画素の画素値の畳み込み処理を行うことは、入力画像内において、周波数帯域が最も高い微細構造の特徴を抽出することに相当する。
【０００６】
各階層においては、畳み込み処理の後、抽出された画像特徴マップの局所的な統計量を計算して画像特徴マップを圧縮することにより、画像サイズが縮小された画像特徴マップを出力するプーリング処理が行われる。次の階層では、縮小された画像特徴マップが入力データとして入力されて、畳み込み処理とプーリング処理とが繰り返される。
【０００７】
このように、上位の階層から下位の階層に向かうにつれて、各階層に入力される入力データは、画像サイズが段階的に縮小されて解像度が落とされる。例えば、中位の階層では、入力画像の１／２から１／４の画像サイズの画像特徴マップが入力され、下位の階層では、１／８から１／１６の画像サイズの画像特徴マップが入力される。
【０００８】
中位の階層及び下位の階層においても、入力画像の特徴を抽出するために、入力される画像特徴マップに対してフィルタを適用して隣接画素の画素値の畳み込み処理が行われる。しかし、入力画像よりも解像度が低い画像特徴マップにおいては、隣接画素といっても、入力画像内の画素位置で考えれば、空間的に離れた画素になるため、下位の階層にいくほど、入力画像内における周波数帯域が低い大域構造の特徴が抽出されることになる。
【０００９】
このように、階層型モデルでは、複数の階層を用いて、入力画像に含まれる周波数帯域が異なる特徴を抽出する。入力画像に含まれる判別対象のクラスの周波数帯域は様々である。階層毎に周波数帯域が異なる特徴を抽出することで、入力画像に含まれる様々な周波数帯域のクラスを判別できるようにしている。
【００１０】
特許文献１には、セマンティックセグメンテーションに関するものではないが、画像解析に利用する畳み込みニューラルネットワークを用いた階層型モデルが記載されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１２−４３１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
こうしたセマンティックセグメンテーションを実施するための階層型モデルでは、クラスの判別精度を高めるために、学習データに基づく学習が行われる。学習データは、入力画像と同様の学習用入力画像と、学習用入力画像に含まれるクラス毎の領域をアノテーションで示したアノテーション画像との組で構成される。アノテーション画像は、学習用入力画像に対して、ペンタブレット等を用いて手動でクラス毎に領域を指定した画像である。アノテーション画像は、対応する学習用入力画像に含まれるクラスの判別結果の正解を示す正解画像である。
【００１３】
学習は、階層型モデルに対して、このような学習データを与えることにより行われる。具体的には、階層型モデルに対して学習用入力画像を入力し、入力した学習用入力画像の判別結果である学習用出力画像を出力させる。学習用出力画像と、学習用入力画像に対応するアノテーション画像とが比較されて、クラスの判別精度が評価される。評価結果に応じて、階層型モデルが更新される。
【００１４】
しかしながら、このような階層型モデルの学習に際しては、学習データにおける判別対象のクラスの周波数帯域と、階層型モデルが解析可能な周波数帯域とが整合していない場合、次のような問題があった。第１は、学習に際して適切なクラス判別ができないという問題であり、第２は、学習に際して計算処理の無駄が多くなるという問題である。計算処理の無駄が多いと、結果として、メモリ等のリソースの消費量及び計算時間の無駄も多くなる。
【００１５】
こうした問題が生じる原因の１つは、学習データに含まれるアノテーション画像のクラスの領域の指定の仕方にある。アノテーション画像のクラスの領域の指定は、例えば、手動でクラスの領域に色を塗ることにより、アノテーションを付すことによって行われる。人が手動で色を塗るため、同じクラスであっても、塗り方の細かさにバラつきが生じる。例えば、１画素単位で細かく色が塗られたアノテーション画像もあれば、２画素から４画素単位で粗く色が塗られたアノテーション画像もあり、アノテーション画像によって塗り方の細かさが異なる。
【００１６】
塗り方が細かい場合は、画像内においてそのクラスを示す特徴は、周波数帯域が高く、塗り方が粗い場合は、周波数帯域が低い。アノテーション画像において、判別対象のクラスのほとんどの周波数帯域が低い場合は、階層型モデルにおいて、上位の階層における微細構造を抽出する処理が不要な場合も生じる。この場合は、階層型モデルにおいて、入力される学習データに含まれるクラスの判別精度の向上に寄与しない不要な階層が含まれていることになる。これは、学習データにおける判別対象のクラスの周波数帯域と、階層型モデルが解析可能な周波数帯域との不整合が生じる場合の一例である。このような不整合は、上記第２の問題を引き起こす。
【００１７】
また、階層型モデルが解析可能な周波数帯域の範囲は当然ながら有限である。階層型モデルにおいて、最上位の階層から最下位の階層までの間で画像サイズを縮小する縮小率は予め設定される。例えば、最上位の階層には、入力画像が等倍（１／１）で入力され、最下位の階層には、入力画像の１／１６の画像サイズの入力データが入力される場合、縮小率は１／１６である。そのため、最上位の階層に入力される入力画像の解像度が高すぎる場合は、最下位の階層においても、入力画像に含まれる、周波数帯域が低い大域構造の特徴が抽出できない場合もある。これも、学習データにおける判別対象のクラスの周波数帯域と、階層型モデルが解析可能な周波数帯域との不整合が生じる場合の一例である。このような不整合は、上記第１の問題を引き起こす。
【００１８】
学習に際して適切なクラス判別ができないという第１の問題は、階層型モデルの学習効果に影響し、終局的には、運用フェーズにおけるクラスの判別精度に影響する問題である。また、階層型モデルの学習は、大量の学習データに基づいて繰り返し行われるため、学習に際して計算処理の無駄が多くなるという第２の問題も看過できない。
【００１９】
本開示の技術は、従来と比較して、クラスの適切な判別ができ、かつ、計算処理の無駄を省くことが可能な学習装置、学習装置の作動プログラム及び作動方法を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記目的を達成するために、本開示の学習装置は、入力画像を解析する複数の階層を有する機械学習モデルであって、階層毎に、入力画像に含まれる空間周波数の周波数帯域が異なる特徴を抽出することにより、入力画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに学習データを与えて、機械学習モデルを学習させる学習装置であり、学習データは、学習用入力画像と学習用入力画像に含まれるクラス毎の領域をアノテーションで示したアノテーション画像との組であり、学習データのうち、少なくともアノテーション画像に含まれる周波数帯域を解析する学習データ解析部と、学習データ解析部による周波数帯域の解析結果に基づいて、学習データを用いた学習方法を決定する学習方法決定部と、学習データを用いて、決定した学習方法で機械学習モデルを学習させる学習部と、を備えている。
【００２１】
学習データ解析部は、アノテーション画像に含まれる周波数帯域を解析して、周波数帯域のうち、特徴を抽出する必要性が相対的に高い周波数帯域を必要帯域として特定し、学習方法決定部は、特定した必要帯域に基づいて、機械学習モデルを再構成することが好ましい。
【００２２】
再構成において、学習方法決定部は、特定した必要帯域に基づいて、複数の階層のうち、学習に必要な必要階層と学習において省略可能な省略可能階層とを決定し、省略可能階層については、必要階層よりも、処理量を減らすことが好ましい。
【００２３】
学習データ解析部は、アノテーション画像に含まれる周波数帯域を解析して、周波数帯域のうち、特徴を抽出する必要性が相対的に高い周波数帯域を必要帯域として特定し、学習方法決定部は、特定した周波数帯域に基づいて、学習用入力画像の解像度を下げて、アノテーション画像に含まれる周波数帯域の範囲と、機械学習モデルにおいて解析可能な周波数帯域の範囲とを整合させることが好ましい。
【００２４】
学習データ解析部は、アノテーション画像に加えて、学習用入力画像に含まれる周波数帯域を解析し、学習方法決定部は、アノテーション画像の解析結果と、学習用入力画像の解析結果とに基づいて、学習方法を決定することが好ましい。
【００２５】
学習データ解析部は、アノテーション画像の解像度が段階的に下げられた、解像度が異なる複数の画像で構成される画像ピラミッドを生成し、画像ピラミッドに基づいてアノテーション画像に含まれる周波数帯域を解析することが好ましい。
【００２６】
機械学習モデルは、階層毎に、フィルタを用いた畳み込み演算を行って、入力画像に含まれる周波数帯域が異なる特徴を表す画像特徴マップを抽出する畳み込み処理と、畳み込み処理で抽出された画像特徴マップの局所的な統計量を計算して画像特徴マップを圧縮することにより、画像サイズが縮小された画像特徴マップを出力するプーリング処理とを行い、かつ、次の階層においては、前の階層で出力され、かつ、縮小された画像特徴マップに対して、畳み込み処理とプーリング処理とを繰り返すことにより、階層毎の画像特徴マップを抽出するエンコーダネットワークと、エンコーダネットワークにおいて出力される最小サイズの画像特徴マップから、アップサンプリングによって画像特徴マップの画像サイズを段階的に拡大するアップサンプリング処理と、段階的に拡大された画像特徴マップと、エンコーダネットワークにおいて階層毎に抽出され、かつ、画像サイズが同じ画像特徴マップとを結合するマージ処理とを繰り返すことにより、クラス毎の領域がセグメンテーションされた出力画像を生成するデコーダネットワークとを有する畳み込みニューラルネットワークで構成されていることが好ましい。
【００２７】
入力画像は、細胞を映した細胞画像であることが好ましい。
【００２８】
学習データ解析部は、学習データを複数有する学習データ群に基づいて、周波数帯域を解析することが好ましい。
【００２９】
本開示の学習装置の作動プログラムは、入力画像を解析する複数の階層を有する機械学習モデルであって、階層毎に、入力画像に含まれる空間周波数の周波数帯域が異なる特徴を抽出することにより、入力画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに学習データを与えて、機械学習モデルを学習させる学習装置の作動プログラムであり、学習データは、学習用入力画像と学習用入力画像に含まれるクラス毎の領域をアノテーションで示したアノテーション画像との組であり、学習データのうち、少なくともアノテーション画像に含まれる周波数帯域を解析する学習データ解析部と、学習データ解析部による周波数帯域の解析結果に基づいて、学習データを用いた学習方法を決定する学習方法決定部と、学習データを用いて、決定した学習方法で機械学習モデルを学習させる学習部として、コンピュータを機能させる。
【００３０】
本開示の学習装置の作動方法は、入力画像を解析する複数の階層を有する機械学習モデルであって、階層毎に、入力画像に含まれる空間周波数の周波数帯域が異なる特徴を抽出することにより、入力画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに学習データを与えて、機械学習モデルを学習させる学習装置の作動方法であり、学習データは、学習用入力画像と学習用入力画像に含まれるクラス毎の領域をアノテーションで示したアノテーション画像との組であり、学習データのうち、少なくともアノテーション画像に含まれる周波数帯域を解析する学習データ解析ステップと、学習データ解析ステップにおける周波数帯域の解析結果に基づいて、学習データを用いた学習方法を決定する学習方法決定ステップと、学習データを用いて、決定した学習方法で機械学習モデルを学習させる学習ステップと、を含む。
【発明の効果】
【００３１】
本開示の技術によれば、従来と比較して、クラスの適切な判別ができ、かつ、計算処理の無駄を省くことができる。
【図面の簡単な説明】
【００３２】
【図１】学習装置とその処理の概要を示す図である。
【図２】運用装置とその処理の概要を示す図である。
【図３】細胞画像を示す図であり、図３Ａは学習用入力画像、図３Ｂはアノテーション画像をそれぞれ示す。
【図４】学習用入力画像を分割して、学習用入力画像群を構成することを示す図である。
【図５】アノテーション画像を分割して、アノテーション画像群を構成することを示す図である。
【図６】階層型モデルを示す図である。
【図７】畳み込み処理の説明図である。
【図８】画像特徴マップを示す図である。
【図９】画像とニューラルネットワークとの対応関係を示す図である。
【図１０】学習装置を構成するコンピュータを示すブロック図である。
【図１１】学習装置のＣＰＵが実現する処理部を示すブロック図である。
【図１２】アノテーション画像の塗り方の違いを示す図である。図１２Ａは、アノテーションが付されていない状態を示す図である。図１２Ｂは、細かい輪郭のアノテーションが付された図である。図１２Ｃは、粗い輪郭のアノテーションが付された図である。
【図１３】周波数特定処理の具体例を示す図である。
【図１４】画像ピラミッドによる周波数解析を示す図である。
【図１５】学習方法決定の処理の具体例を示す図である。
【図１６】階層型モデルの再構成の具体例を示す図である。
【図１７】再構成後の階層型モデルの処理の具体例を示す図である。
【図１８】学習装置の学習の処理手順を示すフローチャートである。
【図１９】周波数解析の処理手順を示すフローチャートである。
【図２０】学習方法決定の処理手順を示すフローチャートである。
【図２１】階層型モデルの再構成の変形例を示す図である。
【図２２】図２１の変形例に対応する再構成後の階層型モデルの処理の具体例を示す図である。
【図２３】第２実施形態の学習方法決定の処理手順を示すフローチャートである。
【図２４】第２実施形態の学習方法決定の処理の具体例を示す図である。
【図２５】第２実施形態の学習用入力画像の補正の具体例を示す図である。
【図２６】第３実施形態の学習方法決定の処理手順を示すフローチャート
【図２７】第３実施形態の学習方法決定の処理の具体例を示す図である。
【図２８】第３実施形態の階層型モデルの再構成の具体例を示す図である。
【図２９】第４実施形態の周波数解析の処理手順を示すフローチャートである。
【図３０】第４実施形態の学習方法決定の処理の具体例を示す図である。
【発明を実施するための形態】
【００３３】
「第１実施形態」
図１において、学習装置２は、解析対象となる入力画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための階層型モデル１０の判別精度を高めるために、階層型モデル１０に学習データを与えて、学習を行わせる。学習装置２は、例えば、ワークステーション又はパーソナルコンピュータで構成される。また、階層型モデル１０は、後述するように、例えばＵ−Ｎｅｔ等の畳み込みニューラルネットワークで構成される（図６参照）。
【００３４】
クラスの判別精度は、階層型モデル１０に学習データを与えて学習させ、階層型モデル１０を更新することで高められる。学習データは、学習用入力画像と、アノテーション画像との組で構成される。学習用入力画像は、学習において、階層型モデル１０に入力される入力画像である。アノテーション画像は、対応する学習用入力画像内に含まれるクラス毎の領域をアノテーションで示した画像である。アノテーション画像は、学習用入力画像に応じて階層型モデル１０から出力された学習用出力画像とのいわば答え合わせを行うための正解画像で、学習用出力画像と比較される。階層型モデル１０のクラスの判別精度が高いほど、アノテーション画像と学習用出力画像との差異は小さくなる。
【００３５】
学習装置２では、学習データとしてミニバッチデータ１１を用いる。ミニバッチデータ１１は、予め設定された数の複数の学習データを一まとめにした画像群であり、学習用入力画像群１２とアノテーション画像群１３とで構成される。
【００３６】
学習においては、学習用入力画像群１２が階層型モデル１０に与えられる。これにより、階層型モデル１０から、学習用入力画像群１２に含まれる学習用入力画像２０Ｓ（図４及び図６参照）毎に学習用出力画像１４Ｓ（図６参照）が出力される。階層型モデル１０から出力された学習用出力画像とアノテーション画像２１Ｓ（図５参照）とが比較されて、階層型モデル１０のクラスの判別精度が評価される。具体的には、学習装置２は、与えられた学習用入力画像群１２に対応して、学習用出力画像１４Ｓの集合である学習用出力画像群１４を出力する。そして、学習装置２は、個々の学習用出力画像１４Ｓとアノテーション画像２１Ｓとの比較を行い、その比較結果を出力した学習用出力画像群１４及びアノテーション画像群１３の単位で積算して、積算した結果を評価結果として出力する。こうして、階層型モデル１０のクラスの判別精度が評価される。そして、このクラスの判別精度の評価結果に応じて、階層型モデル１０が更新される。学習装置２は、これらの学習用入力画像群１２の階層型モデル１０への入力と学習用出力画像群１４の階層型モデル１０からの出力、階層型モデル１０のクラスの判別精度の評価、および階層型モデル１０の更新を、ミニバッチデータ１１を変更しながら行い、階層型モデル１０のクラスの判別精度が所望のレベルとなるまで繰り返す。
【００３７】
図２に示すように、上記のようにしてクラスの判別精度が所望のレベルまで引き上げられた階層型モデル１０は、学習済み階層型モデル１０Ｔとして運用装置１５に組み込まれる。学習済み階層型モデル１０Ｔには、映った物体のクラスおよびその輪郭が未だ判別されていない入力画像１６が与えられる。学習済み階層型モデル１０Ｔは、入力画像１６に映る物体のクラスとその輪郭を判別し、その判別結果として出力画像１７を出力する。運用装置１５は、学習装置２と同様、例えばワークステーション又はパーソナルコンピュータであり、入力画像１６と出力画像１７とを、ディスプレイに並べて表示する。なお、運用装置１５は、学習装置２とは別の装置でもよいし、学習装置２と同じ装置でもよい。また、運用装置１５に組み込んだ後も、学習済み階層型モデル１０Ｔにミニバッチデータ１１を与えて学習させてもよい。
【００３８】
図３Ａに示すように、オリジナルサイズの学習用入力画像２０（以下、オリジナル学習用入力画像２０という）は、本例においては、細胞培養の様子を映した位相差顕微鏡の１枚の画像（細胞画像に相当する）である。学習用入力画像２０には、分化細胞、未分化細胞、培地、死細胞が物体として映っている。この場合のオリジナルサイズのアノテーション画像２１（以下、オリジナルアノテーション画像２１という）は、図３Ｂに示すように、クラス１の分化細胞、クラス２の未分化細胞、クラス３の培地、クラス４の死細胞が、各々手動で指定されたものとなる。なお、学習済み階層型モデル１０Ｔに与えられる入力画像１６も、学習用入力画像２０と同じく、細胞培養の様子を映した位相差顕微鏡の画像である。
【００３９】
図４に示すように、学習用入力画像２０Ｓは、１枚のオリジナル学習用入力画像２０から、予め設定された画像サイズに切り出された分割画像である。１枚のオリジナル学習用入力画像２０からより多くの小サイズの学習用入力画像２０Ｓを得るために、隣接する学習用入力画像２０Ｓの切り出し領域を一部重複させて、学習用入力画像２０Ｓが切り出される。学習用入力画像２０Ｓの画像サイズは、例えば、オリジナル学習用入力画像２０の１／５０の画像サイズである。切り出し領域を重複させながら、画像を切り出すことにより、例えば、１枚のオリジナル学習用入力画像２０から、１万枚の学習用入力画像２０Ｓが生成される。学習用入力画像群１２は、複数枚の学習用入力画像２０Ｓのうちの一部（例えば１万枚の学習用入力画像２０Ｓのうちの１００枚）で構成される。
【００４０】
同様にして、図５に示すように、アノテーション画像２１Ｓは、１枚のオリジナルアノテーション画像２１から、予め設定された画像サイズに切り出された分割画像である。各アノテーション画像２１Ｓは、各学習用入力画像２０Ｓと組となり、学習データを構成する。そのため、アノテーション画像２１Ｓも、１枚のオリジナルアノテーション画像２１から、学習用入力画像２０Ｓと同じ方法で、学習用入力画像２０Ｓの枚数と同じ枚数分（本例では１万枚）切り出される。アノテーション画像群１３は、１枚のオリジナルアノテーション画像２１から切り出された複数枚のアノテーション画像２１Ｓのうちの一部（例えば１万枚のアノテーション画像２１Ｓのうちの１００枚）で構成される。学習用入力画像群１２を構成する学習用入力画像２０Ｓと、アノテーション画像群１３を構成するアノテーション画像２１Ｓとは、切り出し領域が同じもの同士である。
【００４１】
こうした学習用入力画像群１２及びアノテーション画像群１３の組でミニバッチデータ１１が生成される。ミニバッチデータ１１の生成に際しては、学習用入力画像２０Ｓ及びアノテーション画像２１Ｓに対して、トリミング、左右反転、回転といった画像処理を施して別の画像に仕立て、ミニバッチデータ１１の選択肢を増やす、データオーギュメンテーションと呼ばれる手法を用いてもよい。
【００４２】
図６に示すように、階層型モデル１０は、Ｕ−Ｎｅｔ等の畳み込みニューラルネットワークで構成された階層型モデルである。本例の階層型モデル１０は、第１階層から第５階層の５つの階層を有する。
【００４３】
階層型モデル１０は、エンコーダネットワーク１０Ａとデコーダネットワーク１０Ｂとで構成される。エンコーダネットワーク１０Ａは、階層毎に、フィルタを用いた畳み込み演算を行って、学習用入力画像２０Ｓに含まれる周波数帯域が異なる特徴の一例である画像特徴マップＣＭＰを抽出する畳み込み処理を行う。デコーダネットワーク１０Ｂは、エンコーダネットワーク１０Ａにおいて出力される最小の画像特徴マップＣＭＰの画像サイズを段階的に拡大する。そして、段階的に拡大される画像特徴マップＣＭＰと、エンコーダネットワーク１０Ａの各階層で出力された画像特徴マップＣＭＰとを結合して、学習用入力画像２０Ｓと同程度の画像サイズの学習用出力画像１４Ｓを生成する。
【００４４】
エンコーダネットワーク１０Ａには、階層毎に二次元に配列された複数の画素値を持つ入力データが入力される。各階層は、入力データに対して畳み込み処理を行って画像特徴マップＣＭＰを抽出する。エンコーダネットワーク１０Ａの第１階層には、入力データとして学習用入力画像２０Ｓが入力される。第１階層は、学習用入力画像２０Ｓに畳み込み処理を行って、例えば、学習用入力画像２０と同じ画像サイズの画像特徴マップＣＭＰを出力する。第２階層以下では、上位の各階層が出力する画像特徴マップＣＭＰが入力される。第２階層以下では、画像特徴マップＣＭＰに対して畳み込み処理が行われて、例えば、入力された画像特徴マップＣＭＰと同じ画像サイズの画像特徴マップＣＭＰが出力される。畳み込み処理は、図６において「ｃｏｎｖ（convolution）」として示す。
【００４５】
図７に示すように、畳み込み処理は、学習用入力画像２０Ｓ又は画像特徴マップＣＭＰ等、二次元状に画素値が配列された入力データＤＩに対して行われる。畳み込み処理は、入力データＤＩにフィルタＦを適用して、入力データＤＩ内の隣接する画素の画素値を畳み込む畳み込み演算を行い、入力データＤＩと同様に、二次元状に画素値が配列された出力データＤＩｃを得る。入力データＤＩの注目画素Ｉｐの画素値Ｉｐ（ｘ，ｙ）を「ｅ」、周囲の隣接画素の画素値を「ａ」〜「ｉ」とし、３×３のフィルタＦの係数を「ｒ」〜「ｚ」とすると、注目画素Ｉｐに関する畳み込み演算の結果である、出力データＤＩｃの画素Ｉｃｐの画素値Ｉｃｐ（ｘ，ｙ）は、例えば、次式に従って計算される。
Ｉｃｐ（ｘ，ｙ）＝ａｚ＋ｂｙ＋ｃｘ＋ｄｗ＋ｅｖ＋ｆｕ＋ｇｔ＋ｈｓ＋ｉｒ  ・・・式
【００４６】
畳み込み処理では、各画素に対して、こうした畳み込み演算を行って、各注目画素Ｉｐに対応する画素値Ｉｃｐ（ｘ，ｙ）を出力する。こうして、二次元状に配列された画素値Ｉｃｐ（ｘ，ｙ）を持つ出力データＤＩｃが出力される。出力データＤＩｃは、１つのフィルタＦに対して１つ出力される。種類が異なる複数のフィルタＦが使用された場合は、フィルタＦ毎に出力データＤＩｃが出力される。
【００４７】
図８に示すように、出力データＤＩｃは、二次元状に画素値Ｉｃｐ（ｘ，ｙ）が配列されたデータであり、幅と高さを持つ。また、種類が異なる複数のフィルタＦを適用して、複数の出力データＤＩｃが出力された場合は、画像特徴マップＣＭＰは、複数の出力データＤＩｃの集合になる。画像特徴マップＣＭＰにおいて、フィルタＦの数はチャンネル数と呼ばれる。図８に示す画像特徴マップＣＭＰは、４チャンネル分の出力データＤＩｃを有している画像特徴マップＣＭＰの例である。
【００４８】
図９は、こうしたフィルタＦを使用した畳み込み処理を、畳み込みニューラルネットワークＣＮＮの概念に当てはめた説明図である。図９に示すように、畳み込みニューラルネットワークＣＮＮが、複数のユニットＵを持つ入力層及び中間層を有しているとする。この場合、入力層の各ユニットＵと中間層の各ユニットＵ同士の結合の強さを示す重みｗ１、ｗ２、ｗ３は、フィルタＦの係数に相当する。入力層の各ユニットＵには、入力データＤＩの各画素値Ｉｐ（ｘ１，ｙ１）、Ｉｐ（ｘ１，ｙ２）、Ｉｐ（ｘ１，ｙ３）・・・が入力されて、各画素値Ｉｐ（ｘ１，ｙ１）、Ｉｐ（ｘ１，ｙ２）、Ｉｐ（ｘ１，ｙ３）・・・と重みｗ１、ｗ２、ｗ３の積和が、中間層の各ユニットＵの出力値となる。この出力値が出力データＤＩｃの画素値Ｉｃｐ（ｘ，ｙ）に相当する。階層型モデル１０を学習させると、重みｗ１、ｗ２、ｗ３・・・に相当するフィルタＦの係数が更新される。
【００４９】
図６に戻って、各画像特徴マップＣＭＰの上に示す「６４」、「１２８」、「２５６」、「５１２」、及び「１０２４」の各数字は、各画像特徴マップＣＭＰが有するチャンネル数を示す。そして、第１階層から第５階層にそれぞれ付す括弧付きの「１／１」、「１／２」、「１／４」、「１／８」、及び「１／１６」は、最上位の入力画像（学習用入力画像２０Ｓ）の画像サイズを基準とした、各階層で取り扱う画像サイズを示す。
【００５０】
本例のエンコーダネットワーク１０Ａの第１階層においては、２回の畳み込み処理（ｃｏｎｖ）が行われる。まず、学習用入力画像２０Ｓに対して、６４個のフィルタＦを適用する畳み込み処理が行われて、６４チャンネルの画像特徴マップＣＭＰが出力される。そして、この画像特徴マップＣＭＰに対して、さらに６４個のフィルタＦを適用する畳み込み処理が行われて、第１階層においては、最終的に６４チャンネルの画像特徴マップＣＭＰが出力される。
【００５１】
エンコーダネットワーク１０Ａにおいて、第１階層が出力する画像特徴マップＣＭＰの幅と高さである画像サイズは、学習用入力画像２０Ｓの画像サイズと同じであるため、第１階層が取り扱う画像サイズは、入力画像と同じ（等倍（１／１））である。
【００５２】
エンコーダネットワーク１０Ａの第１階層において、２回の畳み込み処理で抽出された画像特徴マップＣＭＰに対しては、プーリング処理が行われる。プーリング処理（図６において「ｐｏｏｌ（ｐｏｏｌｉｎｇ）」で示す）は、画像特徴マップＣＭＰの局所的な統計量を計算して画像特徴マップＣＭＰを圧縮する処理である。局所的な統計量としては、例えば、２×２の画素のブロック内における画素値の最大値又は平均値が用いられる。最大値を計算するプーリング処理は最大値プーリング、平均値を計算するプーリング処理は平均値プーリング等と呼ばれる。つまり、プーリング処理は、局所的な代表値を選択して画像特徴マップＣＭＰの解像度を落として、画像サイズを縮小する処理と言える。例えば、２×２の画素のブロックから代表値を選択するプーリング処理を、ストライドを「１」、つまり１画素ずつずらして行うと、画像特徴マップＣＭＰは、元の画像サイズの半分に縮小される。本例においては、第１階層において、画像特徴マップの画像サイズを半分にするプーリング処理が行われる。
【００５３】
そして、エンコーダネットワーク１０Ａにおいて、次の第２階層には、前の第１階層で出力され、学習用入力画像２０Ｓを基準として、１／２の画像サイズに縮小された画像特徴マップが入力データとして入力される。
【００５４】
第２階層においては、１２８個のフィルタＦを適用する畳み込み処理が２回行われて、１２８チャンネルの画像特徴マップＣＭＰが出力される。そして、１２８チャンネルの画像特徴マップＣＭＰに対して、画像サイズを半分にするプーリング処理が行われる。これにより、第２階層では、学習用入力画像２０Ｓの画像サイズと比較して、画像サイズが１／４の画像特徴マップＣＭＰが出力される。
【００５５】
同様に、エンコーダネットワーク１０Ａにおいて、次の第３階層には、前の第２階層で出力された、１２８チャンネル、かつ、１／４の画像サイズの画像特徴マップＣＭＰが入力データとして入力される。第３階層においては、２５６個のフィルタを適用する２回の畳み込み処理が行われた後、畳み込み処理で抽出された画像特徴マップＣＭＰの画像サイズをさら半分にするプーリング処理が行われる。これにより、第３階層では、２５６チャンネル、かつ、学習用入力画像２０Ｓを基準として１／８の画像サイズの画像特徴マップＣＭＰが出力される。
【００５６】
同様に、エンコーダネットワーク１０Ａにおいて、次の第４階層には、前の第３階層で出力された、２５６チャンネル、かつ、１／８の画像サイズの画像特徴マップＣＭＰが入力データとして入力される。第４階層においては、５１２個のフィルタを適用する２回の畳み込み処理が行われた後、畳み込み処理で抽出された画像特徴マップＣＭＰの画像サイズをさら半分にするプーリング処理が行われる。これにより、第４階層では、５１２チャンネル、かつ、学習用入力画像２０Ｓを基準として１／１６の画像サイズの画像特徴マップＣＭＰが出力される。
【００５７】
エンコーダネットワーク１０Ａにおいて、最下位の第５階層には、前の第４階層で出力された、５１２チャンネル、かつ、１／１６の画像サイズの画像特徴マップＣＭＰが入力データとして入力される。第５階層においては、１０２４個のフィルタを適用する２回の畳み込み処理が行われる。最下位の第５階層においては、畳み込み処理で抽出された画像特徴マップＣＭＰに対してはプーリング処理が行われない。
【００５８】
このように、エンコーダネットワーク１０Ａにおいては、最上位の第１階層から最下位の第５階層に向かって、各階層に入力される入力データ（入力画像又は画像特徴マップＣＭＰ）は、画像サイズが段階的に縮小されて解像度が落とされる。本例においては、第１階層に入力される入力画像（学習用入力画像２０Ｓ）の画像サイズを基準に、第１階層は１／１（等倍）、第２階層は１／２、第３階層は１／４、第４階層は１／８、第５階層は１／１６のそれぞれの画像サイズの入力データが入力される。
【００５９】
エンコーダネットワーク１０Ａの各階層は、階層毎に解像度が異なる入力データに対してフィルタＦを適用して、隣接画像の画素値の畳み込み処理を行う。そのため、第１階層では、最も解像度が高い入力データに対して畳み込み処理が行われるため、第１階層が抽出する画像特徴マップＣＭＰは、入力画像において最も空間周波数が高い周波数帯域を持つ最も微細な構造の特徴を表す。そして、第２階層及び第３階層では、入力画像よりも解像度が落とされた入力データに対して畳み込み処理が行われるため、第２階層及び第３階層が抽出する画像特徴マップＣＭＰは、第１階層と比べて、空間周波数が低い周波数帯域を持つ中域の構造の特徴を表す。同様に、第４階層及び第５階層ではさらに入力データの解像度が落とされるため、第４階層及び第５階層が抽出する画像特徴マップＣＭＰは、さらに空間周波数が低い周波数帯域を持つ大域構造の特徴を表す。
【００６０】
このように、エンコーダネットワーク１０Ａにおいては、最上位の第１階層から最下位の第５階層の階層毎に、入力画像に含まれる周波数帯域が異なる画像の特徴を出力する。後述するように、第１階層から第５階層の１／１から１／１６の各画像サイズは、各階層が解析可能な周波数帯域を示す指標として用いることができる。すなわち、１／１は最も空間周波数が高い周波数帯域を示す指標であり、１／１６は最も空間周波数が低い周波数帯域を示す指標である。
【００６１】
なお、エンコーダネットワーク１０Ａにおいて、階層が下るにつれて、フィルタＦの数が増加するのは、画像サイズが小さくなる分、フィルタＦの数を増やすことで、入力画像に含まれる様々な特徴を抽出するための工夫である。
【００６２】
エンコーダネットワーク１０Ａの第１階層から第４階層は、それぞれが抽出した画像特徴マップＣＭＰを、デコーダネットワーク１０Ｂに対して送信する。この処理は、スキップレイヤ処理等と呼ばれ、図６において「ｓｋｉｐ」で示す。デコーダネットワーク１０Ｂの各階層において、ハッチングで示す画像特徴マップＣＭＰが、エンコーダネットワーク１０Ａから送信された画像特徴マップＣＭＰである。
【００６３】
デコーダネットワーク１０Ｂは、エンコーダネットワーク１０Ａおいて出力される最小サイズの画像特徴マップＣＭＰの画像サイズを段階的に拡大するアップサンプリング処理を行う。加えて、段階的に拡大された画像特徴マップＣＭＰと、エンコーダネットワーク１０Ａにおいて階層毎に出力され、かつ、画像サイズが同じ画像特徴マップＣＭＰとを結合するマージ処理とを繰り返す。これにより、入力画像（学習用入力画像２０Ｓ）内のクラス毎の領域がセグメンテーションされた出力画像（学習用出力画像１４Ｓ）を生成する。
【００６４】
デコーダネットワーク１０Ｂは、エンコーダネットワーク１０Ａの各階層と対応する第１階層から第５階層を有する。デコーダネットワーク１０Ｂの各階層で行われるアップサンプリング処理（図６において「ｕｐｓｍｐ」で示す）では、エンコーダネットワーク１０Ａの対応する各階層の画像サイズと同じサイズになるように画像特徴マップが拡大される。
【００６５】
また、本例のアップサンプリング処理は、例えば、画像サイズを拡大することに加えて、フィルタＦを適用する畳み込み処理を伴うアップコンボリューション処理である。デコーダネットワーク１０Ｂの各階層においては、こうした畳み込み処理を伴うアップサンプリング処理が終了した後に、マージ処理と畳み込み処理とが行なわれる。
【００６６】
デコーダネットワーク１０Ｂの第５階層は、まず、エンコーダネットワーク１０Ａの最下位の第５階層が出力する最小サイズ（１／１６）の画像特徴マップＣＭＰを受け取る。この画像特徴マップＣＭＰのチャンネル数は１０２４である。デコーダネットワーク１０Ｂの第５階層は、１／１６の画像サイズの画像特徴マップＣＭＰを、２倍の１／８の画像サイズに拡大し、かつ、５１２個のフィルタＦを適用する畳み込み処理を行って、チャンネル数を半分の５１２個に減らす。デコーダネットワーク１０Ｂの第５層から第４層には、１／８の画像サイズで、５１２チャンネルの画像特徴マップＣＭＰが出力される。
【００６７】
デコーダネットワーク１０Ｂの第４階層においては、第５階層から受け取った画像特徴マップＣＭＰと、エンコーダネットワーク１０Ａの第４階層から送信された画像特徴マップＣＭＰとを結合するマージ処理が行われる。第４階層において結合される画像特徴マップＣＭＰは、それぞれ１／８の画像サイズで、かつ、５１２チャンネルである。そのため、第４階層においては、マージ処理によって、１／８の画像サイズで、かつ、１０２４チャンネル（５１２＋５１２）の画像特徴マップＣＭＰが生成される。
【００６８】
さらに、第４階層においては、１０２４チャンネルの画像特徴マップＣＭＰに対して５１２個のフィルタＦを適用する畳み込み処理が２回行われて、１／８の画像サイズで、かつ、５１２チャンネルの画像特徴マップＣＭＰが生成される。第４階層においては、この１／８の画像サイズの画像特徴マップＣＭＰに対して、画像サイズとチャンネル数の両方を半分にするアップサンプリング処理が行われる。この結果、最終的に、第４階層から第３階層に対して、１／４の画像サイズで、かつ、２５６チャンネルの画像特徴マップＣＭＰが出力される。
【００６９】
デコーダネットワーク１０Ｂの第３階層においては、第４階層から受け取った画像特徴マップＣＭＰと、エンコーダネットワーク１０Ａの第３階層から送信された画像特徴マップＣＭＰとを結合するマージ処理が行われる。第３階層において結合される画像特徴マップＣＭＰは、それぞれ１／４の画像サイズで、かつ、２５６チャンネルである。そのため、第３階層においては、マージ処理によって、１／４の画像サイズで、かつ、５１２チャンネル（２５６＋２５６）の画像特徴マップＣＭＰが生成される。
【００７０】
さらに、第３階層においては、５１２チャンネルの画像特徴マップＣＭＰに対して２５６個のフィルタＦを適用する畳み込み処理が２回行われて、１／４の画像サイズで、かつ、２５６チャンネルの画像特徴マップＣＭＰが生成される。第３階層においては、この１／４の画像サイズの画像特徴マップＣＭＰに対して、画像サイズとチャンネル数の両方を半分にするアップサンプリング処理が行われる。この結果、最終的に、第３階層から第２階層に対して、１／２の画像サイズで、かつ、１２８チャンネルの画像特徴マップＣＭＰが出力される。
【００７１】
デコーダネットワーク１０Ｂの第２階層においては、第３階層から受け取った画像特徴マップＣＭＰと、エンコーダネットワーク１０Ａの第２階層から送信された画像特徴マップＣＭＰとを結合するマージ処理が行われる。第２階層において結合される画像特徴マップＣＭＰは、それぞれ１／２の画像サイズで、かつ、１２８チャンネルである。そのため、第２階層においては、マージ処理によって、１／２の画像サイズで、かつ、２５６チャンネル（１２８＋１２８）の画像特徴マップＣＭＰが生成される。
【００７２】
さらに、第２階層においては、２５６チャンネルの画像特徴マップＣＭＰに対して１２８個のフィルタＦを適用する畳み込み処理が２回行われて、１／２の画像サイズで、かつ、１２８チャンネルの画像特徴マップＣＭＰが生成される。第２階層においては、この１／２の画像サイズの画像特徴マップＣＭＰに対して、画像サイズとチャンネル数の両方を半分にするアップサンプリング処理が行われる。この結果、最終的に、第２階層から第１階層に対して、１／１の画像サイズで、かつ、６４チャンネルの画像特徴マップＣＭＰが出力される。
【００７３】
デコーダネットワーク１０Ｂの第１階層においては、第２階層から受け取った画像特徴マップＣＭＰと、エンコーダネットワーク１０Ａの第１階層から送信された画像特徴マップＣＭＰとを結合するマージ処理が行われる。第１階層において結合される画像特徴マップＣＭＰは、それぞれ１／１の画像サイズで、かつ、６４チャンネルである。そのため、第１階層においては、マージ処理によって、１／１の画像サイズで、かつ、１２８チャンネル（６４＋６４）の画像特徴マップＣＭＰが生成される。
【００７４】
さらに、第１階層においては、１２８チャンネルの画像特徴マップＣＭＰに対して６４個のフィルタＦを適用する畳み込み処理が１回行われた後、１個のフィルタＦを適用する畳み込み処理が行われる。これにより、学習用入力画像２０Ｓと同じ１／１の画像サイズの学習用出力画像１４Ｓが生成される。
【００７５】
このように、デコーダネットワーク１０Ｂでは、エンコーダネットワーク１０Ａにおいて出力される最小サイズの画像特徴マップＣＭＰの画像サイズを段階的に拡大する。そして、画像特徴マップＣＭＰを拡大しながら、エンコーダネットワーク１０Ａが階層毎に抽出した画像特徴マップを結合して学習用出力画像１４Ｓを生成する。エンコーダネットワーク１０Ａが出力する最小サイズの画像特徴マップＣＭＰは、学習用入力画像２０Ｓの最も空間周波数が低い大域構造の特徴を表すものである。デコーダネットワーク１０Ｂでは、この最小サイズの画像特徴マップＣＭＰを拡大することで、大域構造の特徴を拡大しつつ、エンコーダネットワーク１０Ａからの画像特徴マップＣＭＰを結合することで、中域構造から微細構造までの特徴を取り込む。
【００７６】
階層型モデル１０は、このようなエンコーダネットワーク１０Ａとデコーダネットワーク１０Ｂを用いることで、学習に際しては、学習用入力画像２０Ｓに含まれるクラスを領域毎に区分けした学習用出力画像１４Ｓを生成する。
【００７７】
図１０において、学習装置２を構成するコンピュータは、ストレージデバイス３０、メモリ３１、ＣＰＵ（Central Processing Unit）３２、通信部３３、ディスプレイ３４、および入力デバイス３５を備えている。これらはデータバス３６を介して相互接続されている。
【００７８】
ストレージデバイス３０は、学習装置２を構成するコンピュータに内蔵、またはケーブルやネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス３０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス３０には、オペレーティングシステム等の制御プログラムや各種アプリケーションプログラム（ＡＰ：Application Program）３０Ａ、およびこれらのプログラムに付随する各種データ等が記憶されている。
【００７９】
メモリ３１は、ＣＰＵ３２が処理を実行するためのワークメモリである。ＣＰＵ３２は、ストレージデバイス３０に記憶されたプログラムをメモリ３１へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
【００８０】
通信部３３は、ＬＡＮ(Local Area Network)、インターネット、又は公衆通信網等のＷＡＮ（Wide Area Network）といったネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ３４は各種画面を表示する。各種画面にはＧＵＩ(Graphical User Interface)による操作機能が備えられる。学習装置２を構成するコンピュータは、各種画面を通じて、入力デバイス３５からの操作指示の入力を受け付ける。入力デバイス３５は、キーボードやマウス、タッチパネル等である。
【００８１】
ＡＰ３０Ａには、コンピュータを学習装置２として機能させるための作動プログラムが含まれている。ストレージデバイス３０には、作動プログラムに付随する各種データとして、階層型モデル１０、オリジナル学習用入力画像２０、オリジナルアノテーション画像２１、学習用入力画像２０Ｓを含む学習用入力画像群１２、及びアノテーション画像２１Ｓを含むアノテーション画像群１３が記憶されている。
【００８２】
図１１に示すように、作動プログラムが起動されると、学習装置２を構成するコンピュータのＣＰＵ３２は、メモリ３１等と協働して、ミニバッチデータ生成部５１、学習データ解析部５２、学習方法決定部５３、学習部５４、評価部５６、及び更新部５７として機能する。
【００８３】
ミニバッチデータ生成部５１は、オリジナル学習用入力画像２０及びオリジナルアノテーション画像２１を分割して、複数の学習用入力画像２０Ｓ及びアノテーション画像２１Ｓを生成する。そして、複数の学習用入力画像２０Ｓ及びアノテーション画像２１Ｓのうち、予め設定された枚数の学習用入力画像２０Ｓ及びアノテーション画像２１Ｓを選択して、学習用入力画像群１２及びアノテーション画像群１３とで構成されるミニバッチデータ１１を生成する。ミニバッチデータ生成部５２は、こうしたミニバッチデータ１１を複数組（例えば１００組）生成する。
【００８４】
学習データ解析部５２は、学習データの周波数解析を行う。学習データ解析部５２は、具体的には、生成されたミニバッチデータ１１から、アノテーション画像群１３を取り出して、各アノテーション画像２０Ｓに含まれる空間周波数の周波数帯域を解析し、アノテーション画像群１３の解析結果６１を出力する。
【００８５】
学習方法決定部５３は、周波数帯域の解析結果６１に基づいて、学習用入力画像群１２とアノテーション画像群１３の組で構成される学習データを用いた学習方法を決定する。学習方法の決定は、後に詳述するように、学習データにおける判別対象のクラスの空間周波数の周波数帯域と、階層型モデルが解析可能な周波数帯域とを整合させるために行われる。
【００８６】
学習方法の決定は、具体的には、階層型モデル１０を再構成して学習を行うか、又は学習データの一例であるミニバッチデータ１１に含まれる学習用入力画像群１３を補正して学習を行うか、又はその両方を行うかを決定することである。学習方法決定部５３は、決定した学習方法に応じて、階層型モデル１０の再構成、及び／又は学習用入力画像群１３の補正を行う。
【００８７】
学習方法決定部５３によって階層型モデル１０が再構成された場合は、再構成された階層型モデル１０が、学習部５４に入力される。また、学習方法決定部５３によって学習用入力画像群１３が補正された場合は、補正された学習用入力画像群１３が学習部５４に入力される。
【００８８】
学習部５４は、ミニバッチデータ１１を用いて、決定した学習方法で階層型モデル１０を学習させる。学習に際しては、階層型モデル１０には、学習用入力画像群１２に含まれる各学習用入力画像２０Ｓが、入力画像として１枚ずつ入力される。学習部５４は、階層型モデル１０をストレージデバイス３０からメモリ３１に適宜読み出して、入力された学習用入力画像２０Ｓに基づいて、図６に示した階層型モデル１０において規定された処理を実行する。上述したとおり、この処理には、畳み込み処理、プーリング処理、スキップレイヤ処理、アップサンプリング処理、及びマージ処理等が含まれる。こうした処理が実行されることにより、階層型モデル１０からは学習用出力画像１４Ｓが出力される。
【００８９】
１つの学習用入力画像群１３について学習が行われると、学習用出力画像群１４が得られる。学習用出力画像群１４は、評価部５６に出力される。また、評価部５６は、ミニバッチデータ１１から、入力された学習用入力画像群１２に対応する、アノテーション画像群１３を取得する。
【００９０】
評価部５６は、ミニバッチデータ１１からのアノテーション画像群１３と、学習部５４からの学習用出力画像群１４とを比較して、階層型モデル１０のクラスの判別精度を評価する。評価部５６は、評価結果を更新部５７に出力する。
【００９１】
評価部５６は、損失関数を用いて、階層型モデル１０のクラスの判別精度を評価する。損失関数は、アノテーション画像群１３と学習用出力画像群１４との差異の程度を表す関数である。損失関数の算出値が０に近いほど、階層型モデル１０のクラスの判別精度が高いことを示す。具体的には、評価部５６は、アノテーション画像群１３に含まれる各アノテーション画像群１３と、学習用出力画像群１４に含まれる各学習用出力画像１４Ｓとを比較して、両者の差異を判定する。そして、評価部５６は、両者の差異を、アノテーション画像群１３及び学習用出力画像群１４の単位で合計して、合計した差異を、損失関数を用いて計算した損失として評価する。
【００９２】
更新部５７は、評価部５４からの評価結果に応じて、階層型モデル１０を更新する。より具体的には、更新部５７は、学習係数を伴う確率的勾配降下法等により、階層型モデル１０のフィルタＦの係数等の各種パラメータの値を変化させる。
【００９３】
図１２及び図１３は、学習データ解析部５２の処理の具体例を示す。図１２は、アノテーション画像２１Ｓの塗り方のバラツキの一例を示す。分割前のオリジナルアノテーション画像２１は、分割前のオリジナル学習用入力画像２０をベースに、オリジナル学習用入力画像２０に映るクラスを人が判別しながら、判別したクラスの領域に対して、人が手動でアノテーションを付すことにより作成される。アノテーションは、例えば、クラスの領域に色を塗ることによって付される。色はクラスの種類毎に変更される。色塗りは、ペンタブレット等を用いて行われる。
【００９４】
図１２Ａは、学習用入力画像２０の一部である学習用入力画像２０Ｓを示す。図１２Ｂ及び１２Ｃは、学習用入力画像２０に基づいて作成されたアノテーション画像２１の一部であるアノテーション画像２１Ｓを示す。図１２Ａに示す学習用入力画像２０Ｓの領域と、アノテーション画像２１Ｓの領域とは対応している。
【００９５】
図１２Ｂに示すアノテーション画像２１Ｓにおいてハッチングで示すアノテーションは、ほぼ１画素単位で細かく塗られており、クラスの輪郭線に忠実に付されている。これに対して、図１２Ｃに示すアノテーション画像２１Ｓにおいてハッチングで示すアノテーションは、２画素単位から４画素単位程度で粗く塗られており、クラスの輪郭線からの逸脱が大きい。
【００９６】
このようにアノテーション画像２１におけるクラスの色塗りは人手によって行われるため、塗り方にバラツキが生じる。こうしたアノテーションの塗り方のバラツキは、階層型モデル１０が解析可能な周波数帯域と、学習データにおける判別対象のクラスの周波数帯域との不整合を引き起こす原因の一つである。
【００９７】
すなわち、アノテーションの塗り方が細かい場合は、アノテーション画像２１Ｓ内においてそのクラスを示す特徴は、周波数帯域が高く、塗り方が粗い場合は、周波数帯域が低い。アノテーション画像２１Ｓは、学習用出力画像１４Ｓと比較される正解画像である。そのため、図１２Ｃに示すアノテーション画像２１Ｓのように、判別対象のクラスの周波数帯域が低い場合は、階層型モデル１０において細かな微細構造の特徴を抽出しても、クラスの判別精度にはなんら寄与しないという結果になることも考えられる。
【００９８】
そこで、図１３に示すように、学習データ解析部５２は、まず、アノテーション画像群１３に含まれる周波数帯域を解析する。この解析は、例えば、画像ピラミッドに基づいて周波数帯域を解析する周知の手法を用いて行われる。学習データ解析部５２は、アノテーション画像群１３に含まれる各アノテーション画像２１Ｓに基づいて画像ピラミッドを生成して、画像ピラミッドに基づいて周波数帯域を解析する。学習データ解析部５２は、こうした解析を、各アノテーション画像２１Ｓについて行い、その解析結果を総合して、アノテーション画像群１３の解析結果６１を出力する。
【００９９】
図１４に示すように、画像ピラミッドは、アノテーション画像２１Ｓの解像度が段階的に下げられた、解像度が異なる複数の画像で構成される。図１４において、１／２、１／４、１／８、１／１６を付した各画像２１ＳＧは、例えば、画像を平滑化するガウシアンフィルタを用いて、アノテーション画像２１Ｓの解像度を段階的に下げたボケ画像である。こうしたボケ画像２１ＳＧで構成される画像ピラミッドは、ガウシアンピラミッドと呼ばれる。解像度を段階的に下げることにより、各ボケ画像２１Ｓの画像サイズは、１／２、１／４、１／８、１／１６・・・に縮小される。
【０１００】
学習データ解析部５２は、このような画像ピラミッドを生成した後、隣接する画像サイズの各ボケ画像２１ＳＧの差分ΔＰを算出し、各ボケ画像２１ＳＧの一致度を評価する。学習データ解析部５２は、差分ΔＰの算出に当たっては、各ボケ画像２１ＳＧの画像サイズを合わせるために、例えば、画像サイズの小さい方のボケ画像２１ＳＧを、大きい方の画像サイズに合わせて拡大する。１／８のボケ画像２１ＳＧと１／１６のボケ画像２１ＳＧの差分ΔＰ（１／８）を計算する場合は、大きい方の１／８のボケ画像２１ＳＧに合わせて、小さい方の１／１６のボケ画像２１ＳＧの画像サイズも拡大する。差分ΔＰは、例えば、各ボケ画像２１ＳＧの各画素値の差分の絶対値の合計を、各差分ΔＰの比較が可能なように、予め設定された手法によって規格化した値である。
【０１０１】
各ボケ画像２１ＳＧの差分ΔＰは、アノテーション画像２１Ｓに含まれる周波数帯域のそれぞれの空間周波数成分の量を示す。差分ΔＰが大きいほど、そのボケ画像２１ＳＧの画像サイズに対応する周波数帯域の空間周波数成分は多いと評価される。例えば、１／１の画像サイズのアノテーション画像２１Ｓと、いったん画像サイズを１／２に縮小したボケ画像２１ＳＧとの差分ΔＰ（１／１）は、アノテーション画像２１Ｓに含まれる周波数帯域のうち、最も高い周波数帯域の空間周波数成分の量を示す。同様に、差分ΔＰ（１／２）は、差分ΔＰ（１／１）よりも一段階低い周波数帯域の空間周波数成分の量を示す。このように各ボケ画像２１ＳＧの各差分ΔＰ（１／１）、ΔＰ（１／２）、ΔＰ（１／４）、ΔＰ（１／８）・・・を算出することで、アノテーション画像２１Ｓにおいて、どのような周波数帯域が含まれており、相対的に量が多い周波数帯域はどの帯域かといったことを把握することができる。
【０１０２】
学習データ解析部５２は、こうした処理を、アノテーション画像群１３を構成する複数のアノテーション画像２１Ｓの全てに対して行う。そして、アノテーション画像２１Ｓ毎に算出した差分ΔＰの平均値を計算し、これを図１３に示すアノテーション画像群１３の差分ΔＰとして算出する。
【０１０３】
学習データ解析部５２は、画像ピラミッドに基づいて算出した差分ΔＰ（１／１）、ΔＰ（１／２）、ΔＰ（１／４）・・・に基づいて、アノテーション画像群１３に含まれる周波数帯域のうち、階層型モデル１０において画像の特徴を抽出する必要性が相対的に高い周波数帯域を必要帯域として特定する。例えば、学習データ解析部５２は、各差分ΔＰを比較して、１番目から４番目までの周波数帯域等というように、大きい順から予め設定された個数分の周波数帯域を必要帯域として特定する。あるいは、閾値を設定し、差分ΔＰが閾値以上の周波数帯域を必要帯域として特定する。
【０１０４】
学習データ解析部５２は、このような必要帯域を特定するための基準を設け、その基準を満たす周波数帯域については、「基準以上」と判定し、基準に満たない周波数帯域については、「基準未満」と判定する。そして、学習データ解析部５２は、「基準以上」と判定した周波数帯域を必要帯域と特定する。学習データ解析部５２は、このような内容の解析結果６１を出力する。図１３に示す解析結果６１においては、１／１と１／８の周波数帯域は「基準未満」と判定され、それ以外の周波数帯域は「基準以上」と判定されて、必要帯域と特定されている（図においては単に「必要」とだけ示している）。
【０１０５】
図１５は、学習方法決定部５３が階層型モデル１０を再構成する場合の処理の具体例を示す。学習方法決定部５３は、解析結果６１に基づいて、階層型モデル１０を再構成する。階層型モデル１０の再構成において、まず、学習方法決定部５３は、解析結果６１において特定した必要帯域に基づいて、階層型モデル１０の複数の階層のうち、学習に必要な必要階層と学習において省略可能な省略可能階層とを決定する階層判定を行う。
【０１０６】
より詳細には、学習方法決定部５３は、解析結果６１と、階層型モデル１０が解析可能な周波数帯域とを比較する。そして、学習方法決定部５３は、解析結果６１において特定された必要帯域に対応する階層については、必要階層と決定する。また、解析結果６１において「基準未満」と判定された周波数帯域に対応する階層については、省略可能階層と決定する。図１５に示す例では、解析結果６１においては、１／２、１／４、及び１／１６の周波数帯域が必要帯域と特定され、１／１及び１／８の周波数帯域は「基準未満」と判定されている。そのため、学習方法決定部５３は、階層型モデル１０において、特定された３つの必要帯域に対応する、第２階層、第３階層、及び第５階層を必要階層と決定し、第１階層及び第４階層を省略可能階層と決定する。
【０１０７】
学習方法決定部５３は、階層判定の判定結果に基づいて、学習方法を決定する。本例においては、学習方法決定部５３は、階層型モデル１０を再構成して学習するという学習方法を決定する。そして、学習方法決定部５３は、階層型モデル１０の具体的な再構成の内容を決定する。再構成の内容は、例えば、省略可能階層については、必要階層よりも、処理量を減らすというものである。
【０１０８】
図１６は、階層型モデル１０の再構成の内容の具体例を示す。図６において示したように、階層型モデル１０において、エンコーダネットワーク１０Ａの各階層においては、畳み込み処理、プーリング処理、及びスキップレイヤ処理が行われる。図１６において左側の表に示すように、階層型モデル１０の初期状態においては、第１階層から第５階層までのすべての階層において、畳み込み処理、プーリング処理、及びスキップレイヤ処理の３つの処理がすべて実行される設定になっている。
【０１０９】
学習方法決定部５３は、これらの処理について、省略可能階層については、必要階層よりも、処理量を減らす。図１６において右側に示す表は、階層型モデル１０の再構成後の内容の一例を示す。こうした階層型モデル１０の再構成の内容については、例えば、予め設定されており、その設定内容を記録したデータが、作動プログラムに付随するデータとしてストレージデバイス３０に格納されている。
【０１１０】
学習方法決定部５３は、図１６の右側の再構成後の内容に示すように、第２階層、第３階層、及び第５階層の３つの必要階層については、初期状態と同様に、３つの処理をすべて行う設定にする。これに対して、第１階層及び第４階層の省略可能階層については、畳み込み処理及びスキップレイヤ処理を省略し、プーリング処理のみ実行するという設定にする。
【０１１１】
図１７は、図１６の右側の表に示す内容で再構成された階層型モデル１０の例を示す。図１７において、図６との対照を容易にするため、省略された処理の部分を二点鎖線の円で示している。まず、エンコーダネットワーク１０Ａにおける第１階層において、畳み込み処理及びスキップレイヤ処理が省略される。スキップレイヤ処理は、第１階層において抽出した画像特徴マップＣＭＰを、デコーダネットワーク１０Ｂに送信する処理である。そのため、スキップレイヤ処理が省略されることで、デコーダネットワーク１０Ｂの第１階層において、エンコーダネットワーク１０Ａから受け取る画像特徴マップＣＭＰが無いため、マージ処理も省略される。
【０１１２】
同様に、第４階層においても、エンコーダネットワーク１０Ａにおける畳み込み処理及びスキップレイヤ処理が省略される結果、デコーダネットワーク１０Ｂにおけるマージ処理も省略される。
【０１１３】
次に、上記構成による作用について、図１８から図２０に示すフローチャートを参照して説明する。まず、ＡＰ３０Ａの１つである作動プログラムが起動されると、図１１で示したように、学習装置２を構成するコンピュータのＣＰＵ３２が、各処理部５１から５７として機能する。
【０１１４】
図１８のステップＳ１１００に示すように、学習装置２は、学習データを解析する。そして、ステップＳ１２００において、学習装置２は、学習データの解析結果に基づいて学習方法を決定する。ステップＳ１３００において、決定した学習方法で学習する。
【０１１５】
図１９に示すように、図１８におけるステップＳ１１００は、本例では、ステップ１１００Ａの手順に従って行われる。学習データ解析部５２は、ミニバッチデータ１１からアノテーション画像群１３を取得する。学習データ解析部５２は、ステップＳ１１１０Ａにおいて、取得したアノテーション画像群１３に含まれる各アノテーション画像２１Ｓについて、図１４に示すように、画像ピラミッドを生成する。そして、ステップＳ１１２０Ａにおいて、画像ピラミッドに基づいて、各アノテーション画像２１Ｓに含まれる周波数帯域を解析する。学習データ解析部５２は、画像ピラミッドに基づいて、各周波数帯域に対応する差分ΔＰを計算する。ステップＳ１１３０Ａにおいて、学習データ解析部５２は、各アノテーション画像２１Ｓに基づいて算出した差分ΔＰの平均値を計算して、これをアノテーション画像群１３の差分ΔＰとして、差分ΔＰに基づき解析結果６１を出力する。
【０１１６】
図２０に示すように、図１８におけるステップＳ１２００は、本例では、ステップＳ１２００Ａの手順に従って行われる。学習方法決定部５３は、ステップＳ１２１０Ａにおいて、解析結果６１に基づいて、階層型モデル１０における、必要階層と省略可能階層とを決定する。図１５に示したように、学習方法決定部５３は、解析結果６１と階層型モデル１０が解析可能な周波数帯域とを比較して、必要階層と省略可能階層を判定し、判定結果を出力する。
【０１１７】
図１５に示す解析結果６１においては、１／１及び１／４以外の周波数帯域が必要帯域として特定される。学習方法決定部５３は、解析結果６１に従って、第１階層及び第４階層を省略可能階層として決定し、それ以外を必要階層と決定し、これを判定結果として出力する。
【０１１８】
ステップＳ１２２０Ａにおいて、学習方法決定部５３は、判定結果に基づいて、省略可能階層の有無を判定する。省略可能階層が無いと判定した場合（ステップＳ１２２０ＡでＮＯ）は、学習方法決定部５３は、階層型モデル１０を再構成せずに、初期状態の階層型モデル１０を用いて学習を行うことに決定する。
【０１１９】
一方、ステップＳ１２２０Ａにおいて、省略可能階層が有ると判定した場合（ステップＳ１２２０ＡでＹＥＳ）は、学習方法決定部５３は、階層型モデル１０を再構成する。具体的には、まず、ステップＳ１２３０Ａにおいて、学習方法決定部５３は、ストレージデバイス３０から、図１６の右側の削減内容を規定したデータを読み出して、省略可能階層における処理の削減内容を決定する。そして、ステップＳ１２４０Ａにおいて、学習方法決定部５３は、決定した削減内容に基づいて、階層型モデル１０を再構成する。図１６に示す例では、エンコーダネットワーク１０Ａの第１階層及び第４階層における、畳み込み処理及びスキップレイヤ処理が省略される。
【０１２０】
図１８のステップＳ１３００では、学習部５４は、ミニバッチデータ１１から学習用入力画像群１２を取得して、階層型モデル１０を再構成した場合は、取得した学習用入力画像群１２を再構成した階層型モデル１０に与えて、階層型モデル１０を学習させる。階層型モデル１０は、学習用入力画像２０Ｓ毎に学習用出力画像１４Ｓを出力する。学習部５４は、１つの学習用入力画像群１２の学習を行うと、学習用出力画像群１４を評価部５６に出力する。
【０１２１】
評価部５６は、学習用出力画像群１４とミニバッチデータ１１からのアノテーション画像群１３とを比較して、階層型モデル１０のクラスの判別精度を評価する。更新部５７は、評価部５６から出力された評価結果に基づいて、階層型モデル１０のフィルタＦの係数等のパラメータを更新する。こうした学習が、生成したミニバッチデータ１１の数だけ繰り返される。
【０１２２】
このように、学習装置２において、学習データ解析部５２は、アノテーション画像２１Ｓに含まれる周波数帯域を解析する。学習方法決定部５３は、学習データ解析部５２による周波数帯域の解析結果６１に基づいて、学習データに相当する、学習用入力画像２０Ｓを用いた学習方法を決定する。そして、学習部５４は、学習用入力画像２０Ｓを用いて、決定した学習方法で階層型モデル１０を学習させる。本例においては、解析結果６１に基づいて階層型モデル１０が再構成されて、階層型モデル１０の学習が行われる。
【０１２３】
そのため、学習データに相当するアノテーション画像２１Ｓにおける判別対象のクラスの周波数帯域と、階層型モデル１０が解析可能な周波数帯域との不整合が抑制される。また、クラスの判別精度の向上に寄与しない不要な階層においては、処理が省略される。これにより、クラスの適切な判別ができ、かつ、計算処理の無駄を省くことができる。
【０１２４】
また、学習データ解析部５２は、アノテーション画像２１Ｓに含まれる周波数帯域を解析して、周波数帯域のうち、特徴を抽出する必要性が相対的に高い周波数帯域を必要帯域として特定する。学習方法決定部５３は、特定した周波数帯域（必要帯域）に基づいて、階層型モデル１０を再構成する。必要帯域に基づいた階層型モデル１０の再構成により、必要帯域が適切に解析されることになるため、クラスの適切な判別がより確実になる。
【０１２５】
また、階層型モデル１０の再構成において、学習方法決定部５３は、特定した周波数帯域（必要帯域）に基づいて、階層型モデル１０の複数の階層のうち、学習に必要な必要階層と学習において省略可能な省略可能階層とを決定する。そして、省略可能階層については、必要階層よりも、処理量を減らしている。そのため、後述するように、学習用入力画像２０Ｓの解像度を下げる等入力画像のデータ量を単に削減するだけの場合と比較して、計算処理の無駄の削減効果が大きい。というのも、階層型モデル１０の学習においては、入力画像のデータ量よりも、階層型モデル１０のデータ量が圧倒的に多いためである。そのため、メモリ３１の消費量の大幅な低減、及び計算時間の高速化が可能となる。
【０１２６】
また、本例においては、学習データ解析部５２は、アノテーション画像２１Ｓの解像度が段階的に下げられた、解像度が異なる複数のボケ画像２１ＳＧで構成される画像ピラミッドを生成する。そして、画像ピラミッドに基づいてアノテーション画像２１Ｓに含まれる周波数帯域を解析している。画像ピラミッドを用いることで、段階的な周波数帯域の解析が可能になる。階層型モデル１０が解析可能な周波数帯域も段階的である。そのため、例えばフーリエ変換で周波数帯域を解析する場合と比較して、画像ピラミッドの周波数帯域と階層型モデル１０の各階層の周波数帯域とを整合させやすい。
【０１２７】
というのも、フーリエ変換においては、周波数帯域の解析結果として空間周波数のスペクトルが得られるが、スペクトルは連続値であるため、段階的に変化する周波数帯域を持つ階層型モデル１０と整合させるには手間が若干多くなるためである。
【０１２８】
また、本例においては、画像ピラミッドの各ボケ画像２１ＳＧの差分ΔＰに基づいて、周波数帯域を解析する例で説明した。しかし、周波数帯域を解析する方法としては、差分ΔＰを用いる以外でも、例えば、各ボケ画像２１ＳＧの面積一致率又は相関係数を用いて周波数帯域を解析する方法がある。これらの方法を採用してもよい。
【０１２９】
もちろん、画像ピラミッドと比較して手間がかかるにせよ、フーリエ変換によっても周波数帯域の解析は可能であるため、画像ピラミッドの代わりにフーリエ変換を用いてもよい。フーリエ変換を用いる場合は、例えば、学習データ解析部５２は、アノテーション画像２１Ｓの空間周波数のスペクトルにおいて、強度の大きな周波数帯域について、大きい方から順に予め定めた数だけ選択する。そして、選択した周波数帯域を基準以上の周波数帯域、それ以外を基準未満の周波数帯域と判定する。
【０１３０】
また、階層型モデル１０は、エンコーダネットワーク１０Ａとデコーダネットワーク１０Ｂを有する畳み込みニューラルネットワークＣＮＮで構成される。こうした畳み込みニューラルネットワークＣＮＮは、セマンティックセグメンテーションを行うに際しては信頼性が高く、広く利用されつつある。このため、階層型モデル１０としてこのような畳み込みニューラルネットワークＣＮＮを用いることで、信頼性の高いセマンティックセグメンテーションを実現することができる。
【０１３１】
なお、図６に示す階層型モデル１０は一例であり、フィルタＦのサイズ（図７の例では３×３）、フィルタＦの枚数（チャンネル数）、各階層の画像サイズの縮小率、及び階層の数等は適宜変更が可能である。また、畳み込み処理の前後において画像特徴マップＣＭＰの画像サイズが同じになるように処理しているが、畳み込み処理の後、画像特徴マップＣＭＰの画像サイズが僅かに小さくなるようにしてもよい。また、図６に示す例では、エンコーダネットワーク１０Ａとデコーダネットワーク１０Ｂの同じ階層において、画像サイズを完全に一致させているが、完全に一致しなくてもよい。例えば、エンコーダネットワーク１０Ａとデコーダネットワーク１０Ｂの同一階層を比較した場合、デコーダネットワーク１０Ｂの画像サイズが僅かに小さくなるようにしてもよい。このように階層型モデル１０の各種のパラメータ等は適宜変更が可能である。
【０１３２】
（階層型モデルの再構成の変形例）
図１６に示す例においては、階層型モデル１０の再構成において、省略可能階層の処理の削減内容について、畳み込み処理及びスキップレイヤ処理の両方を省略する例で説明した。しかし、削減内容としては、上記例に限らず、例えば、図２１に示す変形例のように、畳み込み処理は省略せずに、スキップレイヤ処理のみ省略してもよい。図２１においても、図１６に示した例と同様に、省略可能階層は、第１階層及び第４階層である。
【０１３３】
この場合は、図２２に示すように、エンコーダネットワーク１０Ａの第１階層及び第４階層において、畳み込み処理は行われるが、二点鎖線の円で示すように、スキップレイヤ処理は行われない。また、スキップレイヤ処理が省略されるため、デコーダネットワーク１０Ｂの第１階層及び第４階層において、二点鎖線の円で示すように、マージ処理も省略される。
【０１３４】
このように省略可能階層において、畳み込み処理を行う分、次の階層における特徴抽出が適切に行われる可能性が上がる。畳み込み処理を行うことで、次の階層に出力される画像特徴マップＣＭＰにおいて画像の特徴が明瞭になるためである。もちろん、図２１及び図２２に示す変形例は、畳み込み処理を省略しない分、図１６との比較では、計算処理の削減効果は低減する。
【０１３５】
「第２実施形態」
図２３から図２５に示す第２実施形態は、学習方法決定部５３が、階層型モデル１０の再構成は行わずに、学習用入力画像２０Ｓの解像度を下げて学習を行う学習方法を決定する例である。なお、第２実施形態以降の説明において、上記第１実施形態と同様な構成及び内容については説明を省略し、相違点を中心に説明する。
【０１３６】
第２実施形態においては、図１８に示すステップＳ１２００に関して、第１実施形態で示した図２０に示すステップＳ１２００Ａに代えて、図２３に示すステップＳ１２００Ｂの処理を実行する。
【０１３７】
第２実施形態においても、学習データ解析部５２は、ステップＳ１２００Ｂの前に、第１実施形態と同様に、図１８に示すステップＳ１１００に示す学習データ解析を行う。具体的には、学習データ解析部５２は、学習データアノテーション画像２１Ｓに含まれる周波数帯域を解析して、周波数帯域のうち、特徴を抽出する必要性が相対的に高い周波数帯域を特定し、解析結果６１を出力する。
【０１３８】
図２３に示すステップＳ１２００Ｂの処理では、学習方法決定部５３は、まず、ステップＳ１２１０Ｂにおいて、解析結果６１に基づいて、学習用入力画像２０Ｓの解像度を下げる必要性を判定する。そして、学習方法決定部５３は、解像度を下げる必要性が有りと判定した場合（ステップ１２２０ＢにおいてＹＥＳ）は、ステップＳ１２３０Ｂにおいて学習用入力画像２０Ｓの解像度を下げる。
【０１３９】
図２４は、学習方法決定部５３が、学習用入力画像２０Ｓの解像度を下げる必要性を有りと判定する具体例を示す。図２４に示す解析結果６１においては、アノテーション画像２１Ｓに含まれる周波数帯域のうち、１／１の周波数帯域のみが「基準未満」と判定され、１／２から１／３２までの周波数帯域は「基準以上」と判定されて、必要帯域として特定されている。
【０１４０】
ところが、図２４に示す解析結果６１において必要帯域として特定されている１／３２の周波数帯域については、解析可能な周波数帯域の下限が１／１６の階層型モデル１０においては、対応する階層が無い。これは、階層型モデル１０が解析可能な周波数帯域の範囲に、特徴を抽出することが必要な必要帯域が含まれていないことを意味する。この場合も、学習データにおける判別対象のクラスの周波数帯域と、階層型モデル１０が解析可能な周波数帯域との不整合が生じる。
【０１４１】
このような場合に、学習方法決定部５３は、学習用入力画像２０Ｓの解像度を下げる補正を行って学習するという学習方法を決定する。
【０１４２】
図２５に示すように、学習方法決定部５３は、学習用入力画像２０Ｓの解像度を下げて、画像サイズを１／２にする。これにより、階層型モデル１０の第１階層には、本来、１／１の画像サイズの学習用入力画像２０Ｓが入力されるところ、１／２の画像サイズの学習用入力画像２０Ｓが入力されることになる。その結果、階層型モデル１０の最下位の第５階層が解析可能な周波数帯域が、１／１６から、１／３２に実質的に変更されることになる。
【０１４３】
本例において、アノテーション画像２１Ｓに含まれる周波数帯域には、１／１の周波数帯域は含まれていない。そのため、学習用入力画像２０Ｓの微細構造の特徴の解析は不要である。階層型モデル１０では、解像度が低い学習用入力画像２０Ｓの解析からスタートするため、クラス判別に不要な微細構造の解析が省略される。加えて、階層型モデル１０で解析可能な周波数帯域の範囲が決まっている場合は、学習用入力画像２０Ｓの解像度が下がることにより、最下位の階層において解析可能な周波数帯域が下がる。その結果、１／３２の周波数帯域等、より大域構造の特徴を解析することができる。
【０１４４】
このように学習用入力画像２０Ｓの解像度を下げる補正を行うことで、学習方法決定部５３は、アノテーション画像２１Ｓに含まれる周波数帯域の範囲と、階層型モデル１０が解析可能な周波数帯域の範囲とを整合させることができる。これにより、第２実施形態によれば、適切なクラスの判別を行うことができる。
【０１４５】
「第３実施形態」
図２６から図２８に示す第３実施形態は、第１実施形態と第２実施形態の組み合わせである。すなわち、第３実施形態においては、学習方法決定部５３は、階層型モデル１０の再構成に加えて、学習用入力画像２０Ｓについても解像度を下げる補正をした上で学習するという学習方法を決定する。
【０１４６】
図２６に示すように、学習方法決定部５３は、図１８に示すステップ１２００として、図２６に示すステップＳ１２００Ｃを行う。ステップＳ１２００Ｃでは、学習方法決定部５３は、図２０に示した、階層型モデル１０を再構成するというステップＳ１２００Ａに加えて、図２３に示した、学習用入力画像２０Ｓの解像度を下げる補正をするというステップＳ１２００Ｂを行う。
【０１４７】
図２７は、学習方法決定部５３が、階層型モデル１０の再構成と学習用入力画像２０Ｓの解像度を下げる補正の両方を決定する具体例を示す。図２７に示す解析結果６１においては、第１実施形態と同様に、１／１と１／８の周波数帯域が「基準未満」と判定され、それ以外の周波数帯域が「基準以上」と判定されて、必要帯域と特定されている。また、１／３２の周波数帯域も必要帯域と特定されている。学習方法決定部５３は、第１実施形態と同様に、「基準未満」の周波数帯域に対応する第１階層と第４階層を省略可能階層と決定し、それ以外の階層を必要階層と決定する。また、学習方法決定部５３は、階層型モデル１０に１／３２の周波数帯域に対応する階層が無いため、第２実施形態の図２５に示したように、学習用入力画像２０Ｓの解像度を下げる補正をして、画像サイズを１／２にする。
【０１４８】
図２８に示すように、学習方法決定部５３は、階層型モデル１０を再構成する。第３実施形態においては、学習用入力画像２０Ｓも補正されて画像サイズが１／２になっている。そのため、再構成後の階層型モデル１０においては、実質的に、第１階層の周波数帯域が１／２の周波数帯域に対応し、第５階層の周波数帯域が１／３２の周波数帯域に対応する。そして、図２７に示すように、省略可能階層と判定された階層は、初期状態の階層型モデル１０における、解析可能な周波数帯域が１／８の第４階層である。
【０１４９】
図２８に示すように、初期状態の階層型モデル１０における第４階層は、再構成後の階層型モデル１０においては、第３階層に相当する。そのため、階層型モデル１０の第３階層が省略可能階層になるため、学習方法決定部５３は、第３階層の処理を一部省略する。図２８に示す例では、スキップレイヤ処理のみが省略されている。このように、第１実施形態及び第２実施形態を組み合わせることも可能である。
【０１５０】
「第４実施形態」
図２９及び図３０に示す第４実施形態は、学習データ解析部５２が、アノテーション画像２１Ｓに加えて、学習用入力画像２０Ｓに含まれる周波数帯域を解析する形態である。図２９に示すように、学習データ解析部５２は、ステップＳ１１００Ｂに示す学習データ解析を行う。ステップＳ１１００Ｂにおいて、ステップＳ１１１０ＢからステップＳ１１３０Ｂのアノテーション画像２１Ｓの周波数帯域の解析は、図１９に示すステップＳ１１１０ＡからステップＳ１１３０Ａと同じである。
【０１５１】
学習データ解析部５２は、アノテーション画像２１Ｓに含まれる周波数帯域を解析することに加えて、ステップＳ１１４０ＢからステップＳ１１６０Ｂにおいて学習用入力画像２０Ｓに含まれる周波数帯域を解析する。ステップＳ１１４０ＢからステップＳ１１６０Ｂの学習用入力画像２０Ｓの解析も、アノテーション画像２１Ｓの解析と同様に、例えば、画像ピラミッドを生成することにより行われる。
【０１５２】
図３０に示すように、学習データ解析部５１は、アノテーション画像２１Ｓの解析結果６１と、学習用入力画像２０Ｓの解析結果６２とを出力する。
【０１５３】
学習方法決定部５３は、アノテーション画像２１Ｓの解析結果６１と、学習用入力画像２０Ｓの解析結果６２とに基づいて、学習方法を決定する。例えば、図３０に示す例では、アノテーション画像２１Ｓの解析結果６１においては、１／１及び１／８の周波数帯域が「基準未満」と判定され、それ以外の周波数帯域が「基準以上」と判定されて、必要帯域と特定されている。一方、学習用入力画像２０Ｓの解析結果６２においては、１／８の周波数帯域のみが「基準未満」と判定され、１／１の周波数帯域については必要帯域と特定されている。
【０１５４】
このような場合は、学習方法決定部５３は、階層型モデル１０において、１／１の周波数帯域に対応する第１階層を必要階層と決定し、１／８の周波数帯域を解析する第４階層のみを省略可能階層と決定する。
【０１５５】
このように、アノテーション画像２１Ｓに加えて、学習用入力画像２０Ｓについても周波数帯域を解析することで、次のような効果がある。すなわち、図３０に示すように、アノテーション画像２１Ｓにおいては「基準未満」であっても、学習用入力画像２０Ｓにおいては「基準以上」の周波数帯域がある場合、その周波数帯域の特徴を抽出することが、次の階層の特徴の抽出に際して強い影響を及ぼすことも考えられる。第４実施形態はこのような場合に効果があり、適切なクラスの判別をより確実にすることができる。
【０１５６】
学習データとして、分割された小サイズの学習用入力画像２０Ｓ及びアノテーション画像２１Ｓを用いたが、分割していないオリジナル学習用入力画像２０及びオリジナルアノテーション画像２１を学習データとして用いてもよい。
【０１５７】
上記各実施形態では、入力画像１６および学習用入力画像２０として、細胞培養の様子を映した位相差顕微鏡の画像を例示し、クラスとして分化細胞や培地を例示したが、これに限定されない。例えばＭＲＩ（Magnetic Resonance Imaging）画像を入力画像１６および学習用入力画像２０とし、肝臓、腎臓といった臓器をクラスとしてもよい。
【０１５８】
階層型モデル１０はＵ−Ｎｅｔに限らず、他の畳み込みニューラルネットワーク、例えばＳｅｇＮｅｔでもよい。
【０１５９】
学習装置２を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、学習装置２を、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。具体的には、学習データ解析部５２、学習方法決定部５３及び学習部５４のそれぞれの機能を、３台のコンピュータに分散して担わせる。この場合は３台のコンピュータで学習装置２を構成する。
【０１６０】
このように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム等のアプリケーションプログラム３０Ａについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
【０１６１】
上記各実施形態において、例えば、ミニバッチデータ生成部５１、学習データ解析部５２、学習方法決定部５３、学習部５４、評価部５６、更新部５７といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【０１６２】
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
【０１６３】
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【０１６４】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
【０１６５】
以上の記載から、以下の付記項１に記載の発明を把握することができる。
【０１６６】
［付記項１］
入力画像を解析する複数の階層を有する機械学習モデルであって、階層毎に、入力画像に含まれる空間周波数の周波数帯域が異なる特徴を抽出することにより、入力画像内の複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを実施するための機械学習モデルに学習データを与えて、機械学習モデルを学習させる学習装置であって、
学習データは、学習用入力画像と学習用入力画像に含まれるクラス毎の領域をアノテーションで示したアノテーション画像との組であり、学習データのうち、少なくともアノテーション画像に含まれる周波数帯域を解析する学習データ解析プロセッサと、
学習データ解析プロセッサによる周波数帯域の解析結果に基づいて、学習データを用いた学習方法を決定する学習方法決定プロセッサと、
学習データを用いて、決定した学習方法で機械学習モデルを学習させる学習プロセッサと、
を備えている学習装置。  
【０１６７】
本開示の技術は、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
【符号の説明】
【０１６８】
２  学習装置
１０  階層型モデル（階層型の機械学習モデル）
１０Ａ  エンコーダネットワーク
１０Ｂ  デコーダネットワーク
１０Ｔ  学習済み階層型モデル
１１  ミニバッチデータ
１２  学習用入力画像群
１３  アノテーション画像群
１４  学習用出力画像群
１４Ｓ  学習用出力画像
１５  運用装置
１６  入力画像
１７  出力画像
２０  オリジナル学習用入力画像
２０Ｓ  学習用入力画像
２１  オリジナルアノテーション画像
２１Ｓ  アノテーション画像
２１ＳＧ  ボケ画像
３０  ストレージデバイス
３０Ａ  アプリケーションプログラム（ＡＰ）
３１  メモリ
３２  ＣＰＵ３３  通信部
３４  ディスプレイ
３５  入力デバイス
３６  データバス
５１  ミニバッチデータ生成部
５２  学習データ解析部
５３  学習方法決定部
５４  学習部
５６  評価部
５７  更新部
６１、６２  解析結果ΔＰ  差分
ＣＭＰ  画像特徴マップ
ＣＮＮ  畳み込みニューラルネットワーク
ＤＩ   入力データ
ＤＩｃ 出力データ
Ｆ     フィルタ
Ｉｃｐ 画素
Ｉｐ   注目画素
Ｕ  ユニット
【図１】
2020066233.tif 000003
【図２】
2020066233.tif 000004
【図３】
2020066233.tif 000005
【図４】
2020066233.tif 000006
【図５】
2020066233.tif 000007
【図６】
2020066233.tif 000008
【図７】
2020066233.tif 000009
【図８】
2020066233.tif 000010
【図９】
2020066233.tif 000011
【図１０】
2020066233.tif 000012
【図１１】
2020066233.tif 000013
【図１２】
2020066233.tif 000014
【図１３】
2020066233.tif 000015
【図１４】
2020066233.tif 000016
【図１５】
2020066233.tif 000017
【図１６】
2020066233.tif 000018
【図１７】
2020066233.tif 000019
【図１８】
2020066233.tif 000020
【図１９】
2020066233.tif 000021
【図２０】
2020066233.tif 000022
【図２１】
2020066233.tif 000023
【図２２】
2020066233.tif 000024
【図２３】
2020066233.tif 000025
【図２４】
2020066233.tif 000026
【図２５】
2020066233.tif 000027
【図２６】
2020066233.tif 000028
【図２７】
2020066233.tif 000029
【図２８】
2020066233.tif 000030
【図２９】
2020066233.tif 000031
【図３０】
2020066233.tif 000032
【国際調査報告】
2020066233.tif 000033
2020066233.tif 000034