(57)【要約】【課題】対象物が写された画像と、対象物に対応する分類ラベルとを含む学習データを用いて、対象物を囲むバウンディングボックスを生成する画像解析装置等を提供する。【解決手段】画像解析装置１０は、１又は複数の対象物が写された画像に対して、複数のバウンディングボックスの候補を生成する生成部１２と、第１分類器１３ａを用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す初期スコアを算出する第１算出部１３と、複数のバウンディングボックスの候補の内側をマスクアウト処理した教師あり学習により生成された第２分類器１４ａを用いて、マスクアウト処理した画像が、複数のクラスに分類される確率を算出する第２算出部１４と、第３分類器１６ａを用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す更新スコアを算出する第４算出部１６と、を備える。【選択図】図１
2020181255.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数の対象物が写された画像に対して、複数のバウンディングボックスの候補を生成する生成部と、
前記画像及び前記画像に写された対象物に対応する分類ラベルを含む学習データを用いた教師あり学習により生成された第１分類器を用いて、前記複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるかを表す初期スコアを算出する第１算出部と、
前記学習データを用いて、前記複数のバウンディングボックスの候補の内側をマスクアウト処理した教師あり学習により生成された第２分類器を用いて、前記マスクアウト処理した前記画像が、前記複数のクラスに分類される確率を算出する第２算出部と、
前記確率に基づいて選択されたバウンディングボックスとの重なりに応じて、前記複数のバウンディングボックスの候補それぞれに前記複数のクラスに関する更新分類ラベルを算出する第３算出部と、
前記画像及び前記更新分類ラベルを含む更新学習データを用いた教師あり学習により生成された第３分類器を用いて、前記複数のバウンディングボックスの候補が、前記複数のクラスのいずれに分類されるか表す更新スコアを算出する第４算出部と、
を備える画像解析装置。
【請求項２】
前記第３算出部は、前記確率が閾値未満となる１又は複数のバウンディングボックスの候補のうち前記初期スコアが最大であるバウンディングボックスの候補と、前記複数のバウンディングボックスの候補との重なりに応じて、前記更新分類ラベルを算出する、
請求項１に記載の画像解析装置。
【請求項３】
前記第３算出部は、前記確率が閾値未満となる１又は複数のバウンディングボックスの候補のうち前記更新スコアが最大であるバウンディングボックスの候補と、前記複数のバウンディングボックスの候補との重なりに応じて、再更新分類ラベルを算出し、
前記第４算出部は、前記画像及び前記再更新分類ラベルを含む再更新学習データを用いた教師あり学習により生成された第４分類器を用いて、前記複数のバウンディングボックスの候補が、前記複数のクラスのいずれに分類されるか表す再更新スコアを算出する、
請求項２に記載の画像解析装置。
【請求項４】
前記第２分類器は、畳み込みニューラルネットワークで構成され、
前記マスクアウト処理は、前記畳み込みニューラルネットワークにより算出される特徴マップのうち前記複数のバウンディングボックスの候補の内側に対応する値をゼロにする処理である、
請求項１から３のいずれか一項に記載の画像解析装置。
【請求項５】
前記第２分類器は、前記画像の顕現性マップに基づいて、前記画像の背景に対応する画素を修正処理した教師あり学習により生成されている、
請求項１から４のいずれか一項に記載の画像解析装置。
【請求項６】
前記第２算出部は、前記第２分類器を用いて、前記画像の顕現性マップに基づいて選択される前記画像の複数のセグメントのうち、いずれか１つのセグメント以外のセグメントをマスクアウト処理した前記画像について、前記確率を算出する、
請求項１から５のいずれか一項に記載の画像解析装置。
【請求項７】
前記第３分類器は、前記複数のバウンディングボックスの候補のうち、前記確率に基づいて選択されたバウンディングボックスとの重なりが閾値以上である候補について正の値であり、前記確率に基づいて選択されたバウンディングボックスとの重なりが閾値未満である候補についてゼロである重みによって重み付けされた前記更新分類ラベルを用いた教師あり学習により生成されている、
請求項１から６のいずれか一項に記載の画像解析装置。
【請求項８】
前記分類ラベルを用いて表される第１損失関数及び前記更新分類ラベルを用いて表される第３損失関数の和を最小化する教師あり学習により、前記第１分類器及び前記第３分類器を生成する第１学習部をさらに備える、
請求項１から７のいずれか一項に記載の画像解析装置。
【請求項９】
前記分類ラベルを用いて表される第２損失関数を最小化する教師あり学習により、前記第２分類器を生成する第２学習部をさらに備える、
請求項１から８のいずれか一項に記載の画像解析装置。
【請求項１０】
１又は複数の対象物が写された画像に対して、複数のバウンディングボックスの候補を生成することと、
前記画像及び前記画像に写された対象物に対応する分類ラベルを含む学習データを用いた教師あり学習により生成された第１分類器を用いて、前記複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるかを表す初期スコアを算出することと、
前記学習データを用いて、前記複数のバウンディングボックスの候補の内側をマスクアウト処理した教師あり学習により生成された第２分類器を用いて、前記マスクアウト処理した前記画像が、前記複数のクラスに分類される確率を算出することと、
前記確率に基づいて選択されたバウンディングボックスとの重なりに応じて、前記複数のバウンディングボックスの候補それぞれに前記複数のクラスに関する更新分類ラベルを算出することと、
前記画像及び前記更新分類ラベルを含む更新学習データを用いた教師あり学習により生成された第３分類器を用いて、前記複数のバウンディングボックスの候補が、前記複数のクラスのいずれに分類されるか表す更新スコアを算出することと、
を含む画像解析方法。
【請求項１１】
画像解析装置に備えられた演算部を、
１又は複数の対象物が写された画像に対して、複数のバウンディングボックスの候補を生成する生成部、
前記画像及び前記画像に写された対象物に対応する分類ラベルを含む学習データを用いた教師あり学習により生成された第１分類器を用いて、前記複数のバウンディングボックスの候補が、前記複数の対象物に対応する複数のクラスのいずれに分類されるか表す初期スコアを算出する第１算出部、
前記学習データを用いて、前記複数のバウンディングボックスの候補の内側をマスクアウト処理した教師あり学習により生成された第２分類器を用いて、前記マスクアウト処理した前記画像が、前記複数のクラスに分類される確率を算出する第２算出部、
前記確率に基づいて選択されたバウンディングボックスとの重なりに応じて、前記複数のバウンディングボックスの候補それぞれに前記複数のクラスに関する更新分類ラベルを算出する第３算出部、及び
前記画像及び前記更新分類ラベルを含む更新学習データを用いた教師あり学習により生成された第３分類器を用いて、前記複数のバウンディングボックスの候補が、前記複数のクラスのいずれに分類されるか表す更新スコアを算出する第４算出部、
として機能させる画像解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置、画像解析方法及び画像解析プログラムに関する。
【背景技術】
【０００２】
従来、１又は複数の対象物写された画像と、対象物を囲むバウンディングボックスと、バウンディングボックスで囲まれた対象物に対応する分類ラベルとを含む学習データを用いた教師あり学習によって、物体検出モデルを生成する研究が行われている。
【０００３】
例えば、下記非特許文献１には、非特許文献２で提案された手法により複数のバウンディングボックスの候補を生成し、畳み込みニューラルネットワークにより画像の特徴マップを算出して、複数のバウンディングボックスの候補に対応する特徴マップの値に基づいて、対象物を囲むバウンディングボックスと、バウンディングボックスで囲まれた対象物に対応する分類ラベルとを算出する研究が開示されている。
【０００４】
非特許文献２には、色に関する類似度を表す指標と、テクスチャに関する類似度を表す指標と、領域の大きさに関する指標と、２つの領域が重なり合うか表す指標とを組み合わせて、対象物を囲むバウンディングボックスの候補を生成する研究が開示されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ross Girshick, "Fast R-CNN", The IEEE International Conference on Computer Vision (ICCV), 2015, pp. 1440-1448.
【非特許文献２】J. R. Uijlings, K. E. Van De Sande, T. Gevers, and A. W.Smeulders, "Selective search for object recognition", IJCV, volume 104, pages 154-171, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術によって、対象物を囲むバウンディングボックスを含む学習データが与えられた場合、教師あり学習によって、比較的高い精度の物体検出モデルを生成することができることが知られている。
【０００７】
しかしながら、対象物を囲むバウンディングボックスを画像に追加するアノテーションは、人によって行われることが通常であり、学習データを作成するためのコストが大きい。
【０００８】
そこで、本発明は、対象物が写された画像と、対象物に対応する分類ラベルとを含む学習データを用いて、対象物を囲むバウンディングボックスを生成する画像解析装置、画像解析方法及び画像解析プログラムを提供する。
【課題を解決するための手段】
【０００９】
本発明の一態様に係る画像解析装置は、１又は複数の対象物が写された画像に対して、複数のバウンディングボックスの候補を生成する生成部と、画像及び画像に写された対象物に対応する分類ラベルを含む学習データを用いた教師あり学習により生成された第１分類器を用いて、複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるかを表す初期スコアを算出する第１算出部と、学習データを用いて、複数のバウンディングボックスの候補の内側をマスクアウト処理した教師あり学習により生成された第２分類器を用いて、マスクアウト処理した画像が、複数のクラスに分類される確率を算出する第２算出部と、確率に基づいて選択されたバウンディングボックスとの重なりに応じて、複数のバウンディングボックスの候補それぞれに複数のクラスに関する更新分類ラベルを算出する第３算出部と、画像及び更新分類ラベルを含む更新学習データを用いた教師あり学習により生成された第３分類器を用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す更新スコアを算出する第４算出部と、を備える。
【００１０】
この態様によれば、複数のバウンディングボックスの候補の内側をマスクアウト処理した教師あり学習により生成された第２分類器によって、マスクアウト処理した画像が、複数のクラスに分類される確率を算出することで、対象物を適切に囲むバウンディングボックスの候補と対象物の一部しか覆えていないバウンディングボックスとを区別することができる。そして、算出された確率に基づいて選択されたバウンディングボックスとの重なりに応じて、複数のバウンディングボックスの候補それぞれに更新分類ラベルを付与し、画像及び更新分類ラベルを用いた教師あり学習により生成された第３分類器を用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す更新スコアを算出することで、対象物を適切に囲むバウンディングボックスを特定することができる。これにより、対象物が写された画像と、対象物に対応する分類ラベルとを含む学習データを用いて、対象物を囲むバウンディングボックスを生成することができる。
【００１１】
上記態様において、第３算出部は、確率が閾値未満となる１又は複数のバウンディングボックスの候補のうち初期スコアが最大であるバウンディングボックスの候補と、複数のバウンディングボックスの候補との重なりに応じて、更新分類ラベルを算出してもよい。
【００１２】
この態様によれば、第２分類器によって算出された確率が閾値以下となるバウンディングボックスの候補を選ぶことで、対象物を適切に囲むバウンディングボックスの候補を選ぶことができ、バウンディングボックスの候補に適切な更新分類ラベルを付与することができる。
【００１３】
上記態様において、第３算出部は、確率が閾値未満となる１又は複数のバウンディングボックスの候補のうち更新スコアが最大であるバウンディングボックスの候補と、複数のバウンディングボックスの候補との重なりに応じて、再更新分類ラベルを算出し、第４算出部は、画像及び再更新分類ラベルを含む再更新学習データを用いた教師あり学習により生成された第４分類器を用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す再更新スコアを算出してもよい。
【００１４】
この態様によれば、画像及び再更新分類ラベルを用いた教師あり学習により生成された第４分類器を用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す再更新スコアを算出することで、対象物を適切に囲むバウンディングボックスを特定することができる。更新スコア及び再更新スコアを用いることで、対象物が写された画像と、対象物に対応する分類ラベルとを含む学習データを用いて、対象物を囲むバウンディングボックスをより適切に生成することができる。
【００１５】
上記態様において、第２分類器は、畳み込みニューラルネットワークで構成され、マスクアウト処理は、畳み込みニューラルネットワークにより算出される特徴マップのうち複数のバウンディングボックスの候補の内側に対応する値をゼロにする処理であってもよい。
【００１６】
この態様によれば、画像を直接マスクアウト処理する場合に比べて、第２分類器による確率の算出をより高速に行うことができる。
【００１７】
上記態様において、第２分類器は、画像の顕現性マップに基づいて、画像の背景に対応する画素を修正処理した教師あり学習により生成されていてもよい。
【００１８】
この態様によれば、背景と対象物の間に相関がある画像であっても、対象物を適切に囲むバウンディングボックスの候補を選択できるようになる。
【００１９】
上記態様において、第２算出部は、第２分類器を用いて、画像の顕現性マップに基づいて選択される画像の複数のセグメントのうち、いずれか１つのセグメント以外のセグメントをマスクアウト処理した画像について、確率を算出してもよい。
【００２０】
この態様によれば、画像に複数の対象物が写されている場合であっても、複数の対象物をそれぞれ適切に囲むバウンディングボックスが生成できるようになる。
【００２１】
上記態様において、第３分類器は、複数のバウンディングボックスの候補のうち、確率に基づいて選択されたバウンディングボックスとの重なりが閾値以上である候補について正の値であり、確率に基づいて選択されたバウンディングボックスとの重なりが閾値未満である候補についてゼロである重みによって重み付けされた更新分類ラベルを用いた教師あり学習により生成されていてもよい。
【００２２】
この態様によれば、第２分類器により算出された確率に基づいて選択されたバウンディングボックスとの重なりが閾値未満であるバウンディングボックスの候補を考慮しないように学習された第３分類器によって、複数のバウンディングボックスの候補それぞれについて更新分類ラベルを算出することができ、画像に複数の対象物が写されていても、１つの対象物を囲むバウンディングボックスを生成しつつ、他の対象物を背景とみなすことが防止できる。
【００２３】
上記態様において、分類ラベルを用いて表される第１損失関数及び更新分類ラベルを用いて表される第３損失関数の和を最小化する教師あり学習により、第１分類器及び第３分類器を生成する第１学習部をさらに備えてもよい。
【００２４】
この態様によれば、複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるか表す初期スコア及び更新スコアを適切に算出する第１分類器及び第３分類器を生成することができる。
【００２５】
上記態様において、分類ラベルを用いて表される第２損失関数を最小化する教師あり学習により、第２分類器を生成する第２学習部をさらに備えてもよい。
【００２６】
この態様によれば、マスクアウト処理した画像が、複数のクラスに分類される確率を適切に算出する第２分類器を生成することができる。
【００２７】
本発明の他の態様に係る画像解析方法は、１又は複数の対象物が写された画像に対して、複数のバウンディングボックスの候補を生成することと、画像及び画像に写された対象物に対応する分類ラベルを含む学習データを用いた教師あり学習により生成された第１分類器を用いて、複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるかを表す初期スコアを算出することと、学習データを用いて、複数のバウンディングボックスの候補の内側をマスクアウト処理した教師あり学習により生成された第２分類器を用いて、マスクアウト処理した画像が、複数のクラスに分類される確率を算出することと、確率に基づいて選択されたバウンディングボックスとの重なりに応じて、複数のバウンディングボックスの候補それぞれに複数のクラスに関する更新分類ラベルを算出することと、画像及び更新分類ラベルを含む更新学習データを用いた教師あり学習により生成された第３分類器を用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す更新スコアを算出することと、を含む。
【００２８】
この態様によれば、対象物が写された画像と、対象物に対応する分類ラベルとを含む学習データを用いて、対象物を囲むバウンディングボックスを生成することができる。
【００２９】
本発明の他の態様に係る画像解析プログラムは、画像解析装置に備えられた演算部を、１又は複数の対象物が写された画像に対して、複数のバウンディングボックスの候補を生成する生成部、画像及び画像に写された対象物に対応する分類ラベルを含む学習データを用いた教師あり学習により生成された第１分類器を用いて、複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるか表す初期スコアを算出する第１算出部、学習データを用いて、複数のバウンディングボックスの候補の内側をマスクアウト処理した教師あり学習により生成された第２分類器を用いて、マスクアウト処理した画像が、複数のクラスに分類される確率を算出する第２算出部、確率に基づいて選択されたバウンディングボックスとの重なりに応じて、複数のバウンディングボックスの候補それぞれに複数のクラスに関する更新分類ラベルを算出する第３算出部、及び画像及び更新分類ラベルを含む更新学習データを用いた教師あり学習により生成された第３分類器を用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す更新スコアを算出する第４算出部、として機能させる。
【００３０】
この態様によれば、対象物が写された画像と、対象物に対応する分類ラベルとを含む学習データを用いて、対象物を囲むバウンディングボックスを生成することができる。
【発明の効果】
【００３１】
本発明によれば、対象物が写された画像と、対象物に対応する分類ラベルとを含む学習データを用いて、対象物を囲むバウンディングボックスを生成する画像解析装置、画像解析方法及び画像解析プログラムを提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る画像解析装置の機能ブロックを示す図である。
【図２】本実施形態に係る画像解析装置による画像解析の概要を示す図である。
【図３】本実施形態に係る画像解析装置の物理的構成を示す図である。
【図４】本実施形態に係る画像解析装置の第２分類器の損失関数の値と学習処理の回数の関係を示す図である。
【図５】本実施形態に係る画像解析装置の精度と比較例に係る画像解析手法の精度を示す図である。
【図６】本実施形態に係る画像解析装置の精度と比較例に係る画像解析手法の精度を示す図である。
【図７】本実施形態に係る画像解析装置により実行されるバウンディングボックス生成処理のフローチャートである。
【図８】本実施形態に係る画像解析装置により実行される第２分類器の学習処理のフローチャートである。
【図９】本実施形態に係る画像解析装置により実行される第１分類器、第３分類器及び第４分類器の学習処理のフローチャートである。
【発明を実施するための形態】
【００３３】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００３４】
図１は、本発明の実施形態に係る画像解析装置１０の機能ブロックを示す図である。画像解析装置１０は、記憶部１１、生成部１２、第１算出部１３、第２算出部１４、第３算出部１５、第４算出部１６、第１学習部１７及び第２学習部１８を備える。
【００３５】
記憶部１１は、画像１１ａ及び分類ラベル１１ｂを記憶する。画像１１ａは、複数の対象物のうち少なくとも１つが写された画像である。分類ラベル１１ｂは、画像１１ａに写された対象物に対応するラベルであり、例えば対象物に対応する数値であってよい。分類ラベル１１ｂは、画像１１ａ全体に対して付与されたラベルであり、画像１１ａのどの領域に対象物が写っているかは予め明らかにはなっていない。また、画像１１ａに複数の対象物が写されている場合、分類ラベル１１ｂは、当該複数の対象物に対応する複数のラベルを含むが、複数の対象物が写っている領域は予め明らかにはなっていない。
【００３６】
生成部１２は、１又は複数の対象物が写された画像１１ａに対して、複数のバウンディングボックスの候補を生成する。複数のバウンディングボックスの候補は、対象物を適切に囲むものであったり、対象物の一部を囲むものであったり、対象物を囲まないものであったりする。生成部１２は、例えば、非特許文献２に記載の技術を用いて、画像１１ａに対して、複数のバウンディングボックスの候補を生成してよい。
【００３７】
第１算出部１３は、画像１１ａ及び分類ラベル１１ｂを含む学習データを用いた教師あり学習により生成された第１分類器１３ａを用いて、複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるかを表す初期スコアを算出する。複数の対象物の数をＣと表し、複数のバウンディングボックスの候補の数をＪと表すとき、分類ラベル１１ｂは、Ｃ次元の配列ｙc（ｃ＝１〜Ｃ）であり、初期スコアは、Ｃ×Ｊ次元の配列ｘcj0（ｃ＝１〜Ｃ、ｊ＝１〜Ｊ）である。第１分類器１３ａは、畳み込みニューラルネットワークで構成されてよく、例えば学習済みモデルの一種であるＶＧＧ１６により構成されてよい。第１分類器１３ａは、ＶＧＧ１６により算出される特徴マップに対してＳＰＰ（Spatial Pyramid Pooling）を適用し、初期スコアｘcj0を算出するものであってよい。
【００３８】
第２算出部１４は、学習データを用いて、複数のバウンディングボックスの候補の内側をマスクアウト処理した教師あり学習により生成された第２分類器１４ａを用いて、マスクアウト処理した画像１１ａが、複数のクラスに分類される確率を算出する。ここで、確率は、複数のバウンディングボックスの候補をマスクアウト処理した画像１１ａそれぞれについて算出され、Ｃ×Ｊ次元の配列ｐcj（ｃ＝１〜Ｃ、ｊ＝１〜Ｊ）となる。
【００３９】
第２分類器１４ａは、畳み込みニューラルネットワークで構成され、マスクアウト処理は、畳み込みニューラルネットワークにより算出される特徴マップのうち複数のバウンディングボックスの候補の内側に対応する値をゼロにする処理であってよい。第２分類器１４ａは、特徴マップをマスクアウト処理した値に対してＧＡＰ（Global Average Pooling）を適用し、全結合層に入力することで、マスクアウト処理した画像１１ａが、複数のクラスに分類される確率ｐcjを算出してよい。特徴マップに対してマスクアウト処理を行うことで、画像を直接マスクアウト処理する場合に比べて、第２分類器１４ａによる確率の算出をより高速に行うことができる。
【００４０】
第２算出部１４は、第２分類器１４ａを用いて、画像１１ａの顕現性マップに基づいて選択される画像１１ａの複数のセグメントのうち、いずれか１つのセグメント以外のセグメントをマスクアウト処理した画像について、確率ｐcjを算出してよい。第２算出部１４は、画像１１ａの顕現性マップが閾値以上である複数のセグメントを抽出し、いずれか１つのセグメント以外のセグメントを画像１１ａの平均画素で塗り潰した上で、確率ｐcjを算出してよい。例えば、画像に２以上の対象物が写っている場合、１つの対象物について正しくバウンディングボックスを生成できるようになったとしても、その学習処理の過程で、他の対象物を囲むバウンディングボックスが、背景に対応するクラスｃ＝Ｃ＋１に分類されてしまう場合がある。本実施形態に係る画像解析装置１０によれば、画像に複数の対象物が写されている場合であっても、顕現性マップを用いたセグメントの選択によって、複数の対象物をそれぞれ適切に囲むバウンディングボックスが生成できるようになる。
【００４１】
第３算出部１５は、第２分類器１４ａにより算出された確率に基づいて選択されたバウンディングボックスとの重なりに応じて、複数のバウンディングボックスの候補それぞれに複数のクラスに関する更新分類ラベルを算出する。
【００４２】
第３算出部１５は、第２分類器１４ａにより算出された確率ｐcjが閾値Ｐt未満となる１又は複数のバウンディングボックスの候補のうち初期スコアｘcj0が最大であるバウンディングボックスの候補を選択する。具体的には、第３算出部１５は、以下の数式（１）のｋ＝１の場合によって、複数のクラス毎にバウンディングボックスの候補を選択する。
【００４３】
【数１】
2020181255.tif 000003
【００４４】
バウンディングボックスによって対象物全体が囲まれている場合、第２分類器１４ａは、マスクアウト処理された画像１１ａに何が写っているのか判定できず、全てのｃについて確率ｐcjが１／Ｃ程度となることが想定される。一方、バウンディングボックスによって対象物の一部が囲まれていたり、対象物が囲まれていたりする場合、第２分類器１４ａは、マスクアウト処理された画像１１ａであっても何が写っているのか判定できるため、特定のｃについて確率ｐcjが相対的に大きな値となることが想定される。そのため、確率ｐcjの大きさによって、対象物を適切に囲むバウンディングボックスの候補と、対象物の一部しか覆えていないバウンディングボックスの候補とを区別することができる。
【００４５】
第３算出部１５は、第２分類器１４ａにより算出された確率ｐcjが閾値Ｐt未満となる１又は複数のバウンディングボックスの候補のうち初期スコアｘcj0が最大であるバウンディングボックスの候補と、複数のバウンディングボックスの候補との重なりに応じて、更新分類ラベルを算出する。更新分類ラベルは、（Ｃ＋１）×Ｊ次元の配列ｙcj1（ｃ＝１〜Ｃ＋１、ｊ＝１〜Ｊ）である。ここで、ｃ＝Ｃ＋１は、Ｃ種類の対象物のいずれにも該当しない背景に相当するラベルである。
【００４６】
第３算出部１５は、ｃ＝１〜Ｃの場合について、以下の数式（２）のｋ＝１の場合によって、更新分類ラベルｙcj1を算出する。ここで、ＩｏＵ（Intersection over Union）は、ｊ番目のバウンディングボックスの候補ｒjと、ｊc番目のバウンディングボックスの候補ｒjc（数式（１）により選択されたバウンディングボックスの候補）との重なりを測る関数であり、Ｉtは所定の閾値である。
【００４７】
【数２】
2020181255.tif 000004
【００４８】
また、第３算出部１５は、ｃ＝Ｃ＋１の場合について、以下の数式（３）のｋ＝１の場合によって、更新分類ラベルｙcj1を算出する。
【００４９】
【数３】
2020181255.tif 000005
【００５０】
このように、第３算出部１５によれば、第２分類器１４ａによって算出された確率が閾値Ｐt以下となるバウンディングボックスの候補を選ぶことで、対象物を適切に囲むバウンディングボックスの候補を選ぶことができ、バウンディングボックスの候補に適切な更新分類ラベルｙcj1を付与することができる。
【００５１】
第４算出部１６は、画像１１ａ及び更新分類ラベルｙcj1を含む更新学習データを用いた教師あり学習により生成された第３分類器１６ａを用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す更新スコアを算出する。更新スコアは、（Ｃ＋１）×Ｊ次元の配列ｘcj1（ｃ＝１〜Ｃ＋１、ｊ＝１〜Ｊ）である。第３分類器１６ａは、畳み込みニューラルネットワークで構成されてよく、例えば学習済みモデルの一種であるＶＧＧ１６により構成されてよい。
【００５２】
本実施形態に係る画像解析装置１０によれば、複数のバウンディングボックスの候補の内側をマスクアウト処理した教師あり学習により生成された第２分類器１４ａによって、マスクアウト処理した画像が、複数のクラスに分類される確率ｐcjを算出することで、対象物を適切に囲むバウンディングボックスの候補と対象物の一部しか覆えていないバウンディングボックスとを区別することができる。そして、算出された確率ｐcjに基づいて選択されたバウンディングボックスとの重なりに応じて、複数のバウンディングボックスの候補それぞれに更新分類ラベルｙcj1を付与し、画像及び更新分類ラベルｙcj1を用いた教師あり学習により生成された第３分類器１６ａを用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す更新スコアｘcj1を算出することで、対象物を適切に囲むバウンディングボックスを特定することができる。これにより、対象物が写された画像１１ａと、対象物に対応する分類ラベル１１ｂとを含む学習データを用いて、対象物を囲むバウンディングボックスを生成することができる。すなわち、本実施形態に係る画像解析装置１０によれば、画像１１ａと分類ラベル１１ｂのみを含み、バウンディングボックスの教師データを含まない学習データを用いた弱教師あり学習によって、対象物を囲むバウンディングボックスを生成することができる。
【００５３】
第３算出部１５は、確率ｐcjが閾値Ｐt未満となる１又は複数のバウンディングボックスの候補のうち更新スコアｘcj1が最大であるバウンディングボックスの候補と、複数のバウンディングボックスの候補との重なりに応じて、再更新分類ラベルを算出する。再更新分類ラベルは、（Ｃ＋１）×Ｊ次元の配列ｙcj2（ｃ＝１〜Ｃ＋１、ｊ＝１〜Ｊ）である。具体的には、第３算出部１５は、数式（１）のｋ＝２の場合によって、複数のクラス毎にバウンディングボックスの候補を選択し、数式（２）及び（３）のｋ＝２の場合によって、再更新分類ラベルｙcj2を算出する。
【００５４】
そして、第４算出部１６は、画像１１ａ及び再更新分類ラベルｙcj2を含む再更新学習データを用いた教師あり学習により生成された第４分類器１６ｂを用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す再更新スコアを算出する。再更新スコアは、（Ｃ＋１）×Ｊ次元の配列ｘcj2（ｃ＝１〜Ｃ＋１、ｊ＝１〜Ｊ）である。第４分類器１６ｂは、畳み込みニューラルネットワークで構成されてよく、例えば学習済みモデルの一種であるＶＧＧ１６により構成されてよい。
【００５５】
このように、画像１１ａ及び再更新分類ラベルｙcj2を用いた教師あり学習により生成された第４分類器１６ｂを用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す再更新スコアｘcj2を算出することで、対象物を適切に囲むバウンディングボックスを特定することができる。更新スコアｘcj1及び再更新スコアｘcj2を用いることで、対象物が写された画像と、対象物に対応する分類ラベルとを含む学習データを用いて、対象物を囲むバウンディングボックスをより適切に生成することができる。画像解析装置１０は、例えば、あるクラスｃについて、更新スコアｘcj1及び再更新スコアｘcj2の平均値が最大となるバウンディングボックスの候補ｊを、最終的なバウンディングボックスの出力としてよい。
【００５６】
本実施形態に係る画像解析装置１０は、第３分類器１６ａ及び第４分類器１６ｂを含むが、さらに、第５分類器、第６分類器…を用いてもよい。その場合、第３算出部１５は、数式（１）のｋ＝３の場合によって、複数のクラス毎にバウンディングボックスの候補を選択し、数式（２）及び（３）のｋ＝３の場合によって、再々更新分類ラベルｙcj3を算出する。また、第４算出部１６は、画像１１ａ及び再々更新分類ラベルｙcj3を含む再更新学習データを用いた教師あり学習により生成された第４分類器を用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す再々更新スコアｘcj3を算出する。以降、同様に、画像解析装置１０は、更新分類ラベルｙcjk（ｋ＝１，２，３，…，Ｋ）と、更新スコアｘcjk（ｋ＝１，２，３，…，Ｋ）を算出し、更新スコアの平均（１／Ｋ）Σk=1Kｘcjkが最大となるバウンディングボックスの候補ｊを、最終的なバウンディングボックスの出力としてよい。
【００５７】
第１学習部１７は、分類ラベル１１ｂを用いて表される第１損失関数及び更新分類ラベルを用いて表される第３損失関数の和を最小化する教師あり学習により、第１分類器１３ａ及び第３分類器１６ａを生成する。画像解析装置１０が、第３分類器１６ａ、第４分類器１６ｂ、…及び第Ｋ分類器を備える場合、第１学習部１７は、第１損失関数、第３損失関数、第４損失関数、…及び第Ｋ損失関数の和を最小化する教師あり学習により、第１分類器１３ａ、第３分類器１６ａ、第４分類器１６ｂ、…及び第Ｋ分類器を生成してよい。第１損失関数、第３損失関数、第４損失関数、…及び第Ｋ損失関数の和を最小化するアルゴリズムは、例えば誤差逆伝播法であってよい。第１学習部１７によって、複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるか表す初期スコア及び更新スコアを適切に算出する第１分類器１３ａ、第３分類器１６ａ、第４分類器１６ｂ、…及び第Ｋ分類器を生成することができる。
【００５８】
具体的には、第１損失関数Ｌbは、以下の数式（４）で定義されるものであってよい。ここで、φc＝Σj=1Jｘcj0という初期スコアｘcj0で定義される量であり、ｙcは分類ラベル１１ｂである。
【００５９】
【数４】
2020181255.tif 000006
【００６０】
また、第（ｋ＋２）損失関数Ｌrk（ｋ＝１〜（Ｋ−２））は、以下の数式（５）で定義されるものであってよい。ここで、ｗjkは、後述する重みであり、ｘcjkは第（ｋ＋２）分類器により算出される更新スコアであり、ｙcjkは第３算出部１５により算出される更新分類ラベルである。
【００６１】
【数５】
2020181255.tif 000007
【００６２】
第３分類器１６ａ、第４分類器１６ｂ、…及び第Ｋ分類器は、複数のバウンディングボックスの候補のうち、確率ｐcjに基づいて選択されたバウンディングボックスとの重なりが閾値ｉtより大きい候補について正の値であり、確率ｐcjに基づいて選択されたバウンディングボックスとの重なりが閾値以下である候補についてゼロである重みｗjkによって重み付けされた更新分類ラベルｙcjkを用いた教師あり学習により生成されてよい。具体的には、重みｗjkは、以下の数式（６）により算出されてよい。ここで、ＩｏＵは、ｊ番目のバウンディングボックスの候補ｒjと、ｊc番目のバウンディングボックスの候補ｒjc（数式（１）により選択されたバウンディングボックスの候補）との重なりを測る関数であり、ｉtは所定の閾値であり、ｘcjk-1は第（ｋ＋１）分類器により算出される更新スコアである。
【００６３】
【数６】
2020181255.tif 000008
【００６４】
このような重み付けによって、第２分類器１４ａにより算出された確率ｐcjに基づいて選択されたバウンディングボックスとの重なりが閾値ｉt以下であるバウンディングボックスの候補を考慮しないように学習された第３分類器１６ａ、第４分類器１６ｂ、…及び第Ｋ分類器によって、複数のバウンディングボックスの候補それぞれについて更新分類ラベルｙcjkを算出することができ、画像に複数の対象物が写されていても、１つの対象物を囲むバウンディングボックスを生成しつつ、他の対象物を背景とみなすことが防止できる。
【００６５】
第２学習部１８は、分類ラベル１１ｂを用いて表される第２損失関数を最小化する教師あり学習により、第２分類器１４ａを生成する。第２学習部１８は、第２分類器１４ａを構成する畳み込みニューラルネットワークによって画像１１ａの特徴マップを算出し、特徴マップのうち複数のバウンディングボックスの候補の内側に対応する値をゼロにするマスクアウト処理を行い、マスクアウト処理した画像１１ａが、複数のクラスに分類される確率ｐcjを算出して、確率ｐcj及び分類ラベル１１ｂを用いて表される第２損失関数を最小化するように、第２分類器１４ａを生成してよい。第２損失関数を最小化するアルゴリズムは、例えば誤差逆伝播法であってよい。第２学習部１８によって、マスクアウト処理した画像１１ａが、複数のクラスに分類される確率ｐcjを適切に算出する第２分類器１４ａを生成することができる。
【００６６】
具体的には、第２損失関数Ｌcontextは、以下の数式（７）で定義されるものであってよい。ここで、ｙcは分類ラベル１１ｂであり、ｐcjは第２分類器１４ａにより算出される確率である。
【００６７】
【数７】
2020181255.tif 000009
【００６８】
第２分類器１４ａは、画像１１ａの顕現性マップに基づいて、画像１１ａの背景に対応する画素を修正処理した教師あり学習により生成されてよい。第２学習部１８は、第２分類器１４ａの学習処理を行う場合、画像１１ａの顕現性マップが閾値以下である領域を背景として、背景を画像１１ａの平均画素で塗り潰した上で第２学習部１８に入力してよい。このような処理は、背景と対象物の間に相関がある画像に対して有効となる。例えば、青空を背景として飛行機が写っている画像の場合、飛行機を囲むバウンディングボックスをマスクアウト処理しても、背景に基づいて画像に写っている対象物が判定できる場合がある。本実施形態に係る画像解析装置１０によれば、背景と対象物の間に相関がある画像であっても、背景に対応する画素を修正処理することで、対象物を適切に囲むバウンディングボックスの候補を選択できるようになる。
【００６９】
図２は、本実施形態に係る画像解析装置１０による画像解析の概要を示す図である。画像解析装置１０の生成部１２は、画像１１ａに写された対象物（本例では鳥）を囲むように、例えば非特許文献２に記載されたSelective Searchの手法によって、複数のバウンディングボックスの候補を生成する。
【００７０】
そして、画像解析装置１０は、第２分類器１４ａを構成する畳み込みニューラルネットワークによって、画像１１ａの特徴マップを算出し、特徴マップのうち複数のバウンディングボックスの候補の内側に相当する値をマスクアウト処理し、ＧＡＰを適用し、全結合層によって複数のクラスに分類される確率を算出する。第２分類器１４ａにより算出された確率が比較的低いバウンディングボックスは、対象物全体を囲むものとなると想定される。本明細書では、第２分類器１４ａによって実現される対象物が写された状況（撮影のコンテキスト）を考慮したラベル付けをＣＡＰ（Context-Aware Positive）  ｌａｂｅｌｉｎｇと呼ぶ。
【００７１】
また、画像解析装置１０は、第１分類器１３ａによって、複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるか表す初期スコアを算出する。画像解析装置１０は、第３算出部１５によって、第２分類器１４ａにより算出された確率を用いてスクリーニングされたバウンディングボックスの候補と、初期スコアとを用いて、複数のバウンディングボックスの候補それぞれに複数のクラスに関する更新分類ラベルを算出する。
【００７２】
そして、画像解析装置１０は、数式（６）で定められる重み付けがされた更新分類ラベルを用いた教師あり学習で生成された第３分類器１６ａによって、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す更新スコアを算出する。また、画像解析装置１０は、第（ｋ＋２）分類器（ｋ＝１，２，３，…，Ｋ）によって、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す更新スコアｘcjk（ｋ＝１，２，３，…，Ｋ）を算出し、更新スコアの平均（１／Ｋ）Σk=1Kｘcjkが最大となるバウンディングボックスの候補ｊを、最終的なバウンディングボックスの出力としてよい。本明細書では、数式（６）で定められる重み付けがされた更新分類ラベルを用いて、注目する対象物以外の対象物に誤ったラベルが付与されないようにするラベル付けをＳＲＮ（Spatially Restricted Negative）  ｌａｂｅｌｉｎｇと呼ぶ。
【００７３】
図３は、本実施形態に係る画像解析装置１０の物理的構成を示す図である。画像解析装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では画像解析装置１０が一台のコンピュータで構成される場合について説明するが、画像解析装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図３で示す構成は一例であり、画像解析装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
【００７４】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、分類ラベルが付与された画像に対して、対象物を囲むバウンディングボックスを生成するプログラム（画像解析プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。
【００７５】
ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、解析対象となる画像といったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
【００７６】
ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像解析プログラムや、書き換えが行われないデータを記憶してよい。
【００７７】
通信部１０ｄは、画像解析装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。
【００７８】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
【００７９】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、解析対象となる画像や生成されたバウンディングボックスを表示してよい。
【００８０】
画像解析プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。画像解析装置１０では、ＣＰＵ１０ａが画像解析プログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像解析装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
【００８１】
図４は、本実施形態に係る画像解析装置１０の第２分類器１４ａの損失関数の値と学習処理の回数の関係を示す図である。同図では、縦軸に以下の数式（８）で示す損失関数Ｌcontextiの値（ｌｏｓｓ）を示し、横軸に学習処理の回数（ｉｔｅｒａｔｉｏｎ）を示している。数式（８）のうち、Ｓiは、数式（９）で定義される集合である。数式（９）のうち、「coverage(c, rj)」は、バウンディングボックスの候補ｒjと、クラスｃの対象物を囲む正しいバウンディングボックスとの重畳率を評価する関数である。同図では、ｉ＝５の場合の損失関数Ｌcontexti=5を実線のグラフＡで示し、ｉ＝４の場合の損失関数Ｌcontexti=4を破線のグラフＢで示し、ｉ＝３の場合の損失関数Ｌcontexti=3を一点鎖線のグラフＣで示し、ｉ＝２の場合の損失関数Ｌcontexti=2を二点鎖線のグラフＤで示し、ｉ＝１の場合の損失関数Ｌcontexti=1を点線のグラフＥで示している。
【００８２】
【数８】
2020181255.tif 000010
【００８３】
【数９】
2020181255.tif 000011
【００８４】
ｉ＝５の場合、集合Ｓi=5は、画像に写された対象物を囲む正しいバウンディングボックスとの重畳率が０．８〜１．０であるバウンディングボックスの候補の集合である。この場合、第２分類器１４ａは、対象物がほとんど隠された画像を用いて学習され、学習処理を繰り返しても確率ｐcjが特定のクラスに偏ることがなく、損失関数Ｌcontexti=5（グラフＡ）は、ほとんど一定のままとなる。
【００８５】
一方、ｉ＝４の場合、集合Ｓi=4は、画像に写された対象物を囲む正しいバウンディングボックスとの重畳率が０．６〜０．８であるバウンディングボックスの候補の集合であり、第２分類器１４ａは、対象物が６０％から８０％隠された画像を用いて学習され、学習処理を繰り返すことで確率ｐcjが特定のクラスに偏ることとなる。このため、損失関数Ｌcontexti=4（グラフＢ）は、学習処理を繰り返すことで減少していく。
【００８６】
同様に、ｉ＝３，２，１の場合、第２分類器１４ａは、対象物が０％から６０％隠された画像（対象物が４０％以上見えている画像）を用いて学習され、学習処理を繰り返すことで確率ｐcjが特定のクラスに偏り、損失関数Ｌcontexti=3,2,1（グラフＣ，Ｄ，Ｅ）は、学習処理を繰り返すことで減少していく。
【００８７】
このように、対象物全体を囲むバウンディングボックスであるか否かは、第２分類器１４ａにより算出される確率ｐcjによって判定することができる。従来、例えば畳み込みニューラルネットワークにより算出される特徴マップに基づいて、画像分類に特に貢献している領域を特定し、その領域を、対象物を囲むバウンディングボックスとすることがあるが、このような手法では、対象物の特徴的な箇所を囲むバウンディングボックスが生成されてしまい、対象物全体を囲むバウンディングボックスとならないことがある。この点、本実施形態に係る画像解析装置１０によれば、対象物を適切に囲むバウンディングボックスの候補と対象物の一部しか覆えていないバウンディングボックスとを区別して、対象物全体を囲むバウンディングボックスを生成することができる。
【００８８】
図５は、本実施形態に係る画像解析装置１０の精度と比較例に係る画像解析手法の精度を示す図である。同図では、３種類の比較例と、本実施形態に係る画像解析装置１０及び本実施形態の変形例に係る画像解析装置１０とに関するmean Average Precision（ｍＡＰ）を、第１データセット及び第２データセットについて示している。ここで、第１データセットは、PASCAL VOC（Visual Object Classes Challenge） 2007のデータセットであり、第２データセットは、PASCAL VOC 2012のデータセットである。第１データセットは、２０種類の対象物が写された約１万枚の画像とその分類ラベルを含むデータセットである。また、第２データセットは、２０種類の対象物が写された約２万２千枚の画像とその分類ラベルを含むデータセットである。
【００８９】
第１比較例は、P. Tang, X. Wang, X. Bai, and W. Liu, "Multiple instance detection network with online instance classifier refinement", CVPR, 2017にて公開された手法によってバウンディングボックスを生成し、生成したバウンディングボックスが付与された画像を学習データとして、非特許文献１のFast R-CNNを学習させた場合である。この場合、第１データセットに関するｍＡＰは、４７．０であり、第２データセットに関するｍＡＰは４２．５である。
【００９０】
第２比較例は、Y. Wei, Z. Shen, B. Cheng, H. Shi, J. Xiong, J. Feng, and T. Huang, "TS2C: tight box mining with surrounding segmentation context for weakly supervised object detection", ECCV, 2018にて公開された手法によってバウンディングボックスを生成し、生成したバウンディングボックスが付与された画像を学習データとして、非特許文献１のFast R-CNNを学習させた場合である。この場合、第１データセットに関するｍＡＰは、４８．０であり、第２データセットに関するｍＡＰは４４．４である。
【００９１】
第３比較例は、P. Tang, X. Wang, A. Wang, Y. Yan, W. Liu, J. Huang, and A. Yuille, "Weakly supervised region proposal network and object detection", ECCV, 2018にて公開された手法によってバウンディングボックスを生成し、生成したバウンディングボックスが付与された画像を学習データとして、非特許文献１のFast R-CNNを学習させた場合である。この場合、第１データセットに関するｍＡＰは、５０．４であり、第２データセットに関するｍＡＰは４５．７である。
【００９２】
一方、本実施形態に係る画像解析装置１０によってバウンディングボックスを生成し、生成したバウンディングボックスが付与された画像を学習データとして、非特許文献１のFast R-CNNを学習させた場合、第１データセットに関するｍＡＰは、５１．４であり、第２データセットに関するｍＡＰは４８．１である。このように、本実施形態に係る画像解析装置１０によってバウンディングボックスを生成することで、従来の手法でバウンディングボックスを生成した場合よりも、高い精度で物体検出することができるFast R-CNNモデルを生成することができる。このことは、本実施形態に係る画像解析装置１０により生成されるバウンディングボックスが、従来例よりも正確に対象物を囲むものであることを意味している。
【００９３】
また、本実施形態の変形例に係る画像解析装置１０によってバウンディングボックスを生成し、生成したバウンディングボックスが付与された画像を学習データとして、非特許文献１のFast R-CNNを学習させた場合、第１データセットに関するｍＡＰは、５２．１であり、第２データセットに関するｍＡＰは４７．９である。変形例に係る画像解析装置１０は、更新スコアの平均（１／Ｋ）Σk=1Kｘcjkが最大となるバウンディングボックスの候補ｊを、最終的なバウンディングボックスとするのではなく、Y. Zhang, Y. Bai, M. Ding, Y. Li, and B. Ghanem, "W2F: A weakly-supervised to fully-supervised framework for object detection", In CVPR, 2018にて公開されたＰＧＥ（Pseudo Ground-truth Excavation）を用いて、最終的なバウンディングボックスを出力する。このように、本実施形態に係る画像解析装置１０により算出される更新スコアｘcjkを用いることで、従来例よりも正確に対象物を囲むバウンディングボックスを生成することができる。
【００９４】
図６は、本実施形態に係る画像解析装置１０の精度と比較例に係る画像解析手法の精度を示す図である。同図では、第１データセットを用いた場合について、第１比較例と、本実施形態に係る画像解析装置１０とに関するmean Average Precision（ｍＡＰ）及びCorrect Localization（ＣｏｒＬｏｃ）を示している。ここで、第１データセットは、PASCAL VOC（Visual Object Classes Challenge） 2007のデータセットである。
【００９５】
第１比較例は、P. Tang, X. Wang, X. Bai, and W. Liu, "Multiple instance detection network with online instance classifier refinement", CVPR, 2017にて公開された手法によってバウンディングボックスを生成した場合である。この場合、第１データセットに含まれる正しいバウンディングと比較して算出したｍＡＰは、４１．２であり、ＣｏｒＬｏｃは６０．６である。
【００９６】
一方、本実施形態に係る画像解析装置１０において、第２分類器１４ａによるＣＡＰ  ｌａｂｅｌｉｎｇを行い、第（ｋ＋２）分類器（ｋ＝１，２，３，…，Ｋ）によるＳＲＮ  ｌａｂｅｌｉｎｇを行わない場合、すなわち数式（５）において重みｗjkを全て１とする場合に生成されるバウンディングボックスと、第１データセットに含まれる正しいバウンディングとを比較して算出したｍＡＰは、４５．６であり、ＣｏｒＬｏｃは６６．６である。よって、ＣＡＰ  ｌａｂｅｌｉｎｇを行い、ＳＲＮ  ｌａｂｅｌｉｎｇを行わない場合であっても、第１比較例よりも高い精度でバウンディングボックスを生成することができる。
【００９７】
また、本実施形態に係る画像解析装置１０において、第２分類器１４ａによるＣＡＰ  ｌａｂｅｌｉｎｇを行わず、第（ｋ＋２）分類器（ｋ＝１，２，３，…，Ｋ）によるＳＲＮ  ｌａｂｅｌｉｎｇを行う場合、すなわち数式（１）において確率ｐcjによるスクリーニングを行わない場合に生成されるバウンディングボックスと、第１データセットに含まれる正しいバウンディングとを比較して算出したｍＡＰは、４５．１であり、ＣｏｒＬｏｃは６３．４である。よって、ＣＡＰ  ｌａｂｅｌｉｎｇを行わず、ＳＲＮ  ｌａｂｅｌｉｎｇを行う場合であっても、第１比較例よりも高い精度でバウンディングボックスを生成することができる。
【００９８】
さらに、本実施形態に係る画像解析装置１０によって、第２分類器１４ａによるＣＡＰ  ｌａｂｅｌｉｎｇと、第（ｋ＋２）分類器（ｋ＝１，２，３，…，Ｋ）によるＳＲＮ  ｌａｂｅｌｉｎｇとを行う場合に生成されるバウンディングボックスと、第１データセットに含まれる正しいバウンディングとを比較して算出したｍＡＰは、４７．６であり、ＣｏｒＬｏｃは６６．７である。このように、本実施形態に係る画像解析装置１０によれば、第１比較例よりも高い精度でバウンディングボックスを生成することができる。
【００９９】
図７は、本実施形態に係る画像解析装置１０により実行されるバウンディングボックス生成処理のフローチャートである。はじめに、画像解析装置１０は、１又は複数の対象物が写された画像１１ａに対して、複数のバウンディングボックスの候補を生成する（Ｓ１０）。
【０１００】
次に、画像解析装置１０は、第１分類器１３ａを用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す初期スコアを算出する（Ｓ１１）。そして、画像解析装置１０は、画像１１ａの顕現性マップに基づいて選択される画像１１ａの複数のセグメントのうち、いずれか１つのセグメント以外のセグメントをマスクアウト処理する（Ｓ１２）。なお、顕現性マップに基づいて１つのセグメントが検出される場合、マスクアウト処理は行わなくてよい。
【０１０１】
その後、画像解析装置１０は、セグメントをマスクアウト処理した画像１１ａについて、複数のバウンディングボックスの候補の内側をマスクアウト処理し、第２分類器１４ａを用いて、複数のクラスに分類される確率を算出する（Ｓ１３）。
【０１０２】
また、画像解析装置１０は、第３分類器１６ａを用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す更新スコアを算出する（Ｓ１４）。さらに、画像解析装置１０は、第４分類器１６ｂを用いて、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す再更新スコアを算出する（Ｓ１５）。画像解析装置１０は、さらに分類器を備える場合、第（ｋ＋２）分類器（ｋ＝１，２，…，Ｋ）について、順に更新スコアを算出する。
【０１０３】
最後に、画像解析装置１０は、更新スコア及び再更新スコアの平均に基づいて、対象物を囲むバウンディングボックスを決定する（Ｓ１６）。画像解析装置１０は、第（ｋ＋２）分類器（ｋ＝１，２，…，Ｋ）について、順に更新スコアを算出した場合、全ての更新スコアの平均に基づいて、対象物を囲むバウンディングボックスを決定してよい。
【０１０４】
図８は、本実施形態に係る画像解析装置１０により実行される第２分類器１４ａの学習処理のフローチャートである。はじめに、画像解析装置１０は、画像１１ａの顕現性マップに基づいて、画像１１ａの背景に対応する画素を修正処理する（Ｓ２０）。画像解析装置１０は、例えば、画像１１ａの背景に対応する画素を、画像１１ａの平均画素で塗り潰す処理を行う。
【０１０５】
その後、画像解析装置１０は、修正した画像を第２分類器１４ａに入力し、算出される特徴マップのうち複数のバウンディングボックスの候補の内側に対応する値をゼロに置換し、マスクアウト処理した画像が、複数のクラスに分類される確率を算出する（Ｓ２１）。
【０１０６】
画像解析装置１０は、分類ラベル及び算出された確率を用いて表される第２損失関数を最小化するように、第２分類器１４ａのパラメータを更新する（Ｓ２２）。画像解析装置１０は、例えば数式（７）で定義される第２損失関数を最小化するように、誤差逆伝播法により第２分類器１４ａのパラメータを更新してよい。
【０１０７】
その後、学習終了条件を満たさない場合（Ｓ２３：ＮＯ）、画像解析装置１０は、再び第２分類器１４ａによってマスクアウト処理した画像が、複数のクラスに分類される確率を算出し（Ｓ２１）、第２損失関数を最小化するように、第２分類器１４ａのパラメータを更新する（Ｓ２２）。一方、学習終了条件を満たす場合（Ｓ２３：ＹＥＳ）、学習処理は終了する。なお、学習終了条件は、第２損失関数が所定値より小さくなることであったり、学習処理の繰り返し回数が所定値以上となったりすることであってよい。
【０１０８】
図９は、本実施形態に係る画像解析装置１０により実行される第１分類器１３ａ、第３分類器１６ａ及び第４分類器１６ｂの学習処理のフローチャートである。第１分類器１３ａ、第３分類器１６ａ及び第４分類器１６ｂの学習処理は、第２分類器１４ａの学習処理が完了した後に行われる。
【０１０９】
はじめに、画像解析装置１０は、１又は複数の対象物が写された画像１１ａに対して、複数のバウンディングボックスの候補を生成する（Ｓ３０）。
【０１１０】
次に、画像解析装置１０は、画像１１ａの特徴量を第１分類器１３ａに入力し、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す初期スコアを算出する（Ｓ３１）。
【０１１１】
また、画像解析装置１０は、第２分類器１４ａによって算出された確率及び初期スコアに基づいて、複数のバウンディングボックスの候補から１又は複数のバウンディングボックスを選択する（Ｓ３２）。そして、画像解析装置１０は、選択されたバウンディングボックスとの重なりに応じて、複数のバウンディングボックスの候補それぞれに複数のクラスに関する更新分類ラベルを算出する（Ｓ３３）。
【０１１２】
その後、画像解析装置１０は、画像１１ａの特徴量を第３分類器１６ａに入力し、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す更新スコアを算出する（Ｓ３４）。
【０１１３】
また、画像解析装置１０は、算出された確率及び更新スコアに基づいて、複数のバウンディングボックスの候補から１又は複数のバウンディングボックスを選択する（Ｓ３５）。そして、画像解析装置１０は、選択されたバウンディングボックスとの重なりに応じて、複数のバウンディングボックスの候補それぞれに複数のクラスに関する再更新分類ラベルを算出する（Ｓ３６）。
【０１１４】
その後、画像解析装置１０は、画像１１ａの特徴量を第４分類器１６ｂに入力し、複数のバウンディングボックスの候補が、複数のクラスのいずれに分類されるか表す再更新スコアを算出する（Ｓ３７）。
【０１１５】
なお、画像解析装置１０は、さらに分類器を備える場合、第（ｋ＋２）分類器（ｋ＝１，２，…，Ｋ）について、順に更新スコアを算出する。
【０１１６】
その後、画像解析装置１０は、分類ラベル及び初期スコアを用いて表される第１損失関数を最小化するように、第１分類器１３ａのパラメータを更新する（Ｓ３８）。画像解析装置１０は、例えば数式（４）で定義される第１損失関数を最小化するように、誤差逆伝播法により第１分類器１３ａのパラメータを更新してよい。
【０１１７】
また、画像解析装置１０は、初期スコアによって重み付けされた更新分類ラベル及び更新スコアを用いて表される第３損失関数を最小化するように、第３分類器１６ａのパラメータを更新する（Ｓ３９）。画像解析装置１０は、例えば数式（５）のｋ＝１の場合で定義される第３損失関数を最小化するように、誤差逆伝播法により第３分類器１６ａのパラメータを更新してよい。
【０１１８】
また、画像解析装置１０は、更新スコアによって重み付けされた再更新分類ラベル及び再更新スコアを用いて表される第４損失関数を最小化するように、第４分類器１６ｂのパラメータを更新する（Ｓ４０）。画像解析装置１０は、例えば数式（５）のｋ＝２の場合で定義される第４損失関数を最小化するように、誤差逆伝播法により第４分類器１６ｂのパラメータを更新してよい。
【０１１９】
なお、画像解析装置１０は、さらに分類器を備える場合、例えば数式（５）で定義される第（ｋ＋２）分類器（ｋ＝１，２，…，Ｋ）の損失関数を最小化するように、誤差逆伝播法により第（ｋ＋２）分類器のパラメータを更新してよい。
【０１２０】
その後、学習終了条件を満たさない場合（Ｓ４１：ＮＯ）、画像解析装置１０は、処理Ｓ３１〜Ｓ４０を再び実行する。一方、学習終了条件を満たす場合（Ｓ４１：ＹＥＳ）、学習処理は終了する。なお、学習終了条件は、第１損失関数、第３損失関数及び第４損失関数の和が所定値より小さくなることであったり、学習処理の繰り返し回数が所定値以上となったりすることであってよい。
【０１２１】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【０１２２】
［付記１］
１又は複数の対象物が写された画像に対して、複数のバウンディングボックスの候補を生成する生成部と、
前記画像及び前記画像に写された対象物に対応する分類ラベルを含む学習データを用いた教師あり学習により生成された第１分類器を用いて、前記複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるかを表す初期スコアを算出する第１算出部と、
前記初期スコアに基づいて選択されたバウンディングボックスとの重なりに応じて、前記複数のバウンディングボックスの候補それぞれに前記複数のクラスに関する更新分類ラベルを算出する第３算出部と、
前記画像及び前記更新分類ラベルを含む更新学習データを用いた教師あり学習により生成された第３分類器を用いて、前記複数のバウンディングボックスの候補が、前記複数のクラスのいずれに分類されるか表す更新スコアを算出する第４算出部と、を備え、
前記第３分類器は、前記複数のバウンディングボックスの候補のうち、前記初期スコアに基づいて選択されたバウンディングボックスとの重なりが閾値以上である候補について正の値であり、前記初期スコアに基づいて選択されたバウンディングボックスとの重なりが閾値未満である候補についてゼロである重みによって重み付けされた前記更新分類ラベルを用いた教師あり学習により生成されている、
画像解析装置。
【０１２３】
［付記２］
前記第３算出部は、前記更新スコアに基づいて選択されたバウンディングボックスとの重なりに応じて、前記複数のバウンディングボックスの候補それぞれに前記複数のクラスに関する再更新分類ラベルを算出し、
前記第４算出部は、前記画像及び前記再更新分類ラベルを含む再更新学習データを用いた教師あり学習により生成された第４分類器を用いて、前記複数のバウンディングボックスの候補が、前記複数のクラスのいずれに分類されるか表す再更新スコアを算出し、
前記第４分類器は、前記複数のバウンディングボックスの候補のうち、前記更新スコアに基づいて選択されたバウンディングボックスとの重なりが閾値以上である候補について正の値であり、前記更新スコアに基づいて選択されたバウンディングボックスとの重なりが閾値未満である候補についてゼロである重みによって重み付けされた前記再更新分類ラベルを用いた教師あり学習により生成されている、
付記１に記載の画像解析装置。
【０１２４】
［付記３］
前記分類ラベルを用いて表される第１損失関数及び前記更新分類ラベルを用いて表される第３損失関数の和を最小化する教師あり学習により、前記第１分類器及び前記第３分類器を生成する第１学習部をさらに備える、
付記１又は２に記載の画像解析装置。
【０１２５】
［付記４］
前記学習データを用いて、前記複数のバウンディングボックスの候補の内側をマスクアウト処理した教師あり学習により生成された第２分類器を用いて、前記マスクアウト処理した前記画像が、前記複数のクラスに分類される確率を算出する第２算出部をさらに備え、
前記第３算出部は、前記初期スコア及び前記確率に基づいて選択されたバウンディングボックスとの重なりに応じて、前記更新分類ラベルを算出する、
付記１から３のいずれか一項に記載の画像解析装置。
【０１２６】
［付記５］
前記第３算出部は、前記確率が閾値未満となる１又は複数のバウンディングボックスの候補のうち前記初期スコアが最大であるバウンディングボックスの候補と、前記複数のバウンディングボックスの候補との重なりに応じて、前記更新分類ラベルを算出する、
付記４に記載の画像解析装置。
【０１２７】
［付記６］
前記第２分類器は、畳み込みニューラルネットワークで構成され、
前記マスクアウト処理は、前記畳み込みニューラルネットワークにより算出される特徴マップのうち前記複数のバウンディングボックスの候補の内側に対応する値をゼロにする処理である、
付記４又は５に記載の画像解析装置。
【０１２８】
［付記７］
前記第２分類器は、前記画像の顕現性マップに基づいて、前記画像の背景に対応する画素を修正処理した教師あり学習により生成されている、
付記４から６のいずれか一項に記載の画像解析装置。
【０１２９】
［付記８］
前記第２算出部は、前記第２分類器を用いて、前記画像の顕現性マップに基づいて選択される前記画像の複数のセグメントのうち、いずれか１つのセグメント以外のセグメントをマスクアウト処理した前記画像について、前記確率を算出する、
付記４から７のいずれか一項に記載の画像解析装置。
【０１３０】
［付記９］
前記分類ラベルを用いて表される第２損失関数を最小化する教師あり学習により、前記第２分類器を生成する第２学習部をさらに備える、
付記４から８のいずれか一項に記載の画像解析装置。
【０１３１】
［付記１０］
１又は複数の対象物が写された画像に対して、複数のバウンディングボックスの候補を生成することと、
前記画像及び前記画像に写された対象物に対応する分類ラベルを含む学習データを用いた教師あり学習により生成された第１分類器を用いて、前記複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるかを表す初期スコアを算出することと、
前記初期スコアに基づいて選択されたバウンディングボックスとの重なりに応じて、前記複数のバウンディングボックスの候補それぞれに前記複数のクラスに関する更新分類ラベルを算出することと、
前記画像及び前記更新分類ラベルを含む更新学習データを用いた教師あり学習により生成された第３分類器を用いて、前記複数のバウンディングボックスの候補が、前記複数のクラスのいずれに分類されるか表す更新スコアを算出することと、を含み、
前記第３分類器は、前記複数のバウンディングボックスの候補のうち、前記初期スコアに基づいて選択されたバウンディングボックスとの重なりが閾値以上である候補について正の値であり、前記初期スコアに基づいて選択されたバウンディングボックスとの重なりが閾値未満である候補についてゼロである重みによって重み付けされた前記更新分類ラベルを用いた教師あり学習により生成されている、
画像解析方法。
【０１３２】
［付記１１］
画像解析装置に備えられた演算部を、
１又は複数の対象物が写された画像に対して、複数のバウンディングボックスの候補を生成する生成部、
前記画像及び前記画像に写された対象物に対応する分類ラベルを含む学習データを用いた教師あり学習により生成された第１分類器を用いて、前記複数のバウンディングボックスの候補が、複数の対象物に対応する複数のクラスのいずれに分類されるかを表す初期スコアを算出する第１算出部、
前記初期スコアに基づいて選択されたバウンディングボックスとの重なりに応じて、前記複数のバウンディングボックスの候補それぞれに前記複数のクラスに関する更新分類ラベルを算出する第３算出部、
前記画像及び前記更新分類ラベルを含む更新学習データを用いた教師あり学習により生成された第３分類器を用いて、前記複数のバウンディングボックスの候補が、前記複数のクラスのいずれに分類されるか表す更新スコアを算出する第４算出部、として機能させ、
前記第３分類器は、前記複数のバウンディングボックスの候補のうち、前記初期スコアに基づいて選択されたバウンディングボックスとの重なりが閾値以上である候補について正の値であり、前記初期スコアに基づいて選択されたバウンディングボックスとの重なりが閾値未満である候補についてゼロである重みによって重み付けされた前記更新分類ラベルを用いた教師あり学習により生成されている、
画像解析プログラム。
【符号の説明】
【０１３３】
１０…画像解析装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…記憶部、１１ａ…画像、１１ｂ…分類ラベル、１２…生成部、１３…第１算出部、１３ａ…第１分類器、１４…第２算出部、１４ａ…第２分類器、１５…第３算出部、１６…第４算出部、１６ａ…第３分類器、１６ｂ…第４分類器、１７…第１学習部、１８…第２学習部
【図１】
2020181255.tif 000012
【図２】
2020181255.tif 000013
【図３】
2020181255.tif 000014
【図４】
2020181255.tif 000015
【図５】
2020181255.tif 000016
【図６】
2020181255.tif 000017
【図７】
2020181255.tif 000018
【図８】
2020181255.tif 000019
【図９】
2020181255.tif 000020