(57)【要約】【課題】本発明は、画像モデル訓練方法と装置及び分類予測方法と装置を提供する。【解決手段】画像モデル訓練方法は、各サンプル画像に対する毎回の訓練において、前回の訓練で得られたオブジェクト抽出部によりサンプル画像に対してクリッピングを行うことで得られた画像をスケール調整後のサンプル画像として画像モデルに入力し；スケール調整後のサンプル画像の特徴を画像モデル中のローカル分類器にそれぞれ入力し、特徴中の特徴点に対して分類予測を行うことでローカル予測結果を取得し、ローカル予測結果に基づいてオブジェクト抽出部を更新し；特徴及び更新後のオブジェクト抽出部に基づいて、スケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行い；及び、スケール調整後のサンプル画像の分類予測結果に基づいて、画像モデルを訓練する。【選択図】図２
2019160317.tif 000002
【特許請求の範囲】
【請求項１】
画像モデルを訓練する方法であって、
訓練集の中の各サンプル画像について、前記画像モデルに対してN回反復訓練を行い、そのうち、Nは、2以上の整数であり、各サンプル画像に対して行われる毎回の訓練において、以下の処理、即ち、
前回の訓練で得られたオブジェクト抽出部により前記サンプル画像に対してクリッピングを行うことで得られた画像をスケール調整後のサンプル画像として前記画像モデルに入力し、そのうち、前記オブジェクト抽出部は、各スケールのサンプル画像中の関心オブジェクトを抽出するために用いられ、初期スケールのサンプル画像は、オリジナルな前記サンプル画像であり；
前記スケール調整後のサンプル画像の特徴を前記画像モデル中の所定数のローカル分類器にそれぞれ入力し、前記特徴中の特徴点に対して分類予測を行い、ローカル予測結果を取得し、前記ローカル予測結果に基づいて前記オブジェクト抽出部を更新し；
前記特徴及び更新後のオブジェクト抽出部に基づいて、前記スケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行い；及び
前記スケール調整後のサンプル画像の分類予測結果に基づいて、前記画像モデルを訓練する
という処理を行い；及び
前記訓練集の中の全てのサンプル画像に対しての訓練結果に基づいて、訓練後の画像モデルを取得する
ことを含む、方法。
【請求項２】
請求項1に記載の画像モデルを訓練する方法であって、
以下の方式、即ち、
各ローカル分類器をそれぞれ用いて、前記特徴のチャネル方向に沿って抽出された異なる位置での特徴ベクトルに基づいて分類予測を行い、計算により各ローカル分類器の予測結果を取得し；及び
前記所定数のローカル分類器の予測結果の最大値をそれぞれ取り、前記ローカル予測結果とする
という方式で、前記ローカル予測結果を取得する、方法。
【請求項３】
請求項2に記載の画像モデルを訓練する方法であって、
前記ローカル予測結果に基づいて前記オブジェクト抽出部を更新することは、
前記ローカル予測結果の予測類型の方向上で、各位置のローカル予測結果の最大値を取り、２次元の予測結果を取得し；及び
前記２次元の予測結果に対して２値化処理を行った後に得られた結果を更新後のオブジェクト抽出部とすること
を含む、方法。
【請求項４】
請求項1に記載の画像モデルを訓練する方法であって、
前記オブジェクト抽出部により前記サンプル画像に対してクリッピングを行うことは、
前記オブジェクト抽出部を初期の前記サンプル画像のスケールに拡大し；
拡大後のオブジェクト抽出部中の非ゼロ領域のバウンディングボックスを計算し；及び
前記バウンディングボックスを用いて前記サンプル画像をクリッピングし、クリッピングした画像を前記スケール調整後のサンプル画像とすること
を含む、方法。
【請求項５】
請求項1に記載の画像モデルを訓練する方法であって、
前記スケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行うことは、
前記特徴及び更新後のオブジェクト抽出部に基づいて、マスク化された特徴図を取得し；及び
前記マスク化された特徴図の各チャネル上の全ての値の和を求め、求めた値に基づいてオブジェクトレベル分類予測を行うこと
を含む、方法。
【請求項６】
請求項1に記載の画像モデルを訓練する方法であって、
各サンプル画像に対しての毎回の画像の分類予測結果は、前記オブジェクトレベル分類予測を行うことにより得られた予測結果であり、又は、前記ローカル予測結果と、前記オブジェクトレベル分類予測を行うことにより得られた予測結果との平均値である、方法。
【請求項７】
請求項1に記載の画像モデルを訓練する方法であって、
前記画像モデル中の畳み込みニューラルネットワークにより、前記スケール調整後のサンプル画像の特徴を取得する、方法。
【請求項８】
画像モデルを訓練する装置であって、
訓練集の中の各サンプル画像について、前記画像モデルに対してN回の反復訓練を行う反復訓練ユニットであって、Nは、2以上の整数であり、各サンプル画像に対して行われる毎回の訓練において、それぞれ、以下のサブユニット、即ち、
前回の訓練で得られたオブジェクト抽出部により前記サンプル画像に対してクリッピングを行うことで得られた画像をスケール調整後のサンプル画像として前記画像モデルに入力する入力サブユニットであって、前記オブジェクト抽出部は、各スケールのサンプル画像中の関心オブジェクトを抽出するために用いられ、初期スケールのサンプル画像は、オリジナルな前記サンプル画像である入力サブユニット；
前記スケール調整後のサンプル画像の特徴を前記画像モデル中の所定数のローカル分類器にそれぞれ入力し、前記特徴中の特徴点に対して分類予測を行い、ローカル予測結果を取得し、前記ローカル予測結果に基づいて前記オブジェクト抽出部を更新するオブジェクト抽出部更新サブユニット；
前記特徴及び更新後のオブジェクト抽出部に基づいて、前記スケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行うオブジェクトレベル分類予測サブユニット；及び
前記スケール調整後のサンプル画像の分類予測結果に基づいて、前記画像モデルを訓練する訓練サブユニット
中の処理を行う反復訓練ユニット；及び
前記訓練集の中の全てのサンプル画像に対しての訓練結果に基づいて、訓練後の画像モデルを取得する画像モデル取得ユニット
を含む、装置。
【請求項９】
請求項8に記載の画像モデルを訓練する装置であって、
前記オブジェクト抽出部更新サブユニットにおいて、以下の方式、即ち、
各ローカル分類器をそれぞれ用いて、前記特徴のチャネル方向に沿って抽出された異なる位置での特徴ベクトルに基づいて分類予測を行い、計算により各ローカル分類器の予測結果を取得し；及び
前記所定数のローカル分類器の予測結果の最大値をそれぞれ取り、前記ローカル予測結果とする
という方式で、前記ローカル予測結果を取得する、装置。
【請求項１０】
請求項1乃至7のうちの何れか一項に記載の方法により訓練で得られた画像モデルを用いて、分類待ち画像に対して分類予測を行う方法であって、
分類待ち画像に対して、訓練後の画像モデルを用いてN回の分類予測を行い、
そのうち、毎回の分類予測において、前回の分類予測の結果に基づいて前記分類待ち画像のスケールを調整し、スケール調整後の分類待ち画像を前記訓練後の画像モデルの入力画像として今回の分類予測を行い、そのうち、Nは、2以上の整数である、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理分野に関し、具体的には、異なるスケールの画像に対して迅速且つ正確に分類を行い得る画像モデルを取得することができる画像モデル訓練方法と装置、及び異なるスケールの画像に対して迅速且つ正確に分類を行うことができる分類予測方法と装置に関する。
【背景技術】
【０００２】
オブジェクトのスケールが動的に変われば、オブジェクトの分類が困難になる。与えられた画像では、オブジェクトが、画像全体を占め、又は、画像のほんの一部を占める可能性がある。これは、オブジェクトのスケールに敏感である従来のオブジェクト分類モデル、例えば、畳み込みニューラルネットワーク（CNN）モデルについて言えば、大きな挑戦をもたらす。単一のスケール上でオブジェクトを用いて訓練されたモデルは、該スケールでオブジェクトを分類するときに良好であるが、テストオブジェクトが異なるスケールにある場合、該モデルのパフォーマンスが低下する恐れがある。異なるスケールのオブジェクトを処理するために、研究者らは、異なるスケールのオブジェクトを用いてモデルを訓練する。しかし、これは、オブジェクトのバウンディングボックスが既知であることを要し、これにより、異なるスケールでオブジェクトをクリッピング及びスケーリングすることができる。ところが、バウンディングボックスの手動ラベル付けを行うには、時間や手間がかかる。
【０００３】
また、従来技術では、上述の方法で訓練を行うことにより得られたモデルは、通常、正確度が高くないため、オブジェクトに対しての分類もあまり正確でない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以上の問題に鑑み、本開示の目的は、従来技術中の１つ又は複数の欠点を解決することができる画像モデル訓練方法と装置及び分類予測方法と装置を提供することにある。
【課題を解決するための手段】
【０００５】
本開示の一側面によれば、画像モデルを訓練する方法が提供され、それは、
訓練集の中の各サンプル画像について、画像モデルに対してN回の反復訓練を行い、そのうち、Nは、2以上の整数であり；及び
訓練集の中の全てのサンプル画像に対しての訓練結果に基づいて、訓練後の画像モデルを取得することを含み、
そのうち、各サンプル画像に対して行われる毎回の訓練において次のような処理を行い、即ち、前回の訓練で得られたオブジェクト抽出部によりサンプル画像に対してクリッピングを行うことで得られた画像をスケール調整後のサンプル画像として画像モデルに入力し、そのうち、オブジェクト抽出部は、各スケールのサンプル画像中の関心オブジェクトを抽出するために用いられ、初期スケールのサンプル画像は、オリジナルなサンプル画像であり；スケール調整後のサンプル画像の特徴を画像モデル中の所定数のローカル分類器にそれぞれ入力し、前記特徴中の特徴点に対して分類予測を行うことでローカル予測結果を取得し、そして、ローカル予測結果に基づいてオブジェクト抽出部を更新し；前記特徴及び更新後のオブジェクト抽出部に基づいて、スケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行い；及び、スケール調整後のサンプル画像の分類予測結果に基づいて、画像モデルを訓練する。
【０００６】
本開示の他の側面によれば、画像モデルを訓練する装置が提供され、それは、
訓練集の中の各サンプル画像について、画像モデルに対してN回の反復訓練を行うように構成される反復訓練ユニットであって、Nは、2以上の整数である反復訓練ユニット；及び
訓練集の中の全てのサンプル画像に対しての訓練結果に基づいて、訓練後の画像モデルを取得するように構成される画像モデル取得ユニットを含み、
そのうち、各サンプル画像に対して行われる毎回の訓練において、それぞれ、次のようなサブユニット中の処理を行い、即ち、
前回の訓練で得られたオブジェクト抽出部によりサンプル画像に対してクリッピングを行うことで得られた画像をスケール調整後のサンプル画像として画像モデルに入力する入力サブユニットであって、オブジェクト抽出部は、各スケールのサンプル画像中の関心オブジェクトを抽出するために用いられ、初期スケールのサンプル画像は、オリジナルなサンプル画像である入力サブユニット；
スケール調整後のサンプル画像の特徴を画像モデル中の所定数のローカル分類器にそれぞれ入力し、前記特徴中の特徴点に対して分類予測を行うことでローカル予測結果を取得し、そして、ローカル予測結果に基づいてオブジェクト抽出部を更新するように構成されるオブジェクト抽出部更新サブユニット；
前記特徴及び更新後のオブジェクト抽出部に基づいて、スケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行うように構成されるオブジェクトレベル分類予測サブユニット；及び、
スケール調整後のサンプル画像の分類予測結果に基づいて、画像モデルを訓練するように構成される訓練サブユニットである。
【０００７】
本開示の他の側面によれば、上述の画像モデル訓練方法で訓練を行うことにより得られた画像モデルを用いて、分類待ち画像に対して分類予測を行う方法が提供され、それは、分類待ち画像に対して、訓練後の画像モデルを用いてN回の分類予測を行い、そのうち、毎回の分類予測において、前回の分類予測の結果に基づいて分類待ち画像のスケールを調整し、そして、スケール調整後の分類待ち画像を前記訓練後の画像モデルの入力画像として今回の分類予測を行い、そのうち、Nは、2以上の整数である。
【０００８】
本開示の他の側面によれば、上述に開示の方法を実現するためのコンピュータプログラムコード及びコンピュータプログラムプロダクトが提供され、また、その中に上述に開示の方法を実現するためのコンピュータプログラムコードが記録されているコンピュータ可読記憶媒体も提供される。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施例における画像モデル訓練方法のフローチャートである。
【図２】本開示の実施例による画像モデル訓練方法における反復訓練ステップ中で実行される処理の一例のフローチャートである。
【図３】本開示の実施例において画像モデルに対して反復訓練を３回行うときに毎回の訓練中の異なるスケールの入力画像の例を示す図である。
【図４】本開示の実施例においてオブジェクト抽出部を用いてサンプル画像に対してクリッピングを行う一例を示す図である。
【図５】本開示の実施例において画像モデルの入力画像の特徴に基づいて得られたオブジェクト抽出部の一例を示す図である。
【図６】本開示の実施例における１回の訓練において行われる処理の一例を示す図である。
【図７】本開示の実施例における画像モデル訓練装置の機能ブロック図である。
【図８】本開示の実施例による画像モデル訓練装置における反復訓練ユニットに含まれるサブユニットを示す図である。
【図９】本開示の実施例における分類予測方法のフローチャートである。
【図１０】本開示の実施例における分類予測装置の機能ブロック図である。
【図１１】本開示の実施例に採用され得るパーソナルコンピュータの構成図である。
【発明を実施するための形態】
【００１０】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
【００１１】
まず、図1を参照して本開示の実施例における画像モデル訓練方法100のフローチャートを説明する。図1は、本開示の実施例における画像モデル訓練方法100のフローチャートである。図1に示すように、本開示の実施例における画像モデル訓練方法100は、反復訓練ステップS102及び画像モデル取得ステップS104を含む。
【００１２】
反復訓練ステップS102では、訓練集の中の各サンプル画像について、画像モデルに対してN回の反復訓練を行うことができ、そのうち、Nは、2以上の整数である。
【００１３】
例として、与えられた訓練集の中の各サンプル画像について、画像モデルに対して2回以上の反復訓練を行うことができる。
【００１４】
図2は、本開示の実施例による画像モデル訓練方法100における反復訓練ステップS102中で実行される処理の一例のフローチャートである。図2に示すように、反復訓練ステップS102では、各サンプル画像に対して行われる毎回の訓練において、それぞれ、入力サブステップS1021、オブジェクト抽出部更新サブステップS1022、オブジェクトレベル分類予測サブステップS1023、及び訓練サブステップS1024中の処理が行われる。
【００１５】
各サンプル画像に対して行われる毎回の訓練において、入力サブステップS1021では、前回の訓練で得られたオブジェクト抽出部によりサンプル画像に対してクリッピングを行うことで得られた画像をスケール調整後のサンプル画像として画像モデルに入力することができ、そのうち、オブジェクト抽出部は、各スケールのサンプル画像中の関心オブジェクトを抽出するために用いられ、初期スケールのサンプル画像は、オリジナルなサンプル画像である。
【００１６】
一例として、各サンプル画像に対して行われる毎回の訓練において、前回の訓練の結果に基づいてサンプル画像のスケールを調整し、そして、スケール調整後のサンプル画像を画像モデルの入力画像として画像モデルに対して今回の訓練を行うことができる。より具体的には、毎回の訓練において、前回の訓練で得られたオブジェクト抽出部によりサンプル画像に対してクリッピングを行い、そして、クリッピングを行うことにより得られた画像をスケール調整後のサンプル画像として画像モデルに入力し、画像モデルに対して訓練を行うことができる。一例として、毎回の訓練において、前回の訓練で得られたオブジェクト抽出部によりサンプル画像に対してクリッピングを行うことで得られた画像を直接、画像モデルの入力画像としても良く、クリッピングを行うことで得られた画像に対してサイズ調整を行った（即ち、クリッピングを行うことにより得られた画像に対してスケーリングを行った）後のものを画像モデルの入力画像としても良い。
【００１７】
オブジェクト抽出部は、ゼロ値領域及び非ゼロ値領域を含む２値画像であっても良く、そのうち、ゼロ値領域は、背景領域を示し、非ゼロ値領域は、関心領域（即、前景領域）を示す。一例として、オブジェクト抽出部は、アテンション・マスクであっても良く、該アテンション・マスクは、サンプル画像中の各スケールの関心オブジェクト（即ち、前景オブジェクト）を抽出するために用いられる。オブジェクト抽出部は、アテンション・マスク以外のものであっても良く、該オブジェクト抽出部により各スケールのサンプル画像中の関心オブジェクトを抽出することができれば良い。
【００１８】
例えば、Nが3であり、即ち、画像モデルに対して3回の反復訓練を行うとする。この場合、第一回訓練では、オリジナルなサンプル画像を画像モデルに入力してそれに対して訓練を行い、また、訓練の過程で計算を行うことで第一スケールの第一オブジェクト抽出部を取得する。その後、第二回訓練では、第一回訓練により得られた第一オブジェクト抽出部を用いてオリジナルなサンプル画像に対してクリッピングを行い、クリッピングを行うことにより得られた第一スケールの、関心オブジェクトを含む画像を画像モデルに入力してそれに対して訓練を行い、また、訓練の過程で計算を行うことにより第一スケールのオブジェクト抽出部を更新し、第二スケールの第二オブジェクト抽出部を取得する。最後に、第三回訓練では、第二回訓練により得られた第二オブジェクト抽出部を用いてオリジナルなサンプル画像に対してクリッピングを行い、クリッピングを行うことにより得られた第二スケールの、関心オブジェクトを含む画像を画像モデルに入力してそれに対して訓練を行う。
【００１９】
図3は、本開示の実施例において画像モデルに対して反復訓練を３回行うときに毎回の訓練中の異なるスケールの入力画像の例を示す図である。図3に示すように、第一回訓練のときに、画像モデルに入力する画像は、オリジナルなサンプル画像としての第一スケールの第一画像であり；第二回訓練のときに、入力画像は、第一回訓練で得られた第一オブジェクト抽出部によりオリジナルなサンプル画像に対してクリッピングを行い、そして、クリッピング後の画像に対してサイズ調整を行うことにより得られた第二スケールの第二画像であり；及び、第三回訓練のときに、入力画像は、第二回訓練で得られた第二オブジェクト抽出部によりオリジナルなサンプル画像に対してクリッピングを行い、そして、クリッピング後の画像に対してサイズ調整を行うことにより得られた第三スケールの第三画像である。
【００２０】
好ましくは、各サンプル画像に対して行われる毎回の訓練において、入力サブステップS1021でオブジェクト抽出部によりサンプル画像に対してクリッピングを行うことは、オブジェクト抽出部を初期のサンプル画像のスケールに拡大し；拡大後のオブジェクト抽出部中の非ゼロ領域のバウンディングボックスを計算し；及び、バウンディングボックスを用いてサンプル画像をクリッピングし、そして、クリッピングされた画像をスケール調整後のサンプル画像とすることを含む。
【００２１】
一例として、上述のように、第一回訓練では、画像モデルの入力画像は、初期のサンプル画像であり、また、該第一回訓練では、計算を行うことにより第一スケールの第一オブジェクト抽出部を取得する。後続の毎回の訓練では、前回の訓練により得られたオブジェクト抽出部を初期のサンプル画像のスケールに拡大し；その後、従来の技術で拡大後のオブジェクト抽出部中の非ゼロ領域（即ち、白色領域）のバウンディングボックスを計算し、及びバウンディングボックスを用いてサンプル画像をクリッピングし、そして、クリッピングされた画像をスケール調整後のサンプル画像とする。
【００２２】
図4は、本開示の実施例においてオブジェクト抽出部を用いてサンプル画像に対してクリッピングを行う一例を示す図である。
【００２３】
図4は、一番左の側にオブジェクト抽出部を示して、そのうち、該オブジェクト抽出部中の白色円形領域（非ゼロ領域）は、画像中の関心オブジェクトの該画像中の位置比例関係を表す。該オブジェクト抽出部を初期のサンプル画像のスケールに拡大することで、図4中の第二列に示される拡大後のオブジェクト抽出部を取得する。図4の第三列中の上の画像中の白色点線枠は、拡大後のオブジェクト抽出部中の非ゼロ領域のバウンディングボックスであり、図4の第三列中の下の画像は、初期のサンプル画像である。図4の第四列中の画像中の輝度が高い矩形領域（画像中の、小鳥が含まれる領域）は、初期のサンプル画像中でバウンディングボックスを用いてクリッピングしようとする領域を示す。最後に、図4の第五列に、クリッピングされた画像が示され、それは、スケール調整後のサンプル画像である。該スケール調整後のサンプル画像は、次回の訓練中の画像モデルの入力画像とすることができる。
【００２４】
上述から分かるように、画像モデル訓練方法100は、オブジェクト抽出部を自動学習し、そして、学習したオブジェクト抽出部に基づいて関心オブジェクトのバウンディングボックスを自動生成することができ、これにより、異なるスケールの画像に対して迅速に分類予測を行い得る画像モデルを生成することができる。
【００２５】
各サンプル画像に対して行われる毎回の訓練において、オブジェクト抽出部更新サブステップS1022では、スケール調整後のサンプル画像の特徴を画像モデル中の所定数のローカル分類器にそれぞれ入力し、前記特徴中の特徴点に対して分類予測を行うことでローカル予測結果を取得し、そして、ローカル予測結果に基づいてオブジェクト抽出部を更新することができる。
【００２６】
一例として、画像モデルは、所定数のローカル分類器を有しても良い。ローカル分類器は、画像特徴中の特徴点に対して分類予測を行うことで、ローカル予測結果を得ることができる。上述の画像モデルに対しての3回の反復訓練を例とし、且つローカル分類器の数量がn（nは、1以上の整数である）であるとすると、第一回訓練では、第一スケールの第一画像の特徴をn個のローカル分類器にそれぞれ入力し、第一ローカル予測結果を取得し、そして、第一ローカル予測結果に基づいて、計算を行うことにより第一スケールのオブジェクト抽出部を取得し；第二回訓練では、第二スケールの第二画像の特徴を上述のn個のローカル分類器にそれぞれ入力し、第二ローカル予測結果を取得し、そして、第二ローカル予測結果に基づいて、計算を行うことで第一スケールのオブジェクト抽出部を更新することにより、第二スケールのオブジェクト抽出部を取得し；及び、第三回訓練では、第三スケールの第三画像の特徴を上述のn個のローカル分類器にそれぞれ入力し、第三ローカル予測結果を取得し、そして、第三ローカル予測結果に基づいて、計算を行うことで第二スケールのオブジェクト抽出部を更新することにより、第三スケールのオブジェクト抽出部を取得することができる。
【００２７】
毎回の訓練において、従来の技術で画像モデルの入力画像の特徴を抽出しても良い。一例として、畳み込みニューラルネットワーク（CNN）を用いて画像モデルの入力画像の特徴を抽出することができる。
【００２８】
好ましくは、毎回の訓練において、オブジェクト抽出部更新サブステップS1022では、画像モデル中のCNNを用いて、スケール調整後のサンプル画像の特徴を得ることができる。
【００２９】
一例として、画像モデルは、フィードフォワードCNNを含む。毎回の訓練において、画像モデル中の該CNNにより、画像モデルの入力画像の上級特徴図、即ち、CNN特徴（CNN特徴図ともいう）を取得する。CNN特徴の大小がCxHxWであるとし、そのうち、Cは、特徴図のチャネルの数（即ち、Cは、特徴図の縦方向の長さである）であり、H及びWは、それぞれ、特徴図の平面の長さ及び幅である。以下、CNNを用いて画像モデルの入力画像の特徴を抽出することを例として説明を行う。
【００３０】
好ましくは、各サンプル画像に対して行われる毎回の訓練において、オブジェクト抽出部更新サブステップS1022では、次のような方式でローカル予測結果を得ることができ、即ち、各ローカル分類器をそれぞれ用いて、前記特徴のチャネル方向に沿って抽出された異なる位置での特徴ベクトルに基づいて分類予測を行い、そして、計算を行うことで各ローカル分類器の予測結果を取得し；及び、所定数のローカル分類器の予測結果に対してそれぞれ最大値を取り、ローカル予測結果とする。
【００３１】
一例として、毎回の訓練において、CNN特徴上の１つの位置（長さ及び幅からなる平面上の１つの点）について、CNN特徴のチャネル方向に沿って（上述のように、CNN特徴チャネルの数はCである）縦方向の特徴ベクトルを抽出し、１つのC次元の特徴ベクトルを構成する。該１つのC次元のベクトルを特徴ベクトルとして１つのローカル分類器に入力して分類を行うことで、１つのM+1次元の予測ベクトルを取得することができ、そのうち、Mは、分類の類型の数であり、“+1”とは、１つの背景類型を増やすことを指す。CNN特徴上の各位置（CNN特徴の長さ及び幅からなる平面上のHxW個の点のうちの各点）についてそれぞれ上述の方式でC次元の特徴ベクトルを抽出することで、HxW個のC次元の特徴ベクトルを得ることができる。各ローカル分類器をそれぞれ用いて該HxW個のC次元の特徴ベクトルに対して全て分類予測を行った後に、各ローカル分類器について言えば、（M+1）xHxWの大小の予測確率（即ち、（M+1）xHxWの大小の分類確率ヒートマップであり、そのうち、該分類確率ヒートマップの縦方向は、予測類型の方向である）を取得し、各ローカル分類器の予測結果とすることができる。n個のローカル分類器により得られたn個の予測結果（即ち、n個の（M+1）xHxWの大小の特徴ベクトル）について、（M+1）xHxW個の位置のうちの各位置上でそれぞれ上述のn個の予測結果の該位置での最大値を取り、１つの（M+1）xHxWの大小の特徴ベクトルを取得し、ローカル予測結果とする。
【００３２】
好ましくは、各サンプル画像に対して行われる毎回の訓練において、オブジェクト抽出部更新サブステップS1022でローカル予測結果に基づいてオブジェクト抽出部を更新することは、ローカル予測結果の予測類型の方向上で、各位置のローカル予測結果の最大値を取ることで、２次元の予測結果を取得し；及び、２次元の予測結果に対して２値化処理を行った後に得られた結果を更新後のオブジェクト抽出部とすることを含む。
【００３３】
一例として、上述の（M+1）xHxWの大小のローカル予測結果について、分類確率ヒートマップの縦方向上（即ち、M個の予測類型の方向上）で、HxW個の位置のうちの各位置のローカル予測結果の最大値を取り、１つの２次元のHxWの大小の予測結果を取得し、その後、２値化方法を用いて該２次元の予測結果に対して２値化処理を行い、そして、２値化処理により得られた結果をオブジェクト抽出部とする。一例として、２値化方法は、Otsu方法であっても良いが、２値化方法は、これに限定されない。
【００３４】
なお、毎回の訓練において、画像モデルの入力画像のスケールが変わるから、画像モデル中のCNNにより取得された入力画像のCNN特徴の長さ及び幅（即ち、上述のH及びW）も変わり、これにより、毎回の訓練において得られたオブジェクト抽出部の大小が異なるようになる。
【００３５】
図5は、本開示の実施例において画像モデルの入力画像の特徴に基づいてオブジェクト抽出部を取得する一例を示す図である。
【００３６】
図5では、一番左の側に画像モデルの入力画像のCNN特徴図が示される。図5中で図示されてないが、依然として、該CNN特徴図がCxHxWのベクトルである（上述のように、Cは、チャネル数量であり、H及びWは、それぞれ、CNN特徴図の長さ及び幅である）とし、そのうち、図5の一番左の側に示されるCNN特徴の縦方向は、チャネル方向である。その後、該CNN特徴図をそれぞれ画像モデル中のn個のローカル分類器（ローカル分類器1、ローカル分類器2、……、及びローカル分類器n）に入力し、図5の真中に示される各ローカル分類器の（M+1）xHxWの大小の予測結果（上述のように、各予測結果中で、Mは、分類の類型の数を示し、“+1”とは、１つの背景類型を増やすことを指す）を取得し、そして、n個のローカル分類器により得られたn個の予測結果について、各位置上でそれぞれ上述のn個の予測結果の該位置での最大値を取ってローカル予測結果とし、図5の一番右の側の上に位置する三次元の図形に示されるようである。最後に、ローカル予測結果について、縦方向上（即ち、M個の予測類型の方向上）で、HxW個の位置のうちの各位置のローカル予測結果の最大値を取り、１つの２次元のHxWの大小の予測結果を取得し、そして、該２次元の予測結果に対して２値化処理を行った後に得られた結果をオブジェクト抽出部とし、図5中の一番右の側の下に位置する２次元の図形に示されるようである。
【００３７】
各サンプル画像に対して行われる毎回の訓練において、オブジェクトレベル分類予測サブステップS1023では、前記特徴及び更新後のオブジェクト抽出部に基づいて、スケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行うことができる。
【００３８】
一例として、画像モデルは、画像中のオブジェクトレベル特徴に基づいて予測されたオブジェクト分類器を含んでも良い。各サンプル画像に対して行われる毎回の訓練において、画像モデルの入力画像（即ち、上述のスケール調整後のサンプル画像）のCNN特徴図及び更新後のオブジェクト抽出部に基づいて入力画像のオブジェクトレベル特徴を抽出することで、オブジェクト分類器により、入力画像のオブジェクトレベル特徴に基づいて、オブジェクトレベル分類予測を行うことができる。
【００３９】
好ましくは、オブジェクトレベル分類予測サブステップS1023でスケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行うことは、前記特徴及び更新後のオブジェクト抽出部に基づいて、マスク化された特徴図を取得し；及び、マスク化された特徴図の各チャネル上の全ての値の和を求め、そして、和を求めることにより得られた値に基づいて、オブジェクトレベル分類予測を行うことを含む。
【００４０】
一例として、各サンプル画像に対して行われる毎回の訓練において、毎回の訓練中の入力画像のCNN特徴図と、更新後のオブジェクト抽出部との点乗積を行うことで、マスク化された特徴図を取得し；及び、CNN特徴図の各チャネルについて、HxW平面上の全ての値の和を求めることで各チャネルを示すことにより、１つのC次元の特徴ベクトルを取得し、そして、和を求めることにより得られたベクトルをオブジェクト分類器に入力し、オブジェクトレベル分類予測を行う。
【００４１】
各サンプル画像に対して行われる毎回の訓練において、訓練サブステップS1024では、スケール調整後のサンプル画像の分類予測結果に基づいて、画像モデルを訓練することができる。
【００４２】
一例として、スケール調整後のサンプル画像の分類予測結果に基づいて画像モデルを訓練し、また、所定の収斂（収束）条件を満たすまで訓練を続けて良い。一例として、好ましくは、画像モデルのパラメータは、CNN、所定数のローカル分類器、及びオブジェクト分類器のパラメータを含んでも良い。画像モデルを訓練することは、画像モデルに含まれるCNN、所定数のローカル分類器、及びオブジェクト分類器のパラメータを訓練することを含む。一例として、所定の収斂条件に達することは、所定のN回の訓練回数に達することを含んでも良く、また、所定の収斂条件に達することは、訓練中の損失関数が所定の損失よりも小さくなるなどを含んでも良い。
【００４３】
好ましくは、訓練サブステップS1024において、各サンプル画像に対しての毎回の画像の分類予測結果は、オブジェクトレベル分類予測を行うことにより得られた予測結果であっても良く、又は、ローカル予測結果と、オブジェクトレベル分類予測を行うことにより得られた予測結果との平均値であっても良い。
【００４４】
一例としては、ローカル分類器及びオブジェクト分類器に用いられる損失関数は、ともに、softmax損失関数であっても良い。
【００４５】
各サンプル画像に対しての毎回の画像の分類予測結果が、オブジェクトレベル分類予測を行うことにより得られた予測結果である場合、毎回の訓練中の全体の損失関数は、オブジェクト分類器の損失関数である。各サンプル画像に対しての毎回の画像の分類予測結果が、ローカル予測結果と、オブジェクトレベル分類予測を行うことにより得られた予測結果との平均値の場合、毎回の訓練中の全体の損失関数は、ローカル分類器の損失関数と、オブジェクト分類器の損失関数との和である。
【００４６】
また、オブジェクト抽出部は、ローカル分類器が行うローカル予測の類型ラベルとされても良い。一例として、オブジェクト抽出部を用いて、ローカル分類予測のラベル図を形成することができる。上述のように、ローカル分類器は、画像特徴中の特徴点に対して分類予測を行うことができる。より具体的には、ローカル分類器は、画像のCNN特徴上の各位置（CNN特徴の長さ及び幅からなる平面上のHxW個の点のうちの各点）に対して分類予測を行うことができる。これらの各位置について、類型ラベルは、オブジェクト抽出部上の対応する位置の値により決定される。２値化後のオブジェクト抽出部中の非ゼロ値が“1”で表されるとすると、オブジェクト抽出部中の値“1”は、上述の位置がその対応する類型に属することを示し、オブジェクト抽出部中の値“0”は、上述の位置が背景類型に属することを示す。
【００４７】
上述から分かるように、本開示の実施例による画像モデル訓練方法100では、ローカル分類器が行ったローカルレベル分類予測の結果を考慮してオブジェクト抽出部を更新することができ、これにより、更新されるオブジェクト抽出部は、より正確になり、生成される画像モデルの分類の正確度の向上に有利である。
【００４８】
一例として、訓練集の中の各サンプル画像については、毎回の訓練により得られた分類予測結果の平均値を、該サンプル画像の最終分類予測結果としても良い。
【００４９】
図6は、本開示の実施例において一回の訓練の中で行われる処理の一例を示す図である。
【００５０】
図6に示すように、まず、或る（所定）スケールのサンプル画像を入力画像として画像モデル中のCNNに入力することで、入力画像のCxHxWの大小のCNN特徴図を取得する。その後、CNN特徴図を所定数のローカル分類器に入力し、計算を行うことで（M+1）xHxWの大小のローカル予測結果を取得する。ローカル予測結果の最大値を取ることで、オブジェクト抽出部を取得する。その後、CNN特徴図とオブジェクト抽出部との点乗積により得られた結果について、CNN特徴の各チャネルに対して和を求め、そして、和を求めることにより得られたCx1x1（即ち、C次元の特徴ベクトル）をオブジェクト分類器に入力し、オブジェクトレベル分類予測を行う。今回の訓練の分類予測結果は、オブジェクトレベル分類予測を行うことにより得られた予測結果であっても良く、又は、ローカル予測結果と、オブジェクトレベル分類予測を行うことにより得られた予測結果との平均値であっても良い。今回の訓練では、画像モデルに含まれるCNN、所定数のローカル分類器、及びオブジェクト分類器のパラメータに対して訓練を行う。
【００５１】
ステップS104では、訓練集の中の全てのサンプル画像に対しての訓練結果に基づいて、訓練後の画像モデルを取得することができる。
【００５２】
一例として、訓練集の中の全てのサンプル画像に対してステップS102中の処理を順次行うことで各サンプル画像についての訓練結果を取得し、訓練集の中の全てのサンプル画像に対しての訓練が行われたら、訓練後の画像モデルを得ることができる。
【００５３】
以上のことから、本開示の実施例による画像モデル訓練方法100は、複数のスケールで、画像モデルに入力された画像中のオブジェクトに注目する。オブジェクト分類情報の監督下で、オブジェクト抽出部（一例として、オブジェクト抽出部は、アテンション・マスクであっても良い）を自動学習（更新）することができる。オブジェクトバウンディングボックスの手動ラベル付けの代わりに、本開示における画像モデル訓練方法では、マルチスケールのオブジェクト抽出部に基づいて、オブジェクトバウンディングボックスを生成し、また、オブジェクト抽出部を用いて、オブジェクトをクリッピングし、そして、クリッピングされたオブジェクトをマルチスケールのオブジェクト分類に適用する。即ち、本開示の実施例による画像モデル訓練方法100は、オブジェクト抽出部を自動学習することができ、そして、学習したオブジェクト抽出部に基づいて、関心オブジェクトのバウンディングボックスを自動生成することができ、これにより、異なるスケールの画像に対して分類予測を迅速に行い得る画像モデルを取得することができる。また、本開示の実施例による画像モデル訓練方法100では、ローカル分類器が行ったローカルレベル分類予測の結果を考慮してオブジェクト抽出部を更新することができ、これにより、更新されるオブジェクト抽出部は、より正確になり、生成される画像モデルの分類の正確度の向上に有利である。
【００５４】
以下、上述の画像モデル訓練方法の実施例に対応して、本開示は、さらに、画像モデル訓練装置の実施例を提供する。
【００５５】
図7は、本開示の実施例における画像モデル訓練装置700の機能ブロック図である。
【００５６】
図7に示すように、本開示の実施例における画像モデル訓練装置700は、反復訓練ユニット702及び画像モデル取得ユニット704を含んでも良い。以下、反復訓練ユニット702及び画像モデル取得ユニット704の機能構成例について詳しく説明する。
【００５７】
反復訓練ユニット702では、訓練集の中の各サンプル画像について、画像モデルに対してN回の反復訓練を行うことができ、そのうち、Nは、2以上の整数である。
【００５８】
一例として、与えられた訓練集の中の各サンプル画像について、画像モデルに対して2回以上の反復訓練を行うことができる。
【００５９】
図8は、本開示の実施例による画像モデル訓練装置700における反復訓練ユニット702に含まれるサブユニットを示す図である。図8に示すように、反復訓練ユニット702では、各サンプル画像に対して行われる毎回の訓練において、それぞれ、入力サブユニット7021、オブジェクト抽出部更新サブユニット7022、オブジェクトレベル分類予測サブユニット7023、及び訓練サブユニット7024中の処理を行う。
【００６０】
各サンプル画像に対して行われる毎回の訓練において、入力サブユニット7021では、前回の訓練で得られたオブジェクト抽出部によりサンプル画像に対してクリッピングを行うことで得られた画像をスケール調整後のサンプル画像として画像モデルに入力し、そのうち、オブジェクト抽出部は、各スケールのサンプル画像中の関心オブジェクトを抽出するために用いられ、初期スケールのサンプル画像は、オリジナルなサンプル画像である。
【００６１】
一例として、各サンプル画像に対して行われる毎回の訓練では、前回の訓練の結果に基づいてサンプル画像のスケールを調整し、そして、スケール調整後のサンプル画像を画像モデルの入力画像として画像モデルに対して今回の訓練を行うことができる。より具体的には、毎回の訓練において、前回の訓練で得られたオブジェクト抽出部によりサンプル画像に対してクリッピングを行い、そして、クリッピングを行うことにより得られた画像をスケール調整後のサンプル画像として画像モデルに入力し、画像モデルに対して訓練を行うことができる。一例として、毎回の訓練において、前回の訓練で得られたオブジェクト抽出部によりサンプル画像に対してクリッピングを行うことで得られた画像を直接、画像モデルの入力画像としても良く、又は、クリッピングを行うことにより得られた画像に対してサイズ調整を行った（即ち、クリッピングを行うことにより得られた画像に対してスケーリングを行った）後の画像を画像モデルの入力画像としても良い。
【００６２】
オブジェクト抽出部は、ゼロ値領域及び非ゼロ値領域を含む２値画像であっても良く、そのうち、ゼロ値領域は、背景領域を示し、非ゼロ値領域は、関心領域（即ち、前景領域）を示す。一例として、オブジェクト抽出部は、アテンション・マスクであっても良く、該アテンション・マスクは、サンプル画像中の各スケールの関心オブジェクト（即ち、前景オブジェクト）を抽出するために用いられる。オブジェクト抽出部は、さらに、アテンション・マスク以外のものであっても良く、該オブジェクト抽出部により各スケールのサンプル画像中の関心オブジェクトを抽出することができれば良い。
【００６３】
スケール調整後のサンプル画像及びオブジェクト抽出部の具体例については、上述の方法の実施例中の対応する部分の説明を参照できるため、ここでは、その詳しい記載を省略する。
【００６４】
好ましくは、各サンプル画像に対して行われる毎回の訓練において、入力サブユニット7021でオブジェクト抽出部によりサンプル画像に対してクリッピングを行うことは、オブジェクト抽出部を初期のサンプル画像のスケールに拡大し；拡大後のオブジェクト抽出部中の非ゼロ領域のバウンディングボックスを計算し；及び、バウンディングボックスを用いてサンプル画像をクリッピングし、クリッピングされた画像をスケール調整後のサンプル画像とすることを含む。
【００６５】
一例として、上述のように、第一回訓練において、画像モデルの入力画像は、初期のサンプル画像であり、また、この第一回の訓練において、計算を行うことで第一スケールの第一オブジェクト抽出部を取得する。後続の毎回の訓練において、前回の訓練により得られたオブジェクト抽出部を初期のサンプル画像のスケールに拡大し；その後、従来の技術で拡大後のオブジェクト抽出部中の非ゼロ領域（即ち、白色領域）のバウンディングボックスを計算し、そして、バウンディングボックスを用いてサンプル画像をクリッピングし、クリッピングされた画像をスケール調整後のサンプル画像とする。
【００６６】
オブジェクト抽出部によりサンプル画像に対してクリッピングを行う具体例については、上述の方法の実施例中の対応する部分の説明を参照することができるため、ここでは、その詳しい記載を省略する。
【００６７】
上述から分かるように、画像モデルを訓練する装置700は、オブジェクト抽出部を自動学習し、そして、学習したオブジェクト抽出部に基づいて関心オブジェクトのバウンディングボックスを自動生成することができ、これにより、異なるスケールの画像に対して分類予測を迅速に行い得る画像モデルを生成することができる。
【００６８】
各サンプル画像に対して行われる毎回の訓練において、オブジェクト抽出部更新サブユニット7022では、スケール調整後のサンプル画像の特徴をそれぞれ画像モデル中の所定数のローカル分類器に入力し、前記特徴中の特徴点に対して分類予測を行うことでローカル予測結果を取得し、そして、ローカル予測結果に基づいてオブジェクト抽出部を更新することができる。
【００６９】
一例として、画像モデルは、所定数のローカル分類器を有しても良い。ローカル分類器は、画像特徴中の特徴点に対して分類予測を行うことで、ローカル予測結果を得ることができる。画像モデルに対して反復訓練を3回行うことを例とし、また、ローカル分類器の数量がn（nは、1以上の整数である）とすると、第一回訓練において、第一スケールの第一画像の特徴をn個のローカル分類器にそれぞれ入力することで、第一ローカル予測結果を取得し、そして、第一ローカル予測結果に基づいて、計算を行うことで第一スケールのオブジェクト抽出部を取得し；第二回訓練において、第二スケールの第二画像の特徴を上述のn個のローカル分類器にそれぞれ入力することで、第二ローカル予測結果を取得し、そして、第二ローカル予測結果に基づいて、計算を行うことで第一スケールのオブジェクト抽出部を更新することで、第二スケールのオブジェクト抽出部を取得し；及び、第三回訓練において、第三スケールの第三画像の特徴を上述のn個のローカル分類器にそれぞれ入力することで、第三ローカル予測結果を取得し、そして、第三ローカル予測結果に基づいて、計算を行うことにより第二スケールのオブジェクト抽出部を更新することで、第三スケールのオブジェクト抽出部を取得する。
【００７０】
毎回の訓練において、従来の技術で画像モデルの入力画像の特徴を抽出することができる。一例として、畳み込みニューラルネットワーク（CNN）を用いて画像モデルの入力画像の特徴を抽出することができる。
【００７１】
好ましくは、毎回の訓練において、オブジェクト抽出部更新サブユニット7022では、画像モデル中のCNNを用いて、スケール調整後のサンプル画像の特徴を得ることができる。
【００７２】
上述の方法の実施例中の対応する部分に記載のように、毎回の訓練において、画像モデル中の該CNNにより、画像モデルの入力画像の上級特徴図、即ち、CNN特徴（CNN特徴図とも称される）を取得する。CNN特徴の大小がCxHxWであるとし、そのうち、Cは、特徴図のチャネルの数（即ち、Cは、特徴図の縦方向の長さであり）、H及びWは、それぞれ、特徴図の平面の長さ及び幅である。
【００７３】
好ましくは、各サンプル画像に対して行われる毎回の訓練において、オブジェクト抽出部更新サブユニット7022では、次のような方式でローカル予測結果を得ることができ、即ち、各ローカル分類器をそれぞれ用いて、前記特徴のチャネル方向に沿って抽出された異なる位置での特徴ベクトルに基づいて分類予測を行い、そして、計算を行うことで各ローカル分類器の予測結果を取得し；及び、所定数のローカル分類器の予測結果に対してそれぞれ最大値を取り、ローカル予測結果とする。
【００７４】
ローカル予測結果の取得については、上述の方法の実施例中の対応する部分の説明を参照することができるため、ここでは、その詳しい記載を割愛する。
【００７５】
好ましくは、各サンプル画像に対して行われる毎回の訓練において、オブジェクト抽出部更新サブユニット7022でローカル予測結果に基づいてオブジェクト抽出部を更新することは、ローカル予測結果の予測類型の方向上で、各位置でのローカル予測結果の最大値を取ることで、２次元の予測結果を取得し；及び、２次元の予測結果に対して２値化処理を行った後に得られた結果を更新後のオブジェクト抽出部とすることを含む。
【００７６】
ローカル予測結果に基づくオブジェクト抽出部の更新については、上述の方法の実施例中の対応する部分の説明を参照することができるため、ここでは、その詳しい記載を省略する。
【００７７】
各サンプル画像に対して行われる毎回の訓練において、オブジェクトレベル分類予測サブユニット7023では、前記特徴及び更新後のオブジェクト抽出部に基づいて、スケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行うことができる。
【００７８】
一例として、画像モデルは、画像中のオブジェクトレベル特徴に基づいて予測されたオブジェクト分類器を含んでも良い。各サンプル画像に対して行われる毎回の訓練において、画像モデルの入力画像（即ち、上述のスケール調整後のサンプル画像）のCNN特徴図及び更新後のオブジェクト抽出部に基づいて、入力画像のオブジェクトレベル特徴を抽出し、そして、オブジェクト分類器により、入力画像のオブジェクトレベル特徴に基づいて、オブジェクトレベル分類予測を行うことができる。
【００７９】
好ましくは、オブジェクトレベル分類予測サブユニット7023でスケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行うことは、前記特徴及び更新後のオブジェクト抽出部に基づいて、マスク化された特徴図を取得し；及び、マスク化された特徴図の各チャネル上の全ての値の和を求め、そして、和を求めることにより得られた値に基づいて、オブジェクトレベル分類予測を行うことを含んでも良い。
【００８０】
一例として、各サンプル画像に対して行われる毎回の訓練において、毎回の訓練中の入力画像のCNN特徴図と更新後のオブジェクト抽出部との点乗積により、マスク化された特徴図を取得し；及び、CNN特徴図の各チャネルについて、HxW平面上の全ての値の和を求めて各チャネルを示すことで、１つのC次元の特徴ベクトルを取得し、そして、和を求めることにより得られたベクトルをオブジェクト分類器に入力し、オブジェクトレベル分類予測を行う。
【００８１】
各サンプル画像に対して行われる毎回の訓練において、訓練サブユニット7024では、スケール調整後のサンプル画像の分類予測結果に基づいて、画像モデルを訓練することができる。
【００８２】
一例として、スケール調整後のサンプル画像の分類予測結果に基づいて画像モデルを訓練し、また、所定の収斂条件を満足するまで訓練を続けることができる。一例として、好ましくは、画像モデルのパラメータは、CNN、所定数のローカル分類器、及びオブジェクト分類器のパラメータを含んでも良い。画像モデルを訓練することは、画像モデルに含まれるCNN、所定数のローカル分類器、及びオブジェクト分類器のパラメータを訓練することを含む。一例として、所定の収斂条件に達することは、所定のN回の訓練回数に達することを含んでも良く、又は、所定の収斂条件に達することは、訓練中の損失関数が所定の損失よりも小さくなるなどを含んでも良い。
【００８３】
好ましくは、訓練サブユニット7024では、各サンプル画像に対しての毎回の画像の分類予測結果は、オブジェクトレベル分類予測を行うことにより得られた予測結果であっても良く、又は、ローカル予測結果と、オブジェクトレベル分類予測を行うことにより得られた予測結果との平均値であっても良い。
【００８４】
一例として、ローカル分類器及びオブジェクト分類器に用いられる損失関数は、ともに、softmax損失関数であっても良い。
【００８５】
各サンプル画像に対しての毎回の画像の分類予測結果が、オブジェクトレベル分類予測を行うことにより得られた予測結果である場合、毎回の訓練中の全体の損失関数は、オブジェクト分類器の損失関数である。各サンプル画像に対しての毎回の画像の分類予測結果が、ローカル予測結果と、オブジェクトレベル分類予測を行うことにより得られた予測結果との平均値である場合、毎回の訓練中の全体の損失関数は、ローカル分類器の損失関数と、オブジェクト分類器の損失関数との和である。
【００８６】
上述から分かるように、本開示の実施例による画像モデル訓練装置700では、ローカル分類器が行ったローカルレベル分類予測の結果を考慮してオブジェクト抽出部を更新することができ、これにより、更新されるオブジェクト抽出部は、より正確になり、生成される画像モデルの分類の正確度の向上に有利である。
【００８７】
一例として、訓練集の中の各サンプル画像については、毎回の訓練により得られた分類予測結果の平均値を、該サンプル画像の最終分類予測結果としても良い。
【００８８】
画像モデル取得ユニット704では、訓練集の中の全てのサンプル画像に対しての訓練結果に基づいて、訓練後の画像モデルを取得することができる。
【００８９】
一例として、訓練集の中の全てのサンプル画像については、反復訓練ユニット702中の処理を順次行うことで各サンプル画像についての訓練結果を取得し、訓練集の中の全てのサンプル画像に対して訓練が行われたら、訓練後の画像モデルを得ることができる。
【００９０】
以上のことから、本開示の実施例による画像モデル訓練する700は、オブジェクト抽出部を自動学習し、そして、学習したオブジェクト抽出部に基づいて関心オブジェクトのバウンディングボックスを自動生成することで、異なるスケールの画像に対して分類予測を迅速に行い得る画像モデルを取得することができる。また、本開示の実施例による画像モデル訓練装置700では、ローカル分類器が行ったローカルレベル分類予測の結果を考慮してオブジェクト抽出部を更新することができ、これにより、更新されるオブジェクト抽出部は、より精確になり、生成される画像モデルの分類の正確度の向上に有利である。
【００９１】
なお、以上、本開示の実施例における画像モデル訓練装置の機能構成を説明したが、本開示は、これに限定されない。また、当業者は、本開示の原理に基づいて、上述の実施例に対して変更などを行っても良く、例えば、各実施例中の機能ブロックに対して追加、削除、又は組み合わせを行っても良いが、このような変更などは、全て、本開示の範囲に属する。
【００９２】
また、ここでの装置の実施例は、上述の方法の実施例に対応するので、装置の実施例に不記載の内容は、方法の実施例中の対応する部分の内容を参照することができ、ここでは、その詳しい説明を割愛する。
【００９３】
なお、本開示の実施例における記憶媒体及びプログラムプロダクト中のマシン実行可能な指令（コードなど）は、さらに、上述の画像モデル訓練方法を実行するように構成されても良い。よって、ここで不記載の内容は、前に述べた対応する部分の内容を参照することができるため、ここでは、その詳しい説明を省略する。
【００９４】
それ相応に、上述のマシン実行可能な指令を含むプログラムプロダクトを記録する記憶媒体も本開示に含まれる。また、このような記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティックなどを含むが、これらに限定されない。
【００９５】
本開示の他の側面によれば、異なるスケールの画像に対して迅速且つ正確に分類を行うことができる分類予測方法900が提供される。
【００９６】
該分類予測方法900は、上述の画像モデル訓練方法100により訓練された画像モデルを用いて、分類待ち画像に対して分類予測を行う。該分類予測方法900は、分類待ち画像に対して、訓練後の画像モデルを用いて、N回の分類予測を行い、そのうち、毎回の分類予測において、前回の分類予測の結果に基づいて分類待ち画像のスケールを調整し、そして、スケール調整後の分類待ち画像を訓練後の画像モデルの入力画像として今回の分類予測を行い、そのうち、Nは、2以上の整数である。
【００９７】
図9を参照して、本開示の実施例による分類予測方法900のフローチャートを説明する。図9は、本開示の実施例における分類予測方法900のフローチャートである。図9に示すように、本開示の実施例における分類予測方法900は、各分類待ち画像に対して行われる毎回の分類予測において、それぞれ、入力サブステップS901、オブジェクト抽出部更新サブステップS902、オブジェクトレベル分類予測サブステップS903、及び今回の予測結果取得サブステップS904中の処理を行う。
【００９８】
各分類待ち画像に対して行われる毎回の分類予測において、入力サブステップS901では、前回の分類予測で得られたオブジェクト抽出部により分類待ち画像に対してクリッピングを行うことで得られた画像をスケール調整後の分類待ち画像として訓練後の画像モデルに入力することができ、そのうち、オブジェクト抽出部は、各スケールの分類待ち画像中の関心オブジェクトを抽出するために用いられ、初期スケールの分類待ち画像は、オリジナルな分類待ち画像である。
【００９９】
一例として、各分類待ち画像に対して行われる毎回の分類予測において、前回の分類予測の結果に基づいて分類待ち画像のスケールを調整し、そして、スケール調整後の分類待ち画像を訓練後の画像モデルの入力画像として今回の分類予測を行うことができる。より具体的には、毎回の分類予測において、前回の分類予測により得られたオブジェクト抽出部に基づいて分類待ち画像に対してクリッピングを行い、そして、クリッピングを行うことにより得られた画像をスケール調整後の分類待ち画像として訓練後の画像モデルに入力し、入力画像に対して分類予測を行うことができる。一例として、毎回の分類予測において、前回の分類予測で得られたオブジェクト抽出部により分類待ち画像に対してクリッピングを行うことで得られた画像を直接、訓練後の画像モデルの入力画像としても良く、又は、クリッピングを行うことにより得られた画像に対してサイズ調整を行った（即ち、クリッピングを行うことにより得られた画像に対してスケーリングを行った）後の画像を訓練後の画像モデルの入力画像としても良い。
【０１００】
オブジェクト抽出部は、ゼロ値領域及び非ゼロ値領域を含む２値画像であっても良く、そのうち、ゼロ値領域は、背景領域を示し、非ゼロ値領域は、関心領域（即ち、前景領域）を示す。一例として、オブジェクト抽出部は、アテンション・マスクであっても良く、該アテンション・マスクは、分類待ち画像中の各スケールの関心オブジェクト（即ち、前景オブジェクト）を抽出するために用いられる。オブジェクト抽出部は、さらに、アテンション・マスク以外のものであっても良く、該オブジェクト抽出部により各スケールの分類待ち画像中の関心オブジェクトを抽出することができれば良い。
【０１０１】
例えば、Nが3であるとし、即ち、分類待ち画像に対して3回の反復分類予測を行うとする。第一回分類予測では、オリジナルな分類待ち画像を訓練後の画像モデルに入力し、また、分類予測過程で計算を行うことにより第一スケールの第一オブジェクト抽出部を取得することができる。その後、第二回分類予測では、第一回分類予測により得られた第一オブジェクト抽出部を用いて、オリジナルな分類待ち画像に対してクリッピングを行い、そして、クリッピングを行うことにより得られた第一スケールの、関心オブジェクトを含む画像を訓練後の画像モデルに入力し、また、分類予測過程で計算を行うことにより第一スケールのオブジェクト抽出部を更新することで、第二スケールの第二オブジェクト抽出部を取得することができる。最後に、第三回分類予測では、第二回分類予測により得られた第二オブジェクト抽出部を用いてオリジナルな分類待ち画像に対してクリッピングを行い、そして、クリッピングを行うことにより得られた第二スケールの、関心オブジェクトを含む画像を訓練後の画像モデルに入力することができる。
【０１０２】
好ましくは、各分類待ち画像に対して行われる毎回の分類予測において、入力サブステップS901でオブジェクト抽出部により分類待ち画像に対してクリッピングを行うことは、オブジェクト抽出部を初期の分類待ち画像のスケールに拡大し；拡大後のオブジェクト抽出部中の非ゼロ領域のバウンディングボックスを計算し；及び、バウンディングボックスを用いて分類待ち画像をクリッピングし、クリッピングされた画像をスケール調整後の分類待ち画像とすることを含んでも良い。
【０１０３】
一例として、上述のように、第一回分類予測では、訓練後の画像モデルの入力画像は、初期の分類待ち画像であり、また、この第一回分類予測において、計算を行うことで第一スケールの第一オブジェクト抽出部を取得する。後続の毎回の分類予測では、前回の分類予測により得られたオブジェクト抽出部を初期の分類待ち画像のスケールに拡大し；その後、従来の技術で拡大後のオブジェクト抽出部中の非ゼロ領域（即ち、白色領域）のバウンディングボックスを計算し、そして、バウンディングボックスを用いて分類待ち画像をクリッピングし、クリッピングされた画像をスケール調整後の分類待ち画像とする。
【０１０４】
上述から分かるように、分類予測方法900は、オブジェクト抽出部を自動学習し、そして、学習したオブジェクト抽出部に基づいて、関心オブジェクトのバウンディングボックスを自動生成することができ、これにより、異なるスケールの画像に対して迅速に分類予測を行うことができる。
【０１０５】
各分類待ち画像に対して行われる毎回の分類予測において、オブジェクト抽出部更新サブステップS902では、スケール調整後の分類待ち画像の特徴を訓練後の画像モデル中の所定数のローカル分類器にそれぞれ入力し、前記特徴中の特徴点に対して分類予測を行うことでローカル予測結果を取得し、そして、ローカル予測結果に基づいてオブジェクト抽出部を更新することができる。
【０１０６】
一例として、訓練後の画像モデルは、所定数のローカル分類器を有しても良い。ローカル分類器は、画像特徴中の特徴点に対して分類予測を行うことでローカル予測結果を得ることができる。上述の分類待ち画像に対して3回の反復分類予測を行うことを例とし、且つローカル分類器の数がn（nは、1以上の整数である）であるとすれば、第一回分類予測では、第一スケールの第一画像（オリジナルな分類待ち画像）の特徴をn個のローカル分類器にそれぞれ入力することで第一ローカル予測結果を取得し、そして、第一ローカル予測結果に基づいて、計算により、第一スケールのオブジェクト抽出部を取得し；第二回分類予測では、第二スケールの第二画像の特徴を上述のn個のローカル分類器にそれぞれ入力することで第二ローカル予測結果を取得し、そして、第二ローカル予測結果に基づいて、計算により、第一スケールのオブジェクト抽出部を更新することで、第二スケールのオブジェクト抽出部を取得し；及び、第三回分類予測では、第三スケールの第三画像の特徴を上述のn個のローカル分類器にそれぞれ入力することで第三ローカル予測結果を取得し、そして、第三ローカル予測結果に基づいて、計算により、第二スケールのオブジェクト抽出部を更新することで、第三スケールのオブジェクト抽出部を得ることができる。
【０１０７】
毎回の分類予測では、利用される訓練後の画像モデルの構成に基づいて、従来の技術で分類待ち画像の特徴を抽出することができる。一例として、畳み込みニューラルネットワーク（CNN）を用いて分類待ち画像の特徴を抽出することができる。
【０１０８】
好ましくは、毎回の分類予測では、オブジェクト抽出部更新サブステップS902において、CNNにより取得されたスケール調整後の分類待ち画像の特徴を使用することができる。
【０１０９】
一例として、訓練後の画像モデルは、フィードフォワードCNNを含む。よって、毎回の分類予測では、訓練後の画像モデル中の該CNNにより、訓練後の画像モデルの入力画像の上級特徴図、即ち、CNN特徴（CNN特徴図とも称される）を取得する。CNN特徴の大小がCxHxWであるとし、そのうち、Cは、特徴図のチャネルの数であり（即ち、Cは、特徴図の縦方向の長さである）、H及びWは、それぞれ、特徴図の平面の長さ及び幅である。以下、CNNを用いて訓練後の画像モデルの入力画像の特徴を抽出することを例として説明を行う。
【０１１０】
好ましくは、各分類待ち画像に対して行われる毎回の分類予測において、オブジェクト抽出部更新サブステップS902では、次のような方式でローカル予測結果を得ても良く、即ち、各ローカル分類器をそれぞれ用いて、前記特徴のチャネル方向に沿って抽出された異なる位置での特徴ベクトルに基づいて分類予測を行うことで、計算により、各ローカル分類器の予測結果を取得し；及び、所定数のローカル分類器の予測結果に対してそれぞれ最大値を取り、ローカル予測結果とする。
【０１１１】
ローカル予測結果の取得については、上述の画像モデル訓練方法100の実施例中の対応する部分の説明を参照することができるため、ここでは、その詳しい記載を割愛する。
【０１１２】
好ましくは、各分類待ち画像に対して行われる毎回の分類予測において、オブジェクト抽出部更新サブステップS902でローカル予測結果に基づいてオブジェクト抽出部を更新することは、ローカル予測結果の予測類型の方向上で、各位置でのローカル予測結果の最大値を取ることで、２次元の予測結果を取得し；及び、２次元の予測結果に対して２値化処理を行った後に得られた結果を更新後のオブジェクト抽出部とすることを含んでも良い。
【０１１３】
ローカル予測結果に基づくオブジェクト抽出部の更新については、上述の画像モデル訓練方法100の実施例中の対応する部分の説明を参照することができるため、ここでは、その詳細な記載を省略する。
【０１１４】
各分類待ち画像に対して行われる毎回の分類予測において、オブジェクトレベル分類予測サブステップS903では、前記特徴及び更新後のオブジェクト抽出部に基づいて、スケール調整後の分類待ち画像に対してオブジェクトレベル分類予測を行うことができる。
【０１１５】
一例として、訓練後の画像モデルは、画像中のオブジェクトレベル特徴に基づいて予測されたオブジェクト分類器を含んでも良い。各分類待ち画像に対して行われる毎回の分類予測において、訓練後の画像モデルの入力画像（即ち、上述のスケール調整後の分類待ち画像）のCNN特徴図及び更新後のオブジェクト抽出部に基づいて、入力画像のオブジェクトレベル特徴を抽出し、そして、オブジェクト分類器により、入力画像のオブジェクトレベル特徴に基づいてオブジェクトレベル分類予測を行うことができる。
【０１１６】
好ましくは、オブジェクトレベル分類予測サブステップS903において、スケール調整後の分類待ち画像に対してオブジェクトレベル分類予測を行うことは、前記特徴及び更新後のオブジェクト抽出部に基づいて、マスク化された特徴図を取得し；及び、マスク化された特徴図の各チャネル上の全ての値の和を求め、そして、和を求めることにより得られた値に基づいて、オブジェクトレベル分類予測を行うことを含んでも良い。
【０１１７】
スケール調整後の分類待ち画像に対してのオブジェクトレベル分類予測については、上述の画像モデル訓練方法100の実施例中の対応する部分の内容を参照することができるので、ここでは、その詳しい記載を割愛する。
【０１１８】
各分類待ち画像に対して行われる毎回の分類予測において、今回の予測結果取得サブステップS904では、スケール調整後の分類待ち画像の分類予測結果を得ることができる。
【０１１９】
好ましくは、今回の予測結果取得サブステップS904では、各分類待ち画像に対しての毎回の画像の分類予測結果は、オブジェクトレベル分類予測を行うことにより得られた予測結果であっても良く、又は、ローカル予測結果と、オブジェクトレベル分類予測を行うことにより得られた予測結果との平均値であっても良い。
【０１２０】
上述から分かるように、本開示の実施例による分類予測方法900では、ローカル分類器が行ったローカルレベル分類予測の結果を考慮してオブジェクト抽出部を更新することができ、これにより、更新されるオブジェクト抽出部は、より正確になり、分類の正確度の向上に有利である。
【０１２１】
一例として、各分類待ち画像については、毎回の分類予測により得られた分類予測結果の平均値を、該分類待ち画像の最終分類予測結果としても良い。
【０１２２】
以上のことから、本開示の実施例による分類予測方法900は、オブジェクト抽出部を自動学習し、学習したオブジェクト抽出部に基づいて、関心オブジェクトのバウンディングボックスを自動生成することができるため、異なるスケールの画像に対して迅速に分類予測を行うことができる。また、本開示の実施例における分類予測方法900では、ローカル分類器が行ったローカルレベル分類予測の結果を考慮してオブジェクト抽出部を更新することができ、これにより、更新されるオブジェクト抽出部は、より正確になり、分類の正確度の向上に有利である。
【０１２３】
以下、上述の分類予測方法の実施例に対応して、本開示は、さらに、分類予測装置1000の実施例を提供する。
【０１２４】
該分類予測装置1000は、上述の画像モデル訓練方法100により訓練された画像モデルを用いて分類待ち画像に対して分類予測を行う。該分類予測装置1000は、分類待ち画像に対して、訓練後の画像モデルを用いてN回の分類予測を行い、そのうち、毎回の分類予測において、前回の分類予測の結果に基づいて分類待ち画像のスケールを調整し、そしてスケール調整後の分類待ち画像を訓練後の画像モデルの入力画像として今回の分類予測を行い、そのうち、Nは、2以上の整数である。
【０１２５】
図10は、本開示の実施例における分類予測装置1000の機能ブロック図である。
【０１２６】
図10に示すように、本開示の実施例における分類予測装置1000は、各分類待ち画像に対して行われる毎回の分類予測において、それぞれ、入力サブユニット1001、オブジェクト抽出部更新サブユニット1002、オブジェクトレベル分類予測サブユニット1003、及び予測結果取得サブユニット1004中の処理を行う。以下、入力サブユニット1001、オブジェクト抽出部更新サブユニット1002、オブジェクトレベル分類予測サブユニット1003、及び予測結果取得サブユニット1004の機能構成を説明する。
【０１２７】
各分類待ち画像に対して行われる毎回の分類予測において、入力サブユニット1001では、前回の分類予測で得られたオブジェクト抽出部により分類待ち画像に対してクリッピングを行うことで得られた画像をスケール調整後の分類待ち画像として訓練後の画像モデルに入力することができ、そのうち、オブジェクト抽出部は、各スケールの分類待ち画像中の関心オブジェクトを抽出するために用いられ、初期スケールの分類待ち画像は、オリジナルな分類待ち画像である。
【０１２８】
スケール調整後の画像及びオブジェクト抽出部については、上述の画像モデル訓練方法100の実施例中の対応する部分の内容を参照することができるため、ここでは、その詳しい記載を割愛する。
【０１２９】
好ましくは、各分類待ち画像に対して行われる毎回の分類予測において、入力サブユニット1001でオブジェクト抽出部により分類待ち画像に対してクリッピングを行うことは、オブジェクト抽出部を初期の分類待ち画像のスケールに拡大し；拡大後のオブジェクト抽出部中の非ゼロ領域のバウンディングボックスを計算し；及び、バウンディングボックスを用いて分類待ち画像をクリッピングし、クリッピングされた画像をスケール調整後の分類待ち画像とすることを含んでも良い。
【０１３０】
オブジェクト抽出部に基づく分類待ち画像のクリッピングについては、上述の画像モデル訓練方法100の実施例中の対応する部分の記載を参照することができるため、ここでは、その詳しい説明を省略する。
【０１３１】
上述から分かるように、分類予測装置1000は、オブジェクト抽出部を自動学習し、学習したオブジェクト抽出部に基づいて関心オブジェクトのバウンディングボックスを自動生成することで、異なるスケールの画像に対して迅速に分類予測を行うことができる。
【０１３２】
各分類待ち画像に対して行われる毎回の分類予測において、オブジェクト抽出部更新サブユニット1002では、スケール調整後の分類待ち画像の特徴を訓練後の画像モデル中の所定数のローカル分類器にそれぞれ入力し、前記特徴中の特徴点に対して分類予測を行うことでローカル予測結果を取得し、そして、ローカル予測結果に基づいてオブジェクト抽出部を更新することができる。
【０１３３】
ローカル予測結果に基づくオブジェクト抽出部の更新については、上述の画像モデル訓練方法100の実施例中の対応する部分の記載を参照することができるため、ここでは、その詳しい説明を割愛する。
【０１３４】
毎回の分類予測では、利用される訓練後の画像モデルの構成に基づいて、従来の技術で分類待ち画像の特徴を抽出することができる。一例として、畳み込みニューラルネットワーク（CNN）を用いて分類待ち画像の特徴を抽出することができる。
【０１３５】
好ましくは、毎回の分類予測において、オブジェクト抽出部更新サブユニット1002では、CNNにより取得されたスケール調整後の分類待ち画像の特徴を使用することができる。
【０１３６】
好ましくは、各分類待ち画像に対して行われる毎回の分類予測において、オブジェクト抽出部更新サブユニット1002では、次のような方式でローカル予測結果を得ても良く、即ち、各ローカル分類器をそれぞれ使用し、前記特徴のチャネル方向に沿って抽出された異なる位置での特徴ベクトルに基づいて分類予測を行い、計算により各ローカル分類器の予測結果を取得し；及び、所定数のローカル分類器の予測結果に対してそれぞれ最大値を取り、ローカル予測結果とすることができる。
【０１３７】
ローカル予測結果の取得については、上述の画像モデル訓練方法100の実施例中の対応する部分の記載を参照することができるため、ここでは、その詳しい説明を省略する。
【０１３８】
好ましくは、各分類待ち画像に対して行われる毎回の分類予測において、オブジェクト抽出部更新サブユニット1002でローカル予測結果に基づいてオブジェクト抽出部を更新することは、ローカル予測結果の予測類型の方向上で、各位置のローカル予測結果の最大値を取ることで、２次元の予測結果を取得し；及び、２次元の予測結果に対して２値化処理を行った後に得られた結果を更新後のオブジェクト抽出部とすることを含んでも良い。
【０１３９】
ローカル予測結果に基づくオブジェクト抽出部の更新については、上述の画像モデル訓練方法100の実施例中の対応する部分の説明を参照することができるため、ここでは、その詳しい記載を割愛する。
【０１４０】
各分類待ち画像に対して行われる毎回の分類予測において、オブジェクトレベル分類予測サブユニット1003では、前記特徴及び更新後のオブジェクト抽出部に基づいて、スケール調整後の分類待ち画像に対してオブジェクトレベル分類予測を行うことができる。
【０１４１】
一例として、訓練後の画像モデルは、画像中のオブジェクトレベル特徴に基づいて予測されたオブジェクト分類器を含んでも良い。各分類待ち画像に対して行われる毎回の分類予測において、訓練後の画像モデルの入力画像（即ち、上述のスケール調整後の分類待ち画像）のCNN特徴図及び更新後のオブジェクト抽出部に基づいて、入力画像のオブジェクトレベル特徴を抽出し、そして、オブジェクト分類器により、入力画像のオブジェクトレベル特徴に基づいて、オブジェクトレベル分類予測を行うことができる。
【０１４２】
好ましくは、オブジェクトレベル分類予測サブユニット1003でスケール調整後の分類待ち画像に対してオブジェクトレベル分類予測を行うことは、前記特徴及び更新後のオブジェクト抽出部に基づいて、マスク化された特徴図を取得し；及び、マスク化された特徴図の各チャネル上の全ての値の和を求め、そして、和を求めることにより得られた値に基づいてオブジェクトレベル分類予測を行うことを含んでも良い。
【０１４３】
スケール調整後の分類待ち画像に対してのオブジェクトレベル分類予測については、上述の画像モデル訓練方法100の実施例中の対応する部分の内容を参照することができるため、ここでは、その詳しい説明を省略する。
【０１４４】
各分類待ち画像に対して行われる毎回の分類予測において、予測結果取得サブユニット1004では、スケール調整後の分類待ち画像の分類予測結果を取得することができる。
【０１４５】
好ましくは、予測結果取得サブユニット1004において、各分類待ち画像に対しての毎回の画像の分類予測結果は、オブジェクトレベル分類予測を行うことにより得られた予測結果であっても良く、又は、ローカル予測結果と、オブジェクトレベル分類予測を行うことにより得られた予測結果との平均値であっても良い。
【０１４６】
上述から分かるように、本開示の実施例における分類予測装置1000では、ローカル分類器が行ったローカルレベル分類予測の結果を考慮してオブジェクト抽出部を更新することができ、これにより、更新されるオブジェクト抽出部は、より正確になり、分類の正確度の向上に有利である。
【０１４７】
一例として、各分類待ち画像については、毎回の分類予測により得られた分類予測結果の平均値を、該分類待ち画像の最終分類予測結果としても良い。
【０１４８】
以上のことから、本開示の実施例による分類予測装置1000は、オブジェクト抽出部を自動学習し、学習したオブジェクト抽出部に基づいて関心オブジェクトのバウンディングボックスを自動生成することで、異なるスケールの画像に対して迅速に分類予測を行うことができる。また、本開示の実施例における分類予測装置1000では、ローカル分類器が行ったローカルレベル分類予測の結果を考慮してオブジェクト抽出部を更新することができ、これにより、更新されるオブジェクト抽出部は、より正確になり、分類の正確度の向上に有利である。
【０１４９】
なお、以上、本開示の実施例における分類予測装置の機能構成を説明したが、本開示は、これに限定されない。また、当業者は、本開示の原理に基づいて、上述の実施例に対して変更などを行っても良く、例えば、各実施例中の機能ブロックに対して追加、削除、又は組み合わせを行っても良いが、このような変更などは、全て、本開示の範囲に属する。
【０１５０】
また、ここでの装置の実施例は、上述の方法の実施例に対応するので、装置の実施例に未記載の内容は、方法の実施例中の対応する部分の内容を参照することでき、ここでは、その詳しい説明を割愛する。
【０１５１】
なお、本開示の実施例における記憶媒体及びプログラムプロダクト中のマシン実行可能な指定（コードなど）は、さらに、上述の画像モデル訓練方法を実行するように構成されても良い。よって、ここで不記載の内容は、前に述べた対応部分の内容を参照することができるため、ここでは、その詳しい説明を省略する。
【０１５２】
それ相応に、上述のマシン実行可能な指令を含むプログラムプロダクトを記録する記憶媒体も本開示に含まれる。また、このような記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティックなどを含むが、これらに限定されない。
【０１５３】
また、上述の一連の処理や装置は、ソフトウェア、ファームウェア、ハードウェア又はその組み合わせにより構成されても良い。ソフトウェア又はファームウェアにより実現される場合、記憶媒体又はネットワークから、専用ハードウェア構造を持つコンピュータ（例えば、図11に示すような汎用コンピュータ1100）に、該ソフトウェアを構成するプログラムをインストールすることができ、また、該コンピュータは、各種のプログラムがインストールされているときに、各種の機能を実現することができる。
【０１５４】
図11では、中央処理装置（CPU）1101は、ROM  1102に記憶されているプログラム、又は、記憶部1108からRAM  1103にロードされているプログラムに基づいて、各種の処理を行う。RAM  1103には、必要に応じて、CPU  1101が各種の処理を実行するときに必要なデータを記憶しても良い。なお、CPU  1101、ROM  1102及びRAM  1103は、バス1104を経由して接続される。また、入力／出力インターフェース1105も、バス1104に接続される。
【０１５５】
次のような部品は、入力／出力インターフェース1105に接続され、即ち、入力部1106（キーボード、マウスなどを含む）、出力部1107（表示器、例えば、CRT、LCDなど、及びスピーカーなどを含む）、記憶部1108（ハードディスクなどを含む）、及び通信部1109（ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む）というような部品である。通信部1109は、ネットワーク、例えば、インターネットを経由して通信処理を行う。なお、必要に応じて、ドライブ1110を入力／出力インターフェース1105に接続させても良い。取り外し可能な媒体1111、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などは、必要に応じて、ドライブ1110にセットされ、その中から読み出されたコンピュータプログラムが必要に応じて記憶部1108にインスタールされるようにさせることができる。
【０１５６】
ソフトウェアにより上述の一連の処理を実現する場合、ネットワーク、例えば、インターネット、又は記憶媒体、例えば、取り外し可能な媒体1111から、ソフトウェアを構成するプログラムをインストールすることができる。
【０１５７】
なお、当業者が理解すべきは、このような記憶媒体は、図11に示すような取り外し可能な1111に限定されない。取り外し可能な媒体1111は、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器を含む。或いは、記憶媒体は、ROM  1102、記憶部1108中のハードディスクなどであっても良い。
【０１５８】
また、以上の実施例などに関し、さらに以下のように付記を開示する。
【０１５９】
（付記1）
画像モデルを訓練する方法であって、
訓練集の中の各サンプル画像について、前記画像モデルに対してN回の反復訓練を行い、そのうち、Nは、2以上の整数であり、各サンプル画像に対して行われる毎回の訓練において、以下の処理、即ち、
前回の訓練で得られたオブジェクト抽出部により前記サンプル画像に対してクリッピングを行うことで得られた画像をスケール調整後のサンプル画像として前記画像モデルに入力し、そのうち、前記オブジェクト抽出部は、各スケールのサンプル画像中の関心オブジェクトを抽出するために用いられ、初期スケールのサンプル画像は、オリジナルな前記サンプル画像であり；
前記スケール調整後のサンプル画像の特徴を前記画像モデル中の所定数のローカル分類器にそれぞれ入力し、前記特徴中の特徴点に対して分類予測を行い、ローカル予測結果を取得し、前記ローカル予測結果に基づいて前記オブジェクト抽出部を更新し；
前記特徴及び更新後のオブジェクト抽出部に基づいて、前記スケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行い；及び
前記スケール調整後のサンプル画像の分類予測結果に基づいて、前記画像モデルを訓練する
という処理を行い；及び
訓練集の中の全てのサンプル画像に対しての訓練結果に基づいて、訓練後の画像モデルを取得すること
を含む、方法。
【０１６０】
（付記2）
付記1に記載の画像モデルを訓練する方法であって、
以下の方式、即ち、
各ローカル分類器をそれぞれ用いて、前記特徴のチャネル方向に沿って抽出された異なる位置での特徴ベクトルに基づいて分類予測を行い、計算により各ローカル分類器の予測結果を取得し；及び
前記所定数のローカル分類器の予測結果の最大値をそれぞれ取り、前記ローカル予測結果とする
という方式で、前記ローカル予測結果を取得する、方法。
【０１６１】
（付記3）
付記2に記載の画像モデルを訓練する方法であって、
前記ローカル予測結果に基づいて前記オブジェクト抽出部を更新することは、
前記ローカル予測結果の予測類型の方向上で、各位置のローカル予測結果の最大値を取り、２次元の予測結果を取得し；及び
前記２次元の予測結果に対して２値化処理を行った後に得られた結果を更新後のオブジェクト抽出部とすること
を含む、方法。
【０１６２】
（付記4）
付記1に記載の画像モデルを訓練する方法であって、
前記オブジェクト抽出部により前記サンプル画像に対してクリッピングを行うことは、
前記オブジェクト抽出部を初期の前記サンプル画像のスケールに拡大し；
拡大後のオブジェクト抽出部中の非ゼロ領域のバウンディングボックスを計算し；及び
前記バウンディングボックスを用いて前記サンプル画像をクリッピングし、クリッピングした画像を前記スケール調整後のサンプル画像とすること
を含む、方法。
【０１６３】
（付記5）
付記1に記載の画像モデルを訓練する方法であって、
前記スケール調整後の前記サンプル画像に対してオブジェクトレベル分類予測を行うことは、
前記特徴及び更新後のオブジェクト抽出部に基づいて、マスク化された特徴図を取得し；及び
前記マスク化された特徴図の各チャネル上の全ての値の和を求め、求めた値に基づいてオブジェクトレベル分類予測を行うこと
を含む、方法。
【０１６４】
（付記6）
付記1に記載の画像モデルを訓練する方法であって、
各サンプル画像に対しての毎回の画像の分類予測結果は、前記オブジェクトレベル分類予測を行うことにより得られた予測結果であり、又は、前記ローカル予測結果と、前記オブジェクトレベル分類予測を行うことにより得られた予測結果との平均値である、方法。
【０１６５】
（付記7）
付記1に記載の画像モデルを訓練する方法であって、
前記画像モデル中の畳み込みニューラルネットワークにより、前記スケール調整後のサンプル画像の特徴を取得する、方法。
【０１６６】
（付記8）
画像モデルを訓練する装置であって、
訓練集の中の各サンプル画像について、前記画像モデルに対してN回の反復訓練を行う反復訓練ユニットであって、Nは、2以上の整数であり、各サンプル画像に対して行われる毎回の訓練において、それぞれ、以下のサブユニット、即ち、
前回の訓練で得られたオブジェクト抽出部により前記サンプル画像に対してクリッピングを行うことで得られた画像をスケール調整後のサンプル画像として前記画像モデルに入力する入力サブユニットであって、前記オブジェクト抽出部は、各スケールのサンプル画像中の関心オブジェクトを抽出するために用いられ、初期スケールのサンプル画像は、オリジナルな前記サンプル画像である入力サブユニット；
前記スケール調整後のサンプル画像の特徴を前記画像モデル中の所定数のローカル分類器にそれぞれ入力し、前記特徴中の特徴点に対して分類予測を行い、ローカル予測結果を取得し、前記ローカル予測結果に基づいて前記オブジェクト抽出部を更新するオブジェクト抽出部更新サブユニット；
前記特徴及び更新後のオブジェクト抽出部に基づいて、前記スケール調整後のサンプル画像に対してオブジェクトレベル分類予測を行うオブジェクトレベル分類予測サブユニット；及び
前記スケール調整後のサンプル画像の分類予測結果に基づいて、前記画像モデルを訓練する訓練サブユニット
中の処理を行う反復訓練ユニット；及び
訓練集の中の全てのサンプル画像に対しての訓練結果に基づいて、訓練後の画像モデルを取得する画像モデル取得ユニット
を含む、装置。
【０１６７】
（付記9）
付記8に記載の画像モデルを訓練する装置であって、
前記オブジェクト抽出部更新サブユニットにおいて、以下の方式、即ち、
各ローカル分類器をそれぞれ用いて、前記特徴のチャネル方向に沿って抽出された異なる位置での特徴ベクトルに基づいて分類予測を行い、計算により各ローカル分類器の予測結果を取得し；及び
前記所定数のローカル分類器の予測結果の最大値をそれぞれ取り、前記ローカル予測結果とする
という方式で、前記ローカル予測結果を取得する、装置。
【０１６８】
（付記10）
付記9に記載の画像モデルを訓練する装置であって、
前記オブジェクト抽出部更新サブユニットは、さらに、
前記ローカル予測結果の予測類型の方向上で、各位置のローカル予測結果の最大値を取り、２次元の予測結果を取得し；及び
前記２次元の予測結果に対して２値化処理を行った後に得られた結果を更新後のオブジェクト抽出部とする
ように構成される、装置。
【０１６９】
（付記11）
付記8に記載の画像モデルを訓練する装置であって、
前記入力サブユニットは、さらに、
前記オブジェクト抽出部を初期の前記サンプル画像のスケールに拡大し；
拡大後のオブジェクト抽出部中の非ゼロ領域のバウンディングボックスを計算し；及び
前記バウンディングボックスを用いて前記サンプル画像をクリッピングし、クリッピングした画像を前記スケール調整後のサンプル画像とする
ように構成される、装置。
【０１７０】
（付記12）
付記8に記載の画像モデルを訓練する装置であって、
前記オブジェクトレベル分類予測サブユニットは、さらに、
前記特徴及び更新後のオブジェクト抽出部に基づいて、マスク化された特徴図を取得し；及び
前記マスク化された特徴図の各チャネル上の全ての値の和を求め、求めた値に基づいてオブジェクトレベル分類予測を行う
ように構成される、装置。
【０１７１】
（付記13）
付記8に記載の画像モデルを訓練する装置であって、
前記訓練サブユニットにおいて、各サンプル画像に対しての毎回の画像の分類予測結果は、前記オブジェクトレベル分類予測を行うことにより得られた予測結果であり、又は、前記ローカル予測結果と、前記オブジェクトレベル分類予測を行うことにより得られた予測結果との平均値である、装置。
【０１７２】
（付記14）
付記8に記載の画像モデルを訓練する装置であって、
前記入力サブユニットにおいて、前記画像モデル中の畳み込みニューラルネットワークにより前記スケール調整後のサンプル画像の特徴を取得する、装置。
【０１７３】
（付記15）
付記1乃至7のうちの何れか一項に記載の方法により訓練で得られた画像モデルを用いて、分類待ち画像に対して分類予測を行う方法であって、
分類待ち画像に対して、訓練後の画像モデルを用いてN回の分類予測を行い、
そのうち、毎回の分類予測において、前回の分類予測の結果に基づいて前記分類待ち画像のスケールを調整し、スケール調整後の分類待ち画像を前記訓練後の画像モデルの入力画像として今回の分類予測を行い、そのうち、Nは、2以上の整数である、方法。
【０１７４】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。
【図１】
2019160317.tif 000003
【図２】
2019160317.tif 000004
【図３】
2019160317.tif 000005
【図４】
2019160317.tif 000006
【図５】
2019160317.tif 000007
【図６】
2019160317.tif 000008
【図７】
2019160317.tif 000009
【図８】
2019160317.tif 000010
【図９】
2019160317.tif 000011
【図１０】
2019160317.tif 000012
【図１１】
2019160317.tif 000013