【手続補正書】
【提出日】令和2年7月10日(2020.7.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像のクラス識別を行う識別器の学習を行う画像処理装置であって、
画像情報に応じた前記識別器のクラス識別精度に基づいて、前記識別器が識別するクラスの粒度を決定する決定手段と、
前記決定手段により決定された粒度でクラス識別を行うように前記識別器の学習を行う学習手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記学習手段は、画像の特徴量に基づき学習を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、クラスが既知で所定の画像情報を有する画像に対して前記識別器を用いた第１の粒度でのクラス識別の正解率が閾値未満となる場合、前記第１の粒度よりも荒い第２の粒度を、前記識別器が識別するクラスの粒度として決定し、
前記学習手段は、前記第２の粒度でクラス識別を行うよう前記識別器の学習を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記学習手段は、前記第２の粒度でクラス識別を行うよう前記識別器の再学習を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記決定手段は、第１の画像群を用いて前記第１の粒度でのクラス識別を行うために学習された前記識別器による、前記第１の画像群と異なる第２の画像群のクラス識別の正解率が前記閾値未満となるような画像情報が存在する場合には、前記第２の粒度を、前記識別器が識別するクラスの粒度として決定することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記第１の画像群または前記第２の画像群は、画像の小領域であり、
前記識別器は、領域識別器であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、前記第２の画像群のクラス識別の正解率が前記閾値未満となるような画像情報が存在しない場合には、前記第１の粒度を、前記識別器が識別するクラスの粒度として決定することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記学習手段は、前記第２の画像群のうち前記正解率が閾値未満となるような何れかの画像の画像情報と、前記第２の粒度と、を対応づけることを特徴とする請求項５または６に記載の画像処理装置。
【請求項９】
更に、画像の画像特徴量を抽出する特徴抽出器の学習を行う手段を備えることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
更に、
入力画像を取得する手段と、
前記入力画像の画像特徴量を前記学習手段による学習済みの識別器に入力することで得られるクラスを、該入力画像の画像情報に対応づけられた粒度のクラスで識別する識別手段と
を備えることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
前記画像情報は、画像の各画素における像倍率、ボケ量を含むことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記識別手段は、前記入力画像の画像特徴量を前記学習手段による学習済みの識別器に入力することで得られるクラスを、前記像倍率が大きいほどより細かい粒度のクラスで識別し、前記像倍率が小さいほどより荒い粒度のクラスで識別することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記識別手段は、前記入力画像の画像特徴量を前記学習手段による学習済みの識別器に入力することで得られるクラスを、前記ボケ量が大きいほどより荒い粒度のクラスで識別し、前記ボケ量が小さいほどより細かい粒度のクラスで識別することを特徴とする請求項１１または１２に記載の画像処理装置。
【請求項１４】
前記画像情報は、画像を撮像した撮像装置の仰角、該画像の撮影時間を含むことを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
【請求項１５】
第１の画像における画像特徴量と、第１の粒度で定義される該第１の画像のクラスと、に基づき、識別器の学習を行う学習手段を備え、
前記学習手段は、
クラスが既知の第２の画像における画像特徴量を前記学習後の識別器に入力することで得られる該第２の画像のクラスの正解率が閾値未満となるような前記第２の画像の画像情報が存在する場合には、前記第１の画像における画像特徴量と、前記第１の粒度よりも荒い第２の粒度で定義される前記第１の画像のクラスと、に基づいて前記識別器とは別の識別器の学習を行う
ことを特徴とする画像処理装置。
【請求項１６】
入力画像の画像情報を取得する取得手段と、
前記取得手段により取得された画像情報に基づいて、識別するクラスの粒度を決定する決定手段と、
前記決定手段により決定された粒度でのクラス識別を、学習された識別器を用いて行う識別手段と、
を有することを特徴とする画像処理装置。
【請求項１７】
画像のクラス識別を行う識別器の学習を行う学習方法であって、
画像情報に応じた前記識別器のクラス識別精度に基づいて、前記識別器が識別するクラスの粒度を決定する決定工程と、
前記決定工程において決定された粒度でクラス識別を行うように前記識別器の学習を行う学習工程と、
を有することを特徴とする学習方法。
【請求項１８】
請求項１７に記載の学習方法により学習された学習済モデル。
【請求項１９】
第１の画像における画像特徴量と、第１の粒度で定義される該第１の画像のクラスと、に基づき、識別器の学習を行う学習工程を備え、
前記学習工程では、
クラスが既知の第２の画像における画像特徴量を前記学習後の識別器に入力することで得られる該第２の画像のクラスの正解率が閾値未満となるような前記第２の画像の画像情報が存在する場合には、前記第１の画像における画像特徴量と、前記第１の粒度よりも荒い第２の粒度で定義される前記第１の画像のクラスと、に基づいて前記識別器とは別の識別器の学習を行う
ことを特徴とする画像処理方法。
【請求項２０】
入力画像の画像情報を取得する取得工程と、
前記取得工程で取得された画像情報に基づいて、識別するクラスの粒度を決定する決定工程と、
前記決定工程で決定された粒度でのクラス識別を、学習された識別器を用いて行う識別工程と、
を有することを特徴とする画像処理方法。
【請求項２１】
コンピュータを、請求項１乃至１６の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理装置、学習方法、学習済モデル、画像処理方法
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の一様態は、画像のクラス識別を行う識別器の学習を行う画像処理装置であって、
画像情報に応じた前記識別器のクラス識別精度に基づいて、前記識別器が識別するクラスの粒度を決定する決定手段と、
前記決定手段により決定された粒度でクラス識別を行うように前記識別器の学習を行う学習手段と、
を有することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
”Ｐｒｏｂａｂｌｉｓｔｉｃ  Ｏｕｔｐｕｔｓ  ｆｏｒ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅｓ  ａｎｄ  Ｃｏｍｐａｒｉｓｏｎｓ  ｔｏ  Ｒｅｇｕｌａｒｉｚｅｄ  Ｌｉｋｅｌｉｈｏｏｄ  Ｍｅｔｈｏｄｓ”，ｉｎ  ”Ｌａｒｇｅ  Ｍａｒｇｉｎ  Ｃｌａｓｓｉｆｉｅｒｓ”，Ｊ．Ｃ．Ｐｌａｔｔ，ＭＩＴ  Ｐｒｅｓｓ，１９９９．
以下に説明するステップＳ２５００における処理は着目クラスであるクラスｃについての処理であり、実際には、全てのクラスについて同様の処理を行う。先ず設定部２５００は、像倍率Ｓ、ボケ量Ｂ、クラスｃに関する尤度ｆｃ、によって構成される空間を複数のビンに区切る。この空間における各ビンは（Ｓ，Ｂ，ｆｃ）と表すことができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
ステップＳ１４００で識別部１４００は、記憶部５２００に格納されている学習済みの領域識別器と、ステップＳ１３００において抽出部１３００が入力画像上の各小領域から抽出した画像特徴量と、を用いて、入力画像上の各小領域におけるクラスを識別する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
本実施形態に係る学習機能に係る各機能部の動作について、図２（ａ）のフローチャートに従って説明する。本実施形態では、図２（ａ）のフローチャートにおいてステップＳ２３００、ステップＳ２４００、ステップＳ２５００における処理が第１の実施形態と異なる。然るに以下では、本実施形態に係るステップＳ２３００、ステップＳ２４００、ステップＳ２５００における処理について説明する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
そして処理はステップＳ２２１０に進み、抽出部２２００は、この時点で記憶部５４００に格納されているそれぞれの特徴抽出器を用いて、それぞれの学習画像から小領域の画像特徴量を抽出する。そしてその後、処理はステップＳ２３００に進む。