【手続補正書】
【提出日】令和2年7月27日(2020.7.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の層を有する階層型ニューラルネットワークへの入力画像の入力により得られる出力であって、前記複数の層の出力を連結して連結階層特徴を生成する特徴生成手段と、
前記入力画像の領域ごとの属性の尤度を表す属性スコアマップを、属性ごとに、前記連結階層特徴を用いて生成するマップ生成手段と、
前記マップ生成手段が生成した前記属性ごとの属性スコアマップに基づいて、前記入力画像から認識対象を認識する認識手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記認識手段による認識結果を出力する出力手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記属性は、歩行者、顔、空、地面、建物および主被写体のうち少なくとも１つ以上を含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記認識手段は、前記入力画像の所定の領域において、前記属性に含まれる第１の属性の前記属性スコアマップが示す尤度が所定値を超え、前記属性のうち前記第１の属性以外の属性の前記属性スコアマップが示す尤度が所定値未満である場合、前記所定の領域が前記第１の属性に係る領域であると認識することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記認識手段は、人物を認識する場合、前記入力画像の所定の領域において前記属性に含まれる人物に係る属性の前記属性スコアマップが示す尤度が所定値を超え、かつ、当該所定の領域の尤度が周辺の領域の尤度より大きい場合、前記所定の領域を、人物の中心領域である基準点であると認識することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項６】
前記認識手段は、前記マップ生成手段が生成した前記属性ごとの属性スコアマップに基づいて、前記入力画像における物体を認識することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記認識手段は、前記物体のサイズについて認識することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記認識手段は、前記入力画像の領域ごとに、カテゴリを認識することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記カテゴリは、歩行者、顔、空領域、地面領域または建物領域を含むことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記認識手段は、前記入力画像に含まれる物体の中心領域である基準点を認識することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
前記マップ生成手段は、物体のサブカテゴリごとの尤度のスコアマップを生成することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記サブカテゴリは、物体の奥行き回転、物体の面内回転、物体の姿勢、物体の形状、物体の材質、物体の関心領域の形状、物体の関心領域のサイズ、物体の関心領域のアスペクト比、のうち少なくとも一つに関して区別されたサブカテゴリを含むことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記出力手段は、前記属性スコアマップの解像度よりも高い解像度の前記認識結果を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項１４】
前記認識手段は、前記入力画像の審美性を認識することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１５】
前記認識手段は、前記入力画像のシーンを認識することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
【請求項１６】
前記認識手段は、前記シーンの認識結果に基づいて、前記入力画像の領域ごとにカテゴリを認識することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
更に、カメラ情報を入力する手段を備え、
前記マップ生成手段は、前記連結階層特徴に加えて前記カメラ情報を用いることを特徴とする請求項１乃至１６の何れか１項に記載の画像処理装置。
【請求項１８】
更に、
前記認識手段の複数の認識結果から最終出力を選択する手段を備えることを特徴とする請求項１乃至１７の何れか１項に記載の画像処理装置。
【請求項１９】
更に、
前記階層型ニューラルネットワーク、前記特徴生成手段、前記認識手段のいずれか１つ以上について処理のパラメータを学習する手段を備えることを特徴とする請求項１乃至１８の何れか１項に記載の画像処理装置。
【請求項２０】
前記特徴生成手段は、前記階層型ニューラルネットワークの複数の層の出力を連結する際にアップサンプル処理あるいは逆畳み込み処理のいずれかを行うことを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
【請求項２１】
複数の層を有する階層型ニューラルネットワークへの入力画像の入力により得られる出力であって、前記複数の層の出力を連結して連結階層特徴を生成し、
前記入力画像の領域ごとの属性の尤度を表す属性スコアマップを、属性ごとに、前記連結階層特徴を用いて生成し、
生成した前記属性ごとの属性スコアマップに基づいて、前記入力画像から認識対象を認識する
ことを特徴とする画像処理方法。
【請求項２２】
コンピュータを、請求項１乃至２０の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の一様態は、複数の層を有する階層型ニューラルネットワークへの入力画像の入力により得られる出力であって、前記複数の層の出力を連結して連結階層特徴を生成する特徴生成手段と、
前記入力画像の領域ごとの属性の尤度を表す属性スコアマップを、属性ごとに、前記連結階層特徴を用いて生成するマップ生成手段と、
前記マップ生成手段が生成した前記属性ごとの属性スコアマップに基づいて、前記入力画像から認識対象を認識する認識手段と
を備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
ステップＳ１では、画像入力部１０１は、入力画像を入力する。ステップＳ２では、ニューラルネットワーク１０２は、ステップＳ１において画像入力部１０１が入力した入力画像を処理し、連結特徴生成部１０４は、ニューラルネットワーク１０２における規定の層の出力（特徴マップ）を抽出する。ステップＳ３では、連結特徴生成部１０４は、ステップＳ３で抽出した規定の層の出力（特徴マップ）を連結することで連結階層特徴１０３を生成する。ステップＳ４では、属性判定部２０５における尤度判定部２０５ａ〜尤度判定部２０５ｇのそれぞれは、連結階層特徴１０３を用いて歩行者、小さい顔、大きい顔、空、地面、建物、主被写体の属性スコアマップ２０８を生成する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
ステップＳ５では、属性統合部１０６は、尤度判定部２０５ａ〜尤度判定部２０５ｇのそれぞれが生成した属性スコアマップ２０８を統合して、入力画像における空、地面、建物の領域を判定する。ステップＳ６では、属性統合部１０６は、尤度判定部２０５ａ〜尤度判定部２０５ｇのそれぞれが生成した属性スコアマップ２０８を統合して、入力画像における主被写体の領域を判定する。ステップＳ７では、属性統合部１０６は、尤度判定部２０５ａ〜尤度判定部２０５ｇのそれぞれが生成した属性スコアマップ２０８を統合して、入力画像における歩行者及び顔の検出を行う。ステップＳ８では、結果出力部１０７は、属性統合部１０６によるステップＳ５〜７における判定結果及び検出結果を出力する。結果出力部１０７による出力先は特定の出力先に限らない。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
ただしＬｊ（ｘ，ｙ）は座標（ｘ，ｙ）の領域ブロックについてのｊ番目の属性の尤度スコア、ｖｊｋはｊ番目の属性判別器のｋ番目のサポートベクトル、αｊｋは同じくサポートベクトルの重み係数、ｂｊはバイアス項であり、これらはあらかじめ学習で獲得しておく。またＦ（ｘ，ｙ）は座標（ｘ，ｙ）の領域ブロックの特徴ベクトル、Ｒ（・）はＳＶＭの出力を尤度に変換するための規格化関数である。ただし規格化関数Ｒ（・）はここでは処理の軽量化のため下式のような関数で近似してＳＶＭのスコアを０〜１に規格化するものとする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
なお、空の尤度判定ができるよう事前に複数の学習画像データ１３０９、学習画像データに対応するカメラ情報１３１０、空か否かの教師値である各領域ブロックのカテゴリの教師値１３１１、を与えてＳＶＭのパラメータを学習しておくものとする。