(57)【要約】      （修正有）【課題】画像の各領域のカテゴリを高精度に判定できる画像認識装置を提供する。【解決手段】第１の撮影パラメータにより撮影した第１の画像と第２の撮影パラメータにより撮影した第２の画像とを取得する第１の取得手段と、第１の画像および第２の画像それぞれを複数の小領域に分割する分割手段と、複数の小領域のそれぞれから特徴量を取得する第２の取得手段と、取得した特徴量に基づいて、前記第１の画像の複数の小領域のそれぞれの信頼度を算出する算出手段と、第１の画像の複数の小領域を、前記信頼度が相対的に高い第１の領域と、前記信頼度が相対的に低い第２の領域とに分類する分類手段と、第１の画像から取得した特徴量と前記第２の画像から取得した特徴量に基づいて、前記第１の領域と第２の領域についてカテゴリを判定する判定手段とから構成される。【選択図】図５
2019012426.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段が第１の撮影パラメータにより撮影した第１の画像と、前記撮影手段が第２の撮影パラメータにより撮影した第２の画像とを取得する第１の取得手段と、
前記取得した第１の画像および第２の画像それぞれを複数の小領域に分割する分割手段と、
前記第１の画像および第２の画像それぞれを分割した複数の小領域のそれぞれから特徴量を取得する第２の取得手段と、
前記第１の画像の複数の小領域から取得した特徴量に基づいて、前記第１の画像の複数の小領域のそれぞれの信頼度を算出する算出手段と、
前記第１の画像の複数の小領域を、前記信頼度が相対的に高い第１の領域と、前記信頼度が相対的に低い第２の領域とに分類する分類手段と、
前記第１の画像から取得した特徴量と前記第２の画像から取得した特徴量に基づいて、前記第１の領域と第２の領域についてカテゴリを判定する判定手段と、
を有することを特徴とする画像認識装置。
【請求項２】
前記第２の撮影パラメータは、前記第２の領域に基づいて設定されたパラメータであり、
前記取得手段は、前記撮影手段が前記設定された第２の撮影パラメータに基づいて撮影した前記第２の画像を取得することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記第１の取得手段は、予め前記撮影手段が前記第１の撮影パラメータと前記第２の撮影パラメータにより撮影した前記第１の画像と前記第２の画像を取得することを特徴とする請求項１に記載の画像認識装置。
【請求項４】
前記判定手段は、前記第１の領域について前記第１の画像から取得した特徴量に基づいてカテゴリを判定し、前記第２の領域について前記第２の画像から取得した特徴量に基づいてカテゴリを判定することを特徴とする請求項１から３のいずれか１項に記載の画像認識装置。
【請求項５】
前記判定手段は、前記第１の領域の信頼度と前記第２の領域の信頼度の加重平均を用いて前記第１の領域と第２の領域についてカテゴリを判定することを特徴とする請求項１から３のいずれか１項に記載の画像認識装置。
【請求項６】
前記撮影手段が連続で撮影した複数フレームの画像から動きベクトルを算出し、前記判定したカテゴリを補正する補正手段を更に有することを特徴とする請求項１から５のいずれか１項に記載の画像認識装置。
【請求項７】
前記補正手段は、前記動きベクトルに基づいてカテゴリを補正できない前記小領域のカテゴリを、周囲の小領域のカテゴリにより補間することを特徴とする請求項６に記載の画像認識装置。
【請求項８】
前記複数の小領域のそれぞれにおいて、前記第１の画像に基づき判定された第１の信頼度から前記第２の画像に基づき判定された第２の信頼度への改善の程度を判定する第２の判定手段を更に有し、
前記判定手段は、前記改善の程度が相対的に低い前記小領域に対して、周囲の小領域と合わせた領域から取得される特徴量に基づいて、カテゴリを判定することを特徴とする請求項１から７のいずれか１項に記載の画像認識装置。
【請求項９】
前記第１の画像に基づいて、前記撮影手段による露出の評価に係る情報または前記撮影手段によるフォーカスの評価値に係る情報の少なくとも一方を生成する生成手段を更に有し、
前記算出手段は、前記生成手段が生成した情報に基づいて、前記信頼度を算出することを特徴とする請求項１から８のいずれか１項に記載の画像認識装置。
【請求項１０】
前記生成手段は、前記露出の評価に係る情報および前記フォーカスの評価値に係る情報を、前記第１の画像と同じ解像度のマップ情報として生成することを特徴とする請求項９に記載の画像認識装置。
【請求項１１】
前記特徴量は、画像の色に関する特徴量、テクスチャに関する特徴量、前記マップ情報に関する特徴量のうちの少なくとも１つを含むことを特徴とする請求項１０に記載の画像認識装置。
【請求項１２】
前記分類手段は、前記信頼度を閾値と比較することにより、前記複数の小領域を前記第１の領域と前記第２の領域とに分類することを特徴とする請求項１から１１のいずれか１項に記載の画像認識装置。
【請求項１３】
前記第１、第２の撮影パラメータは、露出、フォーカス、ホワイトバランスのうちの少なくとも１つを含むことを特徴とする請求項１から１２のいずれか１項に記載の画像認識装置。
【請求項１４】
前記撮影手段は、前記第１、第２の撮影パラメータに基づいて、絞り、シャッタ速度を異ならせて前記第１、第２の画像を撮影することを特徴とする請求項１から１３のいずれか１項に記載の画像認識装置。
【請求項１５】
前記撮影手段を更に有することを特徴とする請求項１から１４のいずれか１項に記載の画像認識装置。
【請求項１６】
画像を分割して生成される小領域のカテゴリを判定するために用いられる判定器を学習するための学習装置であって、
画像を複数の小領域に分割する第１の分割手段と、
前記分割した複数の小領域それぞれから特徴量を取得する取得手段と、
前記複数の小領域それぞれの特徴量と対応する小領域に付与されている正解カテゴリとを対応づけた複数のセットを複数のグループに分割する第２の分割手段と、
前記複数のグループのうち少なくとも１つのグループを用いて前記判定器を学習する第１の学習手段と、
前記第１の学習手段で用いなかったグループを用いてカテゴリの判定を行う判定手段と、
前記判定手段によって判定された小領域のカテゴリと対応する小領域の前記正解カテゴリとに基づいて、当該小領域の特徴量と信頼度との関係を示す信頼度判定器を学習する第２の学習手段と、
を有することを特徴とする学習装置。
【請求項１７】
撮影手段が第１の撮影パラメータにより撮影した第１の画像と、前記撮影手段が第２の撮影パラメータにより撮影した第２の画像とを取得するステップと、
前記取得した第１の画像および第２の画像それぞれを複数の小領域に分割するステップと、
前記第１の画像および第２の画像それぞれを分割した複数の小領域のそれぞれから特徴量を取得するステップと、
前記第１の画像の複数の小領域から取得した特徴量に基づいて、前記第１の画像の複数の小領域のそれぞれの信頼度を算出するステップと、
前記複数の小領域を、前記信頼度が相対的に高い第１の領域と、前記信頼度が相対的に低い第２の領域とに分類するステップと、
前記第１の画像から取得した特徴量と前記第２の画像から取得した特徴量に基づいて、前記第１の領域と第２の領域についてカテゴリを判定するステップと、
を有することを特徴とする画像認識方法。
【請求項１８】
画像を分割して生成される小領域のカテゴリを判定するために用いられる判定器を学習するための学習方法であって、
画像を複数の小領域に分割するステップと、
前記分割した複数の小領域それぞれから特徴量を取得するステップと、
前記複数の小領域それぞれの特徴量と対応する小領域に付与されている正解カテゴリとを対応づけた複数のセットを複数のグループに分割するステップと、
前記複数のグループのうち少なくとも１つのグループを用いて前記判定器を学習するステップと、
前記学習のステップで用いなかったグループを用いてカテゴリの判定を行うステップと、
前記判定手段によって判定された小領域のカテゴリと対応する小領域の前記正解カテゴリとに基づいて、当該小領域の特徴量と信頼度との関係を示す信頼度判定器を学習するステップと、
を有することを特徴とする学習方法。
【請求項１９】
コンピュータを、請求項１から１５のいずれか１項に記載の画像認識装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から対象を認識する画像認識技術に関する。
【背景技術】
【０００２】
画像から対象を認識する画像認識手法として、例えば画像に存在する顔の位置を認識する顔認識、人体を検出する人体検出、画像が撮像された環境や状況を認識するシーン認識、画像中の各画素の意味的カテゴリを認識する意味的領域分割などが知られている。意味的領域分割は、まず、画像内の「人物」、「建物」、「空」、「自動車」等の領域に対し、「Ｂｏｄｙ」、「Ｂｕｉｌｄｉｎｇ」、「Ｓｋｙ」、「Ｃａｒ」等のカテゴリを人間が定義する。そして、画像内の局所的な領域の特徴量に基づき、該当する領域のカテゴリの認識を行う。これは、認識対象の被写体領域に好適なノイズリダクション、色調補正等の領域別画像処理や、画像圧縮、画像検索、シーン解釈等、多様に応用可能な認識問題である。
【０００３】
一般にデジタルカメラをはじめとする撮影装置は、露出を自動制御するＡＥ、光源の色味による被写体の色変化を補正するＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）、被写体にレンズの焦点を合わせるＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）の機能を有している。そして、これらの機能を用いることで、最適な撮影制御が実現されているが、これらは好適な画質の画像を生成することが目的であり、画像認識の精度を向上させることは第一の目的ではない。一方、画像認識においては、認識する対象に合わせて適切な撮影パラメータを設定し撮影された画像を用い認識処理を行うことで、認識精度が向上することが多い。
【０００４】
特許文献１には、デジタルカメラのライブビュー画像を用い、輝度レベルが目標に入るように制御し、特に暗い場合に露出を合わせ直して画像取得することで、シーン判定の精度を向上させている。この技術では、露出をアクティブに制御することで、高精度での顔検出とシーン判定を実現している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１８３１９０号公報
【非特許文献】
【０００６】
【非特許文献１】Ａ．Ｓｈａｊｉ，Ｋ．Ｓｍｉｔｈ，Ａ．Ｌｕｃｃｈｉ，“ＳＬＩＣ  Ｓｕｐｅｒｐｉｘｅｌｓ，Ｒ．Ａｃｈａｎｔａ”，ＥＰＦＬ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，２０１０．
【非特許文献２】Ｄｅｍｐｓｔｅｒ，Ａ．Ｐ．，Ｎ．Ｍ．Ｌａｉｒｄ，Ｄ．Ｂ．Ｒｕｂｉｎ，“Ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ  ｆｒｏｍ  ｉｎｃｏｍｐｌｅｔｅ  ｄａｔａ  ｖｉａ  ｔｈｅ  ＥＭ  ａｌｇｏｒｉｔｈｍ”，Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｒｏｙａｌ  Ｓｔａｔｉｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ，１９７７．
【非特許文献３】Ｒ．Ｎｇ，Ｍ．Ｌｅｖｏｙ，Ｍ．Ｂｒｅｄｉｆ，Ｇ．Ｄｕｖａｌ，Ｍ．Ｈｏｒｏｗｉｔｚ，Ｐ．Ｈａｎｒａｈａｎ，“Ｌｉｇｈｔ  ｆｉｅｌｄ  ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  ｈａｎｄ−ｈｅｌｄ  ｐｌｅｎｏｐｔｉｃ  ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ  Ｕｎｉｖｅｒｓｉｔｙ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＳＴＲ  ２００５−０２，Ａｐｒｉｌ  ２００５．
【非特許文献４】Ｓ．Ｋ．Ｎａｙａｒ，Ｔ．Ｍｉｔｓｕｎａｇａ，“Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｉｍａｇｉｎｇ：Ｓｐａｔｉａｌｌｙ  Ｖａｒｙｉｎｇ  Ｐｉｘｅｌ  Ｅｘｐｏｓｕｒｅｓ”，ＣＶＰＲ２０００．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の技術では、輝度レベルが範囲内に収まっているかどうかで、露出補正をするかどうかを決めている。そのために、意味的領域分割のような領域ごとのカテゴリを判定する画像認識において、認識の精度が向上するように適切な撮影パラメータが設定されてはいなかった。そこで、本発明は、画像の各領域のカテゴリを高精度に判定できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、撮影手段が第１の撮影パラメータにより撮影した第１の画像と、前記撮影手段が第２の撮影パラメータにより撮影した第２の画像とを取得する第１の取得手段と、前記取得した第１の画像および第２の画像それぞれを複数の小領域に分割する分割手段と、前記第１の画像および第２の画像それぞれを分割した複数の小領域のそれぞれから特徴量を取得する第２の取得手段と、前記第１の画像の複数の小領域から取得した特徴量に基づいて、前記第１の画像の複数の小領域のそれぞれの信頼度を算出する算出手段と、前記第１の画像の複数の小領域を、前記信頼度が相対的に高い第１の領域と、前記信頼度が相対的に低い第２の領域とに分類する分類手段と、前記第１の画像から取得した特徴量と前記第２の画像から取得した特徴量に基づいて、前記第１の領域と第２の領域についてカテゴリを判定する判定手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像の各領域のカテゴリを高精度に判定できるようになる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態において入力画像と各領域のカテゴリの関係を示す図。
【図２】第１の実施形態に係る画像処理装置のハードウェア構成を示すブロック図。
【図３】第１の実施形態においてベイヤー配列を説明する図。
【図４】各実施形態における画像認識装置の機能構成を示すブロック図。
【図５】各実施形態における画像認識装置における認識処理のフローチャート。
【図６】第１の実施形態において小領域分割の方法を説明する図。
【図７】第１の実施形態において信頼度の判定方法を説明する図。
【図８】第１の実施形態において小領域分割結果と信頼度の一例を示す図。
【図９】各実施形態における学習装置の機能構成を示すブロック図。
【図１０】各実施形態における学習装置における学習処理のフローチャート。
【図１１】第１の実施形態の変形例１に係る再学習装置の機能構成を示すブロック図
【図１２】第１の実施形態の変形例１に係る再学習処理のフローチャート。
【図１３】各実施形態における画像認識装置の機能構成を示すブロック図。
【図１４】各実施形態における画像認識装置における認識処理のフローチャート。
【図１５】各実施形態に係る学習装置の機能構成を示すブロック図。
【図１６】各実施形態における学習装置における学習処理のフローチャート。
【図１７】第２の実施形態における画像認識装置の機能構成を示すブロック図。
【図１８】第２の実施形態における画像認識装置における認識処理のフローチャート。
【図１９】各実施形態における画像認識装置における認識処理のフローチャート。
【図２０】各実施形態に係る学習装置の機能構成を示すブロック図。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。本実施形態では、画像認識装置としての撮影装置（デジタルスチルカメラ等）によって取得される画像において、局所的な領域におけるカテゴリ判定の誤りやすさを判定する。そして、誤りやすい領域に対してより適切な撮影パラメータを設定し、再撮影することで高精度の意味的領域分割を実現する例について説明する。本実施形態では、特に露出に関する撮影パラメータを扱う。
【００１２】
意味的領域分割（Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ）とは、画像内の認識対象が占める領域のカテゴリを、当該領域の特徴量等から認識する画像認識問題である。図１には、意味的領域分割における入力と理想的な出力の一例を示す。入力画像（図１（ａ））に対し、ＳｋｙやＢｕｉｌｄｉｎｇ等、認識対象の領域カテゴリを人間が定義し、図１（ｂ）のように画素単位で領域カテゴリを出力する。また、図１（ｂ）は、入力画像（図１（ａ））に対する正解を表し、このように正解の領域カテゴリ（正解カテゴリ）を割り当てた（付与した）マップをＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）と呼ぶ。
【００１３】
図２は、本実施形態に係る画像認識装置２００のハードウェア構成の一例を示すブロック図である。光学系２０１は、ズームレンズ、フォーカスレンズ、絞り、シャッタ等を備えている。光学系制御部２０２は、ズームレンズ、フォーカスレンズ、絞り、シャッタを制御するズームモータ、フォーカスモータ、絞りモータ、シャッタモータを有する。また、各モータはモータドライバによって駆動され、ドライバは、プロセッサ２０７から駆動信号を受け取る。センサ２０３は、光学系を通して入射される被写体画像が受光面上に結像するイメージセンサを備えており、イメージセンサの画素にはＲＧＢカラーフィルタがベイヤー配列に組み付けられている。Ｆ／Ｅ（フロントエンド）２０４は、センサ２０３から被写体画像信号を受け取り、被写体画像信号のノイズ除去、ゲイン調整、Ａ−Ｄ変換を行い、更に信号処理部２０５にデジタイズされた被写体画像信号、ＲＧＢ−ＲＡＷを出力する。
【００１４】
ここで、ＲＧＢ−ＲＡＷは、ＲＧＢベイヤー配列の画像である。図３に、ベイヤー配列の例を示す。図中のＲ、Ｇｒ、Ｇｂ、Ｂはそれぞれレッド、グリーン、グリーン、ブルーに対応する可視光の波長帯域を通過させる色フィルタである。Ｇｒ、Ｇｂは、配置を区別するために異なる記号を使うが、フィルタの特性は同じである。
【００１５】
図２の説明に戻り、信号処理部２０５は、ＡＦ（自動合焦）、ＡＥ（自動露出）、ＡＷＢ（オートホワイトバランス）の各評価値の計算、意味的領域分割における画像処理で用いるためのリサイズ処理を行う。ＡＦ、ＡＥ、ＡＷＢ評価値の計算についての詳細は後述する。なお、その他にも、撮影装置として必要な各種処理を行うが、詳細な説明は割愛する。処理の例を示せば、例えば、ＲＧＢ−ＲＡＷのオフセット成分を用いた黒の補正（ＯＢクランプ）、ＷＢ処理、ベイヤー配列のＲＧＢ画像を補間するデモザイキング処理である。また、イメージセンサのＲＧＢカラーフィルタが持つ分光特性を理想特性に近づける色補正処理、ＲＧＢ画像の解像感を高める輪郭補正処理、イメージセンサの出力信号に重畳するランダムノイズである。また、固定パターンノイズを低減するノイズリダクション、ディスプレイの非線形性を補正するガンマ補正処理、ＲＧＢ画像をＹＣｂＣｒ画像（Ｙ／Ｃ画像）に変換するＲＧＢ−ＹＣｂＣｒ変換処理、等である。
【００１６】
信号処理部２０５、光学系制御部２０２、プロセッサ２０７、ＲＯＭ２０８、操作部２０９、表示部２１０、記録部２１１は、バスラインを介して相互に接続されている。ＳＤＲＡＭ２０６では、Ｆ／Ｅ２０４から出力されるＲＡＷ−ＲＧＢを、信号処理部２０５を介して保存する。更に、信号処理部２０３が出力するＲＧＢ画像や、Ｙ／Ｃ画像、記録部２１１に保存する際のＪＰＥＧデータやＪＰＥＧエンコードの中間データが保存される。
【００１７】
プロセッサ２０７は、本実施形態が実現する意味的領域分割や、保存のためのＪＰＥＧエンコードが実行される。ここでＪＰＥＧエンコードは、Ｙ／Ｃ画像に対し、ＤＣＴ（離散コサイン変換）、量子化、ハフマン符号化を実行することで実現する。本実施形態においては、ＤＣＴで得られるＤＣＴ係数マトリックスが他の処理でも利用可能である。信号処理部２０５およびプロセッサ２０７は、ＡＳＩＣ等で実現される各処理をハードウェア実装したデジタル回路でも、ＤＳＰやマイクロコントローラのようなプロセッサでもよいし、それらを適宜組み合わせたものでもよい。
【００１８】
ＲＯＭ２０８には、信号処理部２０５やプロセッサ２０７によける処理の制御プログラムやパラメータ、定数等が保存されている。操作部２０９は、画像認識装置の電源を入れる電源スイッチや撮影動作を開始させるリリースボタンをはじめとする、各種ボタンとスイッチで構成されている。リリースボタンは、２段階の押下が行え、画像を取得するがＪＰＥＧデータの保存にまで至らない撮影準備状態とＪＰＥＧデータの保存に至る撮影動作の２つを切り替えることが出来る。１段階目の押下では、撮影準備状態に移行し、上述したＲＧＢ−ＲＡＷの取得、ＡＦ等各評価値の算出、画像処理等は行うが、ＪＰＥＧデータの保存までは行わない。撮影準備状態にあるとき、画像認識装置２００は、これらの動作を連続的に実行する。リリースボタンを更に押し２段階目の押下を行った場合、撮影動作が実行され、その時点の撮影パラメータ、ＷＢ係数等で画像処理、認識処理、高画質化処理等を行い、ＪＰＥＧデータの保存を行う。
【００１９】
表示部２１０は、画像認識装置で撮像し画像処理を行ったＹ／Ｃ画像や、プロセッサ２０７で処理した意味的領域分割の結果等を表示させ、更に撮影準備時においてその時点のＹ／Ｃ画像を連続的に表示させるライブビューを行うＬＣＤモニタを備えている。記録部２１１は、ＳＤＲＡＭ２０６に保存されたＪＰＥＧ画像等を書き込むメモリカードのカードスロットやコントローラを備えている。
【００２０】
図４は各実施形態における画像認識装置２００の機能構成を示すブロック図であり、図４（ａ）が本実施形態における画像認識装置２００の機能構成を示している。本実施形態の画像認識装置２００は、撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５、再撮影部４０７、小領域特徴量再取得部４０８、カテゴリ判定部４０９を有する。
【００２１】
撮影パラメータ取得部４０１、撮影部４０２および再撮影部４０７は、光学系２０１、光学系制御部２０２、センサ２０３、Ｆ／Ｅ２０４、信号処理部２０５およびプロセッサ２０７の一部の機能で実現される。また、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５、小領域特徴量再取得部４０８、カテゴリ判定部４０９は、プロセッサ２０７がＲＯＭ２０８に格納されたプログラムを実行することで実現される。更に、本実施形態における画像認識装置２００は、記憶手段として、信頼度判定器保持部４０６、カテゴリ判定器保持部４０９を有し、これらはＲＯＭ２０８で実現される。画像認識装置２００が有するこれらの各機能の詳細については、図５等を用いて後述する。
【００２２】
図５は、各実施形態における画像認識装置における画像認識処理のフローチャートを示しており、図５（ａ）が本実施形態における処理を示すフローチャートである。撮影パラメータ取得工程Ｓ５０１は、撮影パラメータ取得部４０１により、入力原画像ＲＧＢ−ＲＡＷからＡＥ、ＡＷＢ、ＡＦの各評価値を算出し、撮影工程Ｓ５０２で認識対象の画像を撮影する際の撮影パラメータおよぎＷＢ係数等のメタデータを取得する。
【００２３】
撮影工程Ｓ５０２は、撮影部４０２により、前工程で取得した撮影パラメータおよぎＷＢ係数を用い認識対象の画像を取得する。小領域分割工程Ｓ５０３では、小領域分割部４０３によって、入力画像のＲＧＢ値などが類似する複数のピクセルから成る小領域の作成を行う。
【００２４】
小領域特徴量取得工程Ｓ５０４では、小領域特徴量取得部４０４によって、入力画像やメタデータから小領域の特徴量を取得する。信頼度判定工程Ｓ５０５では、信頼度判定部４０５によって、信頼度判定器保持部４０６に記憶されている信頼度判定器を用い、小領域の特徴量に基づくカテゴリ判定の信頼度を判定する。
【００２５】
再撮影工程Ｓ５０６では、信頼度判定工程Ｓ５０５で判定した小領域の信頼度に関し、信頼度が低い領域に適応させた撮影パラメータで、再撮影部４０７により再度撮影する。小領域特徴量再取得工程Ｓ５０７では、再撮影工程Ｓ５０６で取得した画像から、小領域特徴量再取得部４０８によって、低信頼度領域の小領域特徴量を取得する。カテゴリ判定工程Ｓ５０８では、カテゴリ判定部４０９によって、カテゴリ判定器保持部４１０に記憶されているカテゴリ判定器を用い、小領域の特徴量に基づく領域カテゴリの判定を実行する。
【００２６】
次に、図５（ａ）に示したフローチャートに従って、各処理のより具体的な内容について説明する。撮影パラメータ取得工程Ｓ５０１では、ＡＥ、ＡＷＢ、ＡＦの各評価値を算出し、撮影工程Ｓ５０２で用いる撮影パラメータおよびＷＢ係数、後段の信頼度判定およびカテゴリ判定で用いる各評価値をマップ化させたマップ情報をメタデータとして取得する。
【００２７】
まず、撮影パラメータ取得部４０１は、画像認識装置２００の光学系２０１を介してイメージセンサ２０３上に結像した被写体画像を、Ｆ／Ｅ２０４でデジタイズし、ＲＧＢ各成分がベイヤー配列した画像であるＲＡＷ−ＲＧＢを作成する。次に、ＲＡＷ−ＲＧＢにおけるＲＧＢ値それぞれの積分値からＡＥおよびＡＷＢの評価値を算出する。イメージセンサ２０３の全画素の受光面に対応した像面を水平垂直各１６分割、計２５６ブロックに分割し、各ブロック内のＲＧＢ積分値を取得する。
【００２８】
ＡＥでは、ＲＧＢ積分値から像面内各ブロックの輝度ＢＶ（Ｂｒｉｇｈｔｎｅｓｓ  Ｖａｌｕｅ）がＡＥ評価値として取得され、輝度分布から適正な露光値ＥＶ（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ）が決定される。そして、決定したＥＶに基づいて、撮影パラメータ（露光時間および絞り値等）が設定される。
【００２９】
ＡＷＢでは、ブロック内のＲＧＢ積分値から、白色（無彩色）領域とその領域における色温度を推定する。推定した色温度より、光源の色味による被写体の見えの変化を補正するためＲＧＢ各チャネルのピクセル値に乗算するＷＢ係数を決定する。ここでは、推定された色温度をＡＷＢ評価値とする。
【００３０】
本実施形態では、図２に示した画像認識装置２００の操作部２０９のリリーススイッチで１段階目の押下を行い、撮影準備状態に移行した場合に、上記のＡＥ、ＡＷＢ処理は、撮影準備時において連続的に実行される。
【００３１】
ＡＦでは、像面を水平垂直各１０分割、計１００ブロック程度に分割し、ブロック毎に、隣接画素のピクセル値の差分の積分値や高周波成分抽出フィルタの応答値の積分値（コントラスト値）をＡＦ評価値として取得する。被写体が合焦状態にあるとき、その被写体の高周波成分（コントラスト値）が通常最も高くなる。ＡＦ動作時には光学系２０１のフォーカスレンズを光学系制御部２０２で操作、移動させ、コントラスト値が最も高くなるフォーカスレンズ位置を探索することで、ＡＦを実行する。以上の処理は、デジタルカメラ等の撮影装置における画像撮影時の基本的動作であるため、これ以上の詳細な説明は割愛する。
【００３２】
更に、各評価値は、後段の信頼度判定やカテゴリ判定においても有効であるため、領域毎の判定に利用するために、マップ化を行ってもよい。
【００３３】
ＡＥでは、像面を２５６程度のブロックに分割し、各ブロック内においてＢＶを取得するので、それをＡＥの評価値マップ（ＢＶマップ）としても良い。または、ピクセル値を各ブロックのＢＶを用い補正することで、画素毎のＢＶマップを取得しても良い。ＢＶマップの作成手法の一例として、次の方法がある。
【００３４】
【数１】
2019012426.tif 000003
【００３５】
【数２】
2019012426.tif 000004
【００３６】
【数３】
2019012426.tif 000005
【００３７】
【数４】
2019012426.tif 000006
【００３８】
【数５】
2019012426.tif 000007
【００３９】
ＡＦ評価値は、上述のように１００程度のブロック内でコントラスト値を計算し、各ブロックで、コントラスト値が最大となるフォーカスレンズ位置を探索する。そこで、ＡＦ評価値マップとしては、各ブロック内でコントラスト値最大のフォーカスレンズ位置とするブロック状のマップとすることが考えられる。フォーカスレンズ位置は被写体までの距離に変換可能であるので、距離に変換し、距離マップとしてもよい。
【００４０】
また、ブロック数が１００程度では、局所領域のカテゴリ判定を行うためには、１ブロックあたりの面積（画素数）が大き過ぎ、距離マップとして荒すぎることが考えられる。そのような場合には、同じサイズのブロックで位置の重複を許しより密にコントラスト値の計算を行って高解像度化すればよい。あるいは、水平垂直各５０ブロック、１００ブロック、５００ブロックなど、複数のブロック数で多重にコントラスト値の計算を行い加重平均するなどして、高解像度化すればよい。ここで取得された各評価値マップは画像に対するメタデータとし、以降の工程で適宜用いる。
【００４１】
以上、本工程で取得された撮影パラメータ（露光時間、絞り値およびフォーカスレンズ位置等）、ＷＢ係数、評価値マップ等のメタデータは、撮影工程Ｓ５０２に送信される。
【００４２】
続いて、撮影工程Ｓ５０２で、撮影部４０２は、撮影パラメータ取得工程Ｓ５０１で取得された撮影パラメータ等に基づき、認識対象の画像を撮影し、意味的領域分割を実行する評価画像を取得する。まず、画像認識装置２００の光学系２０１を介してイメージセンサ２０３上に結像した被写体画像を、露光時間、絞り値およびフォーカスレンズ位置等の撮影パラメータで取得し、Ｆ／Ｅ２０４でデジタイズし、ＲＡＷ−ＲＧＢを作成する。
【００４３】
次に、信号処理部２０５で、前工程で取得したＷＢ係数でＡＷＢ処理を行う他、ＯＢクランプ、デモザイキング処理、色補正処理、ノイズリダクション、輪郭補正処理、ガンマ補正処理等の、ＲＡＷ−ＲＧＢの現像に関し通常行われる画像処理を実行する。これらの処理の詳細は、広く知られた一般的な処理であるため省略する。
【００４４】
このように現像処理された画像は、サイズが大きく、後段の小領域分割工程Ｓ５０３や小領域特徴量取得工程Ｓ５０４でこのサイズのまま処理すると、計算コストが過大にかかり過ぎる可能性がある。そのため、ＶＧＡやＱＶＧＡ程度のサイズにリサイズして、後段の処理に用いても良い。また、以降では特に明記しない限り、画像とは本工程で現像処理しリサイズした画像を指すこととする。以上のように現像処理された画像を、小領域分割工程Ｓ５０３に送信する。
【００４５】
次に、小領域分割工程Ｓ５０３で、小領域分割部４０３は、画像を複数の小領域に分割する。ここで、小領域とは、画像の画素値や位置が類似した複数の画素で構成される領域である。本実施形態では、非特許文献１に記載されている方法で、色と位置が類似した比較的細かい複数の領域に分割する（以下、これをＳＰ（ＳＰ；Ｓｕｐｅｒ−Ｐｉｘｅｌ）と呼ぶ）。ＳＰとしては、非特許文献１に記載の方法以外に、矩形形状に分割した碁盤目状の領域を利用してもよい。
【００４６】
図６は、本実施形態における小領域分割の例を示している。図６（ｂ）は、入力画像例図６（ａ）に対するＳＰ分割結果の例である。このようにして作成した小領域分割結果および画像を、小領域特徴量取得工程Ｓ５０４に送信する。
【００４７】
続いて、小領域特徴量取得工程Ｓ５０４で、小領域特徴量取得部４０４は、小領域分割工程Ｓ５０３で作成したＳＰに対して特徴量を取得する。本実施形態では、特徴量として、画像から色特徴量、テクスチャ特徴量等を抽出する他、ＡＥ評価値マップやＡＦ評価値マップからも統計量等を計算し特徴量とする。
【００４８】
色特徴量は、小領域分割工程Ｓ５０３で作成した小領域に対し、画像の各小領域内のＲＧＢ値をヒストグラム化し色ヒストグラムとするか、あるいは平均や標準偏差等の統計量を取ることで、色統計量を取得する。テクスチャ特徴量は、Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ（ＬＢＰ）や、Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｇｒａｄｉｅｎｔ（ＨＯＧ）等を計算してもよい。また、ＪＰＥＧエンコード時に用いるＹ／Ｃ画像に対するＤＣＴ係数をテクスチャ特徴量として用いてもよい。
【００４９】
ＪＰＥＧエンコードのＤＣＴは、Ｙ／Ｃ画像の各チャネルに対して８×８ピクセルのブロック単位で掛ける。このため、得られるＤＣＴ係数のマップ（６４次元）は、元サイズに対し、１／６４倍の大きさのマップとなる。テクスチャ特徴量としてこれを用いる場合は、撮影工程Ｓ５０２で行うリサイズを元々このサイズに合わせて行うか、小領域をＤＣＴ係数マップ合わせリサイズすれば良い。またこの際は、ＤＣＴ係数はＳＤＲＡＭ２０６に一時保存し、ＪＰＥＧエンコード時に再度読み出して用いるようにする。
【００５０】
ＤＣＴ係数は、テクスチャと無関係なＤＣ成分を含み、また高周波部分はノイズで揺らぎやすいので、全ての成分を用いる必要はなく、ＤＣ成分や高周波をカットしてもよい。この場合、小領域内のＤＣＴ係数値を、用いる次元ごとに平均し、例えば３２次元用いる場合は３２次元の特徴量が取得される。
【００５１】
ＡＥ評価値マップとＡＦ評価値マップに関しては、小領域のサイズをこれらのサイズに合わせてリサイズし、小領域毎に、小領域内のヒストグラムや統計量を取得し、特徴量とする。以上の作成した小領域毎の特徴量は、信頼度判定工程Ｓ５０５に送信する。
【００５２】
次に、信頼度判定工程Ｓ５０５で、信頼度判定部４０５は、信頼度判定器保持部４０６に記憶されている信頼度判定器を用いて、小領域ごとにカテゴリ判定の信頼度を計算する。信頼度判定器の学習に関しては、学習時の処理の中で詳述する。
【００５３】
本実施形態では、小領域特徴量取得工程Ｓ５０４で作成した小領域特徴量のうち、露出に関し変動しやすい色特徴量や、変動に比較的弱いＡＦ評価値特徴量やテクスチャ特徴量を用い、信頼度を評価する。ＡＥ評価値特徴量は、被写体の物理的な光の強度と比例するＢＶを用いた特徴量であり、白とびや黒つぶれが発生しない限り露出の変動に対しロバストであるので、少なくともこれは用いない。
【００５４】
詳しくは学習時の処理で述べるが、学習用データを使い、図７のようなカテゴリ判定の誤りが発生しやすいクラスタと発生しにくいクラスタを予め作成しておく。この際のクラスタリング方法は、特に限定しないが、本実施形態ではＧＭＭ（混合正規分布；Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）を用いる。認識時の処理としては、学習時の処理で学習されたＧＭＭに関し、各コンポーネントの負担率（事後確率）を、色特徴量等の小領域特徴量で計算し、小領域毎にクラスタへの帰属を評価する。事後確率を最大とするクラスタが誤りやすいクラスタである場合、その小領域が位置する画像内の局所領域は統計的に誤りやすい領域と言える。図７は、本実施形態における信頼度の判定方法を説明する図であり、学習時に使ったサンプルには、図７に示すようにカテゴリ判定の正誤が紐付いている。そして、クラスタ内のサンプルに関する正解率を計算しそれを信頼度とすることで、クラスタ毎に信頼度が割り当てられる。これを用い認識時のサンプルが帰属するクラスタから、そのサンプルの信頼度を決定する。
【００５５】
例えば、一般に露出がアンダー気味の局所領域は、カテゴリ判定の間違えが発生しやすい。図８は、小領域分割結果とその信頼度を示す図である。図８（ａ）の画像は、画像の露出が青空８０１や雲８０２に合い、樹木８０３が位置する領域はアンダー気味に暗く撮像されている。この画像を小領域分割した結果が、図８（ｂ）である。この小領域毎に上述した方法で信頼度を推定すると、図８（ｃ）のような信頼度マップが得られる。ここで黒に近い領域が低信頼度領域、白に近い領域が高信頼度領域である。図８（ｃ）に示すように、隣接する小領域が同じクラスタに属する場合それらを連結させ、高信頼度領域８０４、低信頼度領域Ａ８０５、低信頼度領域Ｂ８０６のように、小領域より大きい領域として扱う。以上の方法で推定した小領域毎の信頼度を、Ｓ５０６の分岐ＳＷ１工程に送信する。
【００５６】
次に、Ｓ５０６の分岐ＳＷ１工程において、信頼度判定部４０５は、信頼度判定工程Ｓ５０５で低信頼度領域が存在した場合、工程を再撮影工程Ｓ５０６に進め、存在しなかった場合、カテゴリ判定工程Ｓ５０７に進める。このように、本実施形態における信頼度判定部４０５は、信頼度の算出の機能だけではなく、小領域を低信頼度領域と高信頼度領域とに分類する機能も有する。なお、信頼度の高低の決定には閾値を用いるが、閾値の設定には、検証用のデータセットを用意し、最終的なカテゴリ判定精度がより高くなる閾値を探索すればよい。その他、ｋ分割交差検証法を用い、学習用データで閾値を探索しても良い。
【００５７】
また、ここでは、ある閾値以下の領域を低信頼度領域として分岐の対象としているが、これに限定するものではなく、例えば閾値がある特定の範囲を取る場合に分岐させるようにしてもよいし、その範囲を複数持たせるようにしてもよい。また、小領域の中での相対的な評価によって低信頼度領域と高信頼度領域とを分けるようにしてもよい。
【００５８】
次に、再撮影工程Ｓ５０６で、再撮影部４０７は、信頼度判定工程Ｓ５０５で取得した小領域毎の信頼度に基づいて、低信頼度領域では適切な撮影パラメータで再撮影を行う。ここでは、図８（ｃ）の低信頼度領域Ａ８０５、低信頼度領域Ｂ８０６のような、小領域のまとまり毎に撮影パラメータを合わせて、再撮影をする。また、複数再撮影すべき低信頼度領域がある場合は、信頼度が最も低い領域に関して再撮影する。ここでは、最も信頼度の低い領域が低信頼度領域Ａ８０５だとして、その場合の処理について以下で説明する。
【００５９】
本実施形態では、先に述べた通り、露出に関し再撮影を実行する。この際の領域毎の最適な撮影パラメータは、撮影パラメータ取得工程Ｓ５０１で取得したＡＥ評価値マップを用いて決める。例えば低信頼度領域Ａ８０５の場合では、センサのＩＳＯを適当な値に設定すれば低信頼度領域Ａ８０５内の小領域におけるＢＶの平均値を元にＥＶが求まるので、そのＥＶより絞りとシャッタ速度を決める。そして、この撮影パラメータにより再撮影した画像を、小領域特徴量再取得工程Ｓ５０８に送信する。
【００６０】
次に、小領域特徴量再取得工程Ｓ５０８で、小領域特徴量再取得部４０８は、再撮影工程Ｓ５０７で撮影した画像から低信頼度領域の特徴量を取得する。ここで画像の小領域は、既に作成した小領域分割結果を使う。また、今回低信頼度領域Ａ８０５に合わせ再撮影を実行したので、ここでは低信頼度領域Ａ８０５に対応する小領域の特徴量を取得する。他の小領域については特徴量の取得はせず、既に取得している特徴量がカテゴリ判定に用いられる。画像から取得する特徴量は、小領域特徴量取得工程Ｓ５０４で取得した特徴量と同じ特徴量を取得する。そして、再取得した低信頼度領域の小領域特徴量を、信頼度判定工程Ｓ５０５に送信する。
【００６１】
次に、信頼度判定工程Ｓ５０５で、信頼度判定部４０５は、低信頼度領域の信頼度を評価する。当該小領域の信頼度を評価したら、小領域毎の信頼度をＳ５０６の分岐ＳＷ１に送信する。続いてＳ５０６の分岐ＳＷ１工程で、小領域毎の信頼度を閾値で分け、再度再撮影を行うかを分岐させる。低信頼度領域がなければ、カテゴリ判定工程Ｓ５０９に進む。また、前回の分岐と同じ小領域が低信頼度となった場合、露出補正では誤りやすさが改善しない領域であるので再撮影を打ち切り、カテゴリ判定工程Ｓ５０９に進む。
【００６２】
次に、カテゴリ判定工程で、カテゴリ判定部４０６は、カテゴリ判定器保持部４０７に記憶されているカテゴリ判定器を用い領域カテゴリの判定を行う。ここでは、小領域特徴量取得工程Ｓ５０４および小領域特徴量再取得工程Ｓ５０８で取得した小領域毎の特徴量を元に判定する。すなわち、本実施形態においては、色特徴量、テクスチャ特徴量、ＡＥ評価値特徴量、ＡＦ評価値特徴量である。カテゴリ判定器は、例えば、多クラス化したロジスティック回帰やサポートベクターマシン（ＳＶＭ）などのように特徴量を入力し、多クラスの識別結果が出力される識別器であればよい。カテゴリ判定器の学習に関しては、学習時の処理で述べる。
【００６３】
ここで、本実施形態における信頼度判定工程Ｓ５０５、カテゴリ判定工程Ｓ５０９で利用する信頼度判定器およびカテゴリ判定器の学習方法について説明する。図９は各実施形態における学習装置９００の機能構成示すブロック図であり、図９（ａ）が本実施形態における学習装置９００の機能構成を示すブロック図である。
【００６４】
学習装置９００は、小領域分割部９０１、小領域特徴量取得部９０２、Ｋ分割部９０３、カテゴリ判定器学習部９０４、カテゴリ判定器検証部９０５、信頼度判定器学習部９０６を有する。更に、学習装置９００は、記憶手段として、学習用データ保持部９０７、カテゴリ判定器学習用データ保持部９０８、カテゴリ判定器保持部９０９、信頼度判定器学習用データ保持部９１０、信頼度判定器保持部９１１を有している。学習装置９００が有するこれらの機能の詳細については、図１０（ａ）を用いて後述する。なお、学習装置９００は、画像認識装置２００と同一の装置を用いて実現されてもよいし、画像認識装置２００とは別の装置により実現されてもよい。
【００６５】
図１０は各実施形態における学習に関する処理を示すフローチャートであり、図１０（ａ）が本実施形態における学習処理のフローチャートである。ここで、各工程の概要および図９（ａ）に示した各機能部の機能について説明する。
【００６６】
小領域分割工程Ｓ１００１では、小領域分割部９０１によって、学習用データ保持部９０７に保存されている各学習用画像に対し、ＲＧＢ値などが類似する複数のピクセルから成る小領域の作成を行う。小領域特徴量取得工程Ｓ１００２では、小領域特徴量取得部９０２によって、学習用画像やそれに紐付くメタデータから小領域の特徴量を取得する。
【００６７】
Ｋ分割工程Ｓ１００３では、Ｋ分割部９０３によって、学習用の全データを学習データと検証データに分割する。本実施形態においては、ｋ−分割交差検証を行うため、データセットをＫ個のグループに分割し、Ｋ回学習、検証を行う。すなわち、以降のカテゴリ判定器学習工程Ｓ１００４，カテゴリ判定器検証工程Ｓ１００５をＫ回繰り返す。カテゴリ判定器学習工程Ｓ１００４では、カテゴリ判定器学習部９０４により、カテゴリ判定器を学習する。学習したカテゴリ判定器はカテゴリ判定器保持部９０９に送信する。
【００６８】
カテゴリ判定器検証工程Ｓ１００５では、カテゴリ判定器検証部９０５により、前工程Ｓ１００４で学習したカテゴリ判定器の検証データに対する結果を評価する。そして、カテゴリ判定器の結果とその結果に対応する小領域のカテゴリＧＴおよび小領域特徴量を信頼度判定器学習用データ保持部９１０に送信する。
【００６９】
信頼度判定器学習工程Ｓ１００６では、信頼度判定器学習部９０６により、ｋ−分割交差検証法でＫ回評価された各カテゴリ判定器の結果に対し正誤を付ける。そして、正誤が付けられた小領域特徴量をクラスタリングし、特徴量のクラスタ毎にカテゴリ判定器の結果がどの程度信頼できるかの評価値（信頼度）を取得する。学習したモデルとクラスタ毎の信頼度を、信頼度判定器保持部９１１に送信する。
【００７０】
次に、図１０（ａ）に示したフローチャートに従って、各処理のより具体的な内容について説明する。
【００７１】
学習用データ保持部９０７には、学習用画像とそれらに紐づくメタデータと、カテゴリＧＴが保存されている。小領域分割工程Ｓ１００１で、小領域分割部９０１は、学習用データ保持部９０７に保存されている全学習用画像に対し、認識時の処理の小領域分割工程Ｓ５０３と同様の方法で画像を小領域に分割する。作成した小領域分割結果は、小領域特徴量取得工程Ｓ９０２に送信する。
【００７２】
次に、小領域特徴量取得工程Ｓ１００２で、小領域特徴量取得部９０２は、認識時の処理の小領域特徴量取得工程Ｓ５０４と同様に、小領域ごとに特徴量を取得する。小領域特徴量取得工程Ｓ５０４で前述の通り、特徴量は画像から色特徴量、テクスチャ特徴量を取得し、ＡＥ／ＡＦ評価値マップから、ＡＥ／ＡＦ評価値特徴量を取得する。
【００７３】
更に本工程では、カテゴリ判定器および信頼度判定器を学習するために、学習用データ保持部９０７から画像に対応するＧＴを取得し、小領域毎のＧＴを作成する。例えば、図６（ａ）が示す画像に対し、図６（ｃ）のような画像と同サイズでピクセル毎にカテゴリラベルを持ったＧＴがあるとする。小領域毎のＧＴは、小領域（図６（ｂ））毎に意味的領域分割ＧＴ（図６（ｃ））のピクセルのカテゴリをカウントし、ピクセル数が最大のカテゴリを割り当てることで作成する。
【００７４】
上記の小領域の作成および小領域ＧＴの作成は、学習用画像として学習用データ保持部９０７に保存されている全ての画像に対して行う。そして、取得した特徴量および小領域ＧＴは、カテゴリ判定器学習用データ保持部９０８に保存する。
【００７５】
次に、Ｋ分割工程Ｓ１００３では、Ｋ分割部９０３によって、学習用データをＫ個に分割する。本実施形態では、信頼度判定器をカテゴリ判定結果の正誤に基づき作成するため、ｋ−分割交差検証法を適用し、学習用データを更に学習データと検証データに分け、カテゴリ判定器の学習に使うデータと信頼度判定器の学習で使うデータを交差させる。そのため、本工程では、カテゴリ判定器学習用データ保持部９０８に保存されている学習用データをＫ個に分割する。すなわち、画像に１からＫの整数ラベルをランダムに割り当て、ｋ番目のステップにおいては、学習データをｋ以外のラベルのデータ、検証データをラベルｋのデータとする。
【００７６】
図１０（ａ）に示したフローチャートにおいて、カテゴリ判定器学習工程Ｓ１００４とカテゴリ判定器検証工程Ｓ１００５は、ｋ−分割交差検証法適用により、Ｋ回繰り返す。１からＫの各ステップにおいて、Ｋ分割工程Ｓ１００３で設定した該当の学習データと検証データを用いる。
【００７７】
カテゴリ判定器学習工程Ｓ１００４で、カテゴリ判定器学習部９０４は、Ｋ分割工程Ｓ１００３で作成したｋ番目の学習データを用い、カテゴリ判定器の学習を行う。カテゴリ判定器学習用データ保持部９０８に保存されている学習データの小領域ＧＴと小領域特徴量を用い、小領域特徴量を入力、そのＧＴカテゴリを出力の教師値として識別器を学習する。学習したカテゴリ判定器はカテゴリ判定器保持部９０９に送信する。
【００７８】
また、既に説明したように、カテゴリ判定器は、多クラス識別を行う識別器であれば特に限定しない。すなわち、多クラス化したロジスティック回帰やサポートベクターマシンの他、ランダムフォレスト、ニューラルネットワークなどを適用することもできる。
【００７９】
カテゴリ判定器検証工程Ｓ１００５では、Ｋ分割工程Ｓ１００３で作成したｋ番目の検証データを用いて、前工程Ｓ１００４で学習したカテゴリ判定器の検証を行い、検証データに対するカテゴリ判定結果を取得する。カテゴリ判定器検証部９０５は、認識時の処理のカテゴリ判定工程Ｓ３０２と同様に、小領域毎の特徴量に基づき、小領域の領域カテゴリを判定する。その結果と小領域に対応する領域カテゴリのＧＴおよびメタデータを、信頼度判定器学習用データ保持部９１０に送信する。
【００８０】
ｋ−分割交差検証法の適用により、以上の２工程はＫ回実施される。各ステップにおける検証データに対する小領域ＧＴおよびカテゴリ判定器検証工程Ｓ１００５の判定結果は、信頼度判定器学習用データ保持部９１０に保存されている。
【００８１】
信頼度判定器学習工程Ｓ１００６で、信頼度判定器学習部９０６は、各カテゴリ判定器の信頼度の評価値を出力する判定器を学習する。本実施形態では、前述の通り、ＧＭＭを用い、特徴量のクラスタリングを行う。ここで用いる特徴量は、露出補正で変動しやすい色特徴量、テクスチャ特徴量を用いる。本実施形態では、ＧＭＭの学習を非特許文献２に記載のＥＭアルゴリズムで行う。すなわち、平均、分散共分散行列、混合係数のパラメータに関し、適当な初期値を設定する。そして、Ｅステップにおいて、現在のパラメータにおける事後確率を、Ｍステップにおいて、現在の事後確率を使い各パラメータの推定値を計算し、ＥステップとＭステップを対数尤度が収束するまで繰り返す。更に、クラスタ数に関しては、ＡＩＣやＢＩＣ等の情報量基準を用い、それが最も小さくなる値を探索することで、決定する。以上の処理によって、特徴量のクラスタリングが実行できる。
【００８２】
小領域特徴量取得工程Ｓ１００２において学習用データにおけるＧＴから小領域毎のＧＴを取得した。そのＧＴラベルと、カテゴリ判定器検証工程Ｓ１００５での小領域毎のカテゴリ判定結果の対応を見ることで、小領域毎のカテゴリ判定の正誤を得ることができる。そこで、前述のクラスタリングに行った全学習用小領域特徴量に関し、正誤を対応付け、クラスタ毎に正解率を計算し、それをクラスタの信頼度とする。
【００８３】
このように、信頼度判定器学習工程Ｓ１００６では、認識時における小領域特徴量に対して事後確率を最大にするクラスタを調べることで、帰属するクラスタを決めることができ、また決定したクラスタに紐付けられた信頼度も同時に得ることができる。本実施形態における信頼度判定器は、このように小領域特徴量から帰属するクラスタを決め、更にそのクラスタの信頼度を調べることによって、信頼度（スコア）を決定する。学習した信頼度判定器は、信頼度判定器保持部９１１に保存する。
【００８４】
以上のように実施形態では、学習装置９００は、カテゴリ判定の誤りが発生しやすくかつ撮影パラメータの補正によってその誤りが改善されやすい局所領域を推定し、その領域に露出を合わせて、別の画像を取得する。そのため、画像認識装置２００による認識処理では、識別対象となる画像の各領域におけるカテゴリ判定を精度よく行えるようになる。
【００８５】
本実施形態では、認識時の処理の再撮影工程Ｓ５０７で、ＡＥ評価値マップ（ＢＶマップ）を保持しておき、ＢＶマップ上の再撮影領域のＢＶから撮影パラメータを決定したが、その限りではなく、別の方法で局所的な領域の撮影パラメータを決めてもよい。例えば、より簡便な方法としては、ＡＥセンサで再測光して再撮影する低信頼度領域に合わせ、撮影パラメータを決めればよい。
【００８６】
また、本実施形態における認識時の処理のカテゴリ判定工程Ｓ５０９を、画像撮影時の各処理に付帯して撮影装置内で実行する処理として記述したが、本実施形態はこれに限るものではない。例えば、撮影工程Ｓ５０２で撮影した画像や再撮影工程Ｓ５０７で再撮影した画像、撮影パラメータ取得工程Ｓ５０１で取得した撮影パラメータを図２に示した画像認識装置２００の記録部２１１に保存しておいてもよい。そして、外部の処理装置で、小領域分割工程Ｓ５０３、小領域特徴量取得工程Ｓ５０４、信頼度判定工程Ｓ５０５、小領域特徴量再取得工程Ｓ５０８等を実行してもよい。その際には、図２の画像認識装置２００のハードウェア構成の内、少なくともＳＤＲＡＭ２０６、プロセッサ２０７、ＲＯＭ２０８、操作部２０９、表示部２１０、記録部２１１を持つ。
【００８７】
［第１の実施形態の変形例１］
第１の実施形態では、学習時の処理において、信頼度判定器の学習を行うために、まずカテゴリ判定器を学習した。一方、認識時の処理では、まず信頼度判定を行い、次にカテゴリ判定を行う。そのため、低信頼度の領域の場合、その領域に合わせて再撮影し特徴量を再取得するので、カテゴリ判定器に入力される小領域特徴量は露出等が限定的な範囲になるはずである。すなわち、学習時の処理において学習させたデータの母分布と異なるデータを認識時に扱うことになる。
【００８８】
そこで、最終的な認識精度を向上させるために、認識時に扱うデータの母分布と同じデータでカテゴリ判定器を再学習することが考えられる。本変形例では、第１の実施形態でカテゴリ判定部４０９が用いるカテゴリ判定器を、認識時に扱うデータと同じ母分布のデータで再学習する方法を示す。
【００８９】
図１１は、本変形例における再学習装置１１００の機能構成を示すブロック図である。再学習装置１１００は、第１の実施形態の画像認識装置２００の機能構成（図４（ａ））における、撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３を有している。また、小領域特徴量取得部４０４、信頼度判定部４０５、再撮影部４０７、小領域特徴量再取得部４０８に加え、カテゴリ判定器再学習部１１０１を有している。更に、再学習装置１１００は、記憶手段として、信頼度判定器保持部４０６、カテゴリ判定器保持部４１０、再学習用データ保持部１１０２を有する。
【００９０】
この内、撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３は、第１の実施形態の画像認識装置２００の撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３と同一である。また、特徴量取得部４０４、信頼度判定部４０５、再撮影部４０７、小領域特徴量再取得部４０８は、第１の実施形態の小領域特徴量取得部４０４、信頼度判定部４０５、再撮影部４０７、小領域特徴量再取得部４０８と同一である。そのため、これら機能部の詳細については説明を省略する。なお、本変形例の再学習装置１１００は、画像認識装置２００と同一の装置として構成されてもよいし、別体の装置として構成されていてもよい。
【００９１】
再学習装置１１００が有するその他の機能部の詳細については、図１２等を用いて説明する。図１２は、本変形例における再学習に関する処理を示すフローチャートである。ここで、各工程の概要及び図１１に示した各機能部の機能について説明する。
【００９２】
図１２において、撮影パラメータ取得工程Ｓ５０１、撮影工程Ｓ５０２、小領域分割工程Ｓ５０３は、第１の実施形態の認識処理における各処理と同様の処理であるため、詳細な説明は省略する。また、小領域特徴量取得工程Ｓ５０４、信頼度判定工程Ｓ５０５、再撮影工程Ｓ５０６、小領域特徴量再取得工程Ｓ５０７も、第１の実施形態の認識処理における各工程と同様の処理であるため、詳細な説明は省略する。
【００９３】
カテゴリ判定器再学習工程Ｓ１２０１では、カテゴリ判定器再学習部１１０１によって、再学習用データ保持部１１０２に記憶されている再学習用データを用い、カテゴリ判定器の再学習を実行する。再学習したカテゴリ判定器は、カテゴリ判定器保持部４１０に保存する。
【００９４】
次に、図１２に示したフローチャートにおけるカテゴリ判定器再学習工程Ｓ１２０１とその前後の処理に関し、より具体的な処理内容について説明する。再学習装置１１００における小領域特徴量取得工程Ｓ５０４および小領域特徴量再取得工程Ｓ５０８では、取得した小領域特徴量を再学習用データ保持部１１０２に保存する。更に、学習用データ保持部１１０２には、小領域特徴量の他に、小領域毎のＧＴを保持している。
【００９５】
カテゴリ判定器再学習工程Ｓ１２０１では、カテゴリ判定器再学習部１１０１によって、カテゴリ判定器の再学習を行う。本変形例では、カテゴリ判定器保持部１１０２に第１の実施形態と同様にして学習されたカテゴリ判定器が記憶されており、本工程では、それを初期値として再学習を行う。
【００９６】
具体的には、カテゴリ判定器の識別器としてロジスティック回帰を用いる場合、カテゴリ判定器保持部１１０１には、ロジスティック回帰の係数が保存されている。本工程ではそれを初期値とし、小領域毎のＧＴと特徴量の学習データを使って確率的勾配降下法による最適化を適用すれば良い。このように追加学習の枠組みで再学習を実行する他、学習データを使い初めから識別器を学習し直してもよい。
【００９７】
以上のように、本変形例によれば、カテゴリ判定器を認識時のデータと同じ母分布を持つ学習データで再学習することができ、認識精度を向上させることが可能である。
【００９８】
［第１の実施形態の変形例２］
第１の実施形態では、再撮影時の露出に関する撮影パラメータをＡＥ評価値マップ（ＢＶマップ）として保持する、あるいは再測光することによって決定した。しかし、再測光等を行わなくても、再撮影する局所領域の特徴量から、適切な撮影パラメータを推定することも可能である。本変形例では、再測光等を行わず局所領域の特徴量から直接再撮影対象の領域の最適な撮影パラメータを推定する方法について述べる。
【００９９】
図４（ｂ）は、本変形例における画像認識装置２００の機能構成の一例を示す図である。本変形例に係る画像認識装置２００は、撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５、撮影パラメータ推定部４１１を有する。また、再撮影部４０７、小領域特徴量再取得部４０８、カテゴリ判定部４０９を有している。
【０１００】
この内、撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５は、第１の実施形態の各機能部と同様の機能部である。また、再撮影部４０７、小領域特徴量再取得部４０８、カテゴリ判定部４０９も、第１の実施形態における再撮影部４０７、小領域特徴量再取得部４０８、カテゴリ判定部４０９と同様の機能であるため詳細な説明は省略する。
【０１０１】
更に、本変形例における画像認識装置２００は、記憶手段として、信頼度判定器保持部４０６、撮影パラメータ推定器保持部４１２、カテゴリ判定器保持部４０９を有する。画像認識装置２００が有するこれらの各機能の詳細については、図５（ｂ）等を用いて後述する。
【０１０２】
図５（ｂ）は、本変形例における認識時の処理の一例を示すフローチャートである。撮影パラメータ取得工程Ｓ５０１、撮影工程Ｓ５０２、小領域分割工程Ｓ５０３、小領域特徴量取得工程Ｓ５０４、信頼度判定工程Ｓ５０５は、第１の実施形態の認識時の処理における各工程と同様の処理であるため、詳細な説明は省略する。
【０１０３】
撮影パラメータ推定工程Ｓ５１０では、撮影パラメータ推定部４１１によって、小領域特徴量から小領域の最適な撮影パラメータを推定する。再撮影工程Ｓ５０６では、再撮影部４０７によって、前工程撮影パラメータ推定工程Ｓ５１０で推定した撮影パラメータを用いて再撮影を行う。この再撮影工程Ｓ５０６は、一部の処理を除き第１の実施形態の認識時の処理における再撮影工程Ｓ５０６と同様の処理であるため、詳細な説明は省く。
【０１０４】
小領域特徴量再取得工程Ｓ５０７、カテゴリ判定工程Ｓ５０９は、第１の実施形態の認識時の処理における小領域特徴量再取得工程Ｓ５０７と同様の処理であるため、詳細な説明は省略する。
【０１０５】
次に、図５（ａ）に示したフローチャートにおける撮影パラメータ推定工程Ｓ５１０とその前後の処理に関し、より具体的な処理内容を述べる。第１の実施形態における認識時の処理と同様に、信頼度判定工程Ｓ５０５において、小領域特徴量に基づき信頼度を判定する。低信頼度領域はＳ５０６の分岐ＳＷ１で、Ｙｅｓに分岐し、撮影パラメータ推定工程Ｓ５１０以降の処理を実行する。
【０１０６】
撮影パラメータ推定工程Ｓ５１０では、小領域特徴量に基づき、撮影パラメータ推定器を用い、最適露出値ＥＶを推定する。ここで用いる小領域特徴量は、信頼度判定工程Ｓ５０５で用いる小領域特徴量と同様の特徴量を用いる。撮影パラメータ推定器の学習については、学習時の処理で説明する。
【０１０７】
再撮影工程Ｓ５０７では、再撮影部４０７によって、前工程撮影パラメータ推定工程Ｓ５１０で推定した低信頼度領域におけるＥＶに基づき絞り、シャッタ速度を決定し、再撮影を実行する。上記以外の処理に関しては、第１の実施形態における処理と同様のため、これ以上の説明は省略する。
【０１０８】
以上が本変形例における認識時の処理の詳細である。次に、本変形例における撮影パラメータ推定工程Ｓ５１０の学習方法について説明する。
【０１０９】
図９（ｂ）は、本変形例における学習装置９００の機能構成を示すブロック図である。学習装置９００は、小領域分割部９０１、小領域特徴量取得部９０２、Ｋ分割部９０３、カテゴリ判定器学習部９０４、カテゴリ判定器検証部９０５、信頼度判定器学習部９０６、撮影パラメータ推定器学習部９１２を有する。このうち、小領域分割部９０１、Ｋ分割部９０３、カテゴリ判定器検証部９０５、信頼度判定器学習部９０６は、第１の実施形態における各機能部と同様の機能を有するため、詳細な説明は省略する。学習装置９００は、記憶手段として、学習用データ保持部９０７、カテゴリ判定器学習用データ保持部９０８、カテゴリ判定器保持部９０９、信頼度判定器学習用データ保持部９１０、信頼度判定器保持部９１１、撮影パラメータ推定器保持部９１３を有している。
【０１１０】
図１０（ｂ）は、本変形例における学習に関する処理を示すフローチャートである。ここで、各工程の概要および図９（ｂ）に示した各機能部の機能について説明する。
【０１１１】
小領域分割工程Ｓ１００１では、複数の撮影パラメータで撮影された同一被写体の画像に関し、その代表的な撮影パラメータの画像について、第１の実施形態の学習時の処理における小領域分割工程Ｓ１００１と同様の処理を行う。小領域特徴量取得工程Ｓ１００２では、複数の撮影パラメータで撮影された同一被写体の画像に関し、前工程である小領域分割工程Ｓ１００１で作成した小領域分割結果を使い、小領域特徴量を作成する。小領域特徴量の作成は、第１の実施形態の学習時の処理における小領域特徴量取得工程Ｓ１００２と同様である。
【０１１２】
Ｋ分割工程Ｓ１００３では、複数の撮影パラメータで撮影された同一被写体の画像に関し、その代表的な撮影パラメータの画像について、第１の実施形態の学習時の処理におけるＫ分割工程Ｓ１００３と同様の処理を行う。カテゴリ判定器学習工程Ｓ１００４では、複数の撮影パラメータで撮影された同一被写体の画像に関し、その代表的な撮影パラメータの画像から作成した小領域特徴量を用い、カテゴリ判定器の学習を行う。カテゴリ判定器の学習方法は、第１の実施形態におけるカテゴリ判定器学習工程Ｓ１００４と同様である。
【０１１３】
カテゴリ判定器検証工程Ｓ１００５では、複数の撮影パラメータで撮影された同一被写体の画像に関し、夫々の撮影パラメータの画像に対応する小領域特徴量を用い、カテゴリ判定を実行する。カテゴリ判定は、第１の実施形態の学習時の処理におけるカテゴリ判定器検証工程Ｓ１００５と同様である。信頼度判定器学習工程Ｓ１００６では、複数の撮影パラメータで撮影された同一被写体の画像に関し、その代表的な撮影パラメータの画像から作成した小領域特徴量を用い、信頼度判定器の学習を行う。信頼度判定器の学習は、第１の実施形態の学習時の処理における信頼度判定器学習工程Ｓ１００６と同様である。
【０１１４】
撮影パラメータ推定器学習工程Ｓ１００７では、複数の撮影パラメータで撮影された同一被写体の画像に関し、撮影パラメータ推定器の学習を行う。撮影パラメータ推定器は、代表的な撮影パラメータの画像から作成した小領域特徴量を用い、カテゴリ判定器検証工程Ｓ１００５のそれぞれの条件の結果を使い、カテゴリ判定スコアを最大にする撮影パラメータを教師値として回帰学習を行うことで、学習できる。
【０１１５】
次に、図１０（ｂ）に示したフローチャートを用い、学習時の処理の第１の実施形態との差分に関して説明する。本変形例における学習装置９００の学習用データ保持部９０７は、同一の被写体に関し、複数のパラメータで撮影した画像とメタデータが保存されている。ここでは、露出の最適値を特徴量から推定する例について説明する。そのため、学習用データ保持部９０７には、適正露出（±０）と、適正露出から−２．０、−１．５、−１．０、−０．５、＋０．５、＋１．０、＋１．５、＋２．０の±４段階補正した露出で撮った画像の計９パターンの画像が保存されている。
【０１１６】
小領域分割工程Ｓ１００１では、上記各撮影条件の画像の内、適正露出の画像について、第１の実施形態における学習時の処理の小領域分割工程Ｓ１００１と同様の処理を実行し、小領域分割結果を得る。
【０１１７】
次に、小領域特徴量取得工程Ｓ１００２では、上記各撮影条件の画像全てに関し、前工程小領域分割工程Ｓ１００１で作成した小領域分割結果を使い、条件別に小領域分割特徴量を取得する。取得する特徴量は、第１の実施形態における学習時の処理の小領域特徴量取得工程Ｓ１００２と同様で良い。また、第１の実施形態の学習時の処理における小領域特徴量取得工程Ｓ１００２と同様に、小領域毎にＧＴを割り当てる。
【０１１８】
Ｋ分割工程Ｓ１００３では、第１の実施形態の学習時の処理と同様に、Ｋ分割交差検証法の適用のため、学習用画像セットをＫ分割する。この際は、撮影パラメータのみを変えた同一被写体の画像を１枚として扱い、Ｋ個のサブセットに分割する。
【０１１９】
次にカテゴリ判定器学習工程Ｓ１００４では、上記各撮影条件の画像のうち、適正露出の画像に関し取得した小領域特徴量と小領域ＧＴを用い、第１の実施形態の学習時の処理におけるカテゴリ判定器学習工程Ｓ１００４と同様に、カテゴリ判定器の学習を行う。
【０１２０】
次に、カテゴリ判定器検証工程Ｓ１００５では、上記各撮影条件の撮影画像から取得した小領域特徴量を用い、撮影条件毎に、第１の実施形態の学習時の処理におけるカテゴリ判定器検証工程Ｓ１００５と同様に、カテゴリ判定の評価を実行する。
【０１２１】
信頼度判定器学習工程Ｓ１００６では、各撮影条件の画像の内、適正露出の画像に関する小領域特徴量とカテゴリ判定器検証工程Ｓ１００５で評価した小領域毎のカテゴリ判定結果、及び小領域ＧＴを用い、小領域毎の信頼度を判定する信頼度判定器を学習する。信頼度判定器の学習方法は、第１の実施形態の学習時の処理における信頼度判定器学習工程Ｓ１００６と同様である。
【０１２２】
次に、撮影パラメータ推定器学習工程Ｓ１００７では、撮影パラメータ推定器学習部９１２によって、撮影パラメータ推定器を学習する。カテゴリ判定器検証工程Ｓ１００５で評価された、上記各撮影条件の小領域特徴量に関するカテゴリ判定スコアと、対応する小領域のＧＴから、カテゴリ判定結果が正しく、かつカテゴリ判定スコアが最も高い撮影条件を、小領域毎に取得することができる。
【０１２３】
例えば、全画像の小領域（ＳＰ）についての通し番号（ＩＤ）として、１、２、３、・・・、ＮのＩＤが付された小領域を考える。各ＳＰには、露出条件、−２．０、−１．５、−１．０、−０．５、±０、＋０．５、＋１．０、＋１．５、＋２．０の露出補正がされた９パターンの特徴量に関する、各ＳＰのカテゴリ判定結果（スコアおよび正誤）が得られている。このうち、正解でかつスコアの最も高い撮影条件（露出補正量）を取得する。これにより、各露出条件の結果の内、正解が存在するＳＰに関し、適正露出（±０）の特徴量と、最適な補正量の組が取得できる。一例を示すと、以下の表１に示すリストが取得できる。
【０１２４】
【表１】
2019012426.tif 000008
【０１２５】
このリストを用い、最適露出補正量を目的変数、特徴量を説明変数として回帰分析を実行する。回帰分析には、線形回帰やサポートベクトル回帰（ＳＶＲ）等を用いるが、何れの手法を用いるかに特に限定はない。ここで取得された回帰分析に伴う所定の関数を、認識時の処理の評価用データに適用することで撮影パラメータ推定が実行される。また、本変形例では、この所定の関数を撮影パラメータ推定器とし、学習した撮影パラメータ推定器は、撮影パラメータ推定器保持部９１３に送信する。
【０１２６】
以上のように、本変形例によれば、再撮影する局所領域の特徴量から、適切な撮影パラメータを推定することが可能になる。
【０１２７】
［第１の実施形態の変形例３］
第１の実施形態では、ＡＥで設定した露出に関する撮影パラメータでの撮影画像で、カテゴリ判定の信頼度が低い領域に関し再度撮影パラメータを設定し、再撮影を行うことで、カテゴリ精度を向上させる方法について説明した。撮影を継続的に繰り返すと、被写体は通常フレーム毎に変動するため、初期フレームで取得した小領域は、数フレーム後の画像にそのまま適用し難くなる。そこで、本変形例では、フレーム毎に動き補償を加え、撮影準備動作時に継続的に繰り返し、画像取得、低信頼度領域の撮影パラメータ調整およびカテゴリ判定を行い、撮影動作開始のフレームで高精度の意味的領域分割結果を画像処理等で利用可能なようにする。
【０１２８】
図１３は、各実施形態における画像認識装置２００の機能構成を示すブロック図であり、図１３（ａ）が本変形例における画像認識装置２００の機能構成を示すブロック図である。画像認識装置２００は、撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５、撮影パラメータ推定部４１１、動き補償部４１３、再判定領域指定部４１４、カテゴリ判定部４０９を有している。
【０１２９】
この内、撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５、カテゴリ判定部４０９は、第１の実施形態における各機能部と同様の機能であるため詳細な説明は省略する。また、撮影パラメータ推定部４１１は、変形例２の認識時の処理における撮影パラメータ推定部４１１と同様の機能であるため詳細な説明は省略する。
【０１３０】
更に、本変形例における画像認識装置２００は、記憶手段として、信頼度判定器保持部４０６、撮影パラメータ推定器保持部４１２、カテゴリ判定器保持部４０９を有する。
【０１３１】
図１４は各実施形態における認識時の処理を示すフローチャートであり、図１４（ａ）は、本変形例における処理を示すフローチャートである。撮影パラメータ取得工程Ｓ５０１は、第１の実施形態の認識時の処理における撮影パラメータ取得工程Ｓ５０１と同様の処理であるため、詳細な説明は省略する。
【０１３２】
撮影工程Ｓ５０２は、初期フレームの処理時は、第１の実施形態の認識時の処理における撮影工程Ｓ５０２と同様の処理である。初期フレーム以降の処理は、後述する撮影パラメータ推定工程Ｓ５１０で、最適な露出補正量を取得した場合、その補正量で画像を撮影する。
【０１３３】
Ｓ５２１の分岐ＳＷ２は、初期フレームか否かで分岐する。初期フレームの場合、小領域分割工程Ｓ５０３に分岐する。小領域分割工程Ｓ５０３は、第１の実施形態の認識時の処理における小領域分割工程Ｓ５０３と同様の処理であるため、詳細な説明は省略する。小領域特徴量取得工程Ｓ５０４は、初期フレームの処理時は、第１の実施形態の認識時の処理における小領域特徴量取得工程Ｓ５０４と同様の処理である。初期フレーム以降の処理は、小領域特徴量を取得する小領域を後述する再判定領域指定工程Ｓ５１２で指定した、動きがあり且つ低信頼度の小領域に限定する。
【０１３４】
カテゴリ判定工程Ｓ５０９は、第１の実施形態の認識時の処理におけるカテゴリ判定工程Ｓ５０９と同様の処理であるため、詳細な説明は省略する。Ｓ５２２の分岐ＳＷ３では、撮影準備動作から撮影動作に移行するか否かで分岐する。撮影動作に移行する場合、フローは終了に分岐し、撮影動作に移行しない場合、信頼度判定工程Ｓ５０５に分岐する。
【０１３５】
信頼度判定工程Ｓ５０５、分岐ＳＷ１のＳ５０６は、第１の実施形態の認識時の処理における各工程の処理と同様であるため、詳細な説明は省略する。撮影パラメータ推定工程Ｓ５１０は、変形例２の認識時の処理における撮影パラメータ推定工程Ｓ５１０と同様の処理であるため、説明は省略する。
【０１３６】
動き補償工程Ｓ５１１は、動き補償部４１３によって、ブロックごとの複数フレーム間の動きベクトルを計算し、更に計算した動きベクトルを用い小領域の位置を補正し、更にカテゴリ判定結果の動き補償を行う。再判定領域指定工程Ｓ５１２は、再判定領域指定部４１４によって、動き補償工程Ｓ５１１で計算した動きベクトルと、信頼度判定工程Ｓ５０５で計算した低信頼度領域の両方を使い、フレーム間で動きが有り且つ低信頼度の小領域を指定する。
【０１３７】
次に、図１４（ａ）に示したフローチャートを用い、本変形例における処理に関する具体的な詳細を説明する。ただし、処理内容が前述の実施形態と同様であるものは説明を省略し、一部に違いがあるものは前述の実施形態との差分を説明する。
【０１３８】
まず、本変形例では、撮影準備時のライブビュー動作における初期フレームか否かで、Ｓ５２１の分岐ＳＷ２にて分岐する。初期フレームの場合、小領域分割工程Ｓ５０３、小領域特徴量取得工程Ｓ５０４と処理が実行されるが、その次に第１の実施形態と異なり、カテゴリ判定工程Ｓ５０９を実行する。
【０１３９】
次のＳ５２２の分岐ＳＷ３では、撮影準備動作を終了し、撮影動作を実行するか否かの分岐を行う。撮影準備動作を継続する場合、次に信頼度判定工程Ｓ５０５を実行する。次に、Ｓ５０６の分岐ＳＷ１で、低信頼度領域の有無に関し分岐する。低信頼度の小領域が存在する場合、撮影パラメータ推定工程Ｓ５１０に分岐する。
【０１４０】
撮影パラメータ推定工程Ｓ５１０では、変形例２における認識時の処理の撮影パラメータ推定工程Ｓ５１０における処理と同様に、小領域特徴量から、その小領域における最適な撮影パラメータを推定する。撮影パラメータとして、ここでは変形例２と同様に最適な露出補正量を推定する。低信頼度領域が複数存在する場合は、複数の低信頼度領域の中で、最も信頼度の低い領域に優先する。
【０１４１】
次に、撮影工程Ｓ５０２では、前工程の露出補正量で補正し得られる撮影パラメータ（絞り、シャッター速度）で、画像を取得する。初期フレーム以降では、次のＳ５２１の分岐ＳＷ２で、動き補償工程Ｓ５１１に分岐する。
【０１４２】
動き補償工程Ｓ５１１では、前フレームと、前工程撮影工程Ｓ５０２で取得したフレームとのフレーム間のブロックマッチング等で、フレーム間の動きベクトルを計算する。ここで、ブロックマッチングは、ＭＰＥＧ４の動画エンコード規格に準拠して実装されたアルゴリズム等をそのまま適用すれば良い。ただし、動きベクトルの計算アルゴリズムとして、その他のアルゴリズムを採用しても良い。この動きベクトルを用いて、本工程では更に小領域の位置を本フレームに合わせるために補正し、更に前フレームのカテゴリ判定結果を取得した動きベクトルを利用し動き補償を行う。
【０１４３】
続いて、再判定領域指定工程Ｓ５１２では、動き補償工程Ｓ５１１で計算した動きベクトルを用いカテゴリ判定結果の動き補償をした結果、動き補償で補間出来なかった領域を取得する。そして、信頼度判定工程Ｓ５０５で判定した前フレームの低信頼度の小領域と、動き補償が出来なかった領域の両方を満たす領域を、カテゴリ判定を再度行う再判定領域として指定する。
【０１４４】
次に、小領域特徴量取得工程Ｓ５０４で、低信頼度の小領域と動き補償が出来なかった領域、両方に関し小領域特徴量を再取得する。以降の処理は、特徴量を再取得した領域に限定して、処理を実行する。
【０１４５】
以上の説明では、再判定領域指定工程Ｓ５１２で、動き補償出来なかった領域に関し、小領域特徴量の取得、カテゴリ判定の実行を再度行うとして述べたが、動き補償出来なかった領域は、単純に周囲のカテゴリ判定結果で補間してもよい。
【０１４６】
本変形例によれば、撮影動作開始のフレームにおいても高精度の意味的領域分割結果を得ることが可能になる。
【０１４７】
［第１の実施形態の変形例４］
第１の実施形態では、撮影パラメータを補正する制御項目を露出に限定したが、フォーカスやホワイトバランスなどを補正し、画像若しくは特徴量の再取得を行ってもよい。ＡＷＢ制御は、画像の撮影後に行う現像処理の一処理であるので、ＡＷＢを再実行する場合、厳密には画像の再撮影は必要でないが、本変形例では、現像処理を再実行するだけの場合も再撮影に含めて説明する。
【０１４８】
ＡＥ、ＡＦ、ＡＷＢの３項目に関し、撮影パラメータの補正、画像の再撮影をする場合、どの制御項目を補正したらより良い結果になるか、何らかの方法で決定しなければならない。本変形例では、それを実現する方法の一例として多クラス識別器を用い、どの制御項目を補正すれば結果がより良く改善されるかを判定する方法について説明する。
【０１４９】
図１３（ｂ）は、本変形例における画像認識装置２００の機能構成を示すブロック図である。画像認識装置２００は、撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５を有する。また、補正種類判定部４１５、再撮影部４０７、小領域特徴量再取得部４０８、カテゴリ判定部４０９を有している。この内、撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５、再撮影部４０７、小領域特徴量再取得部４０８、カテゴリ判定部４０９は、第１の実施形態の各機能部と同様である。また、本変形例における画像認識装置２００は、記憶手段として、信頼度判定器保持部４０６、補正項目判定器保持部４１６、カテゴリ判定器保持部４０９を有する。
【０１５０】
図１４（ｂ）は、本変形例における認識処理を示すフローチャートである。本変形例は、第１の実施形態の変形例２におけるフローチャートと、補正種類判定工程Ｓ５１３のみが異なる。
【０１５１】
補正種類判定工程Ｓ５１３は、補正種類判定部４１５によって、補正種類判定器保持部４１６に保存されている補正種類判定器を用い、小領域特徴量からより適切な補正項目を判定する。次の再撮影工程Ｓ５０７では、前工程で判定された補正項目に関し、低信頼度領域でより適切な撮影パラメータを取得し、再撮影を実行する。それ以外の処理は、第１の実施形態の変形例２と同様の処理であるため、説明を省略する。
【０１５２】
以上が、本変形例における認識時の処理の詳細である。次に、本変形例における補正種類判定工程Ｓ５１３の補正種類判定器の学習方法について説明する。
【０１５３】
図１５は各実施形態に係る学習装置９００の機能構成を示すブロック図であり、図１５（ａ）が本変形例のブロック図である。本実施形態に係る学習装置９００は、小領域分割部９０１、小領域特徴量取得部９０２、Ｋ分割部９０３、カテゴリ判定器学習部９０４、カテゴリ判定器検証部９０５、信頼度判定器学習部９０６、補正種類判定器学習部９１４を有する。このうち、小領域分割部９０１、Ｋ分割部９０３、カテゴリ判定器検証部９０５、信頼度判定器学習部９０６は、第１の実施形態における学習装置９００の各機能部と同様の機能を有するため、詳細な説明は省略する。更に、学習装置９００は、記憶手段として、学習用データ保持部９０７、カテゴリ判定器学習用データ保持部９０８、カテゴリ判定器保持部９０９、信頼度判定器学習用データ保持部９１０、信頼度判定器保持部９１１、補正種類判定器保持部９１７を有している。
【０１５４】
図１６は各実施形態における学習に関する処理を示すフローチャートであり、図１６（ａ）は本変形例における学習処理のフローチャートである。本変形例の学習時の処理は、第１の実施形態の変形例２における学習時の処理と、補正種類判定器学習工程Ｓ１００８のみが異なっている。
【０１５５】
図１６（ａ）において、補正種類判定器学習工程Ｓ１００８では、信頼度判定器学習用データ保持部９１０に保存されている学習データを用い、学習データの小領域に関し、多クラス識別器を学習する。この多クラス識別器は、カテゴリ判定スコアがより高くなった補正項目を教師値とし、小領域特徴量を識別に用いる特徴量として、学習される。なお、多クラス識別器は特に限定しない。すなわち、多クラス化したロジスティック回帰やサポートベクターマシンの他、ランダムフォレスト、ニューラルネットワークなどを適用すれば良い。
【０１５６】
以上のように、本変形例によれば、フォーカスやホワイトバランスなどの制御項目を変更して、画像若しくは特徴量の再取得を行うことができるようになる。
【０１５７】
［第２の実施形態］
第１の実施形態では、画像の局所領域の特徴量（小領域特徴量）から、カテゴリ判定の信頼度を算出し、露出等の撮影パラメータを低信頼度領域に最適化して再撮影を行うことで、低信頼度領域の識別精度を向上させる枠組みについて説明した。すなわち、第１の実施形態は、低信頼度の原因を撮影パラメータに暗に限定した枠組みになっていたが、実際には、局所的な領域の特徴量自体が類似してしまい、撮影パラメータを局所的に最適化させても改善しない場合が存在する。例えば、平滑な白色の建物の壁面と、曇天の空は、両者ともノンテクスチャでかつ白色（無彩色）をしており、ＲＧＢ画像から取得する、ＳＰのような小領域の中だけの特徴量だけでは、撮影パラメータを最適化したとしても高精度に両者を識別することは難しい。
【０１５８】
そこで、本発明の第２の実施形態では、低信頼度領域を判定し、更に再撮影による改善性を判定し、低信頼度で且つ再撮影で改善する領域は再撮影を行い、低信頼度でも再撮影によって改善しない領域は別の特徴量でのカテゴリ判定に切り替える。これにより、上述したような撮影パラメータが不適切なため低信頼度となっている領域と、局所的なＲＧＢ画像特徴量ではそもそも識別が難しい領域とを共に、精度良く領域判別（カテゴリ判別）することができるようになる。以下、本発明の第２の実施形態について説明するが、第１の実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。
【０１５９】
図１７は、本実施形態における画像認識装置２００の機能構成を示すブロック図である。本実施形態の画像処理装置２００は、撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５、再撮影部４０７、小領域特徴量再取得部４０８、カテゴリ判定部４０９を有する。また、改善性判定部４１７、周囲小領域特徴量取得部４１９を有する。このうち、撮影パラメータ取得部４０１、撮影部４０２、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５、再撮影部４０７、小領域特徴量再取得部４０８は、第１の実施形態で既に説明した各機能部と同様である。また、画像認識装置２００は、記憶手段として、信頼度判定器保持部４０６、カテゴリ判定器保持部４０９、改善性判定器保持部４１８を有する。画像認識装置２００が有する各機能部の詳細については、図１８等を用いて後述する。
【０１６０】
図１８は、本実施形態に係る画像認識装置により認識時の処理の示すフローチャートである。撮影パラメータ取得工程Ｓ５０１は、第１の実施形態の認識時の処理における撮影パラメータ取得工程Ｓ５０１、撮影工程Ｓ５０２、小領域分割工程Ｓ５０３は、第１の実施形態の認識時の各工程と同様の処理であるため、詳細な説明は省略する。また、小領域特徴量取得工程Ｓ５０４、信頼度判定工程Ｓ５０５も、第１の実施形態の認識時の処理における各工程と同様の処理であるため、詳細な説明は省略する。
【０１６１】
改善性判定工程Ｓ５１４は、改善性判定部４１７によって、改善性判定器保持部４１８に記憶されている改善性判定器を用い、小領域の特徴量に基づき再撮影での改善性を判定する。小領域特徴量再取得工程Ｓ５０７は、第１の実施形態の認識時の処理における小領域特徴量再取得工程Ｓ５０７と同様の処理であるため、詳細な説明は省略する。
【０１６２】
周囲小領域特徴量取得工程Ｓ５１７は、再撮影で領域カテゴリの判定精度が改善しない領域を改善させるために、小領域の周囲からも特徴量を取得する。カテゴリ判定工程Ｓ５０８は、第１の実施形態の認識時の処理におけるカテゴリ判定工程Ｓ５０８と基本的に同様の処理を行うが、一部の処理内容は異なるため、その差分を以降で説明する。
【０１６３】
次に、図１８に示したフローチャートにおける改善性判定工程Ｓ５１４、ＳＷ４Ｓ５１５、ＳＷ５Ｓ５１６、周囲小領域特徴量取得工程Ｓ５１７、カテゴリ判定工程Ｓ５０８について、より具体的な内容について説明する。
【０１６４】
改善性判定工程Ｓ５１４では、改善性判定部４１７が、小領域特徴量取得工程Ｓ５０４で取得した小領域特徴量に基づき、その小領域が撮影パラメータの最適化および再撮影によって、カテゴリ判定精度を改善させるか否かを判定する。ここでは、信頼度判定工程Ｓ５０５と同様に、学習データを予めクラスタリングによって改善しやすいクラスタと改善しにくいクラスタに分類しておいて、小領域特徴量の各クラスタへの帰属を調べることで、その小領域が改善しやすいか否かを判定する。改善性は、クラスタ内学習サンプルのカテゴリ判定結果のスコアを利用することで、スコア化する。このクラスタの学習とスコア化に関しては、学習時の処理の際に詳細に述べる。
【０１６５】
次に、Ｓ５１５の分岐ＳＷ４で分岐する。信頼度判定工程Ｓ５０５の結果から、小領域の信頼度が閾値より低いかどうかを判定する。本分岐における閾値は、第１の実施形態で述べた通り、交差検証法を用いて最適化を行うが、本実施形態においてその方法は特に限定しない。
【０１６６】
続いて、Ｓ５１６の分岐ＳＷ５でも分岐を行うが、ここでは小領域の改善性に関し分岐を行う。すなわち、小領域の改善性のスコアが閾値より高いかどうかを判定する。改善性のスコアが高い場合、撮影パラメータを最適化することでカテゴリ判定精度の改善が望めるため、再撮影工程Ｓ５０７へ分岐する。ここでの閾値も前分岐と同様に、交差検証法等を用い最適化しても良い。
【０１６７】
小領域の信頼度が低くかつ、改善性も低い場合、Ｓ５１５の分岐ＳＷ４およびＳ５１６の分岐ＳＷ５により、周囲小領域特徴量取得工程Ｓ５１７に分岐する。この分岐に該当する領域は、カテゴリ判定の信頼度が低く、また再撮影によるカテゴリ判定精度の改善の可能性も低い領域であるので、小領域特徴量取得工程Ｓ５０４で取得した小領域特徴量に加え、新たな特徴量を取得する。その特徴量として、本実施形態では、小領域の周囲領域からも画像や評価値マップの特徴量を取得する。
【０１６８】
本実施形態においては、新たな特徴量として周囲領域からの特徴量を扱うが、それに限定されるものではなく、例えばデジタルカメラ等の撮影装置が有するストロボ発光機能等を用いて照明を加えた画像に関して新たに特徴量を取得してもよい。また、ＩＲイメージセンサや偏光フィルタを有するイメージセンサ等を撮影装置が搭載している場合、それらのセンサのデータから、本工程で新たに特徴量を取得してもよい。
【０１６９】
次にカテゴリ判定工程Ｓ５０９では、カテゴリ判定部４０９が、小領域特徴量取得工程Ｓ５０４、周囲小領域特徴量取得工程Ｓ５１７で取得した特徴量に基づき、カテゴリ判定を実行する。本実施形態においては、小領域毎に特徴量が異なるため、特徴量の種類によって、カテゴリ判定器を切り替える。カテゴリ判定器は、第１の実施形態の学習時の処理におけるカテゴリ判定器学習工程Ｓ１００４と同様に、特徴量の種類にカテゴリ判定器を学習すれば良い。
【０１７０】
以上が、第２の実施形態における認識時の処理の詳細である。次に、本実施形態における改善性判定工程Ｓ５１４、カテゴリ判定工程Ｓ５０９で利用する改善性判定器およびカテゴリ判定器の学習方法について説明する。
【０１７１】
図１５（ｂ）は、本実施形態における学習装置９００の機能構成を示すブロック図である。学習装置９００は、小領域分割部９０１、小領域特徴量取得部９０２、Ｋ分割部９０３、カテゴリ判定器学習部９０４、カテゴリ判定器検証部９０５、信頼度判定器学習部９０６、改善性判定器学習部９１６を有する。このうち、小領域分割部９０１、Ｋ分割部９０３、カテゴリ判定器検証部９０５、信頼度判定器学習部９０６は、第１の実施形態における機能部と同様の機能を有するため、詳細な説明は省略する。更に、学習装置９００は、記憶手段として、学習用データ保持部９０７、カテゴリ判定器学習用データ保持部９０８、カテゴリ判定器保持部９０９、信頼度判定器学習用データ保持部９１０、信頼度判定器保持部９１１、改善性判定器保持部９１７を有する。
【０１７２】
図１６（ｂ）は、本実施形態における学習に関する処理を示すフローチャートである。ここで、各工程の概要および図１５（ｂ）に示した各機能部の機能について説明する。
【０１７３】
小領域分割工程Ｓ１００１では、複数の撮影パラメータで撮影された同一被写体の画像に関し、その代表的な撮影パラメータの画像について、第１の実施形態の学習時の処理における小領域分割工程Ｓ１００１と同様の処理を行う。小領域特徴量取得工程Ｓ１００２では、複数の撮影パラメータで撮影された同一被写体の画像に関し、前工程小領域分割工程Ｓ１００１で作成した小領域分割結果を使い、小領域特徴量を作成する。小領域特徴量の作成は、第１の実施形態の学習時の処理における小領域特徴量取得工程Ｓ１００２と同様である。
【０１７４】
次に、Ｋ分割工程Ｓ１００３では、複数の撮影パラメータで撮影された同一被写体の画像に関し、その代表的な撮影パラメータの画像について、第１の実施形態の学習時の処理におけるＫ分割工程Ｓ１００３と同様の処理を行う。カテゴリ判定器学習工程Ｓ１００４では、複数の撮影パラメータで撮影された同一被写体の画像に関し、その代表的な撮影パラメータの画像から作成した小領域特徴量を用い、カテゴリ判定器の学習を行う。カテゴリ判別機の学習は、第１の実施形態の学習時の処理におけるカテゴリ判定器学習工程Ｓ１００４と同様である。
【０１７５】
次に、カテゴリ判定器検証工程Ｓ１００５では、複数の撮影パラメータで撮影された同一被写体の画像に関し、夫々の撮影パラメータの画像に対応する小領域特徴量を用い、カテゴリ判定を実行する。カテゴリ判定の方法は、第１の実施形態の学習時の処理におけるカテゴリ判定器検証工程Ｓ１００５と同様である。信頼度判定器学習工程Ｓ１００６では、複数の撮影パラメータで撮影された同一被写体の画像に関し、その代表的な撮影パラメータの画像から作成した小領域特徴量を用い、小領域ごとの信頼度を判定する信頼度判定器の学習を行う。信頼度判定器の学習は、第１の実施形態の学習時の処理における信頼度判定器学習工程Ｓ１００６と同様である。
【０１７６】
続いて、改善性判定器学習工程Ｓ１００９では、複数の撮影パラメータで撮影された同一被写体の画像に関し、露出補正によって結果が改善するか否かを２クラス判定する、改善性判定器を学習する。改善性判定器は、その代表的な撮影パラメータの画像から作成した小領域特徴量を用い、カテゴリ判定器検証工程Ｓ１００５のそれぞれの条件での結果を使用することにより学習できる。
【０１７７】
次に、図１６（ｂ）に示したフローチャートを用い、学習時の処理の第１の実施形態との差分に関して説明する。本実施形態における学習装置９００の学習用データ保持部９０７は、同一の被写体に関し、複数のパラメータで撮影した画像とメタデータが保存されている。本実施形態では、露出の最適値を特徴量から推定する一例について述べるの。そのため、学習用データ保持部９０７には、適正露出（±０）と、適正露出から−２．０、−１．５、−１．０、−０．５、＋０．５、＋１．０、＋１．５、＋２．０の±４段階補正した露出で撮った画像の計９パターンの画像が保存されている。
【０１７８】
小領域分割工程Ｓ１００１では、上記各撮影条件の画像の内、適正露出の画像について、第１の実施形態における学習時の処理の小領域分割工程Ｓ１００１と同様の処理を実行し、小領域分割結果を得る。
【０１７９】
次に、小領域特徴量取得工程Ｓ１００２では、上記各撮影条件の画像全てに関し、前工程小領域分割工程Ｓ１００１で作成した小領域分割結果を使い、条件別に小領域分割特徴量を取得する。取得する特徴量は、第１の実施形態における学習時の処理の小領域特徴量取得工程Ｓ１００２と同様で良い。また、第１の実施形態の学習時の処理における小領域特徴量取得工程Ｓ１００２と同様に、小領域毎にＧＴを割り当てる。
【０１８０】
Ｋ分割工程Ｓ１００３では、第１の実施形態の学習時の処理と同様に、Ｋ分割交差検証法の適用のため、学習用画像セットをＫ分割する。この際には、撮影パラメータのみを変えた同一被写体の画像を１枚として扱い、Ｋ個のサブセットに分割する。
【０１８１】
次に、カテゴリ判定器学習工程Ｓ１００４では、上記各撮影条件の画像のうち、適正露出の画像に関し取得した小領域特徴量と小領域ＧＴを用い、第１の実施形態のカテゴリ判定器学習工程Ｓ１００４と同様に、カテゴリ判定器の学習を行う。
【０１８２】
次に、カテゴリ判定器検証工程Ｓ１００５では、上記各撮影条件の撮影画像から取得した小領域特徴量を用い、撮影条件毎に、第１の実施形態の学習時の処理におけるカテゴリ判定器検証工程Ｓ１００５と同様に、カテゴリ判定の評価を実行する。
【０１８３】
次に、信頼度判定器学習工程Ｓ１００６では、上記各撮影条件の画像の内、適正露出の画像に関する小領域特徴量とカテゴリ判定器検証工程Ｓ１００５で評価した小領域毎のカテゴリ判定結果、および小領域ＧＴを用い、信頼度判定器を学習する。信頼度判定器の学習の方法は、第１の実施形態の学習時の処理における信頼度判定器学習工程Ｓ１００６と同様である。
【０１８４】
次に、改善性判定器学習工程Ｓ１００９では、改善性判定器学習部９１６によって、撮影パラメータ推定器を学習する。カテゴリ判定器検証工程Ｓ１００５で評価された、上記各撮影条件の小領域特徴量に関するカテゴリ判定結果に関し、適正露出の結果と、それ以外の撮影条件の結果を比較する。そして、カテゴリ判定スコアがより良くなったか否かで、小領域毎に改善性に関する陽性と陰性のラベルを付ける。
【０１８５】
そして、適正露出の小領域特徴量と、改善性に関する陽性／陰性のラベルを用い、２クラス判定器を学習する。ここで、２クラス判定器は、ＳＶＭやロジスティック回帰、ニューラルネットワーク等の識別器を用いれば良いが、特に限定しない。
【０１８６】
以上のように、本実施形態によれば、学習装置９００は、カテゴリ判定の誤りが発生しやすくかつ撮影パラメータの補正によって、その誤りが改善されやすい局所領域を推定する。そして、その推定した局所領域に露出を合わせ、補正画像を取得し、更に露出補正では改善されない領域の場合、更に小領域の周囲からも特徴量を取得することで、識別対象画像の画像全体におけるカテゴリ判定を精度よく行えるようになる。
【０１８７】
［第３の実施形態］
第１、第２の実施形態では、デジタルカメラ等の撮影装置で撮影準備時に連続的に画像を取得する場合において、認識結果に適応的に撮影パラメータを変え、認識処理の高精度化を図る実施形態について説明した。近年、非特許文献３のような光線空間を撮影し、後処理としてフォーカスを合わせ直すリフォーカスが可能なライトフィールドカメラ（またはプレノプティック）が実用化されている。また、非特許文献４の撮像装置では、図３に示したような通常のベイヤー配列のイメージセンサのＲ、Ｇｒ、Ｇｂ、Ｂのパターンを１単位に、それぞれ低感度から高感度まで４種類の感度を持たせた、多重感度のイメージセンサを持つ撮影装置が記載されている。これにより、１ショットの画像からハイダイナミックレンジ画像の作成が可能になる。
【０１８８】
更に、上記の非特許文献３の撮影装置と非特許文献４に記載の撮影装置の技術を組み合わせることで、マルチフォーカス画像およびマルチ露出画像の同時取得が可能な撮影装置も、原理的には容易に実現可能である。また、現在普及している民生用デジタルカメラ等では、オートブラケット機能が搭載されているものも多い。つまり、マルチフレームで連続して撮影パラメータを変え、マルチ露出やマルチフォーカス、マルチフラッシュ等の、複数撮影パラメータ画像を取得することも可能になっている。
【０１８９】
第３の実施形態では、特にオートブラケット機構により、露出値を適正露出からアンダー側とオーバー側に複数設定し、マルチ露出パラメータ画像が一括撮影で取得された場合に、それらの画像を用いることで認識精度を高精度化する形態について説明をする。以下、本発明の第３の実施形態について説明するが、第１、第２の実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。
【０１９０】
図１９は、各実施形態に係る画像認識装置２００の機能構成を示すブロック図であり、図１９（ａ）が本実施形態におけるブロック図である。本実施形態の画像処理装置２００は、撮影パラメータ取得部４０１、一括撮影部４２０、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５、カテゴリ判定部４０９、統合部４２１を有する。このうち、撮影パラメータ取得部４０１、小領域分割部４０３、小領域特徴量取得部４０４、信頼度判定部４０５は第１の実施形態で既に説明した各機能部と基本的に同一の機能であるため、詳細な説明は省略し、一部機能に関してその差分を説明する。更に、本実施形態における画像認識装置２００は、記憶手段として、信頼度判定器保持部４０６、カテゴリ判定器保持部４０９を有する。画像認識装置２００が有するこれらの各機能の詳細については、図２０等を用いて後述する。
【０１９１】
図２０は各実施形態における画像認識装置により認識処理を示すフローチャートであり、図２０（ａ）が本実施形態における認識処理のフローチャートである。撮影パラメータ取得工程Ｓ５０１は、第１の実施形態の認識時の処理における撮影パラメータ取得工程Ｓ５０１とほぼ同様の処理であるが、一括撮影で行う複数の撮影パラメータの中心となる撮影パラメータを取得する。
【０１９２】
一括撮影工程Ｓ５１８は、撮影パラメータ取得工程Ｓ５０１で取得した撮影パラメータを中心とした複数の撮影パラメータで画像を一括撮影する。小領域分割工程Ｓ５０３は、第１の実施形態の認識時の処理における小領域分割工程Ｓ５０３とほぼ同様の処理を行う。ただし、ここでは複数の撮影パラメータで取得された画像に関し、代表的な画像に対して本処理を実行する。
【０１９３】
小領域特徴量取得工程Ｓ５０４は、第１の実施形態の認識時の処理における小領域特徴量取得工程Ｓ５０４とほぼ同様の処理を行うが、ここでは複数の撮影パラメータで取得された画像に対し、小領域は同一にして、複数の特徴量を取得する。信頼度判定工程Ｓ５０５は、第１の実施形態の認識時の処理における信頼度判定工程Ｓ５０５と同様の処理であるため、詳細な説明は省略する。
【０１９４】
カテゴリ判定工程Ｓ５０８は、第１の実施形態の認識時の処理におけるカテゴリ判定工程Ｓ５０８と同様の処理を行うが、ここでは、複数の撮影パラメータで取得された画像全てに関しカテゴリ判定を行う。統合工程Ｓ５２０は、信頼度判定工程Ｓ５０５で取得した小領域毎の信頼度を重みとして、カテゴリ判定工程Ｓ５０８の複数撮影パラメータ画像に対する結果を加重平均することで、複数撮影パラメータのカテゴリ判定結果を統合する。
【０１９５】
次に、図１８に示したフローチャートにおける一括撮影工程Ｓ５１８、小領域分割工程Ｓ５０３、小領域特徴量取得工程Ｓ５０４、信頼度判定工程Ｓ５０５、カテゴリ判定工程Ｓ５０８、統合工程Ｓ５２０について、より具体的な内容について述べる。
【０１９６】
一括撮影工程Ｓ５１８で、一括撮影部４２０は、複数の露出条件のパラメータを作成し、その複数撮影パラメータでの撮影を一括に複数回実行する。複数の露出条件のパラメータは、撮影パラメータ取得工程Ｓ５０１で取得したＡＥ、ＡＦ、ＡＷＢの評価値マップと撮影パラメータ（絞り、シャッタ速度、フォーカスレンズ位置）の内、絞りおよびシャッタ速度から、それを中心にして作成される。具体的には、複数の撮影パラメータは、ＡＥによって取得される撮影パラメータ（絞り、シャッター速度）を±０（適正露出）として、絞り及びシャッタ速度を変化させることで作成される。ここでは、露出を−２．０、−１．５、−１．０、−０．５、＋０．５、＋１．０、＋１．５、＋２．０の±４段階変化させた絞り及びシャッタ速度を作成し、それと適正露出の計９パターンとする。本工程では、この９パターンの撮影パラメータで、９種類の画像を一括で取得する。
【０１９７】
次に、小領域分割工程Ｓ５０３では、小領域分割部４０３によって、前工程一括撮影工程Ｓ５１８で撮影した複数画像のうち、適正露出の画像に関し小領域分割を実行する。それ以外の処理に関しては、第１の実施形態における小領域分割工程Ｓ５０３の処理と同様の処理であるため、説明を省略する。
【０１９８】
小領域特徴量取得工程Ｓ５０４で、小領域特徴量取得部４０４は、小領域の特徴量を取得する。本工程では、小領域として、前工程小領域分割工程Ｓ５０３で作成した適正露出画像の小領域を、他の撮影パラメータの画像に対しても用い、それぞれの画像から色特徴、テクスチャ特徴等の特徴量を取得する。また、ＡＥ評価値特徴量に関しては、ＢＶは露出補正で本来変動しないので、全ての撮影画像で同じＡＥ評価値特徴量を用いる。ＡＦ評価値特徴量に関しても、露出補正で変動しないので、同じＡＦ評価値特徴量を用いる。それ以外の処理に関しては、第１の実施形態における小領域特徴量取得工程Ｓ５０４の処理と同様の処理であるため、説明を省略する。
【０１９９】
信頼度判定工程Ｓ５０５で、信頼度判定部Ｓ４０５は、小領域毎のカテゴリ判定の信頼度を判定する。ここでは、小領域特徴量取得工程Ｓ５０４で取得した複数の撮影パラメータでの小領域特徴量に関し、それぞれで信頼度を判定する。すなわち、ある小領域に関し、９パターンの露出条件の小領域特徴量で、それぞれ信頼度判定を行う。それ以外の処理に関しては、第１の実施形態における信頼度判定工程Ｓ５０５の処理と同様の処理であるため、説明を省略する。
【０２００】
カテゴリ判定工程Ｓ５０８で、カテゴリ判定部４０９は、複数の撮影パラメータの小領域特徴量それぞれに関し、カテゴリ判定を実行する。すなわち、ある小領域に関し、９パターンの露出条件の小領域特徴量で、それぞれに関しカテゴリ判定を行う。それ以外の処理に関しては、第１の実施形態におけるカテゴリ判定工程Ｓ５０９の処理と同様の処理であるため、説明を省略する。
【０２０１】
統合工程Ｓ５２０で、統合部４２１は、カテゴリ判定工程Ｓ５０８の結果を統合する。本実施形態では、前述の通り、１つの小領域に関し、複数の撮影パラメータで撮影した画像から作成した複数の小領域特徴量が取得され、それに対応する複数のカテゴリ判定結果が得られている。それらには、更に信頼度判定工程Ｓ５０５の信頼度判定結果が紐付いている。本工程では、ある小領域に関し、９つある信頼度判定結果を重みとして、９つの小領域のカテゴリ判定結果を加重平均する。結果として得られる、カテゴリ判定スコアを、本実施形態における最終的なカテゴリ判定結果とする。
【０２０２】
以上の構成により、プレノプティックカメラやデジタルカメラ等撮影装置におけるオートブラケット機構で一括取得した複数の撮影パラメータの画像を使い、意味的領域分割がなされる。しかも、複数の撮影パラメータ別のカテゴリ判定結果を、それぞれの信頼度を加味し、統合することで、単純に統合する場合に比べ、高精度なカテゴリ判定が実現できる。
【０２０３】
なお、本実施形態では、オートブラケット機構を例に説明したが、前述した通り、プレノプティックカメラや多重感度カメラのようなコンピュテーショナルカメラを用いた場合でも、同様の実施形態で、複数撮影パラメータのカテゴリ判定結果の統合が行える。そして、高精度の意味的領域分割（カテゴリ判別）が実現できる。
【０２０４】
［第３の実施形態の変形例］
第３の実施形態では、複数の撮影パラメータで一括撮影した画像に対し、小領域の信頼度を判定し、複数画像に関するカテゴリ判定結果を信頼度で加重平均することで、最終的な領域カテゴリを計算した。ここでの複数パラメータは、予め範囲と粒度を設定するものとしたが、最適な撮影パラメータは、ここで設定した撮影パラメータと一致しない場合もある。例えば、ある小領域の最適な露出補正量は−０．７５で、予め設定した露出補正が−２．０、−１．５、−１．０、−０．５、±０．０、＋０．５、＋１．０、＋１．５、＋２．０の計９パターンだった場合、その小領域の認識に最適な補正量の画像は得られない。
【０２０５】
そこで、本変形例では、第１の実施形態の変形例２で行った小領域毎の最適撮影パラメータの推定と、更に推定された最適なパラメータの画像が存在しない場合に最適なパラメータの画像を補間・合成し、それを用いてカテゴリ判別する形態について説明する。
【０２０６】
図１９（ｂ）は、本変形例における画像認識装置２００の機能構成を示すブロック図である。第３の実施形態の画像認識装置２００に対し、新たに撮影パラメータ推定部４１１、補間・合成部４２２、撮影パラメータ推定器保持部４１２が加わっている。撮影パラメータ推定部４１１の機能の詳細に関しては、第１の実施形態の変形例２における撮影パラメータ推定部４１１と同様であるので、説明を省略する。
【０２０７】
図２０（ｂ）は、本変形例に係る画像認識装置２００による認識処理を示すフローチャートである。第１の実施形態におけるフローチャートに対し、新たに撮影パラメータ推定工程Ｓ５１０、補間・合成工程Ｓ５２２、小領域特徴量取得工程Ｓ５０４が加わっている。ここで、撮影パラメータ推定工程Ｓ５１０は第１の実施形態の変形例２と、小領域特徴量取得工程Ｓ５０４は第３の実施形態の小領域特徴量取得工程Ｓ５０４と同様であるので、詳細な説明は省略する。
【０２０８】
補間・合成工程Ｓ５２２で、補間・合成部４２２は、撮影パラメータ推定工程Ｓ５１０で推定された撮影パラメータの画像を、その近傍の画像から補間する。ここで露出に関する撮影パラメータを扱う場合、推定された撮影パラメータが予め設定した露出補正の範囲内の場合、近傍２画像から線形補間すればよい。
【０２０９】
例えば、ある小領域の最適な露出補正量が−０．７５であり、予め設定した露出補正が−２．０、−１．５、−１．０、−０．５、±０．０、＋０．５、＋１．０、＋１．５、＋２．０の計９パターンだった場合について考える。この場合には、補正値−１．０および−０．５の２画像から線形補間で補正値−０．７５の画像を合成する。また、推定された撮影パラメータが露出補正の範囲外の場合は、最近傍の補正値の画像で代替する。
【０２１０】
フォーカスの補正に関しては、同様に画像を線形補間することはできないので、例えば一括撮影時に設定した補正値に対する画像の小領域特徴量を、小領域毎に２次関数で近似して、推定された撮影パラメータにおける小領域特徴を推定すれば良い。更に推定された撮影パラメータの画像に対応する信頼度に関しても同様に、一括撮影時に設定した補正値に対する信頼度を小領域毎に２次関数で近似して、推定された撮影パラメータにおける信頼度を推定すれば良い。
【０２１１】
以上の構成により、一括撮影時に設定した撮影パラメータと小領域のカテゴリ判定における最適な撮影パラメータとが一致しない場合でも、最適なパラメータの画像を補間・合成することができる。そして、補間・合成された画像を用いてカテゴリ判別することで、最終的な認識精度を向上させることができる。
【０２１２】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０２１３】
４０１  撮影パラメータ取得部
４０２  撮影部
４０３  小領域分割部
４０４  小領域特徴量保持部
４０５  信頼度判定部
４０６  信頼度判定器保持部
４０７  再撮影部
４０８  小領域特徴量再取得部
４０９  カテゴリ判定部
４１０  カテゴリ判定器保持部
【図１】
2019012426.tif 000009
【図２】
2019012426.tif 000010
【図３】
2019012426.tif 000011
【図４】
2019012426.tif 000012
【図５】
2019012426.tif 000013
【図６】
2019012426.tif 000014
【図７】
2019012426.tif 000015
【図８】
2019012426.tif 000016
【図９】
2019012426.tif 000017
【図１０】
2019012426.tif 000018
【図１１】
2019012426.tif 000019
【図１２】
2019012426.tif 000020
【図１３】
2019012426.tif 000021
【図１４】
2019012426.tif 000022
【図１５】
2019012426.tif 000023
【図１６】
2019012426.tif 000024
【図１７】
2019012426.tif 000025
【図１８】
2019012426.tif 000026
【図１９】
2019012426.tif 000027
【図２０】
2019012426.tif 000028