(57)【特許請求の範囲】
【請求項１】
画像データを取得する取得手段と、
前記画像データの画素の色成分または輝度値に基づいて、当該画像データに対応する画像の撮像時における複数種類の撮像制御処理のそれぞれについての画素の評価値を表す複数の評価値マップを生成するマップ生成手段と、
前記取得された画像データの画素の色と位置に基づいて、当該画像を複数の小領域に分割する分割手段と、
前記分割手段により分割された複数の小領域において、前記複数の評価値マップ毎に、それぞれの小領域内の評価値に基づいて当該小領域同士を連結させて複数の連結小領域を生成する連結手段と、
前記分割された複数の小領域及び前記複数の評価値マップ毎に生成された複数の連結小領域のそれぞれから特徴量を抽出する抽出手段と、
前記抽出された特徴量に基づいて、前記複数の小領域及び前記複数の評価値マップ毎に生成された複数の連結小領域のそれぞれのカテゴリを判別する判別手段と、
前記複数の小領域及び前記複数の評価値マップ毎に生成された複数の連結小領域のそれぞれのカテゴリの判別結果を統合する統合手段と
を有することを特徴とする画像認識装置。
【請求項２】
前記複数種類の撮像制御処理は、自動合焦、自動露出、自動ホワイトバランスの少なくとも１つを含むことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記自動合焦に係る評価値は、前記画像データの画像を分割してなる複数のブロックそれぞれのコントラスト値に基づく評価値であることを特徴とする請求項２に記載の画像認識装置。
【請求項４】
前記複数のブロックは、前記複数の小領域と同じ領域として設定されることを特徴とする請求項３に記載の画像認識装置。
【請求項５】
前記自動露出に係る評価値は、前記画像データの画像の画素それぞれの輝度値に基づく評価値であることを特徴とする請求項２から４のいずれか１項に記載の画像認識装置。
【請求項６】
前記自動露出に係る評価値は、イメージセンサのＲＧＢのチャネルそれぞれにおける輝度値に基づく評価値であることを特徴とする請求項５に記載の画像認識装置。
【請求項７】
前記自動ホワイトバランスに係る評価値は、前記画像データの画像を分割してなる複数のブロックそれぞれの色温度に基づく評価値であることを特徴とする請求項２から６のいずれか１項に記載の画像認識装置。
【請求項８】
前記抽出手段は、前記特徴量として色、前記評価値、テクスチャに係る特徴量を抽出することを特徴とする請求項１から７のいずれか１項に記載の画像認識装置。
【請求項９】
前記抽出された特徴量を所定の中間表現に変換する中間表現作成手段を更に有することを特徴とする請求項１から８のいずれか１項に記載の画像認識装置。
【請求項１０】
前記画像データの大域的な特徴量に基づいて、前記画像データの画像のシーンを認識するシーン認識手段を更に有し、
前記判別手段は、前記認識された画像のシーンに基づいて前記複数の小領域それぞれのカテゴリを判別することを特徴とする請求項１から９のいずれか１項に記載の画像認識装置。
【請求項１１】
学習用画像データの小領域それぞれに対してカテゴリの正解データが付与された学習用データと、当該学習用画像データの前記評価値とに基づいて、前記小領域それぞれのカテゴリを判別するための識別器を学習する学習手段を更に有し、
前記判別手段は、前記学習された識別器を用いて前記小領域それぞれのカテゴリを判別することを特徴とする請求項１から９のいずれか１項に記載の画像認識装置。
【請求項１２】
画像データを取得するステップと、
前記画像データの画素の色成分または輝度値に基づいて、当該画像データに対応する画像の撮像時における複数種類の撮像制御処理のそれぞれについての画素の評価値を表す複数の評価値マップを生成するステップと、
前記取得された付帯情報と、前記取得された画像データの画像の画素値とに基づいて、当該画像を複数の小領域に分割するステップと、
前記分割するステップにより分割された複数の小領域において、前記複数の評価値マップ毎に、それぞれの小領域内の評価値に基づいて当該小領域同士を連結させて複数の連結小領域を生成するステップと、
前記分割された複数の小領域及び前記複数の評価値マップ毎に生成された複数の連結小領域のそれぞれから特徴量を抽出するステップと、
前記抽出された特徴量に基づいて、前記複数の小領域及び前記複数の評価値マップ毎に生成された複数の連結小領域のそれぞれのカテゴリを判別するステップと、
前記複数の小領域及び前記複数の評価値マップ毎に生成された複数の連結小領域のそれぞれのカテゴリの判別結果を統合するステップと
を有することを特徴とする画像認識方法。
【請求項１３】
コンピュータを、請求項１から１１のいずれか１項に記載の画像認識装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像を予め定められたカテゴリの領域に分割するための技術に関する。
【背景技術】
【０００２】
入力画像から対象物体を認識するための画像認識に関する技術について、広く研究が行われている。ここでいう画像認識とは、例えば、画像に存在する顔の位置を認識する顔認識、人体を検出する人体検出、画像が撮像された環境や状況を認識するシーン認識などである。画像認識において、入力画像として通常利用されるＪＰＥＧやＢＭＰなどのファイル形式は保存や鑑賞上の目的から設計されているため、このようなファイル形式から読み出されたＲＧＢイメージは、画像認識を高精度に行う上で十分な情報を与えることができない。そこで、画像撮影時に取得される情報を、画像認識の際に利用するという提案もなされている。
【０００３】
特許文献１には、青かぶりが発生するような晴天時の画像において、領域毎に適切なホワイトバランス（ＷＢ）係数を取得するためにシャドー領域と非シャドー領域の認識を行うことが記載されている。特許文献１の技術では、画像撮影時のパラメータを用いて測光値を取得し、画素の輝度を測光値で補正して画素毎の測光値マップを作成し、屋内シーンか屋外シーンかの判定と屋外シーンの場合におけるシャドー領域の認識を行っている。画像撮影時のパラメータとしては、露光時間、感度、開口数（Ｆ値）が挙げられている。
また、特許文献２には、入力画像信号の周波数やＳ／Ｎ比、圧縮方式、輝度等を各々クラスタリングし、そのクラス分類結果に対応する係数を用いて画像処理することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２２０１９７号公報
【特許文献２】特開２００８−８６０２１号公報
【非特許文献】
【０００５】
【非特許文献１】ＰＨＩＬＩＰＰ  Ｋｒａｈｅｎｂｕｈｌａｎｄ  ＶｌａｄｌｅｎＫｏｌｔｕｎ，  “Ｅｆｆｉｃｉｅｎｔ  Ｉｎｆｅｒｅｎｃｅ  ｉｎ  Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  ＣＲＦｓ  ｗｉｔｈ  Ｇａｕｓｓｉａｎ  Ｅｄｇｅ  Ｐｏｔｅｎｔｉａｌｓ”，  ＮＩＰＳ  ２０１１
【非特許文献２】Ａ．Ｓｈａｊｉ，Ｋ．Ｓｍｉｔｈ，Ａ．Ｌｕｃｃｈｉ，“ＳＬＩＣ  Ｓｕｐｅｒｐｉｘｅｌｓ，Ｒ．Ａｃｈａｎｔａ”，ＥＰＦＬ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，２０１０．
【非特許文献３】Ｊｉａｎｂｏ  Ｓｈｉａｎｄ  Ｊｉｔｅｎｄｒａ  Ｍａｌｉｋ，“Ｎｏｒｍａｌｉｚｅｄ  Ｃｕｔｓ  ａｎｄ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ”，ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＰＡＴＴＥＲＮ  ＡＮＡＬＹＳＩＳ  ＡＮＤ  ＭＡＣＨＩＮＥ  ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．２２，ＮＯ．８，２０００
【非特許文献４】ＹｕｒｉＢｏｙｋｏｖ，Ｏｌｇａ  Ｖｅｋｓｅｒ  ａｎｄ  Ｒａｍｉｎ  Ｚａｂｉｈ，“Ｆａｓｔ  Ａｐｐｒｏｘｉｍａｔｅ  Ｅｎｅｒｇｙ  Ｍｉｎｉｍｉｚａｔｉｏｎ  ｖｉａ  Ｇｒａｐｈ  Ｃｕｔｓ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ＰＡＭＩ，ｖｏｌ．２３，ｎｏ．１１
【非特許文献５】Ｇ．Ｂａｕｄａｔ，Ｆ．Ａｎｏｕａｒ，“Ｇｅｎｅｒａｌｉｚｅｄ  ｄｉｓｃｒｉｍｉｎａｔｅ  ａｎａｌｙｓｉｓ  ｕｓｉｎｇ  ａ  ｋｅｒｎｅｌ  ａｐｐｒｏａｃｈ”．Ｎｅｕｒａｌ  Ｃｏｍｐｕｔａｔｉｏｎ  １２（１０）：２０００
【非特許文献６】Ｇ．Ｃｓｕｒｋａ，Ｃ．Ｄａｎｃｅ，Ｌ．Ｆａｎ，Ｊ．Ｗｉｌｌａｍｏｗｓｋｉ，Ｃ．Ｂｒａｙ，“Ｖｉｓｕａｌ  ｃａｔｅｇｏｒｉｚａｔｉｏｎ  ｗｉｔｈ  ｂａｇｓ  ｏｆ  ｋｅｙｐｏｉｎｔｓ”，ＥＣＣＶ  ＳＬＣＶ  Ｗｏｒｋｓｈｏｐ，２００４
【非特許文献７】Ｓ．Ｌａｚｅｂｎｉｋ，Ｃ．Ｓｃｈｍｉｄ  ａｎｄ  Ｊ．Ｐｏｎｃｅ，“Ｂｅｙｏｎｄ  Ｂａｇｓ  ｏｆ  Ｆｅａｔｕｒｅｓ，Ｓｐａｔｉａｌ  Ｐｙｒａｍｉｄ  Ｍａｔｃｈｉｎｇ  ｆｏｒ  Ｒｅｃｏｇｎｉｚｉｎｇ，Ｎｅｕｒａｌ  Ｓｃｅｎｅ  Ｃａｔｅｇｏｒｉｅｓ”，ＣＶＰＲ２００６
【非特許文献８】Ａ．Ｏｌｉｖａ  ａｎｄ  Ａ．Ｔｏｒｒａｌｂａ，“Ｍｏｄｅｌｉｎｇ  ｔｈｅ  ｓｈａｐｅ  ｏｆ  ｔｈｅ  ｓｃｅｎｅ：ａ  ｈｏｌｉｓｔｉｃ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｔｈｅ  ｓｐａｔｉａｌ  ｅｎｖｅｌｏｐｅ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，２００１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、入力画像を予め定められたカテゴリ毎の領域に分割する画像認識処理が知られており、このような処理は「意味的領域分割」（Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ）と呼ばれる。意味的領域分割による画像認識処理は、認識対象に好適な画像補正やシーン解釈などに応用が可能である。
【０００７】
しかし、意味的領域分割による画像認識処理については、画像撮影時に取得される付帯情報を用いて精度良くカテゴリ毎の領域を認識する構成について提案されていなかった。
【課題を解決するための手段】
【０００８】
以上の課題を解決するために、本発明の画像認識装置は、画像データを取得する取得手段と、前記画像データの画素の色成分または輝度値に基づいて、当該画像データに対応する画像の撮像時における複数種類の撮像制御処理のそれぞれについての画素の評価値を表す複数の評価値マップを生成するマップ生成手段と、前記取得された画像データの画素の色と位置に基づいて、当該画像を複数の小領域に分割する分割手段と、前記分割手段により分割された複数の小領域において、前記複数の評価値マップ毎に、それぞれの小領域内の評価値に基づいて当該小領域同士を連結させて複数の連結小領域を生成する連結手段と、
前記分割された複数の小領域及び前記複数の評価値マップ毎に生成された複数の連結小領域のそれぞれから特徴量を抽出する抽出手段と、前記抽出された特徴量に基づいて、前記複数の小領域及び前記複数の評価値マップ毎に生成された複数の連結小領域のそれぞれのカテゴリを判別する判別手段と、前記複数の小領域及び前記複数の評価値マップ毎に生成された複数の連結小領域のそれぞれのカテゴリの判別結果を統合する統合手段とを有することを特徴とする。
【発明の効果】
【０００９】
以上の構成によれば、画像撮影時に取得される付帯情報を用いることで、高精度に意味的領域分割を行うことが可能になる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態において意味的領域分割の概念を説明する図。
【図２】第１の実施形態における画像認識装置のハードウェア構成を示す図。
【図３】第１の実施形態においてベイヤー配列の一例を示す図。
【図４】各実施形態における画像認識装置の機能構成を示す概略ブロック図。
【図５】各実施形態における意味的領域分割の処理を示すフローチャート。
【図６】第１の実施形態における画像認識処理の結果を説明する図。
【図７】第１の実施形態においてコントラス方式によるＡＦを説明する図。
【図８】第１の実施形態において色座標をＷＢ用色空間にプロットした一例を示す図。
【図９】各実施形態における学習装置の機能構成を示す概略ブロック図。
【図１０】各実施形態における学習装置による学習処理のフローチャート。
【図１１】第３の実施形態における画像認識装置の機能構成を示す概略ブロック図。
【図１２】第３の実施形態における学習装置の機能構成を示す概略ブロック図。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
以下、本発明の第１の実施形態について詳細に説明する。まず、本実施形における意味的領域分割による画像認識処理について説明する。図１は、意味的領域分割による画像認識処理の概念を説明する図である。本実施形態において、意味的領域分割とは、入力画像内の認識対象が占める領域のカテゴリを、当該領域の特徴量等から認識する画像認識処理である。例えば、ＳｋｙやＢｕｉｌｄｉｎｇ等の認識対象のカテゴリが人間によって予め定義されており、図１（ａ）に示すように入力画像に対して、図１（ｂ）のように画素単位でカテゴリを出力する処理になる。また、図１（ｂ）は、入力画像に対して正解の領域カテゴリが割り当てられた状態を示しており、このように正解の領域カテゴリを割り当てたマップのことをＧｒｏｕｎｄ  Ｔｒｕｔｈ（ＧＴ）と称す。
【００１２】
次に、本実施形態の画像認識装置の構成について説明する。本実施形態では、画像認識装置がデジタルカメラ等の撮像装置の形態として構成されている場合を例に説明する。図２は、本実施形態の画像認識装置２００のハードウェア構成を示す概略ブロック図である。
【００１３】
同図において、光学系２０１は、ズームレンズ、フォーカスレンズ、絞り、シャッタ等を備えている。光学系制御部２０２は、ズームレンズ、フォーカスレンズ、絞り、シャッタを制御するズームモータ、フォーカスモータ、絞りモータ、シャッタモータを有し、各モータはモータドライバによって駆動される。モータドライバは、後述するプロセッサ２０７から駆動信号を受け取る。
【００１４】
センサ２０３は、光学系を通して入射される被写体画像が受光面上に結像するイメージセンサを備えており、イメージセンサの画素にはＲＧＢカラーフィルタがベイヤー配列に組み付けられている。Ｆ／Ｅ（フロントエンド）２０４は、センサ２０３から被写体画像信号を受け取り、被写体画像信号のノイズ除去、ゲイン調整、Ａ−Ｄ変換を行い、さらに信号処理部２０５にデジタイズされた被写体画像信号、ＲＡＷ−ＲＧＢを出力する。
【００１５】
ここでＲＡＷ−ＲＧＢは、ＲＧＢベイヤー配列の画像である。図３はベイヤー配列の例を示しており、図中のＲ、Ｇｒ、Ｇｂ、Ｂはそれぞれレッド、グリーン、グリーン、ブルーに対応する可視光の波長帯域を通過させる色フィルタである。Ｇｒ、Ｇｂは、配置を区別するために異なる記号を使うが、フィルタの特性は同じである。
【００１６】
信号処理部２０５は、ＡＦ（自動合焦）、ＡＥ（自動露出）、ＡＷＢ（自動ホワイトバランス）の各評価値の計算、意味的領域分割における画像処理で用いるためのリサイズ処理を行う。ＡＦ、ＡＥ、ＡＷＢ評価値の計算についての詳細は後述する。その他、信号処理部２０５は、撮影装置として必要な各種処理を行う。例えば、ＲＡＷ−ＲＧＢのオフセット成分を用いた黒の補正（ＯＢクランプ）、ＷＢ処理、ベイヤー配列のＲＧＢ画像を補間するデモザイキング処理、イメージセンサのＲＧＢカラーフィルタが持つ分光特性を理想特性に近づける色補正処理である。また、ＲＧＢ画像の解像感を高める輪郭補正処理、イメージセンサの出力信号に重畳するランダムノイズ、固定パターンノイズを低減するノイズリダクションも行う。その他にも、ディスプレイの非線形性を補正するガンマ補正処理、ＲＧＢ画像をＹＣｂＣｒ画像（Ｙ／Ｃ画像）に変換するＲＧＢ−ＹＣｂＣｒ変換処理等も行う。なお、これらの処理については、一般的に知られている処理であるため、詳細な説明は省略する。信号処理部２０５は、ＡＳＩＣ等で実現される各処理をハードウェア実装したデジタル回路でも、ＤＳＰやマイクロコントローラのようなプロセッサでもよいし、それらを適宜組み合わせたものでもよい。
【００１７】
ＳＤＲＡＭ２０６には、Ｆ／Ｅ２０４から出力されるＲＡＷ−ＲＧＢが信号処理部２０５を介して保存される。さらに、信号処理部２０５が出力するＲＧＢ画像、Ｙ／Ｃ画像、後述する記録部２１１に保存する際のＪＰＥＧデータやＪＰＥＧエンコードの中間データが保存される。プロセッサ２０７は、上述した意味的領域分割による画像認識処理や、保存のためのＪＰＥＧエンコードが実行される。ここでＪＰＥＧエンコードは、Ｙ／Ｃ画像に対し、ＤＣＴ（離散コサイン変換）、量子化、ハフマン符号化を実行することで実現する。本実施形態においては、ＤＣＴで得られるＤＣＴ係数マトリックスが他の処理でも利用可能である。ＲＯＭ２０８には、信号処理部２０５やプロセッサ２０７によける処理の制御プログラムやパラメータ、定数等が保存されている。
【００１８】
操作部２０９は、画像認識装置の電源を入れる電源スイッチ、撮影動作を開始させるリリースボタンをはじめとする、各種ボタンとスイッチで構成されている。表示部２１０は、画像認識装置で撮像し画像処理を行ったＹ／Ｃ画像や、プロセッサ２０７で処理した意味的領域分割の結果等を表示させるＬＣＤモニタを備えている。記録部２１１は、ＳＤＲＡＭ２０６に保存されたＪＰＥＧ画像等を書き込むメモリカードのカードスロットやコントローラを備えている。信号処理部２０５、光学系制御部２０２、プロセッサ２０７、ＲＯＭ２０８、操作部２０９、表示部２１０、記録部２１１は、バスラインを介して相互に接続されている。
【００１９】
図４は、各実施形態における画像認識装置２００の機能構成を示す概略ブロック図であり、図４（ａ）は本実施形態の画像認識装置２００の機能構成を示している。本実施形態の画像認識装置２００は、評価値マップ作成部４０１、現像部４０２、小領域分割部４０３、小領域特徴量取得部４０４、領域判別部４０５、統合・後処理部４０６を有する。各機能部は、プロセッサ２０７、ＲＯＭ２０８、操作部２０９、表示部２１０、記録部２１１、信号処理部２０５などの画像認識装置２００が有するハードウェア構成によって実現される。以下、本実施形態における意味的領域分割の画像認識処理に係るフローチャートを参照しながら、各機能部が実行する処理の詳細を説明する。
【００２０】
図５は、各実施形態における意味的領域分割による画像認識処理に係るフローチャートであり、図５（ａ）は本実施形態のフローチャートを示している。ステップＳ５０１の評価値マップ作成工程では、評価値マップ作成部４０１が、ＲＧＢ各成分がベイヤー配列した画像であるＲＡＷ−ＲＧＢからＡＦ、ＡＥ、ＡＷＢの各評価値を算出し、それぞれマップ化する。ここで、ＲＡＷ−ＲＧＢは、光学系２０１を通しイメージセンサ２０３上に結像した被写体画像を、Ｆ／Ｅでデジタイズすることにより作成される。図６は、本実施形態の意味的領域分割に係る画像認識処理の結果を示しており、ここでは、図６（ａ）に示すような撮像対象に対して、ベイヤー配列の画像であるＲＡＷ−ＲＧＢが得られる。
【００２１】
ここで、まず、ＡＦ評価値を算出し、ＡＦ評価値マップを作成する手法について述べる。ここでは、ＡＦを実現する方法の１つであるコントラスト方式を例に説明する。コントラスト方式では、撮像対象の画像を複数のブロックに分割するとともに、フォーカスレンズの位置を変化させ、各ブロック内におけるコントラストを算出する。そして、最もコントラストが高くなるフォーカスレンズ位置を合焦点とする方式である。
【００２２】
図７は、コントラス方式によるＡＦを説明する図である。まず、図７（ａ）に示すように、画像７０１に対して水平方向、垂直方向を各６分割してブロックを設定し、それぞれのブロックでコントラスト値を取得する。コントラスト値は、高周波成分抽出や、隣接画素間の差分絶対値の積分等によって算出、取得される。図７（ｂ）、（ｃ）、（ｄ）は、それぞれブロック（４，２）、（５，５）、（２，５）における、フォーカスレンズ位置に対するコントラストをプロットしたものである。例えばブロック（４，２）を測距点とする場合は、合焦点７０６がフォーカスレンズの合焦位置となる。またブロック（２，５）は空領域に位置するブロックであるが、空のようにコントラスト変化があまりない領域では、ＣＬ（２，５）が示すように、コントラストの最大値が顕著に表れない。
【００２３】
フォーカスレンズ位置に対するコントラスト変化７０５、７０８、７０９は、撮影装置から被写体までの距離に対応すると同時に、各ブロックにおける被写体のテクスチャの度合を表現する量であるため、本実施形態の画像認識処理において重要な情報である。本実施形態では、このコントラスト分布そのもの（７０５、７０８、７０９等）をＡＦ評価値マップとして取得する。
【００２４】
なお、ブロック内のコントラスト値の計算は、図３に示したベイヤー配列のＲＡＷ−ＲＧＢにおけるＧｒ、Ｇｂ画素の平均値、ｍｅａｎ（Ｇｒ、Ｇｂ）のみで行うことができるが、他の方法であってもよい。例えば、Ｒ、ｍｅａｎ（Ｇｒ、Ｇｂ）、Ｂそれぞれ別々にフォーカスレンズ位置に対するコントラストを取得して３つのマップを作成してもよいし、Ｒ、Ｇｒ、Ｇｂ、Ｂの平均値を使ってコントラスト値を取得してもよい。
【００２５】
ここでは、画像７０１を３６のブロックに分割しているが、１ブロックあたりの面積（画素数）が大き過ぎると、局所領域のカテゴリ判定を行うには粗過ぎるということも考えられる。そのような場合には、同じサイズのブロックで位置の重複を許容することにより、より密にコントラスト値の計算を行えるようにしてもよい。あるいは、水平方向、垂直方向に各５０ブロック、１００ブロック、５００ブロックに分割し、複数のブロック数で多重にコントラスト値の計算を行い加重平均するなどして、高解像度化してもよい。あるいは、補間処理を行い粗い評価値マップを高解像度化してもよい。なお、図７（ｂ）、（ｃ）、（ｄ）に示したコントラストの曲線は、複数のフォーカスレンズ位置におけるコントラスト値から得られる。そのため、ＡＦ評価値マップを取得するには、フォーカスレンズ位置を複数回動かして、画像を撮像することになる。
【００２６】
さらに、ここではコントラスト値を取得する領域をブロックとして説明したが、後述するステップＳ５０３の処理で用いられるＳｕｐｅｒ−Ｐｉｘｅｌ（ＳＰ）と呼ばれる小領域単位でコントラスト値を取得してもよい。その場合、本工程にて撮像対象の画像をＳＰに分割し、その分割結果を小領域分割部４０３に送信することで、ステップＳ５０４では重複してＳＰ分割の処理が行われないようになる。後述するＡＷＢ評価値の取得でも、同様にＳＰを用いてもよい。
【００２７】
また、ＡＦの別方式には、位相差方式と像面位相差方式がある。コントラスト方式のＡＦ評価値マップの代わりに、これらの方式で取得できる評価値のマップを用いてもよいが、これらの方式は一般に画像の面に対して極めて疎な位置でしか評価値を得られない。そこでマップ化するに当たり、コントラスト方式を併用し、位相差方式あるいは像面位相差方式でＡＦ評価値が取得できる位置ではその値を用い、それ以外の位置ではコントラスト方式の分布を用いるという方法が考えられる。また、重みを付け、両者を混合させてもよい。
【００２８】
近年、像面位相差方式の位相差検出素子が密に配置されたイメージセンサが一般化されつつある。このイメージセンサでは、ＡＦ評価値を密に取得できるため、位相差検出素子群の出力をそのままＡＦ評価値マップとしてもよい。なお上述の説明においては、それぞれのマップでは、コントラストや位相差の分布を用いると説明したが、平均、標準偏差等の他の統計量を用いてもよい。
【００２９】
次に、ＡＥ評価値を算出し、ＡＥ評価値マップを作成する手法について述べる。デジタルカメラ等の撮像装置における撮像制御において、ＡＥの評価値は、専用の測光センサで取得する方法のほか、イメージセンサが受光する信号強度から算出する方法がある。ここでは、いずれかの方法で被写体に対して適正な露出が決定されたとし、その評価値のマップ化の方法を説明する。
【００３０】
本実施形態では、ＡＥの評価値として輝度値ＢＶ（Ｂｒｉｇｈｔｎｅｓｓ  Ｖａｌｕｅ）を扱う。ＢＶは、被写体の物理的な光の強度に相当し、適正露出の下では、下記の数１式で表現される、ＡＰＥＸ（Ａｄｄｉｔｉｖｅ  ｓｙｓｔｅｍ  ｏｆ  ｐｈｏｔｏｇｒａｐｈｉｃ  ｅｘｐｏｓｕｒｅ）が定める関係が満たされる。
ＢＶ＝ＡＶ＋ＴＶ−ＳＶ      数１式
ただし、ＡＶ、ＴＶ、ＳＶはそれぞれ、数２式、数３式、数４式で表わされる値であり、またＦは絞り値（Ｆ値）、ｅｔｉｍｅは露光時間、ｉｓｏは感度である。
ＡＶ＝ｌｏｇ２（Ｆ２）      数２式
ＴＶ＝ｌｏｇ２（１／ｅｔｉｍｅ）      数３式
ＳＶ＝ｌｏｇ２（０．３・ｉｓｏ）      数４式
このＢＶは１つの画像に対し取得できる値で、さらに下記の数５式、数６式のように、ＲＡＷ―ＲＧＢの画素値を補正することで、画素毎のＢＶが取得できる。
Ｌ（ｉ）＝０．３・ｒ（ｉ）＋０．６・ｇ（ｉ）＋０．１・ｂ（ｉ）      数５式
ＢＶ（ｉ）＝ＢＶ＋ｌｏｇ２（Ｌ（ｉ）／ｏｐｔ）      数６式
ただし、ｉは画素のインデックス、ｒ（ｉ）、ｇ（ｉ）、ｂ（ｉ）はＲＡＷ―ＲＧＢをデモザイキングしＲＧＢ３チャネルの画像に変換した時の、画素ｉにおけるＲ、Ｇ、Ｂそれぞれのチャネルの画素値である。そしてＬ（ｉ）は画素ｉの３チャネルの加重平均、ｏｐｔはイメージセンサの絞り値、露光時間、感度の参照値から得られる定数、ＢＶ（ｉ）は画素ｉのＢＶである。
【００３１】
ここで、数６式において、画素値の加重平均Ｌ（ｉ）を用いず、Ｒ、Ｇ、Ｂそれぞれの値ｒ（ｉ）、ｇ（ｉ）、ｂ（ｉ）を用いることで、下記の数７式、数８式、数９式のように、ＲＧＢチャネル毎のＢＶマップを取得できる。
【００３２】
【数１】
0006639113.tif 000002
【００３３】
【数２】
0006639113.tif 000003
【００３４】
【数３】
0006639113.tif 000004
本実施形態では、上述のようにしてＲＧＢ毎のＢＶマップ
【００３５】
【数４】
0006639113.tif 000005
を取得し、ＡＥの評価値マップとして用いる。
【００３６】
次に、ＡＷＢ評価値を算出し、ＡＷＢ評価値マップを作成する手法について述べる。ＡＷＢは、イメージセンサの画素値から光源の色味（色温度）を推定し、その色味よる被写体の色の見えの変化を軽減させる画像処理である。一般に画像中から白色（無彩色）領域を複数抽出し、それらの領域に対応する色温度の中で最も領域数の多い色温度を画像全体の色温度とする。色温度には、その色変化を軽減させる係数（ＷＢ係数）が対応付けられており、色温度に対応するＷＢ係数をＲＡＷ−ＲＧＢに掛けることによって、ＷＢ処理が実行される。本実施形態におけるＡＷＢ評価値は、上述の画像処理において推定される色温度であり、本工程では、色温度の推定値を取得し、そのマップ化を行う。
【００３７】
通常、色温度は画像全体で１つの値に決まるが、光源が複数ある場合もあり、その場合には複数の値をとることになる。たとえば晴天時の日中の屋外では、日光からの光線と天球上の日光以外の青空部分からの光線の２つの光源がある。陰領域では、このうち日光からの光線が遮蔽されるので、陰領域に存在する被写体は、主に青空部分からの光線に当たり青かぶりが発生する。そのため、白色（無彩色）領域だけを頼りに、領域別の色温度を正確に推定することは難しいが、画像中の白色領域の分布とそれに対応する色温度の分布を出すことは可能である。そのような情報はＷＢ処理には使えないが、領域のカテゴリを識別する上での手がかりの一つにすることはできる。そこで、本実施形態では、領域別の色温度の分布を取得し、画像の局所領域の特徴量とする。
【００３８】
本実施形態において、色温度の推定値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値を元に算出する。まず、画像１画面を水平方向、垂直方向それぞれに１６分割、すなわち計２５６ブロックに等分割し、そのブロック内の画素値の積分値を色座標（Ｇ／Ｒ、Ｇ／Ｂ）上にプロットする。そして、各ブロックの色空間上の分布から、白色（無彩色）と推定されるエリアを特定する。図８は、各ブロックの色座標をＷＢ用色空間にプロットした一例を示す図である。
【００３９】
同図に示されるように、ＷＢ用色空間上に予め光源の色温度を変化させた黒体照射の軌跡Ｃがリファレンスとして用意され、実際の撮影環境下で想定される複数の光源色をこの軌跡上に配置する。そして、それぞれの光源を中心にある程度の広がりを持たせた領域Ｗ１〜Ｗ１２を、白検出エリアとして設定する。なお、信号値が飽和している高輝度ブロックや、ノイズの重畳が著しい暗いブロックは除外し、Ｇ／Ｒ、Ｇ／Ｂ上にプロットし、その座標がいずれかの白検出エリア内にあれば、そのブロックは、白色を映したブロックである可能性が高い。本実施形態では、白検出エリアのうち、プロット分布との関係で所定の条件（一定数以上など）を満たすエリアを白検出エリアとする。すなわち、白検出エリアは複数存在するとし、白検出エリア外のブロックは、白検出エリア内のブロック数の割合に等しい確率で複数の白検出エリアに対応する色温度が割り当てられるとする。例えば、図８では、８０１内のブロック数は５つ、８０２内のブロック数は３つであるため、８０３に対応するブロックは、確率０．６２５（＝５／８）でＷ６に対応する色温度、確率０．３７５（＝３／８）でＷ９に対応する色温度となる。一方、そのブロック自体が白検出エリアの場合は、該当する色温度をそのブロックにおける色温度とする。図８の例では、８０１内のブロックは確率１．０でＷ６に対応する色温度、８０２内のブロックは確率１．０でＷ９に対応する色温度とする。
【００４０】
以上のように取得される色温度マップは、さらに空間的な平滑化やフィルタリング処理を実行してもよい。その処理の一例としては、非特許文献１の条件付き確率場（ＣＲＦ）を適用することが考えられる。この場合、光源は輝度と位置に相関することが考えられるので、画素ｉの輝度値ＢＶ（ｉ）と、画素の位置が類似するとき同じ色温度となる確率が高くなるようにペアワイズポテンシャルを設定すればよい。
【００４１】
ここでは、画像１画面を２５６ブロックに分割し、色座標は（Ｇ／Ｒ、Ｇ／Ｂ）として説明したが、本実施形態はこの形態に限られるものではない。ブロック数は他の任意のブロック数でもよく、色空間はその他のＷＢ用色空間でもよい。さらに、ＡＦ評価値マップの作成と同様に、ＲＧＢ値の積分値を算出する単位をブロックではなく、ＳＰを用いてもよい。なお、通常の画像処理のＡＷＢに用いる評価値は、通常の手法と同様に１つの値を取得すればよい。
【００４２】
次に、ステップＳ５０２の現像工程では、現像部４０２が、ＲＡＷ―ＲＧＢに対してＯＢクランプ、ＡＷＢ、ノイズリダクション、輪郭補正等の必要な画像処理を行い、Ｙ／Ｃ画像やリサイズしたＲＧＢ画像を出力する。この処理は通常の現像処理であるため、詳細な説明は割愛する。
【００４３】
続いて、ステップＳ５０３の小領域分割工程では、小領域分割部４０３が、ＲＧＢ画像を複数の小領域（ＳＰ）に分割する。ここで、小領域とは、ＲＧＢ画像の画素や位置、特徴量が類似した複数の画素で構成される領域である。本実施形態では、次の２つのステップで小領域分割を行う。
【００４４】
まず、最初のステップとして、非特許文献２に記載される方法により、色と位置が類似した比較的細かい複数の領域に分割する（以下、これをＳＰと称す）。ＳＰとしては、非特許文献２に記載の方法以外に、矩形形状に分割した碁盤目状の領域を利用してもよい。
【００４５】
そして、次のステップとして、各ＳＰ内の特徴量が類似した領域を連結させ比較的大きな小領域を作成する（以下、これを連結ＳＰと称す）。特徴量は、ＳＰ内のＲＧＢやＬａｂなどのヒストグラムや統計量（平均、標準偏差など）のほか、評価値マップ作成工程Ｓ５０２で作成したＡＦ評価値マップ及びＡＥ評価値マップ（ＢＶマップ）のＳＰ内の統計量を用いてもよい。さらには、画像からテクスチャ特徴を抽出し、ＳＰ内で集計した値を用いてもよい。
【００４６】
ここで、ステップＳ５０１においてＡＦ／ＡＷＢ評価値マップの作成を、ＳＰをベースとして行っている場合、本工程におけるＳＰはＳ５０１の評価値マップ作成工程で作成したＳＰを用い、重複して同じ処理は行わない。また、ＡＦ評価値マップをＳＰの連結に用いる場合、ＳＰ間のコントラストの分布の近さを適当な尺度で計量し、その近さに応じて連結させればよい。また、ＡＦ評価値マップをＳＰの連結に用いるが、ＡＦ評価値マップをブロック単位で作成している場合は、ＳＰにブロックを重畳させＳＰ内のコントラストの統計量を計算する。ＢＶマップをＳＰの連結に用いる場合は、画素毎のＢＶからＳＰ域内の統計量を取得すればよい。
【００４７】
またテクスチャ特徴は、Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ（ＬＢＰ）や、Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｇｒａｄｉｅｎｔ（ＨＯＧ）等の特徴量を計算してもよいし、ＪＰＥＧエンコード時に用いるＹ／Ｃ画像に対するＤＣＴ係数を用いてもよい。ＤＣＴ係数を用いる際は、本工程にてＹ／Ｃ画像にＤＣＴを掛け、その結果であるＤＣＴ係数をＳＤＲＡＭ２０６に一時保存し、ＪＰＥＧエンコード時に再度読み出して用いるようにする。ＤＣＴ係数は、テクスチャと無関係なＤＣ成分を含み、また高周波部分はノイズで揺らぎやすいので、すべての成分を用いる必要はなく、高周波やＤＣ成分をカットしてもよい。
【００４８】
類似ＳＰの連結には、ヒストグラムインターセクションやガウスカーネル等で類似度行列を作成し、非特許文献３のＮｏｒｍａｌｉｚｅｄ  ｃｕｔのようなスペクトラルクラスタリング手法を用いればよい。また、非特許文献４に記載されているようなグラフカット手法、あるいは非特許文献１に記載のＣＲＦ等を用いてもよい。なお、本実施形態では、色に関し輝度と色差で別に扱い、輝度、色差、ＡＦ評価値、ＢＶ、ＤＣＴ係数の５つのモーダルで各々類似ＳＰ間の連結を行う。すなわちＳＰと、輝度、色差、ＡＦ評価値、ＢＶ、ＤＣＴ係数それぞれが類似するＳＰを連結させた５種類の連結ＳＰ、計６種類の小領域を作成する。
【００４９】
次に、ステップＳ５０４の小領域特徴量取得工程では、小領域特徴量取得部４０４が、小領域分割工程Ｓ５０３で作成したＳＰおよび連結ＳＰにから特徴量を抽出し、ＳＰおよび連結ＳＰにおける特徴量情報を取得する。ここでは、特徴量として、色、評価値マップ、テクスチャに関する情報を取得する。本実施形態では、小領域分割工程Ｓ５０３でＹ／Ｃ画像に対するＤＣＴ係数が取得済みであるので、テクスチャ特徴としてＤＣＴ係数を用いる。またＡＦ評価値マップとＡＥ評価値マップに関しては、小領域分割工程Ｓ５０３の説明で既に述べたように、小領域の特徴量を取得すればよい。ＡＷＢ評価値マップに関しても、ＡＦ評価値マップと同様に小領域内の値を取得する。色に関する特徴量は、小領域分割工程Ｓ５０３と同様に、小領域内のＲＧＢ値やＬａｂ値のヒストグラムや統計量を特徴量にする。
【００５０】
次に、ステップＳ５０５の領域識別工程では、領域判別部４０５が、領域識別器保持部４０７に記憶されている複数の領域識別器を用いて領域カテゴリの識別を行う。複数の領域識別器は、小領域毎に、小領域特徴量取得工程Ｓ５０４で取得した特徴量に基づき領域カテゴリの識別を行う。領域識別器は、例えば、多クラス化したロジスティック回帰やサポートベクターマシン（ＳＶＭ）などのように特徴量を入力し、多クラスの識別結果が出力される識別器であればよい。
【００５１】
ここで、複数の領域識別器とは、前述した６種類の小領域（ＳＰおよび輝度、色差、ＡＦ評価値マップ、ＢＶマップ、ＤＣＴ係数が類似するＳＰを連結させた連結ＳＰ）それぞれで学習した領域識別器である。各領域識別器をＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６とする。そして、それぞれの領域識別器に対応する特徴量を入力し、領域識別器の判別結果を得る。ここで判別結果は、領域カテゴリ毎のスコアとする。領域カテゴリ数を３としたとき、領域識別器Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６の、ｉ番目のＳＰにおけるカテゴリ毎のスコアＳ１ｉ、Ｓ２ｉ、Ｓ３ｉ、Ｓ４ｉ、Ｓ５ｉ、Ｓ６ｉは、下記の数１０式のようにして得られる。
【００５２】
【数５】
0006639113.tif 000006
ステップＳ５０６の統合・後処理工程では、例えば、領域識別器Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６のカテゴリ毎の尤度がＳ１ｉ、Ｓ２ｉ、Ｓ３ｉ、Ｓ４ｉ、Ｓ５ｉ、Ｓ６ｉの場合、統合識別器に入力する特徴量ｘｉは、下記の数１１式として表わされる。
ｘｉ＝｛Ｓ１ｉ，Ｓ２ｉ，Ｓ３ｉ，Ｓ４ｉ，Ｓ５ｉ，Ｓ６ｉ｝      数１１式
なお、統合識別器の特徴量には、各領域識別器のスコアの他、各領域識別器の入力として用いた特徴量を用いてもよい。その場合、それに合わせた学習を、後述する統合識別器学習工程Ｓ８０６で行う。また、各領域識別器のスコアを加重平均して用いてもよいし、単純に平均して用いてもよい。以上の処理により、ＳＰ毎にカテゴリの尤度が得られるので、最後に空間的な平滑化を行い、最終的な識別結果を取得する。本実施形態では、下記の数１２式のように、平滑化に非特許文献１のＣＲＦを用いる。
【００５３】
【数６】
0006639113.tif 000007
ただし、Ψｕ（ｘｉ）はＳＰの尤度、Ψｐ（ｘｉ，ｘｊ）はＳＰ間の特徴量や尤度の類似度によって変化するポテンシャル（ペアワイズポテンシャル）である。ここでの類似度は、非特許文献１に記載のように、ガウスカーネルを用いて求める。つまり、Ｚを分配関数として、下記の数１３式で表わされる周辺事後確率を最大化するカテゴリＬを、最終的な領域カテゴリとする。
Ｐ（Ｌ｜Ｘ）＝ｅｘｐ（−Ｅ（Ｘ））／Ｚ      数１３式
次に、本実施形態における領域識別工程Ｓ５０５、統合・後処理工程Ｓ５０６で利用する領域識別器および統合識別器の学習方法について説明する。図９は、各実施形態における学習装置の機能構成を示す概略ブロック図であり、図９（ａ）は本実施形態における学習装置９００を示している。学習装置９００は、小領域分割部９０２、小領域特徴量取得部９０３、領域識別器学習部９０５、領域識別部９０７、統合識別器学習部９０９を有する。さらに、学習装置９００は、記憶部として学習用データ保持部９０１、領域識別器学習用データ保持部９０４、統合識別器学習用データ保持部９０８、統合識別器保持部９１０を有している。このような学習装置９００は、ネットワークまたは各種情報記録媒体を介して取得したソフトウェア（プログラム）を、ＣＰＵ、メモリ、ストレージデバイス、入出力装置、バス、表示装置などにより構成される計算機によって実現できる。なお、学習装置９００は、画像認識装置２００と一体の装置として構成されてもよい。また、その場合、小領域分割部９０２、小領域特徴量取得部９０３等は、画像認識装置２００の小領域分割部４０３、小領域特徴量取得部４０４等と共通の機能部であってもよい。
【００５４】
次に、図１０を参照して、本実施形態における学習装置による学習処理の詳細について説明する。図１０は、各実施形態における学習装置による学習処理のフローチャートを示しており、図１０（ａ）は本実施形態における学習に関する処理の一例を示すフローチャートである。ここで各工程の概要および図９（ａ）に示した各手段の機能について説明する。図１０は、各実施形態における学習装置による学習処理を示すフローチャートであり、図１０（ａ）は本実施形態における学習処理を示している。
【００５５】
図１０（ａ）において、ステップＳ１００１は小領域分割工程である。学習用データ保持部９０１には、学習用データのＲＧＢ画像と各評価値マップ、及び学習用画像データの領域毎の正解データが付与された領域カテゴリＧＴマップが保存されている。
【００５６】
ステップＳ１００１では、小領域分割部９０２が、学習用データ保持部９０１に保存されている学習用データのＲＧＢ画像と評価値マップとを取得し、ランタイム処理時（画像認識装置による意味的領域分割処理）と同様に、小領域分割を行う。次に、ステップＳ１００２の小領域特徴量取得工程では、小領域特徴量取得部９０３が、ランタイム処理時と同様に、小領域の特徴量を取得する処理を実行する。ここでは、小領域の領域カテゴリＧＴを取得し、各モーダルの小領域毎の特徴量と領域カテゴリＧＴを、領域識別器学習用データ保持部９０４に保存する。
【００５７】
続いて、ステップＳ１００３の領域識別器学習工程では、領域識別器学習部９０５が、領域識別器学習用データ保持部９０４に保持されている、小領域毎の特徴量と領域カテゴリＧＴに基づき、モーダル毎の識別器の学習を行う。学習した領域識別器は、領域識別器保持部９０６に送信され、保存される。ここで、領域識別器学習用データ保持部９０４には、ＳＰおよび輝度、色差、ＡＦ評価値マップ、ＢＶマップ、ＤＣＴ係数が類似するＳＰを連結させた連結ＳＰ、計６種類の小領域ごとに、小領域毎の特徴量と対応する領域の領域カテゴリＧＴが保持されている。本実施形態では、領域識別器は、多クラス識別を行う識別器であれば特に限定しない。すなわち、多クラス化したロジスティック回帰やサポートベクターマシンの他、ランダムフォレスト、ニューラルネットワークなどを適用すれば良い。このようにして、上記６つの領域種類毎に領域識別器を学習する。
【００５８】
次に、ステップＳ１００４の領域識別工程では、領域識別部９０７が、領域識別器学習用データ保持部９０４に保持されている特徴量のセットに対し、領域識別器学習工程Ｓ１００３で学習した領域識別器を使い、領域カテゴリの識別を行う。ＳＰ毎の領域カテゴリの判別結果と対応する領域カテゴリＧＴは、統合識別器学習用データ保持部９０８に保存する。
【００５９】
ステップＳ１００５の統合識別器学習工程では、統合識別器学習部９０９が、統合識別器学習用データ保持部９０８に保存されている領域識別器の判別結果と領域カテゴリＧＴに基づき統合識別器の学習を行う。学習した統合識別器は統合識別器保持部９１０に送信され、保存される。ここで、学習の教師値には各ＳＰに対応する領域カテゴリＧＴを用い、特徴量は前述の通り、各領域識別器の判別結果を用いる。すなわち、ＳＰおよび輝度、色差、ＡＦ評価値マップ、ＢＶマップ、ＤＣＴ係数が類似するＳＰを連結させた連結ＳＰ、計６種類の小領域ごとに、その他特徴量として、前述のように領域識別器で用いた特徴量をここでも用いてもよい。また、統合識別器も領域識別器と同様に多クラス識別を行う識別器であれば特に限定しない。
【００６０】
なお、本実施形態における上述の説明では、画像認識装置２００がデジタルカメラ等の撮像装置として一体に構成される例を示したが、本実施形態の画像認識装置２００は、このような形態に限定されるものではなく、撮像装置として別体であってもよい。その場合、画像認識装置２００は、撮像装置から、ＲＡＷ−ＲＧＢもしくはＲＧＢ画像等の形式で画像データを取得するとともに、ＡＦ、ＡＥ、ＡＷＢ等の評価値に係る情報（マップ）を画像データに付帯する付帯情報として取得する。そして、これらを基に、意味的領域分割に係る画像処理を実行すればよい。
【００６１】
以上、本実施形態によれば、画像認識装置２００は、画像の撮像制御や保存時に取得され、画像に係るデータ（ＲＧＢ画像データ）に付帯する付帯情報を用いることにより、精度よく領域カテゴリ判定を実行することが可能である。
【００６２】
［第２の実施形態］
第１の実施形態は、ＡＥ、ＡＦ、ＡＷＢの評価値やＤＣＴ係数など、撮像制御や画像保存に用いる付帯情報をマップ化し、それを画像の局所特徴量として、画像内の局所的な領域における領域カテゴリの識別を行うものである。マップ化された付帯情報は領域識別を行う上での十分な情報となりうるが、例えばＤＣＴ係数であれば、Ｙ／Ｃｂ／Ｃｒ各６４次元、３チャネル計１９２次元となり、認識したいカテゴリによっては過度に冗長であったり、メモリ領域を圧迫する可能性がある。
【００６３】
そこで、本発明の第２の実施形態では、高次元の付帯情報マップを次元圧縮してより低次元の中間的表現に変換し、変換したマップを用いて領域識別を行うことで、軽量な意味的領域分割を実現する。なお、第１の実施形態において既に説明した構成については、同一の符号を付し、その説明は省略する。
【００６４】
図４（ｂ）は、本実施形態における画像認識装置２００の機能構成を示す概略ブロック図である。本実施形態の画像認識装置２００は、第１の実施形態の各機能部に加え、中間表現作成部４０９と、中間表現変換係数保持部４１０とを備える。図５（ｂ）は、本実施形態の画像認識装置２００による意味的領域分割に係る画像認識処理のフローチャートである。ここで、図５（ｂ）を参照しつつ、本実施形態の中間表現作成部４０９と、中間表現変換係数保持部４１０との詳細について説明する。
【００６５】
図５（ｂ）に示す意味的領域分割に係る画像認識処理において、図５（ａ）の第１の実施形態と異なる点は、ステップＳ５０７の中間表現作成工程が追加されていることである。この中間表現作成工程Ｓ５０７では、中間表現作成部４０９が、小領域特徴量取得工程Ｓ５０４で取得した小領域毎の高次元な特徴量から低次元の中間表現を作成する。この低次元の中間表現の作成には、主成分分析等の任意の次元削減方法を用いることができるが、本実施形態では、非特許文献５のカーネルフィッシャー判別分析を用いる。これは、本実施形態では、小領域毎のカテゴリＧＴが与えられており、教師あり学習の枠組みでの次元削減が可能であり、また、領域カテゴリによっては線形判別ができない場合もあるためである。カーネルフィッシャー判別分析は全ての特徴量に適用できるが、本実施形態においては、特に特徴次元が高いＤＣＴ係数に対し行う。しかし、中間表現作成の対象を常にＤＣＴ係数に限定するものではない。中間表現作成部４０９は、ＤＣＴ係数に関して、中間表現変換係数保持部４１０に保持されている判別係数を用い、カテゴリ毎に判別分析を実施して、低次元の中間表現を作成する。そして、作成した中間表現を領域判別部４０５に送信し、ＤＣＴ係数以外の特徴量に関しては、小領域特徴量取得部４０４から受信した特徴量を領域判別部４０５に送信する。領域判別部４０５は、ここで作成した中間表現も小領域特徴量取得部４０４で作成した特徴量も、同様に小領域毎の特徴量として扱う。
【００６６】
図９（ｂ）は、本実施形態における学習装置９００の機能構成を示す概略ブロック図である。本実施形態の学習装置９００は、図９（ａ）に示した第１の実施形態の各機能部に加え、中間表現変換係数学習部９１２、中間表現作成部９１４、中間表現変換係数学習用データ保持部９１１、中間表現変換係数保持部９１３を有する。図１０（ｂ）は、本実施形態の学習装置９００による学習処理のフローチャートである。ここで、図１０（ｂ）を参照して、本実施形態における中間表現変換係数学習部９１２、中間表現作成部９１４、中間表現変換係数学習用データ保持部９１１、中間表現変換係数保持部９１３の詳細について説明する。
【００６７】
図１０（ｂ）に示す学習処理において、図１０（ａ）の第１の実施形態と異なる点は、ステップＳ１００６の中間表現変換係数学習工程と、ステップＳ１００７の中間表現作成工程が追加されていることである。また、ステップＳ１００２の小領域特徴量取得工程において、本実施形態では、取得した小領域毎の特徴量のうち、中間表現に変換する特徴量と、対応する領域カテゴリＧＴを中間表現変換係数学習用データ保持部９１１に送信し、保存する。
【００６８】
次に、中間表現変換係数学習工程Ｓ１００６について説明する。ステップＳ１００６では、中間表現変換係数学習部９１２が、中間表現に変換する係数を学習する。ここでは、先に説明した非特許文献５のカーネルフィッシャー判別分析を適用する。学習した変換係数は、中間表現変換係数保持部９１３に送信し、保存する。
【００６９】
次に、ステップＳ１００７ｎｏ中間表現作成工程では、中間表現作成部９１４が、中間表現変換係数保持部９１３に保持されている変換係数を用い、中間表現変換係数学習用データ保持部９１１に保存されている小領域毎の特徴量を中間表現に変換する。変換結果と対応する領域カテゴリＧＴ、および中間表現には変換しない小領域毎の特徴量を領域識別器学習用データ保持部９０４に送信し、保存する。
【００７０】
以上、本実施形態によれば、画像認識装置２００は、画像の撮像制御や保存時に取得され、画像に係るデータ（ＲＧＢ画像データ）に付帯する付帯情報を用い、それを中間表現に変換する。これにより、本実施形態では、軽量な処理で、精度よく領域カテゴリ判定を実行することが可能である。
【００７１】
［第３の実施形態］
第１、第２の実施形態では、画像撮影時に取得される画像データに付帯する付帯情報をマップ化し、画像内の局所的な領域の特徴量に変換して、領域カテゴリの識別を行った。その一方で、画面全体の明るさや時刻など、画像１枚に対して取得できる情報もあり、画像撮影シーンの分類を行うことができる。すなわち画像データや付帯情報に基づき、撮影した画像に関する大域的な特徴量を取得し、シーン認識を実行する。そして、そのシーン認識結果を用いて、各撮影シーンに適応した領域識別を実行することにより、さらに意味的領域分割の精度を向上することが期待できる。そこで、本発明の第３の実施形態では、画像撮影時に取得できる付随情報を用いてシーン認識を行い、その結果を意味的領域分割の処理に用いる形態について示す。なお、第１、第２の実施形態において既に説明した構成については、同一の符号を付し、その説明は省略する。
【００７２】
図１１は、本実施形態における画像認識装置２００の機能構成を示す概略ブロック図である。本実施形態の画像認識装置２００は、第１の実施形態の各機能部に加え、大域的特徴量取得部４１１、シーン認識部４１２を備える。図５（ｃ）は、本実施形態の画像認識装置２００による意味的領域分割に係る画像認識処理のフローチャートである。ここで、図５（ｃ）を参照しつつ、本実施形態の大域的特徴量取得部４１１、シーン認識部４１２の詳細について説明する。図５（ｃ）に示すように、本実施形態の画像処理認識装置による意味的領域分割に係る画像認識処理では、第１の実施形態に対して、ステップＳ５０８の大域的特徴量取得工程、ステップＳ５１０のシーン認識工程が追加されている。
【００７３】
大域的特徴量取得工程Ｓ５０９では、大域的特徴量取得部４１１が、入力される画像データやそれに付帯する付帯情報から大域的特徴量を抽出する。大域的特徴量とは、画像全体から抽出される特徴量である。より具体的には、非特許文献６に記載されるようなＢｏＷ特徴や、非特許文献７にあるようなＳｐａｔｉａｌ  Ｐｙｒａｍｉｄ  Ｍａｔｃｈｉｎｇ  Ｋｅｒｎｅｌ、非特許文献８にあるようなＧＩＳＴ特徴などを指す。その他、画像内のＲＧＢ値をヒストグラム化した特徴量や、画像を分割してなる各ブロックのＲＧＢ値をヒストグラム化した特徴量など、より簡易な特徴量を利用してもよい。その他、ＡＦ、ＡＥ、ＡＷＢ評価値すなわちＢＶや色温度などを用いてもよいし、第１の実施形態に係る評価値マップからＢｏＷを作成してもよい。大域的特徴量取得部４１１で作成された大域的特徴量は、シーン認識部４１２に送信される。
【００７４】
次に、シーン認識工程Ｓ５１０では、シーン認識部４１２が、シーン識別器保持部４１３に記憶されているシーン識別器を用いて、大域的特徴量取得部４１１で取得した入力画像の大域的特徴量に基づき、シーン識別を行う。ここでのシーンとは、ポートレイト、市街、自然など、画像の被写体によって予め定義したカテゴリである。また、シーン識別器は、例えば、多クラス化したロジスティック回帰やＳＶＭなどのように特徴量を入力し、多クラスの識別結果が出力される識別器であればよい。
【００７５】
次に、本実施形態における学習処理について説明する。図１２は、本実施形態における学習装置９００の機能構成を示す概略ブロック図である。本実施形態の学習装置９００は、図９（ａ）に示した第１の実施形態の各機能部に加え、大域的特徴量取得部９１５、シーン識別器学習部９１７、シーン認識部９１９、シーン識別器学習用データ保持部９１６、シーン識別器保持部９１８を有する。図１０（ｃ）は、本実施形態の学習装置９００による学習処理のフローチャートである。ここで、図１０（ｂ）を参照して、本実施形態における学習装置９００の構成について説明する。
【００７６】
図１０（ｃ）に示す学習処理において、図１０（ａ）の第１の実施形態と異なる点は、ステップＳ１００８の大域的特徴量取得工程と、ステップＳ１００９の識別器学習工程と、ステップＳ１０１０のシーン認識工程とが追加されていることである。また、本実施形態において、学習用データ保持部９０１には、学習用のＲＧＢ画像データ、評価値マップ、その他の付帯情報、領域カテゴリＧＴとシーンカテゴリＧＴが保存されている。
【００７７】
まず、大域的特徴量取得工程Ｓ１００８では、大域的特徴量取得部９１５が、ランタイム処理時の大域的特徴量取得工程Ｓ５０９と同様に、学習用画像や付帯情報から大域的特徴量を取得する。この工程で取得された大域的特徴量は、シーン識別器学習用データ保持部９１６に送信され、保存される。また、同時に、対応するシーンカテゴリＧＴも保存される。
【００７８】
次に、シーン識別器学習工程Ｓ１００９では、シーン識別器学習部９１７が、シーン識別器学習用データ保持部９１６に保存されている大域的特徴量と、入力画像に対して与えられたシーンカテゴリＧＴにより、シーン識別器を学習する。シーン識別器は、上述したように、多クラス識別を行う識別器であれば特に限定しない。すなわち、多クラス化したロジスティック回帰やサポートベクターマシンの他、ランダムフォレスト、ニューラルネットワークなどが適用できる。この工程で学習されたシーン識別器は、シーン識別器保持部９１８に送信され、保存される。
【００７９】
次に、シーン識別工程Ｓ１０１０では、シーン認識部９１９が、シーン識別器学習工程Ｓ１００９で学習されたシーン識別器を用い、シーン識別器学習用データ保持部９１６に保存されている大域的特徴量に基づいてシーン認識を行う。シーン認識結果は、統合識別器学習用データ保持部９０８に送信され、保存される。
【００８０】
統合識別器学習工程Ｓ１００５では、統合識別器学習部９０９が、統合識別器学習用データ保持部９０８に保持されている、領域種類毎の領域識別結果とシーン認識結果、領域カテゴリＧＴにより、領域カテゴリを識別する統合識別器を学習する。統合識別器は、シーン識別器と同様に多クラス識別を行う識別器であれば特に限定しない。
【００８１】
以上、本実施形態によれば、画像認識装置２００は、画像の撮像制御や保存時に取得され、画像に係るデータ（ＲＧＢ画像データ）に付帯する付帯情報を用い、画像のシーンを認識する。そして、識別した領域カテゴリの識別結果とシーンの認識結果から、局所領域における最終的な領域カテゴリの識別結果を決めることで、精度よく領域カテゴリ判定を実行することが可能である。
【００８２】
［その他の実施形態］
本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００８３】
４０１  評価値マップ作成部
４０２  現像部
４０３  小領域分割部
４０４  特徴量取得部
４０５  領域識別部
４０６  統合・後処理部
【図１】
0006639113.tif 000008
【図２】
0006639113.tif 000009
【図３】
0006639113.tif 000010
【図４】
0006639113.tif 000011
【図５】
0006639113.tif 000012
【図６】
0006639113.tif 000013
【図７】
0006639113.tif 000014
【図８】
0006639113.tif 000015
【図９】
0006639113.tif 000016
【図１０】
0006639113.tif 000017
【図１１】
0006639113.tif 000018
【図１２】
0006639113.tif 000019