(57)【要約】【課題】注目領域の検出精度を向上させることを目的とする。【解決手段】入力画像を複数の領域画像に分割する分割手段と、領域画像の１つを中心視領域として設定する第１の設定手段と、中心視領域に基づいて、中心視領域以外の領域画像を含む周辺視領域を設定する第２の設定手段と、中心視領域及び周辺視領域それぞれの特徴量の差異を示す顕著度を算出する第１の算出手段と、顕著度に基づいて、入力画像の注目領域を検出する検出手段とを有する。【選択図】図１
2016081472.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数の領域画像に分割する分割手段と、
領域画像の１つを中心視領域として設定する第１の設定手段と、
前記中心視領域に基づいて、前記中心視領域以外の前記領域画像を含む周辺視領域を設定する第２の設定手段と、
前記中心視領域及び前記周辺視領域それぞれの特徴量の差異を示す顕著度を算出する第１の算出手段と、
前記顕著度に基づいて、前記入力画像の注目領域を検出する検出手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記第２の設定手段は、前記入力画像における前記中心視領域の位置に基づいて、前記周辺視領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の設定手段は、前記中心視領域に隣接する領域を前記周辺視領域として設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の設定手段は、前記領域画像を単位とし、１又は２以上の領域画像を含む前記周辺視領域を設定することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記第２の設定手段は、前記入力画像における前記中心視領域の大きさに基づいて、前記周辺視領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第２の設定手段は、前記中心視領域の形状に基づいて、前記周辺視領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記中心視領域の特徴量に基づいて、前記中心視領域の信頼度を算出する第２の算出手段をさらに有し、
前記検出手段は、前記顕著度と前記信頼度とに基づいて、前記注目領域を検出することを特徴とする請求項１乃至６何れか１項に記載の画像処理装置。
【請求項８】
前記分割手段は、１つの入力画像に対し、分割単位の異なる複数の分割処理を行うことにより、１つの入力画像を、各分割単位の領域画像に分割し、
前記第１の設定手段は、各分割単位の領域画像それぞれを前記中心視領域として設定し、
前記第２の設定手段は、各分割単位の中心視領域に基づいて、前記周辺視領域を設定し、
前記第１の算出手段は、各分割単位における顕著度を算出し、
前記検出手段は、各分割単位における顕著度の統合値に基づいて、前記注目領域を検出することを特徴とする請求項１乃至７何れか１項に記載の画像処理装置。
【請求項９】
画像処理装置が実行する画像処理方法であって、
入力画像を複数の領域画像に分割する分割ステップと、
領域画像の１つを中心視領域として設定する第１の設定ステップと、
前記中心視領域に基づいて、前記中心視領域以外の前記領域画像を含む周辺視領域を設定する第２の設定ステップと、
前記中心視領域及び前記周辺視領域それぞれの特徴量の差異を示す顕著度を算出する第１の算出ステップと、
前記顕著度に基づいて、前記入力画像の注目領域を検出する検出ステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
コンピュータを、
入力画像を複数の領域画像に分割する分割手段と、
領域画像の１つを中心視領域として設定する第１の設定手段と、
前記中心視領域に基づいて、前記中心視領域以外の前記領域画像を含む周辺視領域を設定する第２の設定手段と、
前記中心視領域及び前記周辺視領域それぞれの特徴量の差異を示す顕著度を算出する第１の算出手段と、
前記顕著度に基づいて、前記入力画像の注目領域を検出する検出手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、入力画像中の注目領域を検出する方法が知られている。注目領域を検出する技術として、非特許文献１には、以下のような技術が開示されている。すなわち、まず、入力画像中から特徴量を複数種類抽出し、その特徴量に対する多重解像度画像を生成する。そして、得られた多重解像度画像の各種類に対して大きさの異なる２つの部分領域を設定し、この２つの部分領域から抽出した特徴量に対する統計的分布の相違（カルバック−ライブラー・ダイバージェンス）に基づいて顕著度を算出する。さらに、多重解像度画像の各種類で得られた顕著度を統合して顕著度画像を生成する。最終的に、得られた顕著度画像に基づいて画像中の注目領域を検出する。
【０００３】
また、非特許文献２には、以下のような技術が開示されている。すなわち、非特許文献１の技術と同様に、大きさの異なる２つの部分領域を設定する。そして、この２つの部分領域から抽出した特徴量に対する統計的分布の相違（スケール重み付き確率分布間距離）と、２つの部分領域のうちの一方から抽出した特徴量に対する情報量（情報エントロピー）との積に基づいて顕著度を算出する。さらに、多重解像度画像の各種類で得られた顕著度を統合することにより顕著度画像を生成する。最終的に、得られた顕著度画像に基づいて画像中の注目領域（またはその部分領域）を検出する。
【０００４】
また、特許文献１には、以下のような技術が開示されている。すなわち、入力画像中から基礎特徴画像を複数種類抽出し、その多重解像度表現である多重解像度画像を抽出する。そして、多重解像度画像の各種類について解像度の異なる画像の間の差分である解像度差分画像を複数抽出し、解像度差分画像の各種類について、解像度の異なる解像度差分画像を統合することにより視覚的顕著度画像を抽出する。さらに、得られた視覚的顕著度画像における顕著度がある閾値以上の領域を抽出することで、注目領域が設定できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−３６１５号公報
【非特許文献】
【０００６】
【非特許文献１】A.  Dominik  et  al.,  Center-surround  Divergence  of  Feature  Statistics  for  Salient  Object  Detection,  ICCV2011
【非特許文献２】T.  Kadir  et  al.,  An  affine  invariant  salient  region  detector,    ECCV2004.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１のように、統計的分布の相違に基づいて顕著度を算出し、得られた顕著度に基づいて画像中の主被写体を検出する場合、注目領域が視覚的に顕著でない場合には注目領域の検出精度が低下するという問題がある。また、非特許文献２のように、主被写体の含有する情報量の大きさに基づいて主被写体を検出する場合、環境的、観測的要因に依るノイズの影響を受けやすく、主被写体の検出精度が低下するという問題がある。また、特許文献１のように、入力画像中からの基礎特徴画像を直接用いて視覚的顕著度を算出する場合、注目領域の輪郭精度が低下するという問題があった。
【０００８】
本発明はこのような問題点に鑑みなされたもので、注目領域の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
そこで、本発明は、画像処理装置であって、入力画像を複数の領域画像に分割する分割手段と、領域画像の１つを中心視領域として設定する第１の設定手段と、前記中心視領域に基づいて、前記中心視領域以外の前記領域画像を含む周辺視領域を設定する第２の設定手段と、前記中心視領域及び前記周辺視領域それぞれの特徴量の差異を示す顕著度を算出する第１の算出手段と、前記顕著度に基づいて、前記入力画像の注目領域を検出する検出手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、注目領域の検出精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】注目領域検出装置のソフトウェア構成を示す図である。
【図２】注目領域検出装置のハードウェア構成を示す図である。
【図３】注目領域検出処理を示すフローチャートである。
【図４】分割処理の説明図である。
【図５】周辺視領域の説明図である。
【図６】信頼度算出処理の説明図である。
【図７】信頼度算出処理の説明図である。
【図８】検出処理の説明図である。
【図９】第２の実施形態に係る注目領域検出装置のソフトウェア構成を示す図である。
【図１０】第２の実施形態に係る注目領域検出処理を示すフローチャートである。
【図１１】領域統合処理の説明図である。
【図１２】周辺視領域の説明図である。
【図１３】周辺視領域の他の例の説明図である。
【図１４】第３の実施形態に係る注目領域検出装置のソフトウェア構成を示す図である。
【図１５】第３の実施形態に係る注目領域検出処理を示すフローチャートである。
【図１６】分割処理の説明図である。
【図１７】各階層において得られた顕著度と、統合顕著度の関係を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について図面に基づいて説明する。
【００１３】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置としての注目領域検出装置１００のソフトウェア構成を示す図である。注目領域検出装置１００は、分割部１０１と、中心視領域設定部１０２と、周辺視領域設定部１０３と、顕著度算出部１０４と、信頼度算出部１０５と、検出部１０６とを有している。分割部１０１は、入力画像の特徴量に基づいて、入力画像を複数の領域画像に分割する。中心視領域設定部１０２は、複数の領域画像を順に選択し、それぞれを中心視領域として設定し、顕著度算出部１０４及び信頼度算出部１０５に出力する。周辺視領域設定部１０３は、中心視領域設定部１０２により設定された中心視領域に基づいて、周辺視領域を設定し、顕著度算出部１０４及び信頼度算出部１０５に出力する。なお、周辺視領域については後述する。
【００１４】
顕著度算出部１０４は、中心視領域と周辺視領域それぞれの特徴量の差異、すなわちそれぞれの特徴量の統計的分布の相違に基づいて、中心視領域の顕著度を算出する。ここで、顕著度とは、中心視領域の注目領域としての、他の領域に比較した視覚的な顕著性を示す指標である。すなわち、顕著度が高い程、注目領域である可能性が高いことを示している。信頼度算出部１０５は、中心視領域に基づいて、中心視領域の信頼度を算出する。ここで、信頼度とは、中心視領域の注目領域としての確からしさを示す指標である。すなわち、信頼度が高い程、注目領域である可能性が高いことを示している。検出部１０６は、顕著度及び信頼度に基づいて、入力画像から注目領域を検出する。
【００１５】
図２は、注目領域検出装置１００のハードウェア構成を示す図である。ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、表示部２０５と、入力部２０６と、ネットワークＩ／Ｆ部２０７とを有している。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０４は、画像データや各種プログラム等各種情報を記憶する。なお、注目領域検出装置１００の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２又はＨＤＤ２０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１６】
表示部２０５は、各種情報を表示する。入力部２０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。ネットワークＩ／Ｆ部２０７は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。また、他の例としては、ネットワークＩ／Ｆ部２０７は、無線により外部装置との通信を行ってもよい。また、他の例としては、注目領域検出装置１００は、半導体集積回路（ＬＳＩ）を用いて実現されてもよい。
【００１７】
図３は、注目領域検出装置１００による注目領域検出処理を示すフローチャートである。Ｓ３００において、分割部１０１は、画像特徴量に基づいて、入力画像を複数の領域画像に分割する。ここで、各領域画像は、注目領域と注目領域以外の領域、すなわち背景領域との境界を跨がない領域とする。例えば、図４（ａ）に示す入力画像４００は、図４（ｂ）に示すように、複数の領域画像に分割される。なお、図４（ｂ）において、４１０は、１つの領域画像を示している。分割部１０１は、Ｎ個の領域画像Ｒn（ｎ＝１，…，Ｎ）に分割するものとする。分割部１０１による分割処理については、例えば、以下に示す３つの文献を参照することができる。
R.  Achanta,  A.  Shaji,  K.  Smith,  A.  Lucchi,  P.  Fua,  and  S.  Susstrunk.  Slic  superpixels  compared  to  state-of-the-art  superpixel  methods.  TPAMI,  2012.
A.  Vedaldi,  S.  Soatto  Quick  shift  and  kernel  methods  for  mode  seeking.  ECCV,  2008
A.  Levinshtein,  A.  Stere,  K.  Kutulakos,  D.  Fleet,  S.  Dickinson,  K.  Siddiqi  Turbopixels  :  Fast  superpixels  using  geometric  flows.  PAMI,  2009
【００１８】
次に、Ｓ３０１において、中心視領域設定部１０２は、複数の領域画像の中から、１つを選択し、これを中心視領域として設定する。なお、中心視領域設定部１０２は、後述のループ処理において、Ｎ個の領域画像Ｒn（ｎ＝１，…，Ｎ）をそれぞれ中心視領域Ｃn(ｎ１，…，Ｎ)として設定し、顕著度算出部１０４及び信頼度算出部１０５へ出力する。次に、Ｓ３０２において、周辺視領域設定部１０３は、中心視領域設定部１０２により設定された中心視領域Ｃnに基づいて、周辺視領域Ｓnを設定し、顕著度算出部１０４及び信頼度算出部１０５に出力する。周辺視領域設定部１０３は、具体的には、中心視領域Ｃnの入力画像における位置及び大きさと、中心視領域Ｃnの形状とに基づいて、周辺視領域Ｓnを設定する。周辺視領域設定部１０３は、例えば、図５（ａ）に示すように、中心視領域Ｃnと重心が一致し、中心視領域Ｃnのｋ倍の面積の矩形領域を周辺視領域Ｓn（ｎ＝１，…，Ｎ）として設定する。
【００１９】
他の例としては、周辺視領域設定部１０３は、図５（ｂ）に示すように、中心視領域Ｃnと重心が一致し、中心視領域Ｃnのｋ倍の面積の円形領域を周辺視領域Ｓnとして設定してもよい。また、他の例としては、周辺視領域設定部１０３は、図５（ｃ）に示すように、中心視領域Ｃnと重心が一致し、中心視領域Ｃnのｋ倍の面積の楕円領域を周辺視領域Ｓnとして設定してもよい。また、他の例としては、周辺視領域設定部１０３は、図５（ｄ）に示すように、中心視領域Ｃnと重心が一致し、中心視領域Ｃnと相似形を成す、中心視領域Ｃnのｋ倍の面積の領域を周辺視領域Ｓnとして設定してもよい。ここで、係数ｋは、１．０よりも大きい値であり、学習により予め一意に決定され、例えばＨＤＤ等に設定されているものとする。なお、係数ｋの決定方法は任意であり、例えば試行錯誤的に決定された値であってもよい。
【００２０】
図３に戻り、Ｓ３０２の処理の後、Ｓ３０３において、顕著度算出部１０４は、Ｓ３０１において得られた中心視領域Ｃnと、Ｓ３０２において得られた周辺視領域Ｓnとに基づいて、中心視領域Ｃnの顕著度Ｄnを算出する。具体的には、顕著度算出部１０４は、中心視領域Ｃnの色特徴量の平均値ベクトル（Ｒn，Ｇn，Ｂn）及び周辺視領域Ｓnの色特徴量の平均値ベクトル（Ｒ'n，Ｇ'n，Ｂ'n）を算出する。そして、顕著度算出部１０４は、（式１）によりユークリッド距離Ｌnを算出し、これを顕著度Ｄnとする。
【数１】
2016081472.tif 000003
【００２１】
他の例としては、顕著度算出部１０４は、中心視領域Ｃnから抽出した色特徴に対するＭ階調のヒストグラムＨm,n（ｍ＝１，…，Ｍ）と、周辺視領域Ｓnから抽出した色特徴に対するＭ階調のヒストグラムＨ'm,n（ｍ＝１，…，Ｍ）とを算出する。そして、顕著度算出部１０４は、（式２）によりヒストグラム・インターセクションＨＩnを算出し、これを顕著度Ｄnとしてもよい。
【数２】
2016081472.tif 000004
【００２２】
また、他の例としては、顕著度算出部１０４は、中心視領域Ｃnから抽出した色特徴に対するＭ階調の確率密度Ｐm,n（ｍ＝１，…，Ｍ）と、周辺視領域Ｓnから抽出した色特徴に対するＭ階調の確率密度Ｐ'm,n（ｍ＝１，…，Ｍ）とを算出する。そして、顕著度算出部１０４は、（式３）により算出される確率密度Ｐm,nと、Ｐ'm,nとのカルバックライブラー・ダイバージェンスＫＬnを算出し、これを顕著度Ｄnとしてもよい。
【数３】
2016081472.tif 000005
【００２３】
また、他の例としては、顕著度算出部１０４は、上記と同様に、中心視領域Ｃn及び周辺視領域ＳnのＭ階調の確率密度Ｐm,n，Ｐ'm,nを算出する。そして、顕著度算出部１０４は、（式４）により確率密度Ｐm,nと、Ｐ'm,nとのピアソン・ダイバージェンスＰＲnを算出し、これを顕著度Ｄnとしてもよい。
【数４】
2016081472.tif 000006
【００２４】
また、他の例としては、顕著度算出部１０４は、上記と同様に、中心視領域Ｃn及び周辺視領域ＳnのＭ階調の確率密度Ｐm,n，Ｐ'm,nを算出する。そして、顕著度算出部１０４は、（式５）により、確率密度Ｐm,nと、Ｐ'm,nとの相対ピアソン・ダイバージェンスＲＰnを算出し、これを顕著度Ｄnとしてもよい。なお、βは０以上１以下の任意の実数値である。
【数５】
2016081472.tif 000007
【００２５】
また、他の例としては、顕著度算出部１０４は、上記と同様に、中心視領域Ｃn及び周辺視領域ＳnのＭ階調の確率密度Ｐm,n，Ｐ'm,nを算出する。そして、顕著度算出部１０４は、（式６）により、確率密度Ｐm,nと、Ｐ'm,nとのバタチャリア距離ＢＴnを算出し、これを顕著度Ｄnとしてもよい。
【数６】
2016081472.tif 000008
【００２６】
次に、Ｓ３０４において、信頼度算出部１０５は、Ｓ３０１において設定された中心視領域Ｃnに対する信頼度Ｔnを算出する。本実施形態においては、信頼度算出部１０５は、図６に示すように、入力画像６００の中心位置（Ｘg，Ｙg）と、中心視領域Ｃn内の各位置（Ｘk，Ｙk）の間のユークリッド距離Ｌk（ｋ＝１，…Ｋ）を算出する。具体的には、信頼度算出部１０５は、（式７）により、ユークリッド距離Ｌkを算出する。そして、信頼度算出部１０５は、（式８）により、中心視領域Ｃn内の各位置（Ｘk，Ｙk）に対するユークリッド距離Ｌkの平均値Ａnを算出する。なお（式８）において、Ｋは、中心視領域Ｃn内の画素数を表している。そして、信頼度算出部１０５は、平均値Ａnの逆数を信頼度Ｔnとする。
【数７】
2016081472.tif 000009
【００２７】
他の例としては、信頼度算出部１０５は、（式９）により、入力画像の中心位置（Ｘg，Ｙg）と、中心視領域Ｃn内の各位置（Ｘk，Ｙk）の間のユークリッド距離Ｌkに対するガウシアン関数Ｇnを算出し、これを信頼度Ｔnとしてもよい。なお、（式９）において、Ｋは、中心視領域Ｃn内の画素数を表している。また、ガウシアン係数σは、例えば、ユークリッド距離Ｌk（ｋ＝１，…Ｋ）の中央値とする。
【数８】
2016081472.tif 000010
なお、他の例としては、ガウシアン係数σは、予め学習により一意に決定された値であってもよい。また、他の例としては、ガウシアン係数σは、試行錯誤的に決定された値であってもよい。
【００２８】
また、信頼度Ｔnの算出方法の他の例としては、信頼度算出部１０５は、（式１０）により、中心視領域Ｃn内の各位置（Ｘk，Ｙk）の分散Ｖnを算出し、分散Ｖnの逆数を信頼度Ｔnとしてもよい。なお、（式１０）において、Ｖx，Ｖyは、それぞれ中心視領域Ｃn内の各画素Ｐk（ｋ＝１，…，Ｋ）の水平方向座標Ｘk、垂直方向座標Ｙkの分散を表す。また、Ｘc，Ｙcは、それぞれ中心視領域Ｃn内の画素Ｐk（ｋ＝１，…，Ｋ）の水平方向座標Ｘk、垂直方向座標Ｙkの平均を表す。
【数９】
2016081472.tif 000011
【００２９】
また、信頼度Ｔnの算出方法の他の例としては、信頼度算出部１０５は、図７に示すように、中心視領域Ｃnと画枠Ｆとの重複率Ｒnを算出し、重複率Ｒnの逆数を信頼度Ｔnとしてもよい。信頼度算出部１０５は、具体的には、（式１１）により、重複率Ｒnを算出する。なお、（式１１）において、Ｓnは、中心視領域Ｃnの画素数を表す。また、Ｓ'nは、中心視領域Ｃnと画枠Ｆの重複する面積を表す。また、Ｗは画枠Ｆの大きさを表す。大きさＷは、予め学習によって一意に決定された値である。他の例としては、大きさＷは、試行錯誤的に決定された値でもよい。
【数１０】
2016081472.tif 000012
【００３０】
なお、Ｓ３０３の処理とＳ３０４の処理の処理順は実施形態に限定されるものではない。他の例としては、Ｓ３０４の処理の後に、Ｓ３０３の処理を行ってもよく、また他の例としては、Ｓ３０３の処理とＳ３０４の処理を並行して行ってもよい。
【００３１】
次に、Ｓ３０５において、検出部１０６は、Ｓ３００において得られた領域画像すべてが中心視領域として設定され、Ｓ３０１〜Ｓ３０４のループ処理が行われたか否かを確認する。検出部１０６は、すべての領域画像を中心視領域として、ループ処理が完了している場合には（Ｓ３０５でＹｅｓ）、処理をＳ３０６へ進める。検出部１０６は、未処理の領域画像が存在する場合には（Ｓ３０５でＮｏ）、処理をＳ３０１へ進める。この場合、Ｓ３０１において、中心視領域設定部１０２は、未選択の領域画像の中から１つを選択し、これを中心視領域として設定する。
【００３２】
注目領域検出装置１００は、以上のように、Ｓ３０１〜Ｓ３０５のループ処理を繰り返すことにより、入力画像中のすべての領域画像を中心視領域として設定する。この処理に対応し、顕著度算出部１０４は、中心視領域Ｃn（ｎ＝０，…，Ｎ）におけるすべての顕著度Ｄn（ｎ＝０，…，Ｎ）を算出し、検出部１０６に出力する。同様に、信頼度算出部１０５は、中心視領域Ｃn（ｎ＝０，…，Ｎ）におけるすべての信頼度Ｔn（ｎ＝０，…，Ｎ）を算出し、検出部１０６に出力する。
【００３３】
Ｓ３０６において、検出部１０６は、各中心視領域Ｃn（ｎ＝０，…，Ｎ）に対して得られた顕著度Ｄn（ｎ＝０，…，Ｎ）及び信頼度Ｔn（ｎ＝０，…，Ｎ）に基づいて、入力画像中の注目領域を検出する。具体的には、検出部１０６は、各中心視領域Ｃn（ｎ＝０，…，Ｎ）に対して得られた顕著度Ｄn（ｎ＝０，…，Ｎ）と信頼度Ｔn（ｎ＝０，…，Ｎ）の積ＤＴn（ｎ＝０，…，Ｎ）を算出し、これらを入力画像上に配置したスコアマップを生成する。図８（ａ）は、スコアマップ８００の一例を示す図である。そして、検出部１０６は、２値化処理により注目領域の候補領域と、候補領域以外の領域とに分離する。例えば、図８（ｂ）は、図８（ａ）に対応する二値化処理の結果を示す図である。図８（ｂ）に示すように、入力画像は、白色で示す候補領域８１１と、黒色で示す候補領域以外の領域８１２とに分離される。なお、検出部１０６は、例えば、クラス内分散を最小化し、クラス間分散を最大化することにより適応的に閾値を設定する手法により、閾値を定めてもよい。なお、この手法については、以下の文献を参照することができる。
【００３４】
そして、検出部１０６は、図８（ｃ）に示すように得られた候補領域に外接する矩形領域８２０を注目領域として検出する。注目領域検出処理により検出結果として得られた注目領域は、例えば、デジタルスチルカメラにおいて、注目領域にフォーカスを合わせ、注目領域を高画質化するような処理に利用される。
大津展之：判別および最小２乗法に基づく自動しきい値選定法,  電子通信学会論文誌,  J63-D-4  (1980-4),  349.356.
【００３５】
以上のように、本実施形態に係る注目領域検出装置１００は、中心視領域Ｃnと周辺視領域Ｓnそれぞれの特徴量の統計的分布の相違に基づいて、注目領域を検出する。これにより、注目領域の検出精度を向上させることができる。
【００３６】
なお、本実施形態においては、注目領域検出装置１００は、顕著度及び信頼度の両方に基づいて、注目領域を検出したが、他の例としては、注目領域検出装置１００は、顕著度のみに基づいて、注目領域を検出してもよい。この場合は、Ｓ３０６において、検出部１０６は、顕著度Ｄnのスコアマップを生成し、このスコアマップに対する２値化処理により、注目領域を検出すればよい。
【００３７】
（第２の実施形態）
第２の実施形態に係る注目領域検出装置は、領域画像を統合することにより、入力画像を複数の統合領域に分割し、各統合領域を中心視領域として設定し、顕著度Ｄn及び信頼度Ｔnを算出する。以下、第２の実施形態に係る注目領域検出装置について、第１の実施形態に係る注目領域検出装置と異なる点について説明する。
【００３８】
図９は、第２の実施形態に係る注目領域検出装置９００のソフトウェア構成を示す図である。注目領域検出装置９００は、分割部９０１と、領域統合部９０２と、中心視領域設定部９０３と、周辺視領域設定部９０４と、顕著度算出部９０５と、信頼度算出部９０６と、検出部９０７とを有している。分割部９０１は、分割部１０１と同様に、入力画像を複数の領域画像に分割する。領域統合部９０２は、分割部９０１により得られた複数の領域画像を統合し、統合領域を生成する。中心視領域設定部９０３は、複数の統合領域それぞれを中心視領域として設定し、顕著度算出部９０５及び信頼度算出部９０６へ出力する。周辺視領域設定部９０４は、中心視領域に基づいて、周辺視領域を設定し、顕著度算出部９０５及び信頼度算出部９０６へ出力する。
【００３９】
顕著度算出部９０５は、中心視領域と周辺視領域それぞれの特徴量の統計的分布の相違に基づいて、中心視領域の顕著度を算出する。信頼度算出部９０６は、中心視領域に基づいて、中心視領域の信頼度を算出する。なお、周辺視領域設定部９０４及び顕著度算出部９０５の処理は、それぞれ周辺視領域設定部１０３及び顕著度算出部１０４の処理と異なっている。周辺視領域設定部９０４及び顕著度算出部９０５の処理については、図１０等を参照しつつ後述する。
【００４０】
図１０は、第２の実施形態に係る、注目領域検出装置９００による注目領域検出処理を示すフローチャートである。Ｓ１０００において、分割部９０１は、画像特徴量に基づいて、入力画像を複数の領域画像に分割する。なお、Ｓ１０００の処理は、図３に示すＳ３００の処理と同様である。次に、Ｓ１００１において、領域統合部９０２は、領域画像Ｒn（ｎ＝１，…，Ｎ）を、各領域画像Ｒnから抽出した特徴量の類似度に基づいて、Ｍ（＜Ｎ）個の統合領域Ｒ'm（ｍ＝１，…，Ｍ）に統合する。ここで、画像特徴量としては、色ヒストグラム、勾配強度、勾配方向ヒストグラム、テクスチャ、情報エントロピー等が挙げられる。統合処理においては、例えば、以下に示す文献に記載された自動領域統合アルゴリズムを用いることができる。
On  Spectral  Clustering:  Analysis  and  an  algorithm,  A.  Y.  Ng,  M.  Jordan,  and  Y.  Weiss.  NIPS  2000.
【００４１】
図１１は、領域統合処理（Ｓ１００１）の説明図である。図１１（ａ）に示す領域画像から、図１１（ｂ）に示すように、例えば、１４個の統合領域が得られる。他の例としては、領域統合部９０２は、統合処理において、以下に示す２つの文献に示される自動領域統合アルゴリズムのうちいずれかを用いてもよい。
L.  Zelnik-Manor  and  P.  Perona.  Self-tuning  spectral  clustering,  2004.  NIPS.
Fukunaga  and  L.  D.  Hostetler:  The  Estimation  of  the  Gradient  of  a  Density  Function,  with  Applications  in  Pattern  Recognition,  IEEE  Trans.  on  Information  Theory,  vol.IT-21,  no.1,  1975.
【００４２】
次に、Ｓ１００２において、中心視領域設定部９０３は、統合領域Ｒ'm（ｍ＝１，…，Ｍ）のうちの１つを選択し、これを中心視領域Ｒ'm（ｍ＝１，…，Ｍ）として設定し、顕著度算出部９０５及び信頼度算出部９０６へ出力する。次に、Ｓ１００３において、周辺視領域設定部９０４は、Ｓ１００２において設定された中心視領域Ｃmに基づいて周辺視領域Ｓm（ｍ＝１，…，Ｍ'）を設定し、顕著度算出部９０５及び信頼度算出部９０６へ出力する。ここで、Ｍ'は、中心視領域Ｃmに対して設定された周辺視領域の個数を表す。周辺視領域設定部９０４は、具体的には、入力画像に対して得られた複数の統合領域のうち、中心視領域として設定された統合領域以外のすべての統合領域を、中心視領域として設定する。図１２に示す例においては、中心視領域Ｃm（ｍ＝８）に対し、中心視領域以外のすべての統合領域Ｒ'm（ｍ＝１，…，７，９，…，１４）が周辺視領域Ｓm（ｍ＝１，…，Ｍ'）として設定される。
【００４３】
他の例としては、周辺視領域設定部９０４は、中心視領域Ｃmと隣接するすべての統合領域を周辺視領域Ｒ'mとして設定してもよい。図１２に示す例においては、中心視領域Ｃm（ｍ＝８）に対し、中心視領域に隣接するすべての統合領域Ｒ'm（ｍ＝６，７，９，１１，１３，１４）が周辺視領域Ｓm（ｍ＝１，…，Ｍ'）として設定される。
【００４４】
また、他の例としては、周辺視領域設定部９０４は、中心視領域Ｃmと隣接する画素数が最大となる統合領域を、周辺視領域Ｒ'mとして設定してもよい。例えば、図１３（ａ）に示す例においては、中心視領域Ｃm（ｍ＝８）に対し、統合領域Ｒ'm（ｍ＝１１）が周辺視領域Ｓmとして設定される。
【００４５】
また、他の例としては、周辺視領域設定部９０４は、中心視領域Ｃmと隣接する画素数が閾値Ｔ（例えば、Ｔ＝３０）以上の統合領域を、周辺視領域Ｒ'mとして設定してもよい。ここで、所定閾値Ｔは、予め学習によって一意に決定された値である。また、所定閾値Ｔは、試行錯誤的に決定された値であってもよい。例えば、図１３（ｂ）に示す例においては、中心視領域Ｃm（ｍ＝８）に対し、統合領域Ｒ'm（ｍ＝６，７，９，１１）が周辺視領域Ｓmとして設定される。このように、周辺視領域Ｓｍは、統合領域を単位として、１つの統合領域のみを含んでもよく、２以上の統合領域を含んでもよい。なお、ここで、統合領域は、入力画像を分割して得られた領域画像の一例である。
【００４６】
図１０に戻り、Ｓ１００３の処理の後、Ｓ１００４において、顕著度算出部９０５は、中心視領域Ｃmと、周辺視領域Ｓm（ｍ＝１，…，Ｍ'）それぞれの特徴量の統計的分布の相違に基づいて、中心視領域Ｃmの顕著度Ｄmを算出する。ここで、処理対象の中心視領域Ｃmは、Ｓ１００２において設定されたものであり、周辺視領域Ｓmは、中心視領域Ｃmに対し、Ｓ１００３において設定されたものである。
【００４７】
具体的には、顕著度算出部９０５は、中心視領域Ｃmの色特徴の平均値ベクトル（Ｒm，Ｇm，Ｂm）と、周辺視領域Ｓmにおける色特徴の平均値ベクトル（Ｒ'n，Ｇ'n，Ｂ'n）を算出する。そして、顕著度算出部９０５は、(式１２)により、２つの平均値ベクトルのユークリッド距離ＥＤm,n（ｎ１，…Ｍ'）を算出し、（式１３）により、顕著度Ｄmを得る。なお、（式１２）のＷn（ｎ＝１，…，Ｍ'）は、周辺視領域Ｓm（ｍ＝１，…，Ｍ'）の面積を表す。
【数１１】
2016081472.tif 000013
【００４８】
他の例としては、顕著度算出部９０５は、例えば、中心視領域Ｃmから抽出した色特徴に対するＬ階調のヒストグラムＨl,m（ｌ＝１，…Ｌ）と、周辺視領域Ｓmから抽出した色特徴に対するＬ階調のヒストグラムＨ'l,m（ｌ＝１，…Ｌ）とを算出する。そして、顕著度算出部９０５は、（式１４）により、これらの２つのヒストグラムのヒストグラム・インターセクションＨＩm,n（ｎ＝１，…，Ｍ'）を算出し、（式１５）により、顕著度Ｄmを得てもよい。
【数１２】
2016081472.tif 000014
【００４９】
また、他の例としては、顕著度算出部９０５は、例えば、中心視領域Ｃmから抽出した色特徴に対するＬ階調の確率密度Ｐl,m（ｌ＝１，…，Ｌ）と、周辺視領域Ｓmから抽出した色特徴に対するＬ階調の確率密度Ｐ'l,m（ｌ＝１，…，Ｌ）とを算出する。そして、顕著度算出部９０５は、（式１６）により、これら２つの確率密度のカルバックライブラー・ダイバージェンスＫＬm,n（ｎ＝１，…，Ｍ'）を算出し、（式１７）により、顕著度Ｄmを得てもよい。
【数１３】
2016081472.tif 000015
【００５０】
また、他の例としては、顕著度算出部９０５は、上記と同様に、中心視領域Ｃm及び周辺視領域ＳmのＫ階調の確率密度Ｐl,m，Ｐ'l,mを算出する。そして、顕著度算出部９０５は、（式１８）により、これら２つの確率密度の相対ピアソン・ダイバージェンスＲＰm,n（ｎ＝１，…，Ｍ'）を算出し、（式１９）により、顕著度Ｄmを得てもよい。ここで、βは０以上１以下の任意の実数値である。また、他の例としては、βは、予め学習により決定された、０以上１以下の実数値であってもよい。また、他の例としては、βは、試行錯誤的に決定された、０以上２以下の実数値であってもよい。
【数１４】
2016081472.tif 000016
【００５１】
また、他の例としては、顕著度算出部９０５は、上記と同様に、中心視領域Ｃm及び周辺視領域ＳmのＫ階調の確率密度Ｐl,m，Ｐ'l,mを算出する。そして、顕著度算出部９０５は、（式２０）により、２つの確率密度のバタチャリア距離ＢＴm,n（ｎ＝１，…，Ｍ'）を算出し、（式２１）により、顕著度Ｄmを得てもよい。
【数１５】
2016081472.tif 000017
【００５２】
次に、Ｓ１００５において、検出部９０７は、Ｓ１００２において設定された中心視領域Ｃmの信頼度Ｔm（ｍ＝０，…，Ｍ）を算出する。なお、Ｓ１００５における処理は、図３のＳ３０４における処理と同様である。次に、Ｓ１００６において、検出部９０７は、Ｓ１００１において得られた統合領域すべてが中心視領域として設定され、Ｓ１００２〜Ｓ１００５の処理が行われたか否かを確認する。検出部９０７は、すべての統合領域を中心視領域として、処理が完了している場合には（Ｓ１００６でＹｅｓ）、処理をＳ１００７へ進める。検出部９０７は、未処理の領域画像が存在する場合には（Ｓ１００６でＮｏ）、処理を１００２へ進める。この場合、Ｓ１００２において、中心視領域設定部９０３は、未選択の統合領域の中から１つを選択し、これを中心視領域として設定する。
【００５３】
注目領域検出装置９００は、以上のように、Ｓ１００２〜Ｓ１００６のループ処理を繰り返すことにより、入力画像中のすべての統合を中心視領域として設定する。この処理に対応し、顕著度算出部９０５は、中心視領域Ｃm（ｍ＝０，…，Ｍ）におけるすべての顕著度Ｄm（ｍ＝０，…，Ｍ）を算出し、検出部９０７に出力する。同様に、信頼度算出部９０６は、中心視領域Ｃm（ｍ＝０，…，Ｍ）におけるすべての信頼度Ｔm（ｍ＝０，…，Ｍ）を算出し、検出部９０７に出力する。
【００５４】
Ｓ１００７において、検出部９０７は、各中心視領域Ｃm（ｍ＝０，…，Ｍ）に対して得られた顕著度Ｄm及び信頼度Ｔmに基づいて、入力画像中の注目領域を検出する。なお、Ｓ１００７の処理は、図３のＳ３０６の処理と同様である。
【００５５】
以上のように、第２の実施形態に係る注目領域検出装置９００は、統合領域を単位として、精度良く注目領域を抽出することができる。
【００５６】
（第３の実施形態）
第３の実施形態に係る注目領域検出装置は、分割単位の異なる複数の分割処理を行うことにより、入力画像から階層的な複数の領域画像群を得る。そして、注目領域検出装置は、各階層における領域画像群を処理対象として、顕著度と信頼度を算出し、これらに基づいて、注目領域を検出する。以下、第３の実施形態に係る注目領域検出装置について、他の実施形態に係る注目領域検出装置と異なる点について説明する。
【００５７】
図１４は、第３の実施形態に係る注目領域検出装置１４００のソフトウェア構成を示す図である。注目領域検出装置１４００は、分割部１４０１と、中心視領域設定部１４０２と、周辺視領域設定部１４０３と、顕著度算出部１４０４と、信頼度算出部１４０５と、統合算出部１４０６と、検出部１４０７とを有している。分割部１４０１は、複数の階層ｋ（ｋ＝１，…，Ｋ）それぞれに対応する、分割単位の異なる複数の分割処理を行い、各階層における領域画像群を得る。これに対応し、中心視領域設定部１４０２、周辺視領域設定部１４０３、顕著度算出部１４０４及び信頼度算出部１４０５は、それぞれ各階層の領域画像群を処理対象として処理を行う。
【００５８】
統合算出部１４０６は、顕著度算出部１４０４により得られた各階層における顕著度を統合した統合顕著度を算出する。統合算出部１４０６はまた、信頼度算出部１４０５により得られた各階層における信頼度を統合した統合信頼度を算出する。検出部１４０７は、統合算出部１４０６により得られた統合顕著度及び統合信頼度に基づいて、注目領域を検出する。
【００５９】
図１５は、第３の実施形態に係る注目領域検出装置１４００による、注目領域検出処理を示すフローチャートである。Ｓ１５００において、分割部１４０１は、予め設定されている複数の階層ｋのうち１つの階層を選択し、選択した階層ｋに対して設定されている領域画像の個数であるＮk個を特定する。そして、分割部１４０１は、入力画像をＮk個の領域画像Ｒk,n（ｎ＝１，…，Ｎk）に分割し、中心視領域設定部１４０２及び周辺視領域設定部１４０３へ出力する。続く、Ｓ１５０１〜Ｓ１５０４の処理は、図３のＳ３０１〜Ｓ３０４の処理と同様である。
【００６０】
そして、Ｓ１５０４の処理の後、Ｓ１５０５において、統合算出部１４０６は、Ｓ１５００において得られたすべての領域画像を中心視領域として、Ｓ１５０１〜Ｓ１５０４のループ処理が完了しているか否かを確認する。統合算出部１４０６は、すべての領域画像を中心視領域として、ループ処理が完了している場合には（Ｓ１５０５でＹｅｓ）、処理をＳ１５０６へ進める。統合算出部１４０６は、未処理の領域画像が存在する場合には（Ｓ１５０５でＮｏ）、処理をＳ１５０１へ進める。この場合、Ｓ１５０１において、中心視領域設定部１４０２には、未選択の領域画像の中から１つを選択し、これを中心視領域として設定する。
【００６１】
Ｓ１５０６においては、統合算出部１４０６は、予め設定されているすべての階層ｋにおいて、Ｓ１５０１〜Ｓ１５０５のループ処理が完了しているか否かを確認する。統合算出部１４０６は、すべての階層ｋにおけるループ処理が完了している場合には（Ｓ１５０６でＹｅｓ）、処理をＳ１５０７へ進める。統合算出部１４０６は、未処理の階層が存在する場合には（Ｓ１５０６でＮｏ）、処理をＳ１５００へ進める。この場合、Ｓ１５００において、分割部１４０１は、未選択の階層の中から１つの階層を選択し、選択した階層ｋに対して設定されている領域画像の個数Ｎkを特定する。そして、分割部１４０１は、入力画像をＮk個の領域画像Ｒk,n（ｎ＝１，…，Ｎk）に分割する。
【００６２】
図１６は、分割処理（Ｓ１５００）の説明図である。ここでは、階層の数Ｋ＝３、階層ｋ＝１における領域画像の数Ｎ1＝１５、階層ｋ＝２における領域画像の数Ｎ2＝２４、階層ｋ＝３における領域画像の数Ｎ3＝３１とする。この場合、Ｓ１５００の処理を３回繰り返すことにより、図１６（ａ）〜（ｃ）に示すように、３つの階層それぞれに対応する領域画像群が得られる。
【００６３】
図１５に戻り、Ｓ１５０７において、統合算出部１４０６は、各画素に対し、各階層において得られた顕著度Ｄk,n（ｎ＝１，…，Ｎk）を足し合わせることにより、統合値、すなわち統合顕著度Ｄn（ｎ＝１，…，Ｎk）を算出する。同様に、統合算出部１４０６は、各画素に対し、各階層において得られた信頼度Ｔk,n（ｎ＝１，…，Ｎk）を足し合わせることにより、統合値、すなわち統合信頼度Ｔn（ｎ＝１，…，Ｎk）を算出する。図１７は、各階層において得られた顕著度Ｄk,nと、統合顕著度Ｄnの関係を示す図である。なお、図１７においては、顕著度が高い程、より白い色で示している。このように、３つの階層において得られた顕著度Ｄk,nから、統合顕著度Ｄnを得ることができる。図１５に戻り、Ｓ１５０８において、検出部１４０７は、統合顕著度Ｄn及び統合信頼度Ｔnに基づいて、注目領域を検出する。以上で、注目領域検出処理が完了する。
【００６４】
以上のように、第３の実施形態に係る注目領域検出装置１４００は、複数の階層の領域画像群それぞれから顕著度及び信頼度を算出し、これらを統合して、注目領域を検出する。これにより、精度よく注目領域を検出することができる。
【００６５】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００６６】
以上、上述した各実施形態によれば、注目領域の検出精度を向上させることができる。
【００６７】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００６８】
１００  注目領域検出装置
１０１  分割部
１０２  中心視領域設定部
１０３  周辺視領域設定部
１０４  顕著度算出部
１０５  信頼度算出部
１０６  検出部
【図１】
2016081472.tif 000018
【図２】
2016081472.tif 000019
【図３】
2016081472.tif 000020
【図４】
2016081472.tif 000021
【図５】
2016081472.tif 000022
【図６】
2016081472.tif 000023
【図７】
2016081472.tif 000024
【図８】
2016081472.tif 000025
【図９】
2016081472.tif 000026
【図１０】
2016081472.tif 000027
【図１１】
2016081472.tif 000028
【図１２】
2016081472.tif 000029
【図１３】
2016081472.tif 000030
【図１４】
2016081472.tif 000031
【図１５】
2016081472.tif 000032
【図１６】
2016081472.tif 000033
【図１７】
2016081472.tif 000034