(57)【特許請求の範囲】
【請求項１】
入力画像内の複数の点のそれぞれに対して第１の抽出領域と該第１の抽出領域とは異なる第２の抽出領域とを設定する抽出領域設定工程と、
前記第１の抽出領域および前記第２の抽出領域のそれぞれから特徴量を抽出する特徴量抽出工程と、
同一の点に対して設定された前記第１の抽出領域と前記第２の抽出領域との特徴量の確率密度の関係に基づいて前記複数の点における視覚的顕著度を算出する算出工程と、前記複数の点における視覚的顕著度に基づいて注目領域を検出する検出工程と、を有することを特徴とする注目領域検出方法。
【請求項２】
前記特徴量抽出工程では、前記第１の抽出領域および前記第２の抽出領域のそれぞれから、複数種類の特徴量を抽出することを特徴とする請求項１に記載の注目領域検出方法。
【請求項３】
前記複数種類の特徴量は、輝度値、エッジ強度、テクスチャのいずれか１つを含むことを特徴とする請求項２に記載の注目領域検出方法。
【請求項４】
前記算出工程では、前記視覚的顕著度を、前記第１の抽出領域の特徴量のヒストグラムと前記第２の抽出領域の特徴量に対するヒストグラムの対応するヒストグラムビン間の差分絶対値に基づいて算出することを特徴とする請求項１から３のいずれか１項に記載の注目領域検出方法。
【請求項５】
前記算出工程では、前記視覚的顕著度を、前記第１の抽出領域で得られた特徴量に対する確率密度と前記第２の抽出領域で得られた特徴量に対する確率密度の比に基づいて算出することを特徴とする請求項１から３のいずれか１項に記載の注目領域検出方法。
【請求項６】
前記検出工程では、前記視覚的顕著度の統計的分布に基づいて注目領域を検出することを特徴とする請求項１から５のいずれか１項に記載の注目領域検出方法。
【請求項７】
前記検出工程は、
前記視覚的顕著度に基づいて複数の局所的注目領域を設定する局所的注目領域設定工程と、
前記複数の局所的注目領域をそれらの距離の大きさに基づいて統合して局所的注目領域群を生成する統合工程と、
前記局所的注目領域群ごとに視覚的顕著度の合計値を算出し、その最大値を与える局所的注目領域群を特定する特定工程と、
特定された前記局所的注目領域群を包含する領域を前記注目領域として設定する注目領域設定工程と
を有することを特徴とする請求項６に記載の注目領域検出方法。
【請求項８】
入力画像内の複数の点のそれぞれに対して第１の抽出領域と該第１の抽出領域とは異なる第２の抽出領域とを設定する抽出領域設定手段と、
前記第１の抽出領域および前記第２の抽出領域のそれぞれから特徴量を抽出する特徴量抽出手段と、
同一の点に対して設定された前記第１の抽出領域と前記第２の抽出領域の特徴量との確率密度の関係に基づいて前記複数の点における視覚的顕著度を算出する算出手段と、前記複数の点における視覚的顕著度に基づいて注目領域を検出する検出手段と、を有することを特徴とする注目領域検出装置。
【請求項９】
前記特徴量抽出手段は、前記第１の抽出領域および前記第２の抽出領域のそれぞれから、複数種類の特徴量を抽出することを特徴とする請求項８に記載の注目領域検出装置。
【請求項１０】
前記複数種類の特徴量は、輝度値、エッジ強度、テクスチャのいずれか１つを含むことを特徴とする請求項９に記載の注目領域検出装置。
【請求項１１】
前記算出手段は、前記視覚的顕著度を、前記第１の抽出領域の特徴量のヒストグラムと前記第２の抽出領域の特徴量に対するヒストグラムの対応するヒストグラムビン間の差分絶対値に基づいて算出することを特徴とする請求項８から１０のいずれか１項に記載の注目領域検出装置。
【請求項１２】
前記算出手段は、前記視覚的顕著度を、前記第１の抽出領域で得られた特徴量に対する確率密度と前記第２の抽出領域で得られた特徴量に対する確率密度の比に基づいて算出することを特徴とする請求項８から１０のいずれか１項に記載の注目領域検出装置。
【請求項１３】
前記検出手段は、前記視覚的顕著度の統計的分布に基づいて注目領域を検出することを特徴とする請求項８から１２のいずれか１項に記載の注目領域検出装置。
【請求項１４】
前記検出手段は、
前記視覚的顕著度に基づいて複数の局所的注目領域を設定する局所的注目領域設定手段と、
前記複数の局所的注目領域をそれらの距離の大きさに基づいて統合して局所的注目領域群を生成する統合手段と、
前記局所的注目領域群ごとに視覚的顕著度の合計値を算出し、その最大値を与える局所的注目領域群を特定する特定手段と、
特定された前記局所的注目領域群を包含する領域を前記注目領域として設定する注目領域設定手段と
を有することを特徴とする請求項１３に記載の注目領域検出装置。
【請求項１５】
請求項１から７のいずれか１項に記載の注目領域検出方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の注目領域検出に関し、特に注目領域検出における視覚的顕著度の記述方法ならびに当該視覚的顕著度を用いた注目領域検出に関するものである。
【背景技術】
【０００２】
入力画像中から人間にとって意味のあるひと固まりの領域を検出する方法として、例えば、特許文献１では、以下のような方法が提案されている。すなわち、入力画像中から基礎特徴画像を複数種類抽出し、その多重解像度表現である多重解像度画像を抽出する。また、多重解像度画像の各種類について解像度の異なる画像の間の差分である解像度差分画像を複数抽出し、解像度差分画像の各種類について、解像度の異なる解像度差分画像を統合することにより視覚的顕著度画像を抽出する。さらに、得られた視覚的顕著度画像において顕著度がある閾値以上の領域として注目領域が検出できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３６１５号公報
【非特許文献】
【０００４】
【非特許文献１】Ｈｉｄｏ，Ｓ．，Ｔｓｕｂｏｉ，Ｙ．，Ｋａｓｈｉｍａ，Ｈ．，Ｓｕｇｉｙａｍａ，Ｍ．，＆Ｋａｎａｍｏｒｉ，Ｔ．Ｓｔａｔｉｓｔｉｃａｌ  ｏｕｔｌｉｅｒ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ｄｉｒｅｔ  ｄｅｎｓｉｔｙ  ｒａｔｉｏ  ｅｓｔｉｍａｔｉｏｎ．Ｋｎｏｗｌｅｄｇｅ  ａｎｄ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｙｓｔｅｍｓ，  ｔｏ  ａｐｐｅａｒ．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、このような入力画像中からの基礎特徴画像を直接用いて視覚的顕著度を算出する場合、環境的、観測的要因に依るノイズの影響を受けやすく、注目領域の検出精度が低下するという問題があった。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る注目領域検出方法は、入力画像内の複数の点のそれぞれに対して第１の抽出領域と該第１の抽出領域とは異なる第２の抽出領域とを設定する抽出領域設定工程と、前記第１の抽出領域および前記第２の抽出領域のそれぞれから特徴量を抽出する特徴量抽出工程と、同一の点に対して設定された前記第１の抽出領域と前記第２の抽出領域の特徴量との確率密度の関係に基づいて前記複数の点における視覚的顕著度を算出する算出工程と、
前記複数の点における視覚的顕著度に基づいて注目領域を検出する検出工程とを備える。
【発明の効果】
【０００７】
本発明によれば、注目領域の検出精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る注目領域検出装置の機能構成図である。
【図２】検出部の機能を説明する図である。
【図３】データ抽出領域を説明する図である。
【図４】視覚的顕著度の極大値が検出された検出点を説明する図である。
【図５】局所的注目領域群を説明する図である。
【図６】設定される注目領域を説明する図である。
【図７】学習部の機能を説明する図である。
【図８】パラメータ候補を説明する図である。
【図９】係数算出部の処理を説明する図である。
【図１０】パラメータの決定を説明する図である。
【図１１】パラメータ候補を説明する図である。
【図１２】注目領域検出装置を実現する情報処理装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、本発明の各実施形態について説明する。
【００１０】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る注目領域検出装置１の機能構成を示すブロック図である。本実施形態に係わる物体識別装置は、半導体集積回路（ＬＳＩ）を用いて実現されるものとする。図１に示すように注目領域検出装置１は、学習部１１、検出部１２、制御部１３を有する。これらの構成要素は注目領域検出装置１が果たす機能にそれぞれ対応している。
【００１１】
注目領域検出装置１が果たす機能を大別すると２つある。その１つは学習機能であり、学習部１１で実行される。もう１つは検出機能であり、検出部１２で実行される。ここで、学習部１１では、検出部１２で用いられるパラメータαを算出する。また、検出部１２は、学習部１１で算出したパラメータαを用いて入力画像内の注目領域を検出する。さらに、制御部１３は、物体識別装置１の各構成要素の制御を行っている。
【００１２】
一方、注目領域の検出結果は、注目領域検出装置１の上位階層の装置に伝達され、様々なアプリケーション（デジタルスチルカメラのオートフォーカス機能やセキュリティーカメラの異常検出機能など）に適用される。
【００１３】
図２は検出部１２の機能構成を示すブロック図である。図２に示すように検出部１２は、第１の算出部である特徴量算出部１２１、第２の算出部である視覚的顕著度算出部１２２、極大値探索部１２３、統合部１２４から構成される。
【００１４】
図３は、データ抽出領域を説明する図である。特徴量算出部１２１は、図３のように、注目領域検出装置１の外部から入力される入力画像中に、訓練データ抽出領域と検証データ抽出領域を設定する抽出領域設定を実行し、各々の領域から無作為に所定の個数の複数種類の低次特徴量抽出を行う。
【００１５】
ここで、訓練データ抽出領域と検証データ抽出領域は、大きさの異なる２つの円形領域で与えられる。このうちの半径の大きい方の円形領域を第１の抽出領域である検証データ抽出領域とし、半径の小さい方の円形領域を第２の抽出領域である訓練データ抽出領域とする。
【００１６】
また、訓練データ抽出領域と検証データ抽出領域の半径、抽出する低次特徴量の個数、およびその種類（輝度値、エッジ強度、テクスチャなど）は、あらかじめ学習部１１により決定され、制御部１３により伝達される。
【００１７】
なお、ここで得られた低次特徴量は視覚的顕著度算出部１２２に出力される。
【００１８】
視覚的顕著度算出部１２２は、特徴量算出部１２１で得られた低次特徴量に基づいて、入力画像内の任意の点における視覚的顕著度Ｓを算出する。具体的には、訓練データ抽出領域から得られた低次特徴量と、検証データ抽出領域から得られた低次特徴量とのそれぞれを用いて推定される確率密度の比に基づいて、視覚的顕著度Ｓを算出する。
【００１９】
ここで、訓練データ抽出領域における低次特徴量の確率密度ｐｔｒａｉｎと、検証データ抽出領域における低次特徴量の確率密度ｐｔｅｓｔとの密度比（ｐｔｅｓｔ／ｐｔｒａｉｎ）は、たとえば、非特許文献１の密度比推定手法を用いて算出できる。
【００２０】
これから、視覚的顕著度Ｓは、特徴量算出部１２１で抽出される低次特徴量が単一種の場合（たとえば、輝度値Ｙのみの場合）は、その低次特徴量による確率密度の比の標準偏差σの逆数１／σで与えられる。
【００２１】
また、視覚的顕著度Ｓは、特徴量算出部１２１で抽出される低次特徴量が複数種の場合（たとえば、輝度値Ｙ、エッジ強度Ｅ、テクスチャＴの３種類の場合）は、以下のようになる。すなわち、学習部１１より入力されるパラメータα＝（αＹ，αＥ，αＴ）と、各々の低次特徴量による確率密度の比の標準偏差（σＹ，σＥ，σＴ，）の逆数（１／σＹ，１／σＥ，１／σＴ）による線形和を用いて、式（１）のように与えられる。
【００２２】
さらに、視覚的顕著度Ｓは、特徴量算出部１２１で抽出される低次特徴量が複数種の場合（たとえば、Ｎ種類の場合）は、式（１）を容易に拡張でき、視覚的顕著度Ｓは式（２）のように与えられる。あるいは、より一般的に、視覚的顕著度Ｓは式（３）のようにσｎ（ｎ＝０〜Ｎ）に関する非線形関数としてもよい。
【００２３】
なお、得られた視覚的顕著度Ｓは、極大値探索部１２３に出力される。
【００２４】
【数１】
0005704909.tif 000002
【００２５】
【数２】
0005704909.tif 000003
【００２６】
【数３】
0005704909.tif 000004
【００２７】
極大値探索部１２３は、特徴量算出部１２１と視覚的顕著度算出部１２２を用いて、入力画像内のさまざまな点（ｘ，ｙ）における視覚的顕著度Ｓ＝Ｓ（ｘ，ｙ）を算出し、視覚的顕著度Ｓの統計的分布を求めるために、極大値（または、所定閾値以上の値）を与える点を検出する。
【００２８】
なお、極大値（または、所定閾値以上の値）の検出された点ｐｋ（ｋ＝０〜Ｋ）は、統合部１２４に出力される。ただし、Ｋは、視覚的顕著度Ｓの極大値（または、所定閾値以上の値）が検出された点（ｘ，ｙ）の個数を表す。
【００２９】
統合部１２４は、極大値探索部１２３で得られた、視覚的顕著度Ｓの極大値（または、所定閾値以上の値）が検出された検出点ｐｋ（ｋ＝０〜Ｋ）に対応する領域を局所的注目領域として設定する局所的注目領域設定を実行する。そして、それら局所的注目領域を２つの検出点の間の距離ｄに基づいて統合する。
【００３０】
例えば、図４のように、入力画像内の３点（ｐｉ，ｐｊ，ｐｋ）において視覚的顕著度Ｓの極大値（または、所定閾値以上の値）が得られたとする。図４において、ｐｉ，ｐｊ，ｐｋは、各々の円形領域の中心であり、それぞれの半径の大きさは訓練データ抽出領域の半径の大きさに相当する。まず、点ｐｉとｐｊに着目し、これらの点の間の距離ｄｉｊが所定閾値ｄｔｈより小さい場合、この２つの点（ｐｉ，ｐｊ）を同一グループとして統合して局所的注目領域群を生成する。次に、点ｐｊとｐｋに着目し、これらの点の間の距離ｄｊｋが所定閾値ｄｔｈより小さい場合、この２つの点（ｐｊ，ｐｋ）を同一のグループとして統合する。同様に、点ｐｉとｐｋに着目し、これらの点の間の距離ｄｉｋが所定閾値ｄｔｈより小さい場合、この２つの点を同一のグループとして統合する。ただし、上記所定閾値ｄｔｈは、学習部１２により決定され、制御部１３により伝達される。
【００３１】
これを視覚的顕著度Ｓの極大値（または、所定閾値以上の値）が検出された点ｐｋ（ｋ＝０〜Ｋ）の、すべての組に対して実行する。これにより、点ｐｋ（ｋ＝０〜Ｋ）に対応する局所的注目領域を複数のグループ（局所的注目領域群）ｇｍ（ｍ＝０〜Ｍ）に統合する（図５）。さらに、グループｇｍ（ｍ＝０〜Ｍ）毎に視覚的顕著度Ｓの合計値Ｓｍ（ｍ＝０〜Ｍ）を算出し、その最大値を与えるグループｇｍ’を包含する矩形領域を設定し（図６）、これを最終的な注目領域とする注目領域設定を実行する。ただし、上記Ｍは、グループ個数を表す（図５の例ではＭ＝３）。
【００３２】
なお、ここで得られた注目領域の入力画像上における位置とサイズは、制御部１２に出力される。
【００３３】
なお、上記手段が注目領域検出装置１における検出部１２の一例に相当する。
【００３４】
図７は学習部１１の機能構成を示すブロック図である。図７に示すように学習部１１は、画像データベース１１１、係数算出部１１２から構成される。学習部１１は、検出部１２で用いられるパラメータαを、画像データベース１１１に格納されたＧＴ（グランドトゥルース）画像に基づいて決定する。ここで、ＧＴ画像とは、入力画像内の予め意味のあるまとまった物体領域として、注目領域を図６の点線で示す矩形枠で定義し、その位置とサイズがあらかじめ設定された画像である。係数算出部１１２は、検出部１２を用いて同様の注目領域検出結果が得られるように、パラメータαを学習する。
【００３５】
具体的には、パラメータαの候補α０，ｍ（ｍ＝０〜Ｍ）をＮ次元空間のランダムな点の座標で与える。ただし、Ｎは低次特徴量の種類数を表し、本実施例では、輝度値Ｙ、エッジ強度Ｅ、テクスチャＴの３種類（Ｎ＝３）を考えることにする。また、Ｍはパラメータαの候補数を表す。
【００３６】
すると、パラメータαの候補α０，ｍ（ｍ＝０〜Ｍ）は、図８のように、３次元空間（αＹ，αＥ，αＴ）における半径１の球体内のランダムな点の座標で与えられる。ここで、パラメータαの候補数Ｍは、学習時間を短縮したい場合は、比較的小さめ（例えば１０〜５０）に、注目領域の検出精度を重視したい場合は、比較的大きめ（例えば１００〜５００）に設定する。
【００３７】
また、係数算出部１１２は、検出部１２を用いて、パラメータαの候補α０，ｍ（ｍ＝０〜Ｍ）の各々を用いた場合の検出精度Ｒ０，ｍ（ｍ＝０〜Ｍ）を測定する。ここで、係数算出部１１２は、図９のように、画像データベース１１１に格納されたＧＴ画像と、検出部１２を用いて得られた注目領域検出結果を各々照らし合わせる。検出精度Ｒ０，ｍは、それらの重複する面積ｓとＧＴ画像における注目領域の面積ｓ’との面積比（ｓ／ｓ’）の平均値で与えられる。
【００３８】
この結果、図１０のように、最も良好な検出精度Ｒｍ’を与えるパラメータαの候補α０，ｍ’が特定できたとする。次に、係数算出部１１２は、図１１のように、新たなパラメータαの候補α１，ｍ（ｍ＝０〜Ｍ）を、３次元空間（αＹ，αＥ，αＴ）における点α０，ｍ’を中心とする、半径１＊γ（０＜γ＜１）の球体内のランダムな点の座標で与える。ここで同様に、係数算出部１１２は、検出部１２を用いて、パラメータαの候補α１，ｍ（ｍ＝０〜Ｍ）の各々を用いた場合の検出精度Ｒ１，ｍ（ｍ＝０〜Ｍ）を算出する。
【００３９】
係数算出部１１２は、以下同様に上記の操作を繰り返し、球体の半径が所定閾値γｔｈより小さくなった場合、処理を打ち切り、その時点で得られたパラメータαを制御部１３に出力する。ただし、上記所定閾値γｔｈは、非負の実数として、試行錯誤的に決定される。以上が注目領域検出装置１における学習部１１の一例に相当する。
【００４０】
このようにして得られた注目領域検出結果は、注目領域検出装置１のさらに上位階層に伝達される。例えば、注目領域検出後にロボットアームにより注目対象物体をピックアップするような状況においては、ロボットアームと注目領域検出装置１とを制御するための装置、プログラム等に伝達され、様々なアプリケーションに適用される。
【００４１】
以上が注目領域検出装置１の一例に相当する。
【００４２】
［他の実施形態］
第１の実施形態では、注目領域検出装置は学習機能および識別機能の両者を実行するものとしたが、学習機能および検出機能のいずれか一方のみを実行するようにしてもよい。
【００４３】
第１の実施形態では、特徴量算出部１２１において、訓練データ抽出領域および検証データ抽出領域は２つの円形領域としていたが、円形状のみならず、楕円形状、矩形形状など、その他の任意形状を用いてもよい。また、最終的な注目領域も矩形領域に限らず、他の形状でもよい。
【００４４】
第１の実施形態では、視覚的顕著度算出部１２２は式（２）を用いて視覚的顕著度Ｓを計算していたが、式（２）の代わりに、訓練データ抽出領域の面積ｓを用いて、式（４）を用いてもよい。また、訓練データ抽出領域の面積ｓの任意関数ｆ（ｓ）を用いて、式（５）を用いてもよい。
【００４５】
【数４】
0005704909.tif 000005
【００４６】
【数５】
0005704909.tif 000006
【００４７】
また、第１の実施形態では、視覚的顕著度算出部１２２は、視覚的顕著度Ｓを、訓練データ抽出領域における低次特徴量の確率密度と、検証データ抽出領域における低次特徴量の確率密度との関係として、両者の密度比に基づいて算出していた。これに限らず、それぞれの抽出領域の低次特徴量のヒストグラムを求め、それぞれのヒストグラムの対応するヒストグラムビン間の差分絶対値に基づいて、視覚的顕著度Ｓを算出するようにしてもよい。
【００４８】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４９】
また、本発明は、以下の処理を実施することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムを読み出して実行する処理である。
【００５０】
図１２は、プログラムを実行することで上述した注目領域検出装置を実現する情報処理装置のハードウェア構成を示すブロック図である。
【００５１】
ＣＰＵ２０１は、各種プログラムを実行し、装置各部の制御を行う。ＲＯＭ２０２は、不揮発性のメモリであり、情報処理装置を初期動作させる際に必要なプログラムなどを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを提供し、２次記憶装置２０４から読み出されたプログラムなどを一時記憶する。２次記憶装置２０４は、ＣＰＵ２０１が使用するプログラム２１０を記録し、画像データベースで利用する画像を格納する。なお、プログラム２１０は、ＯＳ２１１、アプリケーション２１２、モジュール２１３、およびデータ２１４から構成される。
【００５２】
各デバイス２０１〜２０４は、バス２０５を通じて情報をやり取りする。情報処理装置は、バス２０５を介して、ディスプレイ２０６、キーボード２０７、マウス２０８、Ｉ／Ｏデバイス２０９とつながっている。
【００５３】
ディスプレイ２０６は、ユーザに処理結果や処理の途中経過等の情報を表示するのに用いられる。キーボード２０７とマウス２０８は、ユーザからの指示を入力するのに用いられ、特にマウス２０８は表示上の位置を入力するのに用いられる。Ｉ／Ｏデバイス２０９は、処理対象の画像を取り込むために用いられる。例えば、Ｉ／Ｏデバイス２０９は、対象物体を撮影する撮影装置から入力画像を取り込む。また、Ｉ／Ｏデバイス２０９は、情報処理結果として得られた注目領域を撮影装置や画像処理装置など他の情報処理装置へ出力することもできる。
【図１】
0005704909.tif 000007
【図２】
0005704909.tif 000008
【図３】
0005704909.tif 000009
【図４】
0005704909.tif 000010
【図５】
0005704909.tif 000011
【図６】
0005704909.tif 000012
【図７】
0005704909.tif 000013
【図８】
0005704909.tif 000014
【図９】
0005704909.tif 000015
【図１０】
0005704909.tif 000016
【図１１】
0005704909.tif 000017
【図１２】
0005704909.tif 000018