(57)【特許請求の範囲】
【請求項１】
入力画像の端部に、画素の特徴の類似性に基づいて複数の領域を設定する設定手段と、
前記複数の領域のそれぞれの特徴量を算出する特徴量算出手段と、
前記複数の領域それぞれの前記入力画像の端部に対する比率を算出する比率算出手段と、
前記入力画像の複数の画素位置に対して、各画素位置の特徴量と前記複数の領域のそれぞれの特徴量との関係と、当該複数の領域それぞれの前記入力画像の端部に対する前記算出した比率とに基づいて、当該各画素位置の顕著度を算出する顕著度算出手段と、
前記複数の画素位置における各画素位置の顕著度に基づいて、前記入力画像から注目領域を検出する検出手段と、
を有することを特徴とする注目領域検出装置。
【請求項２】
前記比率は、前記入力画像の端部の面積に対する前記複数の領域それぞれの面積の比率であることを特徴とする請求項１に記載の注目領域検出装置。
【請求項３】
前記顕著度算出手段は、前記各画素位置の特徴量と前記複数の領域のそれぞれの特徴量との差異と、当該複数の領域それぞれの前記入力画像の端部に対する比率と、の積和に基づいて、当該各画素位置の顕著度を算出することを特徴とする請求項１または２に記載の注目領域検出装置。
【請求項４】
前記設定手段は、画像中の注目領域の位置と大きさとが付与された学習用画像セットを用いて予め機械学習されていることを特徴とする請求項１から３のいずれか１項に記載の注目領域検出装置。
【請求項５】
前記設定手段は、前記入力画像ごとに前記端部の大きさを決定することを特徴とする請求項１から４のいずれか１項に記載の注目領域検出装置。
【請求項６】
前記設定手段は、入力画像を画素の特徴の類似性に基づいて複数の部分領域に分割し、当該複数の部分領域の各々と前記入力画像の端部とが重複する領域を、前記複数の領域に設定することを特徴とする請求項１に記載の注目領域検出装置。
【請求項７】
複数の前記顕著度を統合する統合手段を更に有し、
前記設定手段は、前記入力画像の端部に大きさの異なる複数の背景領域を設定し、
前記顕著度算出手段は、前記複数の背景領域ごとに前記顕著度を算出し、
前記統合手段は、前記複数の背景領域ごとの顕著度を統合し、
前記検出手段は、前記統合された顕著度に基づいて、前記入力画像の注目領域を検出することを特徴とする請求項１に記載の注目領域検出装置。
【請求項８】
複数の前記顕著度を統合する統合手段を更に有し、
前記設定手段は、異なる複数の粒度により、前記入力画像を複数の部分領域に分割し、
前記顕著度算出手段は、前記複数の粒度ごとに前記顕著度を算出し、
前記統合手段は、前記複数の粒度ごとの顕著度を統合し、
前記検出手段は、前記統合された顕著度に基づいて、前記入力画像の注目領域を検出することを特徴とする請求項６に記載の注目領域検出装置。
【請求項９】
入力画像の端部に、画素の特徴の類似性に基づいて複数の領域を設定するステップと、
前記複数の領域のそれぞれの特徴量を算出するステップと、
前記複数の領域それぞれの前記入力画像の端部に対する比率を算出するステップと、
前記入力画像の複数の画素位置に対して、各画素位置の特徴量と前記複数の領域のそれぞれの特徴量との関係と、当該複数の領域それぞれの前記入力画像の端部に対する前記算出した比率とに基づいて、当該各画素位置の顕著度を算出するステップと、
前記複数の画素位置における各画素位置の顕著度に基づいて、前記入力画像から注目領域を検出するステップと、
を有することを特徴とする注目領域検出方法。
【請求項１０】
コンピュータを、請求項１から８のいずれか１項に記載の注目領域検出装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚的顕著度に基づいて、入力画像から注目領域を検出する技術に関する。
【背景技術】
【０００２】
従来から、入力画像中の注目領域を検出する種々の方法が知られている。特許文献１に記載の方法では、まず入力画像の四隅の領域（画像の左上、右上、左下、右下）を背景領域に設定し、各背景領域から特徴量を抽出する。そして、各背景領域から抽出した特徴量と画像中の各点から抽出した特徴量との相違に基づいて、画像の各点における顕著度を算出し、この顕著度の大きさに基づいて画像中の注目領域を検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−５３７５９号公報
【非特許文献】
【０００４】
【非特許文献１】Ｈ．Ｖｉｎｏｄ  “Ｉｎｔｅｇｅｒ  Ｐｒｏｇｒａｍｍｉｎｇ  ａｎｄ  Ｔｈｅ  Ｔｈｅｏｒｙ  ｏｆ  Ｇｒｏｕｐｉｎｇ”  Ｊｏｕｒｎａｌ  Ａｍｅｒｅｒｉｃａｎ  Ｓｔａｔｉｓｔｉｓｔｉｃａｌ  Ａｓｓｏｃｉａｔｉｏｎ，ｖｏ．６４，ｐｐ．５０６−５１７  （１９６９）
【非特許文献２】Ｄｏｒｉｎ  Ｃｏｍａｎｉｃｉｕ，Ｐｅｔｅｒ  Ｍｅｅｒ，  Ｓｅｎｉｏｒ  Ｍｅｍｂｅｒ，Ｍｅａｎ  ｓｈｉｆｔ：  Ａ  ｒｏｂｕｓｔ  ａｐｐｒｏａｃｈ  ｔｏｗａｒｄ  ｆｅａｔｕｒｅ  ｓｐａｃｅ  ａｎａｌｙｓｉｓ，ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  ＰＡＭＩ，  ２００２．
【非特許文献３】大津展之：判別および最小２乗法に基づく自動しきい値選定法，電子通信学会論文誌、Ｊ６３−Ｄ−４（１９８０−４）、３４９．３５６．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１に記載の方法では、注目領域が背景領域と重複している場合や、注目領域と背景領域の特徴量が類似する場合などにおいては、注目領域の検出精度が低下するという問題があった。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本発明によれば、注目領域検出装置に、入力画像の端部に、画素の特徴の類似性に基づいて複数の領域を設定する設定手段と、前記複数の領域のそれぞれの特徴量を算出する特徴量算出手段と、前記複数の領域それぞれの前記入力画像の端部に対する比率を算出する比率算出手段と、前記入力画像の複数の画素位置に対して、各画素位置の特徴量と前記複数の領域のそれぞれの特徴量との関係と、当該複数の領域それぞれの前記入力画像の端部に対する前記算出した比率とに基づいて、当該各画素位置の顕著度を算出する顕著度算出手段と、前記複数の画素位置における各画素位置の顕著度に基づいて、前記入力画像から注目領域を検出する検出手段と、を有することを特徴とする。
【発明の効果】
【０００７】
以上の構成によれば、本発明は、注目領域が背景領域と重複している場合や、注目領域と背景領域の特徴量が類似する場合であっても、注目領域の検出精度の低下を軽減させることができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に関わる注目領域検出装置の構成を示す概略ブロック図。
【図２】第１の実施形態において領域分割部の機能を説明する図。
【図３】第１の実施形態において背景領域設定部の機能を説明する図。
【図４】第１の実施形態において部分領域と背景領域との関係を示す図。
【図５】第１の実施形態において検出部の機能を説明する図。
【図６】第１の実施形態に関わる注目領域検出方法のフローチャート。
【図７】第２の実施形態に関わる注目領域検出装置の構成を示す概略ブロック図。
【図８】第２の実施形態において背景領域の設定方法の一例を示す図。
【図９】第２の実施形態において背景領域の設定方法の別の例を示す図。
【図１０】第２の実施形態において背景領域の設定方法のまた別の例を示す図。
【図１１】第２の実施形態において統合部の機能を説明する図。
【図１２】第２の実施形態に関わる注目領域検出方法のフローチャート。
【図１３】第３の実施形態において領域分割部の機能を説明する図。
【発明を実施するための形態】
【０００９】
［第１の実施形態］
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本実施形態に係る注目領域検出装置の構成を示す概略ブロック図である。注目領域検出装置１は、領域分割部１１、背景領域設定部１２、重複率算出部１３、特徴量算出部１４、顕著度算出部１５、検出部１６を有する。
【００１０】
本実施形態に係る注目領域検出装置１は、半導体集積回路（ＬＳＩ）を用いて実現される。または、注目領域検出装置１が、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備えるようにしてもよい。その場合、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域を有する。
【００１１】
領域分割部１１は、注目領域検出装置１の外部から入力される入力画像を取得し、各画素間の色特徴の類似性に基づきＮ個の部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）に分割する。図２は、領域分割部１１によって入力画像をＮ個の部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）に分割する様子を示している。ここでは、入力画像の水平方向サイズをＸ、垂直方向サイズをＹとしている。図２の例では、領域分割部１１は、部分領域Ｒ１（斜線部分）、Ｒ２（点線部分）、Ｒ３（斜線部分と点線部分以外の部分）の３つの部分領域Ｒｎ（ｎ＝１，．．．，３）に分割している。入力画像を複数の部分領域に分割する手法としては、非特許文献１，２に記載された方法の他、種々の自動領域分割アルゴリズムを用いればよい。領域分割部１１は、入力画像を背景領域設定部１２に出力するとともに、Ｎ個の部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）に分割した結果を重複率算出部１３、特徴量算出部１４に出力する。
【００１２】
背景領域設定部１２は、入力画像に背景領域Ｂを設定する。図３は、背景領域設定部１２による背景領域Ｂの設定の様子を示している。同図（ａ）は元の入力画像であり、背景領域設定部１２は、例えば同図（ｂ）〜（ｄ）のように背景領域Ｂを設定する。図３（ｂ）の例では、入力画像の左部、上部、右部の幅Ｗの画枠領域を背景領域Ｂとして設定しており、図３（ｃ）の例では、入力画像の左部、上部、右部、下部の幅Ｗの画枠領域を背景領域Ｂとして設定している。また、図３（ｄ）の例では、入力画像の左上部、右上部、左下部、右下部の幅Ｗの正方領域を背景領域Ｂとして設定している。
【００１３】
なお、これらの例に限らず、背景領域設定部１２は、入力画像の端部に少なくとも１以上の領域を背景領域Ｂとして設定すればよい。また、背景領域Ｂを設定するためのＷの大きさは、所定値として予め決めておいてもよいし、画像中の注目領域の位置と大きさとが付与された学習用画像セットを用いて適切な値が求められるよう機械学習しておき、入力画像ごとに決定するようにしてもよい。背景領域設定部１２は、設定した背景領域Ｂの結果を重複率算出部１３に出力する。
【００１４】
重複率算出部１３は、領域分割部１１が入力画像を分割して生成した分割領域Ｒｎ（ｎ＝１，．．．，Ｎ）と、背景領域設定部１２が設定した背景領域Ｂとが重複する領域（Ｒｎ∩Ｂ）の重複率Ｗｎ（ｎ＝１，．．．，Ｎ）を算出する。重複率Ｗｎ（ｎ＝１，．．．，Ｎ）は、以下の数１式のように、背景領域Ｂの面積ＳＢと、部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）と背景領域Ｂとが重複する領域（Ｒｎ∩Ｂ）における面積Ｓｎ（ｎ＝１，．．．，Ｎ）と、の比率として与えられる。
【００１５】
【数１】
0006642970.tif 000002
【００１６】
また、重複率Ｗｎ（ｎ＝１，．．．，Ｎ）は、以下の数２式により与えられてもよい。すなわち、部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）の面積Ｓ’ｎ（ｎ＝１，．．．，Ｎ）と、部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）と背景領域Ｂとが重複する領域（Ｒｎ∩Ｂ）における面積Ｓｎ（ｎ＝１，．．．，Ｎ）と、の比率として与えられてもよい。
【００１７】
【数２】
0006642970.tif 000003
【００１８】
重複率算出部１３は、算出した重複率Ｗｎ（ｎ＝１，．．．，Ｎ）を顕著度算出部１５に出力する。
【００１９】
特徴量算出部１４は、領域分割部１１が生成した部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）と、背景領域設定部１２が設定した背景領域Ｂとに基づいて、特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）を算出する。特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）は、部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）と背景領域Ｂとが重複する領域（Ｒｎ∩Ｂ）における色特徴の平均値（Ａ（Ｙｎ），Ａ（Ｃｂｎ），Ａ（Ｃｒｎ））で与えられる。図４は、部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）と背景領域Ｂとが重複する領域（Ｒｎ∩Ｂ）を示している。同図（ａ）は入力画像を部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）に分割した様子を示しており、同図（ｂ）〜（ｄ）には、この部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）が、図３（ｂ）〜（ｄ）のように設定した背景領域Ｂと重複している様子を示している。
【００２０】
なお、特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）を、部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）と背景領域Ｂとが重複する領域（Ｒｎ∩Ｂ）における色特徴の中央値（Ｍ（Ｙｎ），Ｍ（Ｃｂｎ），Ｍ（Ｃｒｎ））で与えてもよい。また、他の基本統計量（Ｆ（Ｙｎ），Ｆ（Ｃｂｎ），Ｆ（Ｃｒｎ））で与えてもよい。特徴量算出部１４は、算出した特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）を顕著度算出部１５に出力する。
【００２１】
顕著度算出部１５は、重複率算出部１３が算出した重複率Ｗｎ（ｎ＝１，．．．，Ｎ）と、特徴量算出部１４が算出した特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）とに基づいて、顕著度Ｓｘ，ｙ（ｘ＝１，．．．，Ｘ，ｙ＝１，．．．，Ｙ）を算出する。顕著度Ｓｘ，ｙは、以下の数３式のように、入力画像中の着目点（ｘ，ｙ）における色特徴（Ｙ，Ｃｂ，Ｃｒ）と特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）との距離Ｄｎ（ｎ＝１，．．．，Ｎ）と、重複率Ｗｎ（ｎ＝１，．．．，Ｎ）と、の積和で与えられる。
【００２２】
【数３】
0006642970.tif 000004
【００２３】
顕著度Ｓｘ，ｙは、数４式のように、入力画像中の着目点（ｘ，ｙ）における色特徴（Ｙ，Ｃｂ，Ｃｒ）と特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）との距離Ｄｎ（ｎ＝１，．．．，Ｎ）と、重複率Ｗｎ（ｎ＝１，．．．，Ｎ）と、の積和のうちの最大値で与えてもよい。
Ｓｘ，ｙ＝ｍａｘ（Ｄ１・Ｗ１，Ｄ２・Ｗ２，．．．，ＤＮ・ＷＮ）      （数４）
ここで、距離Ｄｎは、特徴量算出部１４が算出した領域（Ｒｎ∩Ｂ）における特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）と、入力画像中の着目点（ｘ，ｙ）における特徴量との相違に相当するものである。具体的には、数５式のように、領域（Ｒｎ∩Ｂ）における色特徴の平均値（Ａ（Ｙｎ），Ａ（Ｃｂｎ），Ａ（Ｃｒｎ））と、入力画像の着目点（ｘ，ｙ）における色特徴（Ｙ，Ｃｂ，Ｃｒ）と、のユークリッド距離ＤＥｎまたはマンハッタン距離ＤＭｎで与えられる。
【００２４】
【数４】
0006642970.tif 000005
【００２５】
なお、特徴量算出部１４が、領域（Ｒｎ∩Ｂ）における色特徴の中央値や他の基本統計量を用いて特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）を算出している場合は、数５式において、これらの値を色特徴の平均値に代えて距離Ｄｎを算出すればよい。顕著度算出部１５は、算出した顕著度Ｓｘ，ｙを検出部１６に出力する。
【００２６】
検出部１６は、顕著度算出部１５が算出した顕著度Ｓｘ，ｙ（ｘ＝１，．．．，Ｘ，ｙ＝１，．．．，Ｙ）に基づいて、入力画像から注目領域を検出する。本実施形態では、検出部１６は、まず顕著度Ｓｘ，ｙを画像上に配置した顕著度マップを作成する。図５は、検出部１６による注目領域の検出処理を説明する図であり、同図（ａ）は、検出部１６が作成する顕著度マップを示している。そして、検出部１６は、作成した顕著度マップに対して２値化処理することで、注目領域の候補領域（図５（ｂ）の白色領域）とそれ以外の領域（図５（ｂ）の黒色領域）とに分離する。顕著度マップを２値化処理する手法としては、非特許文献３に開示されている、クラス内分散を最小化し、クラス間分散を最大化することにより適応的に閾値を設定する手法を採用すればよい。さらに、検出部１６は、得られた注目領域の候補領域に対して、図５（ｃ）のように外接する矩形領域を設定することにより、最終的な注目領域を検出する。
【００２７】
このようにして検出された注目領域は、注目領域検出結果を用いて処理を行う装置へと出力される。例えば、デジタルカメラのような撮像装置においては、検出された注目領域にフォーカスを合わせ、当該領域を高画質化するような処理に供される。また、デジタルカメラのような撮像装置に備えられた半導体集積回路が前述の注目領域検出装置としての機能を実現するようにしてもよく、この場合、撮像装置自体が本実施形態の注目領域検出装置に相当する。
【００２８】
図６は、本実施形態に係る注目領域検出方法のフローチャートを示している。本処理が開始されると、まず、ステップＳ１０１において、領域分割部１１は、入力画像を取得し、各画素間の色特徴の類似性に基づきＮ個の部分領域Ｒｎ（ｎ＝１，．．．，Ｎ）に分割する。次に、ステップＳ１０２では、背景領域設定部１２が、入力画像に対して背景領域Ｂを設定する。
【００２９】
ステップＳ１０３において、重複率算出部１３は、領域分割部１１により生成された分割領域Ｒｎ（ｎ＝１，．．．，Ｎ）と、背景領域設定部１２により設定された背景領域Ｂとが重複する領域（Ｒｎ∩Ｂ）の重複率Ｗｎ（ｎ＝１，．．．，Ｎ）を算出する。そして、ステップＳ１０４において、特徴量算出部１４は、領域（Ｒｎ∩Ｂ）における特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）として、当該領域における色特徴に関する情報（例えば平均値）を算出し、顕著度算出部１５に出力する。
【００３０】
ステップＳ１０５では、顕著度算出部１５は、重複率Ｗｎ（ｎ＝１，．．．，Ｎ）と特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）とに基づいて、顕著度Ｓｘ，ｙ（ｘ＝１，．．．，Ｘ，ｙ＝１，．．．，Ｙ）を算出する。そして、Ｓ１０６において、検出部１６が顕著度Ｓｘ，ｙから顕著度マップを作成し、この顕著度マップに基づき注目領域を検出する。なお、本実施形態の注目領域検出方法の各ステップの処理は順に実行される必要はなく、例えば、ステップＳ１０１の部分領域に分割する処理と、ステップＳ１０２の背景領域を設定する処理とを並行して行ってもよい。
【００３１】
以上、本実施形態によれば、入力画像に設定した部分領域と背景領域との重複する領域における特徴量を算出し、この重複領域の特徴量と入力画像の各位置における特徴量とに基づいて、入力画像の各位置における顕著度を算出する。そのため、注目領域が背景領域と重複している場合や、注目領域と背景領域の特徴量が類似する場合であっても、算出した顕著度に基づいて、精度よく注目領域を検出することが可能となる。
【００３２】
（その他）
上述の説明において、顕著度算出部１５は、重複率Ｗｎ（ｎ＝１，．．．，Ｎ）と特徴量Ｆｎ（ｎ＝１，．．．，Ｎ）とに基づいて、顕著度Ｓｘ，ｙを算出している。しかし、重複率の情報は用いずに、特徴量Ｆｎから導出される距離Ｄｎ（ｎ＝１，．．．，Ｎ）に基づいて算出するようにしてもよい。例えば、以下の数６式のように、顕著度Ｓｘ，ｙを距離Ｄｎ（ｎ＝１，．．．，Ｎ）のうちの最小値として与えてもよい。
Ｓｘ，ｙ＝ｍｉｎ（Ｄ１，Ｄ２，．．．，ＤＮ）      （数６）
また、重複率Ｗｎ（ｎ＝１，．．．，Ｎ）が閾値Ｔ以上の部分領域Ｒｎ（ｎ＝１，．．．，Ｎ’）に注目するようにしてもよい。つまり、数７式のように、入力画像中の着目点（ｘ，ｙ）における色特徴（Ｙ，Ｃｂ，Ｃｒ）と、閾値Ｔ以上の部分領域Ｒｎ（ｎ＝１，．．．，Ｎ’）の特徴量Ｆｎ（ｎ＝１，．．．，Ｎ’）との距離Ｄｎ（ｎ＝１，．．．，Ｎ’）のうちの最小値でもよい。ここで、閾値Ｔは、予め定められた所定値であてもよいし、画像中の注目領域の位置と大きさとが付与された学習用画像セットを用いて適切な値が求められるよう機械学習しておき、入力画像ごとに決定するようにしてもよい。
Ｓｘ，ｙ＝ｍｉｎ（Ｄ１，Ｄ２，．．．，ＤＮ’）      （数７）
このように、重複率の情報を用いずに顕著度Ｓｘ，ｙを算出することにより、重複率算出部１３の構成およびその処理を省略することができる。
【００３３】
［第２の実施形態］
次に、本発明の第２の実施形態として、複数の背景領域Ｂｋ（ｋ＝１，．．．，Ｋ）を設定し、各背景領域に対して算出された顕著度Ｓｋ，ｘ，ｙ（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて、統合顕著度ＩＳｘ，ｙを算出する構成について説明を行う。なお、第１の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。
【００３４】
図７は、本実施形態に係る注目領域検出装置の構成を示す概略ブロック図である。本実施形態の注目領域検出装置１は、第１の実施形態で説明をした各機能部に加えて、統合部２１を備えている。また、本実施形態では、背景領域設定部１２が実行する処理の内容が、第１の実施形態と異なっている。
【００３５】
本実施形態において、背景領域設定部１２は、取得した入力画像に複数の背景領域Ｂｋ（ｋ＝１，．．．，Ｋ）を設定する。図８〜１０は、背景領域設定部１２によって設定される背景領域Ｂｋ（ｋ＝１，．．．，Ｋ）の様子を示している。
【００３６】
背景領域設定部１２は、例えば図８（ａ）〜（ｃ）のように、入力画像の左部、上部、右部に対して複数の幅Ｗｋ（ｋ＝１，．．．，Ｋ）で規定される画枠領域を、背景領域Ｂｋ（ｋ＝１，．．．，Ｋ）として設定する。なお、背景領域Ｂｋ（ｋ＝１，．．．，Ｋ）は、図９（ａ）〜（ｃ）のように、入力画像の左部、上部、右部、下部に対する複数の幅Ｗｋ（ｋ＝１，．．．，Ｋ）の画枠領域として設定してもよい。また、図１０（ａ）〜（ｃ）のように、入力画像の左上部、右上部、左下部、右下部における複数の幅Ｗｋ（ｋ＝１，．．．，Ｋ）の正方領域として設定してもよい。いずれにしても、本実施形態では、入力画像の端部の少なくとも１か所に対して複数の幅Ｗｋ（ｋ＝１，．．．，Ｋ）で規定される領域を、背景領域Ｂｋ（ｋ＝１，．．．，Ｋ）とすることができる。なお、複数の幅Ｗｋ（ｋ＝１，．．．，Ｋ）の間隔や個数Ｋの値は、予め定められた所定値とすることができる。または、画像中の注目領域の位置と大きさとが付与された学習用画像セットを用いて適切な値が求められるよう機械学習しておき、入力画像ごとに決定するようにしてもよい。
【００３７】
そして、重複率算出部１３は、各背景領域Ｂｋ（ｋ＝１，．．．，Ｋ）に対して、第１の実施形態と同様にして、重複率Ｗｋ，ｎ（ｋ＝１，．．．，Ｋ）を算出する。同様にして、特徴量算出部１４、顕著度算出部１５は、各背景領域Ｂｋ（ｋ＝１，．．．，Ｋ）に対して、特徴量Ｆｋ，ｎ（ｋ＝１，．．．，Ｋ）、顕著度Ｓｋ，ｘ，ｙ（ｋ＝１，．．．，Ｋ）を算出する。
【００３８】
統合部２１は、顕著度算出部１５が算出した顕著度Ｓｋ，ｘ，ｙ（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて統合顕著度ＩＳｘ，ｙを算出する。図１１は、統合顕著度ＩＳｘ，ｙを算出する処理を模式的に示す図であり、同図においては、顕著度Ｓ１，ｘ，ｙ〜Ｓ３，ｘ，ｙを階層的に足し合わせている。
【００３９】
検出部１６は、統合部２１により算出された統合顕著度ＩＳｘ，ｙ（ｘ＝１，．．．，Ｘ，ｙ＝１，．．．，Ｙ）に基づいて、入力画像から注目領域を検出する。検出部１６による注目領域の検出処理の内容は、第１の第１の実施形態と同様であり、生成した顕著度マップに基づいて注目領域の候補領域を抽出し、候補領域に外接する矩形領域を設定することにより、最終的な注目領域を検出する。
【００４０】
図１２は、本実施形態に係る注目領域検出方法のフローチャートを示している。本実施形態の検出フローが第１の実施形態と異なる点は、ステップＳ１０５とＳ１０６との間に、ステップＳ２０１の処理が実行されることである。ステップＳ２０１では、統合部２１が、前述したように、顕著度算出部１５が算出した顕著度Ｓｋ，ｘ，ｙ（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて統合顕著度ＩＳｘ，ｙを算出する。また、ステップＳ１０２において、背景領域設定部１２は、複数の背景領域Ｂｋ（ｋ＝１，．．．，Ｋ）を設定する。
【００４１】
以上、本実施形態によれば、入力画像に大きさの異なる複数の背景領域を設定し、この複数の背景領域ごとに顕著度を算出する。そして、算出した複数の背景領域ごとの顕著度を統合し、統合顕著度に基づいて入力画像から注目領域を検出する。したがって、第１の実施形態のように単一のサイズで背景領域を設定する場合に比べて、注目領域の検出の炉バスト性を向上させることができる。
【００４２】
［第３の実施形態］
次に、本発明の第３の実施形態について説明を行う。本実施形態では、複数の部分領域Ｒｋ，ｎ（ｋ＝１，．．．，Ｋ，ｎ＝１，．．．，Ｎ）を設定し、各部分領域に対して算出される顕著度Ｓｋ，ｘ，ｙ（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて統合顕著度ＩＳｘ，ｙを算出する。なお、第１、第２の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。
【００４３】
本実施形態の注目領域検出装置１は、第２の実施形態で説明した注目領域検出装置１の構成と同じである。すなわち、第１の実施形態で説明をした各機能部に加えて、統合部２１を備えた構成となっている。ただし、本実施形態では、領域分割部１１が実行する処理の内容が、第１、第２の実施形態と異なっている。
【００４４】
本実施形態の領域分割部１１は入力画像を取得し、各画素間の色特徴の類似性に基づいて、粒度が異なるＮｋ通りで、取得した入力画像を部分領域Ｒｋ，ｎ（ｎ＝１，．．．，Ｎｋ）に分割する。本実施形態で、粒度は、入力画像からどの程度細かく部分領域に分割するかという、分割の細かさに相当している。
【００４５】
図１３は、領域分割部１１が、元の入力画像（同図（ａ））に対して、ｋ＝１番目の粒度からｋ＝３番目の粒度までの３通り（同図（ｂ）〜（ｄ））で、部分領域Ｒｋ，ｎ（ｎ＝１，．．．，Ｎｋ）に分割している様子を示す図である。図１２（ｂ）は、領域分割部１１が、ｋ＝１番目の粒度で入力画像を部分領域に分割する様子を示しており、ここでは、３つの部分領域Ｒ１，ｎ（ｎ＝１，．．．，３）に分割されている。同様にして、図１２（ｃ）はｋ＝２番目の粒度の場合であり、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ２４の４つの部分領域Ｒ２，ｎ（ｎ＝１，．．．，４）に分割されている。また、図１２（ｄ）はｋ＝３番目の粒度の場合であり、Ｒ３１、Ｒ３２、Ｒ３３、Ｒ３４、Ｒ３５の５つの部分領域Ｒ３，ｎ（ｎ＝１，．．．，５）に分割されている。なお、粒度の個数Ｋの値は、予め定められた所定値としてもよいし、画像中の注目領域の位置と大きさとが付与された学習用画像セットを用いて適切な値が求められるよう機械学習しておき、入力画像ごとに決定するようにしてもよい。
【００４６】
そして、重複率算出部１３、特徴量算出部１４、顕著度算出部１５は、各粒度Ｎｋで分割された部分領域に対して、重複率Ｗｋ，ｎ（ｋ＝１，．．．，Ｋ）、特徴量Ｆｋ，ｎ（ｋ＝１，．．．，Ｋ）、顕著度Ｓｋ，ｘ，ｙ（ｋ＝１，．．．，Ｋ）を算出する。そして、統合部２１は、第２の実施形態と同様にして、顕著度算出部１５が算出した顕著度Ｓｋ，ｘ，ｙ（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて統合顕著度ＩＳｘ，ｙを算出する。また、検出部１６は、第２の実施形態と同じように、統合部２１により算出された統合顕著度ＩＳｘ，ｙ（ｘ＝１，．．．，Ｘ，ｙ＝１，．．．，Ｙ）に基づいて、入力画像から注目領域を検出する。
【００４７】
本実施形態に係る注目領域検出方法のフローは、第２の実施形態と同様である。ただし、本実施形態の検出フローにおいて、ステップＳ１０１において、領域分割部１１は、粒度が異なるＮｋ通りで、入力画像を複数の部分領域Ｒｋ，ｎ（ｎ＝１，．．．，Ｎｋ）に分割する。また、ステップＳ２０１では、統合部２１が、粒度Ｎｋごとに算出された顕著度Ｓｋ，ｘ，ｙ（ｋ＝１，．．．，Ｋ）を階層的に足し合わせて統合顕著度ＩＳｘ，ｙを算出する。
【００４８】
以上、本実施形態によれば、複数の粒度によって入力画像を複数の部分領域に分割し、複数の粒度ごとに顕著度を算出する。そして、複数の粒度ごとに算出した顕著度を統合して、統合顕著度に基づいて入力画像から注目領域を検出する。したがって、第１の実施形態のように単一の粒度で部分領域に分割する場合に比べて、注目領域の検出の炉バスト性を向上させることができる。
【００４９】
［その他の実施形態］
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００５０】
１  注目領域検出装置
１１  領域分割部
１２  背景領域設定部
１３  重複率算出部
１４  特徴量算出部
１５  顕著度算出部
１６  検出部
【図１】
0006642970.tif 000006
【図２】
0006642970.tif 000007
【図３】
0006642970.tif 000008
【図４】
0006642970.tif 000009
【図５】
0006642970.tif 000010
【図６】
0006642970.tif 000011
【図７】
0006642970.tif 000012
【図８】
0006642970.tif 000013
【図９】
0006642970.tif 000014
【図１０】
0006642970.tif 000015
【図１１】
0006642970.tif 000016
【図１２】
0006642970.tif 000017
【図１３】
0006642970.tif 000018