(57)【要約】  画像に含まれる顕著性が高い領域を適切に抽出する。入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算するように構成される顕著性マップ計算部（１１）と、顕著性マップを用いて顕著領域を抽出するように構成される顕著領域抽出部（１２）と、顕著領域における顕著性マップの値の分布と顕著領域以外の領域における顕著性マップの値の分布とを比較することにより、顕著領域のスコアを計算するように構成される顕著領域スコア計算部（１３）と、スコアに基づいて、顕著領域の顕著性を評価するように構成される顕著性評価部（１４）と、を備える画像処理装置（１）を提供する。
2018078806.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算するように構成される顕著性マップ計算部と、
前記顕著性マップを用いて顕著領域を抽出するように構成される顕著領域抽出部と、
前記顕著領域における前記顕著性マップの値の分布と前記顕著領域以外の領域における前記顕著性マップの値の分布とを比較することにより、前記顕著領域のスコアを計算するように構成される顕著領域スコア計算部と、
前記スコアに基づいて、前記顕著領域の顕著性を評価するように構成される顕著性評価部と、
を備える画像処理装置。
【請求項２】
前記顕著領域スコア計算部が、前記顕著領域における前記顕著性マップの平均値及び最大値の重み付き和と、前記顕著領域以外の領域における前記顕著性マップの平均値との差に基づいて前記スコアを計算するように構成される請求項１に記載の画像処理装置。
【請求項３】
前記顕著領域スコア計算部が、前記顕著領域以外の領域における前記顕著性マップの値の分布のばらつきを用いて前記スコアの正規化を行うように構成される請求項１又は２に記載の画像処理装置。
【請求項４】
前記顕著領域スコア計算部が、前記顕著領域以外の領域における前記顕著性マップの値の分布のばらつきとして、前記顕著性マップの値の標準偏差を用いるように構成される請求項３に記載の画像処理装置。
【請求項５】
前記顕著領域スコア計算部が、前記特徴量の夫々に対して複数のスケールの前記顕著性マップを計算するように構成される請求項１に記載の画像処理装置。
【請求項６】
前記顕著領域スコア計算部が、前記顕著領域における前記顕著性マップの値のヒストグラムと、前記顕著領域以外の領域における前記顕著性マップの値のヒストグラムとの差を計算することにより前記スコアを計算するように構成される請求項１に記載の画像処理装置。
【請求項７】
入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算するように構成される顕著性マップ計算部と、
前記顕著性マップを用いて顕著領域を抽出するように構成される顕著領域抽出部と、
前記顕著領域以外の領域における前記顕著性マップの極大点の個数を用いて前記顕著領域のスコアを計算するように構成される顕著領域スコア計算部と、
前記スコアに基づいて、前記顕著領域の顕著性を評価するように構成される顕著性評価部と、
を備える画像処理装置。
【請求項８】
入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算する工程と、
前記顕著性マップを用いて顕著領域を抽出する工程と、
前記顕著領域における前記顕著性マップの値の分布と前記顕著領域以外の領域における前記顕著性マップの値の分布とを比較することにより、前記顕著領域のスコアを計算する工程と、
前記スコアに基づいて、前記顕著領域の顕著性を評価する工程と、
を備える画像処理方法。
【請求項９】
入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算する処理と、
前記顕著性マップを用いて顕著領域を抽出する処理と、
前記顕著領域における前記顕著性マップの値の分布と前記顕著領域以外の領域における前記顕著性マップの値の分布とを比較することにより、前記顕著領域のスコアを計算する処理と、
前記スコアに基づいて、前記顕著領域の顕著性を評価する処理と、
をコンピュータに実行させる画像処理プログラム。
【請求項１０】
入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算する工程と、
前記顕著性マップを用いて顕著領域を抽出する工程と、
前記顕著領域以外の領域における前記顕著性マップの極大点の個数を用いて前記顕著領域のスコアを計算する工程と、
前記スコアに基づいて、前記顕著領域の顕著性を評価する工程と、
を備える画像処理方法。
【請求項１１】
入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算する処理と、
前記顕著性マップを用いて顕著領域を抽出する処理と、
前記顕著領域以外の領域における前記顕著性マップの極大点の個数を用いて前記顕著領域のスコアを計算する処理と、
前記スコアに基づいて、前記顕著領域の顕著性を評価する処理と、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、視覚的に顕著かどうかを示す度合、すなわち、顕著性を画像全体で可視化したものとして、顕著性マップが知られている。
引用文献１には、複数の特徴量毎に顕著性の指標である異質度・違和感等を用いて評点を算出し、算出された評点に基づいて、主要被写体の領域を予測する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５６０９４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特徴量が異なると顕著性マップの値の特性が異なるため、顕著性マップの顕著領域内の値のみに基づいてスコアを算出したとしても、領域としての顕著性を適切に表すことができない。
また、例えば、ある特徴量の顕著性マップでは顕著領域が一箇所に集中しており、別の特徴量の顕著性マップでは顕著領域が複数点在している場合、これらの顕著領域における顕著性マップの値が同程度であったとしても、前者の方を、領域としての顕著性が高いものとして評価することが望ましい。【０００５】
本発明は、上述した事情に鑑みてなされたものであって、画像に含まれる顕著性が高い領域を適切に抽出可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の第１の態様は、入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算するように構成される顕著性マップ計算部と、前記顕著性マップを用いて顕著領域を抽出するように構成される顕著領域抽出部と、前記顕著領域における前記顕著性マップの値の分布と前記顕著領域以外の領域における前記顕著性マップの値の分布とを比較することにより、前記顕著領域のスコアを計算するように構成される顕著領域スコア計算部と、前記スコアに基づいて、前記顕著領域の顕著性を評価するように構成される顕著性評価部と、を備える画像処理装置である。【０００７】
上記第１の態様に係る画像処理装置によれば、顕著性マップ計算部によって、入力画像から抽出される少なくとも一つの特徴量に基づく顕著性マップが計算され、この顕著性マップを用いて、顕著領域抽出部によって顕著領域が抽出される。そして、顕著領域スコア計算部によって、顕著領域における顕著性マップの値の分布と顕著領域以外の領域における顕著性マップの値の分布とが比較されて、顕著領域のスコアが計算される。計算されたスコアに基づいて、顕著性評価部によって顕著領域の顕著性が評価される。【０００８】
このように、顕著領域における顕著性マップの値の分布だけでなく、顕著領域以外の領域における顕著性マップの値の分布を用いて顕著領域のスコアが計算されるので、画像に含まれる顕著性が高い領域を適切に抽出することができる。【０００９】
上記第１の態様に係る画像処理装置において、前記顕著領域スコア計算部が、前記顕著領域における前記顕著性マップの平均値及び最大値の重み付き和と、前記顕著領域以外の領域における前記顕著性マップの平均値との差に基づいて前記スコアを計算するように構成されていてもよい。【００１０】
顕著領域における顕著性マップの平均値及び最大値の重み付き和と顕著領域以外の領域における顕著性マップの平均値との差は、領域としての顕著性が高くなるほど大きく、低くなるほど小さくなる。そのため、この差に基づいて前記スコアを計算することにより、画像に含まれる顕著性が高い領域をより適切に抽出することができる。【００１１】
上記第１の態様に係る画像処理装置において、前記顕著領域スコア計算部が、前記顕著領域以外の領域における前記顕著性マップの値の分布のばらつきを用いてスコアの正規化を行うように構成されていてもよい。
顕著領域以外の領域における顕著性マップの値の分布のばらつきは、領域としての顕著性が高くなるほど小さく、低くなるほど大きい。そのため、このばらつきを用いることにより、画像に含まれる顕著性が高い領域をより適切に抽出することができる。【００１２】
上記第１の態様に係る画像処理装置において、前記顕著領域スコア計算部が、前記顕著領域以外の領域における前記顕著性マップの値の分布のばらつきとして、前記顕著性マップの値の標準偏差を用いるように構成されていてもよい。【００１３】
顕著領域以外の領域における顕著性マップの値の分布の標準偏差は、領域としての顕著性が高くなるほど小さく、低くなるほど大きい。そのため、標準偏差を用いることにより、画像に含まれる顕著性が高い領域をより適切に抽出することができる。【００１４】
上記第１の態様に係る画像処理装置において、前記顕著領域スコア計算部が、前記特徴量の夫々に対して複数のスケールの前記顕著性マップを計算するように構成されていてもよい。
複数のスケールを用いることにより、顕著性マップが反応する被写体の大きさをスケール毎に異ならせることができるので、様々な大きさの被写体の検出を行うことができる。【００１５】
上記第１の態様に係る画像処理装置において、前記顕著領域スコア計算部が、前記顕著領域における前記顕著性マップの値のヒストグラムと、前記顕著領域以外の領域における前記顕著性マップの値のヒストグラムとの差を計算することにより前記スコアを計算するように構成されていてもよい。【００１６】
顕著領域における顕著性マップの値のヒストグラムと顕著領域以外の領域における顕著性マップの値のヒストグラムとの差は、領域としての顕著性が高くなるほど大きく、低くなるほど小さくなる。そのため、この差に基づいてスコアを計算することにより、画像に含まれる顕著性が高い領域をより適切に抽出することができる。【００１７】
本発明の第２の態様は、入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算するように構成される顕著性マップ計算部と、前記顕著性マップを用いて顕著領域を抽出するように構成される顕著領域抽出部と、前記顕著領域以外の領域における前記顕著性マップの極大点の個数を用いて前記顕著領域のスコアを計算するように構成される顕著領域スコア計算部と、前記スコアに基づいて、前記顕著領域の顕著性を評価するように構成される顕著性評価部と、を備える画像処理装置である。【００１８】
上記第２の態様に係る画像処理装置によれば、顕著性マップ計算部によって、入力画像から抽出される少なくとも一つの特徴量に基づく顕著性マップが計算され、この顕著性マップを用いて、顕著領域抽出部によって顕著領域が抽出される。そして、顕著領域スコア計算部によって、顕著領域以外の領域における顕著性マップの極大点の個数を用いて顕著領域のスコアが計算される。計算されたスコアに基づいて、顕著性評価部によって顕著領域の顕著性が評価される。【００１９】
このように、顕著領域以外の領域における顕著性マップの極大点の個数を用いて顕著領域のスコアが計算されるので、画像に含まれる顕著性が高い領域を適切に抽出することができる。【００２０】
本発明の第３の態様は、入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算する工程と、前記顕著性マップを用いて顕著領域を抽出する工程と、前記顕著領域における前記顕著性マップの値の分布と前記顕著領域以外の領域における前記顕著性マップの値の分布とを比較することにより、前記顕著領域のスコアを計算する工程と、前記スコアに基づいて、前記顕著領域の顕著性を評価する工程と、を備える画像処理方法である。【００２１】
本発明の第４の態様は、入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算する処理と、前記顕著性マップを用いて顕著領域を抽出する処理と、前記顕著領域における前記顕著性マップの値の分布と前記顕著領域以外の領域における前記顕著性マップの値の分布とを比較することにより、前記顕著領域のスコアを計算する処理と、前記スコアに基づいて、前記顕著領域の顕著性を評価する処理と、をコンピュータに実行させる画像処理プログラムである。【００２２】
本発明の第５の態様は、入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算する工程と、前記顕著性マップを用いて顕著領域を抽出する工程と、前記顕著領域以外の領域における前記顕著性マップの極大点の個数を用いて前記顕著領域のスコアを計算する工程と、前記スコアに基づいて、前記顕著領域の顕著性を評価する工程と、を備える画像処理方法である。【００２３】
本発明の第６の態様は、入力画像から抽出される少なくとも一つの特徴量に基づいて顕著性マップを計算する処理と、前記顕著性マップを用いて顕著領域を抽出する処理と、前記顕著領域以外の領域における前記顕著性マップの極大点の個数を用いて前記顕著領域のスコアを計算する処理と、前記スコアに基づいて、前記顕著領域の顕著性を評価する処理と、をコンピュータに実行させる画像処理プログラムである。
【発明の効果】
【００２４】
本発明によれば、画像に含まれる顕著性が高い領域を適切に抽出することができるという効果を奏する。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１から第３の実施形態に係る画像処理装置の概略を示す図である。
【図２】本発明の第１の実施形態に係る画像処理装置の内部構成を示す図である。
【図３】入力画像の一例であるカラー画像を説明するための略図である。
【図４】図２に示される画像処理装置に備えられる輝度顕著性マップ計算部、色顕著性マップ計算部及びテクスチャ顕著性マップ計算部の夫々の内部構成を示す図である。
【図５Ａ】図３で説明されたカラー画像の輝度に基づいて生成された輝度顕著性マップを示す図である。
【図５Ｂ】図３で説明されたカラー画像の色に基づいて生成された色顕著性マップを示す図である。
【図５Ｃ】図３で説明されたカラー画像のテクスチャに基づいて生成されたテクスチャ顕著性マップを示す図である。
【図６Ａ】顕著性マップにおけるスケールの一例について説明する図である。
【図６Ｂ】顕著性マップにおけるスケールの他の例について説明する図である。
【図７Ａ】図５Ａに示される輝度顕著性マップの顕著領域について説明する図である。
【図７Ｂ】図５Ｂに示される色顕著性マップの顕著領域について説明する図である。
【図７Ｃ】図５Ｃに示されるテクスチャ顕著性マップの顕著領域について説明する図である。
【図８】本発明の第１の実施形態における顕著領域スコア計算部におけるスコア計算について説明する模式図である。
【図９Ａ】図７Ａに示される輝度顕著性マップの顕著領域のスコアについて説明する図である
【図９Ｂ】図７Ｂに示される色顕著性マップの顕著領域のスコアについて説明する図である
【図９Ｃ】図７Ｃに示されるテクスチャ顕著性マップの顕著領域のスコアについて説明する図である
【図１０】本発明の第１の実施形態に係る画像処理装置で実行される処理のフローチャートである。
【図１１】本発明の第２の実施形態に係る画像処理装置に備えられる顕著領域スコア計算部の内部構成を示す図である。
【図１２】本発明の第２の実施形態における顕著領域スコア計算部におけるスコア計算について説明する模式図である
【図１３】本発明の第３の実施形態に係る画像処理装置に備えられる顕著領域スコア計算部の内部構成を示す図である。
【図１４】顕著性マップの極大点の一例について説明する図である。
【図１５】顕著性マップの極大点の個数と補正係数との関係を示す図である。
【発明を実施するための形態】
【００２６】
以下に、本発明に係る画像処理装置の実施形態について、図面を参照して詳細に説明する。なお、本実施形態に係る画像処理装置は、不図示のプロセッサと不図示のＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置とを備えており、プロセッサによって後述する各処理が実行されるように構成されている。なお、以下の実施形態において、画像処理装置は、ソフトウェアである画像処理プログラムをコンピュータに実行させることにより実装されているが、これに限定されず、シリコンチップ上の回路として等ハードウェアにより実装されていてもよい。
【００２７】
（第１の実施形態）
図１に示されるように、第１の実施形態に係る画像処理装置１は、機能ブロックとして、顕著性マップ計算部１１と、顕著領域抽出部１２と、顕著領域スコア計算部１３と、顕著性評価部１４と、を備えている。
【００２８】
顕著性マップ計算部１１は、顕著領域抽出部１２及び顕著領域スコア計算部１３に接続されている。顕著領域抽出部１２は顕著領域スコア計算部１３に接続されている。顕著領域スコア計算部１３は、顕著性評価部１４に接続されている。
【００２９】
顕著性マップ計算部１１は、図２に示されるように、輝度顕著性マップ計算部１１１と、色顕著性マップ計算部１１２と、テクスチャ顕著性マップ計算部１１３と、を備えており、入力された画像をもとに、輝度に基づく顕著性マップである輝度顕著性マップ、色に基づく顕著性マップである色顕著性マップ及びテクスチャに基づく顕著性マップであるテクスチャ顕著性マップを夫々計算するように構成されている。
【００３０】
輝度顕著性マップ計算部１１１は、図４に示されるように、入力された画像に対して、特徴量である輝度を計算する特徴量計算部１１１１と、輝度が計算された画像を複数のブロックに分割し、分割された各ブロックにおける輝度とその周辺のブロックにおける輝度との差分を計算する差分計算部１１１２と、を備えており、輝度顕著性マップを計算するように構成されている。
【００３１】
色顕著性マップ計算部１１２は、入力された画像に対して、特徴量である色を計算する特徴量計算部１１２１と、色が計算された画像を複数のブロックに分割し、分割された各ブロックにおける色とその周辺のブロックにおける色との差分を計算する差分計算部１１２２と、を備えており、色顕著性マップを計算するように構成されている。
【００３２】
テクスチャ顕著性マップ計算部１１３は、入力された画像に対して、特徴量であるテクスチャを計算する特徴量計算部１１３１と、テクスチャが計算された画像を複数のブロックに分割し、分割された各ブロックにおけるテクスチャとその周辺のブロックにおけるテクスチャとの差分を計算する差分計算部１１３２と、を備えており、テクスチャ顕著性マップを計算するように構成されている。
【００３３】
より具体的には、差分計算部１１１２，１１２２，１１３２においては、複数のブロックのうちの一つを注目ブロックとし、この注目ブロックにおける特徴量とその周辺のブロックにおける特徴量との差分が顕著性として計算される。そして、注目ブロックを画像全体にわたりスライドさせることで、顕著性を画像全体で可視化した顕著性マップが生成される。
【００３４】
図５Ａから図５Ｃには、図３に示される入力画像から計算された輝度顕著性マップ、色顕著性マップ及びテクスチャ顕著性マップがそれぞれ示されている。なお、図３には、イラストとして描かれた入力画像の略図が示されているが、実際にはこの入力画像はカメラ等の撮像装置によって取得されたカラー画像である。実際のカラー画像では、図３の右下部分には、赤みを帯びた比較的彩度の高い３つの花が咲いている様子が写し出されている。また、図３の下約２／３の部分は、比較的きめの細かいテクスチャを有する緑色の葉が茂っている様子が写し出されている。また、図３の上約１／３の部分は、デフォーカスされた背景部分であり、白みを帯びている様子が写し出されている。
図５Ａに示される輝度顕著性マップは、輝度に基づいて生成されているため、白みを帯びた比較的輝度の高い背景部分の顕著性が高くなっている。図５Ｂに示される色顕著性マップは、色に基づいて生成されているため、特に赤みを帯びた花の部分の顕著性が高くなっている。図５Ｃに示されるテクスチャ顕著性マップは、テクスチャに基づいて生成されているため、比較的きめの細かいテクスチャを有する下約２／３の部分の顕著性が高くなっている。
【００３５】
なお、顕著性マップ計算部１１は、ブロックの大きさ及び周辺のブロックの範囲の組合せ、すなわち、スケールを複数用いることにより、一つの特徴量に対して複数の顕著性マップが計算されるように構成されていてもよい。図６Ａ及び図６Ｂには、異なるスケールの例が示されている。図６Ａ及び図６Ｂの夫々において、実線で囲まれた部分が注目ブロックを示しており、破線で囲まれてハッチングが施されている部分が周辺のブロックを示している。この両者の組合せがスケールと呼ばれている。顕著性マップのスケールを変更することで、顕著性マップが反応する被写体の大きさを変化させることができる。従って、複数のスケールを用いることにより、様々な大きさの被写体の検出を行うことができる。
【００３６】
図２に示される顕著領域抽出部１２は、顕著性マップ計算部１１で計算された輝度顕著性マップ、色顕著性マップ及びテクスチャ顕著性マップの夫々に対して顕著性の高い領域を顕著領域として抽出するように構成されている。顕著領域抽出部１２は、例えば、輝度顕著性マップ、色顕著性マップ及びテクスチャ顕著性マップの夫々において、予め決められた閾値よりも高い値を有するブロックからなる領域を顕著領域として抽出するように構成されている。図７Ａから図７Ｃには、図５Ａから図５Ｃに示される各顕著性マップから抽出された顕著領域が太実線でそれぞれ示されている。
【００３７】
顕著領域スコア計算部１３は、図２に示されるように、顕著領域内平均値・最大値計算部１３１と、顕著領域外平均値・標準偏差計算部１３２と、顕著領域スコア生成部１３３と、を備えており、顕著領域抽出部１２によって抽出された各顕著領域が、画像内でどの程度顕著であるかを評価するためのスコアを計算するように構成されている。
【００３８】
顕著領域内平均値・最大値計算部１３１は、顕著領域抽出部１２と、顕著領域スコア生成部１３３とに接続されている。顕著領域外平均値・標準偏差計算部１３２は、顕著性マップ計算部１１及び顕著領域抽出部１２と、顕著領域スコア生成部１３３とに接続されている。顕著領域スコア生成部１３３は、顕著性評価部１４に接続されている。
【００３９】
顕著領域内平均値・最大値計算部１３１は、図８に示されるように、顕著領域抽出部１２で抽出された顕著領域Ｒに基づいて、顕著領域Ｒ内における顕著性の値の平均Ａｖｇ（Ｉ；Ｒ）及び顕著性の値の最大値Ｍａｘ（Ｉ；Ｒ）を計算するように構成されている。
【００４０】
顕著領域外平均値・標準偏差計算部１３２は、顕著性マップ計算部１１で計算された顕著性マップと顕著領域抽出部１２で抽出された顕著領域に基づいて、顕著領域Ｒ以外の領域である領域Ｂにおいて、顕著性の値の平均Ａｖｇ（Ｉ；Ｂ）及び顕著性の値の標準偏差Ｓｔｄｄｅｖ（Ｉ；Ｂ）を計算するように構成されている。
【００４１】
顕著領域スコア生成部１３３は、顕著領域内平均値・最大値計算部１３１で計算された平均Ａｖｇ（Ｉ；Ｒ）及び最大値Ｍａｘ（Ｉ；Ｒ）と、顕著領域外平均値・標準偏差計算部１３２で計算された平均Ａｖｇ（Ｉ；Ｂ）に基づいて、式（１）に示すように、最大値Ｍａｘ（Ｉ；Ｒ）及び平均Ａｖｇ（Ｉ；Ｒ）の重み付き和と、平均Ａｖｇ（Ｉ；Ｂ）との差分を計算し、これをスコアＳとして計算するように構成されている。
【００４２】
Ｓ＝（１−α）Ａｖｇ（Ｉ；Ｒ）＋αＭａｘ（Ｉ；Ｒ）−Ａｖｇ（Ｉ；Ｂ）          （１）
ここで、αは重みであり、取り得る範囲は、０≦α≦１である。
【００４３】
式（１）においては、顕著領域Ｒにおける顕著性マップの平均Ａｖｇ（Ｉ；Ｒ）及び最大値Ｍａｘ（Ｉ；Ｒ）の重み付き和と顕著領域Ｒ以外の領域である領域Ｂにおける顕著性マップの平均Ａｖｇ（Ｉ；Ｂ）との差は、領域としての顕著性が高くなるほど大きく、低くなるほど小さくなる。そのため、この差に基づいてスコアを計算することにより、画像に含まれる顕著性が高い領域をより適切に抽出することができる。
【００４４】
上記のスコアＳは、領域Ｂにおける顕著性の値の分布のばらつきを用いて正規化されてもよい。領域Ｂにおける顕著性マップの値の分布のばらつきは、領域としての顕著性が高くなるほど小さく、低くなるほど大きい。そのため、このばらつきを用いて正規化されることにより、画像に含まれる顕著性が高い領域をより適切に抽出することができる。例えば、ばらつきの指標として顕著領域外平均値・標準偏差計算部１３２で計算された標準偏差ｓｔｄｅｖ（Ｉ；Ｂ）を用いて、スコアＳが、式（１）を標準偏差ｓｔｄｅｖ（Ｉ；Ｂ）で除した式（２）によって計算されてもよい。
【００４５】
【数１】
2018078806.tif 000003
【００４６】
式（２）がスコアＳの計算に用いられることにより、例えば、領域Ｂに顕著性の値が高い箇所が幾つかあった場合には標準偏差Ｓｔｄｄｅｖ（Ｉ；Ｂ）が大きくなるので、スコアＳが小さくなる。逆に、領域Ｂにおける顕著性の値が全体的に低い場合には標準偏差Ｓｔｄｄｅｖ（Ｉ；Ｂ）が小さくなるので、スコアＳが大きくなる。そのため、標準偏差Ｓｔｄｄｅｖ（Ｉ；Ｂ）を用いてスコアＳが計算されることにより、画像に含まれる顕著性が高い領域をより適切に抽出することができる。
【００４７】
図９Ａから図９Ｃには、図７Ａから図７Ｃの各顕著領域について式（２）によって計算されたスコアが示されている。図９Ｂに示される色顕著性マップでは、図９Ａに示される輝度顕著性マップ及び図９Ｃに示されるテクスチャ顕著性マップと比較して、顕著領域以外の領域の顕著性の値の平均値が低く、かつ、標準偏差も低いため、スコアは高くなっている。
【００４８】
図２に示される顕著性評価部１４は、顕著領域スコア計算部１３で算出されたスコアに基づいて、抽出された顕著領域の顕著性を評価するように構成されている。顕著性評価部１４は、例えば、最も高いスコアを有する顕著領域を、画像内において最も高い顕著性を有する顕著領域として評価するように構成されている。
【００４９】
以下、上記構成を備える画像処理装置１において実行される本実施形態の画像処理方法について図１及び図１０を参照しながら説明する。
【００５０】
まず、図１に示されるように、画像が顕著性マップ計算部１１に入力される（図１０のステップＳ１）。次に、顕著性マップ計算部１１において、特徴量毎の顕著性マップが計算される（図１０のステップＳ２）。次に、顕著領域抽出部１２において、顕著性マップ計算部１１で計算された顕著性マップに基づいて顕著領域Ｒが抽出される（図１０のステップＳ３）。続いて、顕著領域スコア計算部１３において、顕著領域抽出部１２で抽出された顕著領域Ｒと顕著性マップ計算部１１で計算された顕著性マップに基づいて、顕著領域Ｒ内における顕著性マップの値の分布と、顕著領域Ｒ以外の領域である領域Ｂにおける顕著性マップの値の分布とが比較されることにより、顕著領域のスコアＳが計算される（図１０のステップＳ４）。最後に、顕著性評価部１４において、顕著領域スコア計算部で計算されたスコアＳに基づいて顕著性の評価が行われる。
その結果、例えば、最も高いスコアＳを有する顕著領域が、最も高い顕著性を有する領域として評価される。
【００５１】
このように、本実施形態によれば、顕著領域Ｒ内における最大値Ｍａｘ（Ｉ；Ｒ）及び平均Ａｖｇ（Ｉ；Ｒ）だけでなく、顕著領域Ｒ以外の領域である領域Ｂにおける平均Ａｖｇ（Ｉ；Ｂ）及び標準偏差ｓｔｄｄｅｖ（Ｉ；Ｂ）をも用いてスコアＳが計算されるので、画像に含まれる顕著性が高い領域を適切に抽出することができる。
なお、本実施形態では、顕著領域Ｒ内における値の分布の指標として最大値Ｍａｘ（Ｉ；Ｒ）及び平均Ａｖｇ（Ｉ；Ｒ）の重み付き和を採用し、領域Ｂにおける値の分布の指標として平均Ａｖｇ（Ｉ；Ｂ）を採用したが、これらに限定されない。例えば、中央値や最頻値等、各領域における値の分布の指標となる統計量であってもよい。
【００５２】
（第２の実施形態）
以下、第２の実施形態に係る画像処理装置１０１について、図面を参照して説明する。
図１に示されるように、第２の実施形態に係る画像処理装置１０１は、機能ブロックとして、顕著性マップ計算部１１と、顕著領域抽出部１２と、顕著領域スコア計算部２３と、顕著性評価部１４と、を備えている。
【００５３】
顕著性マップ計算部１１は、顕著領域抽出部１２及び顕著領域スコア計算部２３に接続されている。顕著領域抽出部１２は顕著領域スコア計算部２３に接続されている。顕著領域スコア計算部２３は、顕著性評価部１４に接続されている。
【００５４】
このように、本実施形態に係る画像処理装置１０１は、顕著領域スコア計算部１３に代えて、顕著領域スコア計算部２３を備えている点で第１の実施形態に係る画像処理装置１とは構成が異なる。以下の説明においては、第１の実施形態に係る画像処理装置１と構成を共通とする箇所には同一の符号を付して説明を省略する。
【００５５】
顕著領域スコア計算部２３は、図１１に示されるように、顕著領域内ヒストグラム作成部２３１と、顕著領域外ヒストグラム作成部２３２と、顕著領域スコア生成部２３３と、を備えており、顕著領域抽出部１２が抽出した各顕著領域が、画像内でどの程度顕著であるかを評価するためのスコアを計算するように構成されている。
【００５６】
顕著領域内ヒストグラム作成部２３１は、顕著性マップ計算部１１及び顕著領域抽出部１２と、顕著領域スコア生成部２３３とに接続されている。顕著領域外ヒストグラム作成部２３２は、顕著性マップ計算部１１及び顕著領域抽出部１２と、顕著領域スコア生成部２３３とに接続されている。顕著領域スコア生成部２３３は、顕著性評価部１４に接続されている。
【００５７】
顕著領域内ヒストグラム作成部２３１は、図１２に示されるように、顕著領域抽出部１２で抽出された顕著領域Ｒ内において、横軸に顕著性マップの値、縦軸に頻度をとったヒストグラムｈＲを作成するように構成されている。
【００５８】
顕著領域外ヒストグラム作成部２３２は、顕著性マップ計算部１１で計算された顕著性マップと顕著領域抽出部１２で抽出された顕著領域に基づいて、顕著領域Ｒ以外の領域である領域Ｂにおいて、横軸に顕著性マップの値、縦軸に頻度をとったヒストグラムｈＢを作成するように構成されている。
【００５９】
顕著領域スコア生成部２３３は、顕著領域内ヒストグラム作成部２３１で作成されたヒストグラムｈＲと、顕著領域外ヒストグラム作成部２３２で作成されたヒストグラムｈＢに基づいて、例えば、式（３）に示すように、バタチャリヤ距離を計算し、これをスコアＳとして計算するように構成されている。
【００６０】
【数２】
2018078806.tif 000004
【００６１】
なお、式（３）において、各ビンの値ｈＲｉ，ｈＢｉは、ビン出現回数を夫々の領域の画素数で割った出現確率として計算される。
式（３）がスコアＳの計算に用いられることにより、顕著領域Ｒ以外の領域である領域Ｂと顕著領域Ｒ内とで顕著性マップの分布が大きく異なる場合に、スコアＳが大きくなる。
【００６２】
このように、本実施形態によれば、顕著領域Ｒ内におけるヒストグラムｈＲだけでなく、顕著領域Ｒ以外の領域である領域ＢにおけるヒストグラムｈＢをも用いてスコアＳが計算されるので、画像に含まれる顕著性が高い領域を適切に抽出することができる。
【００６３】
（第３の実施形態）
以下、第３の実施形態に係る画像処理装置２０１について、図面を参照して説明する。
図１に示されるように、第３の実施形態に係る画像処理装置２０１は、機能ブロックとして、顕著性マップ計算部１１と、顕著領域抽出部１２と、顕著領域スコア計算部３３と、顕著性評価部１４と、を備えている。
【００６４】
顕著性マップ計算部１１は、顕著領域抽出部１２及び顕著領域スコア計算部３３に接続されている。顕著領域抽出部１２は顕著領域スコア計算部３３に接続されている。顕著領域スコア計算部３３は、顕著性評価部１４に接続されている。
【００６５】
このように、本実施形態に係る画像処理装置２０１は、顕著領域スコア計算部１３に代えて、顕著領域スコア計算部３３を備えている点で第１の実施形態に係る画像処理装置１とは構成が異なる。以下の説明においては、第１の実施形態に係る画像処理装置１と構成を共通とする箇所には同一の符号を付して説明を省略する。
【００６６】
顕著領域スコア計算部３３は、図１３に示されるように、顕著性マップ極大点検出部３３１と、顕著領域スコア生成部３３２と、を備えており、顕著領域抽出部１２が抽出した各顕著領域が、画像内でどの程度顕著であるかを評価するためのスコアを計算するように構成されている。
【００６７】
顕著性マップ極大点検出部３３１は、顕著性マップ計算部１１で計算された顕著性マップと顕著領域抽出部１２で抽出された顕著領域に基づいて、顕著領域Ｒ以外の領域である領域Ｂにおける顕著性マップの極大値を検出し、その個数をカウントするように構成されている。例えば、図１４に示される例の場合、領域Ｂに存在する極大点を検出し、その個数が４つであるとカウントする。
【００６８】
顕著領域スコア生成部３３２は、式（４）に示される関数により、スコアＳを計算するように構成されている。
Ｓ＝ｎ−α        （４）
ここで、αは任意の正の数をとるパラメタであり、ｎは極大点の個数を示している。式（４）のグラフを示す図１５から明らかなように、顕著領域Ｒ以外の領域である領域Ｂに極大点がある場合には、領域Ｂにおける極大点の個数がゼロの場合よりもスコアが小さくなる。
【００６９】
このように、本実施形態によれば、顕著領域Ｒ以外の領域である領域Ｂにおける極大点の個数を利用することで、画像に含まれる顕著性が高い領域を適切に抽出することができる。
なお、本実施形態では、式（４）に示される関数を用いたが、これに限定されずｎに対してＳが単調減少となる関数を用いてもよい。
【００７０】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、第３の実施形態に係る画像処理装置２０１に備えられる顕著領域スコア計算部３３で得られるスコアを補正係数として、第１の実施形態に係る画像処理装置１に備えられる顕著領域スコア計算部１３で得られるスコア又は第２の実施形態に係る画像処理装置１０１に備えられる顕著領域スコア計算部２３で得られるスコアに乗じたものが最終的なスコアとして計算されてもよい。
【００７１】
また、上述の実施形態においては、顕著性マップ計算部１１で３つの特徴量、すなわち、輝度、色及びテクスチャから顕著性マップが計算されるが、必ずしもこれらの３つの特徴量が必要というわけではなく、少なくとも一つの特徴量から顕著性マップが計算されてもよい。
また、入力画像から抽出される特徴量は、上記３つの特徴量に限定されず、入力画像から抽出し得る種々の特徴量を利用可能である。
【符号の説明】
【００７２】
１，１０１，２０１  画像処理装置
１１  顕著性マップ計算部
１２  顕著領域抽出部
１３，２３，３３  顕著領域スコア計算部
１４  顕著性評価部  
【図１】
2018078806.tif 000005
【図２】
2018078806.tif 000006
【図３】
2018078806.tif 000007
【図４】
2018078806.tif 000008
【図５Ａ】
2018078806.tif 000009
【図５Ｂ】
2018078806.tif 000010
【図５Ｃ】
2018078806.tif 000011
【図６Ａ】
2018078806.tif 000012
【図６Ｂ】
2018078806.tif 000013
【図７Ａ】
2018078806.tif 000014
【図７Ｂ】
2018078806.tif 000015
【図７Ｃ】
2018078806.tif 000016
【図８】
2018078806.tif 000017
【図９Ａ】
2018078806.tif 000018
【図９Ｂ】
2018078806.tif 000019
【図９Ｃ】
2018078806.tif 000020
【図１０】
2018078806.tif 000021
【図１１】
2018078806.tif 000022
【図１２】
2018078806.tif 000023
【図１３】
2018078806.tif 000024
【図１４】
2018078806.tif 000025
【図１５】
2018078806.tif 000026
【国際調査報告】
2018078806.tif 000027
2018078806.tif 000028