(57)【要約】【課題】汎用性及び信頼性に優れた新規な顕著性検出技術を提供する。【解決手段】顕著性情報取得装置は、入力画像のピクセルごとの顕著度を、各ピクセルの周囲の局所領域から得られる情報に基づいて計算する、ローカル顕著性取得部と、前記入力画像に対し、複数の候補領域を設定する候補領域設定部と、前記複数の候補領域それぞれの顕著度を、各候補領域内のピクセルごとの顕著度の特徴を表すローカル顕著性特徴量と、前記入力画像の全体に対する各候補領域の特徴を表すグローバル特徴量とを含む情報に基づいて計算する、グローバル顕著性取得部と、前記グローバル顕著性取得部により得られた前記複数の候補領域の顕著度を統合して、前記入力画像の顕著性情報を生成する統合部と、を有する。【選択図】図１
2017004480.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のピクセルごとの顕著度を、各ピクセルの周囲の局所領域から得られる情報に基づいて計算する、ローカル顕著性取得部と、
前記入力画像に対し、複数の候補領域を設定する候補領域設定部と、
前記複数の候補領域それぞれの顕著度を、各候補領域内のピクセルごとの顕著度の特徴を表すローカル顕著性特徴量と、前記入力画像の全体に対する各候補領域の特徴を表すグローバル特徴量とを含む情報に基づいて計算する、グローバル顕著性取得部と、
前記グローバル顕著性取得部により得られた前記複数の候補領域の顕著度を統合して、前記入力画像の顕著性情報を生成する統合部と、
を有することを特徴とする顕著性情報取得装置。
【請求項２】
前記ローカル顕著性取得部は、第１のディープニューラルネットワークを用いて、前記入力画像のピクセルごとの顕著度を計算する
ことを特徴とする請求項１に記載の顕著性情報取得装置。
【請求項３】
前記第１のディープニューラルネットワークは、あるピクセルの周囲の局所領域の画像を入力とし、当該ピクセルの顕著度の推定結果を出力する、ように構成されたニューラルネットワークである
ことを特徴とする請求項２に記載の顕著性情報取得装置。
【請求項４】
前記ローカル顕著性取得部により得られたピクセルごとの顕著度と、前記候補領域設定部により得られた前記複数の候補領域とに基づいて、前記候補領域に含まれるピクセルの顕著度が相対的に大きくなり、前記候補領域から外れたピクセルの顕著度が相対的に小さくなるように、ピクセルごとの顕著度を修整する、ローカル顕著性修整部をさらに有し、
前記グローバル顕著性取得部は、前記ローカル顕著性修整部によって修整された顕著度を用いて、各候補領域の前記ローカル顕著性特徴量を得る
ことを特徴とする請求項１〜３のうちいずれか１項に記載の顕著性情報取得装置。
【請求項５】
前記グローバル顕著性取得部は、第２のディープニューラルネットワークを用いて、前記複数の候補領域それぞれの顕著度を計算する
ことを特徴とする請求項１〜４のうちいずれか１項に記載の顕著性情報取得装置。
【請求項６】
前記第２のディープニューラルネットワークは、ある候補領域のローカル顕著性特徴量とグローバル特徴量を成分として含む特徴ベクトルを入力とし、当該候補領域の顕著度の推定結果を出力する、ように構成されたニューラルネットワークである
ことを特徴とする請求項５に記載の顕著性情報取得装置。
【請求項７】
前記ローカル顕著性特徴量は、
当該候補領域におけるピクセルごとの顕著度の統計値、
前記入力画像全体におけるピクセルごとの顕著度の合計に対する、当該候補領域におけるピクセルごとの顕著度の合計の比、
前記統計値と前記比の積、及び、
前記入力画像内で顕著度がゼロでない領域に対する、当該候補領域の重なり率、
のうち少なくともいずれかを含む
ことを特徴とする請求項１〜６のうちいずれか１項に記載の顕著性情報取得装置。
【請求項８】
前記グローバル特徴量は、
当該候補領域の色ヒストグラムと前記入力画像の端部領域の色ヒストグラムのあいだの差、
当該候補領域内での色の代表値と前記入力画像の端部領域内での色の代表値のあいだの差、
当該候補領域の色ヒストグラムと前記入力画像全体の色ヒストグラムのあいだの差、及び、
当該候補領域内での色の分散、
のうち少なくともいずれかを含む
ことを特徴とする請求項１〜７のうちいずれか１項に記載の顕著性情報取得装置。
【請求項９】
前記グローバル特徴量は、
当該候補領域を包含する矩形のアスペクト比、
前記矩形の高さ、
前記矩形の幅、
当該候補領域の中心座標、
当該候補領域の長軸の長さ、
当該候補領域の短軸の長さ、及び、
当該候補領域のオイラー数、
のうち少なくともいずれかを含む
ことを特徴とする請求項１〜８のうちいずれか１項に記載の顕著性情報取得装置。
【請求項１０】
前記統合部は、前記複数の候補領域の顕著度を、前記第２のディープニューラルネットワークによる各候補領域に対する推定結果の信頼性に応じた重みを用いて、重み付け加算することにより、前記入力画像の顕著性情報を生成する
ことを特徴とする請求項６に記載の顕著性情報取得装置。
【請求項１１】
前記候補領域設定部は、前記入力画像のなかから物体らしい領域を複数検出し、検出された複数の領域を前記複数の候補領域に設定する
ことを特徴とする請求項１〜１０のうちいずれか１項に記載の顕著性情報取得装置。
【請求項１２】
前記候補領域設定部は、Ｇｅｏｄｅｓｉｃ  Ｏｂｊｅｃｔ  Ｐｒｏｐｏｓａｌ（ＧＯＰ）法によって、前記入力画像のなかから前記物体らしい領域を検出する
ことを特徴とする請求項１１に記載の顕著性情報取得装置。
【請求項１３】
入力画像のピクセルごとの顕著度を、各ピクセルの周囲の局所領域から得られる情報に基づいて計算するステップと、
前記入力画像に対し、複数の候補領域を設定するステップと、
前記複数の候補領域それぞれの顕著度を、各候補領域内のピクセルごとの顕著度の特徴を表すローカル顕著性特徴量と、前記入力画像の全体に対する各候補領域の特徴を表すグローバル特徴量とを含む情報に基づいて計算するステップと、
前記複数の候補領域の顕著度を統合して、前記入力画像の顕著性情報を生成するステップと、
を有することを特徴とする顕著性情報取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のなかの顕著領域を自動で検出する技術に関する。
【背景技術】
【０００２】
画像解析によって、画像のなかの重要な領域、あるいは人間が注目すると予測される領域（このような領域を顕著領域（saliency region）と呼ぶ。）を自動で検出する技術が
知られている。この種の技術は、顕著性検出（saliency detection）又は注視領域検出（visual attention detection）と呼ばれ、コンピュータビジョンなどの分野における重要な要素技術として大きな注目を集めている。
【０００３】
顕著性検出のアルゴリズムは、一般に、ローカル手法とグローバル手法に大別される。ローカル手法とは、画像内の局所領域から抽出される特徴量（局所コントラスト、エッジ方向など）を手掛かりとして顕著度（saliency measure）を計算する手法である（例えば非特許文献１）。一方のグローバル手法は、画像全体から抽出される特徴量（大域コントラスト、ヒストグラムなど）や事前知識（背景、注目しやすい位置など）を手掛かりとして顕著度を計算する手法である（例えば非特許文献２）。
【０００４】
このように顕著性検出のアルゴリズムは従来から数多く提案されている。しかし、あらゆる画像で高精度な検出結果を得ることは難しく、顕著性検出の汎用性及び信頼性のさらなる向上が望まれている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】L. Itti, C. Koch, and E. Niebur. A model of saliency-based visual attention for rapid scene analysis. PAMI, 20(11):1254-1259, 1998.
【非特許文献２】M.-M. Cheng, G.-X. Zhang, N. J. Mitra, X. Huang, and S.-M. Hu. Global contrast based salient region detection. In CVPR, pages 409-416, 2011.
【非特許文献３】P. Krahenbuhl and V. Koltun. Geodesic object proposals. In ECCV, pages 725-739. 2014.
【非特許文献４】A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In NIPS, pages 1097-1105, 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記実情に鑑みなされたものであって、汎用性及び信頼性に優れた新規な顕著性検出技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は以下の構成を採用する。
【０００８】
具体的には、本発明に係る顕著性情報取得装置は、入力画像のピクセルごとの顕著度(saliency measure)を、各ピクセルの周囲の局所領域(local region)から得られる情報に基づいて計算する、ローカル顕著性取得部と、前記入力画像に対し、複数の候補領域（candidate region）を設定する候補領域設定部と、前記複数の候補領域それぞれの顕著度を、各候補領域内のピクセルごとの顕著度の特徴を表すローカル顕著性特徴量(local saliency feature)と、前記入力画像の全体に対する各候補領域の特徴を表すグローバル特徴量(g
lobal feature)とを含む情報に基づいて計算する、グローバル顕著性取得部と、前記グローバル顕著性取得部により得られた前記複数の候補領域の顕著度を統合して、前記入力画像の顕著性情報(saliency information)を生成する統合部と、を有することを特徴とする。
【０００９】
この構成によれば、局所領域から得られる情報を手掛かりとしてピクセルごとの顕著度（ローカル顕著性）を計算した後に、領域単位のローカル顕著性特徴量とグローバル特徴量を手掛かりとして候補領域ごとの顕著度（グローバル顕著性）を計算し、それらを統合して最終的な顕著性情報を生成する。したがって、局所的な特徴と画像全体でみたときの特徴の両方を考慮した顕著性の評価が実現でき、顕著性検出の汎用性及び信頼性を向上することができる。
【００１０】
前記ローカル顕著性取得部は、第１のディープニューラルネットワークを用いて、前記入力画像のピクセルごとの顕著度を計算するとよい。従来の顕著性検出アルゴリズムでは、顕著度の評価に用いる特徴量やその組み合わせをユーザ自身が設計する必要があった。そのため、特徴量の最適化が非常に難しく、また、顕著性検出の性能が特徴量の設計の良し悪しに依存してしまうという課題があった。これに対し、本発明では、第１のディープニューラルネットワークを利用したことによって、局所領域の情報から顕著度を計算する識別器を機械学習により自動生成することができる。したがって、安定した性能をもつ識別器を簡単に得ることが可能となる。
【００１１】
前記第１のディープニューラルネットワークは、あるピクセルの周囲の局所領域の画像を入力とし、当該ピクセルの顕著度の推定結果を出力する、ように構成されたニューラルネットワークであるとよい。局所領域から抽出可能な特徴量はいろいろあるが、その中のどれが顕著性に影響するかは明らかでない。したがって、機械学習の段階で、第１のディープニューラルネットワークに対し生データである画像そのものを入力し、第１のディープニューラルネットワーク内部で特徴量の抽出、選択、結合の最適化を行わせるようにすることで、顕著度の推定結果の信頼性を向上することができる。
【００１２】
前記ローカル顕著性取得部により得られたピクセルごとの顕著度と、前記候補領域設定部により得られた前記複数の候補領域とに基づいて、前記候補領域に含まれるピクセルの顕著度が相対的に大きくなり、前記候補領域から外れたピクセルの顕著度が相対的に小さくなるように、ピクセルごとの顕著度を修整（refine）する、ローカル顕著性修整部をさらに有し、前記グローバル顕著性取得部は、前記ローカル顕著性修整部によって修整された顕著度を用いて、各候補領域の前記ローカル顕著性特徴量を得るとよい。候補領域の内部か外部かという空間的な情報を補完的に用いて顕著度を修整することで、顕著度分布におけるノイズを低減し、顕著度分布の空間的な一貫性を高めることができる。
【００１３】
前記グローバル顕著性取得部は、第２のディープニューラルネットワークを用いて、前記複数の候補領域それぞれの顕著度を計算するとよい。従来の顕著性検出アルゴリズムでは、顕著度の評価に用いる特徴量やその組み合わせをユーザ自身が設計する必要があった。そのため、特徴量の最適化が非常に難しく、また、顕著性検出の性能が特徴量の設計の良し悪しに依存してしまうという課題があった。これに対し、本発明では、第２のディープニューラルネットワークを利用したことによって、ローカル顕著性特徴量とグローバル特徴量とを含む情報から各候補領域の顕著度を計算する識別器を機械学習により自動生成することができる。したがって、安定した性能をもつ識別器を簡単に得ることが可能となる。
【００１４】
前記第２のディープニューラルネットワークは、ある候補領域のローカル顕著性特徴量とグローバル特徴量を成分として含む特徴ベクトルを入力とし、当該候補領域の顕著度の
推定結果を出力する、ように構成されたニューラルネットワークであるとよい。ローカル顕著性特徴量とグローバル特徴量にはいろいろあるが、その中のどれが顕著性に影響するかは明らかでない。したがって、機械学習の段階で、第２のディープニューラルネットワークに対し様々な種類のローカル顕著性特徴量とグローバル特徴量を入力し、第２のディープニューラルネットワーク内部で特徴量の選択、結合の最適化を行わせるようにすることで、顕著度の推定結果の信頼性を向上することができる。
【００１５】
例えば、前記ローカル顕著性特徴量としては、「当該候補領域におけるピクセルごとの顕著度の統計値」、「前記入力画像全体でのピクセルごとの顕著度の合計に対する、当該候補領域におけるピクセルごとの顕著度の合計の比」、「前記統計値と前記比の積」、「前記入力画像内で顕著度がゼロでない領域に対する、当該候補領域の重なり率」などが考えられる。これらのうちの１つ以上を、ローカル顕著性特徴量として用いるとよい。
【００１６】
例えば、前記グローバル特徴量としては、「当該候補領域の色ヒストグラムと前記入力画像の端部領域の色ヒストグラムのあいだの差」、「当該候補領域内での色の代表値と前記入力画像の端部領域内での色の代表値のあいだの差」、「当該候補領域の色ヒストグラムと前記入力画像全体の色ヒストグラムのあいだの差」、「当該候補領域内での色の分散」などが考えられる。これらのうちの１つ以上を、グローバル特徴量として用いるとよい。
【００１７】
また、前記グローバル特徴量としては、「当該候補領域を包含する矩形のアスペクト比」、「前記矩形の高さ」、「前記矩形の幅」、「当該候補領域の中心座標」、「当該候補領域の長軸の長さ」、「当該候補領域の短軸の長さ」、「当該候補領域のオイラー数」なども考えられる。これらは候補領域の幾何特徴を表している。これらのうちの１つ以上を、グローバル特徴量として用いるとよい。
【００１８】
前記統合部は、前記複数の候補領域の顕著度を、前記第２のディープニューラルネットワークによる各候補領域に対する推定結果の信頼性に応じた重みを用いて、重み付け加算することにより、前記入力画像の顕著性情報を生成するとよい。これにより、より信頼性の高い顕著性情報を得ることができる。
【００１９】
前記候補領域設定部は、前記入力画像のなかから物体らしい領域を複数検出し、検出された複数の領域を前記複数の候補領域に設定するとよい。人間の注意は、画像の背景や何もない領域よりも、画像に写る物体に向けられることが多い。したがって、顕著性は、画像のなかに存在する物体の単位で評価するのが妥当であると考えられる。それゆえ、物体らしい領域を候補領域に設定することで、より信頼性の高い顕著性情報が得られると期待できる。
【００２０】
なお、本発明は、上記構成ないし機能の少なくとも一部を有する顕著性情報取得装置、顕著性検出装置などとして捉えることができる。また本発明は、上記処理の少なくとも一部を含む顕著性情報取得方法、顕著性検出方法などとして捉えることができる。さらに、本発明は、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００２１】
本発明によれば、汎用性及び信頼性に優れた新規な顕著性検出技術を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】顕著性情報取得装置の機能構成を示すブロック図。
【図２】顕著性検出処理の流れを示すフローチャート。
【図３】ローカル顕著性取得処理を説明する図。
【図４】ＧＯＰ法による候補領域設定処理を説明する図。
【図５】ローカル顕著性マップの修整処理を説明する図。
【図６】グローバル顕著性取得処理を説明する図。
【図７】端部領域を説明する図。
【図８】顕著性マップの統合処理を説明する図。
【発明を実施するための形態】
【００２３】
本発明は、コンピュータによる画像解析によって、静止画像又は動画像から顕著領域を自動で検出・抽出する顕著性検出アルゴリズムに関する。顕著性検出の結果である顕著性情報は、例えば、ピクセルごと又は領域ごとの顕著度（saliency measure）の分布を表す顕著性マップ（saliency map）、又は、顕著性マップを所定の閾値で二値化した二値画像の形式で出力される。このような顕著性情報は、コンピュータビジョンアプリケーション（例えば、画像の領域分割（セグメンテーション）、画像分類、シーン解釈、画像圧縮、顔認識、物体認識）の前処理など、様々な用途に好ましく利用される。
【００２４】
本発明に係る顕著性検出アルゴリズムは「ローカル推定」と「グローバル検出」の２つのステージで構成される。前段のローカル推定ステージでは、入力画像の各ピクセル周辺の局所領域から得られる情報を手掛かりとして、各ピクセルの顕著度が推定され、仮の顕著性マップ（ローカル顕著性マップと呼ぶ）が生成される。後段のグローバル検出ステージでは、ローカル推定ステージで得たローカル顕著性マップと、入力画像の全体から得られる情報を手掛かりとして、顕著領域が推定され、最終的な顕著性マップが生成される。これにより、画像内の局所的な特徴と画像全体でみたときの特徴の両方を考慮した顕著性の評価が実現でき、アルゴリズムのロバスト性を向上し汎用性を高めることができるとともに、顕著性検出の精度及び信頼性を向上することができる。
【００２５】
さらに、以下に述べる実施形態では、ローカル推定とグローバル検出のそれぞれのステージにおいて、ディープラーニング（Deep learning）ベースのニューラルネットワーク
であるディープニューラルネットワーク（ＤＮＮ）を利用する。ローカル推定ステージで用いる第１のディープニューラルネットワーク（以後、ＤＮＮ−Ｌと呼ぶ）については、多数の教師あり画像を用いて、ピクセル周辺の局所領域から抽出可能なローカル特徴量（局所的なコントラスト、テクスチャ、形状情報など）と顕著性との関係が学習される。また、グローバル検出ステージで用いる第２のディープニューラルネットワーク（以後、ＤＮＮ−Ｇと呼ぶ）については、多数の教師あり画像を用いて、入力画像から抽出可能なグローバル特徴量（大域的なコントラスト、幾何情報（画像内での位置情報含む）など）と顕著性との関係が学習される。このような方法により、画像から抽出可能な様々な手掛かり（特徴量）のあいだの複雑な依存関係や重要性（顕著性に対する貢献）をモデル化し、任意の画像に汎用的に適用可能な顕著性検出エンジンを構築することができる。
【００２６】
以下に、本発明に係る顕著性検出アルゴリズムの具体的な実施形態の一例を、図面を用いて説明する。ただし、以下に述べる実施形態は本発明の好適な構成例を示すものであり、本発明の範囲をその構成例に限定する趣旨のものではない。
【００２７】
（装置構成）
図１は、本発明の実施形態に係る顕著性情報取得装置の機能構成を示すブロック図である。図１の顕著性情報取得装置１は、主な構成として、画像取得部１０、ローカル顕著性取得部１１、候補領域設定部１２、ローカル顕著性修整部１３、特徴抽出部１４、グロー
バル顕著性取得部１５、統合部１６を有する。このうち、ローカル顕著性取得部１１、候補領域設定部１２、ローカル顕著性修整部１３が「ローカル推定」に関わる機能ブロックであり、候補領域設定部１２、特徴抽出部１４、グローバル顕著性取得部１５、統合部１６が「グローバル検出」に関わる機能ブロックである。図１の符号Ｄ１０〜Ｄ１６は、機能ブロックのあいだで受け渡しされるデータを示している。
【００２８】
画像取得部１０は、処理対象となる画像を取得する機能を有する。画像取得部１０は、撮像装置（カメラ）から画像データを取り込んでもよいし、記憶装置やネットワーク上のサーバなどから画像データを読み込んでもよい。画像の形式は問わないが、本実施形態ではＲＧＢのカラー画像を想定している。また、画像としては、静止画像、動画像のいずれを入力してもよい。動画像が入力される場合には、後述する顕著性検出の処理がフレームごとに実行される。取得された入力画像Ｄ１０は、メモリなどに記憶され、ローカル顕著性取得部１１、候補領域設定部１２、特徴抽出部１４などで利用される。
【００２９】
ローカル顕著性取得部１１は、入力画像Ｄ１０のピクセルごとの顕著度を、各ピクセルの周囲の局所領域から得られる情報に基づいて計算（推定）する機能を有する。ローカル顕著性取得部１１は、局所領域の情報から顕著度を推定するための識別器として、ディープニューラルネットワークＤＮＮ−Ｌを利用する。ローカル顕著性取得部１１によって推定されたピクセルごとの顕著度の分布を表すデータをローカル顕著性マップＤ１１と呼ぶ。
【００３０】
候補領域設定部１２は、入力画像Ｄ１０に対し、複数の候補領域Ｄ１２を設定する機能を有する。この候補領域Ｄ１２は、ローカル顕著性修整部１３、特徴抽出部１４、統合部１６などで利用される。
【００３１】
ローカル顕著性修整部１３は、ローカル顕著性取得部１１により得られたローカル顕著性マップＤ１１と、候補領域設定部１２により得られた複数の候補領域Ｄ１２の情報とに基づいて、ピクセルごとの顕著度を修整（リファイン）する機能を有する。後段のグローバル検出ステージでは、修整されたローカル顕著性マップＤ１３が利用される。なお、ローカル顕著性取得部１１により得られたローカル顕著性マップＤ１１の信頼性が十分高い場合には、修整処理は省略して構わない（その場合は、ローカル顕著性マップＤ１１がそのままグローバル検出に利用される）。
【００３２】
特徴抽出部１４は、複数の候補領域Ｄ１２のそれぞれについて、顕著性の手掛かりとなり得る様々な種類の特徴量を抽出し、多次元の特徴ベクトルＤ１４を生成する機能を有する。特徴量には、少なくとも、候補領域内のピクセルごとの顕著度の特徴を表すもの（ローカル顕著性特徴量と呼ぶ）と、入力画像Ｄ１０の全体に対する候補領域の特徴を表すもの（グローバル特徴量と呼ぶ）とが含まれる。
【００３３】
グローバル顕著性取得部１５は、特徴抽出部１４により得られた特徴ベクトルＤ１４に基づいて、各候補領域の顕著度を計算（推定）する機能を有する。グローバル顕著性取得部１５は、特徴ベクトルＤ１４から顕著度を推定するための識別器として、ディープニューラルネットワークＤＮＮ−Ｇを利用する。グローバル顕著性取得部１５の推定結果Ｄ１５は統合部１６に入力される。
【００３４】
統合部１６は、グローバル顕著性取得部１５により得られた複数の候補領域の顕著度を統合して、入力画像全体の最終的な顕著性マップ（顕著性情報）を生成する機能を有する。統合部１６によって生成された最終的な顕著性マップＤ１６は、記憶装置に保存され、又は、外部装置に出力され、物体認識や画像分類などの各種コンピュータビジョンアプリケーションに利用される。
【００３５】
顕著性情報取得装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、補助記憶装置、入力装置、表示装置、通信装置などを具備するコンピュータにより構成することができる。図１に示した顕著性情報取得装置１の各機能は、補助記憶装置に格納されたプログラムをメモリにロードし、ＣＰＵが実行することにより実現される。ただし、顕著性情報取得装置１の一部又は全部の機能をＡＳＩＣやＦＰＧＡなどの回路で実現することもできる。あるいは、顕著性情報取得装置１の一部の機能をクラウドコンピューティングや分散コンピューティングにより実現してもよい。
【００３６】
（顕著性検出処理）
顕著性情報取得装置１が実行する顕著性検出処理の詳細を説明する。図２は、顕著性検出処理の流れを示すフローチャートである。
【００３７】
（１）ローカル推定ステージ
ステップＳ１０において、画像取得部１０が、顕著性検出の対象となる入力画像を取得する。画像取得部１０は、必要に応じて、フォーマット変換、解像度変換、ノイズ除去などの前処理を行ってもよい。図３に入力画像Ｄ１０の一例として、自転車に乗った女性の画像を示す。この画像を見た人は、多くの場合、被写体である女性に注目すると考えられる。したがって、顕著性情報取得装置１に期待される出力結果は、女性の領域の顕著度が高い顕著性マップである。
【００３８】
続くステップＳ１１〜Ｓ１３の処理は、入力画像Ｄ１０内の全てのピクセルに対し順に実行される。以後、入力画像Ｄ１０の座標（ｘ，ｙ）にあるピクセルをピクセル（ｘ，ｙ）と表記する。図３は、ステップＳ１１〜Ｓ１３の処理を模式的に示している。
【００３９】
ローカル顕著性取得部１１は、入力画像Ｄ１０から、処理対象のピクセル（ｘ，ｙ）を中心とする所定サイズの局所領域画像を切り出す（ステップＳ１１）。局所領域画像のサイズは任意に設定できるが、本実施形態では５１×５１ピクセルとする。そして、ローカル顕著性取得部１１は、ＤＮＮ−Ｌを用いてピクセル（ｘ，ｙ）の顕著度を計算する（ステップＳ１２）。ＤＮＮ−Ｌは、５１×５１ピクセルの局所領域画像を入力とし、その中心ピクセル（ｘ，ｙ）の顕著度の推定結果を出力するように構成されている。推定結果Ｓ（ｘ，ｙ）は、０〜１の値、又は、０〜２５５の値で与えられる（０が非顕著であり、値が大きくなるほど顕著性が高い）。ＤＮＮ−Ｌの構成及びパラメータθＬの学習方法については後述する。
【００４０】
ローカル顕著性取得部１１は、入力画像Ｄ１０内の全てのピクセルの顕著度が求まるまで、ステップＳ１１及びＳ１２の処理を繰り返す（ステップＳ１３）。その結果、図３に示すようなローカル顕著性マップＤ１１が得られる。ピクセルごとの顕著度がグレースケールで表されており、明るい（白色に近い）ピクセルほど顕著性が高いことを示している。
【００４１】
次に、候補領域設定部１２が、入力画像Ｄ１０に対し、複数の候補領域Ｄ１２を設定する（ステップＳ１４）。候補領域Ｄ１２の決め方は任意であるが、本実施形態では、候補領域設定部１２が入力画像Ｄ１０のなかから「物体らしい領域（物体である可能性がある領域）」を複数検出し、その検出された領域をそれぞれ候補領域Ｄ１２に設定する。人間の注意は、画像の背景や何もない領域よりも、画像に写る物体に向けられることが多い。したがって、顕著性は、画像のなかに存在する物体の単位で評価するのが妥当であると考えられる。それゆえ、本実施形態では、物体らしい領域を候補領域Ｄ１２に設定し、以降の処理を候補領域ベースで行う。これにより、物体らしさ（objectness）を考慮した顕著性検出が実現できるので、より信頼性の高い顕著性情報が得られると期待できる。
【００４２】
画像から物体らしい領域を検出する方法については様々な方法が提案されており、いずれの方法を用いても構わないが、本実施形態では非特許文献３に記載されているＧｅｄｅｓｉｃ  Ｏｂｊｅｃｔ  Ｐｒｏｐｏｓａｌ（ＧＯＰ）法を利用する。図４にＧＯＰ法により得られた候補領域Ｄ１２の一例を示す。なお、ここでの物体検出は厳密でなくてよく、むしろ、物体の可能性がある領域を漏らさず検出することが望ましい。また、図４の例からも分かるように、複数の候補領域Ｄ１２が重複部分（冗長部分）を含んでいてもよい。
【００４３】
ところで、ローカル顕著性マップＤ１１は、局所的な情報のみから計算されるため、入力画像Ｄ１０に含まれる高周波成分（例えば、背景内の輪郭、模様や色の変わり目など）に起因するノイズが現れやすい。そこで、ステップＳ１５において、ローカル顕著性修整部１３が、ステップＳ１４で得られた複数の候補領域Ｄ１２の情報に基づき、ローカル顕著性マップＤ１１を修整（リファイン）する処理を行う。このとき、候補領域Ｄ１２に含まれるピクセルの顕著度が相対的に大きく、候補領域Ｄ１２から外れたピクセルの顕著度が相対的に小さくなるように、各ピクセルの顕著度を修整するとよい。
【００４４】
図５を参照して、本実施形態で採用した修整処理の具体例を説明する。まず、ローカル顕著性修整部１３は、式（１）により、各候補領域ｉの信頼性スコアｃｏｎｆＬを計算する。なお、右肩の添え字「Ｌ」は「ローカル推定」に関係する指標であることを示す記号である。
【数１】
2017004480.tif 000003
【００４５】
ここで、ｉは候補領域の番号である。ｍ個の候補領域が設定されている場合、ｉは１〜ｍの値をとる。Ｏｉは候補領域ｉのマスクであり、Ｏｉ（ｘ，ｙ）＝１は、ピクセル（ｘ，ｙ）がｉ番目の候補領域に含まれていること、Ｏｉ（ｘ，ｙ）＝０は、ピクセル（ｘ，ｙ）がｉ番目の候補領域から外れていることを意味する。ＳＬはローカル顕著性マップＤ１１であり、ＳＬ（ｘ，ｙ）∈［０，１］はピクセル（ｘ，ｙ）の顕著度を表す。
【００４６】
Ａｉは、候補領域ｉにおけるピクセルごとの顕著度ＳＬ（ｘ，ｙ）の平均値であり、以後、「精度スコア（accuracy score）」と呼ぶ。精度スコアＡｉが大きいほど（１に近いほど）、候補領域ｉが顕著領域である可能性（確率）が高いことを表す。本実施形態では、顕著度の平均値を用いたが、平均値以外の統計値（最頻値、最大値、最小値、合計値など）を精度スコアに用いてもよい。
【００４７】
Ｃｉは、入力画像全体における顕著度ＳＬ（ｘ，ｙ）の合計に対する、候補領域ｉにおける顕著度ＳＬ（ｘ，ｙ）の合計の比であり、以後、「カバー率スコア（coverage score）」と呼ぶ。カバー率スコアＣｉが大きいほど（１に近いほど）、候補領域ｉが顕著領域である可能性（確率）が高いことを表す。なお、ここでは、顕著度ＳＬ（ｘ，ｙ）が１か
０の値しかとらないため、Ｃｉの分母は、入力画像における顕著度がゼロでない領域（顕著領域）の総面積と等価であり、Ｃｉの分子は、顕著領域と候補領域ｉの重なり部分の面積と等価である。したがってＣｉは、顕著領域に対する候補領域ｉの重なり率（overlap ratio）も表している。
【００４８】
βは、精度スコアＡｉとカバー率スコアＣｉのバランスを調整するための重み係数である。本実施形態ではβ＝０．４に設定する。
【００４９】
ローカル顕著性修整部１３は、ｍ個の候補領域のすべてについて信頼性スコアｃｏｎｆＬを計算した後、スコアの大きい順に各候補領域のマスクＯ１〜Ｏｍをソートする。そして、上位Ｋ個（本実施形態では２０個とする。）の候補領域のマスクを合成することで、修整後のローカル顕著性マップＤ１３を生成する。マスクの合成方法は、例えば、単純な加算平均でもよいし、信頼性スコアｃｏｎｆＬに応じた重みによる重み付け加算でもよい。
【００５０】
図５に、修整されたローカル顕著性マップＤ１３の例を示す。候補領域の内部か外部かという空間的な情報を補完的に用いて顕著度を修整したことにより、顕著度分布におけるノイズが低減され、顕著度分布の空間的な一貫性が向上していることがわかる。
【００５１】
（２）グローバル検出ステージ
ステップＳ１６〜Ｓ１８の処理は、ステップＳ１４で設定された全ての候補領域Ｄ１２に対し順に実行される。図６は、ステップＳ１６〜Ｓ１８の処理を模式的に示している。
【００５２】
特徴抽出部１４は、処理対象の候補領域ｉとローカル顕著性マップＤ１３と入力画像Ｄ１０に基づいて、候補領域ｉの特徴ベクトルＤ１４を生成する（ステップＳ１６）。候補領域ｉの顕著性の手掛かりとなり得る特徴量としては、例えば次のようなものを用いることができる。
【００５３】
（ａ）ローカル顕著性特徴量
（ａ−１）候補領域ｉのマスクＯｉと修整後のローカル顕著性マップＤ１３から式（２）で計算される精度スコアＡｉ。この特徴量は、候補領域ｉにおけるピクセルごとの顕著度の統計値を表している。
（ａ−２）候補領域ｉのマスクＯｉと修整後のローカル顕著性マップＤ１３から式（３）で計算されるカバー率スコアＣｉ。この特徴量は、入力画像全体におけるピクセルごとの顕著度の合計に対する、候補領域ｉにおけるピクセルごとの顕著度の合計の比を表している。
（ａ−３）精度スコアとカバー率スコアの積Ａｉ×Ｃｉ。
（ａ−４）修整後のローカル顕著性マップＤ１３における顕著領域（顕著度がゼロでない領域）の総面積に対する候補領域ｉの面積比（重なり率）。
【００５４】
（ｂ）グローバル特徴量（候補領域のコントラスト特徴量）
（ｂ−１）候補領域ｉの色ヒストグラムと入力画像Ｄ１０の端部領域の色ヒストグラムのあいだの差（例えばカイ二乗距離）。端部領域とは画像の端に位置する小領域であり、例えば、図７に示すように、入力画像Ｄ１０の上端、左端、下端、右端の所定幅の領域を端部領域Ｂ１〜Ｂ４と定義する。一般的に、画像の端部は背景である蓋然性が高いため、この特徴量は、候補領域ｉの背景に対するコントラストを表すとみなすことができる。なお、ＲＧＢ色空間で計算した値だけでなく、Ｌａｂ、ＨＳＶなど、他の色空間で計算した値も用いることも好ましい。
（ｂ−２）候補領域ｉ内での色の代表値と入力画像Ｄ１０の端部領域内での色の代表値のあいだの差（例えばユークリッド距離）。この特徴量も、候補領域ｉの背景に対する
コントラストを表すとみなすことができる。色の代表値は、例えば、平均値、最頻値、中間値、最大値、最小値などである。色チャネルごとに特徴量を計算してもよいし（ＲＧＢの場合、Ｒ代表値の特徴量、Ｇ代表値の特徴量、Ｂ代表値の特徴量）、輝度値で特徴量を計算してもよい。また、ＲＧＢ色空間で計算した値だけでなく、Ｌａｂ、ＨＳＶなど、他の色空間で計算した値も用いることも好ましい。
（ｂ−３）候補領域ｉの色ヒストグラムと入力画像Ｄ１０全体の色ヒストグラムのあいだの差（例えばカイ二乗距離）。この特徴量は、候補領域ｉの画像全体に対するコントラストを表している。この特徴量についても、ＲＧＢ、Ｌａｂ、ＨＳＶなど、複数の色空間で計算した値を用いるとよい。
（ｂ−４）候補領域ｉ内での色の分散。この特徴量についても、色チャネルごとに分散を計算してもよいし、輝度値の分散を計算してもよい。また、ＲＧＢ、Ｌａｂ、ＨＳＶなど、複数の色空間で計算した値を用いてもよい。
【００５５】
（ｃ）グローバル特徴量（候補領域の幾何特徴量）
（ｃ−１）候補領域ｉを包含する矩形（外接矩形）のアスペクト比、高さ、幅。
（ｃ−２）候補領域ｉの中心座標。
（ｃ−３）候補領域ｉの長軸の長さ、短軸の長さ。
（ｃ−４）候補領域ｉのオイラー数。
【００５６】
本実施形態では、ここで挙げた全ての特徴量を成分として含む７２次元の特徴ベクトルＤ１４用いるが、特徴量の数及び種類は任意に設定することができる。
【００５７】
グローバル顕著性取得部１５は、ＤＮＮ−Ｇを用いて候補領域ｉの顕著度を計算する（ステップＳ１７）。ＤＮＮ−Ｇは、候補領域の特徴ベクトルＤ１４を入力とし、その候補領域の顕著度の推定結果を出力するように構成されている。推定結果φは、予測精度φ１と重なり率φ２で与えられる。予測精度φ１は、候補領域ｉが顕著領域である可能性（確率）を表し、重なり率φ２は、入力画像内の顕著領域の総面積に対する候補領域ｉの面積比を表す。グローバル顕著性取得部１５は、ｍ個の候補領域の顕著度φ＝［φ１，φ２］が求まるまで、ステップＳ１６及びＳ１７の処理を繰り返す（ステップＳ１８）。ＤＮＮ−Ｇの構成及びパラメータθＧの学習方法については後述する。
【００５８】
ステップＳ１９では、統合部１６が、ステップＳ１７で得た顕著度φ＝［φ１，φ２］を用いて、式（４）により、各候補領域ｉの信頼性スコアｃｏｎｆＧを計算する。なお、右肩の添え字「Ｇ」は「グローバル検出」に関係する指標であることを示す記号である。
【数２】
2017004480.tif 000004
【００５９】
統合部１６は、ｍ個の候補領域のすべてについて信頼性スコアｃｏｎｆＧを計算した後、スコアの大きい順に各候補領域のマスクＯ１〜Ｏｍをソートする。そして、上位Ｋ個（本実施形態では２０個とする。）の候補領域のマスクを合成することで、最終的な顕著性マップＤ１６を生成する。マスクの合成方法は、例えば、単純な加算平均でもよいし、信頼性スコアｃｏｎｆＧに応じた重みによる重み付け加算でもよい。図８に、重み付け加算により得られた最終的な顕著性マップＤ１６の一例を示す。入力画像Ｄ１０における被写体（女性）部分の顕著度が高くなっており、高精度な顕著性マップが生成できていることが分かる。
【００６０】
（ＤＮＮ−Ｌ）
ローカル推定で利用されるＤＮＮ−Ｌの構成例とその学習方法について説明する。ディ
ープニューラルネットワークについては様々な手法が提案されており、いずれの手法を用いても構わないが、本実施形態では非特許文献４に記載されている、ディープ・コンボリューション・ニューラルネットワークを利用する。
【００６１】
表１に、ＤＮＮ−Ｌの構成例を示す。
【表１】
2017004480.tif 000005
【００６２】
Ｔｙｐｅはレイヤーの種類を示す。「Ｃ」は畳み込みレイヤー（Convolutional layer
）であり、「Ｆ」は全結合レイヤー（Fully connected layer）である。また、「Ｒ」は
活性化関数としてＲｅＬＵ（rectified linear unit）を用いることを、「Ｌ」はフィル
タ結果を正規化することを、「Ｄ」はドロップアウト（オーバーフィッティング防止のために一部のニューロンを次の計算に参加させないこと）を、「Ｓ」はソフトマックスレイヤーをそれぞれ意味する。
【００６３】
Ｃｈａｎｎｅｌｓは、次のレイヤーに出力する特徴量マップの数（特徴量の次元数）である。Ｆｉｌｔｅｒ  ｓｉｚｅは、畳み込み演算に用いるフィルタのカーネルサイズである。Ｐｏｏｌｉｎｇ  ｓｉｚｅとＰｏｏｌｉｎｇ  ｓｔｒｉｄｅは、特徴量マップのダウンサンプリングのパラメータである。Ｉｎｐｕｔ  ｓｉｚｅは、レイヤーに入力される特徴量マップのサイズである。
【００６４】
学習用データとしては、多数の教師あり画像を用いる。どのような画像を用いてもよいが、望ましくは、様々な被写体やシーンの画像が混在しているとよい。各画像から、５１×５１ピクセルサイズのパッチを複数個切り出す（例えば、１０ピクセルずつ中心位置をずらしながら、１枚の画像から数十から数百個のパッチを切り出すとよい。）。そして、真値（ground truth）マスクとの重なり率が大きい（例えば０．７以上）のパッチをポジティブサンプル、重なり率が小さい（例えば０．３以下）のパッチをネガティブサンプルに分類する。ポジティブサンプルにはラベル「１」を、ネガティブサンプルにはラベル「０」を付ける。最終的に、ポジティブサンプルとネガティブサンプルのそれぞれについて、数百から数千個のパッチを用意する。
【００６５】
ＤＮＮ−Ｌの学習用のコスト関数を式（５）に示す。
【数３】
2017004480.tif 000006
【００６６】
ここで、θＬは、ＤＮＮ−Ｌの学習パラメータであり、６つのレイヤーそれぞれの重み
、バイアスなどを含んでいる。１｛・｝は、指示関数（indicator function）である。Ｐ（ｌｉ＝ｊ｜θＬ）は、ＤＮＮ−Ｌの推定結果であり、ｉ番目の学習サンプルが顕著（ｌｉ＝１）又は非顕著（ｌｉ＝０）である確率である。λは、重み減衰（weight decay）パラメータである。ＷＬｋは、ｋ番目のレイヤーの重みである。||・||Ｆはフロベニウスノルム（Frobenius Norm）である。ｍは、学習サンプルの総数である。
【００６７】
例えば、確率的勾配降下法（stochastic gradient descent）により式（５）のコスト
関数を解くことにより、ＤＮＮ−ＬのパラメータθＬを学習することができる。例えば、モーメンタム（momentum）は０．９、重み減衰パラメータλは０．０００５に設定するとよい。
【００６８】
（ＤＮＮ−Ｇ）
次に、グローバル検出で利用されるＤＮＮ−Ｇの構成例とその学習方法について説明する。表２はＤＮＮ−Ｇの構成例を示す。表中の記号の意味は表１と同じである。
【表２】
2017004480.tif 000007
【００６９】
学習用データとしては、ＤＮＮ−Ｌと同じ教師あり画像を用いる。各画像に対し、ＧＯＰ法を用いて複数の候補領域（物体らしい領域）を設定する。そして、各候補領域について特徴ベクトルｖを生成するとともに、真値マスクと比較したときの精度ｐと重なり率ｏを成分としてもつラベルベクトルｙを計算する。なお、特徴ベクトルｖの構成はステップＳ１６で説明したものと同じである。精度ｐ及び重なり率ｏは、それぞれ、式（２）及び式（３）により計算できる（ただし、顕著性マップＳＬとして、真値マスクを用いる。）。
【００７０】
ＤＮＮ−Ｇの学習用のコスト関数を式（６）に示す。
【数４】
2017004480.tif 000008
【００７１】
ここで、θＧは、ＤＮＮ−Ｇの学習パラメータであり、６つのレイヤーそれぞれの重みなどを含んでいる。ｙｉ＝［ｐｉ，ｏｉ］は、ｉ番目の候補領域の精度ｐｉ及び重なり率ｏｉからなるラベルベクトルである。ｖｉは、ｉ番目の候補領域の特徴ベクトルである。φ（ｖｉ｜θＧ）＝［φ１ｉ，φ２ｉ］は、ＤＮＮ−Ｇの推定結果である。ＷＧｋは、ｋ番目のレイヤーの重みである。||・||Ｆはフロベニウスノルム（Frobenius Norm）である。ηは、重み減衰パラメータである。ｍは、学習用の候補領域の総数である。
【００７２】
例えば、確率的勾配降下法（stochastic gradient descent）により式（６）のコスト
関数を解くことにより、ＤＮＮ−ＧのパラメータθＧを学習することができる。例えば、モーメンタム（momentum）は０．９、重み減衰パラメータηは０．０００５に設定するとよい。
【００７３】
（本実施形態の利点）
以上述べた本実施形態の構成によれば、局所領域から得られる情報を手掛かりとしてピクセルごとの顕著度（Ｄ１１又はＤ１３）を計算した後に、領域単位のローカル顕著性特徴量とグローバル特徴量を含む特徴ベクトル（Ｄ１４）を手掛かりとして候補領域ごとの顕著度（Ｄ１５）を計算し、それらを統合して最終的な顕著性情報（Ｄ１６）を生成する。したがって、局所的な特徴と画像全体でみたときの特徴の両方を考慮した顕著性の評価が実現でき、顕著性検出の汎用性及び信頼性を向上することができる。
【００７４】
従来の顕著性検出アルゴリズムでは、顕著度の評価に用いる特徴量やその組み合わせをユーザ自身が設計する必要があった。そのため、特徴量の最適化が非常に難しく、また、顕著性検出の性能が特徴量の設計の良し悪しに依存してしまうという課題があった。これに対し、ディープラーニングを利用したことによって、局所領域の情報から顕著度を計算する識別器（ＤＮＮ−Ｌ）とグローバル情報から各候補領域の顕著度を計算する識別器（ＤＮＮ−Ｇ）を機械学習により自動生成することができる。したがって、安定した性能をもつ顕著性検出器を簡単に得ることが可能となる。
【００７５】
また、ＤＮＮに対しできるだけ多くの情報を入力として与え、機械学習によりＤＮＮ内部で特徴量の抽出、選択、結合の最適化を行わせるようにしたので、顕著度の推定結果の信頼性を向上することができる。
【００７６】
また、ＤＮＮ−Ｇによる各候補領域に対する推定結果の信頼性（ｃｏｎｆＧ）に応じた重みを用いて、複数の候補領域の顕著度を重み付け合成して最終的な顕著性マップ（Ｄ１６）を生成したので、より信頼性の高い顕著性情報を得ることができる。
【００７７】
上述した実施形態は本発明の一具体例を示したものであり、本発明の範囲をそれらの具体例に限定する趣旨のものではない。
【符号の説明】
【００７８】
１：顕著性情報取得装置
１０：画像取得部、１１：ローカル顕著性取得部、１２：候補領域設定部、１３：ローカル顕著性修整部、１４：特徴抽出部、１５：グローバル顕著性取得部、１６：統合部
Ｄ１０：入力画像、Ｄ１１：ローカル顕著性マップ、Ｄ１２：候補領域、Ｄ１３：修整されたローカル顕著性マップ、Ｄ１４：特徴ベクトル、Ｄ１５：候補領域の顕著度の推定結果、Ｄ１６：最終の顕著性マップ
【図１】
2017004480.tif 000009
【図２】
2017004480.tif 000010
【図３】
2017004480.tif 000011
【図４】
2017004480.tif 000012
【図５】
2017004480.tif 000013
【図６】
2017004480.tif 000014
【図７】
2017004480.tif 000015
【図８】
2017004480.tif 000016