(57)【要約】【課題】被写体の見えの変化に頑健に、かつ、高精度に被写体領域を抽出することができる。【解決手段】画像内グラフ構築部２４により、入力された画像の各々について、グラフ構造を構築し、画像領域分割部２６により、画像の各々について、構築されたグラフ構造についてクラスタリングを行い、クラスタに分類し、クラスタに分類された部分領域を分割領域とし、領域特徴量抽出部２７により、画像の各々に対し、画像の分割領域の各々について、領域特徴量を抽出し、領域クラスタリング部２８により、抽出された領域特徴量に基づいて、分割領域の各々をクラスタに分類し、クラスタ決定部３０により、分類されたクラスタの各々から、被写体領域が属するクラスタを決定し、被写体領域抽出部３２により、画像の各々について、決定されたクラスタに属する、画像の分割領域を集約した画像領域を、画像の被写体領域として抽出する。【選択図】図１
2015215804.tif 000002
【特許請求の範囲】
【請求項１】
画像内グラフ構築部と、画像領域分割部と、領域特徴量抽出部と、領域クラスタリング部と、クラスタ決定部と、被写体領域抽出部と、を含む被写体領域抽出装置における被写体領域抽出方法であって、
前記画像内グラフ構築部は、入力された画像の各々について、前記画像の画素又は画素集合の各々に対応するノード及び関係性を有する前記画素又は画素集合に対応するノードを結んだエッジからなるグラフ構造を構築し、
前記画像領域分割部は、前記画像の各々について、前記画像内グラフ構築部において構築された前記画像のグラフ構造についてクラスタリングを行い、前記グラフ構造に含まれる複数のノードをクラスタに分類し、各クラスタに対し、前記クラスタに分類された前記ノードの各々に対応する画素の集合又は画素集合の和集合で形成される部分領域を分割領域とし、
前記領域特徴量抽出部は、前記画像の各々に対し、前記画像の分割領域の各々について、領域特徴量を抽出し、
前記領域クラスタリング部は、前記領域特徴量抽出部において前記画像の各々に対して抽出された前記画像の分割領域の各々の領域特徴量に基づいて、前記分割領域の各々をクラスタに分類し、
前記クラスタ決定部は、前記領域クラスタリング部により分類されたクラスタの各々から、被写体領域が属するクラスタを決定し、
前記被写体領域抽出部は、前記画像の各々について、前記クラスタ決定部により決定されたクラスタに属する、前記画像の前記分割領域を集約した画像領域を、前記画像の前記被写体領域として抽出する
被写体領域抽出方法。
【請求項２】
前記画像内グラフ構築部が前記グラフ構造を構築することは、前記入力された画像の各々について、前記画像の前記画素又は画素集合の各々に対応するノード、及び隣接する前記画素又は画素集合に対応するノードを結んだエッジであって、かつ、前記隣接する前記画素又は画素集合の類似度が重みとして付与されたエッジからなる前記グラフ構造を構築する請求項１記載の被写体領域抽出方法。
【請求項３】
入力された画像の各々について、前記画像の画素又は画素集合の各々に対応するノード及び関係性を有する前記画素又は画素集合に対応するノードを結んだエッジからなるグラフ構造を構築する画像内グラフ構築部と、
前記画像の各々について、前記画像内グラフ構築部において構築された前記画像のグラフ構造についてクラスタリングを行い、前記グラフ構造に含まれる複数のノードをクラスタに分類し、各クラスタに対し、前記クラスタに分類された前記ノードの各々に対応する画素の集合又は画素集合の和集合で形成される部分領域を分割領域とする画像領域分割部と、
前記画像の各々に対し、前記画像の分割領域の各々について、領域特徴量を抽出する領域特徴量抽出部と、
前記領域特徴量抽出部において前記画像の各々に対して抽出された前記画像の分割領域の各々の領域特徴量に基づいて、前記分割領域の各々をクラスタに分類する領域クラスタリング部と、
前記領域クラスタリング部により分類されたクラスタの各々から、被写体領域が属するクラスタを決定するクラスタ決定部と、
前記画像の各々について、前記クラスタ決定部により決定されたクラスタに属する、前記画像の前記分割領域を集約した画像領域を、前記画像の前記被写体領域として抽出する被写体領域抽出部と、
を含む、被写体領域抽出装置。
【請求項４】
コンピュータに、請求項１又は２記載の被写体領域抽出方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体領域抽出方法、装置、及びプログラムに係り、特に、被写体領域を抽出するための被写体領域抽出方法、装置、及びプログラムに関する。
【背景技術】
【０００２】
種々のモバイル端末（スマートフォン、タブレット、スマートウォッチ、及びスマートグラス等）の高性能化に伴い、従来は実現困難であった高負荷処理を必要とするサービスがモバイル端末上で実現されてきている。
【０００３】
画像検索の分野においても、モバイル端末で撮影された画像をクエリとし、クエリ画像全体もしくはその一部に類似した画像、あるいはそれらに関連する情報を検索結果として提示するモバイル画像検索は、例えば物販サービス等のユーザエクスペリエンスを高めるための要素技術の一つとして、近年特に注目が集まっている。
【０００４】
モバイル被写体検索の特徴の一つとして、クエリ画像（すなわち、端末で撮影された画像）中の被写体が様々な見えで撮影されうるということが挙げられる。ここで言う様々な見えとは、大きく、被写体自体の見えの違い（位置、大きさ、撮影される向き、照明条件）に由来するものと、被写体とは無関係の見えの違い（背景の違い）に由来するものに分類される。
【０００５】
モバイル被写体検索のユーザエクスペリエンスを向上させるためには、これら見えの変化に頑健なモバイル被写体検索を実現させる必要がある。
【０００６】
しかし、一般に、検索対象のデータベース上に存在する正解画像（同一被写体が映り込んだ画像）とクエリ画像との見えが大きく異なる場合、データベース上のその他の画像（例えば、異なる被写体が映り込んだ画像）との間で算出される画像間の類似度が相対的に高くなり、そのため期待する検索結果を精度よく実現することは容易ではない。
【０００７】
見えの変化に頑健なモバイル被写体検索を実現する一つの方法として、被写体自体の見えのバリエーションをつけた画像を複数収集し、収集した画像群から構成されるデータベース（以下、事例データベースと呼称する）を対象として検索を行うというアプローチが考えられる。
【０００８】
見えのバリエーションをつけた画像を収集する方法は、例えば、種々の検索エンジンを用いてウェブ上の画像をクロールしたり、あるいは人手で様々な見えのもと被写体を撮影したりすればよく、これにより、クエリ画像中の被写体が類似した見えで事例データベース中に存在する確率が高くなるため、被写体の見えの変化に対する検索精度の頑健性向上が期待できる。
【０００９】
また、見えの異なる同一被写体が映り込んだ複数画像を入力として、各画像から被写体の写りこんでいる領域を抽出する技術があり、当該技術は、(ｉ)被写体領域がその境界線に沿って正確に抽出可能であること、(ｉｉ)抽出対象の被写体の見えが画像間で異なっていても、各画像で頑健で被写体が抽出可能であること、(ｉｉｉ)コスト（人的コスト、計算コストを含む）が低いことの計３点の要素を充足している必要がある。
【００１０】
ここで、上記(ｉ)及び(ｉｉ)の要素は、上述したモバイル被写体検索への適用を念頭に置けば、必要不可欠な要素である。また、上記(ｉｉｉ)の要素については、一般に事例画像の数が増えるほど検索精度が増す一方で、被写体抽出処理に必要な人的コストや計算コストは高くなることを考えると、被写体抽出処理より低コストにより高精度なモバイル被写体検索を実現するためには不可欠となる要素である。また、検索対象となる被写体の種類が増大した場合においてもその重要性はより顕著なものとなる。
【００１１】
また、手動で設定されたテンプレート画像に類似する領域を有する画像およびその領域を発見する技術がある（特許文献１）。
【００１２】
また、被写体抽出対象の複数画像の全画素集合から位置空間および特徴量空間双方の観点で類似した要素を多く有する代表画素を抽出し、各画像に含まれる代表画素から画像をクラスタリング、すなわち複数領域に分割する技術がある（非特許文献１）。非特許文献１のアルゴリズムを用いれば、対象画像全てを、人手を介さず領域分割することが可能であり、またその計算コストは画像枚数および画素数に対し線形であるため、上記（ｉ）〜（ｉｉｉ）の要素のうち上記(ｉｉｉ)の要素を満たしている。
【００１３】
また、複数画像の画素集合のクラスタリングに基づく人手を介さない被写体領域抽出技術がある（非特許文献２）。非特許文献２の技術では、各画素の位置空間、特徴量空間における類似性に加え、被写体領域から構成される画素集合とそうでない画素集合とを最もよく分離する面を構成する評価項から構成されるクラスタリングを行うことで、各画像から精度よく被写体領域を抽出することが可能であるため、上記(ｉ)の要素を満たしている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２０１３−１０９６５８号公報
【非特許文献】
【００１５】
【非特許文献１】G. Kim et. al., Distributed Cosegmentation via Submodular Optimization, in Proc. ICCV, 2011.
【非特許文献２】A. Joulin et. al., Multi-Class Cosegmentation, in Proc. CVPR, 2012.
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、被写体自体の見えのバリエーションをつけた画像を複数収集する際には、被写体とは無関係の見えの変化、すなわち背景の違いまでもがついてしまうという問題がある。例えばウェブクロールによって得られた被写体画像の背景はバラバラであるし、人手で撮影する場合においても、背景を変化させずに被写体の見えのみを変化させて撮影を行うことは非常に困難である。被写体自体の見えのバリエーションをつけた画像を複数収集することで被写体検索精度を向上させるためには、収集された複数画像が共有する被写体領域を、被写体自体の見えも異なる状況のもと効果的に抽出する必要がある。
【００１７】
また、特許文献１の技術においては、多くの場合テンプレートは矩形であるため、矩形以外の形状の被写体に対する検索精度は低く、上記(ｉ)の要素が満たされないという問題点がある。また、テンプレート画像は手動で設定する必要があり、検索対象の被写体の数の増加に比例して人的コストが増大してしまうため、人的コストの観点で上記(ｉｉｉ)の要素が満たされないという問題もある。更に、特許文献１で用いられているテンプレートマッチングでは、見えの異なる同一被写体間の類似度を正しく評価できず、したがって上記(ｉｉ)の要素も満たされていないという問題点もある。
【００１８】
また、非特許文献１の技術においては、各画像に含まれる代表ピクセル集合により分割された領域が被写体領域を的確に捉えている保証はなく、クラスタのうち、どの組合せが被写体を表しているかは自明ではないという問題点がある。これは被写体自体の見えが画像間で異なっている場合特に顕著な影響があり、被写体領域同士を的確に同一クラスタとすることができず、結果、被写体領域を的確に抽出できない。すなわち、非特許文献１の技術においては、上記 (ｉ)、及び(ｉｉ)の要素を満たしていないという問題点がある。
【００１９】
また、非特許文献２の技術においては、対象全ピクセル数次元の二次凸最適化問題を解く必要があり、被写体領域抽出対象の画像枚数が増えるほどに、計算コストが大幅に増加するという問題点がある。そのため計算コストの観点で上記(ｉｉｉ)の要素が満たされていない。また、被写体の見えが画像間で異なる場合においては、非特許文献１の技術と同様に、被写体領域を適切に同一クラスタに含めることができる保証はなく、したがって上記(ｉｉ)の要素が満たされているとはいえないという問題点がある。
【００２０】
そのため、見えの異なる同一被写体が映り込んだ複数画像を入力として、各画像から被写体の写っている領域を抽出する技術に求められる要素である、上記（ｉ）〜（ｉｉｉ）の各要素の全要素を満たす公知の技術は存在しないという問題点がある。
【００２１】
本発明では、上記問題点を解決するために成されたものであり、被写体の見えの変化に頑健に、かつ、高精度に被写体領域を抽出することができる被写体領域抽出方法、装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
上記目的を達成するために、第１の発明に係る被写体領域抽出方法は、画像内グラフ構築部と、画像領域分割部と、領域特徴量抽出部と、領域クラスタリング部と、クラスタ決定部と、被写体領域抽出部と、を含む被写体領域抽出装置における被写体領域抽出方法であって、前記画像内グラフ構築部は、入力された画像の各々について、前記画像の画素又は画素集合の各々に対応するノード及び関係性を有する前記画素又は画素集合に対応するノードを結んだエッジからなるグラフ構造を構築し、前記画像領域分割部は、前記画像の各々について、前記画像内グラフ構築部において構築された前記画像のグラフ構造についてクラスタリングを行い、前記グラフ構造に含まれる複数のノードをクラスタに分類し、各クラスタに対し、前記クラスタに分類された前記ノードの各々に対応する画素の集合又は画素集合の和集合で形成される部分領域を分割領域とし、前記領域特徴量抽出部は、前記画像の各々に対し、前記画像の分割領域の各々について、領域特徴量を抽出し、前記領域クラスタリング部は、前記領域特徴量抽出部において前記画像の各々に対して抽出された前記画像の分割領域の各々の領域特徴量に基づいて、前記分割領域の各々をクラスタに分類し、前記クラスタ決定部は、前記領域クラスタリング部により分類されたクラスタの各々から、被写体領域が属するクラスタを決定し、前記被写体領域抽出部は、前記画像の各々について、前記クラスタ決定部により決定されたクラスタに属する、前記画像の前記分割領域を集約した画像領域を、前記画像の前記被写体領域として抽出する。
【００２３】
第２の発明に係る被写体領域抽出装置は、入力された画像の各々について、前記画像の画素又は画素集合の各々に対応するノード及び関係性を有する前記画素又は画素集合に対応するノードを結んだエッジからなるグラフ構造を構築する画像内グラフ構築部と、前記画像の各々について、前記画像内グラフ構築部において構築された前記画像のグラフ構造についてクラスタリングを行い、前記グラフ構造に含まれる複数のノードをクラスタに分類し、各クラスタに対し、前記クラスタに分類された前記ノードの各々に対応する画素の集合又は画素集合の和集合で形成される部分領域を分割領域とする画像領域分割部と、前記画像の各々に対し、前記画像の分割領域の各々について、領域特徴量を抽出する領域特徴量抽出部と、前記領域特徴量抽出部において前記画像の各々に対して抽出された前記画像の分割領域の各々の領域特徴量に基づいて、前記分割領域の各々をクラスタに分類する領域クラスタリング部と、前記領域クラスタリング部により分類されたクラスタの各々から、被写体領域が属するクラスタを決定するクラスタ決定部と、前記画像の各々について、前記クラスタ決定部により決定されたクラスタに属する、前記画像の前記分割領域を集約した画像領域を、前記画像の前記被写体領域として抽出する被写体領域抽出部と、を含んで構成されている。
【００２４】
第１及び第２の発明によれば、画像内グラフ構築部により、入力された画像の各々について、画像の画素又は画素集合の各々に対応するノード及び関係性を有する画素又は画素集合に対応するノードを結んだエッジからなるグラフ構造を構築し、画像領域分割部により、画像の各々について、構築された画像のグラフ構造についてクラスタリングを行い、グラフ構造に含まれる複数のノードをクラスタに分類し、各クラスタに対し、クラスタに分類されたノードの各々に対応する画素の集合又は画素集合の和集合で形成される部分領域を分割領域とし、領域特徴量抽出部により、画像の各々に対し、画像の分割領域の各々について、領域特徴量を抽出し、クラスタリング部は、画像の各々に対して抽出された画像の分割領域の各々の領域特徴量に基づいて、分割領域の各々をクラスタに分類し、クラスタ決定部により、分類されたクラスタの各々から、被写体領域が属するクラスタを決定し、被写体領域抽出部により、画像の各々について、決定されたクラスタに属する、画像の分割領域を集約した画像領域を、画像の被写体領域として抽出する。
【００２５】
このように、入力された画像の各々について、グラフ構造を構築し、クラスタリングを行い、各クラスタに対し、クラスタに分類された画素の集合又は画素集合の和集合で形成される部分領域を分割領域とし、画像の各々についての分割領域の各々をクラスタに分類し、分類されたクラスタの各々から、被写体領域が属するクラスタを決定し、画像の各々について、決定されたクラスタに属する、画像の分割領域を集約した画像領域を、画像の被写体領域として抽出することによって、被写体の見えの変化に頑健に、かつ、高精度に被写体領域を抽出することができる。
【００２６】
また、第１の発明において、前記画像内グラフ構築部が前記グラフ構造を構築することは、前記入力された画像の各々について、前記画像の前記画素又は画素集合の各々に対応するノード、及び隣接する前記画素又は画素集合に対応するノードを結んだエッジであって、かつ、前記隣接する前記画素又は画素集合の類似度が重みとして付与されたエッジからなる前記グラフ構造を構築してもよい。
【００２７】
また、本発明のプログラムは、コンピュータに、上記の被写体領域抽出方法を実行させるためのプログラムである。
【発明の効果】
【００２８】
以上説明したように、本発明の被写体領域抽出方法、装置、及びプログラムによれば、入力された画像の各々について、グラフ構造を構築し、クラスタリングを行い、各クラスタに対し、クラスタに分類された画素の集合又は画素集合の和集合で形成される部分領域を分割領域とし、画像の各々についての分割領域の各々をクラスタに分類し、分類されたクラスタの各々から、被写体領域が属するクラスタを決定し、画像の各々について、決定されたクラスタに属する、画像の分割領域を集約した画像領域を、画像の被写体領域として抽出することによって、被写体の見えの変化に頑健に、かつ、高精度に被写体領域を抽出することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態に係る被写体領域抽出装置の機能的構成を示すブロック図である。
【図２】画像データベースに記憶されている画像集合の例を示す図である。
【図３】被写体領域として抽出された結果の例を示す図である。
【図４】入力される画像集合と抽出される結果の例を示す図である。
【図５】本発明の実施の形態に係る被写体領域抽出装置における被写体領域抽出処理ルーチンを示すフローチャート図である。
【図６】効果の例を示す図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３１】
＜本発明の原理＞
まず、本発明の実施の形態に係る被写体領域抽出装置の原理について説明する。本実施の形態においては、上記の（ｉ）〜（ｉｉｉ）の各要素の全要素を満たすため、同一被写体であれば全体の見えは撮影状況によって異なるものの、その部分領域については、共通した見えで写りこんでいるという点に着目する。
【００３２】
この仮説は、たとえば帽子を被った人形を被写体として考えたときに、異なる位置から撮影した際の被写体全体の見えは大きく異なるものの、画像ペアによってはその一部分(例えば帽子や顔部分など)については共通した見えで写りこんでいることを考えれば、十分に一般的である。
【００３３】
この着眼点のもと本実施の形態では、まず対象の画像集合の各画像を、被写体を構成する部分領域分割するというアプローチをとる。ここで得られた部分領域集合は被写体そのものを表すとは限らないが、上記の仮説に基づけば、画像集合内の部分領域集合において、被写体領域は似た見えで別の画像にも写り込んでいる可能性が高い。
【００３４】
そのため、各画像で適切に部分領域への分割が行えていれば、全画像から得られた部分領域集合をその類似度で評価しクラスタリングすることによって、被写体を構成する似た見えの分割領域集合を同一クラスタとして精度よくまとめることができる。
【００３５】
また、各画像から得られる分割領域の総数は、総画素数に比べ大幅に少ないため、非特許文献２の問題点であったマッチング対象画素の膨大な数に伴う計算コストの増大という問題と、被写体の見えの変化に適応できないという両者の問題を解決することができる。
【００３６】
ここで得られた各クラスタを、当該クラスタに所属する分割領域の被写体らしさに基づいて評価することで、被写体領域のクラスタのみを抽出することが可能となり、よって各画像の被写体領域を精度よく、被写体の見えの変化に頑健に抽出することが可能となる。
【００３７】
上記の理由から、本実施の形態に係る被写体領域抽出装置において、見えの異なる同一被写体が映り込んだ複数画像から被写体の写っている領域を、上記（ｉ）〜（ｉｉｉ）の各要件の全要件を満たしながら抽出することが可能となる。
【００３８】
＜本発明の実施の形態に係る被写体領域抽出装置の構成＞
次に、本発明の実施の形態に係る被写体領域抽出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る被写体領域抽出装置１００は、ＣＰＵと、ＲＡＭと、後述する被写体領域抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この被写体領域抽出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを備えている。
【００３９】
入力部１０は、被写体領域抽出対象となる複数の画像からなる画像集合を受け付ける。
【００４０】
演算部２０は、画像データベース２２と、画像内グラフ構築部２４と、画像領域分割部２６と、領域特徴量抽出部２７と、領域クラスタリング部２８と、クラスタ決定部３０と、被写体領域抽出部３２と、を備えている。
【００４１】
画像データベース２２は、入力部１０において受け付けた画像集合を記憶している。図２に、画像データベース２２に記憶されている画像集合の例を示す。
【００４２】
画像内グラフ構築部２４は、画像データベース２２に記憶されている画像の各々について、画像に含まれる画素の各々をノードとし、画素間の関係性をエッジとするグラフを構築する。本実施の形態においては、画像内の被写体要素を構成する部分領域を的確に反映したグラフを構築する。具体的には、位置空間、特徴量空間双方の観点から、近傍に位置するノード間にエッジを張ったグラフを構築する手法を用い、空間的に隣接した画素間に対応するノードのみにエッジを張り、画素間類似度を、ノードを結ぶエッジの重みとして付与したグラフを構築する。ここで、各画素から抽出する特徴量としては、例えば、カラーヒストグラムやテクストン等の局所特徴量を用いればよい。
【００４３】
画像領域分割部２６は、画像内グラフ構築部２４において構築された画像の各々についてのグラフの各々について、クラスタリングを行い、各クラスタに分類されたノードの各々に対応する画素の集合で形成される部分領域を分割領域として各々取得する。本実施の形態においては、クラスタリングで用いるグラフクラスタリングアルゴリズムは、グラフ上の任意のノードをクエリとして、その周辺ノードから構成されるクラスタを発見するアルゴリズムであるローカルクラスタリングを用いる（非特許文献３：D. A. Spielman, et al., A Local Clustering Algorithm for Massive Graphs and its Application to Nearly-Linear Time Graph Partitioning, in CoRR, 2008、非特許文献４：R. Andersen et al.,, Local Graph Partitioning using PageRank Vectors in Proc. FOCS, 2006）。具体的には、ランダムに選択されたノードをクエリとしてローカルクラスタリングを行い、得られたクラスタに属するノード集合をグラフから除くという処理を、グラフのノード数が０になるまで繰り返し行う。
【００４４】
領域特徴量抽出部２７は、画像領域分割部２６において取得した画像の各々における各分割領域について、領域特徴量を抽出する。具体的には、画像の各々において、分割領域毎に、当該分割領域全体からＳＩＦＴやＣｏｌｏｒ−ＳＩＦＴを抽出し、当該抽出されたＳＩＦＴやＣｏｌｏｒ−ＳＩＦＴから得られるＢｏＷヒストグラムを領域特徴量として用いる。
【００４５】
領域クラスタリング部２８は、領域特徴量抽出部２７において、画像の各々についての分割領域毎に抽出された領域特徴量に基づいて、全ての画像における全ての分割領域に対してクラスタリングを行う。本実施の形態において用いるクラスタリングは、ｋｍｅａｎｓ法を用いる。ここで、クラスタ数ｋはパラメータであり、例えばｋ＝１０とする。
【００４６】
クラスタ決定部３０は、領域クラスタリング部２８において取得したクラスタの各々について、被写体らしさを表す値を算出し、当該算出された被写体らしさを表す値に基づいて、被写体領域が属するクラスタを決定する。具体的には、領域クラスタリング部２８において取得したクラスタ毎に、当該クラスタに属する分割領域の各々について、Ｓａｌｉｅｎｃｙ（非特許文献５：Cheng, M.-M.; Zhang, G.-X.; Mitra, N. J.; Huang, X. & Hu, S.-M.Global Contrast based Salient Region Detection in Proc. CVPR, 2011）を適用して、当該クラスタに属する分割領域のＳａｌｉｅｎｃｙの値の平均値を、当該クラスタの被写体らしさを表す値として算出する。そして、算出されたクラスタ毎の被写体らしさを表す値が高い上位１０個のクラスタを、被写体領域が属するクラスタとして決定する。
【００４７】
被写体領域抽出部３２は、画像の各々について、クラスタ決定部３０において被写体領域が属するクラスタとして決定されたクラスタに属する当該画像の分割領域の各々を集約した画像領域を、当該画像の被写体領域として抽出する。図３に、被写体領域として抽出された例を示す。また、図４に画像集合が入力され、被写体領域である前景領域が抽出されるまでの例を示す。
【００４８】
＜本発明の実施の形態に係る被写体領域抽出装置の作用＞
次に、本発明の実施の形態に係る被写体領域抽出装置１００の作用について説明する。まず、入力部１０において被写体領域抽出対象となる複数の画像からなる画像集合を受け付ける。そして、入力部１０において受け付けた画像集合が画像データベース２２に記憶されると、被写体領域抽出装置１００は、図５に示す被写体領域抽出処理ルーチンを実行する。
【００４９】
まず、ステップＳ１００では、画像データベース２２に記憶されている画像集合を読み込む。
【００５０】
次に、ステップＳ１０２では、ステップＳ１００において取得した画像の各々について、当該画像に含まれる画素の各々をノードとし、画素間の関係性をエッジとするグラフを構築する。
【００５１】
次に、ステップＳ１０４では、ステップＳ１０２において取得した画像毎のグラフの各々について、クラスタリングを行い、各クラスタに分類されたノードの各々に対応する画素の集合で形成される部分領域を分割領域として各々取得する。
【００５２】
次に、ステップＳ１０６では、ステップＳ１０４において取得した画像の各々における分割領域の各々について、領域特徴量を抽出する。
【００５３】
次に、ステップＳ１０８では、ステップＳ１０６において取得した画像の各々における分割領域の各々の領域特徴量に基づいて、全ての画像における全ての分割領域に対してクラスタリングを行う。
【００５４】
次に、ステップＳ１１０では、ステップＳ１０８において取得したクラスタ毎に、当該クラスタに属する分割領域の各々について、Ｓａｌｉｅｎｃｙを適用してＳａｌｉｅｎｃｙの値を取得し、当該クラスタに属する全ての分割領域のＳａｌｉｅｎｃｙの平均値を当該クラスタの被写体らしさを表す値として算出する。
【００５５】
次に、ステップＳ１１２では、ステップＳ１１０において取得したクラスタの各々の被写体らしさを表す値に基づいて、被写体領域が属するクラスタを決定する。
【００５６】
次に、ステップＳ１１４では、画像の各々について、ステップＳ１１２において取得した被写体領域が属するクラスタに属する当該画像の分割領域の各々を集約した画像領域を、当該画像の被写体領域として抽出する。
【００５７】
次に、ステップＳ１１６では、ステップＳ１１４において取得した画像毎の被写体領域を出力部９０に出力して被写体領域抽出処理ルーチンを終了する。
【００５８】
以上説明したように、本発明の実施の形態に係る被写体領域抽出装置によれば、入力された画像の各々について、グラフ構造を構築し、クラスタリングを行い、各クラスタに対し、クラスタに分類された画素の集合で形成される部分領域を分割領域とし、画像の各々についての分割領域の各々をクラスタに分類し、分類されたクラスタの各々から、被写体領域が属するクラスタを決定し、画像の各々について、決定されたクラスタに属する、画像の分割領域を集約した画像領域を、画像の被写体領域として抽出することによって、被写体の見えの変化に頑健に、かつ、高精度に被写体領域を抽出することができる。
【００５９】
また、被写体領域のみを抽出することにより、当該被写体領域のみ抽出された事例データベースを用いることによって、図６に示すように、背景を含む事例データベースを用いる場合よりも検索精度が向上する。
【００６０】
また、モバイル画像検索の中でも特に、クエリ画像中に映り込んだ被写体に関する検索の高度化に寄与することができる。
【００６１】
また、見えの変化に頑健なモバイル被写体検索を実現するための、被写体の見えのバリエーションを有する事例データベースを、精度よく、被写体自体の見えの変化に頑健に、低コストで構築することが可能となる。またそれによって、見えの変化に頑健なモバイル被写体検索を実現することが可能となる。
【００６２】
また、ローカルクラスタリングを用いることによって、グラフを構成するクラスタ数はグラフの構造に基づいて適応的に決まる。更には、ローカルクラスタリングではクラスタリング対象のクラスタの被写体らしさに応じて適応的にクラスタリングのパラメータを変更することが可能である。これを用いることにより、より被写体領域である可能性が高い領域のクラスタリングから順番に、厳密なパラメータ設定でクラスタリングを行い、被写体ではないと推定される領域のクラスタリング時にはクラスタリングの厳密さを緩和させていくことで、最終的に抽出することが目的ではない領域のクラスタリングは処理効率を重視して実施するといったことが可能となり、被写体領域抽出精度を落とすことなく、計算コストを削減することが可能となる。
【００６３】
また、領域特徴量抽出部２７において領域特徴量を抽出することにより、画像間で共通被写体が共有する部分領域間の類似度がより正確に算出することが可能となり、被写体領域をより正確に抽出することが可能となる。
【００６４】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６５】
例えば、本実施の形態における被写体領域抽出装置において、画素の各々をノードとする場合について説明したがこれに限定されるものではなく、２つ以上の画素からなる画素集合を１つのノードとしてもよい。この場合、各クラスタに分類されたノードの各々に対応する画素集合の和集合で形成される部分領域を分割領域とする。
【００６６】
また、本実施の形態における被写体領域抽出装置において、空間的に隣接した画素間にのみエッジを張り、画素間類似度をエッジの重みとするグラフを構築する方法を用いる場合について説明したが、これに限定されるものではない。例えば、各画素について位置空間的に近傍ｋｓｐａｔｉａｌ要素を候補とし、候補の中で特徴量空間的に類似したｋｆｅａｔｕｒｅ要素にエッジが張られたグラフを構築する方法を用いてもよい。
【００６７】
また、本実施の形態における被写体領域抽出装置において、空間的に隣接した画素間にのみエッジを張る場合について説明したが、これに限定されるものではない。例えば、近傍の色が似ている画素間にのみエッジを張るようにしてもよい。
【００６８】
また、本実施の形態における被写体領域抽出装置において、各画素から抽出する特徴量を、カラーヒストグラムやテクストンの特徴量とする場合について説明したが、これに限定されるものではない。例えば、ＳＩＦＴやＣｏｌｏｒ−ＳＩＦＴ等の局所特徴量を用いてもよい（非特許文献６：D.G.Lowe, Distinctive Image Features from Scale-Invariant Keypoints, in IJCV, 60(2),pp. 91-110, 2004.、非特許文献７：KEA van de Sande, Evaluating Color Descriptors for Object and Scene Recognition, in TPAMI, 32(9), pp. 1582-1596, 2010）。
【００６９】
また、本実施の形態における被写体領域抽出装置において、画素の各々をノードとする場合について説明したがこれに限定されるものではない。例えば、スーパーピクセル分割を行い、２つ以上の画素からなる画素集合から構成されるスーパーピクセルに分割し、得られた各スーパーピクセルをノードの各々としてグラフを構築してもよい（非特許文献８：A. Levinstein, TurboPixels: Fast Superpixels Using Geometric Flows, in TPAMI, 31(12), pp., 2009、非特許文献９：R. Achanta et. al,, SLIC Superpixels Compared to State-of-the-art Superpixel Methods, TPAM, 34(11), pp. 2274-2282, 2012.）。
【００７０】
また、本実施の形態における被写体領域抽出装置において、クラスタリングで用いるグラフクラスタリングアルゴリズムを、ローカルクラスタリングとする場合について説明したが、これに限定されるものではない。例えば、スペクトラルクラスタリングを用いてもよい（非特許文献１０：U. von Luxburg,. A Tutorial on Spectral Clustering, in Statistics and Computing, 17, pp. 395-416, 2007）。スペクトラルクラスタリングでは、クラスタ数を例えば１０などと事前に決定しておく。
【００７１】
また、本実施の形態における被写体領域抽出装置において、領域クラスタリング部２８において用いるクラスタリングは、ｋｍｅａｎｓ法を用いる場合について説明したが、これに限定されるものではない。例えば、スペクトラルクラスタリングや、ローカルクラスタリングを用いてもよい。
【００７２】
また、本実施の形態においては、クラスタの被写体らしさを表す値を求める際に、当該クラスタに属する分割領域のＳａｌｉｅｎｃｙの平均値を用いる場合について説明したが、これに限定されるものではない。例えば、当該クラスタに属する分割領域のＯｂｊｅｃｔｎｅｓｓ（非特許文献１１：Alexe, B.; Deselaers, T. & Ferrari, V. Measuring the objectness of image windows, in TPAMI, 2012）の値の平均値を用いてもよい。
【００７３】
また、本実施の形態においては、被写体らしさを表す値が高い上位１０クラスタを被写体領域で構成されるクラスタとして決定する場合について説明したが、これに限定されるものではない。例えば、任意の値ｋを用いて、被写体らしさを表す値が高い上位ｋクラスタを被写体領域が属するクラスタとして決定してもよい。
【００７４】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【００７５】
１０   入力部
２０   演算部
２２   画像データベース
２４   画像内グラフ構築部
２６   画像領域分割部
２７   領域特徴量抽出部
２８   領域クラスタリング部
３０   クラスタ決定部
３２   被写体領域抽出部
９０   出力部
１００ 被写体領域抽出装置
【図１】
2015215804.tif 000003
【図５】
2015215804.tif 000004
【図２】
2015215804.tif 000005
【図３】
2015215804.tif 000006
【図４】
2015215804.tif 000007
【図６】
2015215804.tif 000008