(57)【特許請求の範囲】
【請求項１】
物体領域抽出部、アピアランスモデル推定部、対応付け推定部、物体領域更新部、収束判定部、及び物体領域出力部を含む画像セグメンテーション装置における画像セグメンテーション方法であって、
前記物体領域抽出部が、画像群に含まれる各画像から、抽出対象物体を表す一つ以上の物体領域候補を抽出するステップと、
前記アピアランスモデル推定部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補に基づいて、前記物体領域候補の各々についてアピアランスモデルを推定するステップと、
前記対応付け推定部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補の各々について、類似した他の物体領域候補との間のピクセルの対応付けを推定するステップと、
前記物体領域更新部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補、前記アピアランスモデル推定部により推定された前記アピアランスモデル、及び前記対応付け推定部により推定された対応付けに基づいて、前記画像群に含まれる各画像の前記物体領域候補を更新するステップと、
前記収束判定部が、所定の収束条件が満たされるまで、前記アピアランスモデル推定部による推定、前記対応付け推定部による推定、及び前記物体領域更新部による更新を繰り返し行うステップと、
前記物体領域出力部が、前記画像群に含まれる各画像の前記物体領域候補を物体領域として出力するステップと、
を含み、
前記物体領域更新部が前記物体領域候補を更新するステップは、
前記画像群に含まれる各画像の各ピクセルに関する前記抽出対象物体らしさを評価する項と、
前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補からの空間的な近さを評価する項と、
前記画像群に含まれる各画像の各ピクセルに関する、前記アピアランスモデル推定部により推定された前記アピアランスモデルへの寄与を評価する項と、
前記対応付け推定部により対応付けられたピクセル間の画像特徴量の類似性を評価する項と、
画像内で隣接するピクセルの、物体領域候補に含まれるか否かを示すラベルのなめらかさを評価する項と、
前記対応付け推定部により対応付けられたピクセル間の前記ラベルの一貫性を評価する項と、
を含む目的関数を最適化することによって、前記画像群に含まれる各画像の前記物体領域候補の更新を行う
画像セグメンテーション方法。
【請求項２】
前記物体領域抽出部が前記物体領域候補を抽出するステップは、画像中で互いに重複する領域が存在しないように前記物体領域候補を抽出する
請求項１記載の画像セグメンテーション方法。
【請求項３】
前記アピアランスモデル推定部が前記アピアランスモデルを推定するステップは、前記物体領域抽出部により抽出された各画像の各物体領域候補について前記アピアランスモデルを推定し、各画像の、各物体領域候補の何れにも含まれないピクセル集合で構成される背景領域について、前記アピアランスモデルを推定する
請求項１又は請求項２記載の画像セグメンテーション方法。
【請求項４】
前記対応付け推定部が前記対応付けを推定するステップは、
前記物体領域候補の各々について、
類似した他の物体領域候補との間で対応付けられるピクセル間の画像特徴量の類似性を評価する項と、
前記物体領域候補内の近傍ピクセルに関する、前記ピクセルの対応付けに伴う移動ベクトルのなめらかさを評価する項と、
から構成される最適化関数を解くことによって、前記類似した他の物体領域候補との間のピクセルの対応付けを推定する
請求項１〜３の何れか１項に記載の画像セグメンテーション方法。
【請求項５】
画像群に含まれる各画像から、抽出対象物体を表す一つ以上の物体領域候補を抽出する物体領域抽出部と、
前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補に基づいて、前記物体領域候補の各々についてアピアランスモデルを推定するアピアランスモデル推定部と、
前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補の各々について、類似した他の物体領域候補との間のピクセルの対応付けを推定する対応付け推定部と、
前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補、前記アピアランスモデル推定部により推定された前記アピアランスモデル、及び前記対応付け推定部により推定された対応付けに基づいて、前記画像群に含まれる各画像の前記物体領域候補を更新する物体領域更新部と、
所定の収束条件が満たされるまで、前記アピアランスモデル推定部による推定、前記対応付け推定部による推定、及び前記物体領域更新部による更新を繰り返し行う収束判定部と、
前記画像群に含まれる各画像の前記物体領域候補を物体領域として出力する物体領域出力部と、
を含み、
前記物体領域更新部は、
前記画像群に含まれる各画像の各ピクセルに関する前記抽出対象物体らしさを評価する項と、
前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補からの空間的な近さを評価する項と、
前記画像群に含まれる各画像の各ピクセルに関する、前記アピアランスモデル推定部により推定された前記アピアランスモデルへの寄与を評価する項と、
前記対応付け推定部により対応付けられたピクセル間の画像特徴量の類似性を評価する項と、
画像内で隣接するピクセルの、物体領域候補に含まれるか否かを示すラベルのなめらかさを評価する項と、
前記対応付け推定部により対応付けられたピクセル間の前記ラベルの一貫性を評価する項と、
を含む目的関数を最適化することによって、前記画像群に含まれる各画像の前記物体領域候補の更新を行う
画像セグメンテーション装置。
【請求項６】
コンピュータに、請求項１〜４の何れか１項に記載の画像セグメンテーション方法の各ステップを実行させるための画像セグメンテーションプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像セグメンテーション方法、装置、及びプログラムに係り、特に、抽出対象の物体が多くの割合で含まれる画像群を入力として、入力された画像群に含まれる物体を自動でセグメンテーションする画像セグメンテーション方法、装置、及びプログラムである。
【背景技術】
【０００２】
物体の写り込んだ画像が与えられたとき、画像から物体が写り込んだ領域を抽出する、すなわちセグメンテーションすることは、例えば画像ベースの物体検索の辞書、画像アノテーションの学習データ、及び画像編集の素材等を構築するための重要な要素処理である。一般に、上記辞書、学習データ、及び素材等を構築するには大量の画像が必要であるが、それらの画像を一つ一つ手動でセグメンテーションするのはコストが高い。上記辞書、学習データ、及び素材等を低コストで構築し、上記のような大規模の画像アプリケーションサービスを実現するためには、人手を介することなく膨大な画像を精度良くセグメンテーションする技術は不可欠であると言える。
【０００３】
膨大な画像を自動でセグメンテーションするにあたり、ウェブにおいて構造化された情報は有効であると考えられる。例えば、種々の検索エンジンや画像共有サイトが提供するキーワード画像検索を用いることで、キーワード（例えば「飛行機」、「車」など）に関連する物体が写り込んだ複数の画像は容易に入手可能である。或るキーワードで検索した結果得られた画像群を入力とし、その中に含まれるキーワードに該当する物体を自動でセグメンテーションすることができれば、ラベル（すなわち検索キーワード）が付与された物体領域を自動で取得することが可能となる。
【０００４】
キーワード検索の結果得られた画像群の多くには、キーワードに相当する物体領域が含まれている。入力された画像群に共通する物体が写り込んでいるという情報を活用して、自動で画像群を同時にセグメンテーションする公知の技術として、非特許文献１には、各画像の類似する隣接ピクセルのラベル（前景か背景かのラベル）の一貫性を評価する項と、画像中の前景ラベルを有するピクセル集合から抽出される特徴量の、背景ラベルを有するピクセル集合から抽出される特徴量に対する識別性を評価する項と、から構成されるエネルギー関数を最小化することにより、各画像中のピクセルに対してラベルを割り当てる方法が開示されている。非特許文献１に開示された技術は、ラベル割当問題を解くために、入力された画像群の全ての画像に抽出対象の物体が写り込んでいることを前提としている。
【０００５】
一方、非特許文献２には、入力された画像群のうち特に類似した画像のペアでＳＩＦＴ  Ｆｌｏｗによるピクセル間の対応付けを行い、得られた対応付けに基づいて定義される、各ピクセルの抽出対象の物体らしさを評価する項を含むエネルギー最小化問題を解くことによって、入力された画像群に一部混在する抽出対象以外の物体は除外しつつ、抽出対象の物体を抽出することが可能な方法が開示されている。非特許文献２で開示された技術は、入力された画像群に抽出対象の物体が全く写り込んでいない画像が含まれ得ることが考慮されているという点で、非特許文献１の技術よりも、入力された画像群から抽出対象の物体領域を精度良く抽出することが可能な技術であると言える。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】A. Joulin et al., Multi-Class Cosegmentation, in Proc. CVPR, 2012. インターネット（URL:http://www.di.ens.fr/~fbach/joulin_cvpr2012.pdf）
【非特許文献２】M. Rubinstein et al., Unsupervised Joint Object Discovery and Segmentation in Internet Images, in Proc. CVPR, 2013. インターネット（URL:http://people.csail.mit.edu/mrub/papers/ObjectDiscovery-cvpr13.pdf）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１に開示された方法では、以下のような問題があった。キーワード検索結果として得られる画像群の一部には、抽出対象の物体が全く写り込んでいない画像が含まれていることが多いため、非特許文献１が仮定する、入力された画像群の全ての画像に抽出対象の物体が写っているという条件は、一般には成立しない。そのため、キーワード検索の結果得られた画像群を入力とし、非特許文献１に開示された技術を用いてセグメンテーションした結果は、本来の物体領域を正しく捉えることができず精度が低い、という問題があった。
【０００８】
また、非特許文献２における抽出対象以外の物体の除外を実現するピクセル間の対応付け処理は、画像ペア間でピクセルの一対一の対応付けが可能であることを前提として実行されている。すなわち、画像ペア間で抽出対象の物体数は同一であるという仮定が暗になされている。
【０００９】
また、キーワード検索の結果得られる画像群の一部には、一枚の中に抽出対象の物体が複数写り込んだ画像が含まれることは、抽出対象以外の物体が写り込んだ画像が混在することと同様に一般的である。そのため、非特許文献２に開示された、画像ペア間でピクセルの一対一の対応付けが可能であるという仮説は一般には成り立たず、特に一枚に複数の抽出対象の物体が写り込んだ画像を多く含む画像群を入力とした場合、非特許文献２に開示された技術を用いてセグメンテーションした結果は、本来の物体領域を正しく捉えることができず精度が低い、という問題がある。
【００１０】
さらに、非特許文献１及び非特許文献２の何れの方法についても、画像内に抽出対象の物体が複数写り込んでいた場合、それらを自動で分離する手段を有していない、という問題があった。これは、非特許文献１及び非特許文献２で開示されている方法が、入力された画像群に含まれる各画像の各ピクセルが「抽出対象の物体であるか否か」のみを決定する方法であり、画像中に複数の物体が写っている場合、それらのうちどの物体に属するかを判別する機能を有していない。
【００１１】
上記の画像アプリケーションサービスを実現するための辞書や学習データは、物体個々をデータの単位として用いるのが一般的であるが、既存の公知技術では、画像に含まれる複数の物体が空間的に離れている場合、それらを分離するための後処理が必要となる。個々の物体が画像中で空間的に明らかに分離している場合は、自動でそれらを分離することは難しくないものの、複数の物体が空間的に接して写り込んでいる場合、それらを自動で分離することは非常に困難であり、コストの高い人手による作業が避けられない、という問題があった。
【００１２】
このように、キーワード検索の結果得られた画像群を入力としてキーワードに該当する物体領域を同時にセグメンテーションする既存の公知の技術では、キーワード検索の結果得られる画像群の特徴である「抽出対象の物体領域を含んでいない又は抽出対象以外の物体を含む画像が混在する」という特徴と、「抽出対象の物体が複数写り込んでいる画像が混在する」という特徴とを同時に捉え、画像に含まれる個々の抽出対象の物体を精度良く分離してセグメンテーションすることができない、という問題があった。
【００１３】
本発明は、上記の事情に鑑みてなされたもので、入力画像群の中に抽出対象の物体領域を含まない画像が混在していたり、１つの画像に複数の抽出対象の物体が写り込んでいる画像が混在していたりする場合でも、抽出対象の物体領域を精度よくセグメンテーションすることができる画像セグメンテーション方法、装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の画像セグメンテーション方法は、物体領域抽出部、アピアランスモデル推定部、対応付け推定部、物体領域更新部、収束判定部、及び物体領域出力部を含む画像セグメンテーション装置における画像セグメンテーション方法であって、前記物体領域抽出部が、画像群に含まれる各画像から、抽出対象物体を表す一つ以上の物体領域候補を抽出するステップと、前記アピアランスモデル推定部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補に基づいて、前記物体領域候補の各々についてアピアランスモデルを推定するステップと、前記対応付け推定部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補の各々について、類似した他の物体領域候補との間のピクセルの対応付けを推定するステップと、前記物体領域更新部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補、前記アピアランスモデル推定部により推定された前記アピアランスモデル、及び前記対応付け推定部により推定された対応付けに基づいて、前記画像群に含まれる各画像の前記物体領域候補を更新するステップと、前記収束判定部が、所定の収束条件が満たされるまで、前記アピアランスモデル推定部による推定、前記対応付け推定部による推定、及び前記物体領域更新部による更新を繰り返し行うステップと、前記物体領域出力部が、前記画像群に含まれる各画像の前記物体領域候補を物体領域として出力するステップと、を含み、前記物体領域更新部が前記物体領域候補を更新するステップは、前記画像群に含まれる各画像の各ピクセルに関する前記抽出対象物体らしさを評価する項と、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補からの空間的な近さを評価する項と、前記画像群に含まれる各画像の各ピクセルに関する、前記アピアランスモデル推定部により推定された前記アピアランスモデルへの寄与を評価する項と、前記対応付け推定部により対応付けられたピクセル間の画像特徴量の類似性を評価する項と、画像内で隣接するピクセルの、物体領域候補に含まれるか否かを示すラベルのなめらかさを評価する項と、前記対応付け推定部により対応付けられたピクセル間の前記ラベルの一貫性を評価する項と、を含む目的関数を最適化することによって、前記画像群に含まれる各画像の前記物体領域候補の更新を行う。
【００１５】
また、前記物体領域抽出部が前記物体領域候補を抽出するステップは、画像中で互いに重複する領域が存在しないように前記物体領域候補を抽出するようにしてもよい。
【００１６】
また、前記アピアランスモデル推定部が前記アピアランスモデルを推定するステップは、前記物体領域抽出部により抽出された各画像の各物体領域候補について前記アピアランスモデルを推定し、各画像の、各物体領域候補の何れにも含まれないピクセル集合で構成される背景領域について、前記アピアランスモデルを推定するようにしてもよい。
【００１７】
また、前記対応付け推定部が前記対応付けを推定するステップは、前記物体領域候補の各々について、類似した他の物体領域候補との間で対応付けられるピクセル間の画像特徴量の類似性を評価する項と、前記物体領域候補内の近傍ピクセルに関する、前記ピクセルの対応付けに伴う移動ベクトルのなめらかさを評価する項と、から構成される最適化関数を解くことによって、前記類似した他の物体領域候補との間のピクセルの対応付けを推定するようにしてもよい。
【００１９】
本発明の画像セグメンテーション装置は、画像群に含まれる各画像から、抽出対象物体を表す一つ以上の物体領域候補を抽出する物体領域抽出部と、前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補に基づいて、前記物体領域候補の各々についてアピアランスモデルを推定するアピアランスモデル推定部と、前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補の各々について、類似した他の物体領域候補との間のピクセルの対応付けを推定する対応付け推定部と、前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補、前記アピアランスモデル推定部により推定された前記アピアランスモデル、及び前記対応付け推定部により推定された対応付けに基づいて、前記画像群に含まれる各画像の前記物体領域候補を更新する物体領域更新部と、所定の収束条件が満たされるまで、前記アピアランスモデル推定部による推定、前記対応付け推定部による推定、及び前記物体領域更新部による更新を繰り返し行う収束判定部と、前記画像群に含まれる各画像の前記物体領域候補を物体領域として出力する物体領域出力部と、を含み、前記物体領域更新部は、前記画像群に含まれる各画像の各ピクセルに関する前記抽出対象物体らしさを評価する項と、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補からの空間的な近さを評価する項と、前記画像群に含まれる各画像の各ピクセルに関する、前記アピアランスモデル推定部により推定された前記アピアランスモデルへの寄与を評価する項と、前記対応付け推定部により対応付けられたピクセル間の画像特徴量の類似性を評価する項と、画像内で隣接するピクセルの、物体領域候補に含まれるか否かを示すラベルのなめらかさを評価する項と、前記対応付け推定部により対応付けられたピクセル間の前記ラベルの一貫性を評価する項と、を含む目的関数を最適化することによって、前記画像群に含まれる各画像の前記物体領域候補の更新を行う。
【００２０】
本発明の画像セグメンテーションプログラムは、コンピュータに、上記画像セグメンテーション方法の各ステップを実行させるための画像セグメンテーションプログラムである。
【発明の効果】
【００２１】
以上説明したように、本発明の画像セグメンテーション方法、装置、及びプログラムによれば、入力画像群の中に抽出対象を含まない画像が混在していたり、１つの画像に複数の抽出対象の物体が写り込んでいる画像が混在していたりする場合でも、抽出対象の物体領域を精度よくセグメンテーションすることができる、という効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本実施の形態に係る画像セグメンテーション装置の機能的な構成例を示すブロック図である。
【図２】本実施の形態における画像セグメンテーションルーチンを示すフローチャートである。
【図３】画像から抽出された複数の物体領域の一例を示す図である。
【図４】画像から抽出された複数の物体領域のうち重複する領域の割合が大きい物体領域を除去した例を示す図である。
【図５】重複した領域のピクセルを何れかの物体領域にラベリングした例を示す図である。
【図６】入力された画像群及び当該画像群から抽出された物体領域のみを含む出力画像の画像群の一例を示す図である。
【図７】従来技術において一部が重複した複数の物体領域を含む画像から抽出された１つの物体領域を示す図である。
【図８】本実施の形態において一部が重複した複数の物体領域を含む画像から抽出された２つの物体領域を示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００２４】
本実施の形態では、一例として、キーワード検索の結果得られた画像群を入力として、入力された画像群に含まれる、キーワードに該当する物体領域を自動でセグメンテーションする。
【００２５】
＜システム構成＞
【００２６】
図１に示すように、本実施の形態に係る画像セグメンテーション装置１０は、物体領域抽出部１２、アピアランスモデル推定部１４、対応付け推定部１６、物体領域更新部１８、収束判定部２０、及び物体領域出力部２２を備えている。
【００２７】
物体領域抽出部１２は、入力された入力画像群に含まれる各画像から、一つ以上の物体領域を抽出する。物体領域抽出部１２に入力される入力画像群は、例えば画像検索サイト等において物体を表すキーワードを入力し、キーワードに対応する物体を含む画像を検索することにより得られた画像群である。なお、画像群に含まれる画像の多くは、キーワードに対応する物体を含むが、必ずしも全ての画像にキーワードに対応する抽出対象物体が含まれるとは限らない。
【００２８】
アピアランスモデル推定部１４は、物体領域抽出部１２により抽出された物体領域候補又は物体領域更新部１８により更新された物体領域候補に基づいて、物体領域候補の各々についてアピアランスモデルを推定する。
【００２９】
対応付け推定部１６は、物体領域抽出部１２により抽出された物体領域候補又は物体領域更新部１８により更新された物体領域候補の各々について、類似した他の物体領域との間のピクセルの対応付けを推定する。
【００３０】
物体領域更新部１８は、物体領域抽出部１２により抽出された物体領域候補又は物体領域更新部１８により更新された物体領域候補、アピアランスモデル推定部１４により推定されたアピアランスモデル、及び対応付け推定部１６により推定された対応付けに基づいて、物体領域候補を更新する。
【００３１】
収束判定部２０は、所定の収束条件を満たしたか否かを判定し、所定の収束条件を満たしたと判定されるまで、アピアランスモデルの推定、対応付けの推定、及び物体領域候補の更新を繰り返し行う。
【００３２】
物体領域出力部２２は、収束判定部２０が所定の収束条件を満たすと判定した場合に、画像群に含まれる各画像の物体領域候補を、物体領域として出力する。物体領域出力部２２は、例えば抽出された物体領域のみを含む画像をネットワーク上の他の端末装置等に送信したり、記憶装置に出力したり、表示装置に出力したりする。
【００３３】
物体領域抽出部１２、アピアランスモデル推定部１４、対応付け推定部１６、物体領域更新部１８、収束判定部２０、及び物体領域出力部２２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、後述する画像セグメンテーションルーチンを実行するための画像セグメンテーションプログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、を備えたコンピュータにより実現される。なお、ＲＯＭに代えて不揮発性メモリを用いてもよい。また、画像セグメンテーション装置１０を構成するコンピュータは、ハードディスクドライブ等の記憶部や通信インタフェース等を備えていてもよい。また、ハードディスクドライブにＣＰＵが実行するプログラムが記憶されていてもよい。ＣＰＵがＲＯＭやハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記ハードウェアとプログラムとを協働させて以下に説明する機能が実現される。
【００３４】
＜画像セグメンテーション装置の作用＞
【００３５】
次に、図２を参照して、本実施の形態に係る画像セグメンテーション装置１０において実行される画像セグメンテーションルーチンについて説明する。
【００３６】
ステップＳ１００では、物体領域抽出部１２が、入力画像群
【００３７】
【数１】
0006389742.tif 000002
【００３８】
を入力する。Ｎは画像数である。各画像は元のサイズのままでステップＳ１０２以降の処理に用いてもよいし、あるいはリサイズしてもよい。各画像をリサイズする場合、画像
【００３９】
【数２】
0006389742.tif 000003
【００４０】
の元の高さをｈｅｉｇｈｔｉ、幅をｗｉｄｔｈｉ、ｌｍａｘを定数として、例えば各画像をｌｍａｘ／ｍａｘ（ｈｅｉｇｈｔｉ，ｗｉｄｔｈｉ）のスケールにリサイズする。
【００４１】
次に、物体領域抽出部１２が、入力された画像群に含まれる各画像Ｉｉに写っている物体領域候補を抽出する。ここで抽出される物体領域候補は、画像内で互いに重複する領域が存在しないように抽出される。以下、画像内で互いに重複しないように物体領域候補を抽出する方法について具体的に説明する。
【００４２】
なお、以下では、物体領域候補として矩形領域を抽出する場合について説明するが、抽出する領域の形状は矩形に限られるものではない。
【００４３】
まず、画像中の任意の矩形領域について物体のカテゴリに依存しない物体らしさを評価する公知の技術を用いて、物体らしさのスコアが高い矩形領域をＮｐｒｏｐｏｓａｌ個抽出する。
【００４４】
Ｎｐｒｏｐｏｓａｌはパラメータであり、予め定めた値を設定する。図３には、一例としてＮｐｒｏｐｏｓａｌ＝５とした場合に画像Ｉｉから抽出された矩形領域、すなわち物体領域候補の例を示した。図３に示すように、物体領域候補３０１は物体領域候補３０２と重複している。また、物体領域候補３０２は物体領域候補３０１及び物体領域候補３０３と重複している。また、物体領域候補３０３は物体領域候補３０２、物体領域候補３０４、及び物体領域候補３０５と重複している。また、物体領域候補３０４は、物体領域候補３０３及び物体領域候補３０５と重複している。また、物体領域候補３０５は、物体領域候補３０３及び物体領域候補３０４と重複している。
【００４５】
以下では、画像Ｉｉについて物体領域抽出処理で得られた物体領域候補を
【００４６】
【数３】
0006389742.tif 000004
【００４７】
、各物体領域候補に対応する物体らしさのスコアを
【００４８】
【数４】
0006389742.tif 000005
【００４９】
とする。物体領域候補
【００５０】
【数５】
0006389742.tif 000006
【００５１】
は、ピクセルｘが物体領域候補に含まれるとき
【００５２】
【数６】
0006389742.tif 000007
【００５３】
、それ以外で０をとる画像と同じサイズのバイナリマスクである。画像中の任意の矩形領域について物体のカテゴリに依存しない物体らしさを評価する公知の技術としては、例えば下記参考文献１に開示された方法を用いることができる。
【００５４】
（参考文献１）  M.M. Cheng et al., BING: Binarized Normed Gradients for Objectness Estimation at 300fps, in Proc. CVPR, 2014.
【００５５】
次に、抽出された物体領域候補のうち、他の物体領域候補と重複する領域の割合が大きい物体領域候補をＮｏｎ  Ｍａｘｉｍａｌ  Ｓｕｐｐｒｅｓｓｉｏｎ（ＮＭＳ）を用いて除去する。図４には、ＮＭＳを用いて他の物体領域候補と重複する領域の割合が大きい物体領域候補を除去した場合の例を示した。図４に示すように、物体領域候補３０２、３０３が残され、物体領域候補３０１、３０４、３０５は除去されている。図３に示すように、物体領域候補３０１、３０４、３０５は、他の物体領域候補と重複する領域の割合が大きいためである。なお、図４に示すように、物体領域候補３０２、３０３は一部の領域３２が重複している。このように、重複領域を有する物体領域候補が全て除去されるわけではない。
【００５６】
以下では、ＮＭＳの結果残った物体領域候補集合を
【００５７】
【数７】
0006389742.tif 000008
【００５８】
とする。
【００５９】
【数８】
0006389742.tif 000009
【００６０】
は、画像Ｉｉから抽出される物体領域候補の数である。ＮＭＳの結果残った物体領域候補は、重複する領域は小さいものの互いに重複している可能性がある。そこで、領域が重複するのを避けるため、上記数７で示した物体領域候補集合に含まれる２つ以上の物体領域候補に属する各ピクセルについては、その色、位置、及び隣接ピクセルとのラベル一貫性を評価することにより、上記数７で示した物体領域候補集合に含まれる何れかの物体領域候補への割り当て処理を行う。上記割り当て処理は、例えば下記（１）式で示すエネルギー関数を最小化するような物体領域候補集合
【００６１】
【数９】
0006389742.tif 000010
【００６２】
を求めることで得られる。
【００６３】
【数１０】
0006389742.tif 000011
・・・（１）
【００６４】
ここで、
【００６５】
【数１１】
0006389742.tif 000012
【００６６】
は、上記数７に示す物体領域候補集合に含まれる物体領域候補のうち少なくとも一つ以上の物体領域候補に含まれるピクセルの集合、Ｎｘは、ピクセルｘの近傍ピクセルの集合（例えばピクセルｘの上下左右に存在するピクセルから構成される集合）である。
【００６７】
上記（１）の右辺第一項は、ピクセルｘの位置を評価する項であり、例えば下記（２）式のように定義できる。
【００６８】
【数１２】
0006389742.tif 000013
・・・（２）
【００６９】
ここで、
【００７０】
【数１３】
0006389742.tif 000014
【００７１】
は物体領域候補
【００７２】
【数１４】
0006389742.tif 000015
【００７３】
に含まれるピクセルの集合、
【００７４】
【数１５】
0006389742.tif 000016
【００７５】
はピクセルｘの座標である。また、κｐｏｓｉｔｉｏｎはパラメータであり、予め定めた値を設定する。
【００７６】
上記（１）式の右辺第二項は、物体領域候補
【００７７】
【数１６】
0006389742.tif 000017
【００７８】
のアピアランスモデルに対するピクセルｘの寄与を評価する項、すなわちピクセルｘの色を評価する項であり、例えば下記（３）式のように定義できる。
【００７９】
【数１７】
0006389742.tif 000018
・・・（３）
【００８０】
ここで、
【００８１】
【数１８】
0006389742.tif 000019
【００８２】
は、上記数１４で示す物体領域候補に対応するアピアランスモデル
【００８３】
【数１９】
0006389742.tif 000020
【００８４】
に対するピクセルｘの輝度値
【００８５】
【数２０】
0006389742.tif 000021
【００８６】
の対数尤度、κｃｏｌｏｒはパラメータであり、予め定めた値を設定する。上記数１９で示したアピアランスモデルは、例えばＧａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌを用いて構築することができる。
【００８７】
上記（１）式の右辺第三項は、輝度値の類似した隣接ピクセルｘ、ｘ’の、物体領域候補に含まれるか否かを示すラベルの一貫性を評価する項であり、例えば下記（４）式のように定義することができる。
【００８８】
【数２１】
0006389742.tif 000022
・・・（４）
【００８９】
ここで、κｉｎｔはパラメータであり、予め定めた値を設定する。また、[]は、[]内の条件が満たされる場合に１、満たされない場合に０となるインジケータ関数である。
【００９０】
【数２２】
0006389742.tif 000023
【００９１】
は、ピクセルｘが上記数９で示した物体領域候補集合に含まれる何れの物体領域候補にも含まれない場合に０、物体領域候補Ｒｉｊに含まれる場合にｊとなる。
【００９２】
以上の処理によって、各画像Ｉｉについて上記数９で示すような、互いに重複しない物体領域候補集合が得られる。例えば図４に示すように物体領域候補３０２、３０３の一部が重複した領域３２のピクセルは、図５に示すように物体領域候補３０２及び物体領域候補３０３の何れか一方にラベリングされることとなる。このため、上記数９で示すような互いに重複しない物体領域候補集合に含まれる各物体領域候補は、必ずしも矩形領域になるとは限らない。
【００９３】
ステップＳ１０２では、アピアランスモデル推定部１４が、ステップＳ１０２で得られた上記数９で示す各画像の物体領域候補集合に基づいて、アピアランスモデルを推定する。ここで、アピアランスモデルは、各画像から抽出された物体領域候補集合を構成する各物体領域候補と、何れの物体領域候補にも含まれないピクセル集合で構成される領域、すなわち背景領域と、について推定する。
【００９４】
以下では、画像Ｉｉについて推定されたアピアランスモデル集合を
【００９５】
【数２３】
0006389742.tif 000024
【００９６】
とする。ここで、アピアランスモデル
【００９７】
【数２４】
0006389742.tif 000025
【００９８】
は、物体領域候補
【００９９】
【数２５】
0006389742.tif 000026
【０１００】
に対応しており、物体領域候補Ｒｉｊに含まれるピクセル集合
【０１０１】
【数２６】
0006389742.tif 000027
【０１０２】
から推定することができる。アピアランスモデルＨｉ０は、上記数９で示した物体領域候補集合を構成する何れの物体領域候補にも含まれない領域、すなわち背景領域から推定されるアピアランスモデルであり、上記数９で示した物体領域候補集合を構成する何れの物体領域候補にも含まれないピクセル集合から推定することができる。アピアランスモデルは、例えばＧａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌを用いて構築することができる。
【０１０３】
ステップＳ１０４では、対応付け推定部１６が、ステップＳ１０２で得られた各画像の各物体領域候補について、各画像に含まれる全ての物体領域候補の中から特に類似した物体領域候補とのピクセル間の密な対応付けを推定する。ここで、類似する物体領域候補間におけるピクセル間の密な対応付けは、対応付けられるピクセル間の画像特徴量の類似性を評価する項と、物体領域候補内の近傍ピクセルに関する、対応付けに伴う移動ベクトルのなめらかさを評価する項と、から構成される最適化関数を解くことによって算出する。例えば、以下の処理を実行する。
【０１０４】
まず、各物体領域候補から画像特徴量を抽出し、各物体領域候補
【０１０５】
【数２７】
0006389742.tif 000028
【０１０６】
について、抽出した画像特徴量に関して特に類似した｜ＮＲ｜個の物体領域候補との間で下記参考文献２に開示されているＳＩＦＴ  Ｆｌｏｗを算出する。｜ＮＲ｜はパラメータであり、予め定めた値を設定する。また、各物体領域候補から画像特徴量を抽出する方法としては、例えば下記参考文献３に開示されたＧＩＳＴ特徴量を用いることができる。
【０１０７】
（参考文献２）  C. Liu et al., SIFT Flow: Dense Correspondence across the Scenes and its Applications, TPAMI, 33(5),2011.
【０１０８】
インターネット（URL:http://people.csail.mit.edu/celiu/SIFTflow/SIFTflow.pdf）
【０１０９】
（参考文献３）  A. Oliva et al., Modeling the Spape of the Scene: A Holistic Representation of the Spatial Envelope, IJCV, 42(3), pp145-175, 2001.
【０１１０】
インターネット（URL:http://cvcl.mit.edu/Papers/IJCV01-Oliva-Torralba.pdf）
【０１１１】
以下では、対応付け推定処理で得られた対応付け集合を
【０１１２】
【数２８】
0006389742.tif 000029
【０１１３】
とする。ｗＲＲ’（ｘ）は、ピクセルｘ∈Ｒに対応付けられる
【０１１４】
【数２９】
0006389742.tif 000030
【０１１５】
内のピクセルである。
【０１１６】
ステップＳ１０６では、物体領域候補更新部１８が、ステップＳ１０２で得られた上記数９で示すような物体領域候補集合又は前回ステップＳ１０６を実行することにより更新された物体領域候補集合、ステップＳ１０２のアピアランスモデル推定処理で得られたアピアランスモデル集合、及びステップＳ１０４の対応付け推定処理で得られた対応付け集合の結果を用いて、物体領域候補を更新する。
【０１１７】
ここで、物体領域候補の更新は、入力された画像群に含まれる各画像の各ピクセルに関する物体らしさを評価する項と、ステップＳ１０２で得られた上記数９で示すような物体領域候補集合又は前回ステップＳ１０６を実行することにより更新された物体領域候補集合に含まれる物体領域候補の空間上の近さを評価する項と、ステップＳ１０２のアピアランスモデル推定処理で得られたアピアランスモデルへの寄与を評価する項と、ステップＳ１０４の対応付け処理で対応付けられたピクセル間の画像特徴量の類似性を評価する項と、画像内で隣接するピクセルのラベルのなめらかさを評価する項と、ステップＳ１０４の対応付け処理で対応付けられたピクセルのラベルの一貫性を評価する項と、を含む目的関数を最適化することによって行う。このような目的関数は、例えば下記（５）式のように定義することができる。
【０１１８】
【数３０】
0006389742.tif 000031
・・・（５）
【０１１９】
ここで、上記（５）式の右辺第一項は、各画像の各ピクセルに定義されるエネルギー項であり、下記（６）式のように定義される。
【０１２０】
【数３１】
0006389742.tif 000032
・・・（６）
【０１２１】
ここで、βはパラメータであり、予め定めた値を設定する。上記（６）式のＥｏｂｊ（ｘ）は、ピクセルｘの物体らしさを評価する項であり、例えばステップＳ１００の物体領域抽出処理で得られた上記数３で示した物体領域候補及び上記数４で示した各物体領域候補に対応する物体らしさのスコアを用いて、下記（７）式のように定義することができる。
【０１２２】
【数３２】
0006389742.tif 000033
・・・（７）
【０１２３】
ここで、λｏｂｊはパラメータであり、予め定めた値を設定する。上記（６）式の
【０１２４】
【数３３】
0006389742.tif 000034
【０１２５】
は、ピクセルｘの位置について、前回更新された物体領域候補からの空間上の近さを評価する項であり、例えば下記（８）式で定義することができる。
【０１２６】
【数３４】
0006389742.tif 000035
・・・（８）
【０１２７】
ここで、λｐｏｓｉｔｉｏｎはパラメータであり、予め定めた値を設定する。上記（６）式の
【０１２８】
【数３５】
0006389742.tif 000036
【０１２９】
は、ステップＳ１０４の対応付け処理で対応付けられたピクセル間の画像特徴量の類似性を評価する項であり、例えば下記（９）式のように定義することができる。
【０１３０】
【数３６】
0006389742.tif 000037
・・・（９）
【０１３１】
ここで、α、λｍａｔｃｈはパラメータであり、予め定めた値を設定する。ｄｘはピクセルｘに定義される局所画像特徴量であり、例えばＳＩＦＴ記述子を用いることができる。
【０１３２】
上記（５）式の右辺第二項は、各画像の各ピクセルのアピアランスモデルに対する寄与を評価する項であり、例えば下記（１０）式のように定義できる。
【０１３３】
【数３７】
0006389742.tif 000038
・・・（１０）
【０１３４】
ここで、ｌｏｇｐ（ｃｘ｜Ｈｉｊ）は、物体領域候補Ｒｉｊに対応するアピアランスモデルＨｉｊに対する上記数１９で示したピクセルｘの輝度値の対数尤度である。また、λｃｏｌｏｒは、パラメータであり、予め定めた値を設定する。
【０１３５】
上記（５）式の右辺第三項は、画像内で隣接するピクセルのラベルのなめらかさを評価する項であり、下記（１１）式のように定義することができる。
【０１３６】
【数３８】
0006389742.tif 000039
・・・（１１）
【０１３７】
ここで、λｉｎｔはパラメータであり、予め定めた値を設定する。
【０１３８】
上記（５）式の右辺第四項は、ステップＳ１０４の対応付け推定処理で対応付けられたピクセル間のラベルのなめらかさを評価する項であり、下記（１２）式のように定義することができる。
【０１３９】
【数３９】
0006389742.tif 000040
・・・（１２）
【０１４０】
ここで、λｅｘｔはパラメータであり、予め定めた値を設定する。また、Ｂｉ（ｘ）は、
【０１４１】
【数４０】
0006389742.tif 000041
【０１４２】
のとき０、それ以外で１をとる。
【０１４３】
上記（５）式は、例えば以下のように解くことができる。まず画像Ｉｉを選択し、それ以外の画像に含まれる物体領域候補は全て固定する。この場合、上記（５）式は画像Ｉｉに対応する、上記数９で示した物体領域候補集合を変数とする関数となり、これはｌｏｏｐｙ  ｂｅｌｉｅｆ  ｐｒｏｐａｇａｔｉｏｎ等の公知のアルゴリズムを用いて解くことができる。この処理を各画像について実行することにより、上記数９で示した物体領域候補集合を更新することができる。
【０１４４】
ステップＳ１０８では、収束判定部２０が、ステップＳ１０８の物体領域更新処理の結果が収束条件を満たすか否かを判定する。収束条件としては、例えば物体領域更新処理で定義された目的関数の値の変化量が一定以下になったことを収束条件としてもよいし、ステップＳ１０２〜Ｓ１０６までの一連の処理を繰り返す回数を予め定めておき、ステップＳ１０２〜Ｓ１０６までの一連の処理を予め定めた回数繰り返したことを収束条件としてもよい。そして、収束判定部２０が、収束条件を満たすと判定した場合はステップＳ１０８へ移行し、収束条件を満たさないと判定した場合はステップＳ１０２へ移行する。
【０１４５】
ステップＳ１０８では、物体領域出力部２２が、ステップＳ１０６の物体領域更新処理により得られた物体領域を含む画像を出力する。図６には、入力画像群４０と、入力画像群４０に対してステップＳ１００〜Ｓ１０８の処理を実行することにより得られた物体領域のみを含む出力画像群５０を示した。なお、図６に示すように、入力画像群４０は、抽出対象を飛行機とした画像群である。
【０１４６】
図６に示すように、入力画像群４０に含まれる入力画像４２には１機の飛行機が含まれており、この入力画像４２からは、１機の飛行機のみを含む出力画像５２が得られる。また、入力画像４４には向かい合わせの２機の飛行機が含まれており、この入力画像４４からは、右向きの飛行機のみを含む出力画像５４１、左向きの飛行機のみを含む出力画像５４２が得られる。また、入力画像４６には大小様々な複数の飛行機が含まれており、この入力画像４６からは、それぞれの飛行機のみを含む出力画像５６１、５６２、５６３、・・・が得られる。また、入力画像４８には、飛行機は１機も含まれていないため、この入力画像４８からは、飛行機が抽出された出力画像は得られない。
【０１４７】
ここで、例えば図７に示すように、入力画像６０に一部が重なり合う２つの物体領域候補６２１、６２２が含まれている場合、従来技術では、２つの物体領域候補６２１、６２２を精度良くセグメンテーションすることができず、出力画像７０は、１つの物体領域候補７２のみを含む出力画像となってしまう。
【０１４８】
これに対し、本実施形態では、図８に示すように、入力画像６０に一部が重なり合う２つの物体領域候補６２１、６２２が含まれている場合、２つの物体領域候補６２１、６２２を精度良くセグメンテーションすることができ、出力画像７０は、２つの物体領域候補６２１、６２２に対応した２つの物体領域候補７２１、７２２を含む出力画像となる。
【０１４９】
このように、入力画像群の中に１つの画像に複数の抽出対象の物体が写り込んでいる画像が混在していたり、抽出対象の物体領域を含まない画像が混在していたりする場合でも、抽出対象の物体領域を精度よくセグメンテーションすることができる。
【０１５０】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１５１】
また、上述の画像セグメンテーション装置１０は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１５２】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体、例えばＣＤ−ＲＯＭやメモリーカード等に格納して提供することも可能である。
【符号の説明】
【０１５３】
１０   画像セグメンテーション装置
１２   物体領域抽出部
１４   アピアランスモデル推定部
１６   対応付け推定部
１８   物体領域更新部
２０   収束判定部
２２   物体領域出力部
【図１】
0006389742.tif 000042
【図２】
0006389742.tif 000043
【図３】
0006389742.tif 000044
【図４】
0006389742.tif 000045
【図５】
0006389742.tif 000046
【図６】
0006389742.tif 000047
【図７】
0006389742.tif 000048
【図８】
0006389742.tif 000049