(57)【特許請求の範囲】
【請求項１】
物体領域初期化部、対応付け推定部、物体領域更新部、及び収束判定部を含む画像対応付け装置における画像対応付け方法であって、
前記物体領域初期化部が、各画像の物体領域を初期化するステップと、
前記対応付け推定部が、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて画像間のピクセルの対応付けを行うステップと、
前記物体領域更新部が、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新するステップと、
前記収束判定部が、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行うステップと、
を含み、
前記対応付け推定部は、部分領域分割部、階層グラフ構築部、特徴抽出部、及び最適化部を含み、
前記対応付け推定部が前記対応付けを行うステップは、
前記部分領域分割部が、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定するステップと、
前記階層グラフ構築部が、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築するステップと、
前記特徴抽出部が、各部分領域から画像特徴量を抽出するステップと、
前記最適化部が、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定するステップと、
を含み、
前記部分領域分割部が前記ラベルを推定するステップは、
前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて各部分領域のラベルを推定する
画像対応付け方法。
【請求項２】
物体領域初期化部、対応付け推定部、物体領域更新部、及び収束判定部を含む画像対応付け装置における画像対応付け方法であって、
前記物体領域初期化部が、各画像の物体領域を初期化するステップと、
前記対応付け推定部が、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて画像間のピクセルの対応付けを行うステップと、
前記物体領域更新部が、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新するステップと、
前記収束判定部が、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行うステップと、
を含み、
前記対応付け推定部は、部分領域分割部、階層グラフ構築部、特徴抽出部、及び最適化部を含み、
前記対応付け推定部が前記対応付けを行うステップは、
前記部分領域分割部が、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定するステップと、
前記階層グラフ構築部が、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築するステップと、
前記特徴抽出部が、各部分領域から画像特徴量を抽出するステップと、
前記最適化部が、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定するステップと、
を含み、
前記部分領域分割部が前記ラベルを推定するステップは、
前記部分領域の分割粒度を変えて、各画像を部分領域に分割すること、及び各部分領域について前記ラベルを推定することを複数回実行する
画像対応付け方法。
【請求項３】
物体領域初期化部、対応付け推定部、物体領域更新部、及び収束判定部を含む画像対応付け装置における画像対応付け方法であって、
前記物体領域初期化部が、各画像の物体領域を初期化するステップと、
前記対応付け推定部が、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて画像間のピクセルの対応付けを行うステップと、
前記物体領域更新部が、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新するステップと、
前記収束判定部が、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行うステップと、
を含み、
前記対応付け推定部は、部分領域分割部、階層グラフ構築部、特徴抽出部、及び最適化部を含み、
前記対応付け推定部が前記対応付けを行うステップは、
前記部分領域分割部が、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定するステップと、
前記階層グラフ構築部が、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築するステップと、
前記特徴抽出部が、各部分領域から画像特徴量を抽出するステップと、
前記最適化部が、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定するステップと、
を含み、
前記部分領域分割部が前記ラベルを推定するステップは、
前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域の形状に応じて前記部分領域に分割する
画像対応付け方法。
【請求項４】
前記階層グラフ構築部が前記階層グラフを構築するステップは、
同じ分割粒度で分割された部分領域から成る同一部分領域集合に含まれる部分領域間については空間的に隣接する部分領域間を表すノード間をエッジで接続し、
隣接階層の部分領域間については領域を共有する部分領域間を表すノード間をエッジで接続して、前記階層グラフを構築する
請求項２記載の画像対応付け方法。
【請求項５】
物体領域初期化部、対応付け推定部、物体領域更新部、及び収束判定部を含む画像対応付け装置における画像対応付け方法であって、
前記物体領域初期化部が、各画像の物体領域を初期化するステップと、
前記対応付け推定部が、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて画像間のピクセルの対応付けを行うステップと、
前記物体領域更新部が、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新するステップと、
前記収束判定部が、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行うステップと、
を含み、
前記対応付け推定部は、部分領域分割部、階層グラフ構築部、特徴抽出部、及び最適化部を含み、
前記対応付け推定部が前記対応付けを行うステップは、
前記部分領域分割部が、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定するステップと、
前記階層グラフ構築部が、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築するステップと、
前記特徴抽出部が、各部分領域から画像特徴量を抽出するステップと、
前記最適化部が、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定するステップと、
を含み、
前記最適化部が前記対応付けを推定するステップは、
対応付けられたノードが表す部分領域間の画像特徴量の類似性と、
対応付けられたノードが表す部分領域間のラベル一貫性と、
隣接する部分領域間での、対応付けられたノードが表す部分領域間の変位ベクトルのなめらかさと、
隣接する部分領域間での、対応付けられたノードが表す部分領域間の階層一貫性を評価する項と、
を評価する最適化関数を解くことによって画像間のノードの対応付けを推定する
画像対応付け方法。
【請求項６】
前記物体領域更新部が前記物体領域を更新するステップは、
前記対応付け推定部が前記対応付けを行うステップにより得られた前記対応付けの結果を評価項に含む最適化関数を解くことにより各画像の物体領域を更新する
請求項１〜５の何れか１項に記載の画像対応付け方法。
【請求項７】
各画像の物体領域を初期化する物体領域初期化部と、
前記物体領域初期化部により初期化された前記物体領域又は更新された前記物体領域に基づいて画像間のピクセルの対応付けを行う対応付け推定部と、
前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新する物体領域更新部と、
予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行う収束判定部と、
を含み、
前記対応付け推定部は、
各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定する部分領域分割部と、
前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築する階層グラフ構築部と、
各部分領域から画像特徴量を抽出する特徴抽出部と、
前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定する最適化部と、
を含み、
前記部分領域分割部は、
前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて各部分領域のラベルを推定する
画像対応付け装置。
【請求項８】
各画像の物体領域を初期化する物体領域初期化部と、
前記物体領域初期化部により初期化された前記物体領域又は更新された前記物体領域に基づいて画像間のピクセルの対応付けを行う対応付け推定部と、
前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新する物体領域更新部と、
予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行う収束判定部と、
を含み、
前記対応付け推定部は、
各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定する部分領域分割部と、
前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築する階層グラフ構築部と、
各部分領域から画像特徴量を抽出する特徴抽出部と、
前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定する最適化部と、
を含み、
前記部分領域分割部は、
前記部分領域の分割粒度を変えて、各画像を部分領域に分割すること、及び各部分領域について前記ラベルを推定することを複数回実行する
画像対応付け装置。
【請求項９】
各画像の物体領域を初期化する物体領域初期化部と、
前記物体領域初期化部により初期化された前記物体領域又は更新された前記物体領域に基づいて画像間のピクセルの対応付けを行う対応付け推定部と、
前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新する物体領域更新部と、
予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行う収束判定部と、
を含み、
前記対応付け推定部は、
各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定する部分領域分割部と、
前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築する階層グラフ構築部と、
各部分領域から画像特徴量を抽出する特徴抽出部と、
前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定する最適化部と、
を含み、
前記部分領域分割部は、
前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域の形状に応じて前記部分領域に分割する
画像対応付け装置。
【請求項１０】
各画像の物体領域を初期化する物体領域初期化部と、
前記物体領域初期化部により初期化された前記物体領域又は更新された前記物体領域に基づいて画像間のピクセルの対応付けを行う対応付け推定部と、
前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新する物体領域更新部と、
予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行う収束判定部と、
を含み、
前記対応付け推定部は、
各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定する部分領域分割部と、
前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築する階層グラフ構築部と、
各部分領域から画像特徴量を抽出する特徴抽出部と、
前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定する最適化部と、
を含み、
前記最適化部は、
対応付けられたノードが表す部分領域間の画像特徴量の類似性と、
対応付けられたノードが表す部分領域間のラベル一貫性と、
隣接する部分領域間での、対応付けられたノードが表す部分領域間の変位ベクトルのなめらかさと、
隣接する部分領域間での、対応付けられたノードが表す部分領域間の階層一貫性を評価する項と、
を評価する最適化関数を解くことによって画像間のノードの対応付けを推定する
画像対応付け装置。
【請求項１１】
コンピュータに、請求項１〜請求項６の何れか１項に記載の画像対応付け方法の各ステップを実行させるための画像対応付けプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像対応付け方法、装置、及びプログラムに係り、特に、画像内の物体領域間の密な対応付けを行う画像対応付け方法、装置、及びプログラムである。
【背景技術】
【０００２】
２枚の画像が与えられたとき、各画像から局所特徴量を抽出し、抽出した局所特徴量間の関係に基づいて画像領域の対応付けを行うことは極めて一般的であり、様々なアプリケーションを実現するための処理要素として広く用いられている。画像間の対応付け処理の中でも、一方の画像中の各ピクセルを他方の画像中の何れかのピクセルに対応づける密な対応付け（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）処理は、画像領域への自動アノテーションや画像・映像補間、物体検索、物体認識等の幅広いアプリケーションへの応用が可能な技術として産業上利用価値が高い。
【０００３】
ここで、上記アプリケーションの中でも特に、画像中に写り込んだ物体に関するアプリケーション、例えば物体検索や物体アノテーション、画像／映像中の物体に着目した補間等のアプリケーションを実現するために必要な画像間の密な対応付け処理を考えると、精度良く対応付けが実現されるべき領域は必ずしも画像全体ではなく、画像中に写りこむ物体を構成する領域間であると考えられる。例えば、異なる背景で車の写った２つの画像が与えられた場合、２つの画像間で車が写っている領域間の対応付けが精度良く行われること、すなわち、車を構成するピクセルの空間的構造を踏まえて対応付けされることが望ましい。一方で、背景領域間の対応付けはその正確さを定義すること自体が困難であり、また、実質的に意味をなさない。従って、画像中に写る物体に着目した上記アプリケーションにおいて有効である画像間の密な対応付けを実現するには、画像領域全体で最適な対応付けを求めるのではなく、画像中の物体が写る領域に着目して対応付けを行う必要がある。
【０００４】
２枚の画像のみが与えられたとき、画像間の物体領域に着目した密な対応付けを精度良く行うためには、少なくとも各画像について物体が写る物体領域を推定する処理と、推定された物体領域間を対応付ける対応付け処理が必要である。上記の処理を実現するためには、各画像の物体領域を推定する処理を公知の画像セグメンテーション技術を用いて実行し、続く対応付け処理を公知の対応付け技術を用いて実行すればよい。ここで、公知の画像セグメンテーション技術としては、例えば非特許文献１に開示されている技術を、公知の対応付け処理としては非特許文献２に開示されている技術を用いればよい。
【０００５】
しかしながら、各画像の物体領域を推定する処理と、推定された物体領域間を対応付ける対応付け処理を組み合わせただけでは、画像間の物体領域に着目した密な対応付けを精度良く行うことは難しい。
【０００６】
第１の理由は、画像中の物体位置やサイズ、背景の煩雑さや照明条件は一般に未知であるため、公知の画像セグメンテーション技術で得られた物体領域は必ずしも正確ではないという点にある。図１０には、一例として飛行機１００Ａが写った画像１０２Ａから、公知の画像セグメンテーション技術を用いて物体領域１００Ｂを抽出した画像１０２Ｂ、同じく飛行機１０４Ａが写った画像１０６Ａから、公知の画像セグメンテーション技術を用いて物体領域１０４Ｂを抽出した画像１０６Ｂを示した。図１０に示すように、画像１０２Ｂから抽出された物体領域１００Ｂは、飛行機の一部が欠けた物体領域となっている。また、画像１０６Ｂから抽出された物体領域１０４Ｂは、抽出対象の飛行機以外の領域が含まれてしまっている。
【０００７】
このように、公知の画像セグメンテーション技術では、抽出対象の物体の領域の一部が欠けてしまったり、抽出対象の物体以外の領域が含まれてしまったりする可能性があるため、続く対応付け処理における対応付けの精度が低下してしまう、という問題があった。
【０００８】
第２の理由は、公知の密な対応付け技術では、物体領域を考慮しつつ、物体の位置やスケールにロバストに対応付けを行うことができないという点にある。例えば非特許文献２に開示された対応付け技術は、各画像中の各ピクセルからＳＩＦＴ特徴量を抽出し、対応付けられたピクセル間のＳＩＦＴ特徴量の類似度を評価する項、対応付けに伴う隣接ピクセル間の変位のなめらかさを評価する項、及び対応付けに伴う各ピクセルの変位の総量から構成されるエネルギー関数を最小化することにより、画像間の密な対応付けを得るというものである。
【０００９】
しかしながら、非特許文献２に開示された技術は、画像間のスケールの違いを考慮しておらず、また、エネルギー関数が対応付けに伴うベクトルの変位が小さいほど良い対応付けであるという仮定のもとで設計されているため、画像間で物体領域のスケールや位置が大きく異なる場合、対応付けの精度が低い、という問題があった。
【００１０】
また、非特許文献３に開示された技術では、各画像を４等分、１６等分と階層的に細かく分割することで得られた部分矩形領域をノード、ノード間の空間関係をエッジとする階層グラフを用いた対応付け方法が開示されている。スケールの異なるノードの対応付けを可能とすることで、画像間で物体の位置やサイズが異なっていてもロバストな対応付けを実現している。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】M. Tang et al., GrabCut in One Cut, in Proc. ICCV, 2013. インターネット（URL:http://www.csd.uwo.ca/~ygorelic/iccv13_one_cut.pdf）
【非特許文献２】C. Liu et. al., SIFT Flow: Dense Correspondence across Scenes and its Applications, TPAMI, 33(5), 2011. インターネット（URL:http://people.csail.mit.edu/celiu/SIFTflow/SIFTflow.pdf）
【非特許文献３】J. Kim et al., Deformable Spatial Pyramid Matching for Fast Dense Correspondence, in Proc. CVPR, 2013. インターネット（URL:http://people.csail.mit.edu/celiu/pdfs/CVPR13-DSPM.pdf）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、非特許文献３に開示された対応付け方法では、階層グラフを構成するノードが画像中のピクセル集合で定義されるため、ノード内に物体領域に属するピクセルと物体領域に属さないピクセルとが混在する場合、物体領域を精度良く対応付けすることができない、という問題があった。
【００１３】
本発明は、上記の事情に鑑みてなされたもので、各画像中の物体領域を精度よく密に対応付けることができる画像対応付け方法、装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の画像対応付け方法は、物体領域初期化部、対応付け推定部、物体領域更新部、及び収束判定部を含む画像対応付け装置における画像対応付け方法であって、前記物体領域初期化部が、各画像の物体領域を初期化するステップと、前記対応付け推定部が、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて画像間のピクセルの対応付けを行うステップと、前記物体領域更新部が、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新するステップと、前記収束判定部が、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行うステップと、を含み、前記対応付け推定部は、部分領域分割部、階層グラフ構築部、特徴抽出部、及び最適化部を含み、前記対応付け推定部が前記対応付けを行うステップは、前記部分領域分割部が、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定するステップと、前記階層グラフ構築部が、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築するステップと、前記特徴抽出部が、各部分領域から画像特徴量を抽出するステップと、前記最適化部が、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定するステップと、を含み、前記部分領域分割部が前記ラベルを推定するステップは、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて各部分領域のラベルを推定する。
【００１５】
本発明の画像対応付け方法は、物体領域初期化部、対応付け推定部、物体領域更新部、及び収束判定部を含む画像対応付け装置における画像対応付け方法であって、前記物体領域初期化部が、各画像の物体領域を初期化するステップと、前記対応付け推定部が、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて画像間のピクセルの対応付けを行うステップと、前記物体領域更新部が、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新するステップと、前記収束判定部が、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行うステップと、を含み、前記対応付け推定部は、部分領域分割部、階層グラフ構築部、特徴抽出部、及び最適化部を含み、前記対応付け推定部が前記対応付けを行うステップは、前記部分領域分割部が、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定するステップと、前記階層グラフ構築部が、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築するステップと、前記特徴抽出部が、各部分領域から画像特徴量を抽出するステップと、前記最適化部が、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定するステップと、を含み、前記部分領域分割部が前記ラベルを推定するステップは、前記部分領域の分割粒度を変えて、各画像を部分領域に分割すること、及び各部分領域について前記ラベルを推定することを複数回実行する。
本発明の画像対応付け方法は、物体領域初期化部、対応付け推定部、物体領域更新部、及び収束判定部を含む画像対応付け装置における画像対応付け方法であって、前記物体領域初期化部が、各画像の物体領域を初期化するステップと、前記対応付け推定部が、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて画像間のピクセルの対応付けを行うステップと、前記物体領域更新部が、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新するステップと、前記収束判定部が、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行うステップと、を含み、前記対応付け推定部は、部分領域分割部、階層グラフ構築部、特徴抽出部、及び最適化部を含み、前記対応付け推定部が前記対応付けを行うステップは、前記部分領域分割部が、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定するステップと、前記階層グラフ構築部が、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築するステップと、前記特徴抽出部が、各部分領域から画像特徴量を抽出するステップと、前記最適化部が、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定するステップと、を含み、前記部分領域分割部が前記ラベルを推定するステップは、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域の形状に応じて前記部分領域に分割する。
また、前記階層グラフ構築部が前記階層グラフを構築するステップは、同じ分割粒度で分割された部分領域から成る同一部分領域集合に含まれる部分領域間については空間的に隣接する部分領域間を表すノード間をエッジで接続し、隣接階層の部分領域間については領域を共有する部分領域間を表すノード間をエッジで接続して、前記階層グラフを構築するようにしてもよい。
本発明の画像対応付け方法は、物体領域初期化部、対応付け推定部、物体領域更新部、及び収束判定部を含む画像対応付け装置における画像対応付け方法であって、前記物体領域初期化部が、各画像の物体領域を初期化するステップと、前記対応付け推定部が、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて画像間のピクセルの対応付けを行うステップと、前記物体領域更新部が、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新するステップと、前記収束判定部が、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行うステップと、を含み、前記対応付け推定部は、部分領域分割部、階層グラフ構築部、特徴抽出部、及び最適化部を含み、前記対応付け推定部が前記対応付けを行うステップは、前記部分領域分割部が、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定するステップと、前記階層グラフ構築部が、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築するステップと、前記特徴抽出部が、各部分領域から画像特徴量を抽出するステップと、前記最適化部が、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定するステップと、を含み、前記最適化部が前記対応付けを推定するステップは、対応付けられたノードが表す部分領域間の画像特徴量の類似性と、対応付けられたノードが表す部分領域間のラベル一貫性と、隣接する部分領域間での、対応付けられたノードが表す部分領域間の変位ベクトルのなめらかさと、隣接する部分領域間での、対応付けられたノードが表す部分領域間の階層一貫性を評価する項と、を評価する最適化関数を解くことによって画像間のノードの対応付けを推定する。
【００１６】
また、前記物体領域更新部が前記物体領域を更新するステップは、前記対応付け推定部が前記対応付けを行うステップにより得られた前記対応付けの結果を評価項に含む最適化関数を解くことにより各画像の物体領域を更新するようにしてもよい。
【００１７】
また、前記部分領域分割部が前記ラベルを推定するステップは、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて各部分領域のラベルを推定するようにしてもよい。
【００１８】
また、前記部分領域分割部が前記ラベルを推定するステップは、前記部分領域の分割粒度を変えて、各画像を部分領域に分割すること、及び各部分領域について前記ラベルを推定することを複数回実行するようにしてもよい。
【００１９】
また、前記部分領域分割部が前記ラベルを推定するステップは、前記部分領域分割部が前記ラベルを推定するステップは、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域の形状に応じて前記部分領域に分割するようにしてもよい。
【００２０】
また、前記階層グラフ構築部が前記階層グラフを構築するステップは、同じ分割粒度で分割された部分領域から成る同一部分領域集合に含まれる部分領域間については空間的に隣接する部分領域間を表すノード間をエッジで接続し、隣接階層の部分領域間については領域を共有する部分領域間を表すノード間をエッジで接続して、前記階層グラフを構築するようにしてもよい。
【００２１】
また、前記最適化部が前記対応付けを推定するステップは、対応付けられたノードが表す部分領域間の画像特徴量の類似性と、対応付けられたノードが表す部分領域間のラベル一貫性と、隣接する部分領域間での、対応付けられたノードが表す部分領域間の変位ベクトルのなめらかさと、隣接する部分領域間での、対応付けられたノードが表す部分領域間の階層一貫性を評価する項と、を評価する最適化関数を解くことによって画像間のノードの対応付けを推定するようにしてもよい。
【００２２】
本発明の画像対応付け装置は、各画像の物体領域を初期化する物体領域初期化部と、前記物体領域初期化部により初期化された前記物体領域又は更新された前記物体領域に基づいて画像間のピクセルの対応付けを行う対応付け推定部と、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新する物体領域更新部と、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行う収束判定部と、を含み、前記対応付け推定部は、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定する部分領域分割部と、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築する階層グラフ構築部と、各部分領域から画像特徴量を抽出する特徴抽出部と、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定する最適化部と、を含み、前記部分領域分割部は、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域に基づいて各部分領域のラベルを推定する。
本発明の画像対応付け装置は、各画像の物体領域を初期化する物体領域初期化部と、前記物体領域初期化部により初期化された前記物体領域又は更新された前記物体領域に基づいて画像間のピクセルの対応付けを行う対応付け推定部と、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新する物体領域更新部と、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行う収束判定部と、を含み、前記対応付け推定部は、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定する部分領域分割部と、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築する階層グラフ構築部と、各部分領域から画像特徴量を抽出する特徴抽出部と、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定する最適化部と、を含み、前記部分領域分割部は、前記部分領域の分割粒度を変えて、各画像を部分領域に分割すること、及び各部分領域について前記ラベルを推定することを複数回実行する。
本発明の画像対応付け装置は、各画像の物体領域を初期化する物体領域初期化部と、前記物体領域初期化部により初期化された前記物体領域又は更新された前記物体領域に基づいて画像間のピクセルの対応付けを行う対応付け推定部と、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新する物体領域更新部と、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行う収束判定部と、を含み、前記対応付け推定部は、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定する部分領域分割部と、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築する階層グラフ構築部と、各部分領域から画像特徴量を抽出する特徴抽出部と、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定する最適化部と、を含み、前記部分領域分割部は、前記物体領域初期化部により初期化された前記物体領域又は前記物体領域更新部により更新された前記物体領域の形状に応じて前記部分領域に分割する。
本発明の画像対応付け装置は、各画像の物体領域を初期化する物体領域初期化部と、前記物体領域初期化部により初期化された前記物体領域又は更新された前記物体領域に基づいて画像間のピクセルの対応付けを行う対応付け推定部と、前記対応付け推定部により推定された前記対応付けの結果に基づいて各画像の物体領域を更新する物体領域更新部と、予め定められた収束条件を満たしたと判定されるまで、前記対応付け推定部による前記画像間のピクセルの対応付け及び前記物体領域更新部による前記物体領域の更新を繰り返し行う収束判定部と、を含み、前記対応付け推定部は、各画像を部分領域に分割し、各部分領域について、前記物体領域に含まれるか否かを示すラベルを推定する部分領域分割部と、前記部分領域を用いて、各画像について、各部分領域を表すノード、及びノード間を連結したエッジから成る階層グラフを構築する階層グラフ構築部と、各部分領域から画像特徴量を抽出する特徴抽出部と、前記階層グラフ、前記画像特徴量、及び前記ラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定する最適化部と、を含み、前記最適化部は、対応付けられたノードが表す部分領域間の画像特徴量の類似性と、対応付けられたノードが表す部分領域間のラベル一貫性と、隣接する部分領域間での、対応付けられたノードが表す部分領域間の変位ベクトルのなめらかさと、隣接する部分領域間での、対応付けられたノードが表す部分領域間の階層一貫性を評価する項と、を評価する最適化関数を解くことによって画像間のノードの対応付けを推定する。
【００２３】
本発明の画像対応付けプログラムは、コンピュータに、上記画像対応付け方法の各ステップを実行させるための画像対応付けプログラムである。
【発明の効果】
【００２４】
以上説明したように、本発明の画像対応付け方法、装置、及びプログラムによれば、各画像中の物体領域を精度よく密に対応付けることができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】画像対応付け装置に入力される２つの画像の一例を示す図である。
【図２】画像の対応付けを概念的に示した図である。
【図３】画像に含まれる物体領域を表すバイナリマスクの一例と示す図である。
【図４】本実施の形態に係る画像対応付け装置の機能的な構成例を示すブロック図である。
【図５】本実施の形態に係る対応付け推定部の機能的な構成例を示すブロック図である。
【図６】本実施の形態における画像対応付けルーチンを示すフローチャートである。
【図７】本実施の形態における対応付け推定ルーチンを示すフローチャートである。
【図８】部分領域分割、ラベル推定、及び階層グラフの一例を示す図である。
【図９】部分領域分割、ラベル推定、及び階層グラフの一例を示す図である。
【図１０】従来の画像セグメンテーション技術を用いて画像から物体領域を抽出した場合の一例を示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００２７】
＜発明の概要＞
【００２８】
まず、本発明の実施の形態の概要について説明する。
【００２９】
本実施の形態では、図１に示すように、２枚の画像Ｉ１と画像Ｉ２を入力として、画像Ｉ１に含まれる各ピクセル
【００３０】
【数１】
0006389743.tif 000002
【００３１】
（ｘは座標を表す）について対応付けられる画像Ｉ２中のピクセル
【００３２】
【数２】
0006389743.tif 000003
【００３３】
、及び各画像の物体領域を表したバイナリマスクｂ１とｂ２を出力する。
【００３４】
図２には、画像Ｉ１のピクセルｘと画像Ｉ２のピクセルｘ’との対応付けを概念的に示した図を示した。また、図３には、画像Ｉ１の物体領域を表したバイナリマスクｂ１、画像Ｉ２の物体領域を表したバイナリマスクｂ２の一例を示した。
【００３５】
画像Ｉ１とバイナリマスクｂ１、画像Ｉ２とバイナリマスクｂ２は同じ画像サイズであるが、画像Ｉ１と画像Ｉ２が必ずしも同じ画像サイズである必要はない。ピクセルｘ∈Ｉｉ（ｉ＝１，２）に対応するバイナリマスクの値ｂｉ（ｘ）は、ピクセルｘが物体領域に含まれるときに１、ピクセルｘが物体領域に含まれないときに０をとる。画像Ｉ１に含まれるピクセルｘ∈Ｉ１と、ピクセルｘに対応付けられる画像Ｉ２のピクセルｘ’∈Ｉ２との変位ベクトルを
【００３６】
【数３】
0006389743.tif 000004
【００３７】
とすれば、ピクセルｘ’は、ｘ’＝ｘ＋ｗ（ｘ）として求めることができる。以下では、本実施の形態で得られる対応付けは、画像Ｉ１に含まれる各ピクセルに対する変位ベクトルの集合
【００３８】
【数４】
0006389743.tif 000005
【００３９】
で与えられるものとする。
【００４０】
＜システム構成＞
【００４１】
図４に示すように、本実施の形態に係る画像対応付け装置１０は、物体領域初期化部１２、対応付け推定部１４、物体領域更新部１６、収束判定部１８、及び対応付け出力部２０を備えている。
【００４２】
物体領域初期化部１２は、画像Ｉ１、Ｉ２の物体領域を初期化する。
【００４３】
対応付け推定部１４は、物体領域初期化部１２により初期化された物体領域又は物体領域更新部１６により更新された物体領域に基づいて画像間のピクセルの対応付けを行う。
【００４４】
図５に示すように、対応付け推定部１４は、部分領域分割部２２、階層グラフ構築部２４、特徴抽出部２６、及び最適化部２８を備える。
【００４５】
部分領域分割部２２は、画像Ｉ１、Ｉ２を部分領域に分割し、各部分領域について、物体領域に含まれるか否かを示すラベルを推定する。
【００４６】
階層グラフ構築部２４は、部分領域を用いて画像Ｉ１、Ｉ２について、各部分領域を表すノード、及びノード間を連結したエッジからなる階層グラフを構築する。
【００４７】
特徴抽出部２６は、各部分領域から画像特徴量を抽出する。
【００４８】
最適化部２８は、階層グラフ、画像特徴量、及びラベルを用いて、画像間のノードの対応付けを行い、対応付けられたノード間のピクセルの対応付けを推定する。
【００４９】
物体領域更新部１６は、対応付け推定部１４により推定された対応付けの結果に基づいて各画像の物体領域を更新する。
【００５０】
収束判定部１８は、予め定められた収束条件を満たしたと判定されるまで、対応付け推定部１４による画像間のピクセルの対応付け及び物体領域更新部による各画像の物体領域の更新を繰り返し行う。
【００５１】
対応付け出力部２０は、対応付け推定部１４により推定された対応付け及びバイナリマスクを出力する。
【００５２】
物体領域初期化部１２、対応付け推定部１４、物体領域更新部１６、収束判定部１８、及び対応付け出力部２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、後述する画像対応付けルーチンを実行するための画像対応付けプログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、を備えたコンピュータにより実現される。なお、ＲＯＭに代えて不揮発性メモリを用いてもよい。また、画像対応付け装置１０を構成するコンピュータは、ハードディスクドライブ等の記憶部や通信インタフェース等を備えていてもよい。また、ハードディスクドライブにＣＰＵが実行するプログラムが記憶されていてもよい。ＣＰＵがＲＯＭやハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記ハードウェアとプログラムとを協働させて以下に説明する機能が実現される。
【００５３】
＜画像対応付け装置の作用＞
【００５４】
次に、図６を参照して、本実施の形態に係る画像対応付け装置１０において実行される画像対応付けルーチンについて説明する。
【００５５】
ステップＳ１００では、物体領域初期化部１２が、各画像Ｉｉ（ｉ＝１，２）の物体領域を推定及び初期化する。各画像から物体領域を推定する方法としては、例えば上記非特許文献１等に開示された公知の画像セグメンテーション方法を用いることができる。非特許文献１に開示された方法は、入力として画像中の領域を指定する必要があるため、例えば画像に幅Ｌｂｏｕｎｄａｒｙの枠を設定し、設定した枠内に定義される矩形領域を入力として加える。Ｌｂｏｕｎｄａｒｙはパラメータであり、予め定めた値を設定する。例えばＬｂｏｕｎｄａｒｙ＝１０等のように設定する。この処理によって、物体領域としてのバイナリマスクｂ１、ｂ２がそれぞれ初期化される。
【００５６】
ステップＳ１０２では、対応付け推定部１４が、物体領域としてのバイナリマスクｂ１、ｂ２を用いて、図７に示す画像間の対応付け推定処理を実行する。
【００５７】
図６に示すように、ステップＳ２００では、部分領域分割部２２が、２つの画像Ｉ１、Ｉ２を部分領域に分割し、得られた各部分領域のラベルを推定する。ここで、部分領域のラベルの推定は、図６のステップＳ１００で初期化されたバイナリマスクｂ１、ｂ２又は前回図６のステップＳ１０４の物体領域更新処理を実行したときに更新されたバイナリマスクｂ１、ｂ２、すなわち最新のバイナリマスクｂ１、ｂ２に基づいて推定される。また、部分領域への分割及び各部分領域のラベルの推定は、各画像について部分領域の分割粒度を変えて複数回行う。
【００５８】
部分領域への領域分割及び部分領域のラベル推定は、例えば図８に示すような手順で実行することができる。図８では、画像Ｉｉを格子状に複数粒度Ｌ（図８の例ではＬ＝２）で部分領域に分割し、各部分領域に含まれるピクセルの物体領域ラベルに基づいて部分領域のラベルを推定する。部分領域のラベルを推定する方法としては、例えば部分領域に含まれるピクセルの半数以上が有するラベルを部分領域のラベルとする方法を用いることができる。すなわち、部分領域に含まれるピクセルの半数以上のラベルが物体領域であれば、その部分領域のラベルを物体領域とし、部分領域に含まれるピクセルの半数以上のラベルが背景領域であれば、その部分領域のラベルを背景領域とする。
【００５９】
なお、図９に示すように、最新の物体領域の形状に応じて画像を部分領域に分割してもよい。物体領域の形状に応じて画像を部分領域に分割する第１の方法としては、例えば以下の方法を用いることができる。まず、各画像全体を、例えば参考文献１に開示されたＳＬＩＣのような公知の部分領域分割方法で部分領域に分割する。
【００６０】
（参考文献１）  R. Achanta et. al., SLIC Superpixels Compared to State-of-the-art Superpixel Methods, TPAMI, 6(1), 2011.
【００６１】
次に、得られた各部分領域について、部分領域を構成するピクセルのバイナリマスクの値の一貫性を評価し、一貫性が予め定めた条件を満たさない部分領域については、空間的に隣接し、かつ同じバイナリマスクの値を有する部分領域集合に更に分割する。
【００６２】
また、第２の方法としては、画像領域を、バイナリマスクの値が同じ領域に分割し、分割した各部分領域についてＳＬＩＣ等の公知の技術を用いて部分領域集合を生成し、生成した部分領域を纏めることによって画像全体の部分領域集合を生成してもよい。この処理によって、得られる各部分領域ｖに含まれる全てのピクセルは同じバイナリマスクの値となる。以下ではその値をｂｉ（ｖ）とする。上記の処理で得られた部分領域集合をＶｌとして、ＳＬＩＣのパラメータを変えて部分領域分割をＬ回実行することによって、各画像について部分領域集合群
【００６３】
【数５】
0006389743.tif 000006
【００６４】
を得ることができる。Ｌはパラメータであり予め定めた値、例えばＬ＝３等に設定する。以下では、部分領域の数を
【００６５】
【数６】
0006389743.tif 000007
【００６６】
として、
【００６７】
【数７】
0006389743.tif 000008
【００６８】
が満たされるものとする。
【００６９】
ステップＳ２０２では、階層グラフ構築部２４が、ステップＳ２００の部分領域分割処理で得られた上記数７で示した部分領域集合群に基づいて、各画像について階層グラフ
【００７０】
【数８】
0006389743.tif 000009
【００７１】
を構築する。ここで、階層グラフは、上記数５で示した部分領域集合群に含まれる全ての部分領域を少なくともノードとして含む。また、ノード間の関係性について、同じ分割粒度で分割された部分領域から成る同一の部分領域集合に含まれる部分領域間については空間的に隣接する部分領域間を表すノード間をエッジで接続し、隣接階層の部分領域間については領域を共有する部分領域間を表すノード間をエッジで接続する。すなわち、階層グラフは、エッジ集合群
【００７２】
【数９】
0006389743.tif 000010
【００７３】
を含む。
【００７４】
図８、９に階層グラフの一例を示した。なお、図８、９の階層グラフにおいては、図の見やすさを考慮して一部のノード及びエッジを省略している。
【００７５】
図８、９に示した階層グラフは、Ｌ＝２として、更に最上層（Ｌ＝０）に画像全体をノードとした（Ｌ＋１）層の階層グラフの例である。図８、９に示すように、同一の部分領域集合に含まれる部分領域間、すなわちＶｌに含まれる任意の部分領域ペアについては、部分領域が空間的に隣接している場合にエッジで接続すればよい。また、隣接階層ＶｌとＶｌ＋１の部分領域間については、各部分領域ｖ∈Ｖｌ＋１について、部分領域ｖと最も多くのピクセルを共有する部分領域ｖ’∈Ｖｌについてエッジで接続すればよい。
【００７６】
ステップＳ２０４では、特徴抽出部２６が、各画像について構築された階層グラフＧｉを構成する全てのノード
【００７７】
【数１０】
0006389743.tif 000011
【００７８】
について、画像特徴量ｄｖを抽出する。ノードｖの座標は、例えばノードｖを構成するピクセル集合の重心として定義できる。ここで抽出される各ノードの画像特徴量は、各ノードを構成する部分領域から抽出される局所特徴量に基づいて算出される。
【００７９】
画像特徴量は、例えば以下の方法で抽出することができる。まず、各画像を構成する各ピクセルについて、各ピクセルを中心に定義した領域でＳＩＦＴ記述子を抽出し、これを各ピクセルｘに対応する画像特徴量ｄｘと定義する。階層グラフを構成する各ノードｖの画像特徴量ｄｖは、ノードｖに含まれるピクセルｘ∈ｖの画像特徴量の平均、すなわち
【００８０】
【数１１】
0006389743.tif 000012
【００８１】
として算出する。
【００８２】
ステップＳ２０６では、最適化部２８が、階層グラフ構築処理で得られた各画像に対応する階層グラフＧｉ（ｉ＝１，２）に基づいて定義されるエネルギー関数を最小化、すなわち最適化することにより、画像Ｉ１から画像Ｉ２へのノードの対応付けを推定し、対応付けられたノード間でのピクセルの対応付け、すなわち変位ベクトルの集合Ｗを推定する。ここで、階層グラフ上で定義されるエネルギー関数は、対応付けられたノード間、すなわち部分領域間の画像特徴量の類似性、対応付けられたノードが表す部分領域間のラベル一貫性、隣接する部分領域間での、対応付けられたノードが表す部分領域間の変位ベクトルのなめらかさ、及び隣接する部分領域間での、対応付けられたノードが表す部分領域間の階層一貫性を評価する項と、から構成される。
【００８３】
このようなエネルギー関数Ωは、下記（１）式のように定義することができる。
【００８４】
【数１２】
0006389743.tif 000013
・・・（１）
【００８５】
【数１３】
0006389743.tif 000014
【００８６】
は、階層グラフＧ１を構成する各ノード
【００８７】
【数１４】
0006389743.tif 000015
【００８８】
と、ｖに対応付けられるノード
【００８９】
【数１５】
0006389743.tif 000016
【００９０】
との変位ベクトルの集合であり、
【００９１】
【数１６】
0006389743.tif 000017
【００９２】
は、ｖに対応付けられるノード
【００９３】
【数１７】
0006389743.tif 000018
【００９４】
が階層グラフＧ２において属する階層（ｌ）である。α、βはパラメータであり、予め定めた値を設定する。
【００９５】
上記（１）式の右辺第一項は、画像Ｉ１の物体領域を構成する部分領域に対応するノードｖと対応付けられた上記数１６で示したノードｃ（ｖ）との画像特徴量の類似性及び対応付けられたノード間のラベル一貫性を評価する項であり、Φ（ｖ）は例えば下記（２）式のように定義すればよい。
【００９６】
【数１８】
0006389743.tif 000019
・・・（２）
【００９７】
ここで、λはパラメータであり、予め定めた値を設定する。また、Ｚは巨大な定数値であり、例えばＺ＝１０１０等のように設定する。
【００９８】
上記（１）式の右辺第二項は、階層グラフＧ１を構成し、共に物体領域に含まれるノードペアのうち、隣接するノードｖ、ｖ’間の対応付けベクトルのなめらかさを評価する項であり、例えば下記（３）式のように定義することができる。
【００９９】
【数１９】
0006389743.tif 000020
・・・（３）
【０１００】
ここで、μはパラメータであり、予め定めた値を設定する。
【０１０１】
上記（１）式の右辺第三項は、階層グラフＧ１を構成し、共に物体領域に含まれるノードペアのうち、隣接するノードｖ、ｖ’間の対応付けられた先の部分領域の階層一貫性を評価する項であり、例えば下記（４）式のように定義することができる。
【０１０２】
【数２０】
0006389743.tif 000021
・・・（４）
【０１０３】
上記（１）式は、例えばｌｏｏｐｙ  ｂｅｌｉｅｆ  ｐｒｏｐａｇａｔｉｏｎなどの公知のアルゴリズムを用いて解くことが可能である。これにより、階層グラフＧ１を構成する各ノードに関する対応付け集合
【０１０４】
【数２１】
0006389743.tif 000022
【０１０５】
を求めることができる。上記（１）式を解くことで得られる階層グラフのノードに関する上記数２１で示した対応付け集合から、画像Ｉ１を構成する各ピクセルｘ∈Ｉ１に関する数４で示した対応付け集合Ｗを算出する。対応付け集合Ｗを構成する各対応付けｗ（ｘ）は、例えば、階層グラフＧ１の最下層を構成するノードのうち、ピクセルｘを含むノードｖに対応付けられる階層グラフＧ２を構成するノードをｃ（ｖ）として、
【０１０６】
【数２２】
0006389743.tif 000023
【０１０７】
としてｘ’∈Ｉ２を決定し、ｘとｘ’の変位として求めることができる。
【０１０８】
図５へ戻ってステップＳ１０４では、物体領域更新部１６が、ステップＳ１０２の対応付け処理で得られた画像Ｉ１を構成する各ピクセルｘ∈Ｉ１に関する上記数４で示した対応付け集合Ｗを用いて、物体領域、すなわちバイナリマスクｂ１とｂ２を更新する。ここで、物体領域の更新は、ステップＳ１０２の対応付け処理により得られた対応付けに基づく評価項を含む目的関数を最適化することにより行う。目的関数は、例えば下記（５）式のように定義することができる。
【０１０９】
【数２３】
0006389743.tif 000024
【０１１０】
0006389743.tif 000025
・・・（５）
【０１１１】
上記（５）式の右辺第一項は、各画像の各ピクセルｘ∈Ｉｉのアピアランスモデル
【０１１２】
【数２４】
0006389743.tif 000026
【０１１３】
に対する寄与を評価する項であり、Θｃｏｌｏｒ（ｘ，ｈｉ）は下記（６）式のように定義することができる。
【０１１４】
【数２５】
0006389743.tif 000027
・・・（６）
【０１１５】
ここで、
【０１１６】
【数２６】
0006389743.tif 000028
【０１１７】
は、アピアランスモデル
【０１１８】
【数２７】
0006389743.tif 000029
【０１１９】
に対するピクセルｘの輝度値ｃｘの対数尤度である。上記数２６で示したアピアランスモデルは、更新前のバイナリマスク物体領域ｂｉから得られる背景を構成するピクセル集合及び物体領域を構成するピクセル集合から、例えばＧａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌを用いて構築することができる。
【０１２０】
上記（５）式の右辺第二項は、各画像内で隣接するピクセル間のラベル一貫性を評価する項であり、Θｉｎｔ（ｘ、ｘ’）は下記（７）式のように定義することができる。
【０１２１】
【数２８】
0006389743.tif 000030
・・・（７）
【０１２２】
ここで、λｉｎｔはパラメータ、［］は、［］内の条件が満たされる場合に１、満たされない場合に０をとるインジケータ関数である。
【０１２３】
上記（５）式の右辺第三項は、対応付け集合Ｗで対応付けられる画像間のピクセルペアｘ、ｘ’のラベル一貫性を評価する項であり、Θｅｘｔ（ｘ，ｘ’）は例えば下記（８）式のように定義することができる。
【０１２４】
【数２９】
0006389743.tif 000031
・・・（８）
【０１２５】
上記（５）式は、例えばｌｏｏｐｙ  ｂｅｌｉｅｆ  ｐｒｏｐａｇａｔｉｏｎなどの公知のアルゴリズムを用いて解くことができる。
【０１２６】
ステップＳ１０６では、収束判定部１８が、画像間の物体領域の対応付けの結果が収束条件を満たしたか否かの収束判定を行う。収束条件としては、例えば今回のステップＳ１０２の対応付け推定処理で得られた対応付け集合及び今回のステップＳ１０４の物体領域更新処理で更新された各画像のバイナリマスクの少なくとも１つが、前回のステップＳ１０２の対応付け推定処理で得られた対応付け集合及び前回のステップＳ１０４の物体領域更新処理で更新された各画像のバイナリマスクの少なくとも１つに対して予め定めた割合以上変化していないことを収束条件とすることができる。また、ステップＳ１０２の対応付け推定処理及びステップＳ１０４の物体領域更新処理を予め定めた回数実行したことを収束条件としてもよい。そして、収束条件を満たさない場合はステップＳ１０２へ移行し、最新のバイナリマスクｂ１とバイナリマスクｂ２を用いて対応付け推定処理を実行する。一方、収束条件を満たす場合は、ステップＳ１０８へ移行する。
【０１２７】
ステップＳ１０８では、対応付け出力部２０が、画像Ｉ１を構成する各ピクセルｘ∈Ｉ１に関する上記数４で示した最新の対応付け集合Ｗ及び各画像に対する最新のバイナリマスクｂ１、ｂ２を出力する。
【０１２８】
上記非特許文献１及び非特許文献２記載の技術を組み合わせた場合は、物体領域初期化処理、対応付け推定処理、及び対応付け出力処理を１回実行するだけであるが、本実施の形態では、図６に示すように、ステップＳ１０６で収束条件を満たすと判定されるまでステップＳ１０２の対応付け推定処理及びステップＳ１０４の物体領域更新処理を繰り返す。このため、各画像中の物体領域を精度よく密に対応付けることができる。
【０１２９】
また、本実施の形態では、部分領域分割を複数回実行し階層グラフを構築し、構築した階層グラフと、各部分領域について抽出した画像特徴量とに基づいて画像間の物体領域の対応付けを推定する。このため、物体の位置やサイズに対してロバストに物体領域を対応付けることができる。
【０１３０】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１３１】
また、上述の画像対応付け装置１０は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１３２】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体、例えばＣＤ−ＲＯＭやメモリーカード等に格納して提供することも可能である。
【符号の説明】
【０１３３】
１０   画像対応付け装置
１２   物体領域初期化部
１４   対応付け推定部
１６   物体領域更新部
１８   収束判定部
２０   対応付け出力部
２２   部分領域分割部
２４   階層グラフ構築部
２６   特徴抽出部
２８   最適化部
【図１】
0006389743.tif 000032
【図２】
0006389743.tif 000033
【図３】
0006389743.tif 000034
【図４】
0006389743.tif 000035
【図５】
0006389743.tif 000036
【図６】
0006389743.tif 000037
【図７】
0006389743.tif 000038
【図８】
0006389743.tif 000039
【図９】
0006389743.tif 000040
【図１０】
0006389743.tif 000041