(57)【要約】【課題】画像シーケンスに対するスーパーピクセルを生成する方法及び装置が開示される。【解決手段】セグメンタ（２４）は、画像シーケンスの画像を最初のスーパーピクセルのセットにセグメント化し（１０）、動き分析器（２３）は、その後、静的領域及び非静的領域を判定する（１１）。動き分析器（２３）の出力に基づいて、セグメンタ（２４）は、画像シーケンスの非静的領域に対する更新されたスーパーピクセルを生成し（１２）、画像シーケンスの静的領域に属する最初のスーパーピクセルのセットを維持する（１３）。【選択図】図６
2015100110.tif 000002
【特許請求の範囲】
【請求項１】
画像シーケンスに対するスーパーピクセルを生成する方法であって、
前記画像シーケンスの画像を、最初のスーパーピクセルのセットにセグメント化する（１０）ことと、
前記画像シーケンスの静的領域及び非静的領域を判定する（１１）ことと、
前記画像シーケンスの非静的領域に対する更新されたスーパーピクセルを生成する（１２）ことと、
前記画像シーケンスの静的領域に属する前記最初のスーパーピクセルのセットの前記スーパーピクセルを維持する（１３）ことと、
を含む、前記方法。
【請求項２】
前記画像シーケンス内の前記静的領域及び前記非静的領域は、動きベクトルを使用して決定される（１１）、請求項１に記載の方法。
【請求項３】
前記画像シーケンス内の前記静的領域及び前記非静的領域は、完全な動きベクトルの平均値及び各スーパーピクセル内の完全な動きベクトルの分散を分析することにより、判定される、請求項２に記載の方法。
【請求項４】
前記動きベクトルの平均値が第１のしきい値より小さい場合、かつ前記分散が第２のしきい値より小さい場合に、スーパーピクセルは、不変として設定され、それ以外の場合に、可変として設定される、請求項３に記載の方法。
【請求項５】
前記第１のしきい値は、画像の前記スーパーピクセルの平均サイズから決定される、請求項４に記載の方法。
【請求項６】
動きベクトルフィールドの発散値の方向付けされた平均値が第３のしきい値よりも小さい場合、かつ前記スーパーピクセル内の平均動きベクトルフィールドの回転値が第４のしきい値よりも大きい場合、不変であるとしてマーキングされたスーパーピクセルは、可変に設定される、請求項４又は５に記載の方法。
【請求項７】
前記第１のしきい値は、画像内に現れるすべてのスーパーピクセルを分析することにより決定された平均のスーパーピクセルのサイズから決定される、請求項４に記載の方法。
【請求項８】
静的領域内のスーパーピクセルに隣接する不変のスーパーピクセルは、分析され、可変のスーパーピクセルの数は、前記可変のスーパーピクセル内に発見される動きベクトルに依存して増加される、請求項３ないし５のいずれか１項に記載の方法。
【請求項９】
不変のスーパーピクセルに属するスーパーピクセルシード点のみが凍結し、一方で、セグメンテーションアルゴリズムがすべてのスーパーピクセルに適用される、請求項３ないし５のいずれか１項に記載の方法。
【請求項１０】
スーパーピクセルシード点及び不変のスーパーピクセルのピクセルは凍結し、セグメンテーションアルゴリズムは可変のスーパーピクセルのピクセルのみに適用される、請求項３ないし５のいずれか１項に記載の方法。
【請求項１１】
シーケンス画像に対するスーパーピクセルを生成するように構成された装置（２０）であって、
画像シーケンス内の静的領域及び非静的領域を判定する（１１）ように構成された動き分析器（２３）と、
前記画像シーケンスの画像を最初のスーパーピクセルのセットにセグメント化し（１０）、前記画像シーケンスの非静的領域に対する更新されたスーパーピクセル生成し（１２）、前記画像シーケンスの静的領域に属する前記最初のスーパーピクセルのセットの前記スーパーピクセルを維持する（１３）ように構成されたセグメンタ（２４）と、
を備える、前記装置。
【請求項１２】
画像のシーケンスに対するスーパーピクセルを生成することを可能にする命令が記憶されたコンピュータ可読記憶媒体であって、コンピュータにより実行されると、コンピュータに、
前記画像シーケンスの画像を、最初のスーパーピクセルのセットにセグメント化する（１０）ことと、
前記画像シーケンスの静的領域及び非静的領域を判定する（１１）ことと、
前記画像シーケンスの非静的領域に対する更新されたスーパーピクセルを生成する（１２）ことと、
前記画像シーケンスの静的領域に属する前記最初のスーパーピクセルのセットの前記スーパーピクセルを維持する（１３）ことと、
を実行させることを特徴とする、前記コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スーパーピクセルを生成する方法及び装置に関し、より詳細には、空間的及び時間的に安定したスーパーピクセルを生成する方法及び装置に関する。
【背景技術】
【０００２】
今日、消費者に対し、より豊かなメディア体験を生成及び配信する傾向がある。サンプルベースの方法（映像）又はモデルベースの方法（ＣＧＩ）のいずれかの能力を超えるために、デジタルメディアに対する新しい表現が要求される。そのようなメディア表現の一つは、ＳＣＥＮＥメディア表現（非特許文献１）である。したがって、ツールは、このメディア表現の世代に対して発展する必要があり、このツールは、ＣＧＩとシームレスに結合した３Ｄ映像を取り込むことを提供する。
【０００３】
ＳＣＥＮＥメディア表現は、多次元メディアの生産の全体的な繋がりを向上することにより、直線的又は双方向のいずれかにおいて、２Ｄプラットホーム又は３Ｄプラットホームのいずれかに対して、ＳＣＥＮＥメディアを取り扱うこと及びＳＣＥＮＥメディアを配信することを可能にする。特別な焦点が、空間−時間的に安定したシーン表現にあてられる。プロジェクトはまた、ＳＣＥＮＥ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  Ａｒｃｈｉｔｅｃｔｕｒｅ（ＳＲＡ）の規格化に対する可能性を検討する。
【０００４】
ＳＣＥＮＥメディア表現を構築するのに使用する基本的なツールは、映像上のオーバーセグメンテーションの展開である。例えば、非特許文献２を参照されたい。生成されたセグメントは、スーパーピクセル又はパッチとしても知られているが、より高い抽象化層を表すメタデータを生成するのに役立ち、純粋な物体の検出の域を超えている。スーパーピクセルを生成するのに適用される次の処理ステップは、映像シーン内の物体の表現を可能にし、そのためモデルベースのＣＧＩ表現に密接に結び付けられる。
【０００５】
必要な新しいオーバーセグメンテーションは、空間−時間的に一貫したセグメンテーションである。空間−時間的に一貫したオーバーセグメンテーションの周知の方法は、グラフ−カットモデルに基づいているが、グラフ−カットモデルは、コスト及び時間消費において不利である。例えば、非特許文献３を参照されたい。オーバーセグメンテーションアルゴリズムにおけるより新しい調査は、開始するために十分な候補として、非特許文献２に記載されたＳＬＩＣ（Ｓｉｍｐｌｅ  Ｌｉｎｅａｒ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｃｌｕｓｔｅｒｉｎｇ）アルゴリズムを指示する。ＳＬＩＣアルゴリズムは、信頼性のあるセグメンテーションの結果の利点に、リアルタイムにおいて適用可能なその能力を結合する。単一画像処理に対して、ＳＬＩＣ法がはじめに開発されたため、更に適応する研究が、映画における画像シーケンスに対処するために必要となり、この場合、空間−時間的に安定したスーパーピクセル表現が本質的な要素となる。
【０００６】
周知の解決方法は、空間的−時間的に一貫したスーパーピクセルをＳＬＩＣ方法に提供するための中間フレーム動作情報の使用である。全体の画像シーケンスにわたる同一の位置におけるＳＬＩＣアルゴリズムに対するシード点の永久的な位置決めの代わりに、動き情報を適用すると、シード点をフレームからフレームにおいて推定される動きの軌跡に沿って位置決めすることを可能にする。これは、特許文献１に記載されている。この、シーディング（ｓｅｅｄｉｎｇ）戦略を適用することは、オプチカルフローに続くスーパーピクセルを生成し、シーン内の移動する物体の追跡を可能とし、１又は複数のスーパーピクセルを構成できる。利点は、映画のオブジェクトは、固有のスーパーピクセルが常に割り当てられるということであり、これは、追跡を単純にする。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】欧州特許出願第ＥＰ１３１７１８３２．２号明細書
【非特許文献】
【０００８】
【非特許文献１】SEVENTH FRAMEWORK PROGRAM ”Novel scene representations for richer networked media” intermet, (http://3d-scene.eu) 2011
【非特許文献２】R. Achanta et al.: “SLIC Superpixels Compared to State-of-the Art Superpixel Methods”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.43 (2012), pp.2274-2282
【非特許文献３】Z. Tian et al.: “3D Spatio-temporal consistent Graph Cuts for Video Objects Segmentation”, Proceedings of the International Conference on Image Processing (ICIP) (2011), pp. 2393-2396
【発明の概要】
【０００９】
従って、空間的、時間的に安定したスーパーピクセルを生成する解決方法を提案することは、本発明の目的である。
【００１０】
本発明によれば、画像シーケンスに対するスーパーピクセルを生成する方法は、
−シーケンスの画像を最初のスーパーピクセルのセットにセグメント化することと、
−画像シーケンス内の静的領域及び非静的領域を判定することと、
−画像シーケンスの非静的領域に対して、更新されたスーパーピクセルを生成することと、
−画像シーケンスの静的領域に属する最初のスーパーピクセルのセットのスーパーピクセルを維持することと、
を含む。
【００１１】
従って、装置が、画像シーケンスに対するスーパーピクセルを生成するように構成され、その装置は、
−画像シーケンス内の静的領域及び非静的領域を判定するように構成された動き分析器と、
−画像シーケンスの画像を最初のスーパーピクセルのセットにセグメント化し、画像シーケンスの非静的領域に対する更新されたスーパーピクセル生成し、画像シーケンスの静的領域に属する最初のスーパーピクセルのセットのスーパーピクセルを維持するように構成されたセグメンタと、
を備える。
【００１２】
同様に、コンピュータ可読媒体は、画像のシーケンスに対するスーパーピクセルを生成することを可能にする、記憶された命令を有し、コンピュータ可読媒体は、コンピュータにより実行されると、コンピュータに、
−画像シーケンスの画像を、最初のスーパーピクセルのセットにセグメント化することと、
−画像シーケンス内の静的領域及び非静的領域を判定することと、
−画像シーケンスの非静的領域に対する更新されたスーパーピクセルを生成することと、
−画像シーケンスの静的領域に属する最初のスーパーピクセルの組のスーパーピクセルを維持することと、
を実行させる。
【００１３】
セグメンテーションアルゴリズムを静的であるとして検出された画像領域内に凍結することを提案する。非静的領域は、すでに述べたように、移動している物体に属するスーパーピクセルを追跡するためにセグメント化される。この結果、静的シーン領域に属するスーパーピクセルの位置及び形状が凍結する。より詳細には、シード点位置が静的画像領域について変化することを防止できる。このようにして、静的シーン領域に属する移動しないスーパーピクセルセグメントは、安定し、抽象化層の活用が、生成されたＣＧＩをカメラにより生成された映像コンポーネントと結合することにより、ＶＦＸ（視覚的効果）のようなアプリケーションに対して改善される。
【００１４】
上述の周知の解決方法により、ＳＬＩＣシード点の位置は、動き推定におけるノイズエラーのために永久的に変更され、静的画像領域の範囲内で、スーパーピクセルの擬似的な動きを生じさせる。これは抽象化層のモデルを破壊し、スーパーピクセルがシーン内の物体に割り当てられることが仮定される。したがって、物体が動かない場合、割り当てられたスーパーピクセルもまた動かない。加えて、永久シード点の変更のさらなる望ましくない影響が、スーパーピクセルの形状の確実な変形である。これは、時折形状の変化を生じる事もあり、物体を認識することが不可能になり、スーパーピクセル及びシーン物体の解離を引き起こす。スーパーピクセルの擬似的な動き及び形状の変化は、抽象化層の下層モデルを乱す。
【００１５】
この、提案された解決は、上述の影響を除去する、又は少なくとも軽減する。したがって、一般的に、デジタルメディアを表す新しいＳＣＥＮＥメディアの抽象化層を表現するオーバーセグメンテーションの結果を改善する。スーパーピクセルをシーン物体に割り当てることにより、より信頼性が上昇し、シーン内の移動物体及び静止物体の正確な区別が可能となる。より正確なスーパーピクセルセグメンテーションを開発することは、物体の追跡及びＶＦＸアプリケーションに対するより高い品質を生じる。
【００１６】
よりよい理解のために、本発明は、図面を参照して以下の発明の詳細な説明においてここでより詳細に説明される。本発明は、この例示的な実施例に限定されず、便宜上、特定された機能を、添付の特許請求の範囲において定義された本発明の範囲から逸脱することなしに結合及び／又は修正することができる。
【図面の簡単な説明】
【００１７】
【図１】静的背景のみを含む画像シーケンスに対するセグメンテーションの結果を示す図である。
【図２】図１のハイライトされた領域を示す拡大図である。
【図３】静的領域と動的領域とを含む画像シーケンスに対するセグメンテーションの結果を示す図である。
【図４】図３（ｃ）のスーパーピクセルマップの重ねあわせを示す図である。
【図５】静的領域と動的領域とを含む画像シーケンスに対する可変なスーパーピクセルの決定を示す図である。
【図６】本発明に従って、スーパーピクセルを生成する方法を概略的に示す図である。
【図７】本発明に従って、スーパーピクセルを生成する方法を実装するのに適合する装置の例を示す図である。
【発明を実施するための形態】
【００１８】
提案の解決方法は、動的領域と静的領域とを区別する間に、時間的に一貫したＳＬＩＣ（Ｓｉｍｐｌｅ  Ｌｉｎｅａｒ  Ｉｔｅｒａｔｉｖｅ  Ｃｌｕｓｔｅｒｉｎｇ）、又はオーバーセグメンテーションアルゴリズムに基づく他のクラスタリングを適用する。
【００１９】
まず、以下において、動的領域と静的領域とを区別することなしに実行するクラスタリングに基づくオーバーセグメンテーションアルゴリズムに対する動作モードが簡潔に表現される。クラスタリングに基づくセグメンテーションは、画像内の単一シード点ピクセルにより開始し、スーパーピクセルを形成することにより同一のピクセル及び隣接するピクセルのクラスターを繰り返し形成する。最終的に、スーパーピクセルのマップが画像を覆う。空間的−時間的に一貫したオーバーセグメンテーションに使用される第２の要素は、動き情報に組み込まれる。後続の画像内のシード点の位置決めは、一定に保持されることなく、画像シーケンス内の古い画像から新しい画像へ計算された動きベクトルを利用することにより修正される。後続のシード点は、新しい画像内に推定された動きベクトルに従うことにより設定される。これは移動する物体の追跡を可能にし、実際にオーバーセグメンテーションの空間的−時間的な特徴を提供する。
【００２０】
図１及び図３は、３つの画像の画像シーケンスに対するセグメンテーションの結果を示す。行ａ、ｂ及びｃは、それぞれ、最初の画像、スーパーピクセルのオーバーレイ、及びスーパーピクセル単独を示している。図１は、静的背景のみを含む画像シーケンスを示す一方で、図３は、静的領域及び動的領域を含むシーケンスを示す。
【００２１】
上述の解決方法は、抽象化層の下層モデルの変更を生成することがある。図２は、図１ｂ）及び図１ｃ）のハイライト領域の拡大された表示を示す。図に示すように、修正されていないアルゴリズムの適用は、静止画背景内に配置されたスーパーピクセルを生成する形状の変動を生ずる。シード点の位置の±１ピクセルの小さな変化は、結果的にスーパーピクセルの形状を大きく変化させる。
【００２２】
図４は、修正されないアルゴリズムにより生じるスーパーピクセルに対する擬似的な動きの影響を実証している。この図において、図３ｃ）から得られた３つのスーパーピクセルマップが重ねられる。灰色に色づけされたスーパーピクセルは、動いているビリヤードの玉を覆う一方で、残りのスーパーピクセルは静的背景に属する。図に示すように、背景内のスーパーピクセルは動いており、移動している物体のスーパーピクセルにより引き付けられる、又は引っ張られるように見える。
【００２３】
上述の問題に対処するため、空間的−時間的オーバーセグメンテーションアルゴリズムが修正される。この目的のため、フレームからフレームへの動きベクトル推定に基づいて、マスクが生成される。マスクは、可変及び不変のスーパーピクセルを含む画像を表す。マスク内において可変であるとしてマーキングされたシード点の位置は、結果の動きベクトルに応じて修正される。マスク内において不変であるとしてマーキングされたシード点の位置は、凍結され、これらの位置は、新しいスーパーピクセルの計算に対して修正されない。
【００２４】
マスクを生成するために、静的領域及び非静的領域は、スーパーピクセルｉの各々の内の完全な動きベクトルの平均値
【００２５】
【数１】
2015100110.tif 000003
【００２６】
及びそれらの分散
【００２７】
【数２】
2015100110.tif 000004
【００２８】
を分析し、結果の平均値
【００２９】
【数３】
2015100110.tif 000005
【００３０】
を、しきい値α１と比較し、分散
【００３１】
【数４】
2015100110.tif 000006
【００３２】
を、しきい値α２と比較し、
【００３３】
【数５】
2015100110.tif 000007
【００３４】
かつ
【００３５】
【数６】
2015100110.tif 000008
【００３６】
である場合にスーパーピクセルが不変であると設定し、
【００３７】
【数７】
2015100110.tif 000009
【００３８】
又は
【００３９】
【数８】
2015100110.tif 000010
【００４０】
のどちらかである場合にスーパーピクセルが可変であると設定することにより判定される。分散の計測は、スーパーピクセル内の動きベクトルの信頼性について、信頼表示としての機能を果たし、物体の境界並びに／又は塞がれている画像領域および塞がれていない画像領域を覆うことができる。
【００４１】
上述の方法は、静止画像領域及び非静止画像領域の判定に関して更に洗練される。この目的を達成するために、加えてスーパーピクセルｉそれぞれの内の動きベクトルフィールドの発散値の方向付けされた平均値
【００４２】
【数９】
2015100110.tif 000011
【００４３】
および動きベクトルフィールド回転値の方向付けされた平均値
【００４４】
【数１０】
2015100110.tif 000012
【００４５】
が分析される。以前の方法により不変であるとしてマーキングされたスーパーピクセル領域は、
【００４６】
【数１１】
2015100110.tif 000013
【００４７】
及び
【００４８】
【数１２】
2015100110.tif 000014
【００４９】
である場合に、その後、可変に切り替えられる。両方の基準、すなわちしきい値β1に対する不足及びしきい値β2に対する超過は、それぞれ、カメラ画像の平面と直角に動くシーン物体により生成された動きベクトルフィールド内の渦なしシンク又はソースを示す。
【００５０】
しきい値α1は、フレーム内に現れたすべてのスーパーピクセルを分析すること、及びそれらのスーパーピクセルのサイズを平均することにより、有利に判定され、ピクセル内の平均ピクセル数ＡＰＣを提供する。これから、円形の形状又は長方形の形状のいずれかを仮定して、仮想のスーパーピクセルが決定される。しきい値α1は、円形の形状に対する
【００５１】
【数１３】
2015100110.tif 000015
【００５２】
及び、長方形に対する
【００５３】
【数１４】
2015100110.tif 000016
【００５４】
により、その後生成され、ここで
【００５５】
【数１５】
2015100110.tif 000017
【００５６】
は、画像内の静的スーパーピクセル領域と非静的スーパーピクセル領域との間の選択の調整に使用される。
【００５７】
好ましくは、静的スーパーピクセル領域に隣接する不変のスーパーピクセルは、分析され、可変スーパーピクセル内に発見される動きベクトルに依存して、可変マスクは拡大し、すなわち可変スーパーピクセルの数は増大する。これは、例えば、方向付けのない、平均動きベクトルの大きさ
【００５８】
【数１６】
2015100110.tif 000018
【００５９】
及びスーパーピクセル領域、すなわちピクセル数に依存する、第１の、又はより上位の隣接するスーパーピクセルセグメントを修正することにより、実行される。
【００６０】
あるいは、又は加えて、可変に設定される不変の隣接の範囲は、方向付けされた平均動きベクトルの値
【００６１】
【数１７】
2015100110.tif 000019
【００６２】
を分析することにより、塞がれる領域及び塞がれない領域について修正される。可変に設定される隣接するスーパーピクセルセグメントは、
【００６３】
【数１８】
2015100110.tif 000020
【００６４】
の動きの方向と直角に配置された場合に、密接することになる。可変スーパーピクセルセグメントは、スーパーピクセルの拡張、すなわち個別のピクセル数に関するスーパーピクセルの動き
【００６５】
【数１９】
2015100110.tif 000021
【００６６】
の方向に配置された場合、拡大される。
【００６７】
好ましくは、不変のスーパーピクセルのマスクに属するスーパーピクセルシード点のみが凍結するが、一方でそれにもかかわらずセグメンテーションアルゴリズムがすべてのピクセルに適用される。
【００６８】
あるいは、不変のスーパーピクセルに関連するスーパーピクセルシード点及びピクセルが凍結し、セグメンテーションアルゴリズムが可変のスーパーピクセルのみに関連するピクセルに適用される。
【００６９】
さらなる方法に従って、上述の２つの解決方法が結合できる。塞がれた画像領域又は塞がれていない画像領域に配置されたスーパーピクセルに対するこの目的のために、不変のスーパーピクセルマスクに属するスーパーピクセルシード点のみが凍結するが、一方でそれにもかかわらずセグメンテーションアルゴリズムがすべてのスーパーピクセルに適用される。静止画像領域に対して、不変であるとしてマスクされたスーパーピクセルシード点及びスーパーピクセル領域のピクセルは凍結し、セグメンテーションアルゴリズムは可変ピクセルのみに適用される。
【００７０】
画像シーケンスに対するスーパーピクセルを生成するための本発明に従う方法は、概略的に図６に示されている。第１のステップにおいて、画像シーケンスの画像が、最初のスーパーピクセルのセットにセグメント化される（１０）。次に、画像シーケンス内の静的領域及び非静的領域が判定される（１１）。その後に、画像シーケンスの非静的領域に対して、更新されたスーパーピクセルが生成され（１２）、一方で、画像シーケンスの静的領域に属する最初のスーパーピクセルのセットのスーパーピクセルは、維持される（１３）。
【００７１】
図７は、画像シーケンスに対するスーパーピクセルを生成するための本発明に従う解決方法を実装するのに適用される装置２０を概略的に説明する図である。装置２０は、画像シーケンスを、例えばネットワーク又はローカルストレージ２２から受信するための入力部２１を有する。セグメンタ２４は、画像シーケンスの画像を最初のスーパーピクセルのセットにセグメント化する（１０）。動き分析器２３は、画像シーケンス内の静的領域及び非静的領域を判定する（１１）。動き分析器２３の出力部に基づいて、セグメンタ２４は画像シーケンスの非静的領域に対する更新されたスーパーピクセルを生成し（１２）、画像シーケンスの静的領域に属する最初のスーパーピクセルのセットのスーパーピクセルを維持する（１３）。もちろん、スーパーピクセルの最初のセットは、異なるソース、例えば追加のセグメンターから同様に抽出される。結果的に生成されるスーパーピクセルは、好ましくは出力部２５を介して更に処理することが可能となる。もちろん、異なるユニット２３及び２４は、同様に全体的又は部分的に単一のユニットと結合される、又はプロセッサ上で実行されるソフトウェアとして実装される。加えて、入力部２１及び出力部２５は、同様に、単一の双方向のインターフェースと結合されるか、又は部分的に結合される。
【図１】
2015100110.tif 000022
【図２】
2015100110.tif 000023
【図３】
2015100110.tif 000024
【図４】
2015100110.tif 000025
【図５】
2015100110.tif 000026
【図６】
2015100110.tif 000027
【図７】
2015100110.tif 000028
【外国語明細書】
2015100110000001.pdf