(57)【要約】  イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する方法及び装置（２０）が説明される。装置（２０）は、現在のイメージの特徴を決定する（１０）特徴検出器（２３）を含む。特徴追跡器（２４）は、次に、前のイメージに決定された特徴を遡って追跡する（１１）。追跡された特徴に基づいて、変換器（２５）は、前のイメージに関連するスーパーピクセルラベルマップを現在のイメージに対する初期スーパーピクセルラベルマップに変換する（１２）。
2018507477.tif 000002
【特許請求の範囲】
【請求項１】
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する方法であって、
前記現在のイメージにおける特徴を決定すること（１０）と、
前のイメージに前記決定した特徴を遡って追跡すること（１１）と、
前記追跡された特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージに対する初期スーパーピクセルラベルマップへ変換すること（１２）と、
を含む、方法。
【請求項２】
前記決定した特徴から、前記現在のイメージ及び前記前のイメージに対する三角形から構成されるメッシュを生成することをさらに含む、請求項１に記載の方法。
【請求項３】
前記現在のイメージ中の各三角形に対して、前記三角形を前記前のイメージ中の対応する三角形に変換するためのアフィン変換の変換行列を決定することをさらに含む、請求項２に記載の方法。
【請求項４】
前記現在のイメージ中の各ピクセルの座標を、前記決定された変換行列を使用して、前記前のイメージ中の変換された座標に変換することをさらに含む、請求項３に記載の方法。
【請求項５】
前記対応する変換されたピクセル位置で前記前のイメージに関連する前記ラベルマップのラベルを有する各ピクセル位置で前記現在のイメージに対する前記スーパーピクセルラベルマップを初期化することをさらに含む、請求項４に記載の方法。
【請求項６】
前記変換された座標を最も近い有効なピクセル位置にクリッピングすることをさらに含む、請求項４又は５に記載の方法。
【請求項７】
前記現在のイメージ及び前記前のイメージの各コーナーと各境界線の中央で特徴を追加することをさらに含む、請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
前記初期スーパーピクセルラベルマップ中のスーパーピクセルの主な集団から分離されたピクセルを隣接するスーパーピクセルに割り当てることをさらに含む、請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する命令をその中に記憶するコンピュータ読取可能記憶媒体であって、前記命令がコンピュータによって実行されたとき、前記コンピュータに、
前記現在のイメージにおける特徴を決定すること（１０）と、
前記決定した特徴を前のイメージに遡って追跡すること（１１）と、
前記追跡された特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージに対する初期スーパーピクセルラベルマップに変換すること（１２）と、
を実行させる、コンピュータ読取可能記憶媒体。
【請求項１０】
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する装置（２０）であって、
前記現在のイメージにおける特徴を決定する（１０）ように構成される特徴検出器（２３）と、
前記決定された特徴を前のイメージに遡って追跡する（１１）ように構成される特徴追跡器（２４）と
前記追跡された特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージに対する初期スーパーピクセルラベルマップに変換する（１２）ように構成される変換器（２５）と、
を含む、装置。
【請求項１１】
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する装置（３０）であって、前記装置（３０）は、処理デバイス（３１）及びその中に命令を有するメモリデバイス（３２）を備え、
前記命令は、前記処理デバイス（３１）によって実行されたときに、前記装置（３０）に、
前記現在のイメージにおける特徴を決定すること（１０）と、
前記決定された特徴を前のイメージに遡って追跡すること（１１）と、
前記追跡される特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージ対する初期スーパーピクセルラベルマップに変換すること（１２）と、
を実行させる、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本原理は、イメージシーケンス（image  sequence：画像シーケンス）から現在のイメージ（current  image）に対する初期スーパーピクセルラベルマップ（initial  superpixel  label  map）を生成する方法及び装置に関連する。特に、本原理は、高速ラベル伝搬スキーム（fast  label  propagation  scheme）を使用してイメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する方法及び装置に関連する。
【背景技術】
【０００２】
スーパーピクセルアルゴリズム（superpixel  algorithms）は、コンピュータビジョンアプリケーション（セグメンテーション（segmentation）、イメージパーシング（image  parsing）、クラシフィケーション（classification：分類）など）の広い範囲に対して非常に有益で、増々評判が良いプリプロセッシングステップを代表する。いわゆるスーパーピクセルに類似のピクセルをグループ化することは、例えばイメージの完全な記述を許可する特徴などのイメージプリミティブ（image  primitives）の大幅な削減に導き、後続の処理ステップに対する増大した計算効率という結果になるか、又はピクセルレベルで計算的に不可能であるより複雑なアルゴリズムを許可し、そして、領域ベース特徴（region-based  features）に対する空間的サポートを創出する。
【０００３】
スーパーピクセルアルゴリズムは、ピクセルをスーパーピクセルにグループ化し、それは、「ローカルで、コヒーレントで、且つ興味のある尺度でのセグメンテーションに対して必要なほとんどの構造を保存する」［１］（非特許文献１参照）。スーパーピクセルは、「サイズ及び形において概略で均質（roughly  homogeneous）」である［１］（非特許文献１参照）。
【０００４】
ビデオコンテンツに対する多くの最近のスーパーピクセルアルゴリズムは、１つのフレームから次のフレームへのセグメンテーションの結果を伝搬する密オプティカルフローベクタ（dense  optical  flow  vectors）に依存する。オーバーセグメンテーション品質上のオプティカルフロー品質の影響のアセスメントは、大きなオブジェクトの置換及びカメラモーションと共にビデオに対して必須であることを示す。しかしながら、高品質の計算の高い計算コストにより、密オプティカルフローは、リアルタイムアプリケーションに対しては適切ではない。
【発明の概要】
【０００５】
本願は、イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成するための改良された解決策を提案することを目的とする。
【０００６】
本原理の１つの態様によると、イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する方法は、
現在のイメージにおける特徴を決定することと、
前のイメージに決定した特徴を遡って追跡することと、
追跡された特徴に基づいて、前のイメージに関連するスーパーピクセルラベルマップを現在のイメージに対する初期スーパーピクセルラベルマップへ変換することと、
を含む。
【０００７】
それに応じて、イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する命令をその中に記憶するコンピュータ読取可能記憶媒体であって、命令がコンピュータによって実行されたとき、コンピュータに、
現在のイメージにおける特徴を決定することと、
決定した特徴を前のイメージに遡って追跡することと、
追跡された特徴に基づいて、前のイメージに関連するスーパーピクセルラベルマップを現在のイメージに対する初期スーパーピクセルラベルマップに変換することと、
を実行させる。
【０００８】
コンピュータ読取可能記憶媒体は、非一時的な揮発性又は不揮発性の記憶媒体であり、例えば、ハードディスク、光学又は磁気のディスク又はテープ、半導体メモリデバイスなどである。記憶媒体は、それ故に、本明細書で説明したプログラムステップを実行するコンピュータ又は処理デバイスによって実行可能な命令のプログラムを有形的に具体化する。
【０００９】
また、１つの実施形態において、イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する装置であって、
現在のイメージにおける特徴を決定するように構成される特徴検出器と、
決定された特徴を前のイメージに遡って追跡するように構成される特徴追跡器と、
追跡された特徴に基づいて、前のイメージに関連するスーパーピクセルラベルマップを現在のイメージに対する初期スーパーピクセルラベルマップに変換するように構成される変換器と
を含む、装置。
【００１０】
別の実施形態において、イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する装置であって、装置は、処理デバイス及びその中に命令を有するメモリデバイスを備え、命令は、処理デバイスによって実行されたときに、装置に、
現在のイメージにおける特徴を決定することと、
決定された特徴を前のイメージに遡って追跡することと、
追跡される特徴に基づいて、前のイメージに関連するスーパーピクセルラベルマップを現在のイメージ対する初期スーパーピクセルラベルマップに変換することと、
を実行させる。
【００１１】
スーパーピクセルラベルマップを変換するために、決定された特徴から現在のイメージ（current  image）及び前のイメージ（previous  image）に対して、三角形からなるメッシュが生成される。現在のイメージのメッシュは、次に、前のイメージのメッシュに遡ってワープされる（warped  backward）。この目的を達成するために、現在のイメージ中の各三角形に対して、前のイメージ中の対応する三角形に三角形を変換するためのアフィン変換の変換行列が決定される。決定された変換行列を使用して、現在のイメージにおける各ピクセルの座標（coordinates）が、前のイメージにおける変換された座標に変換される。現在のイメージに対するスーパーピクセルラベルマップは、次に、対応する変換されたピクセル位置で前のイメージに関連するラベルマップのラベルを有する各ピクセル位置で初期化される。
【００１２】
提案する解決策は、疎特徴追跡（sparse  feature  tracking）及びメッシュベースイメージワーピング（mesh-based  image  warping）に基づいた高速ラベル伝搬スキームを活用する。このアプローチは、処理コストの大幅な削減により、伝搬プロセスを著しく高速化する。同時に、最終的なスーパーピクセルセグメンテーション品質は、高品質の密オプティカルフローを使用したアプローチと同等である。
【００１３】
１つの実施形態において、変換された座標は、最も近い有効なピクセル位置にクリップ留めされる（clipped  to）。このようにして、現在のイメージに対するスーパーピクセルラベルマップにおける各ピクセル位置に対して、前のイメージに関連するラベルマップから割り当てられるラベルは一義的であることを保証する。
【００１４】
１つの実施形態において、現在のイメージ及び前のイメージの各コーナー（corner）と各境界線（border：境界）の中心（center）で特徴（features）が追加される。このことは、各ピクセルが三角形によってカバーされることを保証する。
【００１５】
１つの実施形態において、初期スーパーピクセルラベルマップにおけるスーパーピクセルの主な集団（main  mass）から分離されたピクセルは、隣接したスーパーピクセルに割り当てられる。このことは、スーパーピクセルの空間的なコヒーレンス（spatial  coherency）を保証する。
【００１６】
説明されるアプローチは、時間的イメージシーケンスのみに適用されるのではない。それは同様に多視点イメージ（multiview  image）の個々のイメージや多視点イメージのシーケンスにさえも適用できる。
【図面の簡単な説明】
【００１７】
【図１ａ】図１ｂと共に、２つのオリジナルのトリミングされたフレーム（cropped  frame）ｋ及びフレームｋ＋１を示す。
【図１ｂ】図１ａと共に、２つのオリジナルのトリミングされたフレームｋ及びフレームｋ＋１を示す。
【図２ａ】図２ｂと共に、フレームｋ＋１において発見され及びフレームｋで遡って追跡された疎特徴を示す。
【図２ｂ】図２ａと共に、フレームｋ＋１において発見され及びフレームｋで遡って追跡された疎特徴を示す。
【図３ａ】図３ｂと共に、特徴点の三角形分割から得られ、追跡された特徴の動きによって変形されたメッシュを図示する。
【図３ｂ】図３ａと共に、特徴点の三角形分割から得られ、追跡された特徴の動きによって変形されたメッシュを図示する。
【図４ａ】図４ｂと共に、フレームｋ＋１に対する初期化のためのメッシュの変形によるアフィン変換によるフレームｋのスーパーピクセルラベルマップのワーピングを説明する。
【図４ｂ】図４ａと共に、フレームｋ＋１に対する初期化のためのメッシュの変形によるアフィン変換によるフレームｋのスーパーピクセルラベルマップのワーピングを説明する。
【図５】フレームｋからフレームｋ＋１への三角形によってカバーされるラベル情報のワーピングを説明する。
【図６】フレーム毎のセグメンテーション品質の測定として２Ｄ境界再現率を示す。
【図７】スーパーボクセルの数にわたってプロットされた３Ｄアンダーセグメンテーションエラーを図示する。
【図８】フレーム毎のスーパーピクセルの数にわたる３Ｄアンダーセグメンテーションエラーを示す。
【図９】フレーム毎のスーパーピクセルの数にわたる平均時間的長さを図示する。
【図１０】イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成するための方法の実施形態を図式的に説明する。
【図１１】本原理によるイメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成するための装置の１実施形態を図式的に説明する。
【図１２】本原理によるイメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成するための装置の別の実施形態を図式的に説明する。
【発明を実施するための形態】
【００１８】
より良い理解のために、いくつかの実施形態の原理が、図面を参照して以下の説明においてより詳細にこれから説明される。提案される解決策は、これらの例となる実施形態に制限されず、特定の構成要件は添付請求項で規定されるように本原理の範囲から逸脱することなく便宜上、組み合わされ及び／又は変更することもできることが理解される。
【００１９】
図１ａ）に示されたサンプルビデオフレームｋと図１ｂ）に示されたサンプルビデオフレームｋ＋１の２つに対して、高速ラベル伝搬に対する現在のアプローチが、図１から図４で可視化されている。図１においてオリジナルのフレームはトリミングされている（cropped）。時間的イメージシーケンスについては、フレームｋとフレームｋ＋１は、時間的に一連のフレーム（successive  frames）であるが、直接連続するフレームである必要はない。多視点イメージについては、フレームｋとフレームｋ＋１は、空間的に近くのフレームであるが、直接隣のフレームである必要はない。例えば、［３］（非特許文献３）と［４］（非特許文献４）で行われているような密オプティカルフローを計算する代わりに、疎特徴（sparse  features）のセットのみが、現在のフレームｋと次のフレームｋ＋１との間で追跡され、それらのスーパーピクセルラベルマップは、初期化される必要がある。例えば、ハリスのコーナー検出法（Harris  corner  detector）を使って、フレームｋ＋１に対する特徴が計算される。１つの実施形態において、［５］（非特許文献５）において説明される方法は、いわゆる「良い（good）」特徴を選択するように使用される。例えば、カナデ・ルーカス・トマシ（ＫＬＴ：Kanade-Lucas-Tomasi）特徴追跡器を使用してフレームｋにこれらの特徴を遡って追跡する。図２ｂ）において表現されるフレームｋ＋１に発見され疎特徴、及び図２ａ）において表現されるフレームｋへ遡って追跡される疎特徴を、図２は示す。［２］（非特許文献２）で提案されるようなクラスターフィルタは、潜在的な飛び地（potential  outliers）を取り除く。ドロネー三角形分割（Delaunay  triangulation）を使用して、例えば、図３ｂ）に説明されるようにフレームｋ＋１の特徴からメッシュが生成される。その後、ＫＬＴ特徴トラッカによって提供される情報を使用して、図３ａ）に示されるようにフレームｋのスーパーピクセルラベルマップへ、メッシュがワープされる（過去に遡って（backward））。各三角形において区分的に平らな表面（a  piece-wise  planar  surface）の仮定の下で、アフィン変換（変換行列が
【数１】
2018507477.tif 000003
である）を使用して、図５に見られるように、フレームｋからフレームｋ＋１へ各三角形の内側のラベルをワープする（将来に（forward））。フレームｋ＋１とフレームｋとの間の各三角形ｉに対する同次座標（homogeneous  coordinates）における変換行列
【数２】
2018507477.tif 000004
は、三角形の３つの追跡された特徴点を使用して決定される：
【数３】
2018507477.tif 000005
【００２０】
行列要素ｔ１，ｉからｔ４，ｉは、回転（rotation：ローテーション）、シャーリング（shearing）及びスケーリング（scaling）を決定し、一方、要素ｔ５，１からｔ６，１は、変換を決定する。三角形のこの変換行列を使用して、フレームｋ＋１における各ピクセル
【数４】
2018507477.tif 000006
の同次座標は、フレームｋの座標
【数５】
2018507477.tif 000007
に変換することができる：
【数６】
2018507477.tif 000008
【００２１】
座標は、最も近い有効なピクセル位置へクリップされる。図４ａ）に示される、フレームｋのスーパーピクセルラベルマップにおいてラベルを検索する（lookup）ためにこれらは使用される。フレームｋ＋１に対して生成されたラベルマップは、図４ｂ）に図示される。各ピクセルが三角形でカバーされていることを確実にするために、フレームの４つのコーナー及び各フレーム境界（frame  border）の中央での特徴が挿入され、追跡される。
【００２２】
ときどき、ワープの後で、いくつかのピクセルは、変換のためにスーパーピクセルの主な集団（main  mass）から分離される。スーパーピクセルの空間的コヒーレンスを確保するために、そのような破片（fractions）は、特定され、直接隣接したスーパーピクセルに割り当てられる。密オプティカルフローが使用される場合にもこのステップが必要であるので、追加の計算オーバーヘッドを生じさせない。
【００２３】
提案するアプローチのパフォーマンスを分析するために、いくつかのベンチマーク測定が実行された。その結果が、図６から図９に示されている。図６は、フレーム毎のセグメンテーション品質の測定として、２Ｄ（二次元）境界再現率（boundary  recall）を示す。図７は、スーパーボクセルの数にわたりプロットされた３Ｄ（三次元）アンダーセグメンテーションエラーを図示する。図８は、フレーム毎のスーパーピクセルの数にわたる３Ｄアンダーセグメンテーションエラーを図示する。最後に、図９は、フレーム毎のスーパーピクセルの数にわたる平均時間的長さ（average  temporal  length）を図示する。比較のため、下記のアプローチが含まれている：
・ストリームＧＢＨ（StreamGBH、グラフベースストリーミング階層化ビデオセグメンテーション）スーパーボクセルアルゴリズム［６］（非特許文献６）のクラスの代表として。
・ＴＳＰ（時間的スーパーピクセル）の４つのバージョン：オリジナルバージョン［３］（非特許文献３）、密オプティカルフローとしてのホーン＆シュンク（Ｈｏｒｎ＆Ｓｃｈｕｎｃｋ）［８］（非特許文献８）を持つバージョン（ｗ／ＨＳ）、オプティカルフローを持たないバージョン（ｗ／ｏ  ｏｐｔｉｃａｌ  ｆｌｏｗ）、及び本明細書で提案されるアプローチバージョン（メッシュ有り（ｗ／ｍｅｓｈ））；
・ＴＣＳ（時間的にコンシステントなスーパーピクセル）の４つのバージョン：オリジナルバージョン［４］（非特許文献４）、密オプティカルフローとしてのホーン＆シュンク（Ｈｏｒｎ＆Ｓｃｈｕｎｃｋ）を持つバージョン（ｗ／ＨＳ）、オプティカルフローを持たないバージョン（ｗ／ｏ  ｏｐｔｉｃａｌ  ｆｌｏｗ）、及び本明細書で提案するアプローチバージョン（メッシュ有り（ｗ／ｍｅｓｈ））；
・オンラインビデオシード（ＯｎｌｉｎｅＶｉｄｅｏＳｅｅｄｓ）、オプティカルフロー情報を使用しない最先端の方法として［７］（非特許文献７）。
【００２４】
図面から、提案されるメッシュベース伝搬方法は、平均時間的長さが僅かに減少するのみの間、同等のセグメンテーションエラーを生成する。２Ｄ境界再現性がメッシュを有するＴＳＰアプローチに対して同じに留まる間、メッシュを有するＴＣＳアプローチに対してさらに改善される。
【００２５】
計算コストの観点におけるランタイムパフォーマンスの改善を評価するために、密オプティカルフローベースラベル伝搬及びメッシュベース伝搬の平均ランタイムが評価される。その結果、ＴＳＰ及びＴＣＳのオリジナルバージョンやホーン＆シュンク（Ｈｏｒｎ＆Ｓｃｈｕｎｃｋ）実装において使用されているラベル伝搬法は、リファレンスとして使用される。パフォーマンスベンチマークは、３２ＧＢのＲＡＭを実装したインテルｉ７−３７７０Ｋ  ３．５０ＧＨｚ上で実行された。その結果が、表１にまとめられている。
【００２６】
図６乃至図９に見られるのとほとんど同等のセグメンテーション品質を作り出しながら、提案する方法がスーパーピクセルラベル伝搬タスクをオリジナルの提案された方法よりも１００倍以上実行することが表１から分かる。
【表１】
2018507477.tif 000009
表１−スーパーピクセルラベルマップを新しいフレームに伝搬するために必要な平均実行時間
【００２７】
イメージシーケンスから現在のイメージ対する初期スーパーピクセルラベルマップを生成するための方法の１つの実施形態を、図１０は図式的に説明する。最初のステップで、現在のイメージにおける特徴が決定される（１０）。決定された特徴は、次に、前のイメージに遡って追跡される（１１）。追跡された特徴に基づいて、前のイメージに関連するスーパーピクセルラベルマップが、現在のイメージに対して初期スーパーピクセルラベルマップに変換される（１２）。
【００２８】
本原理によるイメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する装置２０の１つの実施形態が図１１に図示的に示される。装置２０は、例えば、ネットワーク又は外部記憶システムから、イメージシーケンスを受信するための入力２１を有する。代替案としては、イメージシーケンスは、ローカル記憶ユニット２２から読み取られる。特徴検出器（feature  detector）２３は、現在のイメージにおける特徴を決定する１０。特徴追跡器（feature  tracker）２４は、次に、決定された特徴を前のイメージに遡って追跡する。追跡される特徴に基づいて、変換器（transformer）２５は、前のイメージに関連するスーパーピクセルラベルマップを現在のイメージに対する初期スーパーピクセルラベルマップに変換する（１２）。結果としての初期スーパーピクセルラベルマップは、好ましくは、出力２６を経由して利用可能である。それは、またローカル記憶ユニット２２上に記憶することもできる。出力２６は、入力２１と一緒に単一の双方向インタフェースに結合することもできる。異なるユニット２３、２４、２５のそれぞれは、異なるプロセッサとして具体化することができる。もちろん、異なるユニット２３、２４、２５は、同様に、全体又は一部が単一のユニットに結合され、又はプロセッサ上で走るソフトウェアとして実装することもできる。
【００２９】
本原理によるイメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する装置３０の別の実施形態が、図１２に図式的に説明される。装置３０は、処理デバイス３１及び実行されたときに説明した方法の１つによりステップを装置に実行させる命令を保存するメモリデバイス３２を備える。
【００３０】
例えば、処理デバイス３１は、説明した方法の１つによりステップを実行するように適合するプロセッサであり得る。実施形態において、この適合形態は、例えば、プログラムされて、説明した方法の１つによるステップを実行するように構成されたプロセッサを備える。
【００３１】
本明細書で使用するプロセッサは、マイクロプロセッサ、デジタルシグナルプロセッサ、又はそれらの組合せのような１つ以上のプロセッシングユニットを含む。
【００３２】
ローカル記憶ユニット２２及びメモリデバイス３２は、ハードディスクドライブ及びＤＶＤドライブのような揮発性及び／又は不揮発性メモリ領域及び記憶デバイスを含み得る。メモリの一部は、処理デバイス３１によって読み取り可能な非一時的なプログラム記憶装置であって、処理デバイス３１によって実行可能な命令のプログラムを有形に具体化し、本原理による本明細書で説明されたプログラムのステップを実行する。
【先行技術文献】
【非特許文献】
【００３３】
【非特許文献１】［１］レン（Ren）他著、「セグメンテーションのための分類モデルの学習（Learning  a  classification  model  for  segmentation）」、  コンピュータビジョンに関するＩＥＥＥインターナショナルカンファレンス（ＩＣＣＶ）（２００３年）、ｐ．１０−１７
【非特許文献２】［２］ムンダーロー（Munderloh）他著、「空中査察における移動物体のロバストなモザイク化及び検出に対するメッシュベースグローバル動き補償（Mesh-based  global  motion  compensation  for  robust  mosaicking  and  detection  of  moving  objects  in  aerial  surveillance）」、コンピュータビジョン及びパターン認識に関するＩＥＥＥコンピュータソサイエティカンファレンス（ＣＶＰＲ）（２０１１年）、アエリアルビデオプロセッシングの第１回ワークショップ（ＷＡＶＰ）、ｐ．１−６。
【非特許文献３】［３］チャン（Chang）他著、「時間的スーパーピクセルを使用したビデオ表現（A  Video  Representation  Using  Temporal  Superpixels）」、コンピュータビジョン及びパターン認識に関するＩＥＥＥカンファレンス（ＣＶＰＲ）（２０１３年）、ｐ．２０５１−２０５８。
【非特許文献４】［４］  レソ（Reso）他著「カウンターベースＥＭ最適化を使用したビデオコンテンツに対するスーパーピクセル（Superpixels  for  Video  Content  Using  a  Contour-based  EM  Optimization）」,コンピュータビジョンに関するアジアンカンファレンス（ＡＣＣＶ）（２０１４）、ｐ．１−１６。
【非特許文献５】［５］  シ（Shi）他著、「追跡するのに良い特徴（Good  features  to  track）」、コンピュータビジョン及びパターン認識に関するＩＥＥＥカンファレンス（ＣＶＰＲ）（１９９４年）、ｐ．５９３−６００。
【非特許文献６】［６］シュ（Xu）他著、「ストリーミング階層化ビデオセグメンテーション（Streaming  Hierarchical  Video  Segmentation）」、コンピュータビジョンに関するヨーロピアンカンファレンス（ＥＣＣＶ）（２０１２）、ｐ．１−１４。
【非特許文献７】［７］バン・デン・バーグ（Van  den  Bergh）他著、「時間ウィンドウオブジェクト性に対するオンラインビデオＳＥＥＤＳ（Online  Video  SEEDS  for  Temporal  Window  Objectness）」、コンピュータビジョンに関するＩＥＥＥインターナショナルカンファレンス（ＩＣＣＶ）（２０１３年）、ｐ．３７７−３８４。
【非特許文献８】［８］ホーン（Horn）他著、「オプティカルフローの決定（Determining  optical  flow）」、アーティフィシャルインテリジェンス、１７巻（１９８１年）、ｐ．１８５−２０３
【図１ａ）】
2018507477.tif 000010
【図１ｂ）】
2018507477.tif 000011
【図２ａ）】
2018507477.tif 000012
【図２ｂ）】
2018507477.tif 000013
【図３ａ）】
2018507477.tif 000014
【図３ｂ）】
2018507477.tif 000015
【図４ａ）】
2018507477.tif 000016
【図４ｂ）】
2018507477.tif 000017
【図５】
2018507477.tif 000018
【図６】
2018507477.tif 000019
【図７】
2018507477.tif 000020
【図８】
2018507477.tif 000021
【図９】
2018507477.tif 000022
【図１０】
2018507477.tif 000023
【図１１】
2018507477.tif 000024
【図１２】
2018507477.tif 000025
【手続補正書】
【提出日】平成29年10月3日(2017.10.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する方法であって、
前記現在のイメージにおける特徴を決定することと、
前のイメージに前記決定した特徴を遡って追跡することと、
前記追跡された特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージに対する初期スーパーピクセルラベルマップへ変換することと、
を含み、
前記現在のイメージの境界線で特徴を追加することをさらに含む、方法。
【請求項２】
前記決定した特徴から、前記現在のイメージ及び前記前のイメージに対する三角形から構成されるメッシュを生成することをさらに含む、請求項１に記載の方法。
【請求項３】
前記現在のイメージ中の各三角形に対して、前記三角形を前記前のイメージ中の対応する三角形に変換するためのアフィン変換の変換行列を決定することをさらに含む、請求項２に記載の方法。
【請求項４】
前記現在のイメージ中の各ピクセルの座標を、前記決定された変換行列を使用して、前記前のイメージ中の変換された座標に変換することをさらに含む、請求項３に記載の方法。
【請求項５】
前記対応する変換されたピクセル位置で前記前のイメージに関連する前記ラベルマップのラベルを有する各ピクセル位置で前記現在のイメージに対する前記スーパーピクセルラベルマップを初期化することをさらに含む、請求項４に記載の方法。
【請求項６】
前記変換された座標を最も近い有効なピクセル位置にクリッピングすることをさらに含む、請求項４に記載の方法。
【請求項７】
前記初期スーパーピクセルラベルマップ中のスーパーピクセルの主な集団から分離されたピクセルを隣接するスーパーピクセルに割り当てることをさらに含む、請求項１に記載の方法。
【請求項８】
前記現在のイメージの各コーナーと各境界線の中央で前記追加された特徴を追加することをさらに含む、請求項１に記載の方法。
【請求項９】
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する命令をその中に記憶するコンピュータ読取可能記憶媒体であって、前記命令がコンピュータによって実行されたとき、前記コンピュータに、
前記現在のイメージにおける特徴を決定することと、
前記決定した特徴を前のイメージに遡って追跡することと、
前記追跡された特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージに対する初期スーパーピクセルラベルマップに変換することと、
を実行させ、
前記命令が前記コンピュータに前記現在のイメージの境界線で特徴の追加をさらにさせる、コンピュータ読取可能記憶媒体。
【請求項１０】
前記命令が、前記コンピュータに前記現在のイメージの各コーナーと各境界線の中央で前記追加された特徴の追加をさらにさせる、請求項９に記載のコンピュータ読取可能記憶媒体。
【請求項１１】
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する装置であって、
前記現在のイメージにおける特徴を決定するように構成される特徴検出器と、
前記決定された特徴を前のイメージに遡って追跡するように構成される特徴追跡器と
前記追跡された特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージに対する初期スーパーピクセルラベルマップに変換するように構成される変換器と、
を含み、
前記装置が、前記現在のイメージの境界線で特徴を追加するように構成される、装置。
【請求項１２】
前記装置が、前記現在のイメージの各コーナーと各境界線の中央で前記追加された特徴を追加するように構成される、請求項１１に記載の初期スーパーピクセルラベルマップを生成する装置。
【請求項１３】
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する装置であって、前記装置は、処理デバイス及びその中に命令を有するメモリデバイスを備え、
前記命令は、前記処理デバイスによって実行されたときに、前記装置に、
前記現在のイメージにおける特徴を決定することと、
前記決定された特徴を前のイメージに遡って追跡することと、
前記追跡される特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージ対する初期スーパーピクセルラベルマップに変換することと、
を実行させ、
前記命令は、前記処理デバイスによって実行されたときに、前記装置が前記現在のイメージの境界線で特徴を追加するようにさらにさせる、装置。
【請求項１４】
前記装置が、前記現在のイメージの各コーナーと各境界線の中央で前記追加された特徴を追加するように構成される、請求項１３に記載の初期スーパーピクセルラベルマップを生成する装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
１つの実施形態において、現在のイメージの各コーナー（corner）と各境界線（border：境界）の中心（center）で特徴（features）が追加される。このことは、各ピクセルが三角形によってカバーされることを保証する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
ローカル記憶ユニット２２及びメモリデバイス３２は、ハードディスクドライブ及びＤＶＤドライブのような揮発性及び／又は不揮発性メモリ領域及び記憶デバイスを含み得る。メモリの一部は、処理デバイス３１によって読み取り可能な非一時的なプログラム記憶装置であって、処理デバイス３１によって実行可能な命令のプログラムを有形に具体化し、本原理による本明細書で説明されたプログラムのステップを実行する。
ここで例としていくつかの付記を記載する。
（付記１）
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する方法であって、
前記現在のイメージにおける特徴を決定すること（１０）と、
前のイメージに前記決定した特徴を遡って追跡すること（１１）と、
前記追跡された特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージに対する初期スーパーピクセルラベルマップへ変換すること（１２）と、
を含む、方法。
（付記２）
前記決定した特徴から、前記現在のイメージ及び前記前のイメージに対する三角形から構成されるメッシュを生成することをさらに含む、付記１に記載の方法。
（付記３）
前記現在のイメージ中の各三角形に対して、前記三角形を前記前のイメージ中の対応する三角形に変換するためのアフィン変換の変換行列を決定することをさらに含む、付記２に記載の方法。
（付記４）
前記現在のイメージ中の各ピクセルの座標を、前記決定された変換行列を使用して、前記前のイメージ中の変換された座標に変換することをさらに含む、付記３に記載の方法。
（付記５）
前記対応する変換されたピクセル位置で前記前のイメージに関連する前記ラベルマップのラベルを有する各ピクセル位置で前記現在のイメージに対する前記スーパーピクセルラベルマップを初期化することをさらに含む、付記４に記載の方法。
（付記６）
前記変換された座標を最も近い有効なピクセル位置にクリッピングすることをさらに含む、付記４又は５に記載の方法。
（付記７）
前記現在のイメージ及び前記前のイメージの各コーナーと各境界線の中央で特徴を追加することをさらに含む、付記１乃至６のいずれか１項に記載の方法。
（付記８）
前記初期スーパーピクセルラベルマップ中のスーパーピクセルの主な集団から分離されたピクセルを隣接するスーパーピクセルに割り当てることをさらに含む、付記１乃至７のいずれか１項に記載の方法。
（付記９）
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する命令をその中に記憶するコンピュータ読取可能記憶媒体であって、前記命令がコンピュータによって実行されたとき、前記コンピュータに、
前記現在のイメージにおける特徴を決定すること（１０）と、
前記決定した特徴を前のイメージに遡って追跡すること（１１）と、
前記追跡された特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージに対する初期スーパーピクセルラベルマップに変換すること（１２）と、
を実行させる、コンピュータ読取可能記憶媒体。
（付記１０）
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する装置（２０）であって、
前記現在のイメージにおける特徴を決定する（１０）ように構成される特徴検出器（２３）と、
前記決定された特徴を前のイメージに遡って追跡する（１１）ように構成される特徴追跡器（２４）と
前記追跡された特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージに対する初期スーパーピクセルラベルマップに変換する（１２）ように構成される変換器（２５）と、
を含む、装置。
（付記１１）
イメージシーケンスから現在のイメージに対する初期スーパーピクセルラベルマップを生成する装置（３０）であって、前記装置（３０）は、処理デバイス（３１）及びその中に命令を有するメモリデバイス（３２）を備え、
前記命令は、前記処理デバイス（３１）によって実行されたときに、前記装置（３０）に、
前記現在のイメージにおける特徴を決定すること（１０）と、
前記決定された特徴を前のイメージに遡って追跡すること（１１）と、
前記追跡される特徴に基づいて、前記前のイメージに関連するスーパーピクセルラベルマップを前記現在のイメージ対する初期スーパーピクセルラベルマップに変換すること（１２）と、
を実行させる、装置。
【国際調査報告】
2018507477.tif 000026
2018507477.tif 000027