(57)【要約】一連の画像フレームにおいて関心領域のトラッキングを行う方法および装置であって、直前のフレームのターゲット領域の境界を現在のフレーム上へ投影し、それによって現在のフレーム内に探索エリアを確定できるようにする。現在のフレーム内の探索エリア内のすべてのピクセルに対して、直前のフレーム内に探索用ウィンドウを確定する。直前のフレームのＲＯＩの範囲内にマッチしたピクセルが存在すれば、現在のフレーム内の対応するピクセルを予備的に現在のフレームのＲＯＩ内のピクセルとみなす。ウェーブレットドメイン内のローパスサブバンドを用いて、上記の逆方向のマッチングを行う。高周波数サブバンドでのエッジ検出を用いて現在のフレーム内の上記予備的ＲＯＩの微調整を行う。
2006505861.tif 000002
【特許請求の範囲】
【請求項１】
一連の画像フレーム内の直前の画像フレームのターゲット領域に基づいて画像フレーム内のターゲット領域のトラッキングを行う方法であって、前記一連の画像フレームの各画像フレームが複数のピクセルを含み、
前記直前のフレーム内のターゲット領域の少なくとも一部に基づいて前記画像フレーム内に探索エリアを確定するステップであって、前記探索エリアが複数の第１ピクセルを含み、該個々のピクセルが少なくとも１つの対応する第１ピクセル値を有する確定ステップと、
前記探索エリア内の第１ピクセルに対して、
前記直前のフレーム内にさらに別の探索エリアを確定するステップであって、前記さらに別の探索エリアが、前記直前のフレーム内の前記複数のピクセル間に複数の第２ピクセルを含み、該個々の第２ピクセルが、少なくとも１つの対応する第２ピクセル値と領域状態とを有する確定ステップと、
前記第２ピクセル値間において前記第１ピクセルの第１ピクセル値間の一致を見つけて、基準第２ピクセルの位置を定めるように為すステップと、
前記基準第２ピクセルの領域状態に基づいて、前記第１ピクセルのうちの少なくとも１つのピクセルの領域状態を確定して、前記少なくとも１つの第１ピクセルの領域状態に基づいて、前記画像フレーム内に前記ターゲット領域を確定するように為すステップと、を具備することを特徴とする方法。
【請求項２】
前記第２ピクセルが、前記直前のフレーム内の前記ターゲット領域内に位置するかどうかが前記第２ピクセルの領域状態によって示されることを特徴とする、請求項１に記載の方法。
【請求項３】
前記直前のフレーム内の前記ターゲット領域の前記少なくとも一部が、前記画像フレーム内の対応する輪郭を画定する輪郭を有し、さらに、前記第１ピクセルが前記画像フレーム内の前記対応する輪郭に隣接するピクセルを含むことを特徴とする、請求項１または２に記載の方法。
【請求項４】
前記画像フレームの前記ターゲット領域が境界を有し、さらに、前記画像フレーム内の前記複数のピクセルが、前記境界に隣接する複数の第３ピクセルを含み、個々の第３ピクセルが少なくとも１つの対応する第３ピクセル値を含む方法であって、
前記第３ピクセルのエッジタイプを確定して、前記第３ピクセルのエッジタイプに基づいて前記画像フレーム内の前記ターゲット領域を変更するように為すステップを具備することをさらに特徴とする、請求項１乃至３のうちのいずれか１項に記載の方法。
【請求項５】
ウェーブレット係数の輝度成分に基づいて前記エッジタイプを確定することを特徴とする、請求項４に記載の方法。
【請求項６】
前記第１ピクセル値と前記第２ピクセル値とがウェーブレット係数を示すことを特徴とする、請求項１乃至５のうちのいずれか１項に記載の方法。
【請求項７】
前記第１ピクセル値と前記第２ピクセル値とがローサブバンド内のウェーブレット係数を示すことを特徴とする、請求項１乃至６のうちのいずれか１項に記載の方法。
【請求項８】
前記第１ピクセル値と前記第２ピクセル値とが、ローサブバンド内の前記ウェーブレット係数の色差成分のうちの少なくとも１つの色差成分を示すことを特徴とする、請求項１乃至６のうちのいずれか１項に記載の方法。
【請求項９】
前記第３ピクセル値がウェーブレット係数を示すことを特徴とする、請求項４または５に記載の方法。
【請求項１０】
前記第３ピクセル値がハイサブバンド内のウェーブレット係数を示すことを特徴とする、請求項４または５に記載の方法。
【請求項１１】
前記第３ピクセル値が、ハイサブバンド内のウェーブレット係数の輝度成分を示すことを特徴とする、請求項４、５、９および１０のいずれか１項に記載の方法。
【請求項１２】
一連の画像フレームをコードストリームに符号化する手段を有する画像符号器で使用するコンピュータプログラムであって、前記一連の画像フレームが少なくとも１つの第１の画像フレームと、先行する第２の画像フレームとを有し、前記第１と第２の画像フレームの各画像フレームが複数のピクセルを有し、前記第２の画像フレームがターゲット領域を有し、
前記第２の画像フレーム内の前記ターゲット領域の少なくとも一部に基づいて前記第１の画像フレーム内に探索エリアを画定するためのコードであって、前記探索エリアが複数の第１ピクセルを含み、該個々のピクセルが少なくとも１つの対応する第１ピクセル値を有するコードと、
前記探索エリア内の前記第１ピクセルに対して、
前記第２の画像フレーム内のさらに別の探索エリアであって、前記第２の画像フレームの前記複数のピクセル間に複数の第２ピクセルを含み、前記第２ピクセルの各々が、少なくとも１つの対応する第２ピクセル値と、領域状態とを有する前記さらに別の探索エリアと、
前記第２ピクセル値間の前記第１ピクセルの前記第１ピクセル値の間の一致に基づく、前記さらに別の探索エリア内の基準第２ピクセルと、
前記少なくとも１つの第１ピクセルの前記領域状態に基づいて前記第１の画像フレーム内にターゲット領域を確定するための、基準第２ピクセルの前記領域状態に基づく前記第１ピクセルのうちの少なくとも１つのピクセルの前記領域状態と、を確定するためのコードと、
を具備することを特徴とするコンピュータプログラム。
【請求項１３】
前記第１ピクセル値と前記第２ピクセル値とが、ローサブバンド内のウェーブレット係数の色差成分のうちの少なくとも１つの色差成分を示す、請求項１２に記載のコンピュータプログラム。
【請求項１４】
前記第１の画像フレームの前記ターゲット領域が境界を有し、前記第１の画像フレーム内の前記複数のピクセルが前記境界に隣接する複数の第３ピクセルを含み、該個々の第３ピクセルが少なくとも１つの対応する第３ピクセル値を含むコンピュータプログラムであって、
前記第３ピクセルのエッジタイプを確定するためのコードを具備して、前記第３ピクセルのエッジタイプに基づいて前記第１の画像フレーム内の前記ターゲット領域を変更するように為すことをさらに特徴とする、請求項１２または１３に記載のコンピュータプログラム。
【請求項１５】
前記第３ピクセル値が、ハイサブバンド内のウェーブレット係数の輝度成分を示す、請求項１４に記載のコンピュータプログラム。
【請求項１６】
前記第２ピクセルが前記第２の画像フレーム内の前記ターゲット領域の範囲内に位置するかどうかが前記第２ピクセルの領域状態によって示される、請求項１２乃至１５のいずれか１項に記載のコンピュータプログラム。
【請求項１７】
少なくとも１つの第１の画像フレームと、先行する第２の画像フレームとを有する一連の画像フレームを符号化する画像エンコーダであって、前記第１と第２の画像フレームの各画像フレームが複数のピクセルを含み、前記第２の画像フレームがターゲット領域を有し、
前記各画像フレームを複数のサブバンド成分に分解する手段と、
前記サブバンド成分をコードストリームに符号化する手段と、を有する画像エンコーダにおいて、
前記第２の画像フレーム内の前記ターゲット領域の少なくとも一部に基づいて、前記第１の画像フレーム内の探索エリアを画定するための、前記サブバンド成分に応動する第１のアルゴリズムであって、前記探索エリアが複数の第１ピクセルを含み、個々のピクセルが少なくとも１つの対応する第１ピクセル値を有するように構成されるアルゴリズムと、
前記第１ピクセルに応動する第２のアルゴリズムであって、
前記第２の画像フレーム内の前記複数のピクセル間に複数の第２ピクセルを含む前記第２の画像フレーム内のさらに別の探索エリアであって、該個々の第２ピクセルが少なくとも１つの対応する第２ピクセル値と領域状態とを有する前記さらに別の探索エリアと、
前記第２ピクセル値間の前記第１ピクセルの前記第１ピクセル値間の一致に基づく前記さらに別の探索エリア内の基準第２ピクセルと、
前記少なくとも１つの第１ピクセルの前記領域状態に基づいて前記第１の画像フレーム内にターゲット領域を確定する基準第２ピクセルの前記領域状態に基づいて、前記第１ピクセルのうちの少なくとも１つのピクセルの領域状態とを確定するように構成される第２のアルゴリズムと、を具備することを特徴とする画像エンコーダ。
【請求項１８】
前記第１ピクセル値と前記第２ピクセル値とがローサブバンド内の前記ウェーブレット係数の色差成分のうちの少なくとも１つの色差成分を示す、請求項１７に記載の画像エンコーダ。
【請求項１９】
前記第１の画像フレームの前記ターゲット領域が境界を有し、前記第１の画像フレーム内の前記複数のピクセルが前記境界に隣接する複数の第３ピクセルを含み、該個々の第３ピクセルが少なくとも１つの対応する第３ピクセル値を含む画像エンコーダであって、前記コンピュータプログラムが、
前記第３ピクセルのエッジタイプを確定して、前記第３ピクセルのエッジタイプに基づいて前記画像フレーム内の前記ターゲット領域を変更するように為すためのコードを含むことをさらに特徴とする、請求項１７または１８に記載の画像エンコーダ。
【請求項２０】
前記第３ピクセル値が、ハイサブバンド内のウェーブレット係数の輝度成分を示す、請求項１９に記載の前記画像エンコーダ。
【請求項２１】
前記画像エンコーダが、前記第１の画像フレーム内の前記ターゲット領域を前記第１の画像フレーム内の別の領域よりも高い視覚的品質で符号化するようになっている、請求項１７乃至２０のいずれか１項に記載の画像エンコーダ。
【請求項２２】
一連の画像フレームをコードストリームに符号化するエンコーダと、前記コードストリームに基づいて前記一連の画像フレームを再構成するデコーダとを有する画像符号化システムであって、前記一連の画像フレームが、少なくとも第１の画像フレームと、先行する第２の画像フレームとを含み、前記第１と第２の画像フレームの各画像フレームが複数のピクセルを含み、前記第２の画像フレームがターゲット領域を有する画像符号化システムにおいて、前記画像エンコーダが、
前記画像フレームを複数のサブバンド成分の各々に分解する手段と、
前記サブバンド成分を前記コードストリームに符号化する手段と、を有し、前記画像エンコーダが、
前記第２の画像フレーム内の前記ターゲット領域の少なくとも一部に基づいて、前記第１の画像フレーム内に探索エリアを画定するための、前記サブバンド成分に応動する第１のアルゴリズムであって、複数の第１ピクセルを含む前記探索エリアであって、該個々の探索エリアが少なくとも１つの対応する第１ピクセル値を有するように構成される第１のアルゴリズムと、
前記第１ピクセルに応動する第２のアルゴリズムであって、
前記第２の画像フレーム内の前記複数のピクセル間の複数の第２ピクセルを含む前記第２の画像フレーム内のさらに別の探索エリアであって、該個々の第２ピクセルが少なくとも１つの対応する第２ピクセル値と領域状態とを有する上記さらに別の探索エリアと、
前記第２ピクセル値間の前記第１ピクセルの前記第１ピクセル値間の一致に基づく前記さらに別の探索エリア内の基準第２ピクセルと、
前記少なくとも１つの第１ピクセルの前記領域状態に基づいて前記第１の画像フレーム内にターゲット領域を確定する基準第２ピクセルの前記領域状態に基づく前記第１ピクセルのうちの少なくとも１つのピクセルの前記領域状態と、を確定するように構成される第２のアルゴリズムと、を具備することを特徴とする画像符号化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、サブバンド分解ベースの画像コーデックに関し、特に、一連の画像にわたって移動するオブジェクトの符号化に関する。
【背景技術】
【０００２】
伝送用あるいは格納用の画像データ量を減らす際に画像圧縮が効果的であることは一般に知られている。特に、ＪＰＥＧ２０００のようなスケーラブルな画像符号化用フォーマットを導入すれば、少量の画像ファイルの送受信を行うだけで、受信端側でも送信側と同じ高品質の画像をそのまま再構成することが可能となる。画像から欠落した部分には、通常画像内に存在する高周波成分に関する記述情報が含まれているが、この情報は人間の視覚系（ＨＶＳ）にはあまり感応しない細部情報に対応する情報である。
【０００３】
ＪＰＥＧは、画像圧縮のためのジョイントフォトグラフィック専門家グループ（Joint Photographic Experts Group）を表す略語である。１９８８年までに、ＪＰＥＧベースラインとして知られているこの委員会はその第１規格を採用したが、この規格は離散余弦変換（ＤＣＴ）およびハフマン（Ｈｕｆｆｍａｎ）符号化をベースとするものである。２００１年までに、ＪＰＥＧ委員会はＪＰＥＧ２０００という名称の新たな圧縮規格を開発した。この新たな規格はレートディストーションを伴う低ビットレート処理を提供するものであり、主観的画質のパフォーマンスが現行規格よりも優れ、レートディストーションスペクトルにおける他の点でのパフォーマンスを犠牲することのないものである。さらに重要な点として、ＪＰＥＧ２０００によって、異なる解像度の抽出と、同じコードストリーム表現から得られる圧縮画像のピクセル忠実度が可能となるという点が挙げられる。ＪＰＥＧ２０００によって、関心領域（ＲＯＩ）の符号化並びに画像領域へのランダムなアクセスなどの特徴も提供される。この特徴によって、ユーザは、画像のＪＰＥＧ２０００ビットストリーム表現から得られる、任意のターゲットデバイス用画像に関する非常に重要な情報のみを処理、格納あるいは伝送することが可能となる。
【０００４】
ＪＰＥＧ２０００はサブバンド分解ベースのビットプレーン符号器である。ＪＰＥＧ２０００は変換段でウェーブレットを利用するものである。画像は多重解像度に従って分解される。個々の解像度は低周波成分および／または高周波成分を表すサブバンドから構成される。次いで、サブバンド内のサンプルは最上位ビットプレーンを起点とするビットプレーンで符号化される。ウェーブレット変換の利用並びにビットプレーン符号化方式によってＪＰＥＧ２０００のスケーラビリティ特性が提供される。
【０００５】
モーションＪＰＥＧ２０００は、ＪＰＥＧ２０００を利用するイントラフレーム符号化に基づくビデオ圧縮方法である。モーションＪＰＥＧ２０００では、独立の画像としてビデオシーケンス内のフレームが符号化される。すなわち、画像間での動き予測が行われない。上記符号化方式によって、解像度の品質におけるスケーラビリティ、ビットエラーに対するロバスト性、並びにフレーム編集などの重要な機能が提供される。しかし、動きベクトル推定を利用してフレーム間での符号化を行うＭＰＥＧ−４などの別の規格と比べると圧縮パフォーマンスは効率的ではない。一方、ＲＯＩ符号化などのＪＰＥＧ２０００の特性を利用して、モーションＪＰＥＧ２０００の圧縮パフォーマンスの向上を図ることができる。
【０００６】
ＲＯＩ符号化はＪＰＥＧ２０００における有効な機能である。このＲＯＩ符号化によって、ＲＯＩの符号化を行いながら、同じ画像内の他の領域内の場合よりもさらに多くのビットの割当てがＲＯＩ内で可能となる。個々のピクセルについて、重要度の小さなオブジェクトよりも多くのビットを重要なオブジェクトに割り当てることができるように画像部分を不均等に符号化することにより、より良好なシーケンスのより良好な視覚が得られることになり、この特性は、特に、低いデータレートのアプリケーションにおいて非常に有効なものとなる。ビデオシーケンス内の重要なオブジェクトをＲＯＩとして符号化するために、これらのオブジェクトのトラッキングは高品質のビデオストリームの生成にとって非常に重要なものとなる。
【０００７】
ＲＯＩのトラッキングは、視覚ベースの制御処理、人間とコンピュータ間のインタフェース、監視、農作業の自動化、医療用画像処理システムおよび視覚的再構成などの多くの視覚関連アプリケーションでは重要な特性である。ビデオシーケンス内でのＲＯＩトラッキング時の主要な難点として、フレームシーケンス内のターゲット領域の潜在的変動に起因して生じる難点がある。これらの変動は通常ポーズ、形状の変形、照明およびターゲットの部分的閉塞または全体的閉塞に起因して生じるものである。ロバスト性と安定性とを保証するトラッキングアルゴリズムの設計を行う場合、これらの変動の原因を考慮することが望ましい。
【０００８】
従来技術では、ＲＯＩトラッキング法のほとんどは、３つの連続するステップから構成される多段処理戦略に依拠している。第１のステップでは、カラー・ベースでの前景のセグメント化が実行され、次いでターゲット領域として類似のカラー領域がマスクされる。第２のステップには推定対象ベクトルの最小化によるＲＯＩの局所化が含まれ、セグメント化済み画像の投影値の水平方向並びに垂直方向の合計を用いて、あるいは、ターゲット領域のサイズ、形状、位置、アスペクトレシオ並びにカラーの一貫性に基づく発見的方法を用いて上記局所化が行われる。最終段は領域境界の微調整と平滑化である。
【０００９】
Ｈａｇｅｒら（“ジオメトリと照明のパラメトリックモデルを用いた効率的な領域トラッキング”パターン解析と人工知能に関するＩＥＥＥ会報、第２０巻、Ｎｏ．１０、１９９８年１０月））は、線形モデルを利用して、光学フロー方程式（optical flow equation）と基礎ベクトル集合とを単純化して、一連の列状のターゲットに対する特異値分解を実行することにより照明の変動をモデル化して、一連の列状のターゲットに対する特異値分解を実行するものである。Ｋｒｕｇｅｒら（“実時間表面トラッキングのためのウェーブレットサブ空間法”（会報“パターン認識”、第２３回ＤＡＧＭシンポジウム、２００２年、ドイツ、ミュンヘン）は、さらに多くのウェーブレット関数を用いてターゲット特性を表わすウェーブレットネットワークを構築し、次いで、ウェーブレット係数間のユークリッド距離に基づいてＲＯＩのトラッキングを行うものである。
【００１０】
Ｋｕｎｄｕ（米国特許第５，９７４，１９２号）は、テクスチャ、優勢なエッジピクセル並びに強度とカラーとに基づいて一連の画像内のブロックのマッチングを行う方法を開示している。Ｐｏｎｔｉｃｏｓ（米国特許第６，０３５，０６７号）は、画像領域を分類するために予め定めた判定基準を用いて前景オブジェクトの大きな動きを妨げる“ポテンシャル井戸”を利用する方法を開示している。Ｐｏｇｇｉｏら（米国特許第６，４２１，４６３号）は画像内のオブジェクトの探索方法を開示している。この方法では、ウェーブレット係数テンプレートを用いて探索システムの訓練を行う必要がある。
【００１１】
従来技術による方法の主な問題点として計算量が挙げられる。さらに、従来技術のいくつかは、同じタイプのＲＯＩ、カラーあるいは形状に対して訓練を行うトラッキングアルゴリズムを必要とするものである。
【００１２】
したがって、任意の形状およびタイプのＲＯＩに対するトラッキングを行う方法および装置に対して、モーションＪＰＥＧ２０００コーデックに適した複雑さの少ない計算量およびメモリコストを提供することは好適でかつ望ましいものとなる。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
一連の画像内のオブジェクトの少なくとも１部のトラッキングを行う方法および装置を提供することが本発明の主要な目的であり、その場合、上記画像が個々の画像として符号化されるため、トラッキング用のテンプレートおよび予め訓練されるオブジェクトが不要となる。色差空間でのピクセルマッチングによる低周波数帯域の境界検出と、輝度成分を利用するエッジ分析によって行う、上記検出済み境界の高周波帯域での微調整とを組み合わせることにより上記目的を達成することが可能となる。
【００１４】
したがって、本発明の第１の態様によれば、一連の画像フレーム内の直前の画像フレームのターゲット領域に基づいて画像フレーム内のターゲット領域のトラッキングを行う方法が提供され、前記一連の画像フレームの各画像フレームは複数のピクセルを含むものである。上記方法は、
前記直前のフレーム内のターゲット領域の少なくとも一部に基づいて前記画像フレーム内に探索エリアを確定するステップであって、前記探索エリアが複数の第１ピクセルを含み、該個々のピクセルが少なくとも１つの対応する第１ピクセル値を有する確定ステップと、
前記探索エリア内の第１ピクセルに対して、
前記直前のフレーム内にさらに別の探索エリアを確定するステップであって、前記さらに別の探索エリアが、前記直前のフレーム内の前記複数のピクセル間に複数の第２ピクセルを含み、該個々の第２ピクセルが、少なくとも１つの対応する第２ピクセル値と領域状態とを有する確定ステップと、
上記第２ピクセル値間において前記第１ピクセルの第１ピクセル値間の一致を見つけて、基準第２ピクセルの位置を定めるように為すステップと、
上記基準第２ピクセルの領域状態に基づいて、前記第１ピクセルのうちの少なくとも１つのピクセルの領域状態を確定して、前記少なくとも１つの第１ピクセルの領域状態に基づいて、前記画像フレーム内に上記ターゲット領域を確定するように為すステップと、を具備することを特徴とする。
【００１５】
前記第２ピクセルの領域状態は、前記直前のフレーム内の前記ターゲット領域内に前記第２ピクセルの位置が在るかどうかを示す。
【００１６】
したがって、上記直前のフレーム内のターゲット領域の少なくとも一部が、前記画像フレーム内の対応する輪郭を画定する輪郭を有し、さらに、上記第１ピクセルが前記画像フレーム内の前記対応する輪郭に隣接するピクセルを含むことになる。
【００１７】
上記第１ピクセル値と上記第２ピクセル値とは、ローサブバンド内のウェーブレット係数の色差成分のうちの少なくとも１つの色差成分を示す。
【００１８】
前記画像フレームのターゲット領域が境界を有し、さらに、前記画像フレーム内の前記複数のピクセルが、上記境界に隣接する複数の第３ピクセルを含み、該個々の第３ピクセルが少なくとも１つの対応する第３ピクセル値を含む。
上記方法は、
前記第３ピクセルのエッジタイプを確定するためのコードを具備して、前記第３ピクセルのエッジタイプに基づいて前記第１の画像フレーム内の前記ターゲット領域を変更するように為すステップを具備することをさらに特徴とする。
【００１９】
上記第３ピクセル値はハイサブバンド内のウェーブレット係数の輝度成分を示す。
【００２０】
本発明の第２の態様によれば、一連の画像フレームをコードストリームに符号化する手段を有する画像符号器で使用するコンピュータプログラムであって、前記一連の画像フレームが少なくとも１つの第１の画像フレームと、先行する第２の画像フレームとを有し、上記第１と第２の画像フレームの各画像フレームが複数のピクセルを有し、上記第２の画像フレームがターゲット領域を有するように構成されるコンピュータプログラムが提供される。
上記コンピュータプログラムは、
上記第２の画像フレーム内のターゲット領域の少なくとも一部に基づいて上記第１の画像フレーム内に探索エリアを画定するためのコードであって、前記探索エリアが複数の第１ピクセルを含み、該個々のピクセルが少なくとも１つの対応する第１ピクセル値を有するコードと、
前記探索エリア内の上記第１ピクセルに対して、
上記第２の画像フレーム内のさらに別の探索エリアであって、上記第２の画像フレームの上記複数のピクセル間に複数の第２ピクセルを含み、上記第２ピクセルの各々が、少なくとも１つの対応する第２ピクセル値と、領域状態とを有する前記さらに別の探索エリアと、
上記第２ピクセル値間の前記第１ピクセルの第１ピクセル値の間の一致に基づく、前記さらに別の探索エリア内の基準第２ピクセルと、
前記少なくとも１つの第１ピクセルの領域状態に基づいて上記第１の画像フレーム内にターゲット領域を確定するための、基準第２ピクセルの領域状態に基づく、前記第１ピクセルのうちの少なくとも１つのピクセルの領域状態と、を確定するためのコードと、を具備する。
【００２１】
上記第２ピクセルの領域状態は、前記第２ピクセルが上記第２の画像フレーム内のターゲット領域の範囲内に位置するかどうかを示す。
【００２２】
したがって、上記第１ピクセル値と上記第２ピクセル値とは、ローサブバンド内のウェーブレット係数の色差成分のうちの少なくとも１つの色差成分を示すことになる。
【００２３】
好ましくは、上記第１の画像フレームの上記ターゲット領域が境界を有し、上記第１の画像フレーム内の前記複数のピクセルが上記境界に隣接する複数の第３ピクセルを含み、該個々の第３ピクセルが少なくとも１つの対応する第３ピクセル値を含むことが望ましい。上記コンピュータプログラムは、
前記第３ピクセルのエッジタイプを確定するためのコードを具備して、上記第３ピクセルのエッジタイプに基づいて上記第１の画像フレーム内のターゲット領域を変更するように為すことをさらに特徴とする。
【００２４】
したがって、上記第３ピクセル値は、ハイサブバンド内のウェーブレット係数の輝度成分を示すことになる。
【００２５】
本発明の第３の態様によれば、少なくとも１つの第１の画像フレームと、先行する第２の画像フレームとを有する一連の画像フレームを符号化する画像エンコーダが提供され、上記第１と第２の画像フレームの各画像フレームが複数のピクセルを含み、上記第２の画像フレームがターゲット領域を有し、前記画像エンコーダは、
上記画像フレームを複数のサブバンド成分の各々に分解する手段と、
上記サブバンド成分をコードストリームに符号化する手段と、を有する。画像エンコーダは、
上記第２の画像フレーム内の上記ターゲット領域の少なくとも一部に基づいて、上記第１の画像フレーム内の探索エリアを画定するための、上記サブバンド成分に応動する第１のアルゴリズムであって、上記探索エリアが複数の第１ピクセルを含み、個々のピクセルが少なくとも１つの対応する第１ピクセル値を有するように構成されるアルゴリズムと、
上記第１ピクセルに応動する第２のアルゴリズムであって、
上記第２の画像フレーム内の上記複数のピクセル間に複数の第２ピクセルを含む上記第２の画像フレーム内のさらに別の探索エリアであって、該個々の第２ピクセルが少なくとも１つの対応する第２ピクセル値と領域状態とを有する該さらに別の探索エリアと、
上記第２ピクセル値間の上記第１ピクセルの上記第１ピクセル値間の一致に基づく上記さらに別の探索エリア内の基準第２ピクセルと、
前記少なくとも１つの第１ピクセルの領域状態に基づいて上記第１の画像フレーム内のターゲット領域を確定する基準第２ピクセルの領域状態に基づいて上記第１ピクセルのうちの少なくとも１つのピクセルの領域状態とを確定するように構成される第２のアルゴリズムと、を具備することを特徴とする。
【００２６】
上記画像エンコーダは、前記第１の画像フレーム内の別の領域よりも高い視覚的品質で上記第１の画像フレーム内の前記ターゲット領域を符号化するようになっている。
【００２７】
本発明の第４の態様によれば、一連の画像フレームをコードストリームに符号化するエンコーダと、前記コードストリームに基づいて前記一連の画像フレームを再構成するデコーダとを有する画像符号化システムであって、前記一連の画像フレームが、少なくとも第１の画像フレームと、先行する第２の画像フレームとを含み、前記第１と第２の画像フレームの各画像フレームが複数のピクセルを含み、前記第２の画像フレームがターゲット領域を有する画像符号化システムが提供され、前記画像エンコーダは、
前記画像フレームを複数のサブバンド成分の各々に分解する手段と、
前記サブバンド成分を前記コードストリームに符号化する手段と、を有する。前記画像エンコーダは、
前記第２の画像フレーム内の前記ターゲット領域の少なくとも一部に基づいて、前記第１の画像フレーム内に探索エリアを画定するための、前記サブバンド成分に応動する第１のアルゴリズムであって、複数の第１ピクセルを含む前記探索エリアであって、該個々の探索エリアが少なくとも１つの対応する第１ピクセル値を有するように構成される第１のアルゴリズムと、
前記第１ピクセルに応動する第２のアルゴリズムであって、
前記第２の画像フレーム内の前記複数のピクセル間の複数の第２ピクセルを含む前記第２の画像フレーム内のさらに別の探索エリアであって、該個々の第２ピクセルが少なくとも１つの対応する第２ピクセル値と領域状態とを有する上記さらに別の探索エリアと、
前記第２ピクセル値間の前記第１ピクセルの前記第１ピクセル値間の一致に基づく前記さらに別の探索エリア内の基準第２ピクセルと、
前記少なくとも１つの第１ピクセルの前記領域状態に基づいて第１の画像フレーム内にターゲット領域を確定する基準第２ピクセルの領域状態に基づいて上記第１ピクセルのうちの少なくとも１つのピクセルの領域状態と、を確定するように構成される第２のアルゴリズムと、を具備することを特徴とする。
【００２８】
図１〜図５と関連して行う以下の説明を読むとき本発明は明らかになる。
【発明を実施するための最良の形態】
【００２９】
本発明によるＲＯＩトラッキング法は、モーションＪＰＥＧ２０００により圧縮を行うシーケンス用として設計されたものである。この方法は、ウェーブレットドメイン内の低解像度サブバンドで実行される２つのステップから構成される。第１のステップでは、直前のフレーム内の対応するターゲット領域に基づいて、逆方向のピクセルマッチングによる現在のフレーム内のターゲット領域の推定が実行される。低周波数サブバンドの使用によって、計算量が低減され、トラッキングに対する安定性も得られる。そのため逆方向のピクセルマッチングによる動き用モデルを想定する必要がなくなる。好適には、色差すなわち彩度（Ｕ，Ｖ）成分を用いて第１のステップを実行し、トラッキングを行うようにすることが望ましい。輝度とは異なり、色差成分はビデオシーケンス上で通常安定しており、変動が小さいため、トラッキングアルゴリズムが照明の変化に対してロバストなものとなり、それによって、入射照明の推定値のトレーニング用シーケンスが不要となる。第２のステップでは、輝度成分Ｙからなる高周波サブバンド（すなわちＨＬおよびＬＨ）を利用してエッジ検出を行い、現在のフレーム内の推定済みターゲット領域の微調整を図るようにする。Ｙ成分を利用することによって、ターゲット領域が同じカラータイプの別の領域と接触するときでさえ、エッジのロバストな検出が可能となる。
【００３０】
図１は、本発明に基づくＲＯＩ探索時の第１のステップを示す図であり、該ステップは現在の画像フレームｋ内の推定ＲＯＩ境界を取得するステップである。図１に図示のように、画像フレーム（ｋ−１）内のＲＯＩ２０の輪郭が画像フレームｋ上へ投影される。フレーム（ｋ−１）は画像フレームｋの直前のフレームである。フレームｋ内に投影された輪郭３０は点線の円として示されている。外側の境界３２と内側の境界３４とによって境界が設けられたピクセル帯域を現在のフレームｋ内の探索エリア１３０として用いる。ピクセル帯域１３０の幅は２ｄである。図２に図示のように、探索エリア１３０はＲＯＩの輪郭の動き空間を表わし、ｄは任意の変位ベクトルにおける上限値である。探索エリア１３０の範囲内のピクセルのみ、すなわち“関連”ピクセルのみが色差成分のローパスウェーブレット係数に基づいて逆方向にマッチングされる。円によって表されるＲＯＩ２０の境界は例示を目的とするものにすぎないことを付記しておく。一般に、境界すなわちＲＯＩの輪郭は形状が不規則であり、探索エリア１３０は投影されたＲＯＩ輪郭を取り囲む１グループの“関連”ピクセルによって占められる。
【００３１】
逆方向のピクセルマッチングは、直前のフレーム（ｋ−１）内の別のピクセルに対するすべての“関連”ピクセルのマッピングから構成される。マッピング基準値は色差成分（Ｕ，Ｖ）のローパスウェーブレット係数間のユークリッド距離である。このメトリックは狭いウィンドウの範囲内での近傍探索を通じて最小化される。図２に図示のように、フレームｋ内のピクセル４０を利用して、フレーム（ｋ−１）内の対応するピクセルを囲繞する探索用ウィンドウ５０の範囲内でマッチを発見する。探索用ウィンドウの面積は（２ｒ＋１）2によって示される。但しｒはｄ以上の整数である。ピクセル４０がｘk（ｉ，ｊ）と表される場合、探索用ウィンドウ５０は１組のピクセルｘk-1（ｐ，ｑ）を備えることになる。但し（ｉ−ｒ）≦ｐ≦（ｉ＋ｒ）、（ｊ−ｒ）≦ｑ≦（ｊ＋ｒ）。フレームｋ内の探索エリア１３０内のすべてのピクセルに対して、逆方向探索が実行され、探索用ウィンドウ５０の範囲内のフレーム（ｋ−１）内での対応する最適ピクセルｘoptの発見が図られる。特に、ｗkがフレームｋのローパスバンドであり、かつ、ｗk-1がフレーム（ｋ−１）の同じローパスバンドである場合、最適ピクセルｘoptは下式のように規定される：
【数１】
2006505861.tif 000003
したがって、探索用ウィンドウ５０は１組の可能なマッチとなり、ｗk（ｉ，ｊ）とｗk-1（ｐ，ｑ）間のユークリッド距離の最小化によって色差成分に関するマッチングが達成される。輝度成分Ｙを無視することによって、アルゴリズムは照明の変化に対してさらにロバストなものとなる。成分ｗk（ｉ，ｊ）とｗk-1（ｐ，ｑ）とは色差空間におけるウェーブレット係数に関連することを付記しておく。本願でＵ空間とＶ空間とにおけるウェーブレット係数をｕとｖとして示す場合、ｗはｕまたはｖのいずれかであってもよい。すなわち、好ましくは、２Ｄベクトルが値（ｕ，ｖ）を有することが望ましい。
【００３２】
ＲＯＩ探索における以下のステップは、個々のピクセルｘk（ｉ，ｊ）の領域状態、すなわち、個々のピクセルが画像のバックグラウンド（非ＲＯＩ）に属するか、ＲＯＩに属するかをみつけ出すステップである。ピクセルｘk（ｉ，ｊ）の領域状態は、対応するピクセルｘoptの領域状態に左右されるが、この領域状態は既知のものである。したがって、フレーム（ｋ−１）内の最適ピクセルがＲＯＩ内に存在すれば、対応するピクセルｘk（ｉ，ｊ）もＲＯＩ内にセットされることになる。同様に、フレーム（ｋ−１）内の最適ピクセルがバックグラウンド内に存在すれば、対応するピクセルｘk（ｉ，ｊ）もバックグラウンドピクセルとしてセットされることになる。一連の第１のフレームのＲＯＩを探索アルゴリズムへ送出する必要があること、並びに、第１のフレームのＲＯＩの内側と外側の個々のピクセルの領域状態に適宜マークをつけることができることを付記しておく。
【００３３】
バックグラウンドの状態を含む探索エリア１３０の範囲内の当該ピクセルｘk（ｉ，ｊ）を用いて、フレームｋ内に推定ＲＯＩを画定するマスクが形成される。図３ａはマスク形成後のフレームｋ内の推定ＲＯＩの概略表示である。
【００３４】
好ましくは、最小ユークリッド距離に対する指定上限値を利用して、マッチングが成功したかどうかの判定を行うことが望ましい。例えば、面積強度の平均値に基づいて指定上限値をセットすることができる。式１のｘoptが指定上限値よりも大きければ、当該ｘoptに対応するピクセルｘk（ｉ，ｊ）の領域状態はバックグラウンドとしてセットされることになる。
【００３５】
次のステップはチューニング処理であり、この処理を利用して、推定ＲＯＩの境界ピクセルに基づいてフレームｋ内のＲＯＩの微調整が行われる。チューニング処理の目的は、上記境界ピクセルの周りの近傍探索を通じて任意のエッジ検出を行い、フレームｋ内の最終ＲＯＩの確定を図ることである。本発明によれば、チューニング処理を行うための探索領域は輝度空間におけるＨＬおよびＬＨサブバンド係数から構成され、これらの係数によって垂直方向および水平方向のエッジの抽出がそれぞれ可能となる（図３ｂ）。輝度成分Ｙを利用することによって、ターゲット領域が同じカラータイプの別の領域と接触するときでもエッジのロバストな検出を行うことが可能となる。さらに大きな大きさを持つピクセルはエッジピクセルになる傾向がある。エッジピクセルがバックグラウンドに生じた場合、ＲＯＩの中にエッジピクセルが含まれないうちにエッジピクセルのカラー係数をチェックすることが望ましい。ＲＯＩの輪郭領域の中に異なる色のピクセルが含まれないように注意する必要がある。このようなピクセルは、画像シーケンス全体に対してトラッキングを行うときエラーの拡散を引き起こす可能性がある。
【００３６】
アルゴリズム
フレーム（ｋ−１）のＲＯＩ輪郭をフレームｋへ投影した後、以下のアルゴリズムに基づいてフレームｋ内のＲＯＩの探索が行われる。
フレームｋ内の探索エリア範囲内のすべての“関連する”ピクセルｘk（ｉ，ｊ）に対するループ
個々のｘk（ｉ，ｊ）に対応するフレーム（ｋ−１）内の探索用ウィンドウの画定
すべてのウィンドウピクセルｘk-1（ｐ，ｑ）に対するループ
ユークリッド距離｜ｗk（ｉ，ｊ）−ｗk-1（ｐ，ｑ）｜の計算
ｘoptを特定するための最小ユークリッド距離の選択
ｘoptに基づくｘk（ｉ，ｊ）の領域状態の確定
ｘk（ｉ，ｊ）の領域状態に基づく推定ＲＯＩ境界の確定
推定ＲＯＩの境界ピクセルに対するループ
境界タイプの分類
エッジピクセルを確定するための高周波係数の比較およびカラー係数のチェック
【００３７】
上述のアルゴリズムで使用する算術演算は加算および比較であることを付記しておく。乗算は必要ではない。エンコーダがウェーブレット係数を予め計算するという事実があるため、上記アルゴリズムにおける最も複雑な部分は探索ループとなる。低解像度でトラッキングが行われ、さらに、ターゲットオブジェクトが一般に（圧縮効率に必要な）画像の狭い部分のみを占めるため、ループの平均総数も少なくなる。
【００３８】
本発明によれば、１連の画像フレーム内の１画像フレームの範囲内のターゲット領域のトラッキングを行う方法は、図４に図示のようなフローチャート５００に要約されるものとなる。
【００３９】
図４に図示のように、ステップ５１０でフレーム（ｋ−１）内のＲＯＩ輪郭がフレームｋ上へ投影される。上記投影されたＲＯＩ輪郭を取り囲むフレームｋ内の複数のピクセルを含む探索エリアがステップ５１２で確定される。ステップ５１４で、フレーム（ｋ−１）内の探索用ウィンドウの範囲内に、探索エリアの範囲内の個々のピクセルｘk（ｉ，ｊ）に対応する最適ピクセルｘk-1（ｐ，ｑ）をユークリッド距離に基づいて確定する。ステップ５１６で、対応する最適ピクセルに基づいてｘk（ｉ，ｊ）の領域状態が確定される。ステップ５１８で確定されるように、探索エリアの範囲内のすべてのｘk（ｉ，ｊ）の領域状態が確定されれば、ステップ５２０で、ｘk（ｉ，ｊ）’ｓの領域状態に基づいてフレームｋ内の推定ＲＯＩが確定されることになる。ステップ５２２で、推定ＲＯＩ境界の周りのエッジピクセルの検出を行うことにより、輝度空間での高周波サブバンドを用いてフレームｋ内のＲＯＩの微調整を図る処理が行われる。ステップ５２４で、現在のフレームｋが列の最後のフレームであることが確定されれば、次の列へと処理は続く。現在のフレームｋが列の最後のフレームであることが確定されなければ、処理ループはステップ５１０へ戻り次のフレーム内のＲＯＩが確定される。
【００４０】
ターゲット領域トラッキング法の実行が可能な画像符号化システムが図５に示されている。画像符号化システム６００はエンコーダ６１０およびデコーダ６３０を備えている。図５に示すように、３つのカラー・プレーン（Ｒ、Ｇ、Ｂ）に個々に分離することが可能な複数のデジタル画像フレームから成る画像シーケンス７００が変換器モジュール６１２へ出力される。変換器６１２はこのデジタル画像フレームをＹＵＶフォーマットで一連のデジタル画像フレーム７１０に変換する。順方向ウェーブレット変換モジュール６１４を用いて、各フレーム内のピクセルのウェーブレット係数へ画像フレーム７１０を変換する処理が種々のサブバンドで行われる。変換済み画像データ７２０はマルチ解像度割当てモジュール６１６へ出力され、このモジュール６１６で、ピクセル当たりさらに多くのビットがフレームの範囲内の重要な画像領域に割り当てられる。好ましくは、第１のフレーム内の個々の重要な画像領域の境界をＲＯＩトラッキングモジュール６１８へ出力して、後続フレーム内の重要な画像領域を自動的にトラッキングできるようにすることが望ましい。ＲＯＩトラッキングモジュール６１８は、本発明によるＲＯＩトラッキングアルゴリズムを用いて後続フレーム内の重要な画像領域を確定するものである。符号化と圧縮とを行うための符号化用モジュール６２０へマルチ解像度の画像データ７３０が送られる。コードストリーム７４０を実時間で伝送したり、将来利用するために格納したりすることが可能となる。受信端側で、デコーダ６３０はコードストリーム７４０に基づいて入力画像シーケンス７００の再構成を行う。図示のように、復号化用モジュール６３２を利用して、コードストリーム７４０に基づいて変換されたデータの再構成が行われる。再構成の対象となる変換済みデータ７５０は逆ウェーブレット変換用モジュール６３４によってＹＵＶ空間で一連のデジタル画像フレーム７６０に変換される。変換用モジュール６３６による変換後、画像データは３つのカラー・プレーン（Ｒ、Ｇ、Ｂ）内で一連のデジタル画像７７０になる。
【００４１】
シミュレーション結果
３つの異なる画像シーケンス“ＭＯＢＩＬＥ”、“ＦＯＲＥＭＡＮ”および“ＩＲＥＮＥ”に対して本発明によるＲＯＩトラッキング法を適用した。すべてのシーケンスは、ＣＩＦ（共通中間フォーマット）サイズおよび毎秒３０フレームのレートを有するシーケンスである。低いレートで処理を行うために、“ＭＯＢＩＬＥ”および“ＦＯＲＥＭＡＮ”シーケンスでは個々のトラッキング反復時に３個のフレームをスキップし、毎秒７．５フレームのレートでトラッキングを行った。“ＩＲＥＮＥ”シーケンスでは元のフレームレートが保持される。
【００４２】
“ＭＯＢＩＬＥ”シーケンスでは、ＲＯＩは狭い白い囲繞領域を持つ赤いボールである。このボールは、前後に回転運動と並進運動を受け、同様のカラーの別の領域と接触する。
【００４３】
“ＦＯＲＥＭＡＮ”シーケンスでは、トラッキング対象の人間の顔がポーズと位置とを変えた。上記シーケンスの終端部で場面の急激な変化が生じ、ターゲット領域が完全に塞がれた。
【００４４】
“ＩＲＥＮＥ”シーケンスでは、２つのＲＯＩが選択され、個々のＲＯＩは話者の異なる手の上に存在する。これらの手は、位置、ポーズおよびカラーが比較的高速な変動を示した。これらの手はまた首領域などの別のスキン領域とオーバーラップし、このオーバーラップのためにトラッキングがさらに困難なものとなった。
【００４５】
第１のフレームにおいて、ＲＯＩはシミュレーション時にアルゴリズムへ送出される。個々の反復時に、直前のフレームのウェーブレット変換のみが用いられる。上記探索は第２の解像度（ＬＬサブバンド）で行われ、６個のピクセルに等しくなるように上限値ｄが選択されるのに対して、探索用ウィンドウのサイズは１６×１６ピクセル（ｒ＝８）である。最小ユークリッド距離に対する上限値は“ＭＯＢＩＬＥ”および“ＦＯＲＥＭＡＮ”シーケンスでは３である。“ＩＲＥＮＥ”シーケンスでは、ＲＯＩ内のカラーの変化を補正するために上記上限値はセットされない。
【００４６】
“ＭＯＢＩＬＥ”シーケンスでは、主な難点としてターゲットと同様のカラーを有する多くのバックグラウンド領域の存在がある。これらの領域のうちのいくつかの領域はこの場面（全体的または部分的包含）では最初現れない。第１のフレームでは、ターゲット領域にはボール全体は含まれない。というのは、ボールの一部のみが現れるからである。上記シミュレーションの結果、トラッキングアルゴリズムはビデオシーケンスを通じてずっとボールを追跡できることが可能であることが示される。しかし、反復処理として、バックグラウンド領域のうちのいくつかの領域がＲＯＩの中に含まれることになる。これらの包含領域はカラーおよび位置の上でターゲット領域に非常に近い領域であり、上記場面の中には最初存在していない。
【００４７】
“ＦＯＲＥＭＡＮ”シーケンスでは、上記アルゴリズムによって、このシーケンスが或る時間中比較的高速に動くとき、顔のポーズの変化にもかわらず、顔のトラッキングを行うその能力が示される。反復処理として、上記アルゴリズムにはＲＯＩ内の首の一部が含まれる。この包括領域は分離エッジを持たない顔と接続される。色成分の類似度に基づいて壁の一部はＲＯＩの中に含まれる。このシミュレーションの結果、上記場面からターゲット領域の最大の閉塞を検出するアルゴリズムの能力も示されることになる。
【００４８】
“ＩＲＥＮＥ”シーケンスでは、毎秒３０フレームのレートで話者の両手のトラッキングが行われる。このようなターゲット領域は、位置、ポーズ（フリッピング（flipping）側および異なる指の位置）並びにカラーの著しい変動に起因して、トラッキングを行うのが非常に困難となる。カラー変動の問題を解決するために、最小ユークリッド距離に対する上限が緩和される。フレームのなかには、両手がフリップされた（flipped）側を持つものもある。しかし、アルゴリズムはそのままＲＯＩのトラッキングを行うことが可能であり、右手の一部だけが欠落したものとなる。フレームのなかには、首と顔とのオーバーラップ部分にもかかわらず、良好なトラッキングパフォーマンスを達成するものもある。両手が別のスキン領域から動いて離れるとき、バックグラウンドと関連づけられた右手のかなりの部分が欠落することになる。最終的に、右手側のＲＯＩ全体が消滅する。これは主として、右手が比較的高速に動くということに起因して生じるものであり、したがって、トラッキングを行うことがさらに困難となる。トラッキングアルゴリズムの中にフィードバック特性を含めて、ＲＯＩの消滅を防ぐようにすることも可能であることを付記しておく。例えば、一定数のフレームにわたってＲＯＩが次第に狭くなっていく場合、探索エリアと探索用ウィンドウとを広くすることが可能である。
【００４９】
本発明によるターゲット領域のトラッキング法の主な利点として、このトラッキング法が関心領域に関する直前情報に依拠しないという点が挙げられる。例えば、人間の顔のトラッキングを行う際に、上記アルゴリズムはカラー値などの固有の特徴および人間の目と口の特異性に依拠することはない。通常、特定の情報はターゲットのトレーニングを通じてオフラインで要求される。本発明によるトラッキング用アルゴリズムは、ユーザが指定する非特定の関心領域に適したものである。
【００５０】
ＲＯＩトラッキングは、ＪＰＥＧ２０００などのような画像コーデックにおける有効な機能である。この機能によって、画像フレームの符号化を行いながら、画像フレーム内の別の領域よりも多数のビットの割当てをターゲット領域で行うことが可能となる。したがって、ターゲット領域の周りで高い視覚品質の達成が可能となる。
【００５１】
本発明の好ましい実施形態と関連して本発明について説明したが、本発明の範囲から逸脱することなく、本発明の形態と細部における上述の、並びに、その他の変更、省略および偏りを行うことも可能であることは当業者の理解するところであろう。
【図面の簡単な説明】
【００５２】
【図１】直前の画像フレーム内のＲＯＩの境界を現在の画像フレームに投影する例示の概略表示である。
【図２】ピクセルマッチングを行うために用いる現在の画像フレーム内の投影済みのＲＯＩ境界を取り囲む領域内のピクセルを例示する概略表示である。
【図３ａ】現在の画像フレーム内の推定ＲＯＩを例示する概略表示である。
【図３ｂ】水平方向と垂直方向のエッジ検出を例示する概略表示である。
【図４】本発明によるＲＯＩ探索処理を例示するフローチャートである。
【図５】本発明によるＲＯＩのトラッキングが可能な画像符号化システムを示すブロック図である。
【図１】
2006505861.tif 000004
【図２】
2006505861.tif 000005
【図３ａ】
2006505861.tif 000006
【図３ｂ】
2006505861.tif 000007
【図４】
2006505861.tif 000008
【図５】
2006505861.tif 000009
【国際調査報告】
2006505861.tif 000010