(57)【要約】【課題】画像内のカラーピクセルをセグメント化する方法を提供する。【解決手段】まず、大域的特徴を画像から抽出する。次に、すべてのピクセルが画像からセグメント化されるまで、以下のステップを繰り返す。ピクセルの勾配絶対値に基づいて、画像内でシードピクセルのセットを選択する。シードピクセルのセットに対して局所的特徴を画定する。大域的および局所的特徴から距離関数のパラメータおよびしきい値を画定する。距離関数に従ってシードピクセルの周りに領域を成長させ、その領域を画像からセグメント化する。
2006513468.tif 000002
【特許請求の範囲】
【請求項１】
画像内のピクセルをセグメント化する方法であって、
前記画像から大域的特徴を抽出することと、
前記画像内でシードピクセルのセットを選択することと、
前記シードピクセルのセットに対して局所的特徴を画定することと、
前記大域的および局所的特徴から距離関数のパラメータおよびしきい値を求めることと、
前記距離関数に従って前記シードピクセルの周りに領域を成長させることと、
前記画像から前記領域をセグメント化することと、
残りのピクセルがなくなるまで前記選択すること、画定すること、成長させることおよびセグメント化することを繰り返すことと
を含む画像内のピクセルをセグメント化する方法。
【請求項２】
前記大域的および局所的特徴は、前記ピクセルの色値である請求項２に記載の方法。
【請求項３】
前記成長させることは、重心リンケージによる請求項１に記載の方法。
【請求項４】
前記距離関数は、前記色値に基づく請求項２に記載の方法。
【請求項５】
前記しきい値は、前記領域の均質性を決定する請求項１に記載の方法。
【請求項６】
前記ピクセルに対して色勾配絶対値を計測することと、
前記シードピクセルのセットに対して最小の勾配絶対値を有するピクセルを選択することと
をさらに含む請求項１に記載の方法。
【請求項７】
前記局所的特徴は、色ベクトルクラスタリングにより求められる請求項１に記載の方法。
【請求項８】
前記局所的特徴は、ヒストグラムモダリティにより求められる請求項１に記載の方法。
【請求項９】
前記局所的特徴は、ＭＰＥＧ−７ドミナントカラー記述子により求められる請求項１に記載の方法。
【請求項１０】
前記シードピクセルのセットは、単一のピクセルを含む請求項１に記載の方法。
【請求項１１】
前記色勾配絶対値は、空間的に対向する隣接ピクセルに対して計測される請求項６に記載の方法。
【請求項１２】
前記距離関数のパラメータを求めるために、前記画像の色ベクトルをクラスタリングすることをさらに含む請求項１に記載の方法。
【請求項１３】
前記距離関数のパラメータを求めるために、前記色ベクトルから色ヒストグラムを構築することをさらに含む請求項１２に記載の方法。
【請求項１４】
ドミナントカラー記述子により前記色値を表現し、前記ドミナントカラー記述子から前記距離関数のパラメータを求めることをさらに含む請求項１に記載の方法。
【請求項１５】
各ピクセルに対して色勾配絶対値を計算することと、
最小の色勾配絶対値に従って前記シードピクセルのセットを選択することと、
前記シードピクセルのセットの色値に従って領域重心ベクトルを初期化することと
をさらに含む請求項１に記載の方法。
【請求項１６】
前記画像の各色チャネルに対して色ヒストグラムを構築することと、
局所ウィンドウ内の移動平均フィルタによって前記色ヒストグラムを平滑化することと、
前記色ヒストグラムの局所極大を求めることと、
各局所極大の周りの局所近傍を削除することと、
局所極大の総数を取得することと、
現在の極大と直前および直後の極大との間の極大間距離を計算することと、
前記極大間距離に従って前記距離関数のパラメータを求めることと、
前記距離関数に対する上限しきい値関数を求めることと
をさらに含む請求項１に記載の方法。
【請求項１７】
前記シードピクセルのセットを含む前記画像の部分に対してＭＰＥＧ−７ドミナントカラー記述子を取得することと、
前記ＭＰＥＧ−７ドミナントカラー記述子を、絶対値を有するチャネルセットにグルーピングすることと、
前記絶対値に関して前記チャネルセットを順序付けすることと、
対ごとの距離に従ってチャネルセットを併合することと、
チャネルセットの総数を求めることと、
順序付けされ併合された前記チャネルセットから極大間距離を計算することと、
前記極大間距離に従って前記距離関数のパラメータを求めることと、
前記距離関数に対する上限しきい値関数を求めることと
をさらに含む請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には画像のセグメント化に関し、特に、ピクセルの領域を成長させることによって画像をセグメント化することに関する。
【背景技術】
【０００２】
領域成長は、画像およびビデオのセグメント化のための最も基本的で既知の方法の１つである。従来技術において、いくつかの領域成長技法が既知である。例えば、色距離しきい値の設定（Taylor等著「Color Image Segmentation Using Boundary Relaxation」、ICPR, Vol.3, pp.721-724, 1992）、しきい値の反復的緩和（Meyer著「Color image segmentation」、ICIP, pp.303-304, 1992）、ユーザ設定しきい値を用いた距離メトリック定式化を解くための高次元へのナビゲーション（Priese等著「A fast hybrid color segmentation method」、DAGM, pp.297-304, 1993）、所定の色距離しきい値を用いた階層的連結成分分析（Westman等著「Color Segmentation by Hierarchical Connected Components Analysis with Image Enhancements」、ICPR, Vol.1, pp.796-802, 1990）がある。
【０００３】
画像セグメンテーションのための領域成長方法において、画像内である近傍制約を満たす隣接ピクセルが、色やテクスチャのようなピクセルの属性が十分に類似している場合に併合される。類似性は、局所的または大域的な均質性基準を適用することによって確定することができる。通常、均質性基準は、距離関数および対応するしきい値を用いて実施される。セグメンテーション結果に最も重大な効果を及ぼすのは、距離関数およびそのしきい値の定式化である。
【０００４】
ほとんどの方法は、すべての画像に対して単一の所定しきい値を使用するか、または、特定の画像および特定の画像部分に対して特定のしきい値を使用するかのいずれかである。しきい値適応は、かなりの量の処理、ユーザインタラクション、およびコンテクスト情報を伴うことがある。
【０００５】
ＭＰＥＧ−７は、種々のマルチメディア情報、すなわちコンテンツの記述を標準化している。ISO/IEC JTC1/SC29/WG11 N4031,「Coding of Moving Pictures and Audio」, March 2001、を参照されたい。この記述は、ユーザにとって関心のあるコンテンツの効率的な索引付けおよび検索を可能にするためにコンテンツに関連づけられる。
【０００６】
コンテンツの要素は、画像、グラフィクス、３Ｄモデル、オーディオ、音声、ビデオ、およびこれらの要素がマルチメディアプレゼンテーションにおいてどのように結合されるかに関する情報を含み得る。ＭＰＥＧ−７記述子の１つは、画像の色属性を特徴づける。Manjunath等著「Color and Texture Descriptors」、IEEE Transactions on Circuits and Systems for Video Technology, Vol.11, No.6, June 2001、を参照されたい。
【０００７】
ＭＰＥＧ−７標準で定義されているいくつかの色記述子のうちで、ドミナントカラー記述子は、対象領域内の色情報を特徴づけるのに少数の色で十分であるような局所的オブジェクトまたは画像領域の特徴を表現するのに非常に適している。例えば、旗の画像やカラー商標画像では、画像全体にも適用可能である。
【０００８】
画像内の対象領域におけるドミナントカラーのセットが、索引付けおよび検索が容易な画像のコンパクトな記述を提供する。ドミナントカラー記述子は、少数の色を用いて画像の一部または全部を記述する。例えば、青みがかったシャツと赤みがかったズボンを身に着けている人の画像では、青および赤がドミナントカラーであり、ドミナントカラー記述子は、これらの色だけでなく、所与のエリア内でこれらの色を記述する際の精度も含む。
【０００９】
色記述子を決定するためには、まず、画像における色をクラスタリングする。これにより少数の色が得られる。次に、クラスタリングされた色の百分率を計測する。任意選択で、ドミナントカラーの分散を求めてもよい。空間コヒーレンシ値を用いて、画像内で集中した色と分散した色を区別することができる。ドミナントカラー記述子と色ヒストグラムとの間に差があるということは、代表色が、ヒストグラムに対して色空間内で一定であるのではなく、記述子を用いて各画像から求められるということである。したがって、色記述子は、コンパクトであるだけでなく正確である。
【００１０】
一般化Lloydプロセスによる色クラスタの逐次分割によって、ドミナントカラーを求めることができる。Lloydプロセスは、クラスタ中心までの色ベクトルの距離を計測し、クラスタ内で最短距離を有する色ベクトルをグルーピングする。Sabin著「Global convergence and empirical consistency of the generalized Lloyd algorithm」、Ph. D. thesis, Stanford University, 1984、を参照されたい。
【００１１】
以下、クラスタリング、ヒストグラム、およびＭＰＥＧ−７標準についてさらに詳細に説明する。
【００１２】
クラスタリング
クラスタリングとは、パターン（例えば、観測値、データ項目、または特徴ベクトル）を管理なしでクラスタに分類することである。通常のパターンクラスタリング作業は、パターン表現のステップを含む。任意選択で、クラスタリング作業は、特徴の抽出および選択、データドメインに適したパターン近接性尺度の画定（類似性判定）、クラスタリングまたはグルーピング、必要であればデータ抽象化、ならびに必要であれば出力の評価も含み得る。Jain等著「Data clustering: a review」、ACM Computing Surveys、31:264-323, 1999、を参照されたい。
【００１３】
クラスタリングにおける最も困難なステップは、特徴抽出またはパターン表現である。パターン表現とは、クラスの数、利用可能なパターンの数、ならびにクラスタリングプロセスに利用可能な特徴の数、タイプ、およびスケールを指す。この情報の一部は、ユーザによって制御できないことがある。
【００１４】
特徴選択は、クラスタリングにおいて使用するための画像特徴の最も有効なセットを識別するプロセスである。特徴抽出は、入力特徴に対する１つまたは複数の変換を用いて顕著な出力特徴を生成することである。これらの技法の一方または両方を用いて、クラスタリングにおいて使用するための適当な特徴のセットを得ることができる。サイズの小さいデータセットでは、パターン表現は、前の観測値に基づくことができる。しかし、大規模なデータセットの場合、ユーザがクラスタリングにおける各特徴の重要性を追跡するのは困難である。１つの解決法は、パターンに対するできるだけ多数の計測を行い、パターン表現においてすべての計測結果を使用することである。
【００１５】
しかし、反復処理の量のために、クラスタリングにおいて直接に多数の計測結果を使用するのは不可能である。したがって、計測結果を用いてパターンを表現することができるように、これらの計測結果の線形または非線形結合を得るためのいくつかの特徴抽出・選択手法が設計されている。
【００１６】
クラスタリングにおける第２のステップは、類似性判定である。パターン近接性は、通常、パターンの対に対して定義される距離関数によって計測される。さまざまな距離尺度が既知である。２つのパターンの間の類似性を反映するために、単純なユークリッド距離尺度を使用できることが多いが、他の類似性尺度を用いてパターン間の「概念的」類似性を特徴づけることもできる。他の技法として、暗黙的または明示的知識を使用するものがある。ほとんどの知識ベースのクラスタリングプロセスは、類似性判定において明示的知識を使用する。
【００１７】
しかし、不適切な特徴がパターンを表現している場合、類似性計算で使用される知識の質および量にかかわらず、意味のあるパーティションを得ることは不可能である。定性的かつ定量的な特徴の混合を用いて表現されるパターン間の類似性を判定する方式には、例外なく受け入れられているものはない。
【００１８】
クラスタリングにおける次のステップは、グルーピングである。大きく分けて、階層的および分割的という２つのグルーピング方式がある。階層的方式のほうが、用途が広く、分割的方式のほうが、複雑さが少ない。分割的方式は、二乗誤差基準関数を最大化する。最適解を求めるのは困難であるため、この問題への大域最適解を得るために、多数の方式が使用される。しかし、これらの方式は、大規模なデータセットに適用すると計算量が膨大になる。グルーピングステップは、いくつかの方法で実行可能である。クラスタリングの出力は、データがグループに分割されている場合には厳密であるが、各出力クラスタにおける各パターンのメンバーシップの程度が可変である場合にはファジーになり得る。階層的クラスタリングは、クラスタの併合または分割に対する類似性基準に基づいて、一連のネストしたパーティションを生成する。
【００１９】
分割的クラスタリングは、クラスタリング基準を最適化するパーティションを識別する。グルーピング操作のためのさらなる技法として、確率的およびグラフ理論的クラスタリング方法がある。使用目的によっては、パーティションではないクラスタリングがあると有益な場合がある。これは、クラスタが重なり合うことを意味する。
【００２０】
ファジークラスタリングは、この目的に理想的に適している。また、ファジークラスタリングは、混合したデータ型を扱うことができる。しかし、ファジークラスタリングでは、厳密なメンバーシップ値を得ることは困難である。クラスタリングの主観的性質のため、一般的手法ではうまく行かないことがあり、意思決定者を支援するために好適な形式で得られるクラスタを表現することが必要となる。
【００２１】
知識ベースのクラスタリング方式は、直観に訴えるようなクラスタの記述を生成する。定性的特徴と定量的特徴との組合せを用いてパターンが表現される場合であっても、概念と混合特徴とを結びつける知識が利用可能である限り、それらの方式は使用可能である。しかし、知識ベースのクラスタリング方式の実装は、計算量的に高価であり、大規模なデータセットをグルーピングするのに適していない。既知のｋ平均プロセス、およびそのニューラル実装であるコホーネンネットは、大規模データセットに使用される場合に最も成功する。その理由は、ｋ平均プロセスは、実装が簡単であり、複雑さが線形時間であるため計算量的に魅力的だからである。しかし、この線形時間プロセスでさえ、大規模データセットに使用することは実現可能でない。
【００２２】
大規模データセットをクラスタリングするために、増分的プロセスが使用可能である。しかし、それらは順序に依存する傾向がある。分断攻略は、計算量的コストを削減するために適切に活用されてきた発見的方法である。しかし、クラスタリングにおいて意味のある結果を達成するためには、慎重に使用しなければならない。
【００２３】
ベクトルクラスタリング
一般化Lloydプロセスは、クラスタリング技法であり、スカラーの場合を、ベクトルを有する場合に拡張したものである。Lloyd著「Least squares quantization in PCM」、IEEE Transactions on Information Theory, (28):127-135, 1982、を参照されたい。この方法は、何回かの反復を含み、各反復が、より適当な入力状態のパーティションとそれらの重心のセットを再計算する。
【００２４】
プロセスは、入力として、Ｍ個の入力状態のセット（集合）Ｘ＝｛ｘｍ：ｉ＝１、・・、Ｍ｝をとり、出力として、対応する重心ｃｎ：ｎ＝１、・・、Ｎによって表現されたＮ個のパーティションのセットＣを生成する。
【００２５】
プロセスは、初期パーティションＣ１から開始し、以下のステップを反復する：
（ａ）重心ＣＫ＝｛ｃｎ：ｉ＝１、・・、Ｎ｝によって定義されるクラスタのセットを表現するパーティションを所与として、重心を摂動することによってセットＣＫ内の各重心に対して２個の新しい重心を計算し、新しいパーティションセットＣＫ＋１を得る。
（ｂ）重心が各状態により近くなるようなクラスタを選択することによって、各トレーニング状態をＣＫ＋１内のクラスタの１つに再分配する。
（ｃ）重心定義を用いてそれぞれの生成されたクラスタに対して重心を再計算して、新たなコードブックＣＫ＋１を得る。
（ｄ）前のステップで空セルが生成された場合、重心計算の代わりに代替コードベクトル割当てを行う。
（ｅ）最後の反復以降の歪みの変化率がある極小しきい値εより小さくなるまで、ＣＫ＋１に対する平均歪みＤＫ＋１を計算する。
【００２６】
解くべき第１の問題は、初期コードブックをどのように選択するかである。コードブックを生成する最も普通の方法は、発見的に、ランダムに、トレーニングシーケンスから入力ベクトルを選択すること、または分割プロセスを使用することによるものである。
【００２７】
行うべき第２の判断は、どのようにして終了条件を指定するかである。通常、平均歪みを求め、次のようなしきい値と比較する。
【００２８】
【数１】
2006513468.tif 000003
【００２９】
初期コードブックを選択する問題に関連する空セル問題に対するさまざまな解決法がある。１つの解決法は、他のパーティションを分割し、新たなパーティションを空パーティションに再割当てすることである。
【００３０】
ドミナントカラー
画像のドミナントカラーを計算するため、ベクトルクラスタリング手続きを適用する。まず、画像Ｉのすべての色ベクトルＩ（ｐ）が同じクラスタＣ１にある、すなわち単一のクラスタがあると仮定する。ここで、ｐは画像ピクセルであり、Ｉ（ｐ）は、ピクセルｐの色値を表現するベクトルである。色ベクトルは、最も近いクラスタ中心にグルーピングされる。各クラスタＣｎに対して、色クラスタ重心ｃｎは、そのクラスタに属する色ベクトルの値を平均することによって求められる。
【００３１】
歪みスコアを、次式によりすべてのクラスタについて計算する。
【００３２】
【数２】
2006513468.tif 000004
【００３３】
ここで、ｃｎはクラスタの重心であり、ｖ（ｐ）はピクセルｐに対する知覚重みである。知覚重みは、人間の視覚がテクスチャ領域においてよりも滑らかな領域においてのほうが変化に敏感であるという事実を考慮に入れるために、局所ピクセル統計量から計算される。歪みスコアは、色ベクトルからそれらのクラスタ中心までの距離の和である。歪みスコアは、現在の反復後に自己のクラスタを変える色ベクトルの数を計測する。反復的グルーピングは、歪み差が無視できるようになるまで繰り返される。その後、クラスタ総数が最大クラスタ数より少ない場合、それぞれの色クラスタが、中心を摂動することによって２つの新しいクラスタ中心に分割される。最後に、類似の色中心を有するクラスタをグルーピングして、最終的な個数のドミナントカラーを求める。
【００３４】
ヒストグラム
重要なデジタル画像ツールとして、強度または色ヒストグラムがある。ヒストグラムは、画像内のピクセルデータの統計的表現である。ヒストグラムは、画像データ値の分布を示す。ヒストグラムは、それぞれの色値に対していくつのピクセルがあるかを示す。シングルチャネル画像の場合、ヒストグラムは棒グラフに対応し、横軸上の各項目は、ピクセルが有し得る可能な色値の１つである。縦のスケールは、その色値のピクセルの数を示す。すべての縦棒の和は、画像内のピクセルの総数に等しい。
【００３５】
ヒストグラムｈは、ビンのベクトル［ｈ［０］、・・、ｈ［Ｍ］］であり、各ビンｈ［ｍ］は、画像Ｉにおける色範囲ｍに対応するピクセルの数を格納し、Ｍはビンの総数である。すなわち、ヒストグラムは、色ベクトルの集合から正の実数の集合Ｒ＋へのマッピングである。カラーマッピング空間の分割は、同一サイズのビンの場合には規則的である可能性がある。一方、ターゲット分布の性質が既知である場合には、分割は、不規則になる可能性がある。一般的に、ｈ［ｍ］は同一であり、ヒストグラムは、次のように正規化されていると仮定する。
【００３６】
【数３】
2006513468.tif 000005
【００３７】
累積ヒストグラムＨは、次のようなヒストグラムの一種である。
【００３８】
【数４】
2006513468.tif 000006
【００３９】
これは、ｕより小さいすべてのビンに対するカウントを与える。ある意味では、ヒストグラム自身が確率密度関数であると仮定すると、上式は、確率関数に対応する。ヒストグラムは、色値の出現度数を表現し、色分布の確率密度関数とみなすことができる。ヒストグラムは、画像の全体的な強度組成のみを記録している。ヒストグラムプロセスの結果、ある程度の情報の損失があり、画像が大幅に単純化される。
【００４０】
ピクセル操作の重要なクラスとして、画像ヒストグラムの操作に基づくものがある。ヒストグラムを用いると、画像のコントラストを強調し、色分布を等化し、画像の全体的明るさを求めることができる。
【００４１】
コントラスト強調
コントラスト強調では、画像の強度値が、強度値の利用可能なダイナミックレンジを最大限に利用して修正される。画像の強度が０から２Ｂ−１までにわたる場合、すなわちＢビット符号化されている場合、コントラスト強調は、画像の最小強度値を値０に、最大値を２Ｂ−１にマッピングする。与えられたピクセルのピクセル強度値Ｉ（ｐ）をコントラスト強調された強度値Ｉ＊（ｐ）に移す変換は、次式で与えられる。
【００４２】
【数５】
2006513468.tif 000007
【００４３】
しかし、この定式化は、孤立値および画像ノイズに敏感となり得る。より安定で一般的な変換のバージョンは、次式で与えられる。
【００４４】
【数６】
2006513468.tif 000008
【００４５】
定式化のこのバージョンでは、第１のバージョンにおけるｍｉｎおよびｍａｘを表す０％および１００％値の代わりに、それぞれｌｏｗおよびｈｉｇｈとして１％および９９％値を選択してもよい。また、アルゴリズムに対する適切な限界を求めるために、領域からのヒストグラムを用いて領域基底に対してコントラスト強調操作を適用することも可能である。
【００４６】
特定の基準に従って２つの画像を比較する必要がある場合、普通はまず、それらのヒストグラムを「標準」ヒストグラムに正規化する。ヒストグラム正規化技法として、ヒストグラム等化がある。その場合、ヒストグラムｈ［ｍ］を、関数ｇ［ｍ］＝ｆ（ｈ［ｍ］）により、すべての色値に対して一定であるヒストグラムｇ［ｍ］に変える。これは、すべての値が等確率である色分布に対応する。任意の画像に対しては、この結果を近似することのみが可能である。
【００４７】
等化関数ｆ（・）に対して、入力確率密度関数、出力確率密度関数、および関数ｆ（・）の間の関係は、次式で与えられる。
【００４８】
【数７】
2006513468.tif 000009
【００４９】
上記の関係から、ｆ（・）は微分可能であり、∂ｆ／∂ｈ≧０であることが分かる。ヒストグラム等化の場合、ｐｇ（ｇ）＝定数である。これは、次式を意味する。
【００５０】
【数８】
2006513468.tif 000010
【００５１】
ここで、Ｈ［ｍ］は、累積確率関数である。すなわち、確率分布関数が０から２Ｂ−１までに正規化されている。
【００５２】
ＭＰＥＧ−７
ＭＰＥＧ−７標準（正式には「Multimedia Content Description Interface」と称する）は、マルチメディアコンテンツを記述するための標準化されたツールの豊富なセットを提供する。これらのツールは、メタデータ要素ならびにそれらの構造および関係である。これらは、記述子および記述スキームの形式の標準によって定義されている。ツールは、記述、すなわち、インスタンス化された記述スキームおよびそれらに対応する記述子のセットを生成するために使用される。これらにより、検索、フィルタリングおよびブラウジングのようなアプリケーションが、マルチメディアコンテンツに効果的かつ効率的にアクセスすることが可能となる。
【００５３】
記述特徴は、アプリケーションとの関連で意味がなければならないため、ユーザドメインおよびアプリケーションが異なれば、それらの記述特徴も異なる。これは、同じデータが、アプリケーションの分野に合わせて、異なるタイプの特徴を用いて記述されることができることを意味する。視覚データに対する低レベルの抽象化は、形状、サイズ、テクスチャ、色、動きおよび位置の記述となることができる。オーディオデータの場合、低い抽象化レベルは、音楽的なキー、ムードおよびテンポである。高レベルの抽象化は、意味情報（例えば、「この場面では、左側で茶色い犬が吠えており、右側で青いボールが落下し、背景に車が通過する音がする」）を与える。中間レベルの抽象化も存在する可能性がある。
【００５４】
抽象化のレベルは、特徴が抽出されることができる方法に関係する。完全に自動的な方法では、多くの低レベル特徴が抽出されることができる一方、高レベルの特徴は、人間とのより多くのインタラクションを必要とする。
【００５５】
コンテンツに何が示されているかに関する記述を得ることのほかに、マルチメディアデータに関する他のタイプの情報を含むことも必要である。その形態は、使用される符号化フォーマット（例えば、ＪＰＥＧ、ＭＰＥＧ−２）や、全データサイズである。この情報は、コンテンツの出力方法を決定するのに役立つ。コンテンツにアクセスするための条件として、知的財産権情報のレジストリへのリンク、および価格がある場合がある。分類により、コンテンツをいくつかの所定のカテゴリに格付けすることができる。他の関連データへのリンクが検索を支援することができる。ノンフィクションコンテンツの場合、コンテクストが、記録時の状況を明らかにする。
【００５６】
したがって、ＭＰＥＧ−７記述ツールによれば、インスタンス化された記述スキームおよびそれらに対応する記述子のセットとして記述を作成することができる。その例としては、コンテンツの創作および制作プロセスを記述する情報（例えば、監督、タイトル、短編映画）；コンテンツの使用に関連する情報（例えば、著作権ポインタ、使用履歴、放送予定）；コンテンツの記憶特徴の情報（例えば、記憶フォーマット、エンコーディング）；コンテンツの空間、時間または時空間成分に関する構造情報（例えば、シーンカット、領域のセグメンテーション、領域移動トラッキング）；コンテンツ内の低レベル特徴に関する情報（例えば、色、テクスチャ、音色、メロディ記述）；コンテンツによって捕捉されている状況の概念的情報（例えば、オブジェクトおよびイベント、オブジェクト間のインタラクション）；コンテンツを効率的にブラウジングする方法に関する情報（例えば、サマリ、バリエーション、空間および周波数サブバンド）；オブジェクトのコレクションに関する情報；ならびにユーザとコンテンツとのインタラクションに関する情報（例えば、ユーザ基本設定、使用履歴）がある。もちろん、これらすべての記述は、検索、フィルタリング、およびブラウジングのために効率的に符号化される。
【００５７】
領域成長
類似の特性を有する隣接点をグルーピングすることによって、点の領域を反復的に成長させる。原理的には、領域成長法は、距離尺度およびリンケージ戦略を定義することができれば必ず適用可能である。領域成長のいくつかのリンケージ方法が既知である。それらは、距離尺度を求める点の空間関係によって区別される。
【００５８】
単一リンケージ成長では、点は、類似の特性を有する隣接点に結合される。
【００５９】
重心リンケージ成長では、点は、ターゲット領域の重心と現在の点との間の距離を評価することによって領域に結合される。
【００６０】
ハイブリッドリンケージ成長では、点の間の類似性は、直接の隣接点のみを用いるのではなく、その点自体の小近傍内の性質に基づく。
【００６１】
もう１つの手法では、所望の領域内にある点だけでなく、その領域内にない反例点も考慮に入れる。
【００６２】
これらのリンケージ方法は、通常、単一のシード点ｐから出発し、シード点から拡大してコヒーレント領域を満たす。
【発明の開示】
【発明が解決しようとする課題】
【００６３】
画像内の領域を適応的に成長させる新規な方法において、これらの既知の技法を、新たに開発された技法と組み合わせることが望まれる。すなわち、任意の画像またはビデオに適用可能なしきい値および距離関数のパラメータを適応的に求めることが望まれる。
【課題を解決するための手段】
【００６４】
本発明は、色ヒストグラムおよびＭＰＥＧ−７ドミナントカラー記述子を利用した、領域ベースの画像およびビデオセグメンテーションのためのしきい値適応方法を提供する。本方法によれば、領域成長パラメータの適応的割当てが可能となる。
【００６５】
３つのパラメータ割当て技法が提供される。それらは、色ヒストグラムによるパラメータ割当て、ベクトルクラスタリングによるパラメータ割当て、およびＭＰＥＧ−７ドミナントカラー記述子によるパラメータ割当てである。
【００６６】
画像が、重心リンケージ領域成長を用いて領域にセグメント化される。重心リンケージプロセスの目的は、均質な領域を生成することである。均質性は、色組成、すなわち色変動量に関して一様であるという性質として定義される。この定義は、テクスチャおよび他の特徴を含むように拡張することも可能である。
【００６７】
画像の色ヒストグラムは、色密度関数を近似する。この密度関数のモダリティとは、その主成分の数を指す。混合モデル表現では、相異なるモデルの数が領域成長パラメータを決定する。モダリティが高いことは、密度関数の別個の色クラスタの数が多いことを示す。色均質領域の点は、異なるクラスタに属するよりも同じ色クラスタに属する可能性が高い。したがって、クラスタの数は、領域の均質性仕様と相関する。領域が対応する色クラスタは、その領域に対する均質性仕様を決定する。
【００６８】
本発明は、各領域ごとに異なり得る色距離関数のパラメータおよびそのしきい値を計算する。本発明は、適応的領域成長法を提供し、その結果によれば、そのしきい値割当て方法は、従来技術の技法よりも高速かつ頑強である。
【発明を実施するための最良の形態】
【００６９】
重心リンケージ法
本発明は、画像内の類似のピクセルの領域を成長させる方法を提供する。本方法は、画像のシーケンス（すなわちビデオ）に適用してボリュームを成長させることも可能である。領域成長は、画像またはビデオからオブジェクトをセグメント化するために使用可能である。原理的には、領域成長法は、距離尺度およびリンケージ戦略を定義することができれば必ず使用可能である。距離尺度を求めるピクセルの空間関係を区別するいくつかのリンケージ方法について説明する。
【００７０】
重心リンケージ法は、画像の強度が滑らかに変動しており、領域を包囲するような強いエッジが欠けている場合に、領域の「漏洩」が起こらないようにする。重心リンケージ法は、検出可能なエッジ境界が欠けている場合に均質な領域を構築することができるが、この特性は、初期パラメータによっては、滑らかな領域のセグメンテーションを引き起こすことがある。距離尺度のノルムが、かなりの強度変化を距離の大きさに反映させ、小さい差異を抑圧する。
【００７１】
１つの重心統計量として、領域内のピクセル色値の平均をとるものがある。それぞれの新しいピクセルが追加されるたびに、平均は更新される。次第にドリフトする可能性はあるが、領域内のすべての前のピクセルの重みが、このようなドリフトに対するダンパとして作用する。
【００７２】
図１〜図３に示すように、領域成長は、単一のシードピクセルｐ１０１から開始される。これが、コヒーレント領域ｓ３０１（図３参照）を満たすように拡大する。例示したシードピクセル１０１は、任意値「８」を有し、距離しきい値は、任意に「３」に設定されている。本発明による重心リンケージ法では、候補ピクセル２０４を重心値２０２と比較する。現在の領域２０１の境界上の各ピクセル（例えばピクセル２０４）を重心値と比較する。その距離がしきい値より小さい場合、隣接ピクセル２０４を領域に包含し、重心値を更新する。包含プロセスは、領域にそれ以上境界ピクセルを包含することができなくなるまで継続する。なお、重心リンケージは、ピクセルごとの距離を計測するだけである単一リンケージ法とは異なり、領域の漏洩を引き起こさないことに留意されたい。
【００７３】
類似性評価
ピクセルｐとピクセルｑの間の距離を計測するための距離関数Ψ（ｐ，ｑ）は、その距離関数がピクセルｐとｑが類似している場合に低い値を生成し、そうでない場合に高い値を生成するように定義される。ピクセルｐがピクセルｑに隣接している場合を考える。その場合、Ψ（ｐ，ｑ）があるしきい値εより小さい場合に、ピクセルｑは、ピクセルｐの領域ｓに属するとしてよい。次に、ピクセルｑに隣接する別のピクセルが、領域ｓに包含されるかどうかが考慮され、以下同様である。
【００７４】
本発明は、距離関数Ψ（そのパラメータを含む）、およびしきい値εを定義する方法と、領域の属性を更新する手段を提供する。なお、しきい値は、定数に限定されないことに留意されたい。しきい値は、画像パラメータ、ピクセル色値および他の事前の情報の関数であってもよい。
【００７５】
ある距離関数では、個々のピクセルの色値を比較する。図２に示すように、重心リンケージでは、ターゲット領域２０１の重心とピクセルとの間の距離関数Ψ（ｃ，ｐ）を評価することによって、各ピクセルｐを領域ごとの重心ｃと比較する。ここで、現在の「コヒーレント」領域の重心値は７．２である。
【００７６】
距離関数Ψに対するしきい値εは、領域の均質性を決定する。しきい値が小さいと、均一な色を有する複数の小領域を生成してオーバーセグメンテーションを引き起こす傾向がある。他方、しきい値が大きくなると、異なる色の領域が結合し得る。大きいしきい値は、エッジに敏感でなく、アンダーセグメンテーションを生じる。したがって、距離しきい値は、領域の色分散を制御する。色のダイナミックレンジも類似の効果を有する。
【００７７】
最初に、領域ｓは、選択されたシードピクセル１０１のみを含む。別法として、領域の統計をより良好に記述するように、シードピクセルの小さいセットで領域を初期化してもよい。このような初期化により、領域の平均および分散の両方が更新される。領域の分散に応じて、候補ピクセルを領域平均と比較することができる。分散は、シードピクセルの周りの小さいエリアをサンプリングすることによって求めることができる。
【００７８】
適応的領域成長およびセグメンテーション方法
本発明による適応的領域成長およびセグメンテーションの各ステップを図４に示す。重心リンケージ領域成長５００の詳細を図５に与える。
【００７９】
入力画像４００から大域的特徴４０１を抽出する。さらに、色勾配絶対値を求める（４１０）。最小の色勾配絶対値を用いて、シードピクセルのセットｓを選択する（４２０）。
【００８０】
局所的特徴４２１を、シードピクセルのセットに対して画定する。これらの特徴は、以下で詳細に説明するように、色ベクトルクラスタリングによって、ヒストグラムモダリティによって、またはＭＰＥＧ−７ドミナントカラー記述子によって求めることができる。画像全体の大域的特徴と、このシードピクセルセットに対する局所的特徴を用いて、適応的距離関数Ψのパラメータおよびしきい値を画定する（４１５）。
【００８１】
適応した距離関数に関して、シードピクセルセットの周りに領域を成長させる（５００）。成長した領域に応じて、領域をセグメント化する（４３０）。画像内のすべてのピクセルがセグメント化されるまで、次の最小の色勾配絶対値に対してプロセスを繰り返した後、方法は完了する（４４０）。
【００８２】
シードピクセルセットｓは、セットｓが局所近傍内のピクセルを最も良く特徴づけるように選択される（４２０）。セットは、単一のシードピクセルであってもよい。良好な候補シードピクセルは、色勾配絶対値が小さい。したがって、画像４００内の各ピクセルごとに色勾配絶対値｜∇Ｉ（ｐ）｜を計測する（４１０）。色勾配絶対値は、現在のピクセルの空間的に対向する隣接点ｐ−とｐ＋の間の色差を用いて計算される。
【００８３】
【数９】
2006513468.tif 000011
【００８４】
ｘ軸およびｙ軸方向の差の絶対値を加えて全勾配絶対値を求める。他のメトリック、例えば、ユークリッド距離も使用可能である。各軸に対して、色差は、個別の色チャネル差の和として計算される。この場合も、これらの差を計測するために、次式のような絶対値距離ノルム、ユークリッドノルム、または任意の他の距離メトリックを使用可能である。
【００８５】
【数１０】
2006513468.tif 000012
【００８６】
シードピクセルセットは、次式に従って選択される（４２０）。
【００８７】
【数１１】
2006513468.tif 000013
【００８８】
ここで、Ｑは、最初は、画像内の全ピクセルのセットである。領域をシードピクセルセットの周りに成長させた（５００）後、領域をセグメント化し（４３０）、このプロセスを、ピクセルがなくなるまで残りのピクセルに対して繰り返す。
【００８９】
計算を簡単にするため、勾配およびシード選択は、ダウンサンプリングされた画像に対して実施してもよい。
【００９０】
図５に示すように、領域成長５００は次のように進行する。シードピクセルのセットを選択し（４２０）、領域重心におけるシードピクセルの色値ｃ＝Ｉ（ｓ）を次式のように割り当てることによって、成長させるべき領域を初期化する（５０３）。
【００９１】
【数１２】
2006513468.tif 000014
【００９２】
上記において、［ｃＲ，ｃＲ，ｃＲ］および［ＩＲ（ｓ），ＩＧ（ｓ），ＩＢ（ｓ）］は、それぞれ重心ベクトルおよびシードピクセルの値、すなわち赤、緑、青の色値である。シードピクセルはアクティブシェルセットに包含される（５０５）。アクティブシェルセット内の各ピクセルについて、隣接ピクセルをチェックし（５１０）、色距離関数（ＣＤＦ）１０００を評価することによって色距離を計算する（５２０）。ステップ５３０で、その距離が適応しきい値より小さいかどうかを判定する。小さい場合、領域特徴ベクトルを次式に従って更新する（５４０）。
【００９３】
【数１３】
2006513468.tif 000015
【００９４】
ここで、Ｍは、現在のピクセルｐの前に領域に既に包含されているピクセルの個数であり、ｃｍ、ｃｍ＋１はピクセルｐを包含する前および後の領域重心ベクトルである。上式は、重心ベクトルの要素、例えば、赤色チャネルに対して、次式を意味する。
【００９５】
【数１４】
2006513468.tif 000016
【００９６】
分散、モーメント等の他の領域統計量も同様に更新される。ピクセルを領域に包含し（５５０）、新しい隣接ピクセルを求め、アクティブシェルセットを更新する（５６０）。これ以外の場合、残りのアクティブシェルピクセルがあるかどうかを判定する（５７０）。近傍は、４ピクセル、８ピクセル、または他の任意の局所空間近傍に選択することができる。新しいアクティブピクセルがなくなるまで（５７０）、次の反復で残りのアクティブシェルピクセルを評価し（５１０）、画像全体が完了するまで（４４０）、領域をセグメント化する（４３０）。
【００９７】
色ベクトルクラスタリングによる適応的パラメータ割当て
次に、色ベクトルクラスタリングによる適応的パラメータ割当ての細部について、まず、図６を参照して、さらに詳細に説明する。
【００９８】
色ベクトルクラスタリング７００の結果は、色チャネル８１１に関するチャネル射影を用いて再グルーピングされる（８００）。それぞれの色チャネルに対して、いくつかの極大間距離９００を求める。これらの距離を用いて、色距離関数１０００に対するパラメータおよびしきい値εを求める。色距離関数およびしきい値は、重心リンケージ領域成長段階５００において色類似性を求めるために使用される。
【００９９】
図７は、色ベクトルクラスタリング７００をさらに詳細に示している。まず、各ピクセルの色値をベクトル形式で表現するために、入力画像４００をスキャンする（７０１）。これは、入力画像のサブセット７０３、すなわちフル解像度画像をダウンサンプリングしたバージョンを用いて実行してもよい。最初に、すべてのベクトルは同じ単一クラスタに属すると仮定される。色チャネルに対して色ベクトル値の和を計算する（７１０）。次式のように、その和の値をピクセル数で割ることによって、平均値ベクトルｗが得られる（７１５）。
【０１００】
【数１５】
2006513468.tif 000017
【０１０１】
ここで、Ｐは、画像内のピクセルの総数であり、Ｉ（ｐ）＝［ＩＲ（ｐ），ＩＲ（ｐ），ＩＲ（ｐ）］は、ピクセルｐの色値である。クラスタ中心はベクトルｗ＝［ｗＲ，ｗＢ，ｗＧ］である。ここで、ベクトルの各要素は、クラスタの対応する色チャネルに対する平均色値である。ここでの表記は、ＲＧＢ色空間が使用されることを仮定している。他のいかなる色空間も同様に使用可能である。
【０１０２】
平均値ベクトル７１５から、平均値ベクトル値を小さい値δで摂動すること（７２０）によって、次の２個のベクトルが得られる（７３０）。
【０１０３】
【数１６】
2006513468.tif 000018
【０１０４】
互いに異なる２個のクラスタ中心ｗ−およびｗ＋を、ランダムに、または他の手段によって、初期化する（７３０）。初期歪みスコアＤ（０）７３１は、０に設定される。それぞれの色ベクトルＩ（ｐ）に対して、その色ベクトルからそれぞれの中心までの距離を計測し、各ベクトルを最も近い中心にグルーピングする（７４０）。そして、その新しいグルーピングを用いて、クラスタ中心を再計算する（７４５）。次に、同じクラスタ内の全距離を計測する歪みスコアＤ（ｉ）を求める（７５０）。現在の歪みスコアと前の歪みスコアの差７５５が歪みしきい値Ｔより大きい場合、クラスタ中心を再グルーピングして再計算する（７６０）。
【０１０５】
そうでない場合、クラスタ数が最大値Ｋより小さい場合には（７７０）、クラスタ中心を小さい値だけ摂動することによって各クラスタを２個の新しいクラスタに分割してから（７５５）、グルーピングステップ７８０に進み、さもなければ終了する。
【０１０６】
チャネル射影
図８Ａは、チャネル射影８００をさらに詳細に示している。クラスタリングから、クラスタ中心７９０が得られる。クラスタ中心は、色チャネルに対応するセット８１１に再グルーピングされる（８１０）。３個のセット、例えば、ＲＧＢ色値のそれぞれに対して１つずつのセットがある。次に、各セットの要素を、その要素の絶対値に関して小さいほうから大きいほうへという順序で並べて（８２０）リストを作る（８２１）。順序リスト８２１の要素は、それらの要素間の距離が非常に小さい場合、すなわち次式のように、上限しきい値τより小さい場合に、併合される（８３０）。
【０１０７】
【数１７】
2006513468.tif 000019
【０１０８】
ここで、ｒｋは、色チャネルに対する順序リストのｋ番目の要素を表す。ここでの表記では、一般性を失うことなく、赤チャネルが用いられている。
【０１０９】
図８Ｂは、併合８００をさらに詳細に示している。併合は、各リスト、すなわち各チャネルのＮ個の要素に対して独立に実行される。リストの２個の連続する要素ｒｋおよびｒｋ＋１を選択し（８３２）、それらの２個の要素間の距離を計算する（８３３）。距離が上限しきい値τより小さい場合、平均値を計算し、現在の要素ｒｋを、計算された単一の平均値で置き換える（８３４）。要素ｒｋ＋１より大きいインデックス値を有するリスト要素を左にシフトする（８３５）。リストの最終要素を削除する（８３６）。この置換は、リスト内の要素の数を減少させる（８３８）。併合操作は、対応するリスト内の要素の数を減少させるので、併合段階後の要素の総数ＮＲは、リストの初期サイズＮより小さくなり得る。
【０１１０】
極大間距離
図９は、極大間距離ｌ−およびｌ＋を求める方法を示している。色値の順序付き要素８３１間の極大間距離は、各チャネルごとに独立に求められる。
【０１１１】
併合８００の後、それぞれの色チャネル、例えば、次式では赤色チャネルに対して、次式に従ってクラスタ中心から２つの距離９０１を求める。
【０１１２】
【数１８】
2006513468.tif 000020
【０１１３】
これらの距離は、リスト内で、現在の極大値ｌｍと、最も近い小さい側の極大値ｌｍ−１および大きい側の極大値ｌｍ＋１との間の中間を表す。
【０１１４】
標準偏差に基づくスコアも、次式に従って計算される（９０２）。
【０１１５】
【数１９】
2006513468.tif 000021
【０１１６】
ここでｒｍｅａｎは、対応するそれぞれの色チャネルに対する極大間距離の平均である。
【０１１７】
【数２０】
2006513468.tif 000022
【０１１８】
平均ｒｍｅａｎは、ｌ−からも同様に計算することができる。定数ＫＲは、正規化のための乗数である。ＫＲ＝２．５の場合、λＲはすべての距離の９５％を表す。
【０１１９】
色距離関数
図１０および図１１は、色距離関数定式化１１００の詳細を示している。領域特徴ベクトル１０４０、および候補ピクセル１０５０を、領域成長法５００（図５および図１０参照）によって供給する。色距離１１１０または１１２０が、候補ピクセルと現在の領域について求められる。
【０１２０】
極大間距離９００から、ステップ１００５および１０２０によって、しきい値εおよび距離Ψを求める。ラムダ（λｋ、ここでｋ：ＲＧＢ）は、極大間距離に基づく標準偏差値を表す。値ＮＲ、ＮＧ、ＮＢは、併合後の対応するリスト内の要素の数である。
【０１２１】
対数に基づく距離関数は、項１１２０を使用して、単一チャネル内の非常に大きい差を非線形にスケーリングすることによって、色評価を小さい色差に対して敏感にする。距離パラメータｌｋ，ｃ（ここでｋ：ＲＧＢ）は、次式に従って選択される（１０２０）（上記参照）。
【０１２２】
【数２１】
2006513468.tif 000023
【０１２３】
この評価は、すべてのチャネルが中程度の距離を有する場合には、より大きい距離値を返す。１つのチャネルのみが大きい差を有し、他のチャネルにはあまり差がない場合、返される値は小さくなる。
【０１２４】
Ｎｋによる重み付けは、色チャネルがより多くの区別できる特性を有する場合、すなわち、チャネル内により多くの異なる色情報がある場合に、その色チャネルに高い寄与を与える。距離値は、現在のピクセル色値が属する１Ｄクラスタの幅ｌｋでもスケーリングされる。これにより、それぞれの１Ｄクラスタに関して距離項の等しい正規化が可能となる。
【０１２５】
対数項が選択されるのは、それが小さい色差に敏感である一方で、単一チャネル内の比較的大きい色差に対して誤った距離を生じないためである。ロバストエスティメータと同様に、対数項は、色距離を線形または指数関数的に増幅しない。これに対して、距離の大きさが小さい場合、距離関数は適度に増大するが、極端に偏った距離に対しては同一にとどまる。チャネル距離は、より多くの異なる色を有するチャネルがセグメンテーションのためにより多くの情報を提供することを考慮して、重み付けされる。
【０１２６】
チャネル内のドミナントカラーの総数に距離項を乗じることにより、さらなる詳細、すなわち、セグメンテーションのために複数のドミナントカラーを供給するチャネルの寄与を増大させる。距離が１１１０によって計算される場合、距離しきい値は、次式のように割り当てられる。
【０１２７】
【数２２】
2006513468.tif 000024
【０１２８】
式１１２０が使用される場合、しきい値は、次式のように割り当てられる。
【０１２９】
【数２３】
2006513468.tif 000025
【０１３０】
スカラーαは、感度パラメータの役割を果たす。
【０１３１】
ヒストグラムモダリティによる適応的パラメータ割当て
図１２は、独立の色チャネルヒストグラム極大を用いた適応的領域を示している。再び画像またはビデオ４００から出発する。各チャネルごとに、色ヒストグラム１３０２を計算する（１３００）。ヒストグラムを平滑化し（１４００）、それらのモダリティを求める（１５００）。ヒストグラムモダリティから極大間距離を求める（９００）。領域成長５００は前述の通りである。
【０１３２】
図１３Ａおよび図１３Ｂは、フル解像度入力画像７０１のチャネル１３０１から、または入力画像４００のサブサンプリングされたバージョン７０２から、ヒストグラム１３０２を構築する方法を示している。ヒストグラム１３０２は、ｘ軸に沿って色値ｈをとり、ｙ軸に沿って、各色値に対するピクセル数Ｈ（ｈ）１３１５をとる。各画像ピクセル１３１０に対して、その色ｈ１３１５を求め、次式に従って、対応する色ビン内の数１３２０をインクリメントする。
【０１３３】
【数２４】
2006513468.tif 000026
【０１３４】
図１４Ａおよび図１４Ｂは、次式に従って、入力ヒストグラム１３０２をウィンドウ［−ａ，ａ］内で平均化して（１４１０）平滑化ヒストグラム１４０２を提供する方法を示している。
【０１３５】
【数２５】
2006513468.tif 000027
【０１３６】
図１５Ａおよび図１５Ｂは、ヒストグラムモダリティ１５５０を求める方法を示している。セットＵは、可能な色値の範囲、すなわち、８ビット色チャネルの場合には［０，２５５］である。ヒストグラム１４２０に対するセットＵ内の局所極大を求める（１５１５）ためには、残りのセットＵ内の大域極大を求め、極大の個数を１つ増大させる。現在の極大の周りのウィンドウ［−ｂ，ｂ］内の、セットＵから近い値を削除し（１５２０）、極大の数を更新する（１５３０）。セットＵ内の点がなくなるまで繰り返す（１５４０）。この操作を各色チャネルについて実行する。
【０１３７】
図１６Ａおよび図１６Ｂは、極大間距離１５８０、１５９０を計算する方法を示している。それぞれの局所極大に対して、前および次の極大との間の２つの距離を計算する（１５７５）。局所極大ｈ＊を順に処理し（１５６０）、各極大１５７０に対して、距離ｌ−およびｌ＋を計算する（１５７５）。
【０１３８】
【数２６】
2006513468.tif 000028
【０１３９】
また、標準偏差に基づくスコアは、次式により得られる。
【０１４０】
【数２７】
2006513468.tif 000029
【０１４１】
ここで、ｈｍｅａｎは、距離の平均である。
【０１４２】
【数２８】
2006513468.tif 000030
【０１４３】
これらの距離は、本質的に、局所極大の周りのピークの幅に対応する。上記の距離を用いて極大間距離が得られる。これは、図９について説明したプロセスと類似しており、ヒストグラム値ｈで色値ｃを置き換えたものになっている。カラー画像５０１から、各チャネル１３０１ごとに、極大の総数（Ｎ）１７０１の和をとる（１３３０）ことによりイプシロンε１０３０を求め、前述の通りに進行する。
【０１４４】
ＭＰＥＧ−７ドミナントカラー記述子による適応的パラメータ割当て
図１７は、ＭＰＥＧ−７ドミナントカラー記述子を用いた適応的領域成長法を示している。この場合も、図６および図１２との類似性に留意されたい。本図は、ＭＰＥＧ−７ドミナントカラー記述子を用いて色距離しきい値１０３０および色距離関数パラメータ１０００をカラー画像から求める方法を示している。前述のように、画像の対象領域におけるドミナントカラーのセットは、索引付けおよび検索が容易な画像のコンパクトな記述を提供する。ドミナントカラー記述子は、少数の色を用いて画像の一部または全部を記述する。
【０１４５】
ここで、ＭＰＥＧ記述子１７５０が、画像に対して、または色距離が必要な画像の部分に対して、利用可能であると仮定する。チャネル射影８００の後、各チャネル８１１ごとに、ドミナントカラー間距離１６００を計算する。各チャネルに対するこれらの距離を用いて、色距離関数のパラメータ１０００およびそのしきい値１０３０を求める。また、重心リンケージ領域成長プロセス５００も示されている。ＭＰＥＧ−７は、画像の最も目立つ色の数、値、および分散を指定するドミナントカラー記述子をサポートする。
【０１４６】
図１８Ａおよび図１８Ｂは、図８に示したのと同様にして、チャネル射影１８００をさらに詳細に示している。ドミナントカラー１８０１の対応する要素を同じセットに入れ（１８１０）、絶対値に関して並べ替える（１８２０）。近い値を併合する（１８３０）。ドミナントカラー間距離１６００を、図９について説明したように求め、色距離しきい値および色距離関数を、図１０および図１１に示したように求める。
【０１４７】
以上、好ましい実施形態を例として本発明を説明したが、種々の他の適応および変更を本発明の精神および範囲内においてなし得ることは理解すべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内に含まれるすべてのそのような変形および変更を包含することである。
【図面の簡単な説明】
【０１４８】
【図１】領域へと成長するピクセルのブロック図である。
【図２】含まれるべきピクセルのブロック図である。
【図３】コヒーレント領域のブロック図である。
【図４】本発明による領域成長およびセグメンテーションの流れ図である。
【図５】重心リンケージ領域成長の流れ図である。
【図６】色ベクトルクラスタリングを用いた適応的パラメータ選択の流れ図である。
【図７】クラスタ中心を求めるための流れ図である。
【図８Ａ】チャネル射影の流れ図である。
【図８Ｂ】チャネル射影の流れ図である。
【図９】極大間距離を求めるための流れ図である。
【図１０】色距離のパラメータを求めるための流れ図である。
【図１１】色距離定式化の流れ図である。
【図１２】色ヒストグラムを用いた適応的パラメータ選択の流れ図である。
【図１３Ａ】色ヒストグラム構築を示す。
【図１３Ｂ】色ヒストグラム構築を示す。
【図１４Ａ】ヒストグラム平滑化を示す。
【図１４Ｂ】ヒストグラム平滑化を示す。
【図１５Ａ】局所極大の位置判定を示す。
【図１５Ｂ】局所極大の位置判定を示す。
【図１６Ａ】ヒストグラム距離定式化を示す。
【図１６Ｂ】ヒストグラム距離定式化を示す。
【図１７】ＭＰＥＧ−７記述子を用いた適応的領域成長の流れ図である。
【図１８Ａ】ＭＰＥＧ−７記述子を用いたチャネル射影の流れ図である。
【図１８Ｂ】ＭＰＥＧ−７記述子を用いたチャネル射影の流れ図である。
【図１】
2006513468.tif 000031
【図２】
2006513468.tif 000032
【図３】
2006513468.tif 000033
【図４】
2006513468.tif 000034
【図５】
2006513468.tif 000035
【図６】
2006513468.tif 000036
【図７】
2006513468.tif 000037
【図８Ａ】
2006513468.tif 000038
【図８Ｂ】
2006513468.tif 000039
【図９】
2006513468.tif 000040
【図１０】
2006513468.tif 000041
【図１１】
2006513468.tif 000042
【図１２】
2006513468.tif 000043
【図１３Ａ】
2006513468.tif 000044
【図１３Ｂ】
2006513468.tif 000045
【図１４Ａ】
2006513468.tif 000046
【図１４Ｂ】
2006513468.tif 000047
【図１５Ａ】
2006513468.tif 000048
【図１５Ｂ】
2006513468.tif 000049
【図１６Ａ】
2006513468.tif 000050
【図１６Ｂ】
2006513468.tif 000051
【図１７】
2006513468.tif 000052
【図１８Ａ】
2006513468.tif 000053
【図１８Ｂ】
2006513468.tif 000054
【国際調査報告】
2006513468.tif 000055
2006513468.tif 000056
2006513468.tif 000057