(57)【要約】画像フレームにおける画素を適応的にセグメント化する方法(100)及びシステム(600)を開示する。方法は、画素を少なくとも1つの第１領域に選択基準(110)によってセグメント化する工程、関連した第１領域内部の各画素に関連した情報に基づいて選択基準(150)を精緻化する工程、及び画像画素を少なくとも1つの第２領域に精緻化選択基準(150)に基づいてセグメント化する工程(160)を備える。
2006510107.tif 000002
【特許請求の範囲】
【請求項１】
画像フレームにおける画素を適応的にセグメント化する方法であって：
該画素を少なくとも１つの第１領域に選択基準に基づいてセグメント化する工程；
関連した第１領域内部の該画素の各々に関連した情報に基づいて該選択基準を精緻化する工程；及び
前記画像画素を少なくとも１つの第２領域に該精緻化選択基準に基づいてセグメント化する工程；
を備えることを特徴とする方法。
【請求項２】
請求項1記載の方法であって、該選択基準が：
色確率関数、テクスチャ確率関数、及び位置確率関数を有する群から選択される確率関数に関連して判定される確率関数であることを特徴とする方法。
【請求項３】
請求項2記載の方法であって、該位置確率関数が：
前記画像の既知部分に関連することを特徴とする方法。
【請求項４】
請求項3記載の方法であって、該既知画像部分が：
前記画像の上半分に関連することを特徴とする方法。
【請求項５】
請求項2記載の方法であって、該色確率関数が：
YUV領域における、色と輝度とを備える群に関連することを特徴とする方法。
【請求項６】
請求項2記載の方法であって、該テクスチャ確率関数が：
隣接する画素群に関連することを特徴とする方法。
【請求項７】
請求項3記載の方法であって、該既知画像部分が：
前記画像であることを特徴とする方法。
【請求項８】
請求項2記載の方法であって、該選択基準を精緻化する工程が：
該選択確率関数の各々に関連した閾値基準を判定する工程；
該閾値基準を満たす該画素を識別する工程；
更新確率関数を該選択確率関数毎に該識別画素に基づいて判定する工程；及び
該精緻化選択基準を該更新確率関数に関して判定する工程；
を備えることを特徴とする方法。
【請求項９】
請求項8記載の方法であって、該閾値基準が：
該選択基準の既知の因数であることを特徴とする方法。
【請求項１０】
請求項9記載の方法であって、該既知の因数が：
該選択確率関数の分布に基づくものであることを特徴とする方法。
【請求項１１】
画像フレームにおける画素を適応的にセグメント化するシステムであって：
該画素を少なくとも１つの第１領域に選択基準に基づいてセグメント化する手段；
関連した領域内部の該画素の各々に関連した情報に基づいて該選択基準を精緻化する手段；及び
前記画像画素を少なくとも１つの第２領域に該精緻化選択基準に基づいてセグメント化する手段；
を備えることを特徴とするシステム。
【請求項１２】
請求項11記載のシステムであって、該選択基準が：
色確率関数、テクスチャ確率関数、及び位置確率関数を有する群から選択される少なくとも１つの確率関数に関連して判定される確率関数であることを特徴とするシステム。
【請求項１３】
請求項12記載のシステムであって、該位置確率関数が：
前記画像の既知部分に関連することを特徴とするシステム。
【請求項１４】
請求項13記載のシステムであって、該既知画像部分が：
前記画像の上半分に関連することを特徴とするシステム。
【請求項１５】
請求項12記載のシステムであって、該色確率関数が：
YUV領域における、色と輝度とを備える群に関連することを特徴とするシステム。
【請求項１６】
請求項12記載のシステムであって、該テクスチャ確率関数が：
隣接する画素群に関連することを特徴とするシステム。
【請求項１７】
請求項13記載のシステムであって、該既知画像部分が：
前記画像であることを特徴とするシステム。
【請求項１８】
請求項12記載のシステムであって、更に：
該選択確率関数の各々に関連した閾値基準を判定する手段；
該閾値基準を満たす該画素を識別する手段；
更新確率関数を該選択確率関数毎に該識別画素に基づいて判定する手段；及び
該精緻化選択基準を該更新確率関数に関して判定する手段；
を備えることを特徴とするシステム。
【請求項１９】
請求項18記載のシステムであって、該閾値基準が：
該選択基準の既知の因数であることを特徴とするシステム。
【請求項２０】
請求項19記載のシステムであって、該既知の因数が：
該選択確率関数の分布に基づくものであることを特徴とするシステム。
【請求項２１】
請求項11記載のシステムであって、更に：
該画素を少なくとも１つの入力ソースから受信する手段；
を備えることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、ビデオ処理に関し、特に、色やテクスチャなどの特性に基づいた適応的セグメンテーション・システムに関し、特に空の検出に関する。
【背景技術】
【０００２】
テレビジョン画像などのビデオ画像のセグメンテーションは、画像シーケンスの各フレームが領域すなわちセグメントに分割される処理である。各セグメントは、共通の性質すなわち特性を備えている、画像の領域に及ぶ画素クラスタを有する。例えば、セグメントは、共通の、色、テクスチャ、形状、振幅範囲、又は時間変動によって区別し得る。画素をセグメント化することになる方法を2分決定が判定する処理を用いた画像セグメテーションを行ういくつかの方法が公知である。そのような処理によれば、領域における画素は全て、セグメントに共通の基準を満たし、よってセグメントが有するか、その基準を満たさず、完全に除外される。これらの方法などのセグメンテーション方法は一部の目的では十分であるが、多くの別の目的では受け入れられないものである。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
例えば、草を検出するようセグメント化する従来の方法では、YUV領域における、草の期待色と草の期待輝度との確率分布関数に基づいた方法は、計算の簡便さとアルゴリズムの効果性との折衷案を表す。しかし、YUV領域における、草の期待色の範囲と草の期待輝度の範囲とを規定する3次元ガウス確率関数は、場面間の草の色の考えられる変動に相当するのに十分大きい増加期待値を有していた。このことには、誤検出率を増加させ、草でない区域を「草」であるものと言い切ることの、望ましくない副作用がある。同様な誤検出の課題は、空の区域などの別の同様な区域を検出する方法に確率関数が適用される場合に生じる。更に、水域が場合によっては例えば、空域として分類される場合がある。
【課題を解決するための手段】
【０００４】
よって、ビデオ画像内部の区域の誤分類を削減する、ビデオ画像を適応的にセグメント化する方法及びシステムに対する必要性が存在する。
【０００５】
画像フレームにおいて画素を適応的にセグメント化する方法及びシステムを開示する。この方法は、少なくとも１つの第１領域を選択基準に基づいてセグメント化する工程、関連した第１領域内部の画素各々に関連した情報に基づいて選択基準を精緻化する工程、及び画像画素を少なくとも1つの第２領域に精緻化選択基準に基づいてセグメント化する工程を備える。
【発明を実施するための最良の形態】
【０００６】
添付図面は、本発明の概念を示す目的だけのものであり、本発明の限界を規定するものとして意図されているものでないこととする。図１乃至図6に表し、これらの図に付随した詳細説明に記載する実施例は、例示的実施例として用いることとし、本発明を実施する唯一の方法として解されるものでないこととする。場合によっては参照文字によって適宜補足されている、同じ参照数字は、同様な構成要素を識別するのに用いている。
【０００７】
ビデオ画像は、実質的に同様な、特性、例えば色、輝度、テクスチャを有するものとして識別し得るかなりの区域すなわちセグメントを有し得る。例えば、画像のセグメントは、空に関する情報、例えば、青色、平滑なテクスチャを有し得る。同様に、草地は、その緑色と準平滑テクスチャとによって識別し得る。ビデオ画像の区域すなわちセグメントは、「Automatic  Segmentation-based  Grass  Definition  for  Real-Time  Video」と題する、本発明の譲受人に譲渡された同時係属中の特許出願と、「System  and  Method  for  Performing  Segmentation-Based  Enhancements  of  a  Video  Image」と題する、本発明の譲受人に譲渡された同時係属中の特許出願に更に十分に記載されている。
【実施例】
【０００８】
図１は、本発明の原理による例示的な適応的セグメンテーションの構成図100を示す。この実施例では、ブロック110で、初期セグメンテーション確率関数が判定される。以下に説明するように、初期確率関数は位置、色及びテクスチャを有する1つ又は複数の確率関数の関数として判定し得る。ブロック120では、更新位置確率関数が判定される。ブロック130では、更新色確率関数が判定され、ブロック140では、更新テクスチャ確率関数が判定される。ブロック150では、更新確率関数が判定される。更新確率関数は、更新確率関数を合成したものを表す。ブロック160では、更新確率関数を用いて画像が再評価される。別の特徴では、確率分布関数の処理と精緻化とを並行して行い得る。
【０００９】
図2は、セグメント化するよう初期確率関数を判定する例示的処理110を示す。この例示的処理では、ブロック210で、初期位置確率関数が判定され、ブロック220で、初期色確率関数が判定され、ブロック230で、初期テクスチャ確率関数が判定される。ブロック240では、初期セグメンテーション確率関数が、判定される個々の確率関数に関して判定される。色に関係し得る、位置関数は、空に関係し得る、画像の区域に特に適用され、空が通常は画像の最上部に近いということをみなし得る。よって、位置確率関数は：
【００１０】
【数１】
2006510107.tif 000003
として判定し得るものであり；
L=最上部の0から開始するライン番号であり；
#ライン=フレーム毎走査ラインの合計数である。
【００１１】
同様な確率分布は、草、水、顔などの別の既知の領域について判定し得る。一特徴では、位置確率分布は、1、すなわち一様分布に設定して、位置における選好を何らみなすことも判定することもないということを示し得る。この場合、画像全体は既知の領域と関連し得る。
【００１２】
空の初期色確率分布は：
【００１３】
【数２】
2006510107.tif 000004
として表す場合があり、空を検出するうえでの初期開始値は、0から255で：
y0=210、σy=130；
μ0=150、σμ=40；及び
ν0=100、σν=40；
である。
【００１４】
これらのパラメータは、多数の空の画像を検査することによって経験的に判定される。しかし、処理を改変することも本発明の範囲を改変することもなく別の初期値を用いるということが分かる。更に、草、水、顔などの別の画像領域の同様な初期のy値とμ値とν値とを判定し得るということを当業者は認識するものである。
【００１５】
初期テクスチャ確率関数は：
【００１６】
【数３】
2006510107.tif 000005
として判定する場合があり、
低雑音の場合には、t0=10であり：
SNR=２６ｄBの場合には、t0=40であり；
tは、現在画素を中心とするランニング・ウィンドウの５つの隣接水平輝度値の絶対差の合計である。
【００１７】
同様な確率分布は、別のテクスチャについて判定し得る。一特徴では、テクスチャ確率分布は、１、すなわち一様分布に設定して、テクスチャにおける選好をみなすことも判定することも何らないということを示し得る。この場合、画像全体は既知のテクスチャに関連し得る。
【００１８】
初期確率関数は：
【００１９】
【数４】
2006510107.tif 000006
として判定し得る。
【００２０】
Pによって表す、選択基準に一致するか選択基準を満たす画素を、画像の既知の領域によっておおざっぱに分類するか、識別するか、関連させる場合がある。このようにして、広くてかつあまり選択的でない確率関数によって、所望の対象領域内で画素を検出しない確率を低減させる。
【００２１】
式4に表す確率関数は色、位置及びテクスチャに関連した確率関数に関連して判定されるが、確率関数Pが、単に、画像の、単一の確率関数、記載確率関数の何れかの組み合わせ、又は別の特性に基づいて同様に判定される場合があるということは当業者によって分かるものである。
【００２２】
図3は、本発明の原理によって、図１に表す位置確率関数を更新するか精緻化する例示的処理120の流れ図を示す。この例示的処理ではブロック300で、既知の位置基準を満たす、画像における画素が識別され、タグ付けされる。位置に関連する既知の閾値基準を満たす画素の判定及び識別は、図5に関して更に詳細に説明することとする。
【００２３】
ブロック310では、初期走査ライン値が確立すなわち設定される。ブロック320では、既知の位置基準を満たす、走査ラインを備えている画素の数が既知の閾値よりも大きいか否かが判定される。この判定結果が、否定の場合、ブロック350で、次の走査ラインが得られる。ブロック345で、次に、走査ラインが全て評価されたか否かが判定される。この判定結果が否定の場合、処理はブロック320に進み、選択されるか取得される次の走査ラインにおける画素の数が既知の位置閾値よりも大きいか否かが判定される。
【００２４】
ブロック320に戻って、この判定結果が肯定の場合には、位置基準を満たす画素の数を有する走査ライン番号が、更に処理されるよう、ブロック330で保存されるか記録される。次の走査ライン/後続の走査ラインが、処理されるよう、ブロック340で選択されるか取得される。
【００２５】
ブロック345に戻って、この判定結果が肯定の場合、すなわち、走査ラインが全て処理された場合、記録されたか記憶された走査ライン値の平均走査ライン値がブロック350で判定される。平均走査ライン値を用いて、位置確率関数がブロック360で更新される。
【００２６】
本発明の一特徴では、走査ラインには上から下に番号を付す場合があり、各走査ラインにおける画素には左から右に番号を付す場合がある。このようにして、各画素は一意に識別し得る。更に、走査ライン又は画素番号を増やすことによって、次走査ライン又は次画素/後続走査ライン又は後続画素を、先行走査ライン又は先行画素から選択するか得る場合がある。走査ラインと関連画素とを識別し、選択する同様な方法は、周知であり、本明細書及び特許請求の範囲では詳細に記載しなくてもよい。
【００２７】
本発明の一実施例では、位置閾値基準は：
Kl＊最大（P）                                        〔5〕；
である確率関数に関して選択する場合があり、
Klは、最大確率関数の既知の割合である。
【００２８】
好適実施例では、K lは0.5に設定される。よって、好適実施例では：
Pij＞0.5＊最大（P）                                    〔6〕；
の基準を満たす、各走査ライン(j)の画素(i)が、後に処理されるよう、識別されるか、記憶されるか、保持される。
【００２９】
その場合、更新位置確率関数は：
【００３０】
【数５】
2006510107.tif 000007
として判定される場合があり、
L=走査ライン番号（最上位では0）であり；
s＝ブロック350で判定される平均走査ライン値である。
【００３１】
本発明の別の特徴では、走査ライン内部の画素のうちの十分な割合の画素が式5に表す基準を満たすということが判定される場合に走査ライン値が記憶される。例えば、式6に表す好適な基準を満たす画素の数が例えば、選択走査ラインにおける合計画素数の3%を超える場合に走査ラインが保存される。よって、本発明のこの特徴では、走査ラインは：
式6を満たす画素の数＞（走査ラインにおける合計画素数）/K2      〔８〕；
であり、K2＜＝32である場合；
に記憶されるか記録される。
【００３２】
好適実施例では、K2は32に等しい。
【００３３】
図4は、色確率関数を更新する、図１に表す例示的処理130の流れ図を示す。この例示的処理では、既知の色関連閾値を満たす各走査ラインにおける画素の数がブロック300で判定される。
【００３４】
ブロック410では、既知の色閾値を満たす各画素に関連した各色レベルに相当する平均値が更に判定される。ブロック420では、更新色確率関数を、判定平均色値を用いて判定し得る。色に関連した既知の閾値基準を満たす画素の判定と識別は、図5に関して更に詳細に記載することとする。
【００３５】
本発明の一実施例では、色基準は：
K3＊最大（P）                                          〔9〕；
である確率関数に関して選択する場合があり、K3は、最大確率関数の既知の割合である。
【００３６】
好適実施例では、K3は0.95に設定される。よって、好適実施例では：
Pij＞0.95＊最大（P）                                      〔10〕；
の基準を満たす、各走査ライン(j)における画素(i)を、後に処理するよう、識別するか、記憶するか、保持する。
【００３７】
式10の色基準を満たす画素各々に関連した平均色値は：
【００３８】
【数６】
2006510107.tif 000008
として判定される場合があり；
yij、  μij、  νijはij番目の画素の色レベルを表し；
Nは色基準を満たす画素の合計数である。
【００３９】
更新色確率関数はその場合：
【００４０】
【数７】
2006510107.tif 000009
によって判定し得る。
【００４１】
上記指数における各項の分母が因数kによって乗算されており、kは1よりも少ないということは当業者によって分かるものである。因数kを用いることは、シグマ値が小さくなり、したがって、先がより尖った分布、すなわち、より集中した分布をもたらすので効果的である。このようにして、領域における画素の選択は、より狭い分布関数すなわち、より集中した分布関数によって制限される。好適実施例では、kは0.5に等しい場合がある。
【００４２】
【数８】
2006510107.tif 000010
【００４３】
【数９】
2006510107.tif 000011
として判定される場合があり、ttは、現行画素の輝度値と、同じライン上の後続画素の輝度値との間の絶対差である。
【００４４】
更新テクスチャ確率は式13に表す輝度値における差に関して判定されるが、更新テクスチャ確率は、上記のように、更新位置確率密度又は更新色確率密度に関して開示したものと同様な既知のテクスチャ関連閾値を満たす画素を用いて判定し得る。
【００４５】
更新確率関数はその場合：
【００４６】
【数１０】
2006510107.tif 000012
として判定し得る。
【００４７】
更新確率関数Pμはその場合、画像における各画素を再分類して所望又は指定の、対象区域すなわち対象領域内部の画素の判定を精緻化するのに用い得る。例えば、更新確率分布関数Pμは、画像の、例えば、空の領域、草の領域、又は顔の領域における画素の判定を精緻化するのに用い得る。
【００４８】
図5は、位置確率関数に関連した閾値基準を満たす画素を判定する、図３に表す例示的処理300と、色確率関数に関連した閾値基準を満たす画素を判定する、図４に表す例示的処理300との流れ図500を示す。よって、更新位置確率関数の判定を対象とする場合には、閾値基準を式5、更には式8によって判定し得る。更に、更新色確率関数の判定を対象とする場合には、閾値基準を式9によって判定し得る。
【００４９】
流れ図500では、ブロック510で、初期走査ライン値が設定されるか、初期走査ラインが選択される。好ましくは、初期走査ラインは、画像の最上位ライン、すなわちゼロ・ラインに設定される。ブロック520では、選択走査ライン内部の初期画素位置が選択される。ブロック530では、選択画素に関連した確率が既知の閾値又は基準よりも大きいか否かが判定される。この判定結果が肯定の場合、閾値基準を満たす画素を識別したものがブロック540で、記憶されるか記録される。しかし、この判定結果が否定の場合は、選択走査ラインにおける次画素/後続画素がブロック550で選択される。ブロック560では、選択走査ライン上の画素全てが処理されたか否かが判定される。この判定結果が否定の場合、処理はブロック530に進み、選択次画素/選択後続画素が既知の閾値よりも大きいか否かが判定される。
【００５０】
しかし、ブロック560での判定結果が肯定の場合、次走査ライン/後続走査ラインがブロック570で選択される。ブロック580では、画像における走査ライン全てが処理されたか否かが判定される。この判定結果が否定の場合、処理はブロック520に進み、選択次走査ライン/選択後続走査ラインに関連した画素が選択される。しかし、ブロック580での判定結果が肯定の場合、処理は完了する。
【００５１】
図6は、本発明の原理を実施するのに用い得るシステム600の例示的実施例を示す。システム600は、SDTVテレビジョン受信機若しくはHDTVテレビジョン受信機、デスクトップ型コンピュータ、ラップトップ型コンピュータ、若しくはパームトップ型コンピュータ、携帯情報端末（PDA）などの、リアルタイム受信システム、ビデオ・カセット・レコーダ(VCR)、ディジタル・ビデオ・レコーダ(DVR)、TiVO（ティーボ）装置などの、ビデオ/画像記憶装置、更にはこれら他の機器の部分又は組み合わせを表し得る。システム600は、1つ又は複数の、入出力機器602、プロセッサ603及びメモリ604を有し得る。入出力機器は、ビデオ画像を有する1つ又は複数のソース601からの情報をアクセスするか受信する場合がある。ソース601は、テレビジョン受信システム、VCR、RAM、ROM、ハード・ディスク・ドライブ、光ディスク・ドライブ又は別のビデオ画像記憶装置などの、永久媒体又は半永久媒体に記憶し得る。あるいは、ソース601は、例えば、インターネットなどのグローバル・コンピュータ通信ネットワーク、ワイド・エリア・ネットワーク、メトロポリタン・エリア・ネットワーク。ローカル・エリア・ネットワーク、地上波放送システム（ラジオ、TV）、ケーブル・ネットワーク、衛星ネットワーク、無線ネットワーク、若しくは電話ネットワーク、更には、これら他の種類のネットワークの部分又は組み合わせを介してサーバからビデオを受信するよう、1つ又は複数のネットワーク接続625によってアクセスし得る。
【００５２】
入出力機器602、プロセッサ603及びメモリ604は、通信媒体606を介して通信し得る。通信媒体606は、例えば、バス、通信ネットワーク、回路、回路カード若しくは別の装置の1つ又は複数の接続、更にはこれら他の通信媒体の部分及び組み合わせを表し得る。ソース601からの入力データは、メモリ604に記憶され、プロセッサ603によって実行される場合がある1つ又は複数のプログラムによって処理される。プロセッサ603は、汎用計算機システム又は専用計算機システムなどの何れかの手段であってよく、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ハンドヘルド型コンピュータ、専用論理回路、集積回路などの、ハードウェア構成であってもよい。プロセッサ603は、既知の出力を既知の入力に応じて備えるソフトウェア命令を有するようハードウェアによって「プログラムされる」場合がある、プログラム可能アレイ・ロジック（PAL）、特定用途向集積回路（ASIC）などの場合もある。
【００５３】
一実施例では、本発明の原理を用いるコーディングは、プロセッサ603によって実行されるコンピュータ判読可能コードによって実施し得る。このコードは、メモリ604に記憶してもよく、CD−ROM又はフロッピー（登録商標）・ディスクなどのメモリ媒体から読み取り/ダウンロードを行ってもよい。好適実施例では、ハードウェア回路をソフトウェア命令の代わりに用いるかソフトウェア命令との組み合わせで用いて本発明を実施する場合がある。例えば、本明細書及び特許請求の範囲記載の構成要素は、コーディングされる論理演算を用いるかハードウェア実行可能コードを実行することによって、記載演算を行うよう動作可能な個別ハードウェア構成要素として実現される場合もある。
【００５４】
メモリ604に記憶され、プロセッサ603によって実行される場合がある、図２及び図3に示す関数を行うよう動作可能な1つ又は複数のソフトウェア・プログラムによって処理された後、入出力機器602によって受信されるソース601からのデータは更に、TVモニタ640、記憶機器645又はディスプレイ650として表す1つ又は複数の出力機器にネットワーク630を介して送信し得る。TVモニタ640がアナログTVモニタ又はディジタルTVモニタであり得るということが分かる。
【００５５】
コンピュータ又はコンピュータ・システムの語は、少なくとも１つの処理装置と、電子的に接続され、通信する、1つ又は複数のメモリ装置及び別の機器、例えば周辺機器と通信する1つ又は複数の処理装置を表し得る。更に、上記機器は、内部バス、例えば、ISAバス、マイクロチャネル・バス、PCIバス、PCMCIAバスなど、又は、回路、回路カード若しくは別の機器の、１つか複数の内部接続、更には、これら他の通信媒体又は外部ネットワークの部分及び組み合わせ、例えば、インターネット及びイントラネットを介して1つ又は複数の処理装置に電子的に接続し得る。
【図面の簡単な説明】
【００５６】
【図１】本発明の原理による例示的な適応的セグメンテーション処理を示す構成図である。
【図２】初期セグメンテーション確率関数を判定する例示的処理を示す構成図である。
【図３】本発明の原理による、更新確率関数を判定する例示的処理を示す流れ図である。
【図４】本発明の原理による、更新色確率関数を判定する例示的処理を示す流れ図である。
【図５】本発明の原理による、更新確率関数を得るのに用いる画素を判定する例示的処理を示す流れ図である。
【図６】図１乃至図5に表す処理を実行するシステムを示す図である。
【図１】
2006510107.tif 000013
【図２】
2006510107.tif 000014
【図３】
2006510107.tif 000015
【図４】
2006510107.tif 000016
【図５】
2006510107.tif 000017
【図６】
2006510107.tif 000018
【国際調査報告】
2006510107.tif 000019
2006510107.tif 000020
2006510107.tif 000021