(57)【要約】複数の既知のサイズのブロック（１１０、１１５，１２０）にセグメント化された複数の映像画像（１００）を改善するための方法及びシステムについて開示している。その方法は、前記ブロックの各々に値を関連付け、そして、前記ブロックの選択されたブロックに対応する関連付けられた値を、前記の選択されたブロックに隣接するブロックの前記関連付けられた値の各々が前記の選択されたブロックと異なるときに、変える段階を有する。
2006510108.tif 000002
【特許請求の範囲】
【請求項１】
複数のブロックにセグメント化された映像画像の品質を改善するための方法であって：
前記ブロックの各々に値を関連付ける段階；及び
選択されたブロックに隣接するブロックの関連付けられた値の各々が前記の選択されたブロックの関連付けられた値と異なるとき、前記ブロックの前記の選択されたブロックに対応して前記の関連付けられた値を変化させる段階；
を有することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、前記のブロックに関連付けられた値は、前記ブロックの確率分布が選択された閾値より大きいときに、第１値であり、そうでない場合、前記ブロックに関連付けられた値は第２値である、ことを特徴とする方法。
【請求項３】
請求項２に記載の方法であって、前記ブロックの確率分布は、前記ブロックにおける各々の画素に関連付けられた確率分布の平均を表す、ことを特徴とする方法。
【請求項４】
請求項２に記載の方法であって、前記閾値は前記ブロックの確率分布の割合として選択される、ことを特徴とする方法。
【請求項５】
請求項２に記載の方法であって、前記閾値は前記ブロックにおける信号対ノイズ比に関連している、ことを特徴とする方法。
【請求項６】
複数の既知のサイズのブロックにセグメント化された映像画像の品質を改善するためのシステムであって：
前記ブロックの各々に値を関連付ける手段；及び
選択されたブロックに隣接するブロックの関連付けられた値の各々が前記の選択されたブロックの関連付けられた値と異なるとき、前記ブロックの前記の選択されたブロックに対応して前記の関連付けられた値を変化させるための手段；
を有することを特徴とするシステム。
【請求項７】
請求項６に記載のシステムであって、前記のブロックに関連付けられた値は、前記ブロックの確率分布が選択された閾値より大きいときに、第１値であり、そうでない場合、前記ブロックに関連付けられた値は第２値である、ことを特徴とするシステム。
【請求項８】
請求項７に記載のシステムであって、前記ブロックの確率分布は、前記ブロックにおける各々の画素に関連付けられた確率分布の平均を表す、ことを特徴とするシステム。
【請求項９】
請求項７に記載のシステムであって、前記閾値は前記ブロックの確率分布の割合として選択される、ことを特徴とするシステム。
【請求項１０】
請求項９に記載のシステムであって、前記閾値は前記ブロックにおける信号対ノイズ比に関連している、ことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理に関し、特に、カラー及びテクスチャ等の特性に基づく画素の領域の分類及びセグメント化に関する。
【発明の開示】
【課題を解決するための手段】
【０００２】
既知のサイズの複数のブロックにセグメント化された映像画像の品質を改善するための方法及びシステムについて開示する。その方法は、前記ブロックの各々に値を関連付け、そして、前記ブロックの選択されたブロックに対応する関連付けられた値を、前記の選択されたブロックに隣接するブロックの前記関連付けられた値の各々が前記の選択されたブロックと異なるときに、変える段階を有する。
【発明を実施するための最良の形態】
【０００３】
添付図面は本発明の概念を例示することのみを目的とし、本発明の制限の規定として意図されるものではないことが理解される必要がある。図１乃至４に示し、対応する詳細説明で説明する実施形態は、例示的な実施形態として用いられるべきものであり、本発明を実施する方法のみとして解釈されるべきものではない。適宜、参照文字を添えた、同じ参照番号は、類似する要素を特定するために使用している。
【０００４】
テレビジョン画像のような映像画像のセグメント化は、画像のシーケンスの各々のフレームが領域又はセグメントに副分割される処理である。各々のセグメントは、特性の共通の特徴を有する画像の領域を包含する画素のクラスターを含む。例えば、セグメントは、共通のカラー、テクスチャ、形状、振幅範囲又は時間的変化により区別されることが可能である。幾つかの方法は、画素がどのようにセグメント化されるかを２分決定により決定する処理を用いる画像セグメント化として知られている。そのような処理に従って、領域内の画素全ては、各々、セグメントに対する共通の基準を満足し、又は、それらは、その基準を満足せず、完全に排除される。それらのセグメント化方法は幾つかの目的を満足する一方、それらは他の多くを受け入れられない。動画像シーケンスの場合、アピアランスにおける小さい変化、照明又はパースペクティブは、画像の全体的なアピアランスにおける小さい変化のみの起因となり得る。しかしながら、上記の方法のようなセグメント化方法の適用は、同じであるように現れる必要がある画像の領域が１つのフレームにおけるセグメント化基準を満足するようにする傾向にある一方、他のフレームにおいては満足しない。
【０００５】
画像をセグメント化する主な理由の１つは、セグメント化部分におけるエンハンスメント操作を行うことである。画像が、上記の方法のような２分セグメント化方法に従ってセグメント化されるとき、続いて適用されるエンハンスメント操作は、通常のセグメント化領域のエッジにおいて、画像エンハンスメントにおけるランダム変動をしばしば生成する。動画像シーケンスにおけるそのようなランダム変動は、ビューアには受け入れられない撹乱アーチファクトを表す。テレビジョンセットにおける画像エンハンスメントは、全体的方法と局部的方法の両方を有する。局部的エンハンスメント方法は周知であるが、それらは、現在、全体的パラメータにより制御されている。例えば、エッジエンハンスメントアルゴリズムは局部的エッジ特性に適合することが可能であるが、そのアルゴリズム（即ち、フィルタ周波数特性）を支配するパラメータは全体的であり、適用されるエンハンスメント操作は画像の領域全てに対して同じである。全体的パラメータの使用により、いずれの所定の画像に適用されることができる最も効果的なエンハンスメントを制限する。アルゴリズムが画像の異なるセグメントにおいて表される特徴を認識するように訓練されることが可能であり、それ故、画像の特徴の各々のタイプに対して最適であるパラメータ及び画像エンハンスメントアルゴリズムが動的に選択されることを可能にする場合、エンハンスメントの改善は利用可能である。
【０００６】
しかしながら、当該技術分野の現在の状態に伴う主な問題点の１つは、本質的に画素に基づくものである。セグメントにおける輝度及びカラーのような特性は画素毎に著しく変動するため、決定されるセグメントの確率関数は、重大な“ノイズのような”指標を有することが可能である。入力映像信号が又、ノイズを有するとき、結果として得られるセグメントの確率関数は更にノイズのようになる。確率分布におけるノイズのような指標を減少させる１つの方法は、ローパスフィルタを用いて、それを処理することである。しかしながら、そのような処理は、画像のセグメントにおけるテクスチャを除去する不所望の副次的影響を有する。
【０００７】
それ故、画像テクスチャを維持しつつ、決定されるセグメントの確率関数におけるノイズの影響を低減するための方法及びシステムに対する要請が存在している。
【０００８】
周知のように、映像画像は、同じ特性であって、例えば、カラー、輝度、テクスチャ等を実質的に有するとして特定されることが可能である重要な領域又はセグメントを有することが可能である。例えば、画像のセグメントは、空に関連する情報、即ち、青色、スムーズなテクスチャを有することが可能である。同様に、草原は、緑色及び半スムーズなテクスチャにより特定することが可能である。映像画像の領域又はセグメントのそのような特定化については、同一出願人による同時継続出願において十分に記載されており、各々のそのような特定されるセグメントに対する確率関数を決定することが開示されている。
【０００９】
図１は、類似するカラー、テクスチャ又は輝度を有するとして特定される画像セグメントの一部の画素要素ビュー１００を示している。本発明の原理は、映像画像フレームにおいて決定される各々のセグメントに対して適用可能であることが理解されるであろう。この例示としての図においては、任意に選択されたセグメントにおける画素要素は、８ｘ８の画素要素のブロックに構成されている。本発明においては、８ｘ８の画素要素のブロックを用いて説明しているが、ブロックサイズは、例えば、７ｘ７、９ｘ９、１６ｘ１６等のような、いずれのサイズ又は数の画素要素であることが可能である。従来、ブロックサイズは、２の倍数を用いて、即ち、８ｘ８、１６ｘ１６、３２ｘ３２等が選択されており、これは、１つのブロックサイズから他のブロックサイズへの変換を簡単な２進シフトにより、即ち、２の倍数だけ分割することにより可能である。
【００１０】
更に、ブロックサイズは、図に示すように対称的である必要はないが、長さか又は幅のどちらかにおいて、いずれの数の画素要素を有することが可能であることが理解できるであろう。本発明を明確に図示し、説明するためのみのために、８ｘ８のブロックにグループ化された選択されたセグメントの画像画素要素を、ブロック１１０乃至１８０として示している。
【００１１】
図２は、本発明の原理に従った、例示としての処理２００についてのフロー図である。この例示としての処理２００においては、画素要素は、ブロック２１０において、図１に示しているブロックのようなブロックに構成される。ブロック２１５において、ブロックにおける各々の画素に対して演算される確率関数は、既知の平均化関数又は重み付け関数を用いて平均化又は重み付けされる。ブロック２２０において、各々のブロックに関連付けられた確率関数の平均化又は重み付けされた値は、次いで、閾値と比較される。ブロックの確率関数の平均値が閾値より大きいとき、ブロック２２５において、第１の新しい値が画素ブロックと関連付けられる。しかしながら、ブロックの確率関数の平均値が閾値より小さいとき、ブロック２３０において、第２の新しい値が画素ブロックと関連付けられる。例えば、その平均又は重み付け確率関数値が閾値より大きいとき、論理１がブロックに関連付けられることが可能であり、その平均又は重み付け確率関数値が閾値より小さいとき、論理０がブロックに関連付けられることが可能である。同様に、第１の新しい値は論理“０”として選択されることが可能であり、対応する第２の新しい値は論理“１”として選択されることが可能である。本発明の好適な特徴においては、閾値は、ブロックにおける映像信号対ノイズ比（ＳＮＲ）の関数として確立されることが可能である。表１は、例示として、０乃至２５５までのスケールにおける閾値及びＳＮＲ値を示しており、ここで、２５５は最大値である。
【００１２】
【表１】
2006510108.tif 000003
図３は、本発明の原理に従った画像セグメント化の改善についての例示としての処理３００のフロー図である。この例示としての処理においては、画素ブロックはブロック３１０において選択される。ブロック３２０において、隣接画素ブロックが選択される。ブロック３３０において、次の／続く画素ブロックが選択される。ブロック３４０において、選択された隣接画素ブロックに関連付けられた値が実質的に同じであるかどうかの判定がなされる。その答が否定的である場合、選択された画素ブロックにおける処理は終了する。
【００１３】
しかしながら、その答が肯定的である場合、ブロック３５０において、次の／続く隣接画素ブロックが選択される。ブロック３６０において、ブロック３１０において選択されたブロックに隣接する画素ブロックの各々が処理されたかどうかの判定がなされる。その答が否定的である場合、選択された次の／続くブロックの値は、ブロック３４０において予め選択された隣接ブロックと実質的に同じであるかどうかが判定される。処理は、上記のように継続される。
【００１４】
しかしながら、ブロック３６０における答が肯定的である場合、ブロック３１０において選択されたブロックの値はブロック３２０において選択された隣接ブロックの値に実質的に類似しているかどうかについての判定が、ブロック３７０においてなされる。その答が肯定的である場合、ブロック３１０において選択されたブロックにおける処理は終了する。しかしながら、その答が否定的である場合、ブロック３１０において選択されたブロックの値は、ブロック３２０において選択された隣接ブロックの値に対応するように変えられる。従って、選択されたブロックに関連付けられる異常値は除去され、隣接ブロックの値に匹敵するようにされる。
【００１５】
例えば、論理０値に関連付けられたブロックは、論理１の反対値を有する、関連付けられた隣接画素ブロックの全てを有することが可能である。これにおいては、異常な論理０値に関連付けられたブロックは、隣接ブロックの関連付けられた値全てに類似する、論理１の値に関連付けられる値を設定することにより“取り除かれる”。同様に、分離された論理１の値を有するブロックが、論理０の値に関連付けられるブロックにより囲まれる場合、異常な論理１の値は、論理０の値を設定することにより取り除かれる。
【００１６】
図１を参照するに、例えば、ブロック１３０に関連付けられる値は、各々のブロック１１０、１１５、１２０、１３５、１２５、１４０、１４５及び１５０に関連付けられた値が、実質的に、同じ及びブロック１３０に関連付けられた値と異なるとき、変えることが可能である。
【００１７】
本発明の１つの特徴においては、各々のブロックに関連付けられる値は、それ故、ブロックにおける各々の画素に対してなされるべき処理を制御するように用いられることが可能である。例えば、実行されることが可能である画素レベルの処理の１つの様式は、ノイズフィルタがブロックにおける各々の画素の処理の間に調節される必要があるかどうかを判定する。この方法は、減少された画素ノイズと維持される適切なテクスチャ情報との間のバランスをとる優位性を有する。他の特徴においては、各々のブロックに関連付けられる値は、他の領域と異なる領域のカラー又はエッジ形状を修正するような処理の様式を制御するように用いられることが可能である。
【００１８】
図４は、本発明の原理を実行するために用いることが可能であるシステム４００の例示としての実施形態を示している。システム４００は、テレビジョン送信又は受信システム、デスクトップコンピュータ、ラップトップコンピュータ又はパームトップコンピュータ、携帯情報端末（ＰＤＡ）、ビデオカセットレコーダ（ＶＣＴ）、ディジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置等のような映像／画像記憶装置、並びにそれらの及び他の装置の一部又は組み合わせを表すことが可能である。
【００１９】
システム４００は、１つ又はそれ以上のネットワーク４２０により処理システム４０１との通信との通信状態にある１つ又はそれ以上のソース４１０を有することが可能である。処理システム４０１は、そのとき、更に、ネットワーク４４０により１つ又はそれ以上のＴＶ表示器又はモニタ４６０又と通信状態にある。処理システム４０１は、１つ又はそれ以上の入力／出力器４０２、処理器４０３及びメモリ４０４を有することが可能であり、それらは、映像画像を有する１つ又はそれ以上のソース４１０にアクセスすることが可能である。ソース４１０は、例えば、テレビジョン送信器又は受信器、ＶＣＲ、ＲＡＭ、ＲＯＭ、ハードディスクドライブ、光ディスクドライブ又は他の映像画像記憶器、アナログ又はディジタル画像を有するリアルタイムディスプレイ等の永久媒体又は半永久媒体に記憶されることが可能である。ソース４１０は、代替として、例えば、インターネット、ワイドネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、地上波放送システム、ケーブルネットワーク、人工衛星ネットワーク、無線ネットワーク、電話回線、並びにそれらの及び他の種類のネットワークの一部又は組み合わせに対するサーバから映像を受信するための１つ又はそれ以上のネットワーク４２０接続に亘ってアクセスされることが可能である。
【００２０】
入力／出力器４０２、処理器４０３及びメモリ４０４は通信媒体４０６に対して通信することが可能である。通信媒体４０６は、例えば、バス、通信ネットワーク、１つ又はそれ以上の回路間接続、回路カード、又は他の装置、並びにそれらの及び他の通信媒体の一部及び組み合わせであることが可能である。ソース４１０からの入力データは、メモリ４０４に記憶され、処理器４０３により実行されることが可能である１つ又はそれ以上のソフトウェアプログラムに従って処理される。処理器４０３は、例えば、汎用コンピューティングシステム又は専用コンピューティングシステム等のいずれの手段であることが可能であり、又は、既知の入力において既知の出力を与える、例えば、ラップトップコンピュータ、デスクトップコンピュータ、携帯型コンピュータ、専用論理回路、集積回路、プログラマブルアレイロジック（ＰＡＬ）、特定用途向け集積回路（ＡＳＩＣ）等のハードウェア構成であることが可能である。
【００２１】
一実施形態においては、本発明の原理を用いる符合化及び復号化は、処理器４０３により実行されるコンピュータ読み出し可能符号により実行されることが可能である。符号は、メモリ４０４に記憶され、例えば、ＣＤ−ＲＯＭ又はフロッピー（登録商標）ディスク（図示せず）から読み出し／ダウンロードされることが可能である。他の好適な実施形態においては、ハードウェア回路構成は、本発明を実行するためのソフトウェアの命令に代えて又はそれと組み合わせて、使用されることが可能である。例えば、以上、図示した要素は又、符号を実行するために動作可能であるプログラム可能装置として又はディスクリートハードウェア要素として実施されることが可能である。
【００２２】
入力データを処理した後、処理器４０３は、処理されたデータがネットワーク４７０を介してテレビジョンのディスプレイ４８０又はモニタ４９０に送信されるようにすることが可能である。理解されるであろうように、ネットワーク４２０及び４４０は、構成要素間の内部ネットワークであって、例えば、ＩＳＡバス、マイクロチャネルバス、ＰＣＭＣＩＡバス等、又は、外部ネットワークであって、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、ＰＯＴＳネットワーク又はインターネット等であることが可能である。
【００２３】
本発明の一特徴においては、用語、コンピュータ又はコンピュータシステムは、１つ又はそれ以上のメモリユニット及び他の装置であって、例えば、少なくとも１つの処理器と通信する及び電気的に接続される周辺機器との通信状態にある１つ又はそれ以上の処理ユニットであることが可能である。更に、装置は、マイクロチャネルバス、ＰＣＩバス、ＰＣＭＣＩＡバス等の内部バス、回路、回路カード又は他の装置の１つ又はそれ以上の内部接続、及び、例えば、インターネット及びイントラネット（登録商標）等の、それらの及び他の通信媒体又は外部ネットワークの一部及び組み合わせに、電気的に接続されることが可能である。
【図面の簡単な説明】
【００２４】
【図１】８ｘ８の画素ブロックに構成された画像のセグメントを示す図である。
【図２】本発明の原理に従った、改善されたセグメント化方法のための例示的な処理のフロー図である。
【図３】本発明の原理に従った、第２の改善されたセグメント化方法のための例示的な処理のフロー図である。
【図４】図２及び３に示す処理を実行するためのシステムを示す図である。
【図１】
2006510108.tif 000004
【図２】
2006510108.tif 000005
【図３】
2006510108.tif 000006
【図４】
2006510108.tif 000007
【国際調査報告】
2006510108.tif 000008
2006510108.tif 000009
2006510108.tif 000010