(57)【要約】  本発明は、ビデオイメージシーケンス（Ｅi）のエンコーディング前のプリプロセシングデバイス及び方法に関する。  本発明によればデバイスは、ビデオイメージシーケンス（Ｅi）に対して複数のモルフォロジー処理ステップを実行する手段（３，５，７，９）と、各モルフォロジー処理ステップの後、モルフォロジー処理の結果に対して重み付けを実行するための手段（４，６，８，１０）を有する。
2008504762.tif 000002
【特許請求の範囲】
【請求項１】
ビデオイメージシーケンス（Ｅｉ）のエンコーディング前のプリプロセシングデバイスにおいて、
ビデオイメージシーケンス（Ｅi）に対して複数のモルフォロジー処理ステップを実行する手段（３，５，７，９）と、
前記各モルフォロジー処理ステップの後、前記モルフォロジー処理の結果に対して重み付けを実行するための手段（４，６，８，１０）を有することを特徴とするプリプロセシングデバイス。
【請求項２】
複数のモルフォロジー処理ステップを実行する前に、前記ビデオイメージシーケンス（Ｅi）の複雑性を測定する手段（２）を有する請求項１記載のデバイス。
【請求項３】
前記ビデオイメージシーケンス（Ｅi）の複雑性を測定する手段は、イントライメージ相関を測定する請求項２記載のデバイス。
【請求項４】
複雑性を測定する手段は、各ミキサ（４，６，８，１０）用の重み付け係数（Ｋ）を計算する請求項３記載のデバイス。
【請求項５】
重み付け係数（Ｋ）は、各ミキサ（４，６，８，１０）に対して同一である請求項４記載のデバイス。
【請求項６】
重み付け係数（Ｋ）は、イントライメージ相関に対して反比例している請求項４又は５記載のデバイス。
【請求項７】
複数のモルフォロジー処理ステップを実行する手段（３，５，７，９）及びミキサ（４，６，８，１０）は、ビデオ信号の輝度成分に対して、ピクセル毎に、各イメージに対して前記各モルフォロジー処理ステップを実行する請求項１から６迄の何れか１記載のデバイス。
【請求項８】
請求項１から７までのいずれか１項記載のデバイスにおいて、
イントライメージ相関を測定する前に前記ビデオイメージシーケンス（Ｅi）をデインタレース(deinterlacing)する手段（１）と、
最後の重み付けの後、前記ビデオシーケンス（Ｅi）をインタレース(interlacing)する手段（１１）を有するデバイス。
【請求項９】
複数のモルフォロジー処理ステップを実行する手段は、オープニング演算を実行してからクロージング演算を後続する請求項１から８迄の何れか１記載のデバイス。
【請求項１０】
ビデオイメージシーケンスのエンコーディング前のプリプロセシング方法において、
ビデオイメージシーケンス（Ｅi）で、複数のモルフォロジー処理ステップを実行するステップと、
各モルフォロジー処理ステップの後、モルフォロジー処理の結果に重み付けを加えるための複数の重み付けステップを有することを特徴とするプリプロセシング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオイメージシーケンスのエンコーディング前のプリプロセシングデバイス及び方法に関する。
【０００２】
イメージエンコーディングデバイスは、当該デバイスがエンコードするイメージの時間又は空間エントロピーが低減するに連れて、一層有効性が増す。
【０００３】
従って、エンコーディングを一層良好にするためにイメージエンコーディングデバイスは、イメージが処理されるイメージプリプロセシングデバイスと関連付けられることが屡々である。
【０００４】
公知のように、ビデオシーケンスのエントロピーを低減するためのプリプロセシングデバイスは、イントラモードでのイメージエンコーディングコストの主要な原因である高周波成分を除去しさえする。
【０００５】
１次元又は２次元ローパスフィルタ、Nagaoフィルタ、平均化フィルタ及びメディアンフィルタを有する多数のフィルタを利用可能である。
【０００６】
これらの各方法の主要な欠点は：
−インターレースされたビデオの各フレームは、イメージの垂直方向解像度の１／２しか有していないので、空間的定義での、殊に、垂直方向軸での低減が過度に可視であり、
−対象が不鮮明になり、
−輪郭が劣化するという点にある。
【０００７】
本発明は従来技術の前記各欠点の少なくとも1つの解決を提案する。
【０００８】
この課題を解決するために、本発明は、ビデオイメージシーケンスのエンコーディング前のプリプロセシングデバイスにおいて、
ビデオイメージシーケンスで、複数のモルフォロジー処理ステップを実行する手段と、
各モルフォロジー処理ステップ後に、重み付けを、前記各プロセシングステップの１つに従属するビデオシーケンスに加えるミキサを有することを提案するものである。
【０００９】
生のモルフォロジー処理を実行することは、イメージの質に取り返しのつかない効果を及ぼすことがある。各モルフォロジーな演算子間にミキサを設けることによって、演算子の生の結果と、同じ演算子の入力を混合することによって、この処理の作用に重み付けすることができる。
【００１０】
有利な実施例によると、デバイスは、複数のモルフォロジー処理ステップを実行する前に、ビデオイメージシーケンスの複雑性を測定する手段を有する。
【００１１】
実際には、イメージの空間的エントロピーを低減するためのプリプロセシングは、主に、高い複雑性のイメージ用に推奨される。従って、プリプロセシングは、イメージの複雑性に従って制御することができ、イメージの複雑性に適合させることができる。
【００１２】
有利には、前記ビデオイメージシーケンスの複雑性を測定する手段は、イントライメージ相関を測定する。
【００１３】
有利な実施例によると、複雑性を測定する手段は、各ミキサ用の重み付け係数を計算する。
【００１４】
有利には、重み付け係数は、各ミキサに対して同一である。
【００１５】
有利には、重み付け係数は、イントライメージ相関に対して反比例する。
【００１６】
有利には、複数のモルフォロジー処理ステップを実行する手段と、ミキサは、ビデオ信号の輝度成分に処理ステップを、ピクセル毎に、各イメージに対して実行する。
【００１７】
有利には、デバイスは、以下を有する：
イントライメージ相関を測定する前に前記ビデオイメージシーケンスをデインタレーシングする手段と、
最後の重み付けの後、前記ビデオイメージシーケンスをインタレース(interlacing)する手段を有する。
【００１８】
こうすることによって、イメージの垂直方向の完全な定義を有するプログレッシブなフレームを得ることができる。
【００１９】
その際、イメージの水平方向及び垂直方向の両方の軸で処理するバイアスを用いずに考慮することができる。
【００２０】
本発明は、ビデオイメージシーケンスのエンコーディング前のプリプロセシング方法に関する。
【００２１】
本発明によれば方法は、
ビデオイメージシーケンスで、複数のモルフォロジー処理ステップを実行するステップと、
各モルフォロジー処理ステップの後、モルフォロジー処理の結果に重み付けを加えるための複数の重み付けステップを有する。
【００２２】
以下、本発明について、図示の実施例を用いて詳細に説明する。なお、本発明はそれらの実施形態に限定されるものではない。その際：
図１は、本発明のデバイスの有利な実施例を示す図、
図２は、現時点でのイメージの複雑性を定義するために考慮されるカレントポイントＰの近傍を示す図である。
【００２３】
なお、以下で説明するモジュールは、物理的に区別することのできるユニットに対応させてもよいし、対応させなくてもよい機能ユニットである。例えば、当該の各モジュールまたはその幾つかを単一のコンポーネントにまとめることもできるし、同一のソフトウェアの種々の機能とすることもできる。これとは逆に、場合によっては幾つかのモジュールを、複数の別個の物理的なエンティティによって構成してもよい。
【００２４】
プリエンコーディングデバイスのインプットのビデオ信号Ｅｉは、インターレースされたビデオ信号である。
【００２５】
プリエンコーディングデバイスのパフォーマンスを改善するために、ビデオ信号Ｅｉは、デインターレーサ１によってデインターレースされる。デインターレーサ１は、当業者には公知の、ビデオ信号Ｅｉの３つの連続フィールドに基づくデインタレース方法を使って、ビデオ信号Ｅｉのフィールド毎のライン数を２倍にする。その際、プログレッシブフォーマットが得られ、その際、各フィールドは、フレームになり、イメージの完全な垂直方向の定義を有しており、その結果、垂直方向の軸で処理を実行することができる。
【００２６】
信号Ｅは、デインターレーサ１のアウトプットで得られる。
【００２７】
その際、イメージの完全な解析が実行される。実際には、空間エントロピー低減は、主に、高空間エントロピーを有するイメージに対して適用される。
【００２８】
従って、デバイスは、各イメージの相関を測定するアップストリーム手段２を有している。
【００２９】
図２は、モジュール２内の現時点のイメージの複雑性を計算するために考慮される近傍の例を示す。
【００３０】
イメージの各ピクセル毎に、現時点のポイントと、当該ポイントに隣接する４つのポイントの輝度を使って、ピクセル結果"Ｒｐ"が計算される。
Rp - [abs(P - PC-1,0)) + abs{P - P(0,-1)) + abs{P - P(0,+1)) 4- abs(P - P(+1,0))]/ 4 
その際、これらの各ピクセル結果は、１つのフレーム上に蓄積される。
【数１】
2008504762.tif 000003
【００３１】
この相関測定は、ピクセルと当該ピクセルの隣接各ピクセル間の、１つのイメージ上の、平均偏差を確認するために使われる。イメージ内の定義上の関心のある情報が、その際得られる。
【００３２】
別の実施例では、イメージの複雑性のもっと完全な定義を得るために、これらの式を変更することができる。イメージの複雑性を計算の際に考慮して、現時点のピクセルの近傍を拡大することもできる。
【００３３】
この測定から、入力イメージの複雑性の関数として、係数Ｋが範囲［０，１］内で計算される。
【００３４】
以下の表は、Cintraの関数として示した係数Ｋの各値を示す（但し、例示にすぎない）。
【００３５】
Cintraの値は、８ピクセルでエンコードされ、従って、０及び２５５である。
【表１】
2008504762.tif 000004
【００３６】
相関が非常に強い場合、イメージのプリプロセシングは、依然として実行されるが、しかし、係数Ｋの値によって示されるように、小さな割合で実行される。
【００３７】
逆に、弱い相関は、強いエントロピーのインディケータである。ランダムノイズの例（弱い）は、良い例である（高エントロピー）。
【００３８】
係数Ｋは、有利な実施例の場合と同様に各ミキサ毎に同一にするとよく、又は、ミキサ毎に全て異なっているようにしてもよい。
【００３９】
図１のデバイスで実行されるプロセシングは、ビデオの輝度成分にのみ実行される。
【００４０】
実際には、クロミナンス成分のプロセシングは、色内の不都合なアーチファクトを生起することがあり、とりわけ、イメージの複雑性の大部分を有するのは、輝度成分である。
【００４１】
モジュール２のアウトプットの信号Ｅｉｎ（信号Ｅと同じ）は、その際、モジュール３でエロージョン(erosion：浸食)演算される。構造化要素は、３ｘ３の窓、つまり、３行×３列の窓を、現時点のピクセル、又は９ピクセルの周りに有している。しかし、窓のサイズがエロージョン演算処理のシビアさ（程度）に正比例するように、別の窓サイズを考慮してもよい。
【００４２】
従って、モジュール３は、入力ビデオ信号Ｅｉｎの各ピクセル毎に、当該ピクセルの新たな輝度値を計算する。
【００４３】
従って、モジュール３のアウトプットのビデオ信号Ｔ０は、エロージョン演算された信号Ｅｉｎを示し、又は、従って、各ピクセル毎に、ビデオ信号Ｔ０に関連して変更された、当該ピクセルの輝度値は、ビデオ信号Ｔ０の構造要素の最少値（一部分である）に相応する。
【００４４】
その際、信号Ｔ０は、ミキサ４に伝送される。ミキサ４は、インプットとして、モジュール２によって伝送された係数Ｋを受信する。
【００４５】
ミキサ４は、アウトプットとして、以下の式による信号Ｓ０を形成する：
S0 = KxT0 + (1 - K)xEin
信号Ｓ０は、ダイラテーション（エキスパンション：膨張）モジュール５にインプットされる。
【００４６】
ダイラテーション（エキスパンション）演算は、サイズ３ｘ３＝９ピクセルの現時点のピクセル上で中心に位置している構造要素の各要素の中で、最大の輝度値を有するピクセルを保持することからなる。
【００４７】
ダイラテーション（エキスパンション）モジュールは、アウトプットとして、新たなビデオ信号Ｔ１を形成し、ミキサ６のインプットに伝送する。ミキサ６は、インプットとして重み付け係数Ｋを受信する。
【００４８】
ミキサ６は、それから、各ピクセル毎に、インプットとして受信される輝度値を重み付けすることによって以下の式に相応する信号Ｓ１を形成する：
S1 = KxT1 + (1 - K)xS0
信号Ｓ１は、それから、第２のダイラテーション（エキスパンション）モジュール７にインプットされる。
【００４９】
ダイラテーション（エキスパンション）モジュール７は、その際、信号Ｓ１にダイラテーション（エキスパンション）演算を実行する。ダイラテーション（エキスパンション）演算は、サイズ３ｘ３＝９ピクセルの現時点のピクセル上で中心に位置している構造要素の各要素の中で、最大の輝度値を有するピクセルを保持することからなる。
【００５０】
モジュール７は、それから、アウトプットとして、信号Ｔ２を形成し、この信号Ｔ２は、ミキサ８にインプットされ、ミキサ８は、受信された各ピクセル毎に、受信された信号の輝度成分を重み付けする。ミキサ８は、インプットとして重み付け係数Ｋも受信する。
【００５１】
ミキサ８は、アウトプットとして、以下の式による信号Ｓ２を形成する：
S2 = KxT2 + (1 - K)xS1
信号Ｓ2は、その際、第２のエロージョンモジュール７インプットされる。
【００５２】
モジュール９は、信号Ｓ２にエロージョン演算を実行し、エロージョン演算は、前述のように、現時点のピクセルを、予め定義された構造要素の各ピクセルのうち、最少のピクセルで代替することからなる。
【００５３】
エロージョンモジュール９は、アウトプットとして信号Ｔ３を形成し、信号Ｔ３は、第４のミキサ１０にインプットされる。
【００５４】
ミキサは、アウトプットとして、以下の式による信号Ｓ３を形成する：
S3 = KxT3 + (1 - K)xS2
信号Ｓ３は、それから、インターレーサ１１のインプットに伝送され、インターレーサ１１は、プリプロセシングデバイスのビデオアウトプットＳｉを得るために、信号Ｓ３をインターレースするのに使用され、ビデオアウトプットＳｉは、それから、エンコーディングデバイスに伝送される。
入力されたビデオ信号Ｓｉは、それから、低減された空間エントロピーから利点を得て、ビデオ信号の後続のエンコーディングが一層容易になる。その後、何らかのエンコーディングタイプを考慮することができる。
【００５５】
当然、本発明は、上述の実施例に限定されるものではない。関連するミキサの個数を変えることができるように、プリプロセシングデバイスのモルフォロジー演算の回数を変えることを考慮することができるということは、当業者には、公知のことである。
【００５６】
エロージョン演算に続いてダイラテーション（エキスパンション）演算を行うことは、オープニング演算と呼ばれる。ダイラテーション（エキスパンション）演算に続いてエロージョン演算を行うことは、クロージング演算と呼ばれる。
【図面の簡単な説明】
【００５７】
【図１】本発明のデバイスの有利な実施例を示す図
【図２】現時点でのイメージの複雑性を定義するために考慮されるカレントポイントＰの近傍を示す図
【図１】
2008504762.tif 000005
【図２】
2008504762.tif 000006
【手続補正書】
【提出日】平成18年5月3日(2006.5.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオイメージシーケンス（Ｅi）のエンコーディング前のプリプロセシングデバイスにおいて、
ビデオイメージシーケンス（Ｅi）に対して複数のモルフォロジー処理ステップを実行する手段（３，５，７，９）と、
前記各モルフォロジー処理ステップの後、混合された信号を得るための次のモルフォロジー処理ステップの実行前に、前記モルフォロジー処理ステップの結果に対して重み付けを実行するためのミキサ（４，６，８，１０）を有することを特徴とするプリプロセシングデバイス。
【請求項２】
複数のモルフォロジー処理ステップを実行する前に、前記ビデオイメージシーケンス（Ｅi）の複雑性を測定する手段（２）を有する請求項１記載のデバイス。
【請求項３】
前記ビデオイメージシーケンス（Ｅi）の複雑性を測定する手段（２）は、イントライメージ相関を測定する請求項２記載のデバイス。
【請求項４】
複雑性を測定する手段は、各ミキサ（４，６，８，１０）用の重み付け係数（Ｋ）を計算する請求項３記載のデバイス。
【請求項５】
重み付け係数（Ｋ）は、各ミキサ（４，６，８，１０）に対して同一である請求項４記載のデバイス。
【請求項６】
重み付け係数（Ｋ）は、イントライメージ相関に対して反比例している請求項４又は５記載のデバイス。
【請求項７】
複数のモルフォロジー処理ステップを実行する手段（３，５，７，９）及びミキサ（４，６，８，１０）は、ビデオ信号の輝度成分に対して、ピクセル毎に、各イメージに対して前記各モルフォロジー処理ステップを実行する請求項１から６迄の何れか１記載のデバイス。
【請求項８】
請求項1から７までのいずれか１項記載のデバイスにおいて、
イントライメージ相関を測定する前に前記ビデオシーケンス（Ｅi）をデインタレース(deinterlacing)する手段と、
最後の重み付けの後、前記ビデオシーケンス（Ｅi）をインタレース(interlacing)する手段（１１）を有するデバイス。
【請求項９】
複数のモルフォロジー処理ステップを実行する手段は、オープニング演算を実行してからクロージング演算を後続する請求項１から８迄の何れか１記載のデバイス。
【請求項１０】
ビデオイメージシーケンスのエンコーディング前のプリプロセシング方法において、
ビデオイメージシーケンス（Ｅi）で、複数のモルフォロジー処理ステップを実行するステップと、
前記各モルフォロジー処理ステップの後、混合された信号を得るための次のモルフォロジー処理ステップの実行前に、前記モルフォロジー処理ステップの結果に対して重み付けを実行するための複数の重み付けステップを有することを特徴とするプリプロセシング方法。
【国際調査報告】
2008504762.tif 000007
2008504762.tif 000008
2008504762.tif 000009