(57)【特許請求の範囲】
【請求項１】
ビデオ画像を構成するｙ行ｘ列のブロックにそれぞれ設定された状態情報を訂正する状態情報訂正方法であって、
前記状態情報は、少なくともフィルムモード及びビデオモードを含み、前記ビデオ画像を所定のブロック領域に分割し、当該分割された複数のブロック領域のそれぞれについて、当該ブロック領域に含まれる複数のブロックのうち前記フィルムモードが設定されたブロックの数を求める工程と、
前記求められたフィルムモードが設定されたブロックの数を第１の閾値とそれぞれ比較する工程と、
前記求められたフィルムモードが設定されたブロックの数が前記第１の閾値よりも大きい前記ブロック領域について、当該ブロック領域に含まれる全てのブロックを前記フィルムモードに設定する工程とを備える、状態情報訂正方法。
【請求項２】
前記所定のブロック領域は、１行ｘ列のブロック領域である、請求項１に記載の状態情報訂正方法。
【請求項３】
前記所定のブロック領域は、ｙ行１列のブロック領域である、請求項１に記載の状態情報訂正方法。
【請求項４】
前記状態情報は、バイナリ値である請求項１から請求項３のいずれかに記載の状態情報訂正方法。
【請求項５】
前記求められたフィルムモードが設定されたブロックの数を第２の閾値と比較する工程と、
前記求められたフィルムモードが設定されたブロックの数が前記第２の閾値よりも小さい前記ブロック領域について、当該ブロック領域に含まれる全てのブロックを前記ビデオモードに設定する工程とを更に備える、請求項１から請求項４のいずれかに記載の状態情報訂正方法。
【請求項６】
動き補償画像処理方法であって、
現在の画像の状態情報と共に画像データを受け取る工程と、
請求項１から請求項５のいずれかに記載の状態情報訂正方法を適用することによって、前記現在の画像の前記状態情報を訂正する工程と、
前記訂正された状態情報に基づいて動き補償画像処理を行う工程とを備える、動き補償画像処理方法。
【請求項７】
ビデオ画像を構成するｙ行ｘ列のブロックにそれぞれ設定された状態情報を訂正する画像状態情報訂正器であって、
前記状態情報は、少なくともフィルムモード及びビデオモードを含み、
前記ビデオ画像を所定のブロック領域に分割し、当該分割された複数のブロック領域のそれぞれについて、当該ブロック領域に含まれる複数のブロックのうち前記フィルムモードが設定されたブロックの数をカウントするカウンタと、
前記カウンタでカウントされた前記フィルムモードが設定されたブロックの数を第１の閾値とそれぞれ比較する比較器と、
前記カウンタでカウントされた前記フィルムモードが設定されたブロックの数が前記第１の閾値よりも大きい前記ブロック領域について、当該ブロック領域に含まれる全てのブロックを前記フィルムモードに設定する第１のモード設定器とを備える、画像状態情報訂正器。
【請求項８】
前記所定のブロック領域は、１行ｘ列のブロック領域である、請求項７に記載の画像状態情報訂正器。
【請求項９】
前記所定のブロック領域は、ｙ行１列のブロック領域である、請求項７に記載の画像状態情報訂正器。
【請求項１０】
前記状態情報は、バイナリ値である請求項７から請求項９のいずれかに記載の画像状態情報訂正器。
【請求項１１】
前記カウンタでカウントされた前記フィルムモードが設定されたブロックの数を第２の閾値と比較する第２の比較器と、
前記カウンタでカウントされた前記フィルムモードが設定されたブロックの数が前記第２の閾値よりも小さい前記ブロック領域について、当該ブロック領域に含まれる全てのブロックを前記ビデオモードに設定する第２のモード設定器とを更に備える、請求項７から請求項１０のいずれかに記載の画像状態情報訂正器。
【請求項１２】
動き補償画像処理を行う画像状態情報訂正器であって、
請求項７から請求項１１のいずれかに記載の画像状態情報訂正器と、
前記訂正された状態情報に従って動き補償を選択する選択器とを備える画像状態情報訂正器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、改善された画質向上処理に関し、特にビデオデータに付随する状態情報を訂正する方法およびそれに対応する画像状態情報訂正器に関する。
【背景技術】
【０００２】
ピクチャー向上処理は、ますます多くの分野、特に最近のテレビ受信機のデジタル信号処理に適用されている。具体的には、最近のテレビ受信機は、再生された画像の画質を向上させるために、フレームレート変換を特に上方変換または動き補償上方変換という形態で行う。動き補償上方変換は、例えば５０Ｈｚのフィールド周波数またはフレーム周波数を有するビデオシーケンスに対して行われ、６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚ、１００Ｈｚなどのより高い周波数に変換する。５０Ｈｚの入力信号周波数は主にＰＡＬまたはＳＥＣＡＭのテレビ規格に基づくテレビ信号放送に適用される。他方、ＮＴＳＣに基づくビデオ信号は６０Ｈｚの入力周波数を有する。６０Ｈｚの入力ビデオ信号は、より高い周波数、例えば７２Ｈｚ、８０Ｈｚ、９０Ｈｚ、１２０Ｈｚなどに上方変換され得る。
【０００３】
上方変換の際、５０Ｈｚまたは６０Ｈｚのビデオシーケンスによっては表現されない時間位置のビデオコンテンツを反映する中間画像が生成される。これを実現するには、オブジェクトの動きによって生じる、連続する画像間の変化を適切に反映させるために、動くオブジェクトの動きを考慮する必要がある。オブジェクトの動きはブロック単位で計算され、前後の画像間に新たに生成された画像の相対的時間位置に基づいて動き補償が行われる。
【０００４】
動きベクトルを判定するため、各画像が複数のブロックに分割される。前の画像からのオブジェクトのシフトを検出するために、各ブロックに対して動き予測が行われる。
【０００５】
ハイエンドのテレビ受信機およびそれに関連するデバイスは、受信した画像データについての更なる情報を用いてフレームレート変換および画像サイズスケーリングを行う。動き情報に加えて、フィルムモード表示（インジケーション）および更なる補足情報が画像処理を支える。フィルムモード表示は、画像データがビデオカメラからのもの（「ビデオモード」または「カメラモード」と呼ぶ）であるか動画フィルムからのもの（「フィルムモード」と呼ぶ）であるかを示す。「ビデオモード」の場合、動くオブジェクトはビデオシーケンスの各画像において異なる動きフェーズで表される。そのためフィールド間の動きによってビデオモードを検出することができる。「フィルムモード」の場合、画像は動画からインターレースビデオデータへの変換から得られる。このような変換によると、１つのフィルムフレームから２または３のフィールドが生成され、それによって特定の動きあり／動きなしパターンを検出することができる。
【０００６】
ピクチャー向上処理を特に動き補償に基づいて行う場合、適切な処理スキームを用いるためには個々の画像によって表される特定の動きフェーズを知っておくことが必要である。
【０００７】
フィルムモード表示、すなわち現在の画像がビデオモードであるかフィルムモードであるかを検出することは、例えば特許文献１によって既に公知である。
【特許文献１】欧州特許出願公開第１１９８１３７号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、状態情報の信頼性を高め、より適切な画質向上処理を可能にするために、画像データに関連づけられた状態情報の質を向上させることを目指す。それ故、本発明の目的は、ビデオ画像の状態情報を訂正する方法およびそれに対応する画像状態情報訂正器を提供することである。
【課題を解決するための手段】
【０００９】
上記目的は独立請求項の特徴により達成される。
【００１０】
本発明の第１の局面によると、ビデオ画像の状態情報を訂正する方法が提供される。状態情報は、複数の画像要素を包含するビデオ画像内の各画像要素に割り当てられている。状態情報は少なくとも２つの異なるモードを含む。上記方法は、所定の画像領域内において所定のモードの状態情報を有する画像要素の数をカウントする。カウントされた値は所定の閾値と比較される。カウントされた値が閾値よりも大きい場合、所定の画像領域のすべての画像要素が所定のモードに設定される。
【００１１】
本発明の更なる局面によると、ビデオ画像の状態情報を訂正する画像状態情報訂正器が提供される。状態情報は、複数の画像要素を包含するビデオ画像内の各画像要素に割り当てられている。状態情報は少なくとも２つの異なるモードを含む。画像状態情報訂正器は、カウンタと、比較器と、モード設定器とを包含する。カウンタは、所定の画像領域内において所定のモードの状態情報を有する画像要素の数をカウントする。比較器は、カウントされた値を所定の閾値と比較する。モード設定器は、カウントされた値が閾値よりも大きい場合、所定の画像領域のすべての画像要素を所定のモードに設定する。
【００１２】
本発明の特徴的なアプローチは、ビデオ画像に関連づけられた状態情報の信頼性を高めることである。状態情報は、個々の画像要素に割り当てられた局所的特徴という形態でビデオデータに割り当てられている。所定の画像領域の状態情報が評価され、周囲の状態情報と比較される。評価により、特定の画像要素に割り当てられた状態が不安定であると考えられることが明らかになった場合、この状態情報は訂正される。これを実現するために、特定の状態モードを有する画像要素の数がカウントされる。カウント結果は所定の閾値と比較される。カウントされた値が閾値より大きい場合、別のモードの画像要素が信頼できない不規則部分であると考えられ、その結果訂正される。このようにして状態情報の信頼性を向上させることができ、それに続く画像処理を改善することができる。
【００１３】
局所単位、好ましくはブロック単位で画像の特徴を判定することにより、正しい状態判定に寄与しない特定の画像要素（ブロック）が戻されることがあり得る。本発明によって、即ち所定の画像領域内の他の画像要素／ブロックの状態情報を参照することによって、このような判定の失敗を隠蔽することができる。
【００１４】
所定の画像領域は、好ましくはビデオ画像の所定数のブロックラインまたはブロック列を包含し、最も好ましくは単一のブロックラインまたはブロック列を包含する。このようにして、あるラインまたは列のすべてのブロックが分析され、特定のモードを有する所定数のブロックの閾値が検出された場合、上記すべてのブロックはそのモードに設定される。
【００１５】
好ましくは、所定の画像領域は、所定の水平および垂直サイズの領域内の複数のブロックを包含する。従って状態情報および訂正用に評価される画像領域を任意に設定することができる。例えば、画像領域のサイズは画像オブジェクトの境界線に応じて設定されてもよい。このようにして、画像コンテンツに関連する訂正を行うことができる。
【００１６】
好ましくは、状態情報はバイナリ値である。状態情報のモードは好ましくはフィルムモード／ビデオモードを含む。更なる好適な実施形態によると、状態情報はフィルムモードおよび／または動きパターンを含む。動きパターンは、好ましくは、動画からインターレースへの変換パターンを示す。従って、インターレースフィールドの画像処理は、向上した信頼性を有する状態情報に基づいて適切に行われ得る。
【００１７】
好ましくは、カウントされた値は第２の所定の閾値と比較され、カウントされた値が第２の閾値より小さいことが判明した場合、すべてのブロックは状態情報の別のモードに設定される。従って、１以上の上記状態情報のモードに対して、簡単な方法でモード訂正を達成することができる。
【００１８】
本発明の好ましい実施形態は、従属請求項の主題事項である。
【００１９】
本発明の他の実施形態および利点は、以下の好ましい実施形態の記載からより明らかになる。
【発明を実施するための最良の形態】
【００２０】
本発明は、デジタル信号処理に関し、特に最近のテレビ受信機におけるデジタル信号処理に関する。現行のテレビ受信機は、再生された画質を向上させるために上方変換アルゴリズムを用いている。これを実現するには、２つの連続する画像から中間画像を生成しなければならない。中間画像の生成には、補間された画像が反映される時刻にオブジェクト位置を適切に適合させるために、動くオブジェクトの動きを考慮する必要がある。
【００２１】
動きベクトル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）および動き補償（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）を判定する動き予測（ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ）は、ブロック単位で行われる。これを実現するために、例えば図１に示すように、各画像が複数のブロックに分割される。前の画像における各ブロックに最も良く適合するブロックを判定することによって、各ブロックは、個々に動き予測を受ける。
【００２２】
画像領域に対して正しく動き補償を適用することを可能にするために、その画像領域に対して、フィルムモード表示の判定、すなわちフィルムモードであるかビデオモードであるかの判定を行うことが必要である。検出されたフィルムモード表示に応じて正しい画質向上処理を適用することにより、画像の劣化が回避され、向上した画質を達成することができる。
【００２３】
このようなビデオ信号処理は特に、プログレッシブディスプレイを駆動するため、また、より高フレームレートを利用するために、とりわけＨＤＴＶ表示デバイスにおいて必要とされる。テレビ放送（「フィルムモード」とも呼ぶ）用にインターレース画像シーケンスに変換された動画フィルムを検出することは信号処理にとって非常に重要である。
【００２４】
ピクチャー向上処理の場合、インターレース／プログレッシブ（Ｉ／Ｐ）変換は、逆テレシネ処理、すなわち偶数フィールドと奇数フィールドとの再インターリーブという形態で可能である。３−２プルダウンスキームからの画像シーケンスの場合、１つのフィルムフレームから得られた３つのフィールドにおける１つの冗長フィールド（図２においてグレーで示されるフィールド）が排除される。
【００２５】
より高度な上方変換アルゴリズムは、動きベクトルに基づいたフレーム補間を用いる。出力フレームレートは、入力ビデオレートの非整数分の一であり得る。例えば、６０Ｈｚの入力信号周波数は、５：６の比で、７２Ｈｚの出力周波数に上方変換され得る。従って、動くオブジェクトの動作が連続しているという印象を維持する場合、１つの入力フィールドのみから、６フレーム毎の出力フレームのみが生成される。
【００２６】
画像におけるフィルムモードの特徴は、画像単位で判定されてもよいし、より向上した方法によると、個々の画像領域の局所的特徴であってもよい。特にテレビ信号は、動きのない領域（例えば、ロゴ、背景など）、ビデオカメラ領域（例えば、ニュースティッカー、ビデオ挿入など）、およびフィルムモード領域（例えば、メイン動画、ＰＩＰなど）といった異なるタイプの画像領域から構成されている。これらの画像領域の各々に対してプルダウンスキームの検出を別々に行うことにより、向上した画質を有する上方変換結果を得ることが可能となる。
【００２７】
フィルムモード検出は、一般に、プルダウンパターンの認識を含む。従来、画素の差異は、連続する画像間の動きを表す変位フレーム差（Ｄｉｓｐｌａｃｅｄ  Ｆｒａｍｅ  Ｄｉｆｆｅｒｅｎｃｅ：ＤＦＤ）に累積される。検出されたフィルムモード表示が突然変化し、視聴者に不安定であるという印象を与えかねない結果になることを避けるために、フィルムモードからビデオモードへの切り換え、またはその逆をトリガーする際に検出遅延が行われる。
【００２８】
フィルムモード表示の正確さを高めるために、例えば図１に示すようにブロック単位でフィルムモード検出が行われる。画素サイズｍ＊ｎを有する各ブロックに対して、動きベクトルおよびフィルムモード表示が判定される。水平および垂直の動きベクトルの要素に加えて、現在のブロックがフィルムモードであるかビデオモードであるかを示すフィルムモード表示が格納される。更に、元々のフィルムモード表示と後に訂正されたものとを区別するために、割り当てられたフィルムモード表示を訂正したものは、「人工モード」表示と表示される。
【００２９】
フィルムモード判定は好ましくは、連続するフィールド間の輝度値の差に基づいて行われる。評価すべきフィールドの数は、判定すべき動きパターンの種類に依存する。すなわち２−２プルダウンであるか、３−２プルダウンであるか、またはこれらの組み合わせであるかを検出する必要がある。
【００３０】
フィルムモード評価の際、上記判定は、一部のブロックが失われることや、誤った判定がなされることによって、失敗に終わる可能性がある。これらの判定の失敗は、後に続く画像処理の性能低下、特に補間アルゴリズムの性能低下につながる。
【００３１】
フィルムモード判定は好ましくは、連続するフィールド内において互いに対応する２つの画像ブロック間の輝度値の差に基づいて行われる。図３にフィルムモード判定の基本的原理を示す。図３からわかるように、２つのフィールドが１つの動画フィルムフレームから生成されている。連続するフィールド間で計算された差異は、フィールドが同一の動画フィルムフレームからのものか異なる動画フィルムフレームからのものかに依存する。従って、大きな差異を論理値「１」によって示し、小さな差異を示し論理値「０」によって示すバイナリフィルムモードパターンを生成することができる。バイナリ値は、連続するフィールド間に動きが存在するか否かを示す。検出された動きパターンはレジスタに格納され、用いられたプルダウンスキームを検出するために所定の参考パターンと比較される。
【００３２】
フィルムモード判定は、例えば図１および図４に示すようにブロック単位で行われる。
【００３３】
フィルムモード判定は主に以下の問題点を有する。まず、ビデオ画像内に存在するノイズがそれぞれの輝度値を歪め、結果として得られるモード判定に誤りを引き起こし得る。
【００３４】
更に、画像オブジェクトの非常に遅い動きでは、差異の累積結果は、所定の閾値を超えることができない。従って、非常に遅い動きは、誤ったフィルムモード判定という結果になり、それぞれの画像がテレシネ変換から得られているにもかかわらずビデオ／カメラモードであるという誤った表示をする可能性がある。
【００３５】
更に、画像内において定まった形のない領域（ｕｎｓｔｒｕｃｔｕｒｅｄ  ａｒｅａ）は、動きが存在し得るにもかかわらず、差異を検出することができない。動きを検出することができないこのような画像部分の例を図５に示す。
【００３６】
ブロック単位で判定されたフィルムモード表示の例を図６に示す。図示される例は、フィルムモードＦではなくカメラモードＣであると判定され、「Ｃ」と記された４つのブロックが示されている。図５から把握されるように、これらのブロックは非構築画像部分に関連するため、これらの画像領域に対するフィルムモード判定は失敗しており、その結果、信頼できるフィルムモード判定を行うことができない。これらの誤って判定されたフィルムモード表示は、これらのブロックに対して不適切なピクチャー処理を引き起こし、視聴者によって知覚される画質の低下をもたらす。
【００３７】
判定された局所的画像特徴内のこのような不規則部分を検出し排除するために、本発明は所定の画像領域内のフィルムモード表示を分析し、評価された特定モードの分布に応じてモードを訂正することを提案する。
【００３８】
本発明の好ましい実施形態によると、すべてのフィルムモード表示は、個々の画素ラインについて評価される。フィルムモードのブロック数がカウントされ、カウントされたフィルムモードブロック数が所定の閾値を超える場合、その行のすべてのブロックのモードをフィルムモードに設定する。
【００３９】
同時にビデオモード訂正も行うことができる。これを実現するために、カウント値は、更に、ビデオモード用に事前に設定された第２の閾値と比較される。カウント値が第２の閾値よりも小さい場合、対応するラインのすべてのブロックは、ビデオモードに設定される。
【００４０】
カウント値が第１の閾値よりも大きくなく第２の閾値よりも小さくない場合、判定されたフィルムモード表示を維持する。
【００４１】
この処理をビデオ画像のブロックライン毎に繰り返し、それにより画像の全ブロックに対して判定された特徴の信頼性が高まる。
【００４２】
好ましい実施例によると、ブロックラインのすべてについて検出されたモードをフィルムモードに訂正する際の第１の閾値は、ライン毎のブロックの総数の約９５％の値に設定される。好ましくは、ブロックライン全体についての検出されたモードをビデオモードに訂正する際の第２の閾値は、ライン毎のブロックの総数の約５％の値に設定される。好ましくは、これらの値は、それぞれの画像コンテンツおよび伝送品質に適合するように設定される。
【００４３】
上記実施形態を実施する好ましい実施例によると、第１の閾値を、ライン毎のブロックの総数の８５〜９８％の値に、最も好ましくは９０〜９６％の値に設定する。更に、カメラモード訂正用の低い方の閾値を、ライン毎のブロックの総数の２〜１５％の値に、最も好ましくは４〜１０％の値に設定する。閾値として用いられる値は、ブロックモード判定の質、ブロックサイズ、およびブロックの数に依存して変化する。
【００４４】
本発明のフローチャートを図７に示す。図７に示す方法を、ブロックラインの各々に対して行う。ステップ１１０においてブロックラインの評価が開始された後、ステップ１２０において１番目のブロックについてのモードを取得する。取得されたモードがフィルムの場合は、ステップ１３０からステップ１４０に進み、カウント値を増加させる。それ以外の場合には、ステップ１３０からステップ１５０に進み、ブロックラインにおける最後のブロックに達したか否かを判定する。
【００４５】
ラインの最後のブロックに達しない限り、フィルムモードのブロックを検出する毎にカウント値を増加させる。
【００４６】
あるラインのすべてのブロックを分析した後、ステップ１６０においてカウント値を第１の閾値ｔｈｒｓ＿ｆｉｌｍと比較する。カウント値が第１の閾値より大きい場合、ステップ１７０において、そのラインにおけるすべてのブロックは、フィルムモードに設定される。
【００４７】
好ましくは、ステップ１８０でカウント値を更に第２の閾値ｔｈｒｓ＿ｃａｍｅｒａと比較する。カウント値が第２の閾値ｔｈｒｓ−ｃａｍｅｒａより小さい場合、ステップ１９０において、その行のすべてのブロックは、ビデオモードに設定される。
【００４８】
当業者であれば、上記訂正はライン毎のブロックの評価に限定されないことがわかる。ブロックの行単位の訂正に関して上記した実施形態に対応する方法であれば、画像ブロックは、ビデオ画像のブロックの列毎に評価および訂正されてもよいし、あるいは、複数の行または列毎に評価および訂正されてもよい。
【００４９】
更に、モード情報を判定する対象である画像要素のサイズおよび形態はブロックに限定されない。当業者であれば、いずれの種類の画像要素でもこの目的のために使用可能であることがわかる。
【００５０】
本発明は要約すると、ビデオ画像に局所単位で割り当てられた画像状態情報の訂正に関する。複数の画像要素を包含する所定の画像部分が評価されると、誤った判定が検出され排除される。
【図面の簡単な説明】
【００５１】
【図１】ビデオ画像の複数の同一サイズのブロックへの分割を示す図
【図２】動画フィルムからインターレースビデオへの変換を示す図
【図３】インターレースビデオシーケンスに対するフィルムの動きパターンの判定を示す図
【図４】ビデオ画像の複数のブロックへの分割の一例を示す図
【図５】状態情報の検出を失敗させる可能性のある特定の画像領域を示す図
【図６】ブロック単位での状態情報の判定の一例を示す図
【図７】状態情報訂正のために実行される本発明に係る工程の一例を示すフローチャート
【図１】
0004791074.tif 000002
【図３】
0004791074.tif 000003
【図７】
0004791074.tif 000004
【図２】
0004791074.tif 000005
【図４】
0004791074.tif 000006
【図５】
0004791074.tif 000007
【図６】
0004791074.tif 000008