(57)【要約】【課題】  より適切な画質改良処理を可能にするために画像データに関連してフィルムモード標示の品質を向上させること。【解決手段】  本発明は、フィルムモード検出が失敗する画像領域を正しくフィルムモードに保持することができる。特に、フィルムモードの不規則な画像領域では、確実にフィルムモードが検出できない。したがって、これらの静止画像領域の境界領域では、間違ったモード判定に基づく不適切な処理方式の使用によって画像改良処理時に画質が劣化してしまう。本発明はさらに、全体フィルムモード標示を検出し、検出された全体動きを使用して、局所フィルムモード検出が失敗して静止モードが検出されてしまった画像領域の局所フィルムモード判定を行う。【選択図】  図４
2005318624.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスの画像に対するフィルムモード標示を判定するための方法であって、各ビデオ画像は複数の画像領域を含み、前記方法は、
後画像間の動きの検出に基づいて、前記ビデオシーケンスの各画像がフィルムモードまたはビデオモードのいずれかであるかを示す全体フィルムモード標示を判定するステップと、
後画像の対応する画像領域間の動きの検出に基づいて、各画像領域がフィルムモードまたはビデオモードのいずれかであるかを示す局所フィルムモード標示を判定するステップと、
後画像の対応する画像領域間の動きの検出に基づいて、該画像領域に対して動きが検出されたかどうかを示す局所静止モード標示を判定するステップとを含み、
前記現在の画像領域に対して静止モードが検出された場合に、前記現在の画像領域の前記局所フィルムモード標示が前記フィルムモード標示に対して検出された前記動きに基づいて判定される、方法。
【請求項２】
前記局所フィルムモードを判定するステップは、
後画像における対応する位置での画像領域間に動きが存在するかどうかを示す動きビットを検出するステップと、
前記検出された動きビットをＦＩＦＯレジスタに記憶するステップと、
前記記憶された動きビットと予め記憶された動きパターンとを比較するステップと、
予め記憶されたパターンが検出された場合にフィルムモードであると判定するステップとを含む、請求項１に記載の方法。
【請求項３】
前記全体フィルムモードを判定するステップは、
後画像間に動きが存在するかどうかを示す動きビットを検出するステップと、
前記検出された動きビットをＦＩＦＯレジスタに記憶するステップと、
前記記憶された動きビットと予め記憶された動きパターンとを比較するステップと、
予め記憶されたパターンが検出された場合にフィルムモードであると判定するステップとを含む、請求項１または２に記載の方法。
【請求項４】
前記現在のブロックに対して静止モードが検出された場合、前記局所フィルムモード判定は前記全体動き判定において判定された動きビットに基づく、請求項３に記載の方法。
【請求項５】
前記局所フィルムモード判定に対する現在の動きビットは、前記全体動き判定に対して判定された前記動きビットから所定の規則にしたがって得られる、請求項４に記載の方法。
【請求項６】
前記局所フィルムモード判定に与えられる前記動きビットは、参照テーブルから得られる、請求項５に記載の方法。
【請求項７】
前記予め記憶された動きパターンは、個々の映画フィルム−インタレース変換パターンを反映する、請求項２〜６のいずれかに記載の方法。
【請求項８】
前記映画フィルム−インタレース変換パターンは、２−２および／または３−２プルダウンパターンを含む、請求項７に記載の方法。
【請求項９】
前記動きビットを検出するステップは、
前記後画像の対応するピクセル間の絶対ピクセル差を計算するステップと、
前記絶対ピクセル差を累算するステップと、
前記累算結果を所定の閾値と比較するステップと、
前記累算結果が前記閾値を超える場合に、動きが存在すると判定するステップとを含む、請求項２〜８のいずれかに記載の方法。
【請求項１０】
前記フィルムモード標示はバイナリ値である、請求項１〜９のいずれかに記載の方法。
【請求項１１】
所定数の後画像に対して動きが検出されない場合、前記静止モードであると判定される、請求項１〜１０のいずれかに記載の方法。
【請求項１２】
前記ビデオ画像は、ブロックラスタ配置のブロック形態の複数の画像領域を含む、請求項１〜１１に記載の方法。
【請求項１３】
ビデオシーケンスの動き補償画像処理を行うための方法であって、
請求項１〜１２のいずれかに記載の方法にしたがってビデオシーケンスに対するフィルムモード標示を判定するステップと、
前記判定されたフィルムモード標示に基づいて動き補償画像処理を行うステップとを含む、方法。
【請求項１４】
ビデオシーケンスの画像に対するフィルムモード標示を判定するためのフィルムモード検出器であって、各ビデオ画像は複数の画像領域を含み、前記フィルムモード検出器は、
後画像間の動きの検出に基づいて、前記ビデオシーケンスの各画像がフィルムモードまたはビデオモードのいずれであるかを示す全体フィルムモード標示を判定する全体フィルムモード検出器と、
後画像の対応する画像領域間の動きの検出に基づいて、各画像領域がフィルムモードまたはビデオモードのいずれであるかを示す局所フィルムモード標示を判定する局所フィルムモード検出器と、
後画像の対応する画像領域間の動きの検出に基づいて、該画像領域に対して動きが検出されたかどうかを示す局所静止モード標示を判定するための局所静止モード検出器とを備え、
前記局所フィルムモード検出器は、前記現在の画像領域に対して静止モードが検出された場合に、前記現在の画像領域の前記局所フィルムモード標示を前記フィルムモード標示に対して検出された前記動きに基づいて判定する、フィルムモード検出器。
【請求項１５】
前記局所フィルムモード検出器は、
後画像における対応する位置での画像領域間に動きが存在するかどうかを示す動きビットを検出するための動きビット検出器と、
前記検出された動きビットを記憶するためのＦＩＦＯレジスタと、
前記記憶された動きビットと予め記憶された動きパターンとを比較し、予め記憶されたパターンが検出された場合にフィルムモードであると判定するための比較器とを備える、請求項１４に記載のフィルムモード検出器。
【請求項１６】
前記全体フィルムモード検出器は、
後画像間に動きが存在するかどうかを示す動きビットを検出する動きビット検出器と、
前記検出された動きビットを記憶するためのＦＩＦＯレジスタと、
前記記憶された動きビットと予め記憶された動きパターンとを比較し、予め記憶されたパターンが検出された場合にフィルムモードであると判定する比較器とを備える、請求項１４または１５に記載のフィルムモード検出器。
【請求項１７】
前記局所フィルムモード検出器は、前記全体動き検出器によって判定された動きビットを使用する、請求項１６に記載のフィルムモード検出器。
【請求項１８】
現在の判定された局所動きビット、または前記検出された全体動きに基づく動きビットのいずれかを選択する切り換え手段をさらに備える、請求項１７に記載のフィルムモード検出器。
【請求項１９】
前記受信した全体動きビットに基づいて動きビットを出力する参照テーブルをさらに備える、請求項１７または１８に記載のフィルムモード検出器。
【請求項２０】
前記予め記憶された動きパターンは、個々の映画フィルム−インタレース変換パターンを反映する、請求項１５〜１９のいずれかに記載のフィルムモード検出器。
【請求項２１】
前記映画フィルム−インタレース変換パターンは、２−２および／または３−２プルダウンパターンを含む、請求項２０に記載のフィルムモード検出器。
【請求項２２】
前記動きビット検出器は、
前記後画像の対応するピクセル間の絶対ピクセル差を計算するための検出器と、
前記絶対ピクセル差を累算するための累算器と、
前記累算結果を所定の閾値と比較し、前記累算結果が前記閾値を超える場合に、動きが存在すると判定するための比較器とを含む、請求項１５〜２１のいずれかに記載のフィルムモード検出器。
【請求項２３】
前記フィルムモード標示はバイナリ値である、請求項１４〜２２のいずれかに記載のフィルムモード検出器。
【請求項２４】
所定数の後画像に対して動きが検出されない場合、前記静止モード検出器は前記静止モードであると判定する、請求項１４〜２３のいずれかに記載のフィルムモード検出器。
【請求項２５】
前記ビデオ画像は、ブロックラスタ配置のブロック形態の複数の画像領域を含む、請求項１４〜２４に記載のフィルムモード検出器。
【請求項２６】
ビデオシーケンスの動き補償画像処理を行うための動き補償器であって、
請求項１４〜２５のいずれかに記載のフィルムモード検出器と、
前記判定されたフィルムモード標示に基づいて動き補償画像処理を行うための画像処理器とを含む、動き補償器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画質改良処理の向上に関する。特に、本発明は、ビデオシーケンスの画像に対してフィルムモード標示を判定するための方法、および対応するフィルムモード検出器に関する。
【背景技術】
【０００２】
画像改良処理は、ますます多くの用途に使用されてきている。特に最近のテレビ受信機のデジタル信号処理において使用される。具体的には、最近のテレビ受信機は、再生画像の画質を向上するためにフレームレート変換、特に上方変換または動き補償上方変換、を行う。動き補償上方変換は、例えば、５０Ｈｚのフィールドまたはフレーム周波数のビデオシーケンスを６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚ、１００Ｈｚなどのようなさらに高い周波数にするために行われる。５０Ｈｚの入力信号周波数は、ＰＡＬまたはＳＥＣＡＭ規格に準拠したテレビ信号放送に主に用いられる。他方、ＮＴＳＣに準拠したビデオ信号は６０Ｈｚの入力周波数を有する。６０Ｈｚの入力ビデオ信号は、７２Ｈｚ、８０Ｈｚ、９０Ｈｚ、１２０Ｈｚなどのより高い周波数へ上方変換され得る。
【０００３】
上方変換中に、中間画像が生成されるが、これらは５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスによって表されない時間位置におけるビデオ内容を反映したものである。この目的のために、物体の動きを考慮して、物体の動きによって生じるその後の画像間における変化を適切に反映させる必要がある。物体の動きはブロック単位で計算され、動き補償は、前後の画像との間に新たに生成された画像の相対的な時間位置に基づいて行われる。
【０００４】
動きベクトルを決定するために、各画像を複数のブロックに分割する（例えば、図１参照）。各ブロックの動きを予測して、物体の前画像からのずれを検出する。
【０００５】
上位機種のテレビ受像機および関連のデバイスは、フレームレート変換、受信画像データに関する付加情報を使用する画像サイズ拡大縮小を行う。動き情報に加えて、フィルムモード標示と、さらなる補足情報とが画像処理を補強する。フィルムモード標示は、画像データがビデオカメラ（「ビデオモード」または「カメラモード」と呼ぶ）または映画フィルム（「フィルムモード」と呼ぶ）のいずれから得られたものであるかを識別する。「ビデオモード」において、動く物体は、ビデオシーケンスにおける各画像の異なる動きフェーズによって表される。したがって、ビデオモードは、各フィールド間の動きによって検出することができる。「フィルムモード」では、画像は、映画−インタレースビデオデータ変換によって得られたものである。そのような変換は、特定の動き／動きなしパターンが検出できるように同じフィルムフレームから２または３つのフィールドを生成する。
【０００６】
画像改良処理を行う際、特に動き補償に基づく場合、適切な処理方式を使用するためには、各画像によって表される特定の動きフェーズを知る必要がある。
【０００７】
フィルムモード標示、すなわち、現在の画像がビデオまたはフィルムモードのいずれであるかの検出については、例えば、特許文献１から公知である。
【０００８】
ＰＡＬまたはＮＴＳＣ信号のようなインタレースビデオ信号とは対照的に、映画データは、完全なフレームから構成される。映画データの最も普及したフレームレートは２４Ｈｚ（２４ｐ）である。映画データをテレビ受信機でディスプレイするために変換する場合（この変換はテレシネ変換と呼ばれる）、２４Ｈｚのフレームレートは、「プルダウン」手法を使用してインタレースビデオシーケンスに変換される。
【０００９】
映画フィルムをＰＡＬ規格（フィールドレートが５０Ｈｚ（５０ｉ））に準拠したインタレース信号に変換するためには、２−２プルダウン手法が使用される。２−２プルダウン手法は、映画フィルムを１秒当たり２５フレーム（２５ｐ）で再生しながら、各フィルムフレームから２つのフィールドを生成する。その結果、２つの連続するフィールドは、同じフレームから得られ、かつビデオ内容（特に、動く物体）の同一の時間位置を表す情報を含む。
【００１０】
映画フィルムをＮＴＳＣ規格（フィールドレートが６０Ｈｚ（６０ｉ））に準拠したインタレース信号に変換する際には、３−２プルダウン手法を使用して２４Ｈｚのフレームレートが６０Ｈｚのフィールドレートに変換される。３−２プルダウン手法は、所定の映画フレームからの２つのビデオフィールドを生成し、次の映画フレームから３つのビデオフィールドを生成する。
【００１１】
異なるテレビ規格に従うインタレースビデオシーケンスを生成するためのテレシネ変換処理を図２に例示する。プルダウン手法を使用することによって、同一の動きフェーズを反映する隣接フィールドのペアまたはトリプレットを含むビデオシーケンスが生成される。テレシネ信号をインタレース画像シーケンスと区別するために、異なるフィルムフレームからのフィールド間のフィールド差を計算してもよい。
【００１２】
画像を改良処理するには、画像内容が動く物体を含まない場合は、インタレースビデオ画像のシーケンスにおける各フィールドの時間位置を考慮する必要はない。しかし、処理されるフィールド内に動く物体が存在する場合は、各フィールドの個々の動きフェーズを考慮する必要がある。したがって、画像改良処理には、個々のフィールドの動き特性を示す情報、すなわち、各フィールドが個々の動きフェーズを反映するかどうか、またはプルダウン手法が使用したことで後フィールドが同一の動きフェーズを反映するかどうか、が必要となる。
【００１３】
後画像間に動きを検出できない場合に画質改良処理を可能にするために、静止モード判定をさらに行うことが好ましい。このためには、静止標示（ｉｎｄｉｃａｔｏｒ）が計算される。この画像改良処理は、静止標示を受信した際に奇数および偶数フィールドの再交互配置（リインタリーブ）を行うことができる。
【特許文献１】欧州特許出願公開第１１９８１３７号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明は、より適切な画質改良処理を可能にするために画像データに関連してフィルムモード標示の品質を向上させることを目的とする。したがって、本発明の目的は、フィルムモード標示を判定するための改良された方法、および対応するフィルムモード検出器を提供することである。
【００１５】
本発明の目的は、独立請求項の特徴により達成される。
【課題を解決するための手段】
【００１６】
本発明の第１の局面によると、ビデオシーケンスの画像に対するフィルムモード標示を判定するための方法が提供される。各ビデオ画像は複数の画像領域を含む。後画像間の動きの検出に基づいてビデオシーケンスの各画像に対して全体フィルムモード標示が判定される。全体フィルムモード標示は各画像がフィルムモードまたはビデオモードのいずれであるかを示す。後画像の対応する画像領域間の動きの検出に基づいて各画像領域に対する局所フィルムモード標示が判定される。フィルムモード標示は画像領域がフィルムモードまたはビデオモードのいずれであるかを示す。さらに、後画像の対応する画像領域間の動きの検出に基づいて各画像領域に対する局所静止モード標示が判定される。局所静止モード標示は該画像領域に対して動きが検出されたかどうかを示す。現在の画像領域に対して静止モードが検出された場合に、現在の画像領域の局所フィルムモード標示が全体フィルムモード標示に対して検出された動きに基づいて判定される。
【００１７】
本発明のさらなる局面によると、ビデオシーケンスの画像に対するフィルムモード標示を判定するためのフィルムモード検出器が提供される。各ビデオ画像は複数の画像領域を含む。フィルムモード検出器は、全体フィルムモード検出器、局所フィルムモード検出器、および局所静止モード検出器を備える。全体フィルムモード検出器は、後画像間の動きの検出に基づいてビデオシーケンスの各画像に対して全体フィルムモード標示を判定する。全体フィルムモード標示は各画像がフィルムモードまたはビデオモードのいずれであるかを示す。局所フィルムモード検出器は、後画像の対応する画像領域間の動きの検出に基づいて各画像領域に対する局所フィルムモード標示を判定する。フィルムモード標示は画像領域がフィルムモードまたはビデオモードのいずれであるかを示す。局所静止モード検出器は、後画像の対応する画像領域間の動きの検出に基づいて各画像領域に対する局所静止モード標示を判定する。局所静止モード標示は該画像領域に対して動きが検出されたかどうかを示す。局所フィルムモード検出器は、現在の画像領域に対して静止モードが検出された場合に、現在の画像領域の局所フィルムモード標示を全体フィルムモード標示に対して検出された動きに基づいて判定する。
【００１８】
本発明の特定の方法によると、より高画質な画像改良処理が可能となる。これは、ビデオ画像の画像領域に対して局所的に判定されたフィルムおよび静止モード標示を使用することによって達成される。局所フィルムモード標示をより確実にするために、現在の画像に対する局所静止モード標示をさらに判定する。局所フィルムモード判定が失敗し、静止モードがその画像領域に対して検出されてしまった場合、全体フィルムモードが示されるならば、その画像領域の局所フィルム動き標示は、全体フィルムモード検出によって検出されるような画像間の動きに基づいて判定される。このように、フィルムモード判定の局所的な失敗は解消できる。さらに、モード混合ビデオ画像（すなわち、異なるフィルムおよびビデオモード標示の画像領域を含むビデオ領域）におけるフィルムモード標示の遷移は、ギャップを回避するように確実に制御される（すなわち、フィルム／ビデオモード遷移）。このように、不適切な画像改良処理アルゴリズムの使用およびそれに対応する認識画質の劣化が防止される。
【００１９】
好ましくは、局所静止モード標示はカウンタによって遅延される。カウンタは、静止標示の後発生をカウントする。静止モードの画像領域は正確に処理でき、画像情報は失われない。
【００２０】
好ましくは、局所フィルムモード標示の判定は、フィルムモードおよびビデオモードの間で遅延をともなって切り換えられるだけである。そのような遅延は、新しいフィルムモード標示を検出する際、時間および空間オフセットを犠牲にしてフィルムモード標示の信頼性を上げる。フィルムモード標示を補正することによって、第１のフィルムモード標示の終端と確実に検出された新しいフィルムモード標示の遅延された先頭との間の遷移を正確に橋渡しすることができ、ビデオモードへの不必要な切り換えが防止される。
【００２１】
好ましい実施形態によると、遅延は、新しいフィルムモード標示が検出される前に、後の画像における対応位置での所定数の新しいフィルムモード標示を検出することによって行われる。このように、検出されたフィルムモード標示の信頼性が非常に高められる。
【００２２】
局所フィルムモード判定は、後画像における対応する位置での画像領域間に動きが存在するかどうかを示す動きビットの検出に基づいて決定されることが好ましい。検出された動きビットはＦＩＦＯレジスタに記憶され、記憶された動きビットは予め記憶された動きパターンと比較される。記憶されたシーケンスの動きビット内に予め記憶されたパターンが検出された場合にフィルムモードであると判定される。このように、フィルムモード検出は確実に行われる。
【００２３】
好ましくは、全体フィルムモード標示は、画像間に動きが存在するかどうかを示す後画像間の動きビット標示を検出することによって行われる。検出された動きビットはＦＩＦＯレジスタに記憶され、予め記憶された動きパターンと比較される。予め記憶されたパターンが検出された場合に、現在の画像に対しフィルムモードであると判定する。このように、全体フィルムモード検出は確実に行われる。
【００２４】
好ましくは、予め記憶された動きパターンは、個々の映画フィルム−インタレース変換パターンを反映する。最も好ましくは、変換パターンは、２−２および３−２プルダウンパターンを含む。このように、ＰＡＬおよびＮＴＳＣテレシネ部分は確実に検出可能である。
【００２５】
動きビットは、後画像の対応するピクセル間の絶対ピクセル差を計算し、絶対ピクセル差を累算し、累算結果を所定の閾値と比較することによって検出されるのが好ましい。累算結果が閾値を超える場合に、動きが検出される。したがって、動きを簡単かつ確実な方法で検出できる。
【００２６】
好ましくは、静止モード標示はバイナリ値である。最も好ましくは、静止モード標示は、静止モードまたは動きモードのいずれかを示す。
【００２７】
さらに、フィルムモード標示はバイナリ値である。最も好ましくは、フィルムモード標示は、フィルムモードまたはビデオモードのいずれかを示す。
【００２８】
画像領域の形状および大きさは本発明の適用において限定されないが、好ましくは、ブロックラスタ配置の形態の画像領域が使用される。したがって、簡単かつ確実な処理が可能である。
【発明の効果】
【００２９】
本発明は、フィルムモード検出が失敗した画像領域のフィルムモードを正しく保持することができる。特に、フィルムモードの不規則な画像領域では、確実にフィルムモードが検出できない。したがって、これらの静止画像領域の境界領域では、間違ったモード判定に基づく不適切な処理方式の使用によって画像改良処理時に画質が劣化してしまう。本発明はさらに、全体フィルムモード標示を検出し、検出された全体動きを使用して、局所フィルムモード検出が失敗して静止モードが検出されてしまった画像領域の局所フィルムモード判定を行う。
【００３０】
本発明の好ましい実施形態は、従属項に記載の発明である。
【００３１】
本発明の実施形態および利点は以下の好ましい実施形態の記載から明らかに理解され得る。
【発明を実施するための最良の形態】
【００３２】
本発明は、デジタル信号処理、特に最近のテレビ受信機における信号処理に関する。最近のテレビ受信機は、再生画像の画質向上やディスプレイ周波数の増加のために上方変換アルゴリズムを使用する。このために、中間画像が２つの後の画像から生成される。中間画像を生成するには、補償された画像によって反映される時点に物体の位置を適切に合せるために物体の動きを考慮する必要がある。
【００３３】
本発明は、ディスプレイ部または画像処理デバイス（ｉｍａｇｅ  ｅｎｈａｎｃｅｒ  Ｄｅｖｉｃｅ）において使用することが好ましい。ビデオ信号処理は、より高いフレームレートを使用することによってインタレースラインフリッカの防止や広域フリッカの低減のために、漸進的標示（ｐｒｏｇｒｅｓｓｉｖｅ  ｄｉｓｐｌａｙ）する必要が本質的にある。さらに、ＳＤ（標準品位）信号に対しては、ＨＤＴＶディスプレイデバイスで表示するために解像度が上げられる。
【００３４】
テレシネ処理された映画フィルム（フィルムモードとも称す）の検出は、画像改良処理にとって極めて重要である。例えば、画像処理（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ）は、インタレース／プログレッシブ変換（Ｉ／Ｐ）によって達成してもよい。このためには、偶数および奇数フィールドを再交互配置（リインタリーブ）することによって逆テレシネ処理を行う。３−２プルダウン変換（図２下の例を参照）の場合、一方の冗長フィールドを除去することができる。図２では、３−２プルダウン変換中のビデオフィールドの冗長な繰返しを灰色のフィールドで示している。
【００３５】
さらに高度な上方変換アルゴリズムは、動き予測およびベクトル補間を使用する。出力フレームレートは、入力フレームレートの非奇数分の１である。例えば、６０Ｈｚから７２Ｈｚへの上方変換は、５対６の比に対応する。そのような変換中は、動き物体の動きの連続感を生成する場合に、６回に１つだけ出力フレームを一方の入力フィールドから生成するだけでよい。
【００３６】
従来のフィルムモード検出器はフィルムモードを検出するために画像全体を評価するだけであるが、フィルムモード特性は画像内の異なる部分で異なり得る。特に、モードが混在する画像は、異なるタイプの画像データを提供する複数のビデオソースから構成される。これらのモード混在シーケンスは主に３つのタイプの画像内容からなる：静止または定常領域（例えば、ロゴ、背景、ＯＳＤ）、ビデオカメラ領域（例えば、ニュースティッカー、ビデオインサート／オーバーレイ）、およびフィルムモード領域（例えば、主映画、ＰＩＰ）。特に、ＭＰＥＧ−４などの新しい符号化方式は、異なるソースからの画像データを１つの再構成画像内に簡単に合成することを可能にする（例えば、図３参照）。したがって、一方のフィールドを用いて、映画フィルム、ビデオカメラソース、および／またはコンピュータ生成シーンからのデータを構成してもよい。
【００３７】
従来のフィルムモード検出器は、画像の最も大きい部分に対するモードだけを示す「支配的モード」を常に検出する。そのような従来の検出器では、動き補償器がより小さな画像部分の特性を考慮しないので、再生画像にエラーが生じる。その結果、完全な画像に用いられた逆テレシネ処理によって、映画フィルムからのものではない画像領域に不自然な結果（ａｒｔｉｆａｃｔ）が生じ得る。
【００３８】
さらに、１つの画像が３０Ｈｚコンピュータアニメーションの２−２プルダウンおよび３−２プルダウンセグメントからの画像部分を含み得る。２つの異なるタイプのフィルムモードが１つの画像にある場合、画像改良処理においてそれぞれの画像部分に対して異なる処理が行う必要がある。
【００３９】
通常の２−２プルダウンからの画像部分および逆２−２プルダウンからの他の画像部分が同一の画像内に存在する場合、異なる処理が必要になる。なお、逆２−２プルダウン画像では、奇数および偶数フィールドの順序が逆転する。
【００４０】
本発明によると、各画像は複数のブロックに分割され、ブロック単位で静止モードおよびフィルムモード検出が行われる。したがって、ビデオシーケンスの特性をブロック単位で判定し、それに基づいた画像改良処理によって画質を向上することができる。
【００４１】
フィルムおよび静止モードを検出するためには、３つの後ラスタニュートラル輝度（Ｙ）入力フィールドが必要となる。ラスタニュートラル性によって、反対パリティの隣接し合うフィールドの比較が可能となる。
【００４２】
動き値は、各ブロックのピクセル差に基づいて計算される。１動きビットは、動きが検出されたかどうかを示す。プルダウンパターンの存在および位置を決定するために、動きビットのシーケンスに基づいてパターン解析が行われる。プルダウンパターンを検出する際に、フィルムモードが検出、標示される。
【００４３】
同様に、各ブロックに対して静止値が計算され、静止ビットが得られる。静止ビットは現在の画像ブロックに動きがないことを示す。静止ビットのシーケンスは動きなしの連続状態について解析される。このとき、静止モードを検出できる。
【００４４】
ブロック単位のフィルムモード検出器の構成例を図４に示す。入力ビデオ信号の輝度情報Ｙは、ラスタニュートラルローパスフィルタ化画像信号Ｎ０を生成するプレフィルタ回路１３０に通される。プレフィルタは、後フィールドの異なるラスタ位置によって生じる垂直差が動きと誤って解釈されることを防止する。プレフィルタ化輝度成分Ｎ０は、メモリ１４１に記憶され、フィールド遅延部１４３、１４５によって２度遅延され、メモリ１４４において１フィールド期間遅延された画像信号Ｎ１およびメモリ１４６において２フィールド期間遅延された画像信号Ｎ２として記憶される。
【００４５】
入力画像は、予め定義されたブロックラスタにしたがって複数のブロックに分割される（例えば、図１参照）。各画像は、水平方向に９０ブロック、垂直方向に６０ブロック（ＮＴＳＣビデオシーケンスの場合）または７２ブロック（ＰＡＬビデオシーケンスの場合）を含むことが好ましい。
【００４６】
後画像の対応位置におけるブロック間で、絶対ピクセル差の合計（ＳＡＰＤ）が計算される。計算結果に応じて、動きが２つの後ブロック間に存在すると検出される。
【００４７】
画像ブロックラスタおよび絶対ピクセル差の計算は計算ユニット１５０において行われる。３つのＳＡＰＤ値がフィールドＮ０の画像データとフィールドＮ１の画像データとの間、フィールドＮ１の画像データとフィールドＮ２の画像データとの間、さらにはフィールドＮ０の画像データとフィールドＮ２の画像データとの間の同一ブロック位置に対して計算される。
【００４８】
同一のブロック位置に対して計算されたＳＡＰＤ値はフィルムモード検出部１６０および静止モード検出部に入力される。静止モード検出部は、ＳＡＰＤを適応閾値（ａｄａｐｔｉｖｅ  ｔｈｅｒｓｈｏｌｄ）と比較し、ＳＡＰＤがその閾値を下回れば、静止ビットが設定される。フィルムモード検出部１６０は、累算差を適応閾値に対してそれぞれ比較する。比較結果に応じて、閾値を超え、かつ動きが検出された場合、動きビットは１に設定され、そうでなければ０に設定される。
【００４９】
動き検出のためにＳＡＰＤ動き値と比較される閾値は、画像内容に基づいた値に設定される。このように、小さなＳＡＰＤ動き値が相対的な動き差に基づいて考慮、評価される。
【００５０】
対応する位置における後フィールドのブロックから決定される静止ビットは、ビットが設定される場合にカウンタをインクリメントし、ビットがリセットされる場合にデクリメントされる（４１０参照）。カウンタ値は調節可能な遅延値と比較され、比較結果によって現在のブロックの静止モードを判定する。
【００５１】
上記ブロックから決定された動きビットは、動きレジスタの待ち行列に入れられる。現在のブロックが静止と判定されると、動きなしビットが見出される。加えて、最後の画像に対して全体フィルムモードが検出されたら、次の全体動きビットが全体動きレジスタから参照テーブル（図７）を使用して得られ、局所動きレジスタの待ち行列に入れられる。動きビットが現在のブロックに対して決定されると、静止カウンタが直ちにリセットされるので（４１０参照）、静止カウンタは、静止モードをリセットする。これにより、フィルムのような動きが検出されたならば、いずれのブロックも静止モードのままにならないようにし、間違った画像処理からの動きの不自然さ（ａｒｔｉｆａｃｔ）を防止する。
【００５２】
さらに、局所動きレジスタは、１０１または１００１０のような予め記憶された通常のテレシネパターンと比較される。テレシネパターンが検出された場合、それぞれの画像セグメントに対してフィルムモードが判定される。そうでなければ、それぞれの画像セグメントはビデオモードであると判定される。
【００５３】
決定されたフィルムモード標示（Ｆ）および静止モード標示（Ｓ）は、静止カウンタ値および動きレジスタとともに各ブロックに対して記憶され、後画像の判定において使用するために、かつ付随の上方変換部を用いて使用するためにメモリに与えられる。
【００５４】
本発明のフィルムモード検出器に入力されるビデオ信号はＣＣＩＲ−６０１規格形式ＹＵＶ−４：２：２に準拠することが好ましい。フィルムおよび静止モードの検出のために、３つの後ラスタニュートラル輝度（Ｙ）入力フィールドが必要である。ラスタニュートラル性は、反対パリティの隣り合うフィールドの比較を可能にする。
【００５５】
図５に示すように、近接するフィールドの偶数および奇数ラインは、異なる垂直位置（Ｐ２およびＰ３に対してＰ１およびＰ４）における画像情報を含む。その結果、動き検出を誤ることがある。そのような動き誤検出を防止するために、偶数フィールドを補間して半ライン下へずらした垂直位置を生成し、かつ奇数フィールドを補間して半ライン上へずらした位置を生成することによって予めラスタニュートラル位置が計算される。
【００５６】
ｍ×ｎピクセルのブロックサイズは画像形式に合せられる。ブロックは、水平方向のピクセル数が垂直方向のピクセル数の２倍である長方形であることが好ましい。例えば、ブロックサイズは８×４であり得る。なお、インタレース／プログレッシブ変換の後、長方形ブロックサイズとして正方形形式を用いる。
【００５７】
後の画像間に動きが検出されない場合に画質改良処理を可能にするために、静止モード判定をさらに行うことが好ましい。このためには、静止標示（ｉｎｄｉｃａｔｏｒ）が計算される。静止モード検出器の構成例を図６に示す。
【００５８】
入力ビデオ信号の輝度情報Ｙは、ラスタニュートラルのローパス画像Ｎ０を生成するプレフィルタ回路に通される。プレフィルタによって、画像信号Ｎ０は、１フィールド期間遅延された後、フィールドＮ１とされ、さらに１フィールド期間遅延された画像信号Ｎ２とされる。このように、垂直遷移は動きとして誤って解釈されず、連続フィールドは互いに比較される。
【００５９】
絶対ピクセル差の合計（ＳＡＰＤ）は、各画像ブロック、すなわち、フィールドＮ０／Ｎ２、Ｎ１／Ｎ２、およびＮ０／Ｎ２の各画像ブロック間に対して計算される。使用されるブロックサイズは、フィルムモード検出に使用されるブロックサイズと同一である。ブロックのＳＡＰＤは、同じ空間位置ＸＹに対する２つの隣接フィールドのピクセル値Ｐを減算し、負の差値を反転し、ブロック全体に対して差を累算することによって計算される。
【００６０】
ビデオノイズの影響を除去するために、予め定義したピクセル閾値ＰＴを超える差のみが上記累算絶対ピクセル差に寄与することを許される。以下の等式は、後フィールドＮ０およびＮ１における画像領域に対する累算を示す。
【数１】
2005318624.tif 000003
【００６１】
それぞれのＳＡＰＤはフィールドＮ１／Ｎ２間およびフィールドＮ０／Ｎ２間で計算される。
【００６２】
画像ディテールが隣接ブロックの一部であって異なる処理を受けることを防止するために、ブロックサイズを大きくしてフィルムモード判定に近接のブロックの画像ディテールを考慮することが好ましい。ブロックの寸法を垂直および水平方向の両方に２倍して、２ｍ×２ｎのブロックサイズを使用することが好ましい。
【００６３】
動き値ＳＡＰＤ02はフィールドＮ０とフィールドＮ２との間のフレーム動きを表す。そのようなフレーム動き値は、同一の垂直ピクセル位置（直接隣接するフィールドと異なる）におけるピクセルに基づいて計算される。そのような差の値は、インタレースフィールド構造による垂直オフセットの影響を含まない。動きなしであると判定するために、そのような差は前回のフレーム動き差ＳＡＰＤ13と比較されるのが好ましい。しかし、メモリの制限によって、一般に、２つの中間フィールド動き値、すなわち、値ＳＡＰＤ01およびＳＡＰＤ12のみが利用可能である。動き値ＳＡＰＤへのフィールド構造からの寄与を除去するために、動き値ＳＡＰＤ01およびＳＡＰＤ12を減算して中間フレーム動きと等価物を生成する。
【００６４】
標示を確実かつ着実（ｒｏｂｕｓｔ）にするために、動き値ＳＡＰＤ01とＳＡＰＤ12との間で計算されたフィールド差は、所定の量子化オペレータＱＳと乗算される。したがって、静止ビット判定は以下の等式にしたがっておこなわれる。
【数２】
2005318624.tif 000004
【００６５】
所定の量子化オペレータＱＳは、０〜２の値であることが好ましい。フレーム動き値が閾値よりも小さい場合、静止画像状態であると判定され、静止ビットが設定される。
【００６６】
静止モード検出は、静止モード検出器に評価された上記の判定された静止ビットシーケンスに基づく。静止モード検出器の構成を図６に示す。静止ビットが設定されると、カウンタ４１０がインクリメントされる。そうでなければ、カウンタ４１０はデクリメントされる。カウント値が、所定の閾値４２０を超えると、それぞれの画像領域に対して静止モードが検出され、静止モード４３０に記憶される。
【００６７】
静止モード検出結果に基づいて、動き補償／補間デバイスは、後フィールドＦ０およびＦ１にリインタリーブを行って、プログレッシブ画像形式に基づく画質を向上させる。
【００６８】
ビデオ画像の局所特性、すなわち、フィルムモードおよび静止モード、に加えて、本発明は、さらに全体フィルムモード標示を計算することを示唆する。現在の画像に対する全体フィルムモード標示がフィルムモードである場合、画像全体がフィルムモードである可能性が高い。その画像のいくつかの画像領域が静止モードであると検出される場合、これらの画像領域の動きレジスタにおいては動きビットが検出されない。本発明によると、これらの画像領域に対する動きビットは、全体フィルムモードが前画像から検出された場合にのみ、ＬＵＴによって全体動きレジスタから得られる。
【００６９】
特に、本発明は、図８に示し、以下に記載する問題を解消できる。画像領域が静止モードからフィルムモードに遷移する場合に問題が生じる。フィルムモードの検出は、検出の信頼性を上げるために遅延される。これにより、望ましくない、良好に補償されていないギャップが生じる。このギャップは、ビデオモードである。このギャップに隣接するモードは静止およびフィルムモードである。フィルムモード画像に対してフィルムモードが検出され得るので、これらの静止領域における動きレジスタは、全体動きレジスタ参照テーブルＬＵＴからの動きビットを保持する。
【００７０】
本発明によると、フィルムモード部分に対する動きパターンは途切れない。また、静止モードからフィルムモードに遷移する間のビデオモードギャップの発生が効率よく防止される。したがって、フィルムモードビデオ画像における静止モード画像領域の境界は、特に改善された画質で、正確に再生される。さらに、フィルムモード標示のビット行列はより均一にされる。
【００７１】
一般に、全体動きビットは、現在の画像には存在せず、前画像に対してのみ存在する。好ましい実施形態によると、本発明は、現在の画像に対する全体動きビットを全体動きレジスタから予測するが（図７参照）、これに限定されない。動きフェーズは、前回検出されたプルダウンパターンに基づいて連続される。
【００７２】
プルダウン検出を確実にするために、ＰＡＬ２−２プルダウン変換に対しては２つの動きフェーズが検出される必要があり、ＮＴＳＣ３−２プルダウンパターンを検出するためには５つの動きフェーズが必要である。したがって、両タイプを同時に検出するためには、７つの後動きフェーズを評価する必要がある。
【００７３】
フィルムモード動きフェーズの予測は、検出されたプルダウンパターンにしたがって現在の動きフェーズ値をインクリメントすることによって達成される。予測は、図７に示すような参照テーブルＬＵＴにしたがって行われることが好ましい。図７は、検出された動きパターンに基づくＰＡＬおよびＮＴＳＣ動きフェーズのすべてを列挙する。これに基づいて、動きフェーズ値は、プルダウンパターン内で折り返される。
【００７４】
静止領域に対してこのように連続した動きビットは、図８に示す構成にしたがって計算される。予測された動きビットは、現在のブロックの動きレジスタの待ち行列に入れられる。このようにして、異なる方法で検出された動きビットを連続させることによって局地フィルムモード検出が可能にされる。
【００７５】
局地フィルムモードレジスタに対する動きビットは、スイッチを介して二者択一で選択される。一方は局地判定ブロック動きビットであり、他方は図７のＬＵＴから読み出された動きビットである。ＬＵＴからは全体動きレジスタに対応するエントリが選択される。後者は、ブロックが静止モードであり、全体フィルムモードが示される場合に選択される。
【００７６】
このようにすると、本発明は以下のように動作する。現在のブロック（フィルムモード画像に含まれる）に対して静止モードが検出される場合、このブロックに対しては動きが検出されていない。したがって、動きレジスタはゼロを含むだけである。しかし、現在のブロックに対してフィルムモードを示す全体フィルムモード標示が検出されるならば、それぞれの動きビットは現在のブロックの動きレジスタに挿入される。その結果、現在のブロックに対してフィルムモードが検出され得るが、現在のブロックは動き検出が可能ではない。
【００７７】
このようにして、フィルムモード画像または画像部分における不規則な画像領域がビデオモードギャップになることはない。そのブロックはフィルムモードのままである。したがって、シーンを横切る、（不規則な）柱群などの輪郭のはっきりした物体群に対して、画質改良処理がうまく働く。
【００７８】
本発明にしたがって画像ブロックがフィルムモードに設定された場合でも、モードは正しく判定され、同時に示される。フィルムモードをさらに示すことは、画質改良処理に悪影響を及ぼさない。この処理は、例えば優先回路を使用して、フィルムモードよりも静止モードを優先することができる。
【００７９】
本発明を使用する例を図９および図１０に示す。図９は、フィルムモード画像においてビデオモードに設定された静止領域の検出を示す。これらの画像領域は図１０に示すようにさらにフィルムモードに設定される。
【００８０】
要約すると、本発明は、フィルムモード検出が失敗した画像領域のフィルムモードを正しく保持することができる。特に、フィルムモードの不規則な画像領域では、確実にフィルムモードが検出できない。したがって、これらの静止画像領域の境界領域では、間違ったモード判定に基づく不適切な処理方式の使用によって画像改良処理時に画質が劣化してしまう。本発明はさらに、全体フィルムモード標示を検出し、検出された全体動きを使用して、局所フィルムモード検出が失敗して静止モードが検出されてしまった画像領域の局所フィルムモード判定を行う。
【産業上の利用可能性】
【００８１】
本発明に係る静止領域におけるフィルムモード補正方法および装置は、フィルムモード検出が失敗した画像領域のフィルムモードを正しく保持する効果を有し、画質改良処理の向上等に有用である。
【図面の簡単な説明】
【００８２】
【図１】ビデオ画像の均一な大きさの複数のブロックへの分割を示す図
【図２】映画フィルム−インタレースビデオ変換を示す図
【図３】複数のソースのモード混合画像構成からの画像例を示す図
【図４】ブロック単位の静止およびフィルムモード検出器の構成例を示す図である
【図５】インタレースビデオシーケンスの後フィールドにおけるピクセル垂直位置を示す図
【図６】静止モードを検出するための構成例を示す図
【図７】ＮＴＳＣおよびＰＡＬビデオシーケンスに対する動きフェーズ値および対応の動きビット予測のテーブルを示す図
【図８】静止領域に対するフィルム動きビット連続化の実施例を示す図
【図９】フィルムモードおよび静止モード検出を独立に用いたテレシネ検出の結果を示す図
【図１０】図９に示す例に対して本発明による処理の結果を示す図
【符号の説明】
【００８３】
１１０  記憶部
１２０  動き補償回路
１３０  プレフィルタ回路
１４１，１４４，１４６  メモリ
１４３，１４５  フィールド遅延部
１５０  計算ユニット
１６０  フィルムモード検出部
１７０  動き予測回路
１７５  結果記憶部
１８０  デセグメンテーション部
１９０  ディスプレイ
４１０  カウンタ
４２０  閾値記憶部
４３０  静止モード部
【図１】
2005318624.tif 000005
【図４】
2005318624.tif 000006
【図５】
2005318624.tif 000007
【図６】
2005318624.tif 000008
【図７】
2005318624.tif 000009
【図８】
2005318624.tif 000010
【図２】
2005318624.tif 000011
【図３】
2005318624.tif 000012
【図９】
2005318624.tif 000013
【図１０】
2005318624.tif 000014