(57)【要約】【課題】  改良された動き補償出力画像データを生成する方法および動き補償器を提供する。【解決手段】  本発明は、画像データの局所特性を考慮した動き補償画像処理に関する。１つの画像に含まれる画像データは、異なるビデオソースからのものであり得る。特定の動きフェーズを考慮するために、それに応じて動き補償処理が切り換えられるので、画質を向上させることができる。【選択図】  図８
2005318612.tif 000002
【特許請求の範囲】
【請求項１】
後フィールドのインタレース入力ビデオシーケンスに基づいて動き補償出力画像データを生成するための方法であって、前記インタレース入力ビデオシーケンスの各フィールドは複数の画像領域を備え、動きベクトルおよびステータス情報が前記画像領域のそれぞれに与えられ、
生成される出力画像の現在の画像領域に対する動きベクトルおよびステータス情報を受信するステップと、
前記受信した動きベクトルおよびステータス情報に基づいて、前記入力ビデオシーケンスの入力画像データを得るステップと、
前記得られた入力画像データに基づいて、前記現在の出力画像領域に対して出力画像データを生成するステップとを備える、方法。
【請求項２】
前記ステータス情報は、それぞれの画像領域がフィルムモードまたはビデオモードのいずれであるかを示す、請求項１に記載の方法。
【請求項３】
前記ステータス情報は、フィルムモード画像領域に対する動きフェーズ標示を含む、請求項２に記載の方法。
【請求項４】
前記ステータス情報は、それぞれの画像領域が静止モードまたは動きモードのいずれであるかを示す、請求項１〜３のいずれかに記載の方法。
【請求項５】
２つの異なる動きフェーズからの前記得られた画像データから画像領域（Ｆ０、Ｆ１、Ｆ２）を選択するステップをさらに備える、請求項１〜４のいずれかに記載の方法。
【請求項６】
前記受信されたステータス情報がフィルムモードまたは静止モードである場合に、少なくとも３つの後フィールドから前記画像入力データが得られる、請求項１〜５のいずれかに記載の方法。
【請求項７】
２つのフィールドからの前記画像領域（Ｆ０、Ｆ１）をインタレース解除し、１つの画像フェーズをプログレッシブビデオ形式で表現するステップをさらに備える、請求項６に記載の方法。
【請求項８】
前記ステータス情報の前記動きフェーズ標示に従って、１つの動きフェーズを表現する前記画像領域（Ｆ０、Ｆ１）を選択するステップをさらに備える、請求項７に記載の方法。
【請求項９】
１つの動きフェーズからの前記画像領域（Ｆ０、Ｆ１、Ｆ２）を補間するステップをさらに備える、請求項７または８に記載の方法。
【請求項１０】
出力ピクセルを生成する際に、前記１つの動きフェーズの同一数のピクセルが両方の動きフェーズに対して補間される、請求項９に記載の方法。
【請求項１１】
前記受信したステータス情報がビデオモードである場合に、前記出力画像領域を生成するための後フィールドの２つの入力画像領域（Ｆ０、Ｆ１）を選択するステップをさらに備える、請求項１〜１０のいずれかに記載の方法。
【請求項１２】
前記受信した動きベクトルおよび前記受信したステータス情報は、前記生成される出力フィールドに時間的に近いフィールドにおける対応位置での前記動きベクトルおよびステータス情報から取り出される、請求項１〜１１のいずれかに記載の方法。
【請求項１３】
後フィールドのインタレース入力ビデオシーケンスに基づいて、動き補償出力画像データを生成するための動き補償器であって、前記インタレース入力ビデオシーケンスの各フィールドは複数の画像領域を備え、動きベクトルおよびステータス情報が前記画像領域のそれぞれに与えられ、
生成される出力画像の現在の画像領域に対して受信した動きベクトルおよびステータス情報に従って前記入力ビデオシーケンスの画像領域（Ｆ０、Ｆ１、Ｆ２）のビデオデータを記憶する入力メモリ（３３１、３３３、３３５）と、
前記入力メモリ（３３１、３３３、３３５）に記憶されたビデオデータから出力画像データを生成するための出力補間器（３８０）とを備える、動き補償器。
【請求項１４】
前記ステータス情報は、それぞれの画像領域がフィルムモードまたはビデオモードのいずれであるかを示す、請求項１３に記載の動き補償器。
【請求項１５】
前記ステータス情報は、フィルムモード画像領域に対する動きフェーズ標示を含む、請求項１４に記載の動き補償器。
【請求項１６】
前記ステータス情報は、それぞれの画像領域が静止モードまたは動きモードのいずれであるかを示す、請求項１３〜１５のいずれかに記載の動き補償器。
【請求項１７】
２つの異なる動きフェーズからの画像データを、前記記憶された入力画像領域（Ｆ０、Ｆ１、Ｆ２）から選択するためのブロックライン切り換え部（３４０、３５０）をさらに備える、請求項１３〜１６のいずれかに記載の動き補償器。
【請求項１８】
前記入力画像メモリ（３３１、３３３、３３５）は、少なくとも３つの後フィールド（Ｆ０、Ｆ１、Ｆ２）の画像領域を記憶する、請求項１３〜１７のいずれかに記載の動き補償器。
【請求項１９】
前記ブロックライン切り換え部（３４０、３５０）は、２つのフィールドからの画像領域（Ｆ０、Ｆ１）を合成し、前記画像領域（Ｆ０、Ｆ１）をインタレース解除するための１つの画像フェーズをプログレッシブビデオ形式で表現する、請求項１７または１８に記載の動き補償器。
【請求項２０】
前記ブロックライン切り換え部（３４０、３５０）は、前記ステータス情報の前記動きフェーズ標示に従って１つの動きフェーズを表現する前記画像領域（Ｆ０、Ｆ１）を選択する、請求項１９に記載の動き補償器。
【請求項２１】
前記ブロックライン切り換え部（３４０、３５０）によって出力された前記画像データを補間するための補間部（３６０、３７０）をさらに備える、請求項１７〜２０のいずれかに記載の動き補償器。
【請求項２２】
前記補間部（３６０、３７０）は、前記ブロックライン切り換え部（３４０、３５０）の前記出力画像データの同一数のピクセルを補間する、請求項２１に記載の動き補償器。
【請求項２３】
２つのブロックライン切り換え部（３４０、３５０）を備え、各ブロックライン切り換え部は、前記受信したステータス情報がビデオモードである場合に、１つの入力画像領域（Ｆ０、Ｆ１）の入力画像データを選択する、請求項１２〜２２のいずれかに記載の動き補償器。
【請求項２４】
前記受信した動きベクトルおよび前記受信したステータス情報は、前記生成される出力画像に時間的に近いフィールドにおける対応位置での前記動きベクトルおよびステータス情報から取り出される、請求項１３〜２３のいずれかに記載の動き補償器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償画像生成の改良に関する。特に、本発明は、後フィールドのインタレース入力ビデオシーケンスに基づいて動き補償出力画像データを生成する方法、および対応する動き補償器に関する。
【背景技術】
【０００２】
本発明は、特に最近のテレビ受信機のデジタル信号処理において使用される画像改良アルゴリズムにおいて使用される。具体的には、最近のテレビ受信機は、再生画像の画質を上げるためにフレームレート変換、特にフレーム繰返しを使用した上方変換、または動き補償上方変換を行う。動き補償上方変換は、例えば、５０Ｈｚのフィールドまたはフレーム周波数のビデオシーケンスを６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚ、１００Ｈｚなどのようなさらに高い周波数にするために行われる。５０Ｈｚの入力信号周波数は、ＰＡＬまたはＳＥＣＡＭ規格に準拠したテレビ信号放送に主に用いられる。他方、ＮＴＳＣに準拠したビデオ信号は６０Ｈｚの入力周波数を有する。６０Ｈｚの入力ビデオ信号は、７２Ｈｚ、８０Ｈｚ、９０Ｈｚなどのより高い周波数へ上方変換され得る。
【０００３】
上方変換中に、中間画像が生成されるが、これらは５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスによって表されない時間位置におけるビデオ内容を反映したものである。この目的のために、物体の動きを考慮して、物体の動きによって生じるその後の画像間における変化を適切に反映させる必要がある。物体の動きはブロック単位で計算され、動き補償は、前後の画像との間に新たに生成された画像の相対的な時間位置に基づいて行われる。
【０００４】
動きベクトルを決定および補償するために、各画像を複数のブロックに分割する。各ブロックの動きを予測して、物体の前画像からのずれを検出する。
【０００５】
ＰＡＬまたはＮＴＳＣ信号のようなインタレースビデオ信号とは対照的に、映画データは、完全なフレームから構成される。映画データの最も普及したフレームレートは２４Ｈｚ（２４ｐ）である。映画データをテレビ受信機でディスプレイするために変換する場合（この変換はテレシネ変換と呼ばれる）、２４Ｈｚのフレームレートは、「プルダウン」手法を使用してインタレースビデオシーケンスに変換される。
【０００６】
映画フィルムをＰＡＬ規格（フィールドレートが５０Ｈｚ（５０ｉ））に準拠したインタレース信号に変換するためには、２−２プルダウン手法が使用される。２−２プルダウン手法は、映画フィルムを１秒当たり２５フレーム（２５ｐ）で再生しながら、各フィルムフレームから２つのフィールドを生成する。その結果、２つの連続するフィールドは、同じフレームから得られ、かつビデオ内容（特に、動く物体）の同一の時間位置を表す情報を含む。
【０００７】
映画フィルムをＮＴＳＣ規格（フィールドレートが６０Ｈｚ（６０ｉ））に準拠したインタレース信号に変換する際には、３−２プルダウン手法を使用して２４Ｈｚのフレームレートが６０Ｈｚのフィールドレートに変換される。３−２プルダウン手法は、所定の映画フレームからの２つのビデオフィールドを生成し、次の映画フレームから３つのビデオフィールドを生成する。
【０００８】
異なるテレビ規格に従うインタレースビデオシーケンスを生成するためのテレシネ変換処理を図２に例示する。プルダウン手法を使用することによって、同一の動きフェーズを反映する隣接フィールドのペアまたはトリプレットを含むビデオシーケンスが生成される。テレシネ信号をインタレース画像シーケンスと区別するために、異なるフィルムフレームからのフィールド間のフィールド差を計算してもよい。
【０００９】
画像を改良処理するには、画像内容が動く物体を含まない場合は、インタレースビデオ画像のシーケンスにおける各フィールドの時間位置を考慮する必要はない。しかし、処理されるフィールド内に動く物体が存在する場合は、各フィールドの個々の動きフェーズを考慮する必要がある。したがって、画像改良処理には、個々のフィールドの動き特性を示す情報、すなわち、各フィールドが個々の動きフェーズを反映するかどうか、またはプルダウン手法が使用したことで後フィールドが同一の動きフェーズを反映するかどうかが必要となる。
【００１０】
異なるタイプの入力画像データにしたがって、出力画像データの最高の画質を達成するために動き補償インタレース解除処理が制御される。この目的のために、特許文献１および特許文献２は、同じフレームに属するソースフィールドの再結合および所望名フレームレートでの同じフレームの繰返し出力を記載する。このようにすると、高い空間解像度が達成され得る。特許文献３は、１００Ｈｚテレビシステムにおいて１秒当たり２５から５０へ動きフェーズを２倍にするアルゴリズムを記載する。動きベクトルは、異なる動きフェーズのみのフィールド間で予測および使用される。特許文献４は、２ステップ画像改良処理を記載する。第１のステップにおいて、同じフィルムフレームの２つのフィールドがインタレース−プログレッシブ変換器に結合される。第２のステップは、そのフィールド間に動き補償出力画像を生成するためのベクトルに基づく補間を含む。例えば、４フィールドの５０Ｈｚ−１００Ｈｚ変換出力シーケンスは、１つの元入力フィールドおよび３つの補間出力フィールドからなる。
【００１１】
フィルムモードおよびビデオモード処理のための動き補償アルゴリズムを正確に切り換えるために、フィルムモード検出が必要である。フィルムモード検出は、全体のフィールド差に基づいて入力画像シーケンスの現在モードを判定する。公知の方法が特許文献５に記載される。
【特許文献１】欧州特許出願公開第０７４０４６７号明細書
【特許文献２】米国特許第６２２２５８９号明細書
【特許文献３】米国特許第５４９５３００号明細書
【特許文献４】欧州特許出願公開第０６７５６４３号明細書
【特許文献５】欧州特許出願公開第１１９８１３７号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は、動き補償画像処理をさらに向上させ、動き補償出力画像データを生成する方法、および動き補償器の改良を目的とする。
【００１３】
本発明の目的は、独立請求項の特徴により達成される。
【課題を解決するための手段】
【００１４】
本発明の第１の局面によると、後フィールドのビデオシーケンスのインタレース入力に基づいて、動き補償出力画像データを生成する方法が提供される。インタレース入力ビデオシーケンスの各フィールドは複数の画像領域を備え、動きベクトルおよびステータス情報が画像領域のそれぞれに与えられる。生成される出力画像の現在の画像領域に対して動きベクトルおよびステータス情報が受信される。受信した動きベクトルおよびステータス情報に基づいて、入力ビデオシーケンスの入力画像データが得られる。得られた入力画像データに基づいて、現在の出力画像領域に対して出力画像データが生成される。
【００１５】
本発明のさらなる局面によると、後フィールドのインタレース入力ビデオシーケンスに基づいて、動き補償出力画像データを生成するための動き補償器が提供される。インタレース入力ビデオシーケンスの各フィールドは複数の画像領域を備える。動きベクトルおよびステータス情報が画像領域のそれぞれに与えられる。動き補償器は、入力メモリおよび出力補間器を備える。入力メモリは、生成される出力画像の現在の画像領域に対して受信した動きベクトルおよびステータス情報に従って入力ビデオシーケンスの画像領域のビデオデータを記憶する。出力補間器は、入力メモリに記憶されたビデオデータから出力画像データを生成する。
【００１６】
本発明では、特に、入力画像シーケンスの局所特性に基づいて動き補償を行う。ステータス情報は、入力画像の複数の画像領域のそれぞれに対して得られる。出力画像データは、画像領域ごとにステータス情報に従って生成される。
【００１７】
本発明の利点は、特に、異なるタイプの画像データからなるモード混合画像シーケンスが適切に処理されることである。他方、従来技術では、入力画像の全体に関する全体ステータス情報を考慮するだけであった。異なる画像ソースからの画像オブジェクトは、本発明にしたがって適切に処理され得る。出力画像シーケンスに生成される画像アーチファクトは効率よく防止され、画質が向上する。
【００１８】
好ましくは、ステータス情報は、画像領域がフィルムモードまたはビデオモードのいずれであるかを示す。これに基づいて、画像改良処理は切り換えられ、画像領域間の動きが適切に考慮される。
【００１９】
好ましくは、ステータス情報は、フィルムモード画像領域に対する動きフェーズ標示を含む。したがって、画像領域の個々の動きフェーズは、動き補償処理を調節するために正確に判定、使用される。
【００２０】
好ましくは、ステータス情報は、画像領域が静止モードまたは動きモードのいずれであるかを示す。したがって、画像改良処理は、後フィールドからの画像領域のインタレース解除処理をするべきかどうかを確実に判断できる。
【００２１】
好ましくは、２つの異なる動きフェーズからの入力画像領域が出力画像データを生成するために選択される。したがって、中間時間位置での動きフェーズは、画像領域単位で確実に生成され得る。
【００２２】
好ましくは、入力画像メモリは、出力画像データを生成するために少なくとも３つの後フィールドの画像領域を記憶する。このようにすると、高画質の出力画像データが最小限のハードウェア動作および必要最小限のメモリ容量を使用するだけで達成される。
【００２３】
１つの動きフェーズを表現する２つのフィールドからの２つの画像領域のデータをインタレース解除し、プログレッシブビデオ形式する。このようにすると、解像度を上げた出力画像を達成するために必要なプログレッシブソース画像領域が１つだけである。動く物体の動き位置は、異なる動きフェーズを表現する別の画像領域から利用可能なビデオ情報に従って動き補償することによって調節される。
【００２４】
好ましくは、１つの動きフェーズに属する画像領域は、ステータス情報の動きフェーズ標示に従って選択される。
【００２５】
好ましくは、１つの動きフェーズからの画像データ（すなわち、１つの画像の画像領域またはインタレース解除された画像領域）は補間され、別の画像領域の補間画像データとそれぞれ合成される補間出力ピクセルデータを生成する。
【００２６】
ビデオモード画像領域に対して、出力画像領域を生成するために２つの入力画像領域だけが選択される。
【００２７】
好ましくは、現在の出力画像の動き補償画像処理が使用する動きベクトルおよびステータス情報は、入力ビデオ画像における対応位置での画像領域のステータス情報および動きベクトルから得られる。ここで、入力ビデオ画像は、生成される出力画像に時間的に近い。このようにすると、動き補償において簡単かつ効率よく局所特性を考慮できる。
【００２８】
本発明の好ましい実施形態は、従属項に記載の発明である。
【００２９】
本発明の実施形態および利点は、以下の好ましい実施形態の記載から明らかに理解され得る。
【発明を実施するための最良の形態】
【００３０】
本発明は、デジタル信号処理、特に最近のテレビ受信機における信号処理に関する。最近のテレビ受信機は、再生画像の画質向上やディスプレイ周波数の増加のために上方変換アルゴリズムを使用する。このために、中間画像が２つの後の画像から生成される。中間画像を生成するには、補償された画像によって反映される時点に物体の位置を適切に合せるために物体の動きを考慮する必要がある。
【００３１】
本発明は、ディスプレイ部または画像強化デバイスにおいて使用することが好ましい。ビデオ信号処理は、より高いフレームレートを使用することによってインタレースラインフリッカの防止や広域フリッカの低減する必要が本質的にある。さらに、ＳＤ（標準品位）信号に対しては、ＨＤＴＶディスプレイデバイスでディスプレイするために解像度が上げられる。
【００３２】
テレシネ処理された映画フィルム（フィルムモードとも称す）の検出は、画像改良処理にとって極めて重要である。例えば、画像強化は、インタレース／プログレッシブ変換（Ｉ／Ｐ）によって達成してもよい。このためには、偶数および奇数フィールドを再交互配置（リインタリーブ）することによって逆テレシネ処理を行う。３−２プルダウン変換（図２下の例を参照）の場合、一方の冗長フィールドを除去することができる。図２では、３−２プルダウン変換中のビデオフィールドの冗長な繰返しを灰色のフィールドで示している。
【００３３】
さらに高度な上方変換アルゴリズムは、動き予測およびベクトル補間を使用する。出力フレームレートは、入力フレームレートの非整数分の１である。例えば、６０Ｈｚから７２Ｈｚへの上方変換は、５対６の比に対応する。そのような変換中は、動き物体の動きの連続感を生成する場合に、６回に１つだけ出力フレームを一方の入力フィールドから生成するだけでよい。
【００３４】
従来のフィルムモード検出器は、フィルムモードを検出するために画像全体を評価するだけであるが、フィルムモード特性は、画像内の異なる部分で異なり得る。特に、モードが混在する画像は、異なるタイプの画像データを提供する複数のビデオソースから構成される。これらのモード混在シーケンスは、主に３つのタイプの画像内容からなる：静止または定常領域（例えば、ロゴ、背景、ＯＳＤ）、ビデオカメラ領域（例えば、ニュースティッカー、ビデオインサート／オーバーレイ）、およびフィルムモード領域（例えば、主映画、ＰＩＰ）。特に、ＭＰＥＧ−４などの新しい符号化方式は、異なるソースからの画像データを１つの再構成画像内に簡単に合成することを可能にする（例えば、図３参照）。したがって、一方のフィールドを用いて、映画フィルム、ビデオカメラソース、および／またはコンピュータ生成シーンからのデータを構成してもよい。
【００３５】
従来のフィルムモード検出器は、画像の最も大きい部分に対するモードだけを示す「支配的モード」を常に検出する。そのような従来の検出器では、動き補償器がより小さな画像部分の特性を考慮しないので、再生画像にエラーが生じる。その結果、完全な画像に用いられた逆テレシネ処理によって、映画フィルムからのものではない画像領域にアーチファクトが生じ得る。
【００３６】
さらに、１つの画像が３０Ｈｚコンピュータアニメーションの２−２プルダウンおよび３−２プルダウンセグメントからの画像部分を含み得る。２つの異なるタイプのフィルムモードが１つの画像にある場合、画像改良処理においてそれぞれの画像部分に対して異なる処理が行われる。
【００３７】
通常の２−２プルダウンからの画像部分および逆２−２プルダウンからの他の画像部分が同一の画像内に存在する場合、異なる処理が必要になる。なお、逆２−２プルダウン画像では、奇数および偶数フィールドの順序が逆転する。
【００３８】
各画像を複数のブロックに分割し、ブロック単位で動き補償を行うことは本発明の特徴である。したがって、ビデオシーケンスの特性をブロック単位で決定し、それに基づいた画像改良処理によって画質を向上することができる。
【００３９】
得られた局所画像特性に従って、動き補償およびインタレース解除は、好ましくはブロック単位で各画像領域に対して個々に行われ得る。好ましくは、１つの画像の異なる部分においてビデオモードおよびフィルムモード処理の自己適応結合によって、モード混合画像内容の画像シーケンスに対する画像改良処理において最高の画質を達成する。
【００４０】
高品質フィルム−ビデオ変換には、滑らかな動き再生および高い空間解像度が必要である。この目的のために、本発明は、好ましくは、フィルムモード画像内容の３−フィールド動き補償フレームレート変換およびビデオモード画像内容の２−フィールドフレームレート変換を結合する。両方のアルゴリズムは、ブロックに基づくフィルム／静止検出器からの制御信号に従ってブロック単位で切り換えられる。フィルムモード補償中において、同じ入力フィルムフレームに属する２つの入力フィールドからの異なる入力ブロックラインは、リインタリーブされて元のフィルムフレームの垂直解像度を保存する。そのようなリインタリーブされたブロックは、残りの３番目の入力フィールドとともに補間される。
【００４１】
本発明は、２つの連続する入力フィールドの入力ラインを、これらが同じフィルムフレームに属するか、または静止モードである（すなわち、動きなしを検出）場合に、合成（マージ）するためのブロックライン切り換え部を使用することによって実施される。ブロックスイッチ部は、フィルム／ビデオモード、フィルム／静止検出器によって与えられる静止／動きモードを示すいくつかのステータス信号によって制御される。
【００４２】
既存のテレビ放送規格ＰＡＬおよびＮＴＳＣは、５０Ｈｚおよび６０Ｈｚという異なるフィールドレートに基づく。５０Ｈｚシステムは、特に大きなディスプレイデバイス上で送信画像を生成する際に、大きな領域フリッカを生成する。５０Ｈｚおよび６０Ｈｚシステムは、インタレース送信規格によるラインフリッカを生成する。ラインフリッカは、後フィールドにおける奇数および偶数ラインの交互送信によって生じる。
【００４３】
これらの欠点を解消するために、テレビ受信機はディスプレイ周波数を上げ（例えば、１００Ｈｚへ）、かつ／または画像のプログレッシブ表現を使用する。ディスプレイ周波数のそのような変換には、さらなる中間画像の計算が必要である（図４参照）。
【００４４】
インタレース入力ビデオの高品質上方変換には、動きベクトルの確実な検出が必要である。動きベクトルは、入力画像シーケンスにおけるブロックまたは画像オブジェクトの方向における動き値を表す。
【００４５】
動き補償において、２つの画像が１つの動きベクトルに基づいて移動される。前入力画像は動きベクトルの正の方向に順方向移動され、各後の画像は動きベクトルの相補となる負の方向に逆方向移動される。これらの率は、入力画像に対する出力画像の時間位置に依存する。
【００４６】
これら２つの補間画像からのピクセル値および、加えて、前後の画像の元の位置からの平均ピクセルは、図５に示すように処理され、それぞれの出力ピクセルを計算する。すなわち、２つの後入力画像１１０、１２０からの画像領域１１５、１２５が使用される。画像領域１１５、１２５の位置は、現在の出力画像領域を生成するために使用される動きベクトルに従って選択される。画像領域１１５、１２５からの画像データに加えて、さらなる平均ピクセルＰaverageがピクセル平均化部１３０において計算される。前画像Ｐprev、後画像Ｐsuccおよび平均ピクセルＰaverageのピクセルデータに基づいて、出力ピクセル１５０が出力計算器１４０によって計算される。
【００４７】
画質および妥当なコスト制限の要求を満たすために、３つの入力フィールドは入力画像メモリに記憶させる。図８の構成に示すように、好ましくは、現在の出力領域の生成に必要な３つの後入力フィールドからの画像領域だけが読み出される。これらのメモリは、図８において参照符号３３１、３３３、および３３５によって示される。メモリから読み出された画像データは、現在の出力画像領域の動きベクトルにしたがって選択される。
【００４８】
本発明は、インタレース解除された入力画像データを使用して高画質の動き補償画像データを達成する。このためには、２つの入力フィールドからの画像データをプログレッシブビデオ形式で提供して解像度を上げた出力画像データを生成することが好ましい。２つの画像入力フィールドからの画像データは、ブロックライン切り換え部（新、旧）３４０、３５０において、それぞれ、合成される。ブロックライン切り換え部３４０、３５０は、インタレース解除がそれぞれのステータス情報（すなわち、フィルムモード、静止モード、動きフェーズ）にしたがって可能である場合に、プログレッシブ画像領域を生成するだけである。
【００４９】
高品質インタレース解除処理のためには、動き補償器がフィルムモードおよびビデオモード画像内容を区別する必要がある。ビデオモード画像内容に対して、各入力フィールドの画像領域間に動きがあり、これらそれぞれの画像領域の間のフィールド差信号が「１」に設定される（図６参照）。そのようなビデオモード画像内容に対して、動き補償アルゴリズムは、メモリ３３１、３３３（Ｆ０、Ｆ１）に記憶された２つの最新のフィールドからの画像データを使用するだけである。
【００５０】
フィルムモード画像内容に対して、動きフェーズが動き補償において考慮され、同一の動きフェーズのフィールドからの画像データをインタレース解除するだけである。フィルムモード画像データを処理する際に、メモリ３３１、３３３、３３５に記憶された３つの画像領域（Ｆ０、Ｆ１、Ｆ２）全てが使用される。ここで、インタレース解除処理を受けるこれらの画像領域は、それぞれの動きパターンにしたがって決定される。
【００５１】
図８に示す動き補償器の処理は、ブロック単位の画像タイプの標示に基づく。信号「モード」は、「０」であるときにビデオモード、「１」であるときにフィルムモードを示す。フィルムモードの場合、入力フィールドの画像領域のうちのどれが同じフィルムフレームに対応するかを決定する必要がある。この情報は、０〜６の値を表す動きフェーズ信号「フェーズ」によって与えられる。２−２プルダウンの２つの可能な動きフェーズは、０および１の値によって反映される。３−２プルダウンの５つの可能な動きフェーズは２〜６の値によってマークされることが好ましい。値２は特別な意味を有する。この値は、３−２プルダウン方式における同じフィルムフレームからの３つの入力フィールドの状態を示す。したがって、全てのフィールド間に利用可能な動きが存在しない。したがって、特別な処理が必要となる。
【００５２】
同じフィルムフレームのフィルムモードフィールドの合成（すなわち、インタレース解除）は、元の垂直解像度を保存し、出力補間画質を向上させる。
【００５３】
制御信号「モード」および「フェーズ」は、ブロックモード検出部（図示せず）によって与えられるのが好ましい。これらの制御信号は、各画像ブロックに対し、その画像内容がビデオモードまたはフィルムモードのいずれであるかを示し、どの動きフェーズがフィルムモードブロックに当てはまるかを示す。
【００５４】
さらに、画像ブロックが動いている内容または静止している内容のいずれを有するかを示す動き検出が、ブロックごとに行われる。これは、静止モード信号（例えば、「０」：動き、「１」：静止）によって示される。静止モード入力画像ブロックの場合、２つの連続したフィールドの画像領域からの画像データは、フィルムモードまたはビデオモード標示にかかわらず常にプログレッシブビデオ形式に合成される。
【００５５】
現在のビデオ画像をブロック単位でモード検出する例を図７に示す。図から明らかなように、画像は、動きのないセグメント２３０（すなわち、静止モードセグメント）、ビデオモードセグメント２２０、およびテレシネセグメント２５０（すなわち、フィルムモードセグメント）を含む。その上に、ビデオモードのティッカー領域２６０が重ねられる。ＯＳＤ画像部分２４０は、動きなし画像セグメント２３０の一部である。
【００５６】
フィルム／ビデオモード、動きフェーズおよび静止モード標示の値に応じて、２つの連続フィールドの画像データが、ブロックライン切り換え部２５０によってインタレース解除プログレッシブ画像領域（旧）に合成される。３番目の入力フィールドの残りの画像データＦ０は、２番目の補間画像領域（新）として使用される。３つ標示（すなわち、モード、静止およびフェーズ）の全ては、ブロックライン切り換え部３４０、３５０およびマルチプレクサ３２０に与えられる。マルチプレクサは、動きベクトル、モードおよび動きフェーズに従って、入力画像シーケンスにおけるフィールドＦ１の画像位置を選択する。
【００５７】
入力信号は、図９の表に示した動き補償処理に従って評価される。図９に示した処理に基づいて、これらの画像領域は、同じ動きフェーズからのブロックライン切り換え部３４０、３５０によって合成される。したがって、ビデオモード画像領域に対して、ブロックライン切り換え部３４０は画像領域Ｆ０を選択し、ブロックライン切り換え部３５０は画像領域Ｆ１を選択する。
【００５８】
フィルムモード入力画像データに対して、ブロックライン切り換え部３４０またはブロックライン切り換え部３５０のいずれかが２つの後画像領域（すなわち、画像領域Ｆ０およびＦ１、または画像領域Ｆ１およびＦ２）からの画像データを選択、合成する。それぞれにとって他方のブロックライン切り換え部は、残りの画像領域のデータを転送するだけである。この処理を図１０および１１に示す。
【００５９】
図１０は、２つの画像領域を合成してフィルムモードに対する合計３つの画像領域を処理する例を示す。図１１は、ビデオモードに対して２つの画像領域を処理する例を示す。図１０から分かるように、フィールドＦ０およびＦ１の画像データは、１つのインタレース解除フィールド４１０に合成される。さらなる画像領域Ｆ２は、そのまま転送される（４２０）。画像領域４１０、４２０の画像データに基づいて、出力画像領域は出力フィルタ部３８０によって計算される。
【００６０】
画像領域Ｆ０およびＦ１の入力ラインの合成を図１０に示す。計算される現在の出力画像領域に対して決定されたステータス情報は、例えば以下のとおりである。
【表１】
2005318612.tif 000003
【００６１】
補間部３７０においてフィールドＦ２の補間をするために、ライン合成を行わない。なぜなら、これらの画像データは、異なるフェーズ信号によって示される別の動きフェーズに属するからである。
【００６２】
画質を向上させるために、特に入力画像領域中に存在しない出力画像位置を計算するために、補間部３６０、３７０が与えられる。これらの補間部３６０、３７０は、ピクセル位置４１７、４２７において出力ピクセルを補間するために使用される多くのピクセル４１５、４２５を選択する。画像領域４１０、４２０の垂直解像度は、フィルムモード画像内容および静止モード画像内容に対して異なるので、補間のためにピクセル数を同一にすることを考慮すると、画像領域４１５、４２５の垂直方向の大きさは異なる値に設定される。これに対して、ビデオモード画像領域については、ピクセル補間のための画像部分５１５、５２５は同じ大きさである。したがって、補間部３６０、３７０は、ビデオモード処理において画像領域５１０、５２０を同一に処理する。合成されるラインの数は、フィルタタップに依存する。図１０および１１に示す例において、４−タップＦＩＲフィルタ結合（水平および垂直）が使用され、参照番号４１５、４２５、５１５、５２５によって示される。
【００６３】
本発明は、現在の画像の次の画像出力ブロックを生成する場合に異なる処理を用いる点で特に有利である。例えば、次の出力ブロックの局所特性は、以下の制御信号の組み合わせに記載される。
【表２】
2005318612.tif 000004
【００６４】
それぞれの処理を図１１に示す。
【００６５】
本発明は、３つの後フィールドの画像データを記憶するための３つのメモリを使用して記憶させることに限定されないことが当業者に理解される。これに対して、さらに、４番目のメモリを使用して、補間のための２つのフィルムフレームを完全に再結合してもよい。
【００６６】
さらに、ブロックの定義は、長方形ブロックに限定されない。任意の数のピクセルを有する不定形なあらゆる種類の画像領域を使用してもよい。そのような不定形の画像領域は、個々の画像オブジェクトにより良く適合し得る。
【産業上の利用可能性】
【００６７】
要約すると、本発明は、画像データの局所特性を考慮した動き補償画像処理に関する。１つの画像に含まれる画像データは、異なるビデオソースからのものであり得る。特定の動きフェーズを考慮するために、それに応じて動き補償処理が切り換えられるので、画質を向上させることができる。
【図面の簡単な説明】
【００６８】
【図１】ビデオ画像の均一な大きさの複数のブロックへの分割を示す図
【図２】ＰＡＬおよびＮＴＳＣテレビ放送規格に従った映画画像のインタレースシーケンスの画像への変換を示す図
【図３】複数のソースからの画像部分を含むモード混合ビデオ画像の例を示す図
【図４】異なる上方変換レートに対する入力および出力画像の関係を示す図
【図５】動き補償器の構成例を示す図
【図６】ビデオ画像入力シーケンスにおける画像間の動きを示す図
【図７】図３の入力ビデオ画像に対するステータス情報の検出結果例を示す図
【図８】本発明の動き補償器の構成例を示す図
【図９】画像領域ごとに利用可能なステータス情報に依存した異なる動き補償処理方式を列挙する図
【図１０】フィルムモード画像領域に対して、本発明に従い異なる入力フィールドからの画像領域を合成する例を示す図
【図１１】ビデオモード画像領域に対して、本発明に従った画像領域の選択を示す図
【符号の説明】
【００６９】
１１０  前フィールド
１２０  後フィールド
１３０  ピクセル平均化
１４０  出力計算器
１５０  得られたピクセル
２２０  ビデオカメラセグメント
２３０  動きのないセグメント
２４０  外部ＯＳＤ
２５０  テレシネセグメント
２６０  ビデオオーバーレイ
３１０  アドレス計算器
３２０  ＭＵＸ
３３１  メモリＦ０
３３３  メモリＦ１
３３５  メモリＦ２
３４０  ブロックライン切り換え部（新）
３５０  ブロックライン切り換え部（旧）
３６０  補間部（新）
３７０  補間部（旧）
３８０  出力フィルタ部
【図１】
2005318612.tif 000005
【図３】
2005318612.tif 000006
【図４】
2005318612.tif 000007
【図６】
2005318612.tif 000008
【図７】
2005318612.tif 000009
【図８】
2005318612.tif 000010
【図２】
2005318612.tif 000011
【図５】
2005318612.tif 000012
【図９】
2005318612.tif 000013
【図１０】
2005318612.tif 000014
【図１１】
2005318612.tif 000015