(57)【要約】【課題】  改良されたフィルムモードを決定するための方法を提供する。【解決手段】  本発明は、特に移動オブジェクトの境界領域のためのフィルムモードの決定を改良することを可能とする。これはフィルムモードの外挿によって達成される。現在のブロックの動きベクトルの方向が逆にされ、その逆の動きベクトルに基づいて決定されるターゲットブロックのフィルムモード指標は、現在のブロックに向かって外挿される。この方法で、現在の画像に対するフィルムモードの決定の正確さを改良することができ、従って、改良された画質を生じる画像処理が改良されうる。【選択図】図５
2005318622.tif 000002
【特許請求の範囲】
【請求項１】
画像シーケンスの一部である現在の画像における複数の画像領域のフィルムモード指標を決定するための決定方法であって、
現在の画像領域の動きベクトルを取得するステップと、
前記受け取った動きベクトルの長さ及び逆の方向を持つ動きベクトルを算出するステップと、
前記逆動きベクトルによって向けられた前記画像領域のフィルムモード指標を受け取るステップと、
前記逆動きベクトルに基づいて、前記現在の画像のフィルムモード指標を訂正するステップとを備える方法。
【請求項２】
前記逆動きベクトルによって向けられた前記画像領域の前記フィルムモード指標がフィルムモードである場合に、前記現在の画像領域と前記逆動きベクトルによって向けられた前記画像領域の間の画像領域が、フィルムモードに設定される、請求項１に記載の方法。
【請求項３】
前記現在の画像領域の前記フィルムモード指標がフィルムモードでない場合にのみ、前記画像領域はフィルムモードに設定される、請求項２に記載の方法。
【請求項４】
前記算出された動きベクトルが前記現在の画像の外の位置を向いている場合、前記逆動きベクトルの長さがクリップされる、請求項２あるいは請求項３に記載の方法。
【請求項５】
前記ビデオシーケンスの前記画像が複数のブロックに分割され、前記フィルムモード指標および動きベクトルが、ブロック単位で提供される、請求項１から４のうちのいずれかに記載の方法。
【請求項６】
前記逆動きベクトルが画像ブロックのラスターに収まるにように量子化される、請求項５に記載の方法。
【請求項７】
前記フィルムモードに設定される画像領域は、既定の画像領域のパターンに応じて選定される、請求項１から６のうちのいずれかに記載の方法。
【請求項８】
前記既定のパターンは、前記現在の画像領域と前記逆動きベクトルによって向けられた前記画像領域との相対位置に応じて、あらかじめ記憶された複数のパターンから選定される、請求項７に記載の方法。
【請求項９】
前記あらかじめ記憶されたパターンは、前記現在の画像領域と前記逆動きベクトルによって向けられた前記画像領域との相対位置の全ての可能な組み合わせを提供する、請求項８に記載の方法。
【請求項１０】
前記フィルムモードに設定される画像領域は、前記現在の画像領域で始まる決定の繰り返し、及び前記逆動きベクトルによって向けられた前記画像領域に段階的に接近することに基づいて決定される、請求項１から９のうちのいずれかに記載の方法。
【請求項１１】
フィルムモードに設定される新しい画像領域を決定するためのステップの大きさは、前記逆動きベクトルの方向に基づいて決定される、請求項１０に記載の方法。
【請求項１２】
前記逆動きベクトルは、横及び縦の成分を有し、
前記ステップの大きさは、大きいベクトル成分を小さいベクトル成分で除算することで算出される、請求項１１に記載の方法。
【請求項１３】
前記フィルムモード指標がフィルムモードに訂正されたか否かを示す前記画像領域の各々に関連する追加的な指標を記憶するステップをさらに備えた、請求項１から１２のうちのいずれかに記載の方法。
【請求項１４】
前記フィルムモード指標は、個々の画像領域に対してフィルムモードあるいはビデオモードのいずれかをを示す、請求項１から１３のうちのいずれかに記載の方法。
【請求項１５】
前記逆動きベクトルによって向けられた前記画像領域のフィルムモード指標が訂正されなかった場合のみ、フィルムモード指標の訂正が行われる、請求項１３あるいは請求項１４に記載の方法。
【請求項１６】
前記逆動きベクトルによって向けられた前記画像領域の受け取った前記フィルムモード指標がビデオモードである場合、前記現在の画像領域と前記逆動きベクトルによって向けられた画像領域との間の画像領域をビデオモードに設定するステップをさらに備えた、請求項１から１５のうちのいずれかに記載の方法。
【請求項１７】
前記現在の画像領域における前記フィルムモード指標がフィルムモードである場合にのみ、画像領域はビデオモードに設定される、請求項１６に記載の方法。
【請求項１８】
動き補償画像処理を行なうための方法であって、
現在の画像に対して決定される動きベクトルを受け取るステップと、
前記現在の画像のフィルムモード指標を決定するステップと、
請求項１から１７のうちのいずれかによる方法を適用して前記現在の画像に対して決定される前記フィルムモード指標を訂正するステップと、
前記各フィルムモード指標による動き補償を適用して前記現在の画像の前記画像データに基づいて動き補償画像処理を行なうステップとを、備えた方法。
【請求項１９】
画像シーケンスの一部である現在の画像における複数の画像領域のフィルムモード指標を決定するフィルムモード検出器であって、
前記現在の画像における画像領域のフィルムモード指標及び現在の画像領域の動きベクトルを取得する入力手段と、
前記受け取った動きベクトルの長さ及び逆の方向を持つ動きベクトルを算出する算出手段と、
前記逆動きベクトルに基づいて前記現在の画像のフィルムモード指標を訂正する外挿手段とを、備えたフィルムモード検出器。
【請求項２０】
前記外挿手段が、前記逆動きベクトルによって向けられた前記画像領域の前記フィルムモード指標がフィルムモードである場合に、前記現在の画像領域と前記逆動きベクトルによって向けられた前記画像領域との間の画像領域を、フィルムモードに設定する、請求項１９に記載のフィルムモード検出器。
【請求項２１】
前記外挿手段が、前記現在の画像領域のフィルムモード指標がフィルムモードでない場合にのみ、前記画像領域をフィルムモードに設定するよう構成された、請求項２０に記載のフィルムモード検出器。
【請求項２２】
前記外挿手段は、前記算出された動きベクトルが前記現在の画像の外の位置を向いている場合、前記逆動きベクトルの長さをクリップするように構成された、請求項２０あるいは請求項２１に記載のフィルムモード検出器。
【請求項２３】
前記ビデオシーケンスの前記画像が複数のブロックに分割され、前記フィルムモード指標及び動きベクトルがブロック単位で提供される、請求項１９から２２のうちのいずれかに記載のフィルムモード検出器。
【請求項２４】
前記外挿手段は、画像ブロックのラスターに収まるにように前記逆動きベクトルを量子化する、請求項２３に記載のフィルムモード検出器。
【請求項２５】
前記外挿手段は、前記フィルムモードに設定する画像領域を、既定の画像領域のパターンに従って選定する、請求項１９から２４のうちのいずれかに記載のフィルムモード検出器。
【請求項２６】
複数の既定のパターンを記憶するメモリをさらに備え、
前記外挿手段は、前記現在の画像領域と前記逆動きベクトルによって向けられた前記画像領域との相対位置に応じて、前記複数のあらかじめ記憶されたパターンから前記規定のパターンを選定する、請求項２５に記載のフィルムモード検出器。
【請求項２７】
前記メモリは、前記現在の画像領域と前記逆動きベクトルによって向けられた前記画像領域との相対位置の全ての可能な組み合わせのパターンを記憶する、請求項２６に記載のフィルムモード検出器。
【請求項２８】
前記外挿手段は、前記現在の画像領域で始まる決定の繰り返し、及び前記逆動きベクトルによって向けられた前記画像領域に段階的に接近することに基づいて、前記フィルムモードに設定される画像領域を決定する、請求項１９から２７のうちのいずれかに記載のフィルムモード検出器。
【請求項２９】
前記外挿手段は、フィルムモードに設定する新しい画像領域を決定するためのステップの大きさを、前記逆動きベクトルの方向に基づいて設定する、請求項２８に記載のフィルムモード検出器。
【請求項３０】
前記逆動きベクトルは、横及び縦の成分を有し、
前記外挿手段は、大きいベクトル成分を小さいベクトル成分で除算することで前記ステップの大きさを算出する、請求項２９に記載のフィルムモード検出器。
【請求項３１】
前記外挿手段は、前記フィルムモード指標がフィルムモードに訂正されたか否かを示す前記画像領域の各々に関連する追加的な指標を記憶する、請求項１９から３０のうちのいずれかに記載のフィルムモード検出器。
【請求項３２】
前記フィルムモード指標は、個々の画像領域に対してフィルムモードあるいはビデオモードのいずれかを示す、請求項１９から３１のうちのいずれかに記載のフィルムモード検出器。
【請求項３３】
前記外挿手段は、前記逆動きベクトルによって向けられた前記画像領域のフィルムモード指標が訂正されなかった場合のみ、フィルムモード指標の訂正を行う、請求項３１あるいは請求項３２に記載のフィルムモード検出器。
【請求項３４】
前記外挿手段はさらに、前記逆動きベクトルによって向けられた前記画像領域から受け取った前記フィルムモード指標がビデオモードである場合、前記現在の画像領域と前記逆動きベクトルによって向けられた前記画像領域との間の画像領域をビデオモードに設定する、請求項１９から３３のうちのいずれかに記載のフィルムモード検出器。
【請求項３５】
前記外挿手段は、前記現在の画像領域のフィルムモード指標がフィルムモードである場合のみ、画像領域をビデオモードに設定する、請求項３４に記載のフィルムモード検出器。
【請求項３６】
各画像の動きベクトルのフィールドとフィルムモード指標とに応じて入力画像シーケンスを処理する動き補償器であって、
各画像の前記画像領域に外挿されるフィルムモード指標を決定するための請求項１９から３５のうちのいずれかによるフィルムモード検出器と、
前記各フィルムモード指標に応じて個々の画像領域の動き補償を選定する選択器とを備えた、動き補償器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、改良されたフィルムモードの決定に関する。特に、本発明は、改良されたフィルムモードを決定するための方法、及びそれに対応するフィルムモード検出器に関する。
【背景技術】
【０００２】
フィルムモード指標は、ますます多くの用途に、特に最近のテレビジョン受信機のデジタル信号処理において使用される動き補償画像処理に用いられている。特に、最近のテレビジョン受信機は、再生画像の画質を向上させるために、特にアップコンバートあるいは動き補償アップコンバートの形式でフレームレート変換を行う。動き補償アップコンバートは、例えば、５０Ｈｚのフィールド周波数あるいはフレーム周波数から６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚ、１００Ｈｚ等のより高い周波数までを有するビデオシーケンスに対して行なわれる。５０Ｈｚ入力信号周波数は主に、ＰＡＬあるいはＳＥＣＡＭ規格に基づいて放映されるテレビジョン信号に該当し、ＮＴＳＣに基づくビデオ信号は６０Ｈｚの入力周波数を有する。６０Ｈｚの入力ビデオ信号は、７２Ｈｚ、８０Ｈｚ、９０Ｈｚ、１２０Ｈｚ等のより高い周波数にアップコンバートされる。
【０００３】
アップコンバート時には、５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスでは表されない時間位置のビデオコンテンツを反映する中間画像が生成される。この目的のためには、オブジェクトの動きによって生じる後続の画像間の変化を適切に反映するために、そのオブジェクトの動きを考慮する必要がある。オブジェクトの動きは、ブロック単位で算出される。また、動き補償は、前後の画像間に新たに生成された画像の相対的な位置と時間とに基づいて実行される。
【０００４】
動きベクトルを決定するために、各画像は複数のブロックに分割される。先行の画像からのオブジェクトの移動を検出するために、各ブロックに対して動き検出が行われる。
【０００５】
ＰＡＬあるいはＮＴＳＣ信号のようなインターレースビデオ信号とは異なり、動画像データは完全なフレームによって構成される。最も普及している動画像データのフレームレートは２４Ｈｚ（２４ｐ）である。動画像データをインターレースビデオシーケンスに変換してテレビジョン受信機に表示する（この変換をテレシネという）時、２４Ｈｚフレームレートは“プルダウン”技術を用いて変換される。
【０００６】
動画像フィルムを５０Ｈｚ（５０ｉ）のフィールドレートを持つＰＡＬ放送規格によるインターレースビデオシーケンスに変換するために、２−２プルダウン技術が用いられる。２−２プルダウン技術は、各フィルムフレームから２つのフィールドを生成する。動画像フィルムは１秒につき２５フレーム（２５ｐ）で再生される。その結果、２つの後続のフィールドは、同じフレームに由来し、ビデオコンテンツ、特に移動オブジェクトの同一の時間位置を表す情報を有する。
【０００７】
動画像フィルムを６０Ｈｚ（６０ｉ）のフィールドレートを持つＮＴＳＣ信号に変換する時、２４Ｈｚのフレームレートは、３−２プルダウン技術を用いて６０Ｈｚのフィールドレートに変換される。この３−２プルダウン技術は、一定の動画像フレームから２つのビデオフィールド、そして次の動画像フレームから３つのビデオフィールドを生成する。
【０００８】
異なったテレビジョン規格に応じてインターレースビデオシーケンスを生成するテレシネ変換処理を図２に示す。使用されるプルダウン技術の結果、同一の動きの位相を反映した２つのあるいは３つの隣接したフィールドを含むビデオシーケンスを生じる。個々の動きの位相は、後続のフィールド間のフィールドの差異の算出に基づいて検出される。異なったフィルムフレームから生じるフィールドだけが、動きの検出を可能とする。
【０００９】
画質の改良処理を適切に行うために、特に動き補償を用いるか否かを決定するために、使用される個々のプルダウンの様式の検出が必要である。各プルダウン様式の検出は、例えば、特許文献や特許文献２から既に公知である。
【特許文献１】欧州特許出願公開第０７２０３６６号明細書
【特許文献２】欧州特許出願公開第１１９８１３８号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、フィルムモード検出をさらに改良することと、改良されたフィルムモード検出方法と改良されたフィルムモード検出器とを提供することを目的としている。
【課題を解決するための手段】
【００１１】
これは独立請求項の構成によって達成される。
【００１２】
本発明では、現在の画像における複数の画像領域のフィルムモード指標を決定する方法が提供される。前記現在の画像は、画像シーケンスの一部である。前記方法は、前記現在の画像領域の動きベクトルを取得する。前記受け取った動きベクトルに基づいて、前記受け取った動きベクトルの長さ及び逆の方向を持つ動きベクトルが算出される。さらに、前記逆動きベクトルによって向けれらた前記画像領域のフィルムモード指標が受け取られ、前記現在の画像のフィルムモード指標は、前記逆動きベクトルに基づいて訂正される。
【００１３】
本発明ではさらに、現在の画像における複数の画像領域のフィルムモード指標を決定するフィルムモード検出器が提供される。前記現在の画像は、画像シーケンスの一部である。前記画像検出器は、入力手段、算出手段及び外挿手段を備える。前記入力手段は、前記現在の画像の画像領域のフィルムモード指標と現在の画像領域の動きベクトルを取得する。前記算出手段は、前記受け取った動きベクトルの長さ及び逆の方向を持つ動きベクトルを算出する。前記外挿手段は、前記逆動きベクトルに基づいて前記現在の画像のフィルムモード指標を訂正する。
【００１４】
局所ベースでフィルムモード指標を取得することでフィルムモード検出を改良し、フィルムモード指標を外挿することは本発明の特有のアプローチである。外挿は、特に正しいフィルムモード指標の検出の遅延を回避するために、検出されたフィルムモード指標が移動画像オブジェクトの動きによって変化する場合に、フィルムモード指標の信頼性を改良することを目的としている。この目的のために、現在のブロックの逆動きベクトルに応じて決定されるブロックのフィルムモード指標が、特に現在のブロックの方に向かって外挿される。この態様によって、移動画像オブジェクトの境界領域でのフィルムモード指標が、正確さと信頼性とを向上させて決定される。これによって、画像改良アルゴリズムによって達成できる画質が高められる。
【００１５】
フィルムモード指標の信頼性を高めるために導入される遅延によって、一般に、移動オブジェクトの縁周辺の画像領域におけるフィルムモード指標は、新たに検出されるモードに即座に切り替わらない。しかしながら、このように信頼性を高めることは、移動オブジェクトの縁周辺でフィルムモード指標を正しく決定することを犠牲にしてのみ達成される。この欠点は、本発明による逆フィルムモード指標の外挿を用いることで回避される。
【００１６】
この目的のために、本発明は、移動オブジェクトの方向とは逆の方向に、移動オブジェクトの縁の後ろの画像領域を求める。ターゲット画像領域は、現在の画像領域から逆動きベクトルの方向に向かっている逆動きベクトルに応じて決定される。この間の画像領域はターゲット画像領域におけるフィルムモード指標に設定される。この態様で、フィルムモード指標の信頼性を低減させることなく切り替え遅延を回避することができる。
【００１７】
好ましくは、現在の画像領域と逆動きベクトルによって向けられたターゲット画像領域との間の画像領域は、ターゲット画像領域のフィルムモード指標がフィルムモードである場合に、フィルムモードに設定される。従って、フィルムモードは、移動オブジェクトの縁の方に向かって外挿される。好ましくは、現在のブロックがフィルムモードにない場合のみ外挿が行われる。従って、検出されたフィルムモード指標の変更が、現在の画像領域とターゲット画像領域との間で起こった場合のみ、本発明の逆外挿が行われる。
【００１８】
逆動きベクトルが、現在の画像領域から画像の外の位置を向いている場合、逆動きベクトルの長さが好ましくはクリップされて、前記クリップされたベクトルだけが、現在の画像内にある位置を向く。
【００１９】
好ましくは、画像シーケンスの画像は複数のブロックに分割されて、フィルムモード指標及び動きベクトルがブロック単位で提供される、つまり、画像領域はブロック構造に相当する。従って、逆外挿を、既存の画像領域構造に基づいて簡単な方法で行なうことができる。
【００２０】
好ましくは、現在のブロックからターゲットブロックに向いている逆動きベクトルは、画像ブロックのラスターに収まるように、量子化される。従って、逆フィルムモード外挿を簡単な方法で実行することができる。
【００２１】
逆フィルムモード外挿を行なうときフィルムモードに設定される画像領域は、好ましくは既定の画像領域パターン、つまり、訂正される個々の画像領域を特定するパターンに応じて選定される。この態様で、フィルムモード指標が訂正される必要のあるこれらの画像領域を確実かつ簡単な態様で決定することができる。
【００２２】
この既定のパターンは、好ましくは、メモリ内の複数のあらかじめ記憶されたパターンから選定される。この選定は、現在の画像領域とターゲット画像領域との相対位置に基づいて行なわれる。従って、適用されるパターンを、迅速かつ簡単な態様で選定することができる。
【００２３】
好ましくは、あらかじめ記憶されたパターンは現在の画像領域とターゲット画像領域との相対位置の全ての可能な組み合わせを提供する。従って、フィルムモード指標が訂正されるべき画像領域を、確実な態様で決定することができる。
【００２４】
好ましい実施例によれば、フィルムモードに設定される画像領域は、現在の画像領域から始まる決定の繰り返しと、ターゲット画像領域に段階的に接近することに基づいて決定される。
【００２５】
好ましくは、フィルムモードに設定される新しい画像領域を決定するためのステップの大きさは、動きベクトルの方向に基づいて決定される。最も好ましくは、このステップの大きさは、横及び縦ベクトル成分を持つ大きいベクトル成分を小さいベクトル成分で除算して設定される。
【００２６】
好ましくは、画像領域のフィルムモード指標が訂正されたか否かを示す、画像領域の各々に関連した追加的な指標が記憶される。この態様で、元のフィルムモード指標と訂正されたフィルムモード指標を確実な方法で識別できる。「訂正された」フィルムモード指標の発生が検出された場合、フィルムモード指標のさらなる逆外挿を禁止することができる。この態様で、一旦外挿されたフィルムモード指標は、さらなるフィルムモード外挿の基準とならない。
【００２７】
好ましい実施例によると、ターゲット画像領域のフィルモード指標がビデオモードである場合、現在の画像領域とターゲット画像領域との間の画像領域はビデオモードに設定される。この態様によって、フィルムモードの環境に挿入されたビデオモードの移動オブジェクトのフィルムモード指標を、ビデオモードを外挿することで正確に決定できる。
【００２８】
好ましくは、現在の画像領域がフィルムモードにある場合のみ、ビデオモードが外挿される。結果として、現在の画像領域とターゲット画像領域との間のフィルムモード指標の切り替えが起こる場合のみ、ビデオモードの外挿が行われる。
【発明を実施するための最良の形態】
【００２９】
本発明はデジタル信号処理に関し、特に最近のテレビジョン受信機におけるデジタル信号処理に関する。最近のテレビジョン受信機は、再生画質を高めるためにアップコンバート・アルゴリズムを用いている。この目的のために、中間画像は２つの後続の画像から生成される。中間画像の生成にあたって、オブジェクトの位置を内挿された画像によって反映された時点に適切に合わせるために、オブジェクトの動きを考慮しなくてはならない。
【００３０】
動きベクトル及び動き補償を決定するための動き検出は、ブロック単位で行われる。この目的のために、例えば、図１に示されているように、各画像は複数のブロックに分割される。先行の画像の中で最もマッチングするブロックを決定することで、各ブロックは個々に動き検出される。
【００３１】
動き補償を画像領域に正確に施すことができるように、フィルムモード指標の決定、すなわち、フィルムモードあるいはビデオモードの決定が、その画像領域に対して必要である。検出されたフィルムモード指標に応じて正しい画質改良処理を適用することで、画像のアーチファクトが回避される。
【００３２】
プログレッシブ表示を推進し、特にＨＤＴＶ表示装置のためにより高いフレームレートを使用するのに、ビデオ信号処理が特に必要である。テレビ放送のためにインターレース画像シーケンスに変換された動画像フィルム（さらにフィルムモードという）の検出は、信号処理にとって大変重要である。
【００３３】
画像改良処理のために、逆テレシネ処理、つまり偶数および奇数フィールドの再インターリーブを用いることで、インターレース／プログレシッブ変換（Ｉ／Ｐ）が可能である。３−２プルダウン方式で生じる画像シーケンスにおいて、同じフィルムフレームから生じるフィールドの３つに１つの余剰なフィールド（図２のグレー色のフィールド）が除去される。
【００３４】
さらに高度なアップコンバート・アルゴリズムは、動きベクトルに基づいたフレームの内挿を用いる。出力フレームレートは、入力ビデオレートと等しくない比率となるはずである。例えば、６０Ｈｚの入力信号周波数は、５：６の比率に相当する７２Ｈｚ出力周波数にアップコンバートされる。従って、移動オブジェクトの連続した動きの跡が保持されるときは、ただ１つの入力フィールド毎に６つの出力フレームが生成される。
【００３５】
画像のフィルムモードの特性は、画像単位で決定することができる、あるいは、改良されたアプローチによれば、個々の画像領域の局部的な特性となるであろう。特に、テレビジョン信号は、動きのない領域（例えば、ロゴ、背景）、ビデオカメラ領域（例えば、ニューステッカー、ビデオ挿入）、及びフィルムモード領域（例えば、メインムービー、ＰＩＰ）などの異なった種類の画像領域によって構成される。プルダウン方式の検出は、これらの画像領域の各々に対して別個に行われて、改良された画質のアップコンバート結果が得られる。
【００３６】
フィルムモード検出は通常、プルダウン様式の識別を伴う。従来は、画素の差が累積されて変位フレーム差（Ｄｉｓｐｌａｃｅｄ  Ｆｒａｍｅ  Ｄｉｆｆｅｒｅｎｃｅ：ＤＦＤ）になり、後続の画像間の動き表わす。視聴者に不安定な印象を与える結果となるため、検出されたフィルムモード指標の突然の変更を避けるために、検出遅延が、フィルムモードからビデオモードへの切り替えおよびその逆の切り替えを起動させるために用いられる。
【００３７】
フィルムモード指標の正確さを向上させるために、フィルムモード検出は、例えば図３に示されるように、ブロック単位で行われる。ｍ×ｎの画素サイズの各ブロックごとに、動きベクトル及びフィルムモード指標が決定される。
【００３８】
各画像ブロックごとに得られるデータが、図３の一つのブロックについて示されている。横及び縦の動きベクトル成分の他に、現在のブロックがフィルムモードかビデオモードかを示すフィルムモード指標が記憶されている。さらに、元のフィルムモード指標と後の指標との訂正を識別するために、指定されたフィルムモード指標の訂正は「アーティフィシャルモード」指標によって示される。
【００３９】
ブロックに基づくフィルムモード検出とそれから生じる問題を図４に示す。一定の構造を有する移動オブジェクト（ｃ）のみが、境界領域（ｂ、ｅ）での動きの値、すなわちＤＦＤの値の確実な検出を可能とする。有効な動き検出およびその結果の動きのパターンおよびフィルムモード指標の検出は、これらの境界領域以外では可能でない。
【００４０】
その確実性を高めるために導入されたフィルムモード指標を決定するための切り替え遅延によって、検出されたフィルムモード指標（図４のａ、ｄ）は、移動オブジェクト（ｃ）の前縁（ｅ）および後縁（ｂ）に対して、それぞれ空間的にオフセットとなる。そのため、移動オブジェクト（ｃ）の境界線（ｂ、ｅ）は、正しく決定されたフィルムモード指標を持たず、そのため、有効な画質改良処理がこれらの画像領域ではなされえないという特有の問題が起こる。
【００４１】
しかしながら、画像オブジェクトの境界領域は、認識される画質において特に重要である。特殊な画像領域についての不正確なフィルムモード指標に基づく不適切な画像改良処理を用いることは、画質の改良ではなく、画像の劣化を招く。従って、オブジェクトの縁において、確実にフィルムモード指標を決定することは有効な画質処理においてきわめて重要である。
【００４２】
動画像オブジェクトの境界領域のフィルムモード指標を確実に決定するために、フィルムモード指標は、画像オブジェクトの動きの方向と反対の方向に外挿される。
【００４３】
外挿されるフィルムモード指標への本発明のアプローチを図５を参照して詳細に説明する。ビデオ画像の各ブロック（図１参照）は、複数の画素、好ましくはインターレースビデオ画像においては８×４画素、プログレッシブ画像では８×８画素によって構成される。従って、各ＮＴＳＣインターレースビデオ画像には９０×６０ブロックがある。
【００４４】
フィルムモードの決定および動き検出は、個々のブロックごとに行なわれる。図３に示すように、決定の結果は、図６に示すメモリ領域１００に各ブロックごとに別個に記憶される。図６は逆の態様でフィルムモード指標を外挿するための個々のステップを示し、図５はその各結果を示す。
【００４５】
逆外挿処理は、現在のブロック２０における動きベクトル３０及びソースモードを取得することで開始される（ステップ１２０）。ステップ１３０で現在のブロックがビデオモードであるとわかると、ステップ１４０で、逆動きベクトル４０を取得するために、現在のブロック２０の動きベクトル３０の方向が逆にされる。さらに、逆にされたベクトル４０の長さが、ビデオ画像（図１参照）のブロックラスターに収まるように量子化される。逆動きベクトル４０が現在の画像の外の位置を向く場合、動きベクトルの長さが、画像の境界で各ブロックに向くようにクリップされる。
【００４６】
現在のブロック２０から始まる逆動きベクトル４０における動きベクトルの長さに基づいてターゲットブロック４５を決定した後、ターゲットブロック４５のモード（ターゲットモード）が決定される（ステップ１４０）。ターゲットモードの外挿は、下記の条件が満たされた場合のみ、行なわれる。
ソースモード＝ビデオモード
ターゲットモード＝フィルムモード
【００４７】
ステップ１５０で、ターゲットブロックのモードがフィルムモードであると判定された場合のみ、ステップ１６０で、逆外挿を現在のブロック２０の方に向けて行なう。現在のブロック２０からターゲットブロック４５に向いている逆動きベクトルのもとで各ブロック５０をフィルムモードに設定することで外挿が行なわれる。あるいは、現在のブロックのフィルムモード指標もフィルムモードに設定される。
【００４８】
フィルムモードに設定されるブロックの決定は、現在のブロックの指標のモジュロアドレッシングによって実行することができる。大きい値を有する横及び縦成分の逆動きベクトル成分を第１の軸Ｖ1とし、小さい逆動きベクトル成分を第２の軸Ｖ2として表すものとする。各符号（sing）は、方向Ｄｉｒ1、Ｄｉｒ2を決定する。
【００４９】
フィルムモードに設定されるブロックを段階的に決定するためのステップ（step）幅は、下に示すように大きい動きベクトル成分を小さい動きベクトル成分で整数除算することで算出される。
【００５０】
【数１】
2005318622.tif 000003
【００５１】
擬似的に設定されたこれらのフィルムモードブロック５０（図５参照）は、図３に示すように、「アーティフィシャルモードビット」で示されることになる。従って、各フィルムモード指標は、オリジナルのまま決定されるのか、あるいは擬似的に設定されるのかを区別することができる。このアーティフィシャルモードビットは、擬似的に設定されるこれらのフィルムモード指標をさらに外挿することを回避するために、外挿処理を始める前に求められる。
【００５２】
ターゲットブロックは、アーティフィシャルモードに設定されない。フィルムモードが設定され、アーティフィシャルビットが設定された第１のブロックは、ソースモードブロックである。
【００５３】
ブロック５０をソースブロック２０とターゲットブロック４５との間で繰り返して決定する方法が図７に示されている。逆ベクトルがＶx＝６，Ｖy＝４である場合の結果を図８に示す。
【００５４】
モジュロアドレッシング法では、代表的なループ変数ｉおよびｊが用いられる。変数ｉは第１の方向Ｄｉｒ１に用いられ、変数ｊは第２の方向Ｄｉｒ２に用いられる。
【００５５】
元のままに決定されたソースブロック３１０はビデオモードにあり、ターゲットブロック３３０はフィルムモードにある。後者は、再びアーティフィシャルとしてマークされることはないが、第１のソースブロックはアーティフィシャルとしてマークされ、フィルムモードに設定される。従って、Ｓ２１０では、ｉはまずマイナスＤｉｒ１に設定される。
【００５６】
ステップＳ２２０において、Ｄｉｒ１をインデックスｉに加算することで処理が開始される。これは、図８の「開始」ブロック３１０にあたる。
【００５７】
ステップＳ２３０で、変数ｊを増分するための条件が調べられる。それに応じて、ステップＳ２４０で、第２の方向Ｄｉｒ２に、アーティフィシャルとしてマークしている位置（the artificial marking position）を増分させる。ｉが上記で算出された値「ステップ」の偶数倍に等しいならば条件は真である。これは、図８のブロック３３１、３３３及び３３５の場合である。
【００５８】
ステップＳ２５０において、アーティフィシャルフィルムブロック（the artificial file block）の絶対位置は、現在のインデックスｉおよびｊをソースブロックの絶対位置に加算することで算出される（インデックス１／２（ソース））。その結果は画像中の位置を示す変数ｋ及びｌに保持される。アーティフィシャルビットおよびフィルムビットは、ステップＳ２６０で画像内に設定される。
【００５９】
第１の方向Ｄｉｒ１のインデックスｉがＶ１のベクトルの大きさに等しい値まで進んだことがＳ２７０で確認された場合、モジュロアドレッシングはＳ２８０で終了し（図８の「終了」ブロック３３５）、あるいは、Ｓ２２０へジャンプして戻る。
【００６０】
ターゲットブロックに到達する前に、現在のブロック２０およびターゲットブロック４５の間のブロックを決定するアプローチの繰り返しを終了するのは、元のフィルムモードはアーティフィシャルとしてマークしてはならないからである。
【００６１】
他の好ましい実施例によると、アーティフィシャルモードのマークは、ｘ／ｙベクトル成分の全ての可能な組み合わせを示すルック・アップ・テーブル（ＬＵＴ）を用いることで実行される。ルック・アップ・テーブル内の各エントリは、アーティフィシャルとしてマークされるブロックを特定している。この目的のために、記憶されるパターンは、どのブロックが次にマークされるべきかを示す。これは、２値表示に基づいて実行することができ、“０”は上／下へのステップを示し、“１”は右／左へのステップを示す。各ベクトル成分の符号は方向を与える。図９に示す例は、二つの負の成分ｘ＝−３，ｙ＝−４を有する逆動きベクトルに基づいている。テーブルエントリは０１０１０１の六つのステップ、すなわち下、左、下、左・・・・を示す。
【００６２】
このアプローチでは、横あるいは縦方向に隣接するブロックを有することなく、対角線状にブロックをマークしない。その結果、マークされるブロックの数は増加し、その結果よりよいベクトル経路到達範囲を得る。
【００６３】
当業者なら、現在のブロックとターゲットブロックとの間で、フィルムモードにアーティフィシャルに設定するべきこれらのブロックを決定するための上述したアプローチは、上記実施例に限定されず、他のアプローチを用いても同じ結果をもたらすであろうことがわかる。
【００６４】
上述の説明では、画像領域は動き検出からわかるブロックの大きさに相当するとしている。本発明は、フィルムモード決定のための、特にフィルムモード外挿のための、このような画像領域の大きさに限定されるものではない。ブロックより大きいあるいは小さい画像領域が定められてもよい。例えば、ブロックより小さい画像領域はフィルムモード解像度を上げる。フィルムモードの決定及び外挿は、全フィールドと、一つの画素のみあるいはサブピクセルの大きさ、の間の大きさを有する画像領域に基づいて実行されてもよい。
【００６５】
さらに、フィルムモードの外挿は、追加的に実行された動きベクトルに支援された、フィルムモード指標の検出されたビデオモードの外挿によって向上させることができる。各ブロックごとのビデオモード検出が正しくかつ高い信頼性をもって行われうるという前提のもとでは、ビデオモードオブジェクトの動き経路はフィルムモードオブジェクトの動き経路と干渉しない。
【００６６】
要約すると、本発明は、特に移動オブジェクトの境界領域のためのフィルムモードの決定を改良することを可能とする。これはフィルムモードの外挿によって達成される。現在のブロックの動きベクトルの方向が逆にされ、その逆動きベクトルに基づいて決定されるターゲットブロックのフィルムモード指標は、現在のブロックに向かって外挿される。この方法で、現在の画像に対するフィルムモードの決定の正確さを改良することができ、従って、改良された画質を生じる画像処理が、改良されうる。
【図面の簡単な説明】
【００６７】
【図１】一定の大きさの複数のブロックにビデオ画像を分割する例を示す図
【図２】動画像データをＰＡＬあるいはＮＴＳＣインターレースビデオシーケンスに変換するためのプルダウン方式を示す図
【図３】複数のブロックに分割されたビデオ画像およびブロックの各々に対する記憶された付加的な情報の例を示す図
【図４】移動画像オブジェクトの境界でフィルムモード指標が遅延されて検出される例を示す図
【図５】本発明の逆外挿の原理を示す図
【図６】本発明によるフィルムモード指標の外挿時に行われる個々のステップを示すフロー図
【図７】本発明のひとつの好ましい実施例によるフィルムモード指標の逆外挿のためのブロック決定の繰り返しを示すフロー図
【図８】本発明のひとつの好ましい実施例によるフィルムモード指標の逆外挿のためのブロック決定の繰り返しの例を示す図
【図９】本発明の他の好ましい例による、フィルムモード指標が訂正されるべき画像ブロックの段階的な決定を示す図
【図１０】本発明の別の好ましい例による外挿のルック・アップ・テーブルの例を示す図
【符号の説明】
【００６８】
２０、４５、５０、３１０、３２０、３３０〜３３５  ブロック
３０  動きベクトル
４０  逆動きベクトル
１００  メモリ領域
【図１】
2005318622.tif 000004
【図６】
2005318622.tif 000005
【図７】
2005318622.tif 000006
【図２】
2005318622.tif 000007
【図３】
2005318622.tif 000008
【図４】
2005318622.tif 000009
【図５】
2005318622.tif 000010
【図８】
2005318622.tif 000011
【図９】
2005318622.tif 000012
【図１０】
2005318622.tif 000013