(57)【特許請求の範囲】
【請求項１】
画素ブロック動きベクトルを用いるビデオ入力信号の中間フィールドまたはフレーム（Ｘ）の動き補償内挿（ＭＣＩ）のための方法であって、フォールバック内挿（ＦＢＩ）も提供する形式の方法において、
画像の動きの水平成分が、速度（Ｖｈ）を過度に大きく超過したために、正しく補償されない場合に、前記フォールバック内挿を実施し、
その際に、前記中間フィールドまたは中間フレームの画素値（Ｘ）だけをローパスフィルタによって水平方向でフィルタリングする（Ｔ，Ｘ，＋）ことにより、動き補償内挿が行われないことにより生じる２重像のアーチファクトの大きさに匹敵する領域にわたってフィルタリングを活性化する、ことを特徴とするビデオ入力信号の中間フィールドまたはフレームの動き補償内挿のための方法。
【請求項２】
前記動き補償内挿（ＭＣＩ）を、動きが遅い場合には高い動き評価精度（ＡＨＰ）で実施し、動きが速い場合には、動きが正しく補償されなくなる程の高さではないが前記高い動き評価精度（ＡＨＰ）よりも低い動き評価精度（ＡＬＰ）で実施する、請求項１に記載の方法。
【請求項３】
前記フォールバック内挿（ＦＢＩ）を、前記動きベクトル（ＭＶ）の信頼度に関連して実施する、請求項１または２に記載の方法。
【請求項４】
ソフトスイッチング（ＳＷ）を、前記動き補償内挿（ＭＣＩ）と前記フォールバック内挿との間で実施する、請求項１から３のいずれか１項に記載の方法。
【請求項５】
動きベクトルを決定することができない場合に、前記フォールバック内挿（ＦＢＩ）を実施する、請求項１から４のいずれか１項に記載の方法。
【請求項６】
請求項１から４のいずれか１項に記載の方法に関連した、画素ブロック動きベクトルを用いるビデオ入力信号の中間フィールドまたはフレーム（Ｘ）の動き補償内挿（ＭＣＩ）のための装置において、
前記ビデオ入力信号（ＩＮ）を受信する動き補償内挿手段（ＭＣＩ）およびフォールバック内挿手段（ＦＢＩ）と、
前記入力ビデオ信号(ＩＮ）から前記ブロックベースの動きベクトル（ＭＶ）および／または当該ベクトルの水平成分（Ｖｈ）を計算する動き評価手段（ＭＥ）、または伝送された入力ビデオ信号データストリームから前記ブロックベースの動きベクトル（ＭＶ）および／または当該ベクトルの水平成分（Ｖｈ）を抽出する動き情報抽出手段を有し、
前記動き補償内挿手段（ＭＣＩ）およびフォールバック内挿手段（ＦＢＩ）の出力画素値は、スイッチング手段（ＳＷ）において、前記動きベクトル（ＭＶ）または当該ベクトルの水平成分（Ｖｈ）に関連して選択され、
その際に、前記中間フィールドまたは中間フレームの画素値だけが、ローパスフィルタによって水平方向でフィルタリングされる（Ｔ，Ｘ，＋）ことにより、動き補償内挿が行われないことにより生じる２重像のアーチファクトの大きさに匹敵する領域にわたってフィルタリングが活性化され、
前記動きベクトルの水平成分が速度（Ｖｈ）を過度に大きく超過したために、正しい補償が行われない場合には、前記フォールバック内挿（ＦＢＩ）が前記スイッチング手段（ＳＷ）により選択される、ことを特徴とするビデオ入力信号の中間フィールドまたはフレームの動き補償内挿のための装置。
【請求項７】
前記スイッチング手段（ＳＷ）はソフトスイッチング手段である、請求項６に記載の装置。
【請求項８】
請求項６または７に記載の装置を含むディジタルＴＶまたはＨＤＴＶ受信機。
【請求項９】
請求項６または７に記載の装置を含むディジタルＶＣＲ。
【請求項１０】
請求項６または７に記載の装置を含むディジタルビデオディスクプレイヤ。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、中間フィールドまたは中間フレームの動き補償内挿方法および装置に関する。
【０００２】
【従来の技術】
現在のヨーロッパと世界の他の地域のテレビ伝送の標準規格は、５０Ｈｚのディスプレイリフレッシュレートで動作している。１つの完全な画像、またはフレームは１／２５秒にて伝送されている。各フレームは、２つのフィールドから成り、２つの内の１つはそれぞれ１／５０秒にて伝送される。各フィールドは、フレームの奇数番目または偶数番目の走査線から成る。ＣＲＴディスプレイをリフレッシュする過程は、フリッカと呼ばれる時間に伴う輝度の変化を惹起させる。５０Ｈｚではまだ人間の眼はこのフリッカに敏感であり、明るい画面および／または大きなディスプレイ上で、このフリッカは顕著である。このフリッカの可視性を抑圧する１つの方法は、高い周波数でディスプレイをリフレッシュすることである。このフィールドレートの増加は任意の量であり、十分に高い周波数が選択される限り、眼の可視性は非常に低い。本発明の実施例では、５０Ｈｚの周波数の２倍の１００Ｈｚの周波数を用いており、比較的簡単なハードウエアで実施できるが、一般に任意の高い周波数も用いることができ、７５Ｈｚを使用することも企図されている。
【０００３】
１００Ｈｚの周波数の実施例において、２つの走査パターンが使用され、それらはＡＡＢＢおよびＡＢＡＢとして公知であり、ここでＡとＢの文字は、奇数および偶数フィールドＦの位置を示す。走査の２つの形態の構成を図１のＡと図１のＣに示す。元の入力信号に属する走査線Ｌは’○’でマークされ、新たに形成しなければならない新走査線は’×’でマークされる。
【０００４】
図１の矢印で示されるように、新フィールドのデータは、元の入力信号から発生する。画像が静止している場合、この方法はある程度許容できる画質を提供する。
【０００５】
画像が動く場合、それぞれの場合に受ける作用は２重像の１つである。このことは、不適切な時間位置に表示される新フィールドのデータに起因し、眼がスクリーンを横切る動きを追跡する場合、１つの形の２重像または別の２重像になる。この影響は図１のＢと図１のＤに示されており、図示のレタリングは’マウスティース（ｍｏｕｔｈ  ｔｅｅｔｈ）’アーチファクトを示す。
【０００６】
移動対象の周囲の２重像の現象は、正しい位置にある対象を用いて、新しい１００Ｈｚのフィールドを生成することにより低減されまたは除去される。このことは、対象が移動している速度を測定し、ソースフィールドの正しい位置（すなわち対象）からの情報を用いる新フィールドの挿入により行われる。この技術は、動き補償内挿と呼ばれ、本実施例においてフレーム／フィールドレートのアップ変換に適用されるが、たとえば改良したスローモーションビデオ信号の生成、または標準変換において、同様に他の用途に用いることができる。
【０００７】
動き予測の１つの技術は、ブロックマッチングとして公知である。典型的に、画像の現在のフィールドまたはフレームは、長方形のブロックに分割されている。各ブロックに対し、典型的な平均自乗誤差または平均絶対誤差等の基準により、現在のフィールドのブロックと最も適合するものを見つけるために、先行するフィールドまたはフレームにおいて、ブロックをオーバーラップして探索する。２つのブロックの相対位置から、現在のブロックに対する移動または動きベクトルを得る。
【０００８】
【発明が解決しようとする課題】
本発明の１つの課題は、改善されたフォールバック処理方法を提案することである。
【０００９】
本発明の別の課題は、本発明の方法を用いる装置を提供することである。
【００１０】
【課題を解決するための手段】
本発明の１つの課題は、画像の動きの水平成分が、速度を過度に大きく超過したために、正しく補償されない場合に、フォールバック内挿を実施し、その際に、中間フィールドまたは中間フレームの画素値だけをローパスフィルタによって水平方向でフィルタリングすることにより、動き補償内挿が行われないことにより生じる２重像のアーチファクトの大きさに匹敵する領域にわたってフィルタリングを活性化する方法により解決される。
【００１１】
本発明の別の課題は、ビデオ入力信号を受信する動き補償内挿手段およびフォールバック内挿手段と、前記入力ビデオ信号から前記ブロックベースの動きベクトルおよび／または当該ベクトルの水平成分を計算する動き評価手段、または伝送された入力ビデオ信号データストリームから前記ブロックベースの動きベクトルおよび／または当該ベクトルの水平成分を抽出する動き情報抽出手段を有し、前記動き補償内挿手段およびフォールバック内挿手段の出力画素値は、スイッチング手段において、前記動きベクトルまたは当該ベクトルの水平成分に関連して選択され、その際に、前記中間フィールドまたは中間フレームの画素値だけが、ローパスフィルタによって水平方向でフィルタリングされることにより、動き補償内挿が行われないことにより生じる２重像のアーチファクトの大きさに匹敵する領域にわたってフィルタリングが活性化され、前記動きベクトルの水平成分が速度を過度に大きく超過したために、正しい補償が行われない場合には、前記フォールバック内挿が前記スイッチング手段により選択される装置により解決される。
【００１２】
前述の動き予測原理では、シングルサイド法またはダブルサイド法のブロックマッチングが用いられている。ダブルサイド法のブロックマッチングとその利点は、出願人のヨーロッパ特許出願公開第９３４０２１８７号公報に記載されている。
【００１３】
ブロックマッチングは計算が複雑であるので、この技術を実時間で実行するハードウェアは、並行処理の形態で実施される。最も共通した形態は対象となる動きベクトルあたり１つのブロックマッチングプロセッサを有することである。シングルサイド法のブロックマッチングのハードウェア構成を図２に示す。この構成は、水平方向および垂直方向の±２画素または走査線までの速度を測かることができる。各処理素子は、並行して現在のブロックを±２画素または走査線により変位した先行するフィールドまたはフレームのブロックにマッチングさせる。
【００１４】
全ての場合に良好な結果を得るために、ブロック探索の範囲は到来信号に存在する全ての可能性のある動きベクトルに及ぶようにすべきである。処理素子の数は、ハードウェア構成の複雑さに直接関連し、それ故にコストにも関連するものであるので、チェックすべき対象となるベクトルの数を最小にする必要がある。
【００１５】
出願人のヨーロッパ特許出願公開第９３４０２０５９号公報に記載のように、ハードウェアのコストを低減する１つの方法は、画像内の可能性のある動きベクトルの限定範囲だけをカバーすることであり、この範囲の一部を精度を落してカバーすることになる。
【００１６】
動き補償フレーム／フィールドレートアップ変換に関連する前記技術の一例を図３に示す。図３において、’●’は、２次元の速度空間Ｖy ／Ｖh における動きベクトルプロセッサの処理位置である。動き予測は（高精度の領域ＡＨＰ内で）、小さなまたはゆっくりした動きに対した良好な精度で実行され、物体の速度が増加するにつれて、予測精度は（低精度の領域ＡＬＰ内で）悪化する。結果的に、制限速度（補償されない領域ＵＣＲ）があり、この制限速度を超えての動き予測は実行されず、したがってそこでの補償は不可能であり、代わりにフォールバック処理が必要になる。本発明は、この補償されない領域に関する。さらに、本発明は、図１のＡと図１のＢに示す両方の走査形態に適用することができる。
【００１７】
前述のように、経済要因が、到来テレビ信号内に含まれる物体の全ての生じる可能性のある速度に対して適用可能な動き補償アップ変換システムの実施を制限する。フォールバック処理は、物体、またはシーンを横切るパンの速度が、動き予測システムによりサポートされる最大速度を超える場合を処理する。図４は、図３に示す速度範囲を通して物体を加速したとき、典型的なアップ変換処理の後で観測した場合のエッジにおける効果を示す。物体は静止状態（零速度ＺＶ、図４のａ）からスタートする。物体が加速されるとき、低精度測定領域に達するまで（低精度領域ＡＬＰ内での不完全画素速度ＮＩＰＶＬ）、動き誤差は十分に補償され（高精度領域ＡＨＰ内での完全画素速度ＩＰＶＨおよび不完全画素速度ＮＩＰＶＨ）、そのことは、人間の視覚系が比較的高速で移動する物体に関するそのような小さな欠陥に感じないので、許容することができるものと考えることができる。許容できないことは、エッジ動き補償速度領域を超えるとき（サポートする領域ＡＨＰおよびＡＬＰ外の速度ＶＯＳＲ）の突然の変化である。画像は図４のｂ、図４のｃ、または図４のｄの外形から図４のｅの外形に突然変化する。
【００１８】
ひるがえって図１のＡおよび図１のＣを参照すると、このことは、用いられているアップ変換の形態に依存する’マウスティース’を有すると否とに関わらず、画像の部分において、高画質の単一移動画像から低画質の２重像への突然の変化を惹引することが理解できる。非常に大きな速度で移動し、正確に補償すべき画像の、作用を受けた外形を改善することが本発明のフォールバック処理の課題である。
【００１９】
図１から、誤った時間位置にある画像は、新フィールド（’×’でマークされた）の画像であることがわかる。ＡＡＢＢ形態の走査の図１のＡの場合を考察すると（ＡＢＡＢも同様である）、完全な画像は元のフィールドの正しい時間位置に既に存在している。
【００２０】
動き補償処理が不可能な場合、新フィールドは、元のフィールドを繰り返す等の補償されていない方法、または順次の走査画像を発生し、１０ｍｓの差で交代する走査線を遅延させることにより生成される。作用を受けた２重像の外形は、新フィールドを水平方向にローパスフィルタで良く処理することにより大きく改善される。フィルタ処理は、２重像の大きさに匹敵する領域にわたって実施されなければならない。
【００２１】
このフィルタ処理の作用は、内挿された新フィールドから（本来なら）重要な全ての細部を除去することである。フィルタ処理は、誤った時間位置の情報を有する遅延されたフィールドを不鮮明にする。１００Ｈｚのビデオ信号の第２番目毎のフィールドのぼけは、人間の視覚系が、高速で移動する物体に関するそれに感じないので、許容することができる。細部は、正しい時間位置にある情報を有するフィールド内にだけ存在するので、２重像の作用を受ける強さは著しく低減され、作用は受けても非常に改善された画質になる。本実施例において、動きベクトルを決定することができない場合、つまり通常は速度が補償されない領域ＵＣＲにある場合、フォールバック処理は新フィールドに適用される。
【００２２】
基本的に、本発明の方法は、画像の動きの水平成分が、速度を過度に大きく超過したために、正しく補償されない場合に、フォールバック内挿を実施し、その際に、中間フィールドまたは中間フレームの画素値だけをローパスフィルタによって水平方向でフィルタリングすることにより、動き補償内挿が行われないことにより生じる２重像のアーチファクトの大きさに匹敵する領域にわたってフィルタリングを活性化する。
【００２３】
本発明の方法の別の実施例は、各実施態様から明らかである。
【００２４】
基本的に、本発明の画素ブロック動きベクトルを用いるビデオ入力信号の中間フィールドまたはフレームの動き補償内挿装置は、ビデオ入力信号を受信する動き補償内挿手段およびフォールバック内挿手段と、前記入力ビデオ信号から前記ブロックベースの動きベクトルおよび／または当該ベクトルの水平成分を計算する動き評価手段、または伝送された入力ビデオ信号データストリームから前記ブロックベースの動きベクトルおよび／または当該ベクトルの水平成分を抽出する動き情報抽出手段を有し、前記動き補償内挿手段およびフォールバック内挿手段の出力画素値は、スイッチング手段において、前記動きベクトルまたは当該ベクトルの水平成分に関連して選択され、その際に、前記中間フィールドまたは中間フレームの画素値だけが、ローパスフィルタによって水平方向でフィルタリングされることにより、動き補償内挿が行われないことにより生じる２重像のアーチファクトの大きさに匹敵する領域にわたってフィルタリングが活性化され、前記動きベクトルの水平成分が速度を過度に大きく超過したために、正しい補償が行われない場合には、前記フォールバック内挿が前記スイッチング手段により選択される。
【００２５】
本発明の装置の別の実施例は、各実施態様から明らかである。
【００２６】
【実施例】
本発明の実施例を添付図面を参照して説明する。
【００２７】
図２は、完全な精度を有する水平および垂直にフィールドあたり±２画素の範囲のシングルサイドのブロックマッチングの動き予測器の実施例が示されている。このアーキテクチャは、対象となる動きベクトルあたり１つの処理素子ＰＥを基本としている。各処理素子ＰＥは、画素間のその２つの入力側に到達する誤差（該誤差はそれぞれ対象とするブロックの位置とベクトルに関連する一群を形成する）を記憶し、すなわち各ブロックに対する全誤差を生成するための部分的な誤差結果を記憶している。図に示されていないが処理素子は、各ブロックに対して最小誤差が生ずるように相互接続されている。処理素子は最小絶対値または最小自乗誤差を計算することができる。
【００２８】
全ての処理素子ＰＥは、現在のブロックに対応する共通の入力側ＩＮを有している。探索窓内の画素間の相対的な変位は、入力側ＩＮに接続されたフィールド遅延素子ＦＤに後続するライン遅延素子ＬＤおよびサンプル遅延ＳＤのネットワークにより行われる。
【００２９】
図５のフォールバック処理用のローパスフィルタは、一連の水平方向の１サンプル遅延素子Ｔを介して、入力信号（すなわち、図１の走査線における’×’画素）を通過させる。各遅延素子出力の画素値と入力信号ＩＮの画素値とは、乗算器×でフィルタ係数１／１６、２／１６、３／１６、４／１６、３／１６、２／１６、１／１６と乗算される。乗算器の出力側は加算器＋に接続され、中間フィールドのために最終出力画素値ＯＵＴを形成する。
【００３０】
図６において、５０／６０Ｈｚの入力信号ＩＮは、動き補償内挿回路ＭＣＩまたはフォールバック内挿回路ＦＢＩと、スイッチＳＷとを介して、１００／１２０Ｈｚ出力側に通過する。回路ＭＥは動き予測器にすることができ、入力信号ＩＮから関連した動きベクトルＭＶを計算し、動き予測をすることのできない激しい動画領域を検出した場合、スイッチＳＷを制御する。その情報を動き予測器が送信機内に配設されているとか、図６の回路がＴＶ受信機等のレシーバの一部であれば、送信することができる。したがって、回路ＭＥは、送信された入力信号のデータストリームから、動きベクトルＭＶと、動かないと予測された画像領域に関する情報とを抽出することができる。動き情報は、中間フィールドの動き補償内挿を実行するために、内挿回路ＭＣＩに用いられる。また、ＡＬＰ領域の外側境界線で、スイッチＳＷはＭＣＩ／ＦＢＩの切り替えを滑らかにするソフトスイッチとして動作する。回路ＭＥは図２による回路を有することができる。内挿回路ＦＢＩは、図５に示すフィルタを有することができる。
【００３１】
移動する一様のエッジの場合、動きベクトルはエッジに対して垂直方向の場合のみ有効である。本実施例において、フォールバック処理は、（コスト上の理由で）水平方向のフィルタ処理に限定される。したがって、速度の水平方向成分だけが有効でない場合（すなわちエッジに関して、単に画像の垂直方向にエッジが移動する場合）、ある種の構成ではフォールバックモードの適用が制限される。
【００３２】
出願人の関連するヨーロッパ特許出願第９３４０２５０６号明細書に記載のように、信頼の基準としてのベクトル調整の中間の形を介して、フォールバックモード処理の適用を制御することができる。
【００３３】
本発明は、標準変換、ビットレート低減、デジタルＨＤＴＶ、デジタルＶＣＲ、デジタルビデオディスクプレイヤー、およびＭＰＥＧ１装置またはＭＰＥＧ２装置（ＩＥＣ／ＩＳＯ標準規格）にも用いることができる。
【００３４】
【発明の効果】
本発明により、フォールバック処理により画質を改善することができる。
【図面の簡単な説明】
【図１】アップ変換したＡＡＢＢ走査とＡＢＡＢ走査、およびそれにより惹起されるアーチファクトを示す図である。
【図２】シングルサイド法のブロックマッチングのための典型的な実施例のブロック図である。
【図３】動きベクトルプロセッサの低減される処理範囲の一例を示す図である。
【図４】図３の速度空間を通して水平方向に加速される移動対象の外形図である。
【図５】フォールバック処理用のローパスフィルタのブロック図である。。
【図６】本発明の装置の簡単なブロック図である。
【符号の説明】
ＦＤ    フィールド遅延素子
ＬＤ    ライン遅延素子
ＳＤ    サンプル遅延素子
ＰＥ    処理素子
ＭＥ    動き予測回路
ＭＣＩ  動き補償内挿回路
ＦＢＩ  フォールバック内挿回路
【図１】
0003798440.tif 000002
【図２】
0003798440.tif 000003
【図３】
0003798440.tif 000004
【図４】
0003798440.tif 000005
【図５】
0003798440.tif 000006
【図６】
0003798440.tif 000007