(57)【要約】【課題】  アクティブ画像の境界に位置するブロックについて、正確に予測すること。【解決手段】  本発明は、不正な動きベクトルが生じ得るブロックを判定し、これらのベクトルを、先行する画像に基づいて決定された列または行動きベクトルと置き換える。このように、ある画像の全てのブロックについて確実な動き検出が可能となり、アクティブ画像の境界における補間アルゴリズムの劣化を効果的に防ぐことができる。【選択図】  図１１
2005287048.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが複数のブロックに分割されるビデオ画像のシーケンス内の現在の画像のブロックについて動きベクトルを決定する方法であって、
前記方法は、前記ビデオ画像のシーケンスにおいて先行する画像内においてブロックで構成される行または列の全てのブロックについて動きベクトルを決定する決定ステップを備え、
前記ブロックで構成される行または列は現在の画像内の現在のブロックの位置に対応する位置にあるブロックを含んでおり、
前記方法はさらに、前記決定した行または列動きベクトルに基づいて予測された現在のブロックの位置が前記先行する画像の画像領域の外側にある場合、当該現在のブロックに当該決定した行または列動きベクトルを割り当てる割り当てステップとを備える、方法。
【請求項２】
前記画像領域はアクティブ画像領域のみを含む、請求項１に記載の方法。
【請求項３】
前記アクティブ画像領域は、当該アクティブ画像領域の両側に位置する少なくとも２つのブラックバーによって囲まれる、請求項２に記載の方法。
【請求項４】
前記ブラックバーは、前記アクティブ画像領域の上端側および下端側の枠となる、請求項３に記載の方法。
【請求項５】
前記決定ステップは、列動きベクトルのみを決定する、請求項４に記載の方法。
【請求項６】
前記ブラックバーは、前記アクティブ画像領域の左側および右側の枠になる、請求項３に記載の方法。
【請求項７】
前記決定ステップは、行動きベクトルのみを決定する、請求項６に記載の方法。
【請求項８】
前記決定ステップは、行動きベクトルおよび列動きベクトルを決定する、請求項１〜３のうちのいずれかに記載の方法。
【請求項９】
前記決定ステップは、
決定した行または列動きベクトルを所定の閾値と比較する比較ステップと、
前記決定した行または列動きベクトルが前記所定の閾値を超える場合のみ、当該決定した行または列動きベクトルを割り当てステップに与える供給ステップとをさらに含む、請求項１〜８のうちのいずれかに記載の方法。
【請求項１０】
前記閾値は、本質的にブロックサイズに対応する値を有する、請求項９に記載の方法。
【請求項１１】
前記比較ステップは、決定した動きベクトルの縦成分または横成分を、前記閾値と比較する、請求項９または１０に記載の方法。
【請求項１２】
前記比較ステップは、決定した列動きベクトルの縦成分を前記閾値と比較する、請求項１１に記載の方法。
【請求項１３】
前記比較ステップは、決定した行動きベクトルの横成分を前記閾値と比較する、請求項１１に記載の方法。
【請求項１４】
前記割り当てステップは、決定した動きベクトルが現在のブロックに割り当てられる現在の画像の行または列について、ブロックの範囲を決定するステップを含む、請求項１〜１３のうちのいずれかに記載の方法。
【請求項１５】
前記ブロック範囲決定ステップは、
前記範囲の外側の境界を特定するステップと、
前記範囲の内側の境界を特定するステップとを含む、請求項１４に記載の方法。
【請求項１６】
前記外側の境界は、前記アクティブ画像領域の境界のブロックである、請求項１５に記載の方法。
【請求項１７】
前記外側の境界は、決定した動きベクトルの種類および方向に応じてアクティブ画像領域の外側の境界から選択される、請求項１６に記載の方法。
【請求項１８】
行または列動きベクトルは、先行する画像の少なくとも隣接する２つの行または列に基づいて算出される、請求項１〜１７のうちのいずれかに記載の方法。
【請求項１９】
請求項１〜１８のうちのいずれかに記載の動き検出方法を用いた動き補償を含むビデオ画像のシーケンスを符号化する方法。
【請求項２０】
請求項１〜１８のうちのいずれかに記載の動き検出方法を用いた動き補償を含むビデオ画像のシーケンスを補間する方法。
【請求項２１】
それぞれが複数のブロックに分割されるビデオ画像のシーケンス内の現在の画像のブロックについて動きベクトルを決定する動き検出回路であって、
前記動き検出回路は、前記ビデオ画像のシーケンスにおいて先行する画像内においてブロックで構成される行または列の全てのブロックについて動きベクトルを決定する算出ユニットを備え、
前記ブロックで構成される行または列は現在の画像内の現在のブロックの位置に対応する位置にあるブロックを含んでおり、
前記動き検出回路はさらに、
前記決定した行または列動きベクトルに基づいて、前記先行する画像内での前記現在の画像の位置を推定する位置推定回路と、
前記推定された位置が前記先行する画像の画像領域の外側であるかどうかを決定する比較回路と、
前記決定した行または列動きベクトルに基づいて推定された前記現在のブロックの位置が前記先行する画像の画像領域の外側にある場合、当該現在のブロックに当該決定した行または列動きベクトルを割り当てるイネーブルユニットとを備える、動き検出回路。
【請求項２２】
前記画像領域はアクティブ画像領域のみを含む、請求項２１に記載の動き検出回路。
【請求項２３】
前記アクティブ画像領域は、当該アクティブ画像領域の両側に位置する少なくとも２つのブラックバーによって囲まれる、請求項２２に記載の動き検出回路。
【請求項２４】
前記ブラックバーは、アクティブ画像領域の上端側および下端側の枠となる、請求項２３に記載の動き検出回路。
【請求項２５】
前記算出ユニットは、列動きベクトルのみを決定する、請求項２４に記載の動き検出回路。
【請求項２６】
前記ブラックバーは、アクティブ画像領域の左側および右側の枠になる、請求項２３に記載の動き検出回路。
【請求項２７】
前記算出ユニットは、行動きベクトルのみを決定する、請求項２６に記載の動き検出回路。
【請求項２８】
前記算出ユニットは、行動きベクトルおよび列動きベクトルを決定する、請求項２１〜２３のうちのいずれかに記載の動き検出回路。
【請求項２９】
前記動き検出回路は、前記算出ユニットは、決定した行または列動きベクトルを、所定の閾値と比較する比較回路をさらに備え、
前記イネーブルユニットは、前記決定した行または列動きベクトルが前記所定の閾値を超える場合のみ、当該決定した行または列動きベクトルを現在のブロックに割り当てる、請求項２１〜２８のうちのいずれかに記載の動き検出回路。
【請求項３０】
前記閾値は、本質的にブロックサイズに対応する値を有する、請求項２９に記載の動き検出回路。
【請求項３１】
前記比較回路は、決定した動きベクトルの縦または横成分を前記閾値と比較する、請求項２９または３０に記載の動き検出回路。
【請求項３２】
前記比較回路は、決定した列動きベクトルの縦成分を、前記閾値と比較する、請求項３１に記載の動き検出回路。
【請求項３３】
前記比較回路は、決定した行動きベクトルの横成分を、前記閾値と比較する、請求項３１に記載の動き検出回路。
【請求項３４】
前記イネーブルユニットは、決定した動きベクトルが現在のブロックに割り当てられる現在の画像の行または列について、ブロックの範囲を決定する範囲算出回路をさらに備える、請求項２１〜３３のうちのいずれかに記載の動き検出回路。
【請求項３５】
前記範囲算出回路は、画像内の範囲の外側の境界、および内側の境界を特定する、請求項３４に記載の動き検出回路。
【請求項３６】
前記外側の境界は、前記アクティブ画像領域の境界のブロックである、請求項３５に記載の動き検出回路。
【請求項３７】
前記外側の境界は、決定した動きベクトルの種類および方向に応じてアクティブ画像領域の外側の境界から選択される、請求項３６に記載の動き検出回路。
【請求項３８】
行または列動きベクトルは、先行する画像において少なくとも隣接する２つの行または列に基づいて算出される、請求項２１〜３７のうちのいずれかに記載の動き検出回路。
【請求項３９】
請求項２１〜３８のうちのいずれかに記載の動き検出回路を備え、動き補償を含むビデオ画像のシーケンスを符号化する符号器。
【請求項４０】
請求項２１〜３８のうちのいずれかに記載の動き検出回路を備え、動き補償を含むビデオ画像のシーケンスを補間する補間器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトル検出の方法の改良、およびそれに対応する動き検出回路に関する。本発明は、特に、画像境界における動きベクトル決定の改良に関する。
【背景技術】
【０００２】
動き検出は、特に、最新のテレビジョン受像機のデジタル信号処理において用いられる。このようなテレビジョン受像機は、フレームレート変換、特には、動き補償後のアップコンバート時に中間画像を決定するために動きベクトルを用いる。この中間画像は、受信したフィールドまたはフレームシーケンスに隣接する画像に基づいて補間される。オブジェクトの動きを考慮することによって、オブジェクトの画質の劣化を回避することができる。
【０００３】
動き補償後のアップコンバートについては、ＬＳＩによって、５０Ｈｚからより高い周波数、例えば、６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚまたは１００Ｈｚへのアップコンバートが行われる。６０Ｈｚのビデオ周波数については、ビデオシーケンスが、７２Ｈｚ、８０Ｈｚ、９０Ｈｚ、１２０Ｈｚ等にアップコンバートされても構わない。
【０００４】
アップコンバート時には、５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスでは表されない時間位置のビデオコンテンツを反映する中間画像が生成される。この目的のためには、移動オブジェクトの動きによって生じる後続の画像間の変化を適切に反映するために、そのオブジェクトの動きを考慮する必要がある。オブジェクトの動きは、ブロック単位で算出され、動き補償は、前後の画像間に新たに生成された画像の相対的時間位置に基づいて実行される。
【０００５】
動きベクトル決定のために、各画像は複数のブロックに分割される。先行する画像とのオブジェクトの位置変化を検出するために、各ブロックに対して動き検出が行われる。所定の検索範囲内で、先行する画像において、最もマッチングがとれたブロックを検出するための時間を要する全検索アルゴリズムは、好ましくは、複数の所定の候補ベクトルを用いることによって回避される。これらの候補ベクトルの組は、所定の最も適切な動きベクトルを多数含む。
【０００６】
動きベクトルは、候補ベクトルの各々について計算された誤差値に基づいて候補ベクトルから選択される。この誤差は、現在のブロックと、個々の候補ベクトルに応じて選択された先行画像内の候補ブロックとの一致度を評価する。最小の誤差を有する、最も一致するベクトルが現在のブロックの動きベクトルとして選択される。現在のブロックと前のブロックとの類似度の尺度として、差分絶対和（Ｓｕｍｍｅｄ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）を用いても構わない。
【０００７】
所定の候補ベクトルの組は、現在の画像の隣接するブロックについてすでに決定された候補ベクトルとして、先行する画像内の同様の位置等にあるブロックについて決定された動きベクトルを含んでいても構わない。
【０００８】
下記の非特許文献１には、グローバル動きベクトルを候補ベクトルとして算出することが記載されている。このグローバル動きベクトルは、画像の全てのブロックに共通した動きを反映する。
【０００９】
ハイエンドのテレビジョン受像機に用いられるアップコンバートアルゴリズムでは、縦方向の動きの場合、レターボックスタイプの表示画像における上側または下側の境界の画質が悪くなる。レターボックスタイプの表示画像を図１に示す。４：３のディスプレイスクリーンを１６：９の画像フォーマットに適合させるために、ブラックバーをアクティブ画像領域、つまり、有効な画像領域の上下に挿入する。同様に、４：３のアクティブ画像領域を１６：９フォーマットのディスプレイスクリーン上での表示用に適合させるために、画像領域の左側および右側に挿入されたブラックバーが用いられる。従って、ブラックバーは、アクティブ画像領域とディスプレイスクリーンのアスペクト比が一致しない場合に、アクティブ画像領域をディスプレイスクリーン上での表示用に適合させるために用いることができる。
【００１０】
レターボックスタイプの画像において動き検出を行う例を図２に示す。画像ｎのコンテンツの基本動き方向は上方である。結果、ブロックＡの画像コンテンツは、前のフィールドｎ−１内の下方向位置Ａ’で検出される。これに応じて、ブロックＢ’は、ブロックＢに対して下方向に位置する。
【００１１】
図２から分かるように、ブロックＢ’の前の位置は、アクティブ画像領域の下側の境界を越えている。結果、先行する画像のブロックと現在のブロックとを比較する動き検出回路は、ブロックＢの正確な動きを検出することができない。その代わり、従来の動き検出回路は、不正確な動きベクトルまたはゼロ動きベクトルのいずれかを検出する。このような従来の方法によって決定された動きベクトルに基づく動き補償後の補間により、アクティブ画像領域内のブラックバーの近傍において認識可能な影響が生じる。
【００１２】
従来の方法によって検出された動きベクトルのフィールドを単純化した例を図８に示す。画像コンテンツは、基本動き方向、すなわち、上方に移動する。動きベクトルの大半を正確に決定できるが、従来の動き検出アルゴリズムがレターボックスの境界周辺での動きを正確に導き出すことは不可能である。図８には、アクティブ画像領域内の不正確な動きベクトルの範囲が示されている。画像コンテンツの基本動き方向が上方を向いているので、ブロックの下側の行は、前のフィールドまたはフレーム内においてそれぞれが対応する部分がない。結果、動き検出回路は、正確な動きベクトルを決定することができない。一方、前のフィールドまたはフレーム内に対応するブロックを有する他の動きベクトルはいずれも、最も一致するアルゴリズムに基づいて正確に決定され得る。
【非特許文献１】ジェラルド・デ・ハーン（Ｇｅｒａｒｄ  ｄｅ  Ｈａａｎ）他  「エフィシエント  トゥルー  モーション  エスティメータ  ユージング  キャンディデイト  ベクトル  フロム  パラメトリック  モーション  モデル（Ａｎ  Ｅｆｆｉｃｉｅｎｔ  Ｔｒｕｅ−Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｏｒ  Ｕｓｉｎｇ  Ｃａｎｄｉｄａｔｅ  Ｖｅｃｔｏｒｓ  ｆｒｏｍ  ａ  Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ  Ｍｏｄｅｌ）」  アイトリプルイー  トランザクション  オン  サーキッツ  アンド  システムズ  フォー  ビデオ  テクノロジー（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ），  ｖｏｌ．８，  Ｎｏ．１  １９９８年２月
【発明の開示】
【発明が解決しようとする課題】
【００１３】
レターボックスタイプ以外の画像に関しては、アクティブ画像の外縁は、通常はオーバースキャン領域内にあるため、通常のディスプレイスクリーン上では視認できない。アクティブ画像の境界と直接的に隣接して位置するオーバースキャン領域のブロックは表示されないので、画質の劣化を生じることはない。しかしながら、動きベクトルが大きくなるとすぐに、ディスプレイスクリーン内のブロックが影響を受け、個々の画質が損なわれる。
【００１４】
このようなより大きな動きベクトルの場合、画質の劣化がレターボックスタイプの表示画像に大きく影響する。レターボックスタイプの画像では、アクティブ画像領域の外縁がオーバースキャン領域から表示画像内にずれる。補間を行う場合、これらの画像領域の大半において、補間アルゴリズムを適用した際に不正な動きベクトルが生じる。
【００１５】
本発明の目的は、画像境界におけるより正確な動きベクトルの決定を可能にする改良された動き検出方法の改良、および改良された動き検出回路を提供することである。
【課題を解決するための手段】
【００１６】
上記目的は独立請求項の特徴により達成される。
【００１７】
本発明の第１の局面では、ビデオ画像のシーケンス内における現在の画像ブロックについて動きベクトルを決定する方法が提供される。ビデオ画像の各々は、複数のブロックに分割される。動きベクトルは、ビデオ画像のシーケンスにおいて先行する画像内においてブロックで構成される行または列の全てのブロックについて決定される。上記ブロックで構成される行または列は、現在の画像内における現在のブロックの位置に対応する位置にあるブロックを含む。上記決定した行または列動きベクトルに基づいて検出された、先行する画像における現在のブロックの位置が、先行する画像におけるアクティブ画像領域の外側にある場合、現在のブロックに決定した行または列動きベクトルが割り当てられる。
【００１８】
また、本発明の他の局面では、ビデオ画像のシーケンス内における現在の画像ブロックについて動きベクトルを決定する動き検出回路が提供される。ビデオ画像の各々は、複数のブロックに分割される。算出ユニットは、ビデオ画像のシーケンスにおいて先行する画像内においてブロックで構成される行または列の全てのブロックについて動きベクトルを決定する。上記ブロックで構成される行または列は、現在の画像内における現在のブロックの位置に対応する位置にあるブロックを含む。位置予測回路は、上記決定した行または列動きベクトルに基づいて、先行する画像における現在のブロックの位置を予測する。比較回路は、予測した位置が先行する画像におけるアクティブ画像領域の外側にあるかどうかを決定する。イネーブルユニットは、上記決定した行または列動きベクトルに基づいて予測された現在のブロックの位置が、先行する画像におけるアクティブ画像領域の外側にある場合、現在のブロックに決定した行または列動きベクトルを割り当てる。
【００１９】
本発明のアプローチは、特に、従来の方法では適切な動きベクトルが確立できない画像の境界に位置するブロックについての従来の動き検出に取って代わるものである。この目的のために、現在のブロックの位置を含むブロックの行または列についての単一の動きベクトルを決定することによって、先行する画像のブロックについて検出された動きを評価する。このような動きベクトルは、このブロックで構成された行または列内のオブジェクトの主要な動きを反映する。この行または列動きベクトルを、正確な動きベクトルが確立できない画像境界のブロックに適用する場合、決定された行または列動きベクトルをそれらのブロックに割り当てることによって、想定されたような従来の動きベクトルは生じなくなる。このように、従来の動きベクトル検出アルゴリズムに基づく補間によって生じる画質の劣化を回避することができる。
【００２０】
本発明のアプローチは全てのタイプの画像フォーマットに有利に適用可能であるが、本発明は、好ましくは、レターボックスタイプの画像フォーマット、すなわち、表示領域の上側および下側もしくは左側および右側にブラックバーを有する画像フォーマットに適用される。このように、ブラックバーに隣接する画像境界において画質を著しく向上させることができる。
【００２１】
好ましくは、上側および下側にブラックバーを有する画像については、列ベクトルのみが決定され、画像境界のブロックのための動きベクトルを決定するために用いられる。同様に、左側および右側にブラックバーを有する画像については、行動きベクトルのみが用いられる。
【００２２】
他の実施形態では、行動きベクトルおよび列動きベクトルが、画像境界における動きベクトル検出を改良するために用いられる。このように、本発明による改良された動きベクトル検出は全ての画像境界に対して有利である。
【００２３】
本発明は、標準的なテレビ画像および高精彩テレビ画像を含むあらゆる種類のビデオ画像フォーマットに適用可能であることに留意されたい。
【００２４】
好ましくは、行または列ベクトルは、決定された動きベクトルが所定の閾値を超える場合にのみ決定され、現在のブロックに割り当てられる。好ましくは、閾値の大きさは、ブロックのサイズ、すなわち、ブロックの高さまたは幅に対応する。
【００２５】
好適な実施形態では、動きベクトルからは、縦または横ベクトル成分が分離され、個々の画像境界に対して垂直方向のべクトル成分が閾値と比較される。画像の上側および下側の境界については、列ベクトルの縦成分のみが考慮される。同様に、画像の左側および右側の境界については、行ベクトルの横成分のみが閾値と比較される。このように、他の場合において正確な予測が不可能なブロックを確実に決定することができる。
【００２６】
好ましくは、本発明による動きベクトルの割り当ては、従来の方法では動きベクトルを確実に決定することができないブロックの範囲を決定することを含む。この範囲に該当する現在の画像の各ブロックに対して、上記決定した行または列動きベクトルが割り当てられる。このように、先行する画像の行または列ベクトルを現在のブロックに適用するために必要な計算が単純化される。
【００２７】
好ましくは、上記範囲は、行または列内の内側の境界または外側の境界によって規定され、その内側の境界を特定することによって算出される。好ましくは、これには、動きベクトルの種類および方向が考慮される。
【００２８】
好ましくは、本発明の改良された動き検出は、動き補償された画像の補間、または動き補償された画像の圧縮に用いられる。
【００２９】
本発明の好適な実施形態は、従属請求項に記載の発明に対応する。
本発明の上記および他の目的および特徴は、以下の説明、および添付の図面と共に与えられる好適な実施形態からより明らかとなる。
【発明を実施するための最良の形態】
【００３０】
特にフレームレートまたはフィールドレートのアップコンバータに用いられる補間回路は、高画質の中間画像を生成するために、正常な動きベクトルフィールドを必要とする。正確に決定された動きベクトルフィールドに基づき、移動オブジェクトは、中間画像の時間位置に応じて、中間画像内におけるそれぞれの位置に変更され得る。従来のブロックマッチングアルゴリズムは、アクティブ画像領域の境界線、特に、レターボックス表示画像の上側および下側のアクティブ画像境界において正確な動きベクトルを提供することができない。図１に示すようなレターボックスタイプの画像については、不正な動きベクトルが縦方向の動きにより生じる。従来、縦方向の動きは、図２に示すように、前のフィールド内における個々のブロックを検出することによって、正確に検出されるだけであった。しかしながら、前のフィールド内における個々のブロックがアクティブ画像領域の外側、すなわち、ブラックバー内に位置する場合、従来の動き検出アルゴリズムは機能しない。
【００３１】
本発明は、行または列動きベクトルを用いることによって、画像境界における従来の不十分な動き検出を克服することを目的とする。次に、そのような行および列ベクトルの決定について説明する。
【００３２】
図３および図４は、多数のブロックに対して均等な動きベクトルを有する大きな移動画像部分を示す。図３は横方向に移動するオブジェクトの例を示し、図４は、縦方向に移動するテキスト、すなわち、映画のクレジットを示す。このような動きを反映する行および列ベクトルをそれぞれ図５および図６に示す。
【００３３】
動きベクトルの算出は、図７に示すブロックラスターに基づく。各ビデオ画像は、動きベクトル検出のために均等なサイズのブロックに分割される。一般に、各ブロックは、８×８ピクセルの正方形である。当業者は、異なるサイズ、例えば、４×４または１６×１６、もしくは高さと幅が異なる不規則な矩形のブロックを適用することに気づくことに留意されたい。
【００３４】
前のフィールドまたはフレームについて決定された動きベクトルに基づいて、列動きベクトルまたは行動きベクトルが算出される。
【００３５】
現在の画像ｎ（フィールドまたはフレーム）についての動きベクトルの決定が終了するとすぐに、個々の行および列ベクトルの算出が開始される。算出された行および列ベクトルは、次のフィールドまたはフレームの動き検出時に用いられる。
【００３６】
まず、長さが短い動きベクトルは考慮に入れない。この目的のため、各ブロックの動きベクトルｖを所定の閾値ｖthrと比較する。その結果は、各ブロックに割り当てられた２進「ｖｅｃｔｈｒ」フラグに反映される。このフラグは、式（１）で示されるように算出される。
【００３７】
【数１】
2005287048.tif 000003
【００３８】
好ましくは、画像ｎの全てのブロックについて決められた動きベクトルの組については、所定の閾値ｖthrを超えない動きベクトルが０（０；０）に設定されるように変更される。この変更は式（２）によって反映される。
【００３９】
【数２】
2005287048.tif 000004
【００４０】
式（２）に従って、閾値弁別されたベクトルｖthresholdedが算出される。この閾値弁別されたベクトルは、前に算出されたフラグ（式（１）参照）が０であれば、０に設定される。その他の場合には、決定されたベクトルｖが、閾値弁別されたベクトルｖthresholdedに割り当てられる。
【００４１】
行または列ベクトルの算出のために、好ましくは、残りの（閾値化された）０以外のベクトルの平均値が算出される。しかしながら、当業者は、行または列の複数の動きベクトルの個々に共通した動きベクトルを表す動きベクトルを決定するために、任意の他のアルゴリズムを適用し得る。
【００４２】
行および列ベクトルの算出には、個々のブロック長、および閾値ｖthrを超えるブロック数が、以下の式（３）〜式（６）に示されるように累算される。
【００４３】
【数３】
2005287048.tif 000005
【００４４】
行および列ベクトルｖline，ｖcolumnは、以下の式（７）および式（８）に従って算出される。動きベクトルは、行または列の所定の閾値ｖthrを超えるブロック数が他の所定の閾値ｎｔｈｒline、ｎｔｈｒcolumnを超える場合にのみ算出される。
【００４５】
【数４】
2005287048.tif 000006
【００４６】
上記閾値ｖthr、ｎｔｈｒline、ｎｔｈｒcolumnに関して、好ましくは、以下の値が用いられる。
【００４７】
【数５】
2005287048.tif 000007
【００４８】
ここで、ｘmax およびｙmax は、フィールドまたはフレーム全体の幅／高さを表す。これらの値は、好ましくは、８×８ピクセルのブロックサイズに用いられる。
【００４９】
上記説明では、行および列ベクトルが個々の行および列の各々について算出されるものとして仮定しているが、共通の動きベクトルがさらにまたは代わりに２つの行または２つの列の組み合わせについて算出されてもよい。２つの行または２つの列に対する動きベクトルは、２つの行または２つの列内の主要な動きを示すオブジェクトに対する動き精度をさらに向上し得る。
【００５０】
図８に示す縦方向の動きの場合のレターボックスタイプ画像について従来の方法によって決定された動きベクトルフィールドの例では、アクティブ画像領域の最終行の近傍に不具合が生じる。本発明による動きベクトル予測を適用することによって、図９に示すように、従来技術における問題は回避される。
【００５１】
従来のフィールドレートコンバータの構成を図１０に示す。ビデオシーケンスのフィールドレートを所定の入力周波数から所定の出力周波数にアップコンバートするために、後続のフィールドｎおよびｎ−１が、ディスプレイデバイス１３０上に表示するためにアップコンバートされたビデオシーケンスを生成する動き補償後の補間ユニット１２０に与えられる。補間ユニット１２０の動き補償動作は、動き検出ユニット１１０から提供される動きベクトルフィールドに基づく。現在のフィールドｎのための動きベクトルフィールドは、現在のフィールドｎのブロック、および前のフィールドｎ−１のブロックに基づいて算出される。動き検出ユニット１１０は、図８に例示するような従来の方法でブロックごとに動きベクトルを算出する。
【００５２】
本発明によれば、動き検出後処理ユニット２００は、動き補償後の補間ユニット１２０への動きベクトルフィールドの供給路に挿入される。本発明に従って改変されたフィールドレートコンバータの構成を図１１に示す。
【００５３】
本発明に従って、動き検出ユニット１１０によって従来の方法で算出された動きベクトルフィールドは、動き検出後処理ユニット２００による、本発明に係る後処理の対象となる。例えば、図８に示すような不正な動きベクトルを有すると思われるブロックが特定される。次いで、これらのブロックの動きベクトルが、前のフィールドに基づいて決定されたそれぞれの行または列動きベクトルによって上書きされる。
【００５４】
図８および図９から分かるように、不正な動きベクトルに該当する全てのブロック（図８参照）が、それぞれの列の動きベクトルで上書きされる（図９参照）。次いで、修正を加えられたそれぞれの動きベクトルフィールドが、その修正を加えられた動きベクトルフィールドに基づいて補間を行うために、動き補償後補間ユニット１２０に与えられる。
【００５５】
次に、動き検出後処理ユニット２００による受信した動きベクトルフィールドを修正する動作を説明する。
【００５６】
動き検出後処理ユニット２００は、現在のフィールドｎのブロックごとに動きベクトルを受信する。フィールドまたはフレームのブロックＢ（ｘ；ｙ）への分割を図７に示す。各ブロックは幅Ｘおよび高さＹを有し、好ましくは、８×８ピクセルの均等なブロックサイズが用いられる。当業者は、任意の他のブロックサイズを用いて同様の効果が得られ得ることが分かる。１行または１列ごとのブロック数は、各ブロックの幅Ｘおよび高さＹに依存し、以下のように、画像サイズに応じて算出される。
【００５７】
ｘmax＝１行のピクセル数／Ｘ
ｙmax＝１列のピクセル数／Ｙ
【００５８】
動きベクトルは、好ましくは、従来の動き検出ユニット１１０が現在の動きベクトルについて１組の候補ベクトルを評価することによって算出される。候補ベクトルは、各々が現在のブロックについて他の動き検出を行うように選択された所定の動きベクトルである。これらの候補ベクトルにおいて最も一致する動きベクトルが、誤差関数に基づいて算出される。この目的のために、好ましくは、差分絶対和（Ｓｕｍｍｅｄ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）が、現在のフィールドｎ内における現在のブロックＢ（ｘ；ｙ）および前のフィールドｎ−１内におけるそれぞれの候補ベクトルの逆ベクトルによって規定される位置にあるブロックに基づいて算出される。
【００５９】
後処理ユニット２００は、算出された動きベクトルフィールドを受け取る。後処理ユニット２００内に設けられたマルチプレクサが、受信された入力ベクトルｖ［（ｘ；ｙ）ｎ］または対応する列ベクトルｖcolumn［（ｘ；０）ｎ−１］のいずれかを選択し、ブロックごとにそれぞれの出力ベクトルｖpp［（ｘ；ｙ）ｎ］を生成する。このマルチプレクサは、切換信号ｉｖｐｌに従って入力ベクトルと列ベクトルとを切り換える。マルチプレクサの動作は以下の式（９）によって表される。
【００６０】
【数６】
2005287048.tif 000008
【００６１】
切換動作、すなわち、切換信号ｉｖｐｌの状態は、主に以下の２つの基準に基づく。すなわち、（ａ）縦方向における列の動きベクトルのサイズ、および（ｂ）現在のブロックが従来の方法では正確に動きベクトルを算出できない範囲にあるかどうか、である。
【００６２】
第１の基準に関して、信号ｖ＿ｍｏｔｉｏｎが、列ベクトルの縦成分が所定の閾値ＴＨＲvyを超えているかどうかを示す。この閾値は、好ましくは、ブロックＢ（ｘ；ｙ）の縦サイズＹに等しい。信号ｖ＿ｍｏｔｉｏｎの算出は、以下の式（１０）によって表される。
【００６３】
【数７】
2005287048.tif 000009
【００６４】
ここで、ＴＨＲｖｙ＝Ｙである。
【００６５】
式（１０）の項ｖｙ［（ｘ，０），ｎ−１］は、個々の列ベクトルの縦成分（１１）を表す。
【００６６】
【数８】
2005287048.tif 000010
【００６７】
上記範囲の算出、すなわち、従来のアルゴリズムでは確実な動きベクトル検出ができないブロックについて、ブロックの外側の境界線を、先頭および最終のアクティブブロック行ＦＡＢＬ、ＬＡＢＬ（ＦＡＢＬ＝先頭のアクティブブロック行、ＬＡＢＬ＝最終のアクティブブロック行）として決定する。
【００６８】
【数９】
2005287048.tif 000011
【００６９】
ここで、ＦＡＬおよびＬＡＬは、図１に示すような各画像内の先頭および最終のアクティブピクセル行を表す。
【００７０】
先頭および最終のブロックインデックスＦＡＢＬおよびＬＡＢＬは、動きベクトルが置き換えられるべきブロックの範囲の外側の境界を表すが、内側の境界の算出については次に述べる。上記範囲の内側の境界は、ブロック行ＶＢＢＬによって示される。従来の方法によって算出された動きベクトルを置き換えるために外側の境界からいくつのブロックが考慮されるべきかを決定するために、まず、列ベクトル方向が決定される。
【００７１】
信号ｖ＿ｄｏｗｎは、現在のブロックに対して、先行する画像の列ベクトルの縦成分が上を指しているか、下を指しているかを示す。本例では、２進信号ｖ＿ｄｏｗｎは、下向きの動きベクトルについて１の値を取り、上向きの動きベクトルについては０の値を取る。当業者は、任意の他の値がこの目的のために用いられ得ることが分かる。２進値ｖ＿ｄｏｗｎの算出は、以下の式（１２）によって表される。
【００７２】
【数１０】
2005287048.tif 000012
【００７３】
動きベクトル方向が下向き、すなわち、縦列ベクトル成分ｖｙ［（ｘ，０）ｎ−１］が正の場合、ベクトル長を先頭のアクティブ行インデックスＦＡＬに加算する必要がある。一方、動きベクトル方向が上向き、すなわち、縦列ベクトル成分ｖｙ［（ｘ，０）ｎ−１］が負の場合、動きベクトル長を最終のアクティブ行インデックスＬＡＬから減算する必要がある。ベクトル長の減算は、ベクトル長が負の場合にはベクトルの加算に相当する。
【００７４】
ブロック行ＶＢＢＬを特定するために、個々の行をブロック高さＹで除算する必要がある。ブロック行インデックスＶＢＢＬの算出は、以下の式（１３）で表される。
【００７５】
【数１１】
2005287048.tif 000013
【００７６】
現在のブロックが外側の画像境界ＦＡＢＬ、ＬＡＢＬのそれぞれから内側の境界ＶＢＢＬまで広がる領域内に位置するかどうかは、２進信号ｖ＿ｉｎｖａｌｉｄによって示される。ｖ＿ｉｎｖａｌｉｄ信号の算出は、式（１４）によって表される。
【００７７】
【数１２】
2005287048.tif 000014
【００７８】
よって、従来の方法によって算出された動きベクトルを個々の列ベクトルによって上書きする信号ｖ＿ｉｎｖａｌｉｄを設定するための選択肢は２つ存在する。１つ目は、列動きベクトルを下向きにし、現在のブロック行ｙが決定された範囲ＦＡＢＬ≦ｙ≦ＶＢＢＬに入る。２つ目は、列動きベクトルを上向きにし、ブロック行インデックスｙが範囲ＶＢＢＬ≦ｙ≦ＬＡＢＬ内にある。他の全ての場合において、現在のブロックは不正な動きベクトルの範囲には該当せず、０の値が信号ｖ＿ｉｎｖａｌｉｄに割り当てられる。
【００７９】
信号ｖ＿ｉｎｖａｌｉｄが１に設定される全てのブロックについては、列ベクトルが縦方向に移動する場合のみ対応する列ベクトルが割り当てられる。これは、上記切替信号ｉｖｐｌによって制御される。切替信号ｉｖｐｌの算出は、以下の式（１５）によって表される。
【００８０】
【数１３】
2005287048.tif 000015
【００８１】
本発明は、上述したアクティブ画像の境界に位置するブロックに関する改善された動きベクトル算出の詳細な実施形態に限定されない。
【００８２】
簡潔に言えば、本発明は、特に、レートアップコンバータの動き補償後の補間に用いる改善された動きベクトルの予測に関する。アクティブ画像の境界に位置するブロックについて、従来の動き検出アルゴリズムは正確な予測ができなかったため、本発明は、不正な動きベクトルが生じ得るブロックを判定し、これらのベクトルを、先行する画像に基づいて決定された列または行動きベクトルと置き換える。このように、ある画像の全てのブロックについて確実な動き検出が可能となり、アクティブ画像の境界における補間アルゴリズムの劣化を効果的に防ぐことができる。
【産業上の利用可能性】
【００８３】
本発明に係る動きベクトル検出の方法、およびそれに対応する動き検出回路は、画像境界におけるより正確な動きベクトルを決定することが要求されるテレビジョン受像機等に有用である。
【図面の簡単な説明】
【００８４】
【図１】レターボックスタイプのビデオ画像の一例を示す図
【図２】図１に示すようなレターボックスタイプの画像内の異なるブロックに対する動きベクトル検出の例を示す図
【図３】ビデオ画像において均等に移動する大きなオブジェクトの一例を示す図
【図４】均等に移動する大きな画像部分の他の例を示す図
【図５】図３の大きなオブジェクトの動きを示す行ベクトルを示す図
【図６】図４に示す縦に移動するクレジットの動きを示す列ベクトルを示す図
【図７】ビデオ画像を、均等なサイズのブロックで構成されるラスターに分割する様子を示す図
【図８】縦方向の動きの場合に不正な動きベクトルが決定されやすい画像領域の例を示す図
【図９】本発明に従って決定されたレターボックスタイプの画像のベクトルフィールドを示す図
【図１０】フィールドレートコンバータの構成例を示す図
【図１１】本発明によるフィールドレートコンバータの構成を示す図
【符号の説明】
【００８５】
１１０  動き検出ユニット
１２０  動き補償後補間ユニット
２００  動き検出後処理ユニット
【図１】
2005287048.tif 000016
【図２】
2005287048.tif 000017
【図３】
2005287048.tif 000018
【図４】
2005287048.tif 000019
【図５】
2005287048.tif 000020
【図６】
2005287048.tif 000021
【図７】
2005287048.tif 000022
【図８】
2005287048.tif 000023
【図９】
2005287048.tif 000024
【図１０】
2005287048.tif 000025
【図１１】
2005287048.tif 000026