(57)【要約】【課題】  動き補償に基づく画像データ生成の改良された方法および動き補償回路を提供する。【解決手段】  ボックスタイプの画像において、画像境界の近傍における補間による効果を避けるために、動き補償された画像データが補間の目的に使用できるか否かを判定するために各動き補償された画像データに位置確認が行われる。参照される画像における動き補償された画像データの位置が、所定の境界線と比較されて、容認出来ない画像データ位置が検出されて、そのような画像データに基づく補間が防止される。【選択図】  図４
2005287049.tif 000002
【特許請求の範囲】
【請求項１】
連続するビデオ画像中の他の画像のビデオデータから得られる動き補償に基づく画像データ生成方法であって、
生成される画像の現画像位置を受領するステップと、
動きベクトルに基づいて、参照される他の画像から画像データを取得するステップと、
前記動きベクトルに基づいて、参照される前記画像データが容認画像位置に在るか否かを決定する決定ステップとを備え、
参照画像データが非容認位置にある場合には、当該参照画像データに基づく新たな画像データの生成が禁じられることを特徴とする画像データ生成方法。
【請求項２】
前記決定ステップは参照される画像データ位置を、容認画像領域の所定の境界と比較する、請求項１に記載の画像データ生成方法。
【請求項３】
前記決定ステップは、さらに、現画像データの位置を前記容認画像領域の所定の境界と比較する、請求項２に記載の画像データ生成方法。
【請求項４】
前記容認画像領域は、ビデオ画像のアクティブ画像領域である、請求項２あるいは３に記載の画像データ生成方法。
【請求項５】
前記非容認画像領域は、表示フォーマットに応じて採用される画像フォーマットのために挿入される画像位置を含む、請求項４に記載の画像データ生成方法。
【請求項６】
前記画像はレターボックスタイプの画像であり、前記非容認画像領域は表示フォーマットのトップあるいはボトムに設けられたブラックバーである、請求項２乃至５の何れかに記載の画像データ生成方法。
【請求項７】
さらに、非容認画像データを代替画像データで代替するステップを備える、請求項１乃至６の何れかに記載の画像データ生成方法。
【請求項８】
前記代替画像は、容認位置での被参照画像から取得される、請求項７に記載の画像データ生成方法。
【請求項９】
さらに、前記受領した動きベクトルから、それぞれ異なる画像を参照する２つの動きベクトルを算出するステップと、
算出された動きベクトルに基づいて、前記被参照画像の画像データを取得するステップと、
両動きベクトルによって参照されて取得された画像データを補間するステップとをさらに備える、請求項１乃至８の何れかに記載の補間方法。
【請求項１０】
前記２つの動きベクトルは、前記画像シーケンスにおける現画像に隣接する２つの画像を参照する、請求項９に記載の補間方法。
【請求項１１】
前記２つの動きベクトルは、前記画像シーケンスにおいて現画像に先行する異なる画像を参照する請求項９に記載の補間方法。
【請求項１２】
前記算出ステップは、両方の被参照画像に関して、現画像の時間的位置に従って、両動きベクトル長を算出する、請求項９乃至１１の何れかに記載の補間方法。
【請求項１３】
被参照画像から得られる被容認画像データを他の被参照画像から得られる代替画像データで代替するステップをさらに備える、請求項９乃至１２の何れかに記載の補間方法。
【請求項１４】
前記代替画像データは、他の画像において参照される前記画像データである、請求項１３に記載の補間方法。
【請求項１５】
前記補間ステップは、さらに、現位置に対応する被参照画像における位置から画像データを受領する、請求項９乃至１４の何れかに記載の補間方法。
【請求項１６】
前記決定ステップは、被参照画像データの容認度を表す信号を生成する、請求項１乃至１５の何れかに記載の補間方法。
【請求項１７】
前記禁止ステップは、決定ステップによって生成される信号に基づく新画像データの生成に、被参照画像データを考慮する、請求項１６に記載の補間方法。
【請求項１８】
前記新画像データはピクセルベースで生成される、請求項１乃至１７の何れかに記載の補間方法。
【請求項１９】
前記新画像データはブロックベースで生成される、請求項１乃至１８の何れかに記載の補間方法。
【請求項２０】
ビデオ画像のシーケンスにおいて、他の画像のビデオデータから取得される動き補償に基づいて画像データを生成する動き補償回路であって、動き補償回路は、生成される画像における現位置に対する動きベクトルを受領して、受領した動きベクトルに基づいて他の被参照画像から画像データを抽出し、
出力計算回路は、
前記動きベクトルに基づいて、被参照画像データが容認画像位置にあるか否かを決定し、
前記被参照画像データが非容認画像位置にある場合には、当該被参照画像データに基づく新画像データの生成を禁止することを特徴とする動き補償回路。
【請求項２１】
前記出力計算回路は被参照画像データ位置を容認画像領域の所定の境界と比較する比較回路を含む、請求項２０に記載の動き補償回路。
【請求項２２】
前記出力計算回路は現画像データ位置を、前記容認画像領域の所定の境界と比較する比較回路を含む、請求項２１に記載の動き補償回路。
【請求項２３】
前記容認画像領域はビデオ画像のアクティブ画像領域である、請求項２１あるいは２２に記載の動き補償回路。
【請求項２４】
前記容認画像領域は、表示フォーマットに画像フォーマットを適用させるために挿入される画像部分を含む、請求項２３に記載の動き補償回路。
【請求項２５】
画像はレターボックスタイプであり、前記非容認画像領域は表示される画像領域のトップおよびボトムに配されるブラックバーである、請求項２０乃至２４の何れかに記載の動き補償回路。
【請求項２６】
前記出力計算回路は、代替画像データによって、前記被参照ブロックの非容認画像データを代替する、請求項２０乃至２５の何れかに記載の動き補償回路。
【請求項２７】
前記出力計算回路は、容認位置にある被参照画像から取得される代替画像データを受領する、請求項２６に記載の動き補償回路。
【請求項２８】
前記出力計算回路は、前記受領した異なる画像を参照する動きベクトルから２つの動きベクトルを算出し、当該算出された動きベクトルに従って画像データを抽出し、そして両動きベクトルによって参照される抽出された画像データを補間する、請求項２０乃至２７の何れかに記載の動き補償回路。
【請求項２９】
前記２つの動きベクトルは、前記画像シーケンスにおける現画像に隣接する２つの画像を参照する、請求項２８に記載の動き補償回路。
【請求項３０】
前記２つの動きベクトルは、前記画像シーケンスにおける現画像に先行する異なる画像を参照する、請求項２８に記載の動き補償回路。
【請求項３１】
前記出力計算回路は、両被参照画像に関して、現画像の時間位置に従い両動きベクトル長を算出する、請求項２８乃至３０の何れかに記載の動き補償回路。
【請求項３２】
前記出力計算回路は、被参照画像から取得される非容認画像データを、他の被参照画像から取得される代替画像データで代替する、請求項２８乃至３１の何れかに記載の動き補償回路。
【請求項３３】
前記代替画像データは、他の画像において参照される画像データである、請求項３２に記載の動き補償回路。
【請求項３４】
これらの画像を、被参照画像に現画像の時間位置に従って重み付けすると共に、前記平均化データを前記出力計算回路に送出することによって、現位置に対応する被参照画像の位置から平均化画像データを生成するピクセル平均化ユニットをさらに備える、請求項２８乃至３３の何れかに記載の動き補償回路。
【請求項３５】
前記出力計算回路は、前記受領した平均化画像データを新たな画像データの補間に含める請求項３４に記載の動き補償回路。
【請求項３６】
前記出力計算回路はさらに、被参照画像データの容認度を示す信号を受領する請求項２０乃至３５の何れかに記載の動き補償回路。
【請求項３７】
前記出力計算回路は、受領した信号に基づいて、新たな画像データの生成に用いる被参照画像データを選択する請求項３６に記載の動き補償回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償の改良に関する。詳述すれば、本発明は、他の画像の動き補償され
たデータに基づき、新たな画像データを生成する方法、および対応する動き補償回路に関
する。
【背景技術】
【０００２】
多くの用途、特に最新のテレビジョン受信機でのデジタル信号処理に採用されている。
具体的に言えば、現代のテレビジョン受信機は、再生画像の画質向上のために、動き補償
後アップコンバートによるフレームレート変換を行う。動き補償後アップコンバータは、
例えば、フィールドあるいはフレームレートが６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚ、お
よび１００Ｈｚ等の５０Ｈｚ以上であるビデオシーケンスに対して、適用される。
【０００３】
ＰＡＬあるいはＳＥＣＡＭ規格においては、テレビジョン信号放送には、主に５０Ｈｚ
の入力信号周波数が適用される。一方、ＮＴＳＣ規格に基づくビデオ信号は６０Ｈｚのフ
ィールドレートを有している。６０Ｈｚの入力ビデオ信号は７２Ｈｚ、８０Ｈｚ、９０Ｈ
ｚ、および１２０Ｈｚ等の高周波数にアップコンバートされる。
【０００４】
フレーム変換アルゴリズムは、例えば、５０Ｈｚあるいは６０Ｈｚの入力ビデオシーケ
ンスのそれとは異なる時間位置に在るビデオコンテンツを反映した中間画像の生成を要求
する。入力画像の画像データの補間中に、オブジェクトの動きに起因する画像コンテンツ
の変化を近似的に反映するために移動しているオブジェクトの動きが考慮されねばならな
い。
【０００５】
画像データの補間中に用いられる動きは、入力ビデオシーケンスの最も近接する２つの
画像に基づいて決定される。一般に、動き補償された画像において、ブロック構造が見え
るのを防止するために、ブロック単位で動き検出された動きベクトルは、好ましくは動き
ベクトルのフィールドがフィルタを受ける個々のピクセルに対して割り当てられる。具体的には、各画像ブロックは、入力画像を基準として検出された動きベクトルを受け取る。
【０００６】
動き補償においてブロック構造が見えないようにするために、これらのブロックはブロ
ック・エロージョン・ユニットによってフィルタされる。このフィルタは、マルチ・ステ
ップ処理において、各ブロックを多数のサブ・ブロックに分割して、分割されたサブ・ブ
ロックのそれぞれに動きベクトルを割り当てる。ブロック・エロージョンの最後ステップ
の後に、個々の動きベクトルが、補間される画像中の各ピクセルに割り当てられる。
【０００７】
注目する移動オブジェクトが数ピクセルの領域をカバーすると共に、オブジェクトの動
きは均一であるとの仮定に従って、正確なピクセル位置に対するベクトル割り当ては不要
である。さもなければ、出力画像の時間位置に関して、動きベクトルの開始位置をランデ
ィングポイント側に移動させる必要がある。
【０００８】
受領した動きベクトルに従い、動きベクトルにより参照されるピクセルを有する画像デ
ータが動き補償によって移動される。参照される画像の画像データの移動量は、受領した
動きベクトル長に依存し、さらに先行画像および後続画像の間で生成される新たな画像の
相対的な時間位置に依存する。
【０００９】
先行画像および後続画像の２つの画像から新たな画像データを生成する時には、好まし
くは、動きアルゴリズムは先行画像および後続画像中の画像データを参照する。先行画像
から生成された画像データは動きベクトル方向に前進させられ、後続画像から生成された
画像データは後退させられる。
【００１０】
前進量および後退量は、参照された画像に関して、新たな画像の時間位置に従って決定
される。前進は、算出された動きベクトル長の一部に従って実行される。一方、後退は、
動きベクトルの負の補数（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｎｅｇａｔｉｖｅ  ｆｒａｃｔ
ｉｏｎ）に基づいて実行される。各ピクセル位置での参照ピクセル値は補間される。新た
に生成される画像に関して時間位置に基づいて、参照画像の画像データに重み付けを行う
ことによって、補間できる。
【００１１】
補間画像が非アクティブ画像領域を含んでいる場合には、このような補間アルゴリズム
によって得られる画質は劣化する。このような非アクティブ画像領域は、アクティブ画像
領域の画像フォーマットを表示装置の表示フォーマットに適用するのに採用できる。特に、レターボックスタイプの画像では、従来の表示フォーマットあるいはワイドスクリーン画像を表示する、あるいはその逆の用途において、画像のトップおよびボトムあるいは、同画像の左右の何れかにブラックバーが用いられる。
【００１２】
このようなレターボックスタイプの画像のブラックバーに隣接する画像領域は、動きベ
クトルが損失することがある。結果的に、オブジェクトの真の動きを参照することなく、
連続する２つ画像から得られる画像データの重み付けにのみ基づいて補間を行うことがで
きる。
【００１３】
移動オブジェクトがアクティブ画像領域の境界を横切る時、つまり、画像成分が２つの
連続画像の１つに存在している場合のように、オブジェクトが画像に進入する、あるいは
画像から脱出する時に、このような問題が生じる。このような動きは、従来の動き検出ア
ルゴリズムによっては検出できない。
【００１４】
アクティブ画像領域の画像境界での動きベクトルを決定する有望な新たなアプローチと
しては、ブロックの行あるいは列の内での優勢な動きを反映する行ベクトルや列ベクトル
を適用するものがある。画像境界を横切って、ついには他の画像において相対物を有しな
くなる移動オブジェクトの一部を含む画像ブロックの動きベクトルは、ブロックの行ある
いは列のそれぞれの動きベクトルに基づいて決定できる。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、上述の方法では、行あるいは列の動きベクトルに基づく動き補償は、ア
クティブ画像領域の外部から得られる画像データの補間に帰結する。従って、不適当な画
像データが補間プロセスに導入されてしまう。補間により、アクティブ画像領域の画像デ
ータは、不均一な黒画像データによって補間されて画質が損なわれる。
【００１６】
レターボックスタイプの画像に関しては、レターボックス領域に向けられた動きベクト
ルによって、このような画質劣化が引き起こされる。補間された画像データがレターボッ
クス領域に由来する黒ドットを含むように、レターボックス領域から取得されるピクセル
はアクティブ画像領域から得られるピクセルと組み合わされる。本発明は、上述の従来の
技術における問題の解消を図るものである。動き補償に基づく画像データ生成の改良され
た方法および動き補償回路を提供することを本発明の目的とする。
【課題を解決するための手段】
【００１７】
本発明の第１の局面においては、連続するビデオ画像において他の画像のビデオデータ
から取得される動き補償に基づいて画像データを生成する方法が提供されている。生成さ
れる画像の現在の画像位置に対する動きベクトルを受領した後に、動きベクトルに基づい
て、参照される他の画像から画像データが得られる。さらに、動きベクトルに基づいて参
照される前記画像データが、容認されない画像位置に在るか否かが決定される。前記参照
画像データが非容認画像位置に在れば、参照画像データに基づく新たな画像データの生成
は禁じられる。
【００１８】
本発明の他の局面においては、動き補償回路は、動き補償に基づいて、連続するビデオ
画像における他の画像のビデオデータから画像データを生成する。動き補償回路は、生成
される画像における現位置に関する動きベクトルを受領して、当該動きベクトルに基づい
て他の被参照画像から画像データを抽出することに用いられる。動き補償回路は、動きベ
クトルに基づいて、被参照画像データが容認画像位置に在るか否かを決定する出力計算回
路を備えている。出力計算回路は、被参照画像データが非容認画像位置に在る場合には、
非参照画像データに基づく、新たな画像データの生成を禁じる。
【発明の効果】
【００１９】
上述のように、本発明においては、被容認画像領域が補間アルゴリズムにおいて使用さ
れないように、効果的に排除されるので、容認画像領域の境界に近接する画像の品質が維
持される。
【発明を実施するための最良の形態】
【００２０】
本発明は、デジタル信号処理に関し、特に近年のテレビジョン受信機における信号処理
に関する。近年のテレビジョン受信機は、再生画像の品質を向上させるために、アップコ
ンバージョンアルゴリズムを採用している。この目的のために、連続する２つの画像から
中間画像が生成される。中間画像の生成には、新たな画像内に在るオブジェクトの位置を
中間画像に反映される時間位置に適合させるために、移動中のオブジェクトの動きが考慮
されねばならない。
【００２１】
動き検出と同様に、動き補償は通常ブロック基準で行われる。この目的のために、生成
される中間画像は、図２に例示するように、複数のブロックに分割される。現ブロックの
それぞれは、先行画像および後続画像から取得される動き補償に基づいて個々に生成され
る。動き補償において視認できるブロック構造の発生を避けるために、これらのブロック
はブロック・エロージョン・ユニットによりフィルタされる。フィルタは、マルチ・ステ
ップ・プロセスにおいて、各ブロックを多数の小さなサブ・ブロックに分割し、分割され
たサブ・ブロックのそれぞれに動きベクトルを割り当てる。ブロック・エロージョンの最
終ステップの後に、個々の動きベクトルが各ピクセルに割り当てられる。
【００２２】
図１に例示されるように、レターボックスタイプの画像の動き補償された画像データを
生成する時には、従来の補間アルゴリズムでは、表示フォーマットのトップおよびボトム
に配されたアクティブ画像領域１０、ブラックバー２０、およびブラックバー３０との間
の境界線を監視していない。生成される現ブロックに割り当てられる動きベクトルは、完
全なブラック画像データを参照しているレターボックス領域２０および３０に向けられて
いる。同様にして、レターボックス領域２０および３０の内部からアクティブ画像領域１
０を指し示す。このような動きベクトルは、アクティブ画像領域１０にブラックドットあ
るいは、レターボックス領域２０および３０にブライトドットとして、ピクセルを補間プ
ロセスに導入する。
【００２３】
動き補償中に、動きベクトルが生成される現ブロックに割り当てられる。割り当てられ
た動きベクトルは、先行画像から取得される画像データのブロックを移動させるために正
の小数に分割され、後続の画像から取得される画像データのブロックを後方に移動される
ために負の小数に分割される。両被参照画像ブロックから取得されるピクセルデータは補
間されて、先行画像および後続画像から取得される付加的平均ピクセル値と共に処理され
て、被補間画像の画像データのブロックが生成される。
【００２４】
本発明では、アクティブ画像領域のブロックの補間中に、レターボックスピクセルが考
慮されることを防止することによって、レターボックス領域からアクティブ画像領域へ、
あるいはその逆方向に導入される画像データの画像品質劣化を防止する。同様に、アクテ
ィブ画像領域から取得される画像データは、レターボックス領域での補間目的には採用さ
れない。これは、アクティブ画像領域１０とレターボックス領域２０および３０を考慮す
ることによって達成される。境界線は、図１に示すレターボックスタイプの画像の先頭ア
クティブ行ＦＡＬおよび最終アクティブ行ＬＡＬとしてマークされる。
【００２５】
これらの境界線は、例えば、米国特許第６２０８３８５号公報に開示されているように、自動的に検出されて、処理すべき画像シーケンスのために記憶できる。動き補償において、先頭アクティブ行ＦＡＬおよび最終アクティブ行ＬＡＬは、処理対象のピクセル位置での垂直成分と比較される。
【００２６】
レターボックス領域２０のトップに位置する先頭アクティブ行ＦＡＬ、レターボックス領域３０のボトムに位置する最終アクティブ行ＬＡＬ、およびアクティブ画像領域１０はそれぞれ適用される補間を制御するために異なってマークされる。この目的のために、二値信号ＬＢ＿ＩＮが、各ピクセルに然るべく割り当てられる。
【００２７】
レターボックスタイプの画像１１０および１２０の先後フィールドに基づく動き補償が、図３に例示されている。現位置Ａにおけるピクセルを生成するために、受領した動きベクトルの小数が先行フィールド１１０および後続フィールド１２０におけるピクセルを参照する。被参照ピクセル位置は、受領した動きベクトルに基づいて決定される。なお、動きベクトルの第１の小数（ｆｉｒｓｔ  ｆｒａｃｔｉｏｎ）が先行フィールド１１０におけるピクセル位置を参照し、逆補数（ａｎ  ｉｎｖｅｒｓｅ  ｃｏｍｐｌｉｍｅｎｔａｒｙ  ｆｒａｃｔｉｏｎ）が後続フィールド１２０におけるブロックを参照する。
【００２８】
図３は、２つの有り得る動き補償状態、つまり、容認参照位置および被容認参照位置を
示している。アクティブ画像領域におけるピクセル位置Ａに対する画像データは、後続フ
ィールド１２０のアクティブ画像領域１０における他のピクセル位置Ｐsuccを参照する。
反対に、先行フィールド１１０において、動きベクトルはレターボックス領域３０におけ
るピクセル位置Ｐprevを参照する。先行フィールドを参照する動きベクトルは、最終アク
ティブ行ＬＡＬ、つまりアクティブ画像領域１０およびレターボックス領域３０との間の
境界を横切る。
【００２９】
従来の補間アルゴリズムでは、両被参照画像データを組み合わせて補間画像データを生
成する。このような補間プロセスは、先行フィールドから新たに生成される画像のアクテ
ィブ画像領域へのピクセルＰprevより導入されるブラック部分を生じる。このような、画
質劣化を防止するために、本発明では、境界線を横切ってレターボックス領域に渡って補
間を禁じる。失われるデータは、好ましくは、他のフィールド、つまりピクセル位置Ｐsu
ccを参照して取得されるデータによって代替される。
【００３０】
被参照ピクセル位置が、アクティブ画像領域とレターボックス領域との間の非容認境界
線を横切っているか否かを検出するために、次式（１）および（２）に従って、二値信号
ＬＢ＿ＩＮが算出される。なお、式（１）はアクティブ画像領域１０およびボトムレター
ボックス領域３０との間の境界線に適用され、式（２）はアクティブ画像領域１０および
トップレターボックス領域２０との間の境界線に提供される。
【００３１】
【数１】
2005287049.tif 000003
【００３２】
【数２】
2005287049.tif 000004
【００３３】
図４に、本発明に係る補間回路の構成例を示す。２つの連続画像１１０および１２０か
ら取得される画像データは、時間的に画像１１０および１２０の間に位置する中間画像の
新たな画像データの生成に当たって考慮される。位置ＰprevおよびＰsuccにおける両被参照画像データは、出力計算回路１４０に供給される。さらに、出力計算回路１４０は、被参照画像データ位置に関する二値信号ＬＢ＿ＩＮ、つまり二値信号ＬＢ＿ＩＮprev、および二値信号ＬＢ＿ＩＮsuccを受領する。受領した二値信号ＬＢ＿ＩＮに基づいて、出力計算回路１４０は、中間画像の新たな画像データの生成に考慮される被参照画像データを決定する。
【００３４】
図示された例に示すように、先行フィールド１１０において参照された画像データは、
アクティブ画像領域１０およびボトムレターボックス領域３０との間の境界線を横切る。
これらの画像データは、生成される画像の高画質を維持するために、補間には考慮されな
い。レターボックスピクセル位置を指し示す１の値を有する二値信号ＬＢ＿ＩＮprevが示
すように、補間中はレターボックス画像データは考慮されない。一方、出力計算回路は、
アクティ具画像領域ピクセル位置を指し示す後続フィールド１２０の画像データに関連づ
けられた、０の値を受領する。従って、これらの画像データは、補間中に考慮される。
【００３５】
先行フィールドから取得される画像データは、動き補償には容認されないので、出力計算回路１４０は、代替データを決定するための隠蔽アルゴリズムを適用する。第１の実施の形態においては、非容認データは、他のフィールドで参照される画像データで代替される。実施の形態において説明されるように、後続フィールド１２０の被参照画像データは、先行フィールド１１０において参照される画像データを代替する。出力計算回路１４０は、単一の入力フィールドである後続フィールド１２０にのみ基づいて、被補間画像データを算出する。
【００３６】
動きベクトルに参照された画像データに加えて、図４に示す補間回路は、位置Ａに在る先行フィールド１１０および後続フィールド１２０から取得される画像データを考慮する。この画像位置Ａは、現在生成される画像データに相当する。画像データＡprevおよびＡsuccは、それぞれ、現画像の時間位置に従って受領画像の平均値を算出するピクセル平均化ユニット１３０に適用される。そして、ピクセル平均化ユニット１３０は、算出された平均値Ｐaverage を出力計算回路１４０に供給する。出力計算回路１４０は、補間中に平均化画像データＰaverageを考慮する。なお、本実施の形態の変形例においては、複数の画像の何れかの被参照画像データが、補間に対して容認されないと判明した場合、平均化画像データＰaverageを代替データとして用いることができる。
【００３７】
さらに、出力計算回路１４０によって実行される補間アルゴリズは、被参照画像データ
ＰprevおよびＰsuccに加えて、さらに平均化画像データＰaverageを考慮する。これらの３つの異なる画像データは、出力フィルタ２３０に供給される。好ましい実施の形態においては、出力フィルタは、３タップメディアン（ｍｅｄｉａｎ）を備える。動きベクトルが信頼できる場合は、先行画像および後続画像における同一の移動オブジェクトから取得される被参照画像データＰprevおよびＰsuccは、おおよそ同一のピクセル値を有する。
【００３８】
結果、これらの被参照画像データの１つは、中央値フィルタによる処理により得られる
。動きベクトルが誤っているか信頼できない場合には、平均化画像データＰaverageが代替手段として用いられる。この場合、３つの中央値入力はかなり異なる、そして、平均化画像データＰaverage は大抵中央値出力を構成する。誤った画像成分の代わりに、無視できる動きｂｌｕｒが生成される。図５に、出力計算回路１４０の構成例が示されている。
【００３９】
出力フィルタ２３０は、所定のアルゴリズムに従って、先行フィールドＰprevから取得
される被参照画像データと後続フィールドＰsuccから取得される被参照画像データとを組
み合わせる。一方、マルチプレクサ２１０および２２０のそれぞれによって、被補償画像
データＰprevおよびＰsuccの相応しい方が選択される。マルチプレクサ２１０および２２０は、それぞれ、１つの二値信号ＬＢ＿ＩＮによって制御される。
【００４０】
マルチプレクサ２１０および２２０は、それぞれ、１つの被参照画像に対して責任を有
している。二値信号ＬＢ＿ＩＮの状態に応じて、マルチプレクサ２１０および２２０は、
動き補償された画像データＰprevおよびＰsuccを選択するか、それぞれ対応する代替データを選択する。代替データとは、動き補償データが非容認画像領域を参照している場合には、他の非参照画像から取得される動き補償データである。
【００４１】
マルチプレクサ２１０および２２０は、選択された画像データを出力フィルタ２３０に
適用する。出力フィルタ２３０は、受領した動き補償された画像データと平均化ピクセル
データＰaverageに基づいて、新たな画像データを生成する。出力フィルタ２３０での３つの入力データの内２つの代替データが同一である場合に出力される。
【００４２】
画像データに関して、動き補償および補間について説明したが、画像データと言う表現
は図２に示す、つまり各画像内の所定のブロックベースあるいはピクセルベースの形態に
基づく例を含む。また、ブロックベースおよびピクセルベースの両形態は組み合わされて
、動き補償された画像データに基づくブロックベースからピクセルベースで、補間に使用
される個々の画像データが選択される。
【００４３】
上述の実施の形態においては、図１に例示した表示スクリーンのトップおよびボトムに
ブラックバーを有するレターボックスタイプの画像について説明している。しかしながら
、本発明は、左右の境界にブラックバーを有する画像や、画像境界にブラックバーを有し
ない標準の画像に適用しても同様の効果を奏する。
【００４４】
レターボックスタイプの画像のアクティブ画像領域並びに標準タイプの画像においても
、画像境界に近接する画像データに割り当てられる動きベクトルを有する。この動きベク
トルは、従来のベストマッチ動き検出アルゴリズムに取って代わっって、本発明による改
良された動き検出アルゴリズムに基づいて算出されている。
【００４５】
動き検出および、特に上述の行ベクトルあるいは列ベクトルを取得するための動きベク
トルの検出の改良について、以下に述べる。通常、動き検出は、図２に示すように、ブロ
ックラスターに対して実施される。ビデオシーケンスのビデオ画像のそれぞれは、動きベ
クトル検出のために、均一なサイズのブロックに分割される。通常、各ブロックは、８×
８ピクセルの正方形状である。なお、例えば、４×４ピクセルあるいは１６×１６ピクセ
ルなど、８×８ピクセル以外のサイズのブロックや、縦横が異なる矩形状のブロックであ
っても、当業者であれば動き検出できる。
【００４６】
現画像に関する動きベクトルは、通常、ベストマッチアプローチに基づいて決定される
。しかしながら、ベストマッチアプローチでは、画像境界において、特に先行画像に対応
するブロックが存在しない場合に支障を来す。そのような状況下では、従来のアルゴリズ
ムに基づく動きベクトル検出は、画像境界の近傍に位置する現ブロックに割り当てられる
完全な行あるいは列の優勢な動きを割り当てる行動きベクトルあるいは列動きベクトルに
よって代替される。
【００４７】
現画像ｎ（フィールドあるいはフレーム）に関して、動きベクトルが決定された後、直
ちに、行ベクトルおよび列ベクトルのそれぞれの算出が開始される。算出された行ベクト
ルおよび列ベクトルは、次のフィールドあるいはフレームでの動き検出において使用され
るために供給される。
【００４８】
先ず、短い動きベクトルが考慮から除外される。この目的のために、各ブロックの動き
ベクトルは、所定の閾値Ｖthrと比較される。比較結果は、各ブロックに割り当てられる二値のｖｅｃｔｈｒフラグに反映される。このフラグは、次式（３）に基づいて、算出される。
【００４９】
【数３】
2005287049.tif 000005
【００５０】
好ましくは、画像ｎの全ブロックに対して決定された動きベクトルの集合は、それらの
動きベクトルが、所定の閾値Ｖthrを超えないように、ゼロ（０、０）に設定されるように編集される。この編集は、次式（４）で表現される。
【００５１】
【数４】
2005287049.tif 000006
【００５２】
上式（４）に従って、閾値で分別されたベクトルｖthresholdが算出される。先に算出されたフラグ（式（３）がゼロさもなくは、決定されたベクトル は閾値ベクトルｖthresholdに割り当てられる）。
【００５３】
行ベクトルあるいは列ベクトルの算出のためには、好ましくは、残留（閾値で分別され
た）ベクトルの平均値が算出される。しかしながら、当業者であれば、行動きベクトルあ
るいは列動きベクトルの個々に共通の動きベクトルを表す動きベクトルを決定する他のア
ルゴリズムを適用できる。
【００５４】
行ベクトルおよび列ベクトルの算出のために、個々のブロック長および閾値Ｖthrを超えるブロックの数が、次式（５）乃至（８）に従って、蓄積される。
【００５５】
【数５】
2005287049.tif 000007
【００５６】
【数６】
2005287049.tif 000008
【００５７】
【数７】
2005287049.tif 000009
【００５８】
【数８】
2005287049.tif 000010
【００５９】
行ベクトルｖlineおよび列ベクトルｖcolumnは、次式（９）および（１０）に従って算
出される。行あるいは列に関して閾値Ｖthrを超えるブロックの数が、他の所定の閾値ｎｔｈｒlineおよびｎｔｈｒcolumn場合は、動きベクトルが算出される。
【００６０】
【数９】
2005287049.tif 000011
【００６１】
【数１０】
2005287049.tif 000012
上述の閾値Ｖthr、閾値ｎｔｈｒlineおよびｎｔｈｒcolumnを基準として、好ましくは、以下の値が採用される。
【００６２】
【数１１】
2005287049.tif 000013
【００６３】
なお、ｘmaxおよびｙmaxは。フィールドあるいはフレームの全体幅／高を表している。８
×８ピクセルに対して好ましい値が、採用されている。
【００６４】
上述の説明は、行ベクトルおよび列ベクトルは、個々の行および列に対して算出されて
いるとの前提に基づいているが、２行あるいは２列の組み合わせに対して、共通の動きベ
クトルを追加的あるは代替として算出してもよい。２行あるいは２列の動きベクトルは、
さらに２行あるいは２列内で優勢的な動きを代表するオブジェクトを動き精度を向上でき
る。
【００６５】
以下に、上述の動き補償後補間回路の特別な使用例について説明する。フレームレート
を５０Ｈｚから１００Ｈｚにするアップコンバートにおいて、２つの連続する画像の間で
の時間的中間位置で中間画像が生成される。現ピクセル位置は、以下に示す如く想定され
る。
X_OUT = 100 and Y_OUT = 245.
【００６６】
このピクセル位置の動き補償のために受領される動きベクトルは以下のような垂直成分
および水平成分を有する。
V = 20 and H = 10.
さらに、レターボックスタイプの画像における最終アクティブ行ＬＡＬは２５０と想定さ
れる。
【００６７】
先行画像および後続画像の両入力画像におけるピクセルを参照するために、受領した動
きベクトルは、２つの非参照入力画像と比較され、生成される出力画像の時間的関係に従
って分割される。例示された中間画像は、両入力画像の正に中間に位置しているので、先
行画像および後続画像から取得される動き補償に関して算出されるそれぞれの動きベクト
ルは、以下に示すように１／２の重みを与えることによって決定される。
V_PREV  =                      -1/2 * V      =  -1/2 * 20       =  -10; 
H_PREV  =          -1/2 * H  =  -1/2 * 10  =  -5; 
V_SUCC  =          +1/2 * V  =  +1/2 * 20  =  +10;
H_SUCC  =          +1/2 * H  =  +1/2 * 10  =  +5; 
【００６８】
上述の算出された動きベクトルに基づいて、被参照画像におけるピクセル位置が以下の如
く算出される。
P_PREV: X_VEC_PREV = X_OUT + H_PREV = 100 +  (-5) =  95 
Y_VEC_PREV = Y_OUT + V_PREV = 245 + (-10) = 235
P_SUCC: X_VEC_SUCC = X_OUT + H_SUCC = 100 +    5  = 105
Y_VEC_SUCC = Y_OUT + V_SUCC = 245 +   10  = 255
従って、ピクセル位置Ｐprev（９５；２３５）およびＰsucc（１０５；２５５）のピクセ
ルは、現中間画像における新ピクセルの生成のために画像データを提供するために参照さ
れる。
【００６９】
中間画像データが生成される前に、被参照画像データがレターボックス領域２０および
３０の内部に収まるか否かが判断される。この目的のために、被参照ピクセル位置の垂直
成分が所定の境界線であるアクティブ画像領域１０の最終アクティブ行ＬＡＬと比較され
る。
【００７０】
Y_VEC_PREV = 235 < LAL = 250
【００７１】
先行画像において参照されるピクセルがアクティブ画像領域１０の一部であることが分
かる。このピクセルを正しく補間するために、現ピクセル位置がアクティブ画像領域１０
の一部であるか否か、レターボックス領域２０および３０の一部であるか否かが判断され
ねばならない。
【００７２】
Y_OUT = 245 < LAL = 250
現ピクセルおよび先行画像において参照されるピクセルの位置が、アクティブ画像領域の
内部であるので、被参照ピクセルは補間プロセスに使用できる。結果、二値信号ＬＢ＿Ｉ
Ｎがゼロ（被参照ピクセル位置がアクティブ画像領域の内部であることを示す）に設定さ
れる。
【００７３】
上述の決定は、後続画像Ｐsucc（１０５；２５５）において参照されるピクセルに対し
て適用される。                                                                  
Y_VEC_SUCC = 255 > LAL = 250
Y_OUT = 245 < LAL = 250
【００７４】
従って、後続画像から取得される動き補償画像データは、現ピクセルがアクティブ画像
領域内に或るレターボックス領域の画像データを参照する。結果、二値信号ＬＢ＿ＩＮは
１、つまり補間禁止に設定される。二値信号ＬＢ＿ＩＮが１に設定されるので、出力計算
回路１４０は被参照ピクセル値に基づく補間を禁止すると共に、これらの画像データを他
の被参照ピクセルＰprevで代替する。
【００７５】
中間画像は、先行画像１１０および後続画像１２０のそれぞれに対して時間的に等しい
距離に位置している。結果、動きベクトル算出および補間は、１／２の重みを採用する。
被参照画像に関する、中間画像の時間的位置に応じて、例えば１／３＊Ｐprevや２／３＊
Ｐsuccという他の重みを採用してもよい。
【００７６】
本発明は、動き補償に基づく補間の改良に関するものである。特に、レターボックスタ
イプの画像において、画像境界近傍における補間による影響を防止するために、各動き補
償画像データは、動き補償された画像データが補間プロセスに使用できるか否かを決定す
るために位置確認がされる。被参照画像における被動き補償画像データの位置を、所定の
境界と比較することによって、非容認画像データ位置が検出されて、画像データに基づく
補間が防止される。
【００７７】
上述のように、補間の目的で用いられる被参照画像データの各位置が考慮される点は、
本発明における顕著な手法である。被参照画像データの位置は、所定の容認画像領域位置
と比較される。この方法においては、被容認画像領域が補間アルゴリズムにおいて使用さ
れないように、効果的に排除される。容認画像領域外に或るブロックが参照している動き
ベクトルを検出次第、そのような画像データの使用は禁じられて、容認画像領域の境界に
近接する画像の品質が維持される。
【００７８】
好ましい実施の形態において、被参照画像データの位置は、容認画像領域を規定する所
定の境界と比較される。このように、被参照画像データは、境界線と比較されて、所定の
境界をはみ出し次第、被参照画像データの使用が防止される。
【００７９】
好ましくは、容認画像領域は、ビデオ画像のアクティブ画像領域である。最も好ましく
は、非容認画像領域とは、ビデオシーケンスの画像フォーマットを表示フォーマットに適
用するために挿入されているこれらの画像の部分に関する。レターボックスタイプの画像
にとって、これらの非容認画像領域は、表示フォーマットのトップおよびボトムに挿入さ
れるブラックバーである。そのようなレターボックスタイプフォーマットは容易に検出さ
れて、境界が自動的に然るべく設定される。
【００８０】
好ましくは、非容認状態であることが判明した非参照画像データは、補間プロセスでの
使用のために他の画像データで代替される。このようにして、エラーが隠蔽されて、補間
プロセスが維持される。
【００８１】
好ましくは、代替画像データは、動きベクトルにより参照される画像の容認位置から取
得される画像データである。このようにして、被参照画像位置を訂正するだけで、被参照
画像データの時間的近似が維持される。
【００８２】
好ましくは、異なる画像から予測される画像に基づいて、新たな画像データが生成され
る。この目的のために、異なる画像を参照する動きベクトルが受領され、同動きベクトル
から２つの動きベクトルが算出される。新たな画像データの生成のために、算出された動
きベクトルによって参照されるこれらの画像データが取得されると共に補間される。２つ
の他の被参照画像の画像データに基づいて、現ブロックの画像データを予測することによ
って、被予測画像データの画質は十分に改良される。特に、移動しているオブジェクトの
動きの流れが、連続性が改良されて表示される。
【００８３】
好ましくは、２つの算出された動きベクトルは、生成される現画像に隣接する画像を参
照する。このようにして、後続する画像間で生じる画像コンテンツの変化が考慮される。
一方、２つの算出された動きベクトルは、２つの異なる先行画像を参照する。このように
して、移動しているオブジェクトの変化の原因が適正に考慮される。
【００８４】
両動きベクトル長は、好ましくは、両被参照画像の時間的位置に関して、生成される現
画像の時間的位置に従って算出される。このようにして、新たな画像が生成される範囲内
にある移動中のオブジェクトの位置が適切に設定される。
【００８５】
好ましくは、両画像の現画像データは重みづけられ、重みづけられた画像データは累積
させることによって、原画像データは適宜補間される。このようにして、現画像から取得
される画像データの割合は、新たに生成される画像の時間的位置に対する時間的近似度に
応じて設定される。
【００８６】
好ましくは、重み付けファクタは、それぞれの算出された動きベクトル長に従って設定
される。
【００８７】
好ましくは、両画像の被参照画像データは、近接する画像の重みづけられ補間された画
像データと共に中央値フィルタが掛けられて、被補間画像が生成される。このようにして
、重みづけられ補間された画像データに誤った動きベクトルに起因して生じうるエラーの
発生が隠蔽される。
【００８８】
これら、被参照画像データの非容認位置に在るが故に考慮されない画像データは、他の
動きベクトルで参照される画像データによって代替される。このようにして、エラーが簡
単に高品質画像によって隠蔽できる。
【産業上の利用可能性】
【００８９】
テレビジョン受信機等でのデジタル信号処理に利用できる。
【図面の簡単な説明】
【００９０】
【図１】レタータイプのビデオ画像の一例を表す説明図
【図２】１つのビデオ画像を複数の均一なサイズのブロックに分割する方法の説明図
【図３】先行および後続のレターボックスタイプフィールドに基づく、中間フィールドの補間の説明図
【図４】本発明に係る動き補償回路の構成例を示す図
【図５】図４に示された動き補償回路の出力計算回路の構成例を示す図
【符号の説明】
【００９１】
１０  アクティブ画像領域
２０、３０  レターボックス領域
１１０  先行フィールド
１２０  後続フィールド
１３０  ピクセル平均化ユニット
１４０  出力計算回路
２１０、２２０  マルチプレクサ
２３０  出力フィルタ
【図１】
2005287049.tif 000014
【図２】
2005287049.tif 000015
【図３】
2005287049.tif 000016
【図４】
2005287049.tif 000017
【図５】
2005287049.tif 000018