(57)【特許請求の範囲】
【請求項１】
ビデオ・フレーム・シーケンスにおけるフィールド・ドミナンスを判断する方法であって、
第１ビデオ・フレームからトップ・フィールド及びボトム・フィールドを発生し、
上記トップ・フィールド及び上記ボトム・フィールドを補間して、補間されたトップ・フィールド・フレーム及び補間されたボトム・フィールド・フレームを夫々発生し、
上記補間されたトップ・フィールド・フレーム及び上記補間されたボトム・フィールド・フレームの各々を、上記ビデオ・フレーム・シーケンスの上記第１ビデオ・フレームの直前に生じる第２ビデオ・フレームと、上記ビデオ・フレーム・シーケンスの上記第１ビデオ・フレームの直後に生じる第３ビデオ・フレームと相関させ、
上記相関の結果から上記ビデオ・フレーム・シーケンスのフィールド・ドミナンスを判断することを特徴とするフィールド・ドミナンス判断方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ・フレーム・シーケンスにおけるフィールド・ドミナンスを判断する方法に関する。
【背景技術】
【０００２】
ビデオ・フレームは、これらの表示に用いる方法に応じて、プログレッシブ（非飛び越し走査）又はインターレース（飛び越し走査）のいずれかとして分類できる。プログレッシブ・フレームにおいては、フレームを構成するピクセルの水平ラインが、頂部（トップ）から底部（ボトム）にライン毎に表示される。これに対して、インターレース・フレームは、順次２つのフィールドを表示することにより形成される。ここで、一方のフィールド（トップ・フィールドとして知られている）は、フレームの頂部ライン及びその後の総ての１つおきのラインを含んでいる。他のフィールド（ボトム・フィールドとして知られている）は、頂部から２番目のライン及び総ての残りのラインを含んでおり、よって、フレームの底部ラインも含んでいる。インターレースされたフレームにおいては、表示されたピクセルの第１フィールドが表示装置から減衰するのに時間がかかり、この間に第２フィールドが表示されることにより、ピクセルの総てのラインを含む単一のフレームの画像を形成している。
【０００３】
インターレースされたビデオ・フレームのフィールドを順次捕捉するが、これは、捕捉すべき第１フィールドと捕捉すべき第２フィールドとの間にわずかな遅延があることを意味する。この時間インターバルにて、ビデオ・シーンに含まれる情報が変化する可能性があり、また、この理由により、ビデオ・フレームのフィールドが正しい順序で表示されることが望ましい。
【０００４】
インターレースされたビデオ・フレームは、このフレームを作成するために最初に表示しようとするフィールドに応じて、「トップ・フィールド・ファースト（トップ・フィールドが先）」又は「ボトム・フィールド・ファースト（ボトム・フィールドが先）」のいずれかとなる。第１フィールドの表示及び第２フィールドの表示の間にわずかな遅延が存在するので、例えば、もし、第１フィールド及び第２フィールドの表示に間の遅延においてフレーム内の画像に動きが生じると、２番目に表示されるフィールドは、最初に表示されるフィールドに含まれる情報とは異なる情報が含まれるだろう。最初に表示されるフィールドと２番目に表示されるフィールドとの間のかかる差は、「フィールド間動き（inter-field motion）」として知られている。フィールド間動きを含むフィールドが不正確な順序で表示されると、表示されるフレームに歪が生じる。インターレースされた表示において、例えば、情報が本来生じる時点よりも早く現れるというようにビデオは典型的には振動するか（juddery）又は不安定（shaky）となる。プログレッシブ表示においては、フィールドの反転により、かかる振動や不安定なビデオを生じない。これは、フィールドが一体となっており、１秒当たり２Ｎフィールドではなく、１秒当たりＮフレームのレートで表示されるためである。しかし、フィールド順序に関係なく、フィールド間動きは、アーティファクトの組合せを誘導する、即ち、ラインの並びが現れるフレームの領域が組み合わさって、「組合さった」外観が生じる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】２００３年５月１日にＣＱ出版株式会社が発行した「ビデオ信号の基礎とその操作法」の第２７ページ〜第２９ページ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ビデオ・フレーム・シーケンスを「トップ・フィールド・ファースト」又は「ボトム・フィールド・ファースト」と呼ぶことができるこのシーケンスの特性は、フィールド・ドミナンス（又はフィールド極性）であり、一般的には、ビデオ・シーケンスを記録するか又は表示しようとするビデオ標準により決まる。例えば、最も一般的なヨーロッパ放送標準は、ＰＡＬ（位相交番ライン）であり、トップ・フィールド・ファーストのフィールド・ドミナンスである。一方、日本及びアメリカなどの放送標準は、ＮＴＳＣ（ナショナル・テレビジョン・システム・コミティー）であり、ボトム・フィールド・ファーストのフィールド・ドミナンスである。特定のフィールド・ドミナンスを有するビデオ・シーケンスが、反対のフィールド・ドミナンスのビデオ・シーケンスを再生するように構成されたビデオ・システムにより再生されると、即ち、フィールド順序が反転すると、いくつかの可視アーティファクトが生成され、例えば、ビデオ・シーケンス内の任意の動きが振動及び不安定な表現を生むかもしれない。ビデオ・シーケンスがインターレース表示で表示される際には、かかるアーティファクトが単に生じるが、プログレッシブ表示上で観察する際は、表示の連続したフィールドが互いに組み合わさり表示用のフレームを形成するなどの場合、かかるアーティファクトが見えない。ビデオ・ストリーム内にエンコードされたフラグとなって現れるビデオ・ストリームに関連したメタデータは、理想的には、特定のビデオ・シーケンスがトップ・フィールド・ファースト又はボトム・フィールド・ファーストであるかを示す。しかし、たぶん編集処理の結果としてメタデータが設定されなかったか、又は、意図した再生装置、例えば、デジタル・セット・トップ・ボックス内のビデオ・デコーダがメタデータを読み出せるように又はメタデータを考慮できるように構成されていないことがある。よって、ビデオ制作器及び放送機器にとっては、ビデオ・シーケンスのフィールド・ドミナンスを迅速且つ容易に判断できることが有益である。
【課題を解決するための手段】
【０００７】
本発明の第１の概念によれば、本発明は、ビデオ・フレーム・シーケンスにおけるフィールド・ドミナンスを判断する方法であって；第１ビデオ・フレームからトップ・フィールド及びボトム・フィールドを発生し；これらトップ・フィールド及びボトム・フィールドを補間して、補間されたトップ・フィールド・フレーム（トップ・フィールドに基づいて形成したフレーム）及び補間されたボトム・フィールド・フレーム（ボトム・フィールドに基づいて形成したフレーム）を夫々発生し；補間されたトップ・フィールド・フレーム及び補間されたボトム・フィールド・フレームの各々を、ビデオ・フレーム・シーケンスの第１ビデオ・フレームの直前に生じる第２ビデオ・フレームと、ビデオ・フレーム・シーケンスの第１ビデオ・フレームの直後に生じる第３ビデオ・フレームと相関させ；この相関結果に測定基準（メトリック）を適用し；この適用した測定基準からビデオ・フレーム・シーケンスのフィールド・ドミナンスを判断する。
【０００８】
補間されたトップ・フィールド・フレームを発生するには、トップ・フィールドの隣接ラインを平均化し、また、補間されたボトム・フィールド・フレームを発生するには、ボトム・フィールドの隣接するラインを平均化する。
【０００９】
補間されたトップ・フィールド・フレームのそれ以前のフレームに対する相関がそれ以後のフレームに対する相関よりも大きく、且つ、補間されたボトム・フィールドのそれ以後のフレームに対する相関がそれ以前のフレームに対する相関よりも大きいとき、フィールド・ドミナンスは、好ましくはトップ・フィールド・ファーストと判断される。
【００１０】
同様に、補間されたトップ・フィールド・フレームのそれ以後のフレームに対する相関がそれ以前のフレームに対する相関よりも大きく、且つ、補間されたボトム・フィールドのそれ以前のフレームに対する相関がそれ以後のフレームに対する相関よりも大きいとき、フィールド・ドミナンスは、好ましくはボトム・フィールド・ファーストと判断される。
【００１１】
判断ステップを実行する前に、本発明の方法は、更に、補間されたトップ・フィールド・フレームの以前のフレームに対する相関の相関結果と、補間されたトップ・フィールド・フレームのそれ以後のフレームに対する相関との間の第１差値を計算するステップと；補間されたボトム・フィールド・フレームのそれ以前のフレームに対する相関の相関結果と、補間されたボトム・フィールド・フレームのそれ以後のフレームに対する相関との間の第２差値を計算するステップと；第１及び第２の差値が所定しきい値よりも大きい場合のみ、フィールド・ドミナンスを判断するステップとを更に具えてもよい。
【００１２】
さらに、既知の静的フレームのシーケンスに対する第１及び第２の差値を計算することにより、しきい値を好ましく決定する。
【００１３】
本発明の方法は、更に、相関ステップの後に、補間されたトップ・フィールド・フレーム及び補間されたボトム・フィールド・フレームの各々のピクセルと第１基準フレーム内の対応ピクセルとの間のピクセル値の差が、そのピクセルと第２基準フレーム内の対応ピクセルとの間のピクセル値の差よりも小さいピクセルの数を計数するステップを更に具えてもよい。なお、ここで、第１基準フレームがそれ以前のフレームで構成され、且つ第２基準フレームがそれ以後のフレームで構成されるときと、第１基準フレームがそれ以後のフレームで構成され、且つ第２基準フレームがそれ以前のフレームで構成されるときに、補間されたトップ・フィールド・フレームと補間されたボトム・フィールド・フレームの各々に対するピクセルの数を計数する。
【００１４】
本発明の更なる概念によれば、本発明の上述の概念の方法を実行するコンピュータ・プログラムも提供する。
【発明の効果】
【００１５】
よって、本発明は、ビデオ・シーケンスのフィールド・ドミナンスを迅速且つ容易に判断でき、ビデオ制作器及び放送機器にとって有益である
【００１６】
添付図を参照して本発明の実施例を後述するが、本発明の図示の例に限定されるものではない。
【図面の簡単な説明】
【００１７】
【図１】インターレースされたビデオ・フレームを示す図である。
【図２】インターレースされたビデオ・フレームから１対のビデオ・フィールドの発生を示す図である。
【図３】１対の補間されたトップ・フィールド・フレーム及びボトム・フィールド・フレームを示す図である。
【図４】フレームとそれ以前又はそれ以後のフレームにおける個別のフィールド間の時間的相関の原理を示す図である。
【発明を実施するための形態】
【００１８】
図１は、インターレースされたビデオ・フレームを示す図である。ここで示すビデオ・フレーム１０は、イメージを形成する水平ライン１２、１４を具えている。ＰＡＬ標準に適合するフレームは、ピクセルのラインが６２５本であり、日本、米国などのＮＴＳＣ標準に適合するフレームは、水平ラインが５２５本である。上述の如く、各ビデオ・フレーム１０は、２つの別のフィールドで構成される。１つのフィールドは、ピクセルのトップ（頂部）ラインと、それ以後の１つおきの総てのラインを含んでいる。すなわち、この１つのフィールドは、図１に示す総ての点線のラインを含んでいる。（なお、外枠の実線は、スクリーンの境界を示すものであり、水平ラインを示すものではない。）このフィールドをトップ・フィールドという。他のフィールドは、第２ラインと、それ以後の１つおきの総てのラインを含んでいる。よって、このフィールドは、そのビデオ・フレーム内のピクセル用のボトム（底部）ラインを含んでいる。すなわち、このフィールドは、図１に示すピクセル用の実線のラインを含んでいる。このフィールドをボトム・フィールドという。
【００１９】
個別のビデオ・シーケンスは、一定で単一のフィールド・ドミナンスと共に記録されるが、多くのかかる個別のビデオ・シーケンスは、互いに編集されて最終放送ビデオを形成することが大いにあり得る。また、異なる個別のビデオ・シーケンスは、異なるフィールド・ドミナンスを有することが可能である。これは、利用可能で適用可能な異なる放送標準を用いる際に、個別のビデオ・シーケンスを捕捉し照合できるためである。上述の如く、ビデオ・フレームのシーケンスがフィールド順の逆で表示されると、編集されたシーケンスがインターレース表示で観察されるときに、重度の視覚アーティファクトが発生する傾向にある。したがって、各ビデオ・シーケンスのフィールド・ドミナンスに注意して多くのビデオ・シーケンスを編集する際に、フィールド・ドミナンスが最終的に編集されたビデオ・シーケンス内に存在することは、非常に有効で望ましい。
【００２０】
本発明の実施例によりフィールド・ドミナンスを判断するために、個別のビデオ・フレーム１０をトップ・フィールド及びボトム・フィールドに分割しなければならない。図２は、インターレースされたビデオ・フレームから１対のビデオ・フィールドの発生を示す図である。トップ・フィールド３０を発生するには、フレーム１０からピクセルのトップ・ライン１２とピクセル用のそれ以後の１つおきの総てのラインとを抽出し、フレーム１０から抽出した位置におけるラインをトップ・フィールド３０として蓄積する。同様に、ボトム・フィールド４０を発生するには、ピクセル用の第２ライン１４とピクセル用のそれ以後の１つおきの総てのラインとを抽出し、フレーム１０から抽出した位置におけるラインをボトム・フィールド４０として蓄積する。
【００２１】
トップ・フィールド３０及びボトム・フィールド４０の各々は、これらフィールドを発生させるビデオ・フレーム１０内に含まれる半分の情報を含んでいる。よって、トップ・フィールド及びボトム・フィールドを補間して、ビデオ・フレーム１０としての充分な情報を含むトップ・フィールド及びボトム・フィールド・フレームを発生する。本発明の実施例においては、任意の補間方法を用いることができるが、図２に示す実施例においては、補間すべきフィールド内のピクセルの隣接ラインを平均化している。図３は、１対の補間されたトップ・フィールド・フレーム及びボトム・フィールド・フレームを示す図である。よって、例えば、この図３にて参照符号５０で示すように、補間されたトップ・フィールド・フレームの第２ラインを発生するには、トップ・フィールド３０のトップ・ライン３２の各ピクセルの値を、トップ・フィールド３０の第２ライン３４の対応ピクセルの値と加算して、２で割り、平均ピクセル値を求めると共に、この方法で計算された平均ピクセル値から、トップ・フィールド３０の「失われた」第２ラインを形成する。
【００２２】
同様に、図３にて参照符号６０で示すように、補間されたボトム・フィールド・フレームの第２ラインを発生するには、ボトム・フィールド４０の第１ライン４２の各ピクセルの値を、ボトム・フィールド４０の第２ライン４４の対応ピクセルの値と加算して、その結果のピクセル値の和を２で割って、平均ピクセル値を求めると共に、この方法で計算された平均ピクセル値から、ボトム・フィールド４０の「失われた」第２ラインを組み立てる。この処理を繰り返して、トップ・フィールド３０及びボトム・フィールド４０から補間されたトップ・フィールド・フレーム５０及び補間されたボトム・フィールド・フレーム６０を発生する。これら補間されたトップ・フィールド・フレーム５０及び補間されたボトム・フィールド・フレーム６０の各々は、トップ・フィールド３０及びボトム・フィールド４０を発生させたフレーム１０の如き充分な情報を含んでいる。補間されたトップ・フィールド・フレーム５０及び補間されたボトム・フィールド・フレーム６０の各々は、実質的にプログレッシブ・フレームである。これらプログレッシブ・フレームは、インターレース・システムにて表示されるトップ・フィールド３０及びボトム・フィールド４０の各々にてその時に見ることができる情報を表す。
【００２３】
次に、補間されたトップ・フィールド・フレーム５０及び補間されたボトム・フィールド・フレーム６０は、これら補間されたフィールド・フレームを発生させたビデオ・シーケンスのフレームに対する以前のフレームと夫々相関させると共に、そのビデオ・シーケンスの次のフレームとも相関させる。この相関処理を実行する論理的根拠は、ビデオ・シーケンス内の２つのフレーム間の時間差がこれらの相関に反比例するという知識から導かれる。この原理は、各フレームを構成する分離されたフィールドにも適用できる。特定フレーム内で最初に表示されるべきフィールドは、そのビデオ・シーケンス内の先行するフレームに密接に関係する。一方、２番目に表示されるフィールドは、引き続くフレームに密接に関係する。この原理を図的に図４に示す。ここでは、ビデオ・フレーム７０のシーケンスを示しており、各フレームがトップ及びボトムのフィールド２０から成る。図４に示すシーケンスにおいて、フィールド・ドミナンスは、トップ・フィールド・ファーストである。Ｎ番目のフレームのトップ・フィールド（したがって、そこから導出された補間トップ・フィールド・フレームも）それ以前のＮ−１番目のフレームと密接な時間的且つ空間的な相関にある一方、Ｎ番目のフレームのボトム・フィールドは、引き続くＮ＋１番目のフレームと密接な時間的且つ空間的な相関にあるということが理解できる。
【００２４】
上述の如く、補間されたトップ・フィールド・フレーム（ＸＴ）及び補間されたボトム・フィールド・フレーム（ＸＢ）の両方は、以前のフレーム（Ｘｐ）及び次の後続のフレーム（Ｘｆ）と相関するので、ビデオ・シーケンスの各フレームに対して、４つの別々の相関（correlation）値ａ〜ｄが次のように得られる。
【００２５】
a = correlation (XT, Xp)
b = correlation (XB, Xf)
c = correlation (XT, Xf)
d = correlation (XB, Xp)
【００２６】
任意の適切な測定基準を用いて、ピーク信号対ノイズ比（ＰＳＮＲ）、平均二乗エラー（ＭＳＥ）又は平均絶対エラー（ＭＡＥ）の如き相関を測定する。
【００２７】
好適実施例において、相関差係数Δを計算し、相関差係数Δを用いたチェックを次のように実行する。
【００２８】
Δ = Abs (a-c)  （a-cの絶対値）
Δ = Abs (b-d)  （b-dの絶対値）
Δ > しきい値
【００２９】
相関差係数Δは、計算すべき相関対象のフレームの間の類似の程度を示す。相関差係数の高い値は、フレーム間の類似性が低いことを示す。よって、処理に利用可能なよりアクティブな動きの情報が存在するので、この方法の信頼性が改善される。相関差係数Δの小さな値は、フレームが類似しており、その結果、誤った判定を導くかもしれないことを示す。これは、フレーム間に意味のある動きが生じないためである。その結果、相関差係数Δ用のしきい値は、好ましくは、既知の静的フレーム用の相関差係数結果から決まる。相関差係数が所定しきい値よりも小さいと、フレームのフィールド順序が不確定とみなされる。相関差係数がこのしきい値よりも大きいと、次の表が相関チェック及びこれらの補間の可能な結果を示す。
【００３０】
【表１】
0004892714.tif 000002
【００３１】
この表を参照すると、条件３では、得られた結果が不確定であり、フィールド・ドミナンスが何であるかを相関結果から推論不可能であり、ボトム・フィールド及びトップ・フィールドの両方が順序の最初に表示される可能性が等しいということが判る。典型的には、近隣のフレームの１つが静的であるとき、又は、逆に言えば、複数フレームの間に目立ったテクスチャー変化があるときに、この不確定な条件が生じる。本発明の別の実施例において、フレームを更に処理して、フレーム相関処理からのこれら不確定な結果を解決しようとする。本発明の更に別の実施例において、適用する更なる処理技術は、ビデオ・シーケンス内の補間されたフィールド・フレームと以前及び今後のフレームとの各々の間のピクセル毎のルミナンス値における相関のレベルを求める。この測定基準は、ピクセル毎に、補間されたフィールド・フレームのピクセル値が、第２基準フレーム内の対応ピクセルの値よりも第１基準フレーム内の対応ピクセルの値に近いかを判断する。その結果に応じて、カウンタが増加又は減少され、最終のカウンタ値が相関計算の結果を表す。各フィールド・フレームに対して、２つの相関計算を実行する。第１計算では、第１基準フレームがビデオ・シーケンスの以前のフレームであり、第２基準フレームが今後のフレームである。また、第２計算では、第１基準フレームが今後のフレームであり、第２基準フレームが以前のフレームである。補間されたフレームの各対に対する４つの可能な相関計算は、次のように示され、相関の測定基準がオプティカル・フロー（optical flow：ビデオ・フレームにおける各点の速度ベクトルの場）となる。
【００３２】
Oa = optical flow (XT, Xp, Xf)
Ob = optical flow (XT, Xf, Xp)
Oc = optical flow (XB, Xp, Xf)
Od = optical flow (XB, Xf, Xp)
【００３３】
オプティカル・フローの測定基準は、単なるピクセル・ルミナンス値の変化の大きさではなく、引き続くフレームの間の動き（即ち、オプティカル・フロー）の方向を効果的に調べる。これが、画像フレームの小さな領域のみにわたって生じるルミナンス値の大きな変化により起こりえるマスク効果を減らす。このマスク効果は、上述の如く、初期相関計算にて、偽の位置を発生する傾向がある。これら４つのオプティカル・フロー相関の判断の結果は、次のように解釈される。
【００３４】
【表２】
0004892714.tif 000003
【００３５】
上述の条件の表から判るように、更に処理した後、フィールド順序決定の結果が不確定である場合、このフレームの結果を無視するか、不確定として記録することは、依然可能である。
【００３６】
それにもかかわらず、上述の本発明によるフィールド・ドミナンス判断方法は、ビット・レート、分解能及び品質のビデオ・データ・ストリームに関する確実な出力を提供する。本発明の方法による特別な利点は、プログレッシブ・フレームに対して偽の位置を発生しないことである。これは、フィールド・ドミナンスがかかるフレームに影響しないので、本発明の方法がかかるプログレッシブ・フレームに対しては不確定であるという結果を発生するためである。
【符号の説明】
【００３７】
１０  ビデオ・フレーム
１２、１４  水平ライン
２０  トップ及びボトムのフィールド
３０  トップ・フィールド
３２  トップ・ライン
３４  第２ライン
４０  ボトム・フィールド
４２  第１ライン
４４  第２ライン
５０  トップ・フィールド・フレーム
６０  ボトム・フィールド・フレーム
７０  ビデオ・フレーム
【図１】
0004892714.tif 000004
【図２】
0004892714.tif 000005
【図３】
0004892714.tif 000006
【図４】
0004892714.tif 000007