(57)【特許請求の範囲】
【請求項１】
複数のビデオ・フレームからなるシーケンスに関して不一致のフィールド順序フラグを識別する方法であって、
上記複数のビデオ・フレームからなる上記シーケンス中のフレームの夫々を第１及び第２フィールドに分割して補間することによって第１及び第２フィールド・フレームを生成し、
上記第１及び第２フィールド・フレームと前後の上記フレームとの相関値を夫々求め、
上記相関値を用いて上記フレームの夫々を分析して、該フレームのフィールド順序の初期判断を行い、
最新の所定数の分析済みフレームにわたって上記フィールド順序の上記初期判断を平均化し、
上記フレーム夫々のフィールド順序メタデータ項目と上記平均化したフィールド順序とを比較することにより、上記フレームに夫々関連する上記フィールド順序メタデータ項目により識別されるフィールド順序と上記平均化したフィールド順序とが一致しないフレームを判断する
不一致フィールド順序フラグの識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ・フレームのシーケンスにて不一致フィールド・ドミナンス・メタデータを識別する方法に関する。
【背景技術】
【０００２】
ビデオ・フレームは、これらの表示に用いる方法に応じて、プログレッシブ（非飛び越し走査）又はインターレース（飛び越し走査）のいずれかとして分類できる。プログレッシブ・フレームにおいては、フレームを構成するピクセルの水平ラインが、頂部（トップ）から底部（ボトム）にライン毎に表示される。これに対して、インターレース・フレームは、順次２つのフィールドを表示することにより形成される。ここで、一方のフィールド（トップ・フィールドとして知られている）は、フレームの頂部ライン及びその後の総ての１つおきのラインを含んでいる。他のフィールド（ボトム・フィールドとして知られている）は、頂部から２番目のライン及び総ての残りのラインを含んでおり、よって、フレームの底部ラインも含んでいる。インターレースされたフレームにおいては、表示されたピクセルの第１フィールドが表示装置から減衰するのに時間がかかり、この間に第２フィールドが表示されることにより、ピクセルの総てのラインを含む単一のフレームの画像を形成している。
【０００３】
インターレースされたビデオ・フレームのフィールドを順次捕捉するが、これは、捕捉すべき第１フィールドと捕捉すべき第２フィールドとの間にわずかな遅延があることを意味する。この時間インターバルにて、ビデオ・シーンに含まれる情報が変化する可能性があり、また、この理由により、ビデオ・フレームのフィールドが正しい順序で表示されることが望ましい。
【０００４】
インターレースされたビデオ・フレームは、このフレームを作成するために最初に表示しようとするフィールドに応じて、「トップ・フィールド・ファースト（トップ・フィールドが先）」又は「ボトム・フィールド・ファースト（ボトム・フィールドが先）」のいずれかとなる。第１フィールドの表示及び第２フィールドの表示の間にわずかな遅延が存在するので、例えば、もし、第１フィールド及び第２フィールドの表示に間の遅延においてフレーム内の画像に動きが生じると、２番目に表示されるフィールドは、最初に表示されるフィールドに含まれる情報とは異なる情報が含まれるだろう。最初に表示されるフィールドと２番目に表示されるフィールドとの間のかかる差は、「フィールド間動き（inter-field motion）」として知られている。フィールド間動きを含むフィールドが不正確な順序で表示されると、表示されるフレームに歪が生じる。インターレースされた表示において、例えば、情報が本来生じる時点よりも早く現れるというようにビデオは典型的には振動するか（juddery）又は不安定（shaky）となる。プログレッシブ表示においては、フィールドの反転により、かかる振動や不安定なビデオを生じない。これは、フィールドが一体となっており、１秒当たり２Ｎフィールドではなく、１秒当たりＮフレームのレートで表示されるためである。しかし、フィールド順序に関係なく、フィールド間動きは、アーティファクトの組合せを誘導する、即ち、ラインの並びが現れるフレームの領域が組み合わさって、「組合さった」外観が生じる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】２００３年５月１日にＣＱ出版株式会社が発行した「ビデオ信号の基礎とその操作法」の第２７ページ〜第２９ページ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ビデオ・フレーム・シーケンスを「トップ・フィールド・ファースト」又は「ボトム・フィールド・ファースト」と呼ぶことができるこのシーケンスの特性は、フィールド・ドミナンス（又はフィールド極性）であり、一般的には、ビデオ・シーケンスを記録するか又は表示しようとするビデオ標準により決まる。例えば、最も一般的なヨーロッパ放送標準は、ＰＡＬ（位相交番ライン）であり、トップ・フィールド・ファーストのフィールド・ドミナンスである。一方、日本及びアメリカなどの放送標準は、ＮＴＳＣ（ナショナル・テレビジョン・システム・コミティー）であり、ボトム・フィールド・ファーストのフィールド・ドミナンスである。特定のフィールド・ドミナンスを有するビデオ・シーケンスが、反対のフィールド・ドミナンスのビデオ・シーケンスを再生するように構成されたビデオ・システムにより再生されると、即ち、フィールド順序が反転すると、いくつかの可視アーティファクトが生じ、例えば、ビデオ・シーケンス内の任意の動きが振動及び不安定な表現を生むかもしれない。ビデオ・シーケンスがインターレース表示で表示される際には、かかるアーティファクトが単に生じるが、プログレッシブ表示上で観察する際は、表示の連続したフィールドが互いに組み合わさり表示用のフレームを形成するなどの場合、かかるアーティファクトが見えない。
【０００７】
ビデオ・ストリーム内に含まれるメタデータには、典型的には、特定のビデオ・フレームがトップ・フィールド・ファースト又はボトム・フィールド・ファーストとしてエンコードされたかを示すフラグがある。しかし、このフラグが破損されたか（又は削除されたか）した可能性があるので、例えば、編集又はトランスコード動作の結果としてビデオ処理期間中にフラグが不正確に設定される。したがって、フィールド・ドミナンス・フラグが依然不正確かもしれないビデオ・シーケンス内でこれらフレームを迅速且つ容易に判断できることは、ビデオ制作者及び放送関係者にとっては有益である。
【課題を解決するための手段】
【０００８】
本発明の第１の概念によれば、本発明は、ビデオ・フレームのシーケンスに対して不一致のフィールド順序フラグを識別する方法であって；ビデオ・フレームのシーケンスの各フレームに対して、フレームを分析して、そのフレームのフィールド順序の初期判断を行い；所定数の最新の分析済みフレームにわたるフィールド順序の初期判断を平均化（単純多数による判断）し；各フレームの平均化されたフィールド順序（平均化フィールド順序）を各フィールド順序フラグと比較して、各フレームに関連した各フィールド順序フラグが識別したフィールド順序に、平均化フィールド順序が一致しないフレームを求める。
【０００９】
フィールド順序の初期判断は、不確定である。さらに、分析したフレームの不確定なフィールド順序は、平均化したフィールド順序と置換できる。
【００１０】
平均化ステップは、同じフィールド順序のフレームの所定数の所定割合のフィールド順序を平均化フィールド順序として割り当てる。なお、フレームの所定割合は、少なくとも３０％である。
【００１１】
好ましくは、平均化ステップを実行するフレームの予めの数は、２５である。
【００１２】
本発明の別の概念によれば、コンピュータが第１の概念の方法を実行するようにしたコンピュータ・プログラムも提供する。
【発明の効果】
【００１３】
よって、本発明は、フィールド・ドミナンス・フラグが依然不正確かもしれないビデオ・シーケンス内でこれらフレームを迅速且つ容易に判断できる。
【００１４】
添付図を参照して本発明の実施例を後述するが、本発明の図示の例に限定されるものではない。
【図面の簡単な説明】
【００１５】
【図１】インターレースされたビデオ・フレームを示す図である。
【図２】逆のフィールド・ドミナンスであるビデオ・フレームの２つのシーケンスの編集を示す図であり、メタデータが一定ならばフィールド順序エラーが生じる。
【図３】図２に示すビデオ・フィールドの２シーケンスの編集を示す図であり、メタデータが一定でない場合にフィールド順序エラーが生じる。
【図４】インターレース・ビデオ・フレームから１対のビデオ・フィールドを発生する説明図である。
【図５】１対のインターレースされたトップ・フィールド及びボトム・フィールドのフレームを示す図である。
【図６】本発明の実施例のフィールド順序平均化処理を示す図である。
【図７】本発明の実施例の方法を示す流れ図である。
【発明を実施するための形態】
【００１６】
図１は、インターレースされたビデオ・フレームを示す図である。ここで示すビデオ・フレーム１０は、イメージを形成する水平ライン１２、１４を具えている。ＰＡＬ標準に適合するフレームは、ピクセルのラインが６２５本であり、日本、米国などのＮＴＳＣ標準に適合するフレームは、水平ラインが５２５本である。上述の如く、各ビデオ・フレーム１０は、２つの別のフィールドで構成される。１つのフィールドは、ピクセルのトップ（頂部）ラインと、それ以後の１つおきの総てのラインを含んでいる。すなわち、この１つのフィールドは、図１に示す総ての点線のラインを含んでいる。（なお、外枠の実線は、スクリーンの境界を示すものであり、水平ラインを示すものではない。）このフィールドをトップ・フィールドという。他のフィールドは、第２ラインと、それ以後の１つおきの総てのラインを含んでいる。よって、このフィールドは、そのビデオ・フレーム内のピクセル用のボトム（底部）ラインを含んでいる。すなわち、このフィールドは、図１に示すピクセル用の実線のラインを含んでいる。このフィールドをボトム・フィールドという。
【００１７】
個別のビデオ・シーケンスは、一定で単一のフィールド・ドミナンスと共に記録されるが、多くのかかる個別のビデオ・シーケンスは、互いに編集されて最終放送ビデオを形成することが大いにあり得る。また、異なる個別のビデオ・シーケンスは、異なるフィールド・ドミナンスを有することが可能である。これは、利用可能で適用可能な異なる放送標準を用いる際に、個別のビデオ・シーケンスを捕捉し照合できるためである。上述の如く、個別のフレーム又はフレームのシーケンスに対するフィールド・ドミナンスを示すメタデータは、この編集処理期間中、又は続くトランスコード処理期間中に保持されないかもしれない。
【００１８】
１対のビデオ・シーケンスの第１編集シナリオの例を図２に示す。個別のビデオ・フィールドの第１シーケンスＳ１を示すが、各フィールド１６にはトップ・フィールドＴ又はボトム・フィールドＢのいずれかが付されている。第１フィールド・シーケンスＳ１において、フィールド・ドミナンスがトップ・フィールド・ファーストである。ビデオ・フィールドの第２シーケンスＳ２も示されており、第２シーケンス用のフィールド・ドミナンスがボトム・フィールド・ファーストである。編集されたシーケンス（編集済みシーケンス）１７のメタデータにおけるフラグが、第２フレーム／４フィールド（Ｓ１）用のトップ・フィールド・ファーストに設定され、続く２フレーム／４フィールド（Ｓ２）用のボトム・フィールド・ファーストに変更されると、いかなるフィールド・ドミナンス・エラーも存在しない。しかし、メタデータ・フラグが編集済みシーケンス１７を通じてトップ・フィールド・ファーストを示すと、ビデオは、第３フレーム／第５フィールドから振動しながら開始することになる。
【００１９】
１対のビデオ・シーケンスの第２編集シナリオの例を図３に示す。図２に類似した形態において、ビデオ・フィールド１６の第１シーケンスＳ１及び第２シーケンスＳ２が示されており、第１シーケンスＳ１がトップ・フィールド・ファーストであるが、第２シーケンスＳ２がボトム・フィールド・ファーストであり、一緒に編集されたシーケンス１８となる。しかし、図２においては、編集済みシーケンス１７が編集されて、第２シーケンスＳ２がボトム・フィールドで開始するのに対して、図３においては、第２シーケンスＳ２の編集がトップ・フィールドで開始する。図３での編集済みシーケンス１８用のメタデータにおけるフラグが、第１フレームから開始するシーケンスを通じてトップ・フィールド・ファーストに設定されていると、いかなるフィールド・ドミナンス・エラーも存在しない。しかし、メタデータ・フラグが編集済みシーケンス１８の第３フレーム／第５フィールドからボトム・フィールド・ファーストに設定されていると、ビデオでの結果が編集済みシーケンス１８の第３フレーム／第５フィールドから振動して開始する。
【００２０】
よって、本発明の実施例によれば、メタデータが示すビデオ・フレームのフィールド順序とビデオ・フレームの分析で求めたフィールド順序との間で一貫性チェックを行う。例えば、米国特許出願公開第２００６／０１３９４９１号明細書に開示されているように、フレーム内の１つ以上のオブジェクトの１つ以上のエッジ内又はその付近での空間相関の如き適切なビデオ分析技法を実行することにより、フィールド順序を決定できる。しかし、本発明の好適実施例において、例えば、欧州特許出願第０８２５１４１１．８号明細書（特願２００９−００６８４６明細書に対応）に記載の如き以下の方法により、フィールド・ドミナンスを求める。
【００２１】
本発明の実施例によりフィールド・ドミナンスを判断するために、個別のビデオ・フレーム１０をトップ・フィールド及びボトム・フィールドに分割しなければならない。図４は、インターレースされたビデオ・フレームから１対のビデオ・フィールドの発生を示す図である。トップ・フィールド２０を発生するには、フレーム１０からピクセルのトップ・ライン１２とピクセル用のそれ以後の１つおきの総てのラインとを抽出し、フレーム１０から抽出した位置におけるラインをトップ・フィールド２０として蓄積する。同様に、ボトム・フィールド３０を発生するには、ピクセル用の第２ライン１４とピクセル用のそれ以後の１つおきの総てのラインとを抽出し、フレーム１０から抽出した位置におけるラインをボトム・フィールド３０として蓄積する。
【００２２】
トップ・フィールド２０及びボトム・フィールド３０の各々は、これらフィールドを発生させるビデオ・フレーム１０内に含まれる半分の情報を含んでいる。よって、トップ・フィールド及びボトム・フィールドを補間して、ビデオ・フレーム１０としての充分な情報を含むトップ・フィールド及びボトム・フィールド・フレームを発生する。本発明の実施例においては、任意の補間方法を用いることができるが、図４に示す実施例においては、補間すべきフィールド内のピクセルの隣接ラインを平均化している。図５は、１対の補間されたトップ・フィールド・フレーム及びボトム・フィールド・フレームを示す図である。よって、例えば、この図５にて参照符号５０で示すように、補間されたトップ・フィールド・フレームの第２ラインを発生するには、トップ・フィールド２０のトップ・ライン２２の各ピクセルの値を、トップ・フィールド２０の第２ライン２４の対応ピクセルの値と加算する。これらピクセル値の和を２で割り、平均ピクセル値を求めると共に、この方法で計算された平均ピクセル値から、トップ・フィールド２０の「失われた」第２ラインを形成する。
【００２３】
同様に、図５にて参照符号５０で示すように、補間されたボトム・フィールド・フレームの第２ラインを発生するには、ボトム・フィールド３０の第１ライン３２の各ピクセルの値を、ボトム・フィールド３０の第２ライン３４の対応ピクセルの値と加算する。そして、その結果のピクセル値の和を２で割って、平均ピクセル値を求めると共に、この方法で計算された平均ピクセル値から、ボトム・フィールド３０の「失われた」第２ラインを組み立てる。この処理を繰り返して、トップ・フィールド２０及びボトム・フィールド３０から補間されたトップ・フィールド・フレーム４０及び補間されたボトム・フィールド・フレーム５０を発生する。これら補間されたトップ・フィールド・フレーム４０及び補間されたボトム・フィールド・フレーム５０の各々は、トップ・フィールド２０及びボトム・フィールド３０を発生させたフレーム１０の如き充分な情報を含んでいる。補間されたトップ・フィールド・フレーム４０及び補間されたボトム・フィールド・フレーム５０の各々は、実質的にプログレッシブ・フレームである。これらプログレッシブ・フレームは、インターレース・システムにて表示されるトップ・フィールド２０及びボトム・フィールド３０の各々にてその時に見ることができる情報を表す。
【００２４】
次に、補間されたトップ・フィールド・フレーム４０及び補間されたボトム・フィールド・フレーム５０は、これら補間されたフィールド・フレームを発生させたビデオ・シーケンスのフレームに対する以前のフレームと夫々相関させると共に、そのビデオ・シーケンスの次のフレームとも相関させる。この相関処理を実行する論理的根拠は、ビデオ・シーケンス内の２つのフレーム間の時間差がこれらの相関に反比例するという知識から導かれる。この原理は、各フレームを構成する分離されたフィールドにも適用できる。特定フレーム内で最初に表示されるべきフィールドは、そのビデオ・シーケンス内の先行するフレームに密接に関係する。一方、２番目に表示されるフィールドは、引き続くフレームに密接に関係する。上述の如く、補間されたトップ・フィールド・フレーム（ＸT）及び補間されたボトム・フィールド・フレーム（ＸB）の両方は、以前のフレーム（Ｘp）及び次の後続のフレーム（Ｘf）と相関するので、ビデオ・シーケンスの各フレームに対して、４つの別々の相関（correlation）値ａ〜ｄが次のように得られる。
【００２５】
a = correlation (XT, Xp)
b = correlation (XB, Xf)
c = correlation (XT, Xf)
d = correlation (XB, Xp)
【００２６】
任意の適切な測定基準を用いて、ピーク信号対ノイズ比（ＰＳＮＲ）、平均二乗エラー（ＭＳＥ）又は平均絶対エラー（ＭＡＥ）の如き相関を測定する。次の表が相関チェック及びこれらの補間の可能な結果を示す。
【００２７】
【表１】
0005273670.tif 000002
【００２８】
このフレーム分析技法の結果３は、フィールド順序の明確な指示を発生しないことが理解できる。これを解決するために、本発明の方法は、平均化技法（単純多数による判断）を適用して、フィールド順序をこれら「不確定」フレームに割り当てる。これは、単一のフレームは、周囲のフレームと同じフィールド順序を有する可能性がより高いという原理を適用している。よって、ｋ個のフレームの移動ウィンドウにわたる平均化を行い、ｋ個のフレームを横切る単純多数に応じてフィールド順序が割り当てられる。この例を図６に示す。ここでは、ｋ個のフレームのシーケンス６０が示され、各フレームは、分析処理で求まった指示フィールド順序となる。第２フレーム６２では、フィールド順序６４が決まっていないことが示されていることがわかる。しかし、残りのｋ−１個のフレームの総ては、ボトム・フィールド・ファーストＢとして示される。よって、本発明の実施例によれば、第２フレーム６２もボトム・フィールド・ファーストＢとみなされる。２５個のフレームのウィンドウを横切る３０％の単純多数によりフィールド・ドミナンスを割り当てることは、強固な結果が得られることがわかった。しかし、移動ウィンドウ内の別の多くのフレーム及び／又は異なる単純多数の尺度を本発明の要旨内で等しく適用できることが理解できよう。
【００２９】
関心のあるシーケンスの総てのフレームにフィールド順序を割り当てたり、決定したりすると、各フレーム用の決定フィールド順序を、そのメタデータが指示するフィールド順序と比較する。メタデータが与えるフィールド順序が分析結果の示すフィールド順序に一致しないと、この不一致が直ちにユーザに知らされるか、続く繰り返しでのログ・ファイルに蓄積される。代わりに、かかる不一致が生じた際に、メタデータが自動的に訂正されて、分析処理の結果が示すフィールド順序に一致する。
【００３０】
本発明の実施例の基本的な方を図５に示す。ステップ１００にて、ビデオ・ストリームをデコードする。ステップ１０２では、フィールド順序メタデータを抽出する。ステップ１０２と並列に、ステップ１０４で、フレーム・データを抽出し、ステップ１０６で、分析によりフィールド順序を決定し（フレームを分析結果により、フレームのフィールド順序の初期判断を行い）、ステップ１０８で、平均化（単純多数による判断）を適用する。ステップ１０２及び１０８の後に、ステップ１１０にて、フィールド順序メタデータを平均フィールド順序と比較する。ステップ１１２にて、不一致を報告して、ステップ１１４で終了する。
【００３１】
したがって、実施例を参照して説明したように、本発明は、ビデオ・フレームのシーケンスにおける任意のフィールド順序の不一致を確実に識別する方法を提供できる。
【符号の説明】
【００３２】
１０  ビデオ・フレーム
１２、１４  水平ライン
１６  フィールド
１７、１８  編集済みシーケンス
２０  トップ・フィールド
２２  トップ・ライン
２４  第２ライン
３０  ボトム・フィールド
３２  第１ライン
３４  第２ライン
４０  トップ・フィールド・フレーム
５０  ボトム・フィールド・フレーム
６０  シーケンス
６２  第２フレーム
６４  フィールド順序
【図１】
0005273670.tif 000003
【図２】
0005273670.tif 000004
【図３】
0005273670.tif 000005
【図４】
0005273670.tif 000006
【図５】
0005273670.tif 000007
【図６】
0005273670.tif 000008
【図７】
0005273670.tif 000009