(57)【特許請求の範囲】
【請求項１】
ビデオ・ストリームの欠陥をデコードされたコンテンツに基づいて検出する装置であって、
それぞれが、上記ビデオ・ストリームを受ける入力端子と、互いに異なる特定コンテンツ特性を供給する出力端子を有するブラック・フィールド検出器、グラフィック検出器、字幕検出器、動き検出器及び輝度検出器と、
上記互いに異なる特定コンテンツ特性の１つが所定警報基準に合うか否かを判断する判断手段と、
上記所定警報基準に合ったときにエラーを報告する手段とを具えたコンテンツに基づくビデオ・ストリームの欠陥検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、圧縮されたビデオ・ストリームの処理に関し、特に、ビデオ・ストリームの欠陥をそのコンテンツに基づいて検出する装置に関する。
【０００２】
【従来の技術】
サテライト又はデジタル・ケーブル配信業者の如く、圧縮信号用伝送路を介してビデオを配信する企業にとって、欠陥をモニタするのが必要なチャンネルの数は、数百にも及ぶ。実時間監視を行うために、シングル・エンド測定アルゴリズムを用いた装置を利用するには、多くの選択肢がある。かかる選択肢から選択されたアルゴリズムの一例は、例えば、ボジダー・ジェンコ及びスティーブン・マウラーにより１９９８年９月１０日に出願されたアメリカ合衆国特許出願第０９／１５２４９５号「ブロック歪み（blockiness）を用いた画像品質測定」（特願平１１−２５２９５１号に対応）に記載されている。
【０００３】
【発明が解決しようとする課題】
しかし、従来のシングル・エンド測定アルゴリズムは、圧縮による欠陥を測定するのみなので、ビデオ・ストリーム自体のコンテンツに基づいて欠陥を検出して警報を発生できなかった。よって、操作者は、コンテンツに基づいた欠陥（content based defects）に対して、チャンネルを視覚的に連続試験する必要が依然あった。かかるコンテンツに基づいた欠陥には、例えば、過度のブラック・フレームや、重複フレームなどがある。
【０００４】
ブロック歪みの他に、多数のチャンネルの配信ストリームにおける欠陥の主な形式の１つは、「チャンネル不足（channel starvation）」である。この欠陥が典型的に生じるのは、エンコーダによるエラー、即ち、エンコーダからデコーダへのベースバンド搬送が、デコーダの解析能力以上にビデオ・ストリームに損害を与えるときである。この場合、デコーダには、以前のフレームを繰り返す以外に選択肢がない。これらの種類のエラーを検出することは、サテライト及びデジタル・ケーブル配信業者にとって重要である。残念なことに、ストリームにおけるチャンネル不足を、バナーや、静止フレーム、即ち、こま止め等の作為的な繰り返し画像から区別することは、困難である。また、不正確なポジティブ画像が生じるのは、単位秒当たり２４フレームの映画から、単位秒当たり３０フレームのＮＴＳＣビデオへ変換するＳＭＰＴＥ−Ａ３：２プルダウン又はＳＭＰＴＥ−Ｂ３：２プルダウンを検出するときである。
【０００５】
よって、圧縮されたビデオ・ストリームにおいて、コンテンツに基づいて欠陥を確実に検出する装置が望まれている。
【０００６】
したがって、本発明は、作為的にはほとんど生じないブラック・フレームを検出することにより、ビデオ・ストリームの欠陥をコンテンツに基づいて検出する装置を提供するものである。
【０００７】
【課題を解決するための手段】
本発明の装置は、ビデオ・ストリームの欠陥をそのコンテンツに基づいて検出する装置であって、ビデオ・ストリーム内のコンテンツに関する互いに異なる特定の特性を検出する複数の検出器（１８、２４、２６、２８、３０、３２）と、特定コンテンツ特性が所定警報基準に合うか否かを判断する手段（２２）と、所定警報基準に合ったときにエラーを報告する手段（１６）とを具えている。また、本発明の方法は、ビデオ・ストリームのコンテンツに基づく欠陥を検出する方法であって、ビデオ・ストリームの特定コンテンツ特性を検出し、特定コンテンツ特性が所定警報基準に合うか否かを判断し、所定警報基準に合ったときにエラーを報告することを特徴としている。
【０００８】
本発明の実施例によれば、ビデオ・ストリームを捕獲し、各フィールド毎に、ブラック・フィールドと、前のフレームの対応フィールドと比較する。この際、操作者が調整可能なしきい値に対して、直接比較により、又は、電力信号対ノイズ比（ＰＳＮＲ）を考慮して、マッチング（一致）を判断してもよい。次に、マッチング（一致した）フィールド及び非マッチング（一致しない）フィールドのシーケンスを判断モジュールの入力とする。この判断モジュールは、パターンが通常のビデオ入力と一致するか、又はビデオ・ストリーム内のエラー結果に一層類似しているかを判断する。操作者が調整可能なタイムアウト値よりも長い間にわたってフィールドが連続的にブラックであるとき、即ち、ブラック・フィールドにマッチングする各フィールドがカウンタを増分（インクリメント）して、そのカウンタの値がエラーしきい値になったとき、「配信サービスの失敗（ＬＯＳ）」を表す警報が発生する。操作者が調整可能な別のタイムアウト値よりも長い間にわたって、複数のフィールドがそれらの前のフィールドにマッチングすると、「凍結フレーム」の警報が生じる。他の状態では異なるフィールドのシーケンスにおいて、マッチングしたフィールドのシーケンスが短いが、プルダウン・シーケンスが予測できない旨の設定を操作者が行ったときのみ、「重複フィールド」の警報が発生する。３：２又は２：３プルダウン・パターンをビデオ・シーケンス内に予測できる旨の設定を操作者が行うと、警報の発生を判断する処理に、ビート・パターン発生器を含むようになる。この状況下において、通常のビート・パターン間隔で生じる単一のマッチング・フィールドは、「重複フィールド」の警報を生じない。ビート・パターンの変化も検出されて、考慮される。細かな警報制御文字／図形では、埋め込まれたオーディオ及び／又は字幕の検出器を用いて、他のコンテンツの状況を識別したり、及び／又は、多数のエラーにより生じた警報の厳密さを、操作者が左右できる。
【０００９】
本発明の目的、利点及びその他の新規な特徴は、添付図を参照した以下の詳細説明から明らかになろう。
【００１０】
【発明の実施の形態】
本発明の目的は、数百のビデオ・ストリームの１つにおける潜在的なエラーについて、操作者に迅速に注意を促すために、ビデオ・コンテンツに関して簡単に警報を与える装置を提供することである。図１は、本発明により、ビデオ・ストリームの欠陥をコンテンツに基づいて検出する方法を用いた装置のブロック図である。デコード済みビデオ・ストリームの入力信号が、ビット・マップ・モジュール１２に捕捉される。すなわち、このビット・マップ・モジュール１２で、入力ビデオ・ストリームがビット・マップ形式に展開される。このビット・マップ・モジュール１２からの各フィールドは、画像マッチング・モジュール１４にて、ブラック・フィールドと、又は前のフレームの対応フィールドと比較される。画像マッチング・モジュール１４の出力をエラー・レポート・モジュール１６に入力する。このエラー・レポート・モジュール１６は、タイマーを具えており、ブラック・フィールド又は重複フィールドのいずれかが、ユーザの特定した期間にわたって、通常は数秒間にわたって残っているときに、独立した警報を発生する。連続したブラック・フィールドに対する警報は、「サービスの失敗（ＬＯＳ）」に関連し、拡張された「重複フィールド」に対する警報は、「凍結フレーム」に関連する。
【００１１】
上述とは別に、別の状態の異なるフィールドのシーケンスにて、同一のフィールドの小さなグループが検出されたときに、エラー・レポート・モジュール１６が警報を発生するように、操作者は選択できる。これは、ビデオ・ストリーム内の「重複フィールド」を検出することになる。この機能を図２に示す。ここでは、画像マッチング・モジュール１４は、重複フィールド／ブラック・フィールド検出器（以下、重複フィールド検出器と呼ぶ）１８である。この重複フィールド検出器１８の出力は、判断モジュール２２に入力する。この判断モジュール２２は、警報信号を発生する。判断モジュール２２は、適切なカウンタを具えているので、「重複フィールド」の数を計数できる。計数値が特定値を超すと、警報状態がエラー・レポート・モジュール１６に出力される。このエラー・レポート・モジュール１６は、ビデオ・ストリームにおけるコンテンツの欠陥を報告する。この警報を生じる「重複フレーム」の最大数は、操作者が選択可能であるが、１つの重複フレーム未満にはできない。
【００１２】
オプションとして、重複フィールド検出器１８は、その出力をフィールド・ビート・パターン検出器２４にも並列に供給する。このフィールド・ビート・パターン検出器２４は、典型的には、映画からのＳＭＰＴＥ−Ｂ３：２プルダウンにおけるコンテンツに基づくフィールドの重複化を検出する。ビート・パターン検出器２４は、スキップされたフィールドを追跡し続け、３つの状態、即ち、「プルダウン検出」、「プルダウン無し」及び「未知」の３つの状態を有するステート・マシンでもよい。非ブラック重複フィールド（ブラック・フィールドでも重複フィールドでもないフィールド）が検出されると、ステート・マシンは、「未知」の状態に入る。連続的に続く任意の「重複フィールド」は、ステート・マシンを「プルダウン無し」状態に設定する。正確に３フレーム目の反対側フィールドで、即ち、５フィールド後で、第２の単一の「重複フィールド」が検出されると、ステート・マシンは、「プルダウン検出」状態に設定される。「重複フィールド」が５番目のフィールド毎に繰り返し、他の「重複フィールド」が検出されず、これらフィールドがブラックでない限り、「プルダウン検出」状態が存続する。操作者のオプションにて、ステート・マシンの状態と、ビート・パターンの正確な位相とを判断モジュール２２に入力しても良く、これによって３：２又は２：３プルダウンによる単一フィールドの重複が、「重複フィールド」エラーとして報告（レポート）されること又はエラーの過剰な報告が減少する。ビート・パターンにおける変化に付随する「重複フィールド」エラーは、別個のエラーの如く扱い、「不良な編集」となる。これは、ＳＭＰＴＥ標準に違反した映画の正しくないビデオ編集と考えられる。操作者の選択にて、ビデオにおけるプルダウンの存在及び／又はプルダウン・ビート・パターン内の変化は、状況情報として独立して報告される。ビート・パターンの検出入力が判断処理に適用できないというオプションを操作者が選択すると、ビート・パターン検出部分が完全にディスエーブルされる。
【００１３】
別のオプションとして、フィールド・ビデオ・データを並列にグラフィック検出器２６に入力する。このグラフィック検出器２６は、ビデオ・ストリームにおけるレタリング及び／又はコンピュータの発生したグラフィックを検出する。そのコンテンツは、表示スクリーン上にてほとんど作為的な静止画である。グラフィック検出器２６は、ビデオ・フィールドを試験して、同一であり最小輝度（ルミナンス値）である隣接ピクセルのグループを見つける。グラフィック検出器２６がこれら隣接ピクセルのグループを見つけると、グラフィックである旨の報告をできる。また、グラフィック検出器２６は、エッジを検索して、その検出を行い、その結果のアウトラインを種々の典型的なパターン、ほとんどの場合は、水平及び垂直の直線と比較する。他の一層精巧なグラフィック検出を組み込んでもよい。操作者オプションとして、グラフィック／レタリングをグラフィック検出器２６から判断モジュール２２に入力して、「凍結フレーム」警報に対して、フィールドの拡張された重複が生じないことを示す。その代わりに、別個のカウンタを操作者が設定して、警報を発生する前までに、グラフィックを含むフィールドを残っている特別な時間長を指示してもよい。また、意図的に考慮すべきグラフィックとして、グラフィックを含む「重複フィールド」が表示上に残るべきフィールド数の最小値を、操作者の選択でカウンタが記録する。すなわち、誰も高速なものを読み取れないので、フィールドがグラフィックを含んでいるか否かに関わらず、４つの「重複フィールド」がコンテンツエラーとなる。
【００１４】
オプションとして、字幕（closed caption）検出モジュール２８も並列に設けられており、このモジュールは、ビデオ・ストリームの補助的な部分を試験して、字幕データを探す。モジュール２８は、字幕データを見つけたか否かを報告する。字幕検出モジュール２８は、字幕データを見つけると、字幕データが変化しているか否かを報告する。この情報は、判断モジュール２２に供給される。変化しない字幕が存在していると、この字幕の存在を操作者のオプションにてエラーとして別個に報告してもよいし、又は、この字幕の存在を利用して、「凍結フレーム」及び／又は「ＬＯＳ」エラーの要件（条件）にしてもよい。操作者の調整可能なタイムアウト・カウンタを判断モジュール２２で用いて、「一時的停止（stuck）字幕」又は「目に見えない字幕」の警告を出力するまでに、字幕データが生じる最大及び最小時間長を特定してもよい。操作者の判断により、字幕検出モジュール２８を全面的にディスエーブル（機能が動作しないように）してもよい。
【００１５】
他のオプションは、動き検出モジュール３０である。このモジュール３０は、各フィールドを、前の対応フィールドと比較して、画像の各ブロックにおける動きの存在を判断する。このモジュールの動作は、多くの動き評価アルゴリズムの１つにより実行できる。かかるアルゴリズムには、周知の絶対平均差（Mean Absolute Difference: MAD）がある。動き検出モジュール３０からの結果出力は、判断モジュール２２に入力される。これらの結果を用いて、前の及びその後の対応フィールドの動きと同じ方向であるが、不釣り合いであるパンの如き全体の動きを見つけることにより、「スキップしたフィールド」のエラーを検出する。例えば、局部的なビデオ・シーケンスが、左に２ピクセルのフィールド幅シフトと、左に４ピクセルのフィールド幅シフトとを行い、左に２ピクセルの付加的なフィールド幅シフトを持続すると、全体的な動きがほぼ常に滑らかであるので、４ピクセル・シフト期間中にフィールドがスキップしたことの有力な指摘になる。３：２及び２：３プルダウン・シーケンスをモニタすると、判断モジュール２２は、どのような動きが期待されるかという予想を変更する。
【００１６】
また、動き検出を用いて、「重複フィールド」及び「スキップしたフィールド」の警報に対する条件を決めてもよい。例えば、とにかくビデオ・シーケンス内に動きが充分にないときには、観察者にとって、スキップしたフィールドを知覚するのが困難なため、「スキップしたフィールド」警報を低い優先度で報告するか、又は報告しないかのしきい値を操作者が設定してもよい。最後に、動き検出モジュール３０が、ビデオ・シーケンスにおけるフィールドのエッジの周りでの同一であるが逆の動きであり、ズーム・イン又はズーム・アウトでの中央での動きでない動きを検出する場合、「スキップしたフィールド」を検出するのと類似の方法を用いてもよい。前のフレーム及びその後のフレームと比較されたズーム動き内の突然の不連続性を、操作者のオプションにて設定して、「スキップされたフィールド」警報をトリガできる。また、操作者の判断で、動き検出モジュール３０を完全にディスエーブルしてもよい。
【００１７】
さらに別のオプションは、平均画像レベル（ＡＰＬ）又は輝度の簡単な検出モジュール３２であり、ビデオ・シーケンスにおけるフィールドの最大及び全体的な輝度を計算する。ＡＰＬ検出モジュール３２の結果を判断モジュール２２に入力する。このＡＰＬの結果を用いて、ＬＯＳエラーと「凍結フレーム」エラーとを識別する。また、これら結果を操作者が用いて、警報の条件や、全体的な画像レベルを基本にした警報の厳密性を決める。例えば、操作者は、非常にかすんだ「重複フィールド」の短いシーケンスの報告を受けることを望まないかもしれない。なお、このシーケンスは、黒（ブラック）に消えていく期間中、即ち、着実にＡＰＬがゼロ輝度に減少していく期間中に生じるか、又は、フェード・イン期間中、即ち、ゼロ輝度からＡＰＬが着実に増加するフェード・アウトに増加する期間中に生じる。このオプションは、警報の各形式毎に操作者が調整可能な最小ＡＰＬしきい値と、最小ＡＰＬから又は最小ＡＰＬへの変化期間中に警告を生じさせるための別個に調整可能な時間しきい値とにより実施できる。
【００１８】
判断モジュール２２は、操作者の設定に応じた警報を発生する。これら設定には、上述の検出器からの出力の任意の組み合わせや順列が含まれる。ディフォルト（省略時の）設定には、以下のものに限定されるわけではないが、「ＬＯＳ」；「グラフィック」のない「凍結フレーム」；「グラフィック」を有する「拡張凍結フレーム」；「重複フィールド又はフレーム」；「予期せぬプルダウン」であり、プルダウンが存在しないと操作者が設定したビデオ・シーケンスで検出された３：２又は２：３プルダウン；「不良な編集」であり、ビート・パターン変化期間中のＤＦ（重複フィールド）；ＳＦ；「目に見えないグラフィック」であり、観察者が見るには短すぎるグラフィックを有する「重複フィールド」がある。操作者は、これらエラーの厳密さの程度を指定してもよいし、望ましい入力の任意の組み合わせ又は順列の厳密さの要件を決めてもよい。デフォルトでは、判断モジュール２２は、ＬＯＳと、「凍結フレーム」の両形式とに対して示唆された厳密なエラーである直接操作者介入を報告する。「見つからない重複フィールド／フレーム」のエラーと、「一時的停止字幕」と、「目に見えない字幕」とのエラーの総てに対して、通常のエラーを発生する。ディフォルトでは、「予期せぬプルダウン」及び「不良編集」に対して警報を与える。操作者の判断により、他の機能の存在を報告してもよいが、ディフォルトでは、情報状態のみである。操作者は、これらの任意の数を変更し、報告する状態の異なる組み合わせを要求し、選択した組み合わせに応じて報告したエラーの厳密さを制御してもよい。
【００１９】
【発明の効果】
よって、本発明は、フィールド・データと、フィールド・データ内の変化を試験して、適切な警報信号を操作者に発生することにより、ビデオ・ストリームの欠陥をコンテンツに基づいて検出できる。
【図面の簡単な説明】
【図１】  本発明により、ビデオ・ストリーム内の欠陥をコンテンツに基づいて検出する方法を用いた装置のブロック図である。
【図２】  本発明により、ビデオ・ストリーム内の欠陥をコンテンツに基づいて検出する方法を用いた装置の詳細なブロック図である。
【符号の説明】
１２  ビット・マップ・モジュール
１４  画像マッピング・モジュール
１６  エラー・レポート・モジュール
１８  重複／ブラック検出モジュール
２２  判断モジュール
２４  ビート検出モジュール
２６  グラフィック検出モジュール
２８  字幕検出モジュール
３０  動き検出モジュール
３２  輝度検出モジュール
【図１】
0004275280.tif 000002
【図２】
0004275280.tif 000003