(57)【特許請求の範囲】
【請求項１】
映像音声信号のエラーを検出する検出方法において、
エンコード前の映像音声信号から特徴量を抽出してオリジナル特徴量とし、前記映像音声信号に埋め込むステップと、
前記オリジナル特徴量を埋め込まれた映像音声信号をエンコードするステップと、
前記エンコードされた映像音声信号をデコードするステップと、
前記デコードされた映像音声信号に埋め込まれた前記オリジナル特徴量を読み出すステップと、
前記デコードされた映像音声信号から特徴量を抽出してデコード特徴量とし、前記オリジナル特徴量と比較するステップと、
前記オリジナル特徴量と前記デコード特徴量との間に所定値以上の差がある場合、エラーが生じたと判定するステップと、
エラーが生じたと判定した場合、前記オリジナル特徴量に基づいて、前記デコードされた映像音声信号を修復するステップを有することを特徴とする検出方法。
【請求項２】
前記オリジナル特徴量は、前記映像音声信号のメタデータ内に埋め込まれることを特徴とする請求項１に記載の検出方法。
【請求項３】
映像音声信号から特徴量を抽出してインターセプション特徴量とし、更に該インターセプション特徴量を埋め込んだ後にエンコードされた映像音声信号におけるエラーを検出する検出方法において、
前記映像音声信号をデコードするステップと、
前記デコードされた映像音声信号に埋め込まれた前記インターセプション特徴量を読み出すステップと、
前記デコードされた映像音声信号から特徴量を抽出してデコード特徴量とし、前記インターセプション特徴量と比較するステップと、
前記インターセプション特徴量と前記デコード特徴量との間に所定値以上の差がある場合、エラーが生じたと判定するステップと、
エラーが生じたと判定した場合、前記インターセプション特徴量に基づいて、前記デコードされた映像音声信号を修復するステップを有することを特徴とする検出方法。
【請求項４】
前記インターセプション特徴量は、前記映像音声信号のメタデータ内に埋め込まれることを特徴とする請求項３に記載の検出方法。
【請求項５】
エラーが生じたと判定した場合、エラーに関する情報を前記デコードされた映像音声信号に埋め込むステップを有することを特徴とする請求項１〜４のいずれかに記載の検出方法。
【請求項６】
前記エラーは、画像フリーズ現象であることを特徴とする請求項１〜５のいずれかに記載の検出方法。
【請求項７】
前記エラーは、ブラックアウト現象であることを特徴とする請求項１〜６のいずれかに記載の検出方法。
【請求項８】
前記エラーは、音声ミュート現象であることを特徴とする請求項１〜７のいずれかに記載の検出方法。
【請求項９】
前記エラーは、音声不良現象であることを特徴とする請求項１〜７のいずれかに記載の検出方法。
【請求項１０】
前記エラーは、映像音声不整合現象であることを特徴とする請求項１〜９のいずれかに記載の検出方法。
【請求項１１】
前記エラーは、不正フレーム現象であることを特徴とする請求項１〜１０のいずれかに記載の検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置に関し、特にデジタル・ビデオ／オーディオ信号の監視に適した監視装置に関する。
【背景技術】
【０００２】
近年の映像処理技術の向上により、ハイビジョンテレビ放送など高画質な映像が放映されるようになってきている。ここで、ハイビジョン放送などにかかるデジタル映像信号は、衛星放送やケーブルＴＶのネットワークを介して各家庭に伝送されることが多い。しかるに、映像信号が伝送される間に、種々の原因によりエラーが生じることがある。エラーが生じると、映像のフリーズ、ブラックアウト、ノイズ、音声ミュートなどの不具合を招く恐れあり、その対策が必要となっている。【０００３】
これに対し、米国特許第７，６０５，８４５号明細書には、エンコードされる前の映像音声信号から抽出される第１の特徴量と、デコードされた後の映像音声信号から抽出される第２の特徴量とをリアルタイムで比較し、前記第１の特徴量と前記第２の特徴量との間に所定値以上の差がある場合、伝送エラーが生じたと判定する検出システムが開示されている。【０００４】
しかしながら、米国特許第７，６０５，８４５号明細書に開示された技術では、第１の特徴量と第２の特徴量とをリアルタイムで比較しなくてはならないため、例えばストリーミング配信などの場合には極めて有効であるが、その場合でも第２の特徴量を伝送先に、第１の特徴量とは別にリアルタイムで確実に送信するためのネットワークなどの整備が必要になるという問題がある。加えて、近年では取り扱い容易性を確保するために映像音声信号をファイル化した上で、サーバーに保存したり、相手先に送信などする機会が多くなっているが、それに応じてエンコード時やデコード時にファイルが損傷することも増大している。しかしながら、このようにファイル化された映像音声信号については、デコード時に常に第１，第２の特徴量を準備しておくことはできないため、映像音声信号が破損しているか否かを判別できないという問題がある。尚、データエラーの検出方法としてはサムチェックがあるが、映像音声信号は一般的にデータ量が多いためサムチェックを用いてエラー検出することは困難である。又、映像音声信号はエンコードとデコードを行うと、データの一部が変化することが多いが、デコードされた映像音声信号に基づく映像や音声を人間が視聴して違和感がなければ一般的に正常信号として扱われる。従って、サムチェックのように、エンコード前の映像音声信号と、デコード後の映像音声信号とが完全一致するか否かでエラー検出を行うことは適切でない。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、かかる従来技術の問題点に鑑みてなされたものであり、特にファイル化された映像音声信号についてエラーが生じた場合に、エラーを迅速に検出できる検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
映像音声信号のエラーを検出する検出方法において、
エンコード前の映像音声信号から特徴量を抽出してオリジナル特徴量とし、前記映像音声信号に埋め込むステップと、
前記オリジナル特徴量を埋め込まれた映像音声信号をエンコードするステップと、
前記エンコードされた映像音声信号をデコードするステップと、
前記デコードされた映像音声信号に埋め込まれた前記オリジナル特徴量を読み出すステップと、
前記デコードされた映像音声信号から特徴量を抽出してデコード特徴量とし、前記オリジナル特徴量と比較するステップと、
前記オリジナル特徴量と前記デコード特徴量との間に所定値以上の差がある場合、エラーが生じたと判定するステップと、
エラーが生じたと判定した場合、前記オリジナル特徴量に基づいて、前記デコードされた映像音声信号を修復するステップを有することを特徴とする。
【０００７】
映像音声信号から特徴量を抽出してインターセプション特徴量とし、更に該インターセプション特徴量を埋め込んだ後にエンコードされた映像音声信号におけるエラーを検出する検出方法において、
前記映像音声信号をデコードするステップと、
前記デコードされた映像音声信号に埋め込まれた前記インターセプション特徴量を読み出すステップと、
前記デコードされた映像音声信号から特徴量を抽出してデコード特徴量とし、前記インターセプション特徴量と比較するステップと、
前記インターセプション特徴量と前記デコード特徴量との間に所定値以上の差がある場合、エラーが生じたと判定するステップと、
エラーが生じたと判定した場合、前記インターセプション特徴量に基づいて、前記デコードされた映像音声信号を修復するステップを有することを特徴とする。
【０００８】
本発明の検出方法は、オリジナル特徴量又はインターセプション特徴量が単純な数値からなるために、映像音声信号に比べてエンコードやデコードしても損傷しにくいという特性を利用するものである。具体的には、デコードされた映像音声信号に損傷が生じていなければ、デコード前の映像音声信号と同じはずであり、従ってオリジナル特徴量又はインターセプション特徴量とデコード特徴量とがほぼ一致するはずであるため、オリジナル特徴量又はインターセプション特徴量とデコード特徴量との間に所定値以上の差がある場合、エラーが生じたと判定するのである。これによりリアルタイムで２つの特徴量を比較する必要はなくなり、デコードされた映像音声信号があればエラーチェックを行えるから、デコードされた映像音声信号の中継点や伝送先など、時間を問わず種々の場所で映像音声信号のエラーチェックが可能となるのである。
【０００９】
なお、「映像音声信号」とは、一般的には映像信号（ビデオ信号）と音声信号（オーディオ信号）の双方を含むものをいうが、本明細書中では少なくとも一方を含む信号であれば足り、生データ、圧縮データのいずれも問わない。又、特徴量を抽出する対象は、映像音声信号全体でも良いし、その一部でも良い。更に、映像音声信号の一部から抽出した特徴量同士を比較する場合、フレーム番号や時間が一致する映像音声信号同士の特徴量を比較することができる。【００１０】
エラーが生じたと判定した場合、前記オリジナル特徴量又はインターセプション特徴量に基づいて、前記デコードされた映像音声信号を修復するステップを有すると好ましい。【００１１】
エラーが生じたと判定した場合、エラーに関する情報を前記デコードされた映像音声信号に埋め込むステップを有すると好ましい。【００１２】
前記オリジナル特徴量又はインターセプション特徴量は、前記エンコードされた映像音声信号のメタデータ内に埋め込まれると好ましい。【００１３】
前記エラーは、画像フリーズ現象であると好ましい。【００１４】
前記エラーは、ブラックアウト現象であると好ましい。【００１５】
前記エラーは、音声ミュート現象であると好ましい。【００１６】
前記エラーは、音声不良現象であると好ましい。【００１７】
前記エラーは、映像音声不整合現象であると好ましい。【００１８】
前記エラーは、不正フレーム現象であると好ましい。【００１９】
前記第１の特徴量と前記第２の特徴量との間に、所定値以上の差がある場合、伝送先に伝送された映像音声信号を補正すると好ましい。
【図面の簡単な説明】
【００２０】
【図１】図１は、本実施の形態にかかる検出方法を含む伝送システム全体の概念図である。
【図２】図２は、検出方法全体を示すフローチャート図である。
【図３】図３は、放送端末１００Ｘの構成を示すブロック図である。
【図４】図４は、放送端末１００Ａ、１００Ｂの構成を示すブロック図である。
【図５Ａ】図５Ａは、放送端末１００Ｘで映像音声信号に埋め込まれたオリジナル特徴量又は通信端末２０１Ｘでエンコードされた映像音声信号に埋め込まれたインターセプション特徴量を示す図である。
【図５Ｂ】図５Ｂは、２つの特徴量の差分をとった値を示す図である。
【図５Ｃ】図５Ｃは、放送端末１００Ａ又は１００Ｂ或いは通信端末２０１Ａ又は２０１Ｂで、デコードされた映像音声信号から抽出されたデコード特徴量を示す図である。
【図６Ａ】図６Ａは、放送端末１００Ｘで映像音声信号に埋め込まれたオリジナル特徴量又は通信端末２０１Ｘでエンコードされた映像音声信号に埋め込まれたインターセプション特徴量を示す図である。
【図６Ｂ】図６Ｂは、２つの特徴量の差分をとった値を示す図である。
【図６Ｃ】図６Ｃは、放送端末１００Ａ又は１００Ｂ或いは通信端末２０１Ａ又は２０１Ｂで、デコードされた映像音声信号から抽出されたデコード特徴量を示す図である。
【図７Ａ】図７Ａは、放送端末１００Ｘで映像音声信号に埋め込まれたオリジナル特徴量又は通信端末２０１Ｘでエンコードされた映像音声信号に埋め込まれたインターセプション特徴量を示す図である。
【図７Ｂ】図７Ｂは、２つの特徴量の差分をとった値を示す図である。
【図７Ｃ】図７Ｃは、放送端末１００Ａ又は１００Ｂ或いは通信端末２０１Ａ又は２０１Ｂで、デコードされた映像音声信号から抽出されたデコード特徴量を示す図である。
【図８Ａ】図８Ａは、放送端末１００Ｘで映像音声信号に埋め込まれたオリジナル特徴量又は通信端末２０１Ｘでエンコードされた映像音声信号に埋め込まれたインターセプション特徴量を示す図である。
【図８Ｂ】図８Ｂは、２つの特徴量の差分をとった値を示す図である。
【図８Ｃ】図８Ｃは、放送端末１００Ａ又は１００Ｂ或いは通信端末２０１Ａ又は２０１Ｂで、デコードされた映像音声信号から抽出されたデコード特徴量を示す図である。
【図９Ａ】図９Ａは、放送端末１００Ｘで映像音声信号に埋め込まれたオリジナル特徴量又は通信端末２０１Ｘでエンコードされた映像音声信号に埋め込まれたインターセプション特徴量を示すである。
【図９Ｂ】図９Ｂは、２つの特徴量の差分をとった値を示す図である。
【図９Ｃ】図９Ｃは、放送端末１００Ａ又は１００Ｂ或いは通信端末２０１Ａ又は２０１Ｂで、デコードされた映像音声信号から抽出されたデコード特徴量を示す図である。
【図１０Ａ】図１０Ａは、放送端末１００Ｘで映像音声信号に埋め込まれたオリジナル特徴量又は通信端末２０１Ｘでエンコードされた映像音声信号に埋め込まれたインターセプション特徴量を示す図である。
【図１０Ｂ】図１０Ｂは、２つの特徴量の差分をとった値を示す図である。
【図１０Ｃ】図１０Ｃは、放送端末１００Ａ又は１００Ｂ或いは通信端末２０１Ａ又は２０１Ｂで、デコードされた映像音声信号から抽出されたデコード特徴量を示す図である。
【発明を実施するための形態】
【００２１】
以下、実施の形態を参照して本発明を説明する。図１は、本実施の形態にかかる検出方法を含む伝送システム全体の概念図である。図１において、例えば放送局などの伝送元１０から、サテライト局などの伝送先２０Ａ，２０Ｂに、オーディオ信号とビデオ信号とを含む映像音声信号がエンコードされて伝送される場合を考える。かかる映像音声信号の伝送は、通信衛星Ｓを介して行う例を示すが、インターネット網ＩＮＴ等を介して、例えば伝送元１０の通信端末２０１Ｘから、伝送先の通信端末２０１Ａ、２０１Ｂ等に伝送されて良い。尚、２００Ｘ、２００Ａ、２００Ｂは、それぞれ端末２００Ｘ、２００Ａ、２００Ｂからの情報を表示するモニタである。
【００２２】
図２は、検出方法全体のフローチャートである。まず、伝送元１０の放送端末１００Ｘにおいて、ステップＳ１０１で、映画やドラマ、ニュースなどのエンコード前の映像音声信号から特徴量を抽出してオリジナル特徴量とし、ステップＳ１０２で映像音声信号に埋め込む。或いは、伝送元１０の放送端末１００Ｘにおいて特徴量を抽出する前にエンコードされた映像音声信号を、ステップＳ１０１で通信端末２０１Ｘにて入力した後デコードし、デコードされた映像音声信号から特徴量を抽出してインターセプション特徴量とし、ステップＳ１０２でエンコードされている映像音声信号に埋め込む。かかる場合、オリジナル特徴量又はインターセプション特徴量は、映像音声信号のメタデータに埋め込むのが望ましい。メタデータ及びその処理方法は、例えば特開２００８−２７１４１４号公報に詳細に記載されている。ここでは例えばシーンチェンジ毎に時間軸に沿って分割した映像音声信号に特徴量を抽出し、その時間軸の位置と対応づけてオリジナル特徴量又はインターセプション特徴量をメタデータに埋め込むものとする。
【００２３】
次いでステップＳ１０３で、オリジナル特徴量を埋め込まれた映像音声信号をエンコードする（インターセプション特徴量を埋め込まれた映像音声信号は既にエンコードされている）。この状態で、映像音声信号はファイル化されて、伝送元１０のサーバーや通信端末２０１Ｘに保存され、或いは伝送先２０Ａ、２０Ｂの放送端末１００Ａ、１００Ｂ、伝送先の通信端末２０１Ａ、２０１Ｂ等に伝送される。
【００２４】
一方、伝送先２０Ａ、２０Ｂの放送端末１００Ａ、１００Ｂ、伝送先の通信端末２０１Ａ、２０１Ｂ等において、伝送された映像音声信号のエラーチェックをする場合、ステップＳ１０４で、エンコードされた映像音声信号をデコードする。次いで、ステップＳ１０５で、デコードされた映像音声信号に埋め込まれたオリジナル特徴量又はインターセプション特徴量と、それに対応する時間軸の位置とを読み出す。オリジナル特徴量又はインターセプション特徴量及び時間軸の位置は単純な数値からなるために、映像音声信号に比べてエンコードやデコードしても損傷しにくい。
【００２５】
更に、ステップＳ１０６で、デコードされた映像音声信号を、読み出した時間軸の位置に応じて分割し、それぞれ特徴量を抽出してデコード特徴量とし、ステップＳ１０７で、同一の時間軸の位置におけるオリジナル特徴量又はインターセプション特徴量とデコード特徴量とを比較する。ここで、オリジナル特徴量又はインターセプション特徴量とデコード特徴量との間に所定値以上の差がある場合、ステップＳ１０８でエラーが生じたと判定するが、所定値以上の差がない場合、ステップＳ１０９でエラーが生じてないと判定する。
【００２６】
図３は、放送端末１００Ｘの構成を示すブロック図である。ビデオカメラ等から入力された映像音声信号のうち左右のオーディオ信号ＡＬ、ＡＲは、オーディオ入力部１０１，１０２に入力され、そこから出力された信号は、各々ディレイ部１０３，１０４に入力され、オーディオ演算部１０５で演算された結果が、音声の特徴量（Ａｕｄｉｏ  Ｌｅｖｅｌ、Ａｕｄｉｏ  Ａｃｔｉｖｉｔｙ）として出力され、放送端末１００Ｘ，１００Ａ、１００Ｂから端末２０１Ｘ、２０１Ａ、２０１Ｂに出力される。ここで、Audio Levelとは、画像の１フレーム（例えば３０フレーム/秒  ）に含まれる音声サンプリング（４８ＫＨｚ）の値（４８０００/３０=１６００個）の絶対値の平均値の値をさす。又、Audio Activityとは、画像の１フレーム（例えば３０フレーム/秒）に含まれる音声サンプリング（４８ＫＨｚ）の値（４８０００/３０=１６００個）の２乗平均値の値をさす。
【００２７】
一方、映像音声信号のうちビデオ信号ＶＤは、ビデオ入力部１０８に入力され、そこから出力された信号は、フレームメモリ１０９、１１０、１１１に入力される。フレームメモリ１０９は現在のフレームを記憶し、フレームメモリ１１０は、一つ前のフレームを記憶し、フレームメモリ１１１は、２つ前のフレームを記憶する。
【００２８】
フレームメモリ１０９、１１０，１１１からの出力信号は、ＭＣ演算部１１２に入力され、その演算結果が映像の特徴量（Ｍｏｔｉｏｎ）として出力される。一方、フレームメモリ１１０からの出力信号は、ビデオ演算部１１９に入力される。ビデオ演算部１１９の演算結果は、映像の特徴量（Ｖｉｄｅｏ  Ｌｅｖｅｌ、Ｖｉｄｅｏ  Ａｃｔｉｖｉｔｙ）として出力される。これらの出力信号は、映像の特徴量として、放送端末１００Ｘ，１００Ａ、１００Ｂから端末２００Ｘ、２０１Ａ、２０１Ｂに出力される。ここで、Motionとは、画像フレームを例えば、８画素×８ラインサイズの小ブロックに分けて、この小ブロックごとに、６４画素の平均値と分散を求め、Ｎフレーム前の同じ場所のブロックの平均値と分散値との差で表され、画像の動きを示すものである。但し、Ｎは通常、１、２、４のいずれかである。又、Video Levelとは、画像フレームに含まれる画素の値の平均値である  。更に、Video Activityとしては、画像に含まれる小ブロックごとに分散を求めたとき、この分散のフレーム内の画素の平均値を用いても良いし、単純に画像フレームに含まれる画素のフレーム内での分散値を用いても良い。
【００２９】
抽出された音声の特徴量と映像の特徴量は、オリジナル特徴量として、その時間軸の位置に対応づけられて、出力部１１１で、映像音声信号のメタデータとして埋め込まれ、この映像音声信号はエンコードされた後に、個別のファイルとして伝送先に配信されることとなる。尚、伝送元の通信端末２０１Ｘに同様の機能を持たせて、エンコードされた映像音声信号を入力してデコードした後に、インターセプション特徴量を抽出し、これをメタデータに埋め込むことができる。
【００３０】
次に、エラー検出について説明する。図４は、伝送先の放送端末１００Ａ，１００Ｂの構成を示すブロック図である。伝送先の放送端末１００Ａ，１００Ｂが、伝送元の放送端末１００Ｘと主として異なる点は、デコーダＤＥＣとデマルチプレクサＤＭＰを有する点である。共通する点についての説明は省略する。
【００３１】
放送端末１００Ａ、１００Ｂにおいて、エンコードされた映像音声信号を入力した場合、まずデコーダＤＥＣが映像音声信号をデコードし、このときメタデータに埋め込まれたオリジナル特徴量と、それに対応する時間軸の位置とを読み出す。その後、デマルチプレクサＤＭＰが、デコードされた映像音声信号を映像信号と音声信号とに分ける。放送端末１００Ａ、１００Ｂは、上述と同様にして、対応する時間軸の位置に応じて、分けられた音声信号から音声特徴量を抽出し、且つ分けられた映像信号から映像特徴量を抽出し、これをデコード特徴量とする。
【００３２】
放送端末１００Ａ，１００Ｂの出力部１５０は、オリジナル特徴量とデコード特徴量とを比較して、両者に所定の差がある場合、エラーが生じたことを検出し、メタデータ内にエラーが生じたことを示す情報を書き込み、伝送元１０に逆送信できる。
【００３３】
伝送元１０の作業者は、端末２０１Ａ、２０１Ｂから端末２０１Ｘに逆送信された映像音声信号のメタデータから、エラーが生じた原因を解析することができる。
【００３４】
尚、伝送先の通信端末２０１Ａ、２０１Ｂ等も同様の機能を持たせて、通信端末２０１Ｘから伝送された、エンコードされた映像音声信号をデコードし、デコード特徴量を求めて、埋め込まれたオリジナル特徴量又はインターセプション特徴量と比較できる。
【００３５】
ここで、エラーが映像と音声とのズレなど軽微なものであれば、メタデータのオリジナル特徴量又はインターセプション特徴量とデコード特徴量とを比較して修正を行える。例えばデコードされた映像信号のオリジナル特徴量又はインターセプション特徴量と、デコードされた音声信号のオリジナル特徴量又はインターセプション特徴量とをそれぞれ抽出して、時間軸に沿って大きく変化する位置を求める。映像信号の特徴量が大きく変化するタイミングでは、シーンチェンジが生じることが多いが、音声信号の特徴量が大きく変化するタイミングとは必ずしも一致しない。そこで、映像信号のオリジナル特徴量又はインターセプション特徴量が大きく変化した位置と、音声信号のオリジナル特徴量又はインターセプション特徴量が大きく変化した位置との時間差を求める。次いで、映像信号のデコード特徴量が大きく変化した位置と、音声信号のデコード特徴量が大きく変化した位置との時間差が、オリジナル特徴量又はインターセプション特徴量の時間差に合致するまで、伝送先２０Ａ、２０Ｂの放送端末１００Ａ，１００Ｂの出力部１５０、又は通信端末２０１Ａ，２０１Ｂが映像信号と音声信号とを相対的にずらせることができる。或いは、予め映像信号のオリジナル特徴量又はインターセプション特徴量と、音声信号のオリジナル特徴量又はインターセプション特徴量にそれぞれタイミング信号を埋め込んでエンコードし、デコード後にオリジナル特徴量又はインターセプション特徴量を読み出して、タイミング信号同士が合致するように、映像信号と音声信号とを相対的にずらせてもよい。
【００３６】
次に、より具体的なエラーについて説明する。
（１）画像フリーズ現象の検出
図５Ａは、放送端末１００Ｘで映像音声信号に埋め込まれたオリジナル特徴量又はインターセプション特徴量を示す図であり，図５Ｃは、放送端末１００Ａ又は１００Ｂで、デコードされた映像音声信号から抽出されたデコード特徴量を示す図であり、図５Ｂは、２つの特徴量の差分をとった値を示す図であり、縦軸は特徴量としてのmotionを表し、横軸は時間を表す。
【００３７】
ここで、図５Ｃに示すように、デコードされた後の映像音声信号に基づく映像においては、時間ｔ１〜ｔ２の間は、motionが低いが、図５Ａに示すように、エンコードされる前の映像音声信号に基づく映像においても、時間ｔ１〜ｔ２の間は、motionが低くなっており、その差分はゼロである（図５Ｂ参照）。これは、伝送した映像が静止画であるために生じたものであり、従って画像フリーズ現象は生じていないと判断できる。
【００３８】
一方、図５Ｃに示すように、デコードされた後の映像音声信号に基づく映像においては、時間ｔ３〜ｔ４の間は、motionが低いのに対し、図５Ａに示すように、エンコードされる前の映像音声信号に基づく映像においては、時間ｔ３〜ｔ４の間は、motionが高くなっており、その差分は閾値ＴＨ１を超えている（図５Ｂ参照）。これは、デコードされた映像において、何らかの原因により画像フリーズ現象が生じたことによるものであるので、エラーが生じたことを有効に検出できる。
【００３９】
（２）ブラックアウト現象の検出
図６Ａは、放送端末１００Ｘで映像音声信号に埋め込まれたオリジナル特徴量又はインターセプション特徴量を示す図であり，図６Ｃは、放送端末１００Ａ又は１００Ｂで、デコードされた映像音声信号から抽出されたデコード特徴量を示す図であり、図６Ｂは、２つの特徴量の差分をとった値を示す図であり、縦軸は特徴量としてのVideo Activityを表し、横軸は時間を表す。このVideo Activityとしては、例えば以下の分散Ａを用いることができる。
【００４０】
伝送前後におけるビデオ信号（バーチャルビデオ信号のような３次元座標値毎に値を持つ例とする、但しｚ＝０とすれば通常の２次元ビデオ信号になる）を考えたとき、時刻ｔにおける３次元座標（ｘ、ｙ、ｚ）における伝送前のビデオ信号をＶ（ｘ、ｙ、ｚ、ｔ）とし、時刻ｔにおける３次元座標（ｘ、ｙ、ｚ）における伝送後のビデオ信号をＵ（ｘ、ｙ、ｚ、ｔ）とする。
【００４１】
ここで、ビデオ信号を長い距離にわたって伝送すると、信号の欠損、ノイズなど様々な問題が生じる恐れがあるため、必ずしもＶ（ｘ、ｙ、ｚ、ｔ）＝Ｕ（ｘ、ｙ、ｚ、ｔ）とはならないが、視聴者が気づかない程度のエラーであれば補正する必要はないといえる。しかしながら、ブラックアウト現象のような不具合であれば、対策が必要である。
【００４２】
ビデオ信号Ｖ（ｘ、ｙ、ｚ、ｔ）の特徴量としての分散Ａは、以下の式で表すことができる。
【００４３】
【数１】
0005435597.tif 000002
【００４４】
又、平均値ａｖｅ．Ｖは、以下の式で得ることができる。
【００４５】
【数２】
0005435597.tif 000003
【００４６】
伝送前のビデオ信号Ｖ（ｘ、ｙ、ｚ、ｔ）と、伝送後のビデオ信号をＵ（ｘ、ｙ、ｚ、ｔ）とについて、それぞれ分散Ａを求めた上で、その差分を取ることで、以下のようにしてブラックアウトを判別できる。
【００４７】
図６Ｃに示すように、デコードされた後の映像音声信号に基づく映像においては、時間ｔ１〜ｔ２の間は、分散値が低いが、図６Ａに示すように、エンコードされる前の映像音声信号に基づく映像においても、時間ｔ１〜ｔ２の間は、分散値が低くなっており、その差分はゼロである（図６Ｂ参照）。これは、伝送した映像が例えば星空等を映したものであるために生じたものであり、従って画像フリーズ現象は生じていないと判断できる。
【００４８】
一方、図６Ｃに示すように、デコードされた後の映像音声信号に基づく映像においては、時間ｔ３〜ｔ４の間は、分散値が低いのに対し、図６Ａに示すように、エンコードされる前の映像音声信号に基づく映像においては、時間ｔ３〜ｔ４の間は、分散値が高くなっており、その差分は閾値ＴＨ２を超えている（図６Ｂ参照）。これは、伝送された映像において、何らかの原因により画面が真っ黒になるブラックアウト現象が生じたことによるものであるので、エラーが生じたことを有効に検出できる。
【００４９】
（３）音声ミュート現象の検出
図７Ａは、放送端末１００Ｘで映像音声信号に埋め込まれたオリジナル特徴量又はインターセプション特徴量を示す図であり，図７Ｃは、放送端末１００Ａ又は１００Ｂで、デコードされた映像音声信号から抽出されたデコード特徴量を示す図であり、図７Ｂは、２つの特徴量の差分をとった値を示す図であり、縦軸は特徴量としてのAudio Levelを表し、横軸は時間を表す。なお、オーディオ信号におけるAudio Levelのサンプリングは、ビデオ信号におけるフレームの周波数で平均化されると好ましい。例えば、１秒間に３０フレームのビデオ信号の場合、Audio Levelのサンプリングは３０Ｈｚで行うと好ましい。
【００５０】
ここで、図７Ｃに示すように、デコードされた後の映像音声信号に基づく音声においては、時間ｔ１〜ｔ２の間は、Audio Levelが非常に低いが、図７Ａに示すように、エンコードされる前の映像音声信号に基づく音声においても、時間ｔ１〜ｔ２の間は、Audio Levelが低くなっており、その差分はゼロである（図７Ｂ参照）。これは、エンコードされる前の映像音声信号において、元々のAudio Levelが低かったものであり、従って音声ミュート現象は生じていないと判断できる。
【００５１】
一方、図７Ｃに示すように、デコードされた後の映像音声信号に基づく音声においては、時間ｔ３〜ｔ４の間は、Audio Levelが低いのに対し、図７Ａに示すように、エンコードされる前の映像音声信号に基づく音声においては、時間ｔ３〜ｔ４の間は、Audio Levelが高くなっており、その差分は閾値ＴＨ３を超えている（図７Ｂ参照）。これは、伝送された音声において、何らかの原因により音声が途切れる音声ミュート現象が生じたことによるものであるので、エラーが生じたことを有効に検出できる。
【００５２】
（４）音声不良現象の検出
図８Ａは、放送端末１００Ｘで映像音声信号に埋め込まれたオリジナル特徴量又はインターセプション特徴量を示す図であり，図８Ｃは、放送端末１００Ａ又は１００Ｂで、デコードされた映像音声信号から抽出されたデコード特徴量を示す図であり、図８Ｂは、２つの特徴量の差分をとった値を示す図であり、縦軸は特徴量としてのAudio Levelを表し、横軸は時間を表す。なお、オーディオ信号におけるAudio Levelのサンプリングは、ビデオ信号におけるフレームの周波数で平均化されると好ましい。
【００５３】
ここで、デコードされた後の映像音声信号に基づくAudio Levelと、エンコードされる前の映像音声信号に基づくAudio Levelとの差分を取ったとき、図８Ｂに示すように、時間ｔ１〜ｔ２の間、及び時間ｔ３〜ｔ４の間は、差分が閾値ＴＨ４を超えている。これは、伝送された音声において、何らかの原因によりノイズ等が重畳され、音声不良現象が生じたことによるものであるので、エラーが生じたことを有効に検出できる。
【００５４】
（５）映像音声不整合現象の検出
図９Ａは、ビデオフレームに対応して、放送端末１００Ｘで抽出されたエンコード前のAudio Levelを示す図である。図９Ｃは、放送端末１００Ａ又は１００Ｂで抽出されたデコード後のAudio Levelを示す図である。図９Ｂは、時間に対して音声の進み／遅れを示す図である。なお、オーディオ信号におけるAudio Levelのサンプリングは、ビデオ信号におけるフレームの周波数で平均化されると好ましい。
【００５５】
ここでは、フレームに対するAudio Levelの立ち上がりを検出して比較する。図９Ｃに示すように、時間ｔ１、ｔ３においては、映像に対する音声の遅れ量が閾値ＴＨ５＋を超えており、時間ｔ２においては、映像に対する音声の進み量が閾値ＴＨ５−を下回っている。いずれかを検出することで、映像音声不整合現象が生じたと判断した伝送先の端末２０１Ａ又は端末２０１Ｂは、エラーが生じたことを有効に検出し、必要に応じて修復できる。
【００５６】
（６）不正フレーム現象の検出
図１０Ａは、放送端末１００Ｘで映像音声信号に埋め込まれたオリジナル特徴量又はインターセプション特徴量を示す図であり、図１０Ｃは、放送端末１００Ａ又は１００Ｂで、デコードされた映像音声信号から抽出されたデコード特徴量を示す図であり、図１０Ｂは、２つの特徴量の差分をとった値を示す図であり、縦軸は特徴量としてのVideo Activity（上述した分散を用いて良い）を表し、横軸は時間を表す。
【００５７】
エンコードされる前の映像音声信号に基づく映像と、デコードされた後の映像音声信号に基づく映像とが完全に一致している場合、画像値の統計量の差分を取るとゼロになる。ところが、デコードされた後の映像音声信号中に、１フレームだけ異なる映像の信号が挿入されたような場合、その差分が所定の閾値を超える。
【００５８】
図１０Ｃに示すように、時間ｔ１〜ｔ２の間において、画素値の統計量の差分が閾値ＴＨ６＋を超えており、また時間ｔ３〜ｔ４の間においては、画素値の統計量の差分が閾値ＴＨ６−を下回っている。いずれかを検出することで、不正フレーム現象が生じたと判断した伝送先の端末２０１Ａ又は端末２０１Ｂは、エラーが生じたことを有効に検出できる。
【図１】
0005435597.tif 000004
【図２】
0005435597.tif 000005
【図３】
0005435597.tif 000006
【図４】
0005435597.tif 000007
【図５Ａ】
0005435597.tif 000008
【図５Ｂ】
0005435597.tif 000009
【図５Ｃ】
0005435597.tif 000010
【図６Ａ】
0005435597.tif 000011
【図６Ｂ】
0005435597.tif 000012
【図６Ｃ】
0005435597.tif 000013
【図７Ａ】
0005435597.tif 000014
【図７Ｂ】
0005435597.tif 000015
【図７Ｃ】
0005435597.tif 000016
【図８Ａ】
0005435597.tif 000017
【図８Ｂ】
0005435597.tif 000018
【図８Ｃ】
0005435597.tif 000019
【図９Ａ】
0005435597.tif 000020
【図９Ｂ】
0005435597.tif 000021
【図９Ｃ】
0005435597.tif 000022
【図１０Ａ】
0005435597.tif 000023
【図１０Ｂ】
0005435597.tif 000024
【図１０Ｃ】
0005435597.tif 000025