(57)【要約】【課題】映像信号と音声信号の間に遅延が生じた場合の映像信号と音声信号の間の相対遅延を検出する。【解決手段】送信側装置１０は、音声信号が多重された映像信号から音声信号を抽出する信号抽出部１１と、信号抽出部１１が抽出した音声信号から音声特徴量a(i)を算出する特徴量算出部１２と、特徴量算出部１２が算出した音声特徴量a(i)を音声信号が多重された映像信号に多重して、音声信号および音声特徴量a(i)が多重された映像信号を出力する補助データ多重部１３を備える。受信側装置２０は、音声信号および音声特徴量a(i)が多重された映像信号から音声信号と音声特徴量a(i)を抽出する信号・特徴量抽出部２１と、信号・特徴量抽出部２１が抽出した音声信号から音声特徴量b(i)を算出する特徴量算出部２２と、信号・特徴量抽出部２１が抽出した音声特徴量a(i)と特徴量算出部２２が算出した音声特徴量b(i)から映像・音声相対遅延量２５を算出する相対遅延算出部２４を備える。【選択図】図２
2012244413.tif 000002
【特許請求の範囲】
【請求項１】
音声信号と、音声信号の音声特徴量である第１の音声特徴量が多重された映像信号を受信する信号監視装置であって、
前記映像信号から音声信号および第１の音声特徴量を抽出する信号・特徴量抽出部と、
前記信号・特徴量抽出部が抽出した音声信号から第２の音声特徴量を算出する特徴量算出部と、
前記信号・特徴量抽出部が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から映像・音声相対遅延量を算出する相対遅延算出部と、
を備えることを特徴とする信号監視装置。
【請求項２】
前記相対遅延算出部が算出した映像・音声相対遅延量に基づいて、前記信号・特徴量抽出部が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から遅延を補正した第１の音声特徴量と第２の音声特徴量を得る位相調整部と、
前記位相調整部によって得られた遅延を補正された第１の音声特徴量と第２の音声特徴量を比較して誤り検出を行う音声特徴量比較部と、
を備えることを特徴とする請求項１に記載の信号監視装置。
【請求項３】
請求項１に記載の信号監視装置と、
前記信号監視装置から出力される映像・音声相対遅延量に基づいて、前記音声信号が多重された映像信号の中の音声信号または映像信号のいずれかの遅延を補正する映像／音声信号補正部と、
を備えることを特徴とする信号補正装置。
【請求項４】
コンピュータを、音声信号と、音声信号の音声特徴量である第１の音声特徴量が多重された映像信号を受信する信号監視装置として機能させるプログラムであって、
前記映像信号から音声信号および第１の音声特徴量を抽出する信号・特徴量抽出手段と、
前記信号・特徴量抽出手段が抽出した音声信号から第２の音声特徴量を算出する特徴量算出手段と、
前記信号・特徴量抽出手段が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から映像・音声相対遅延量を算出する相対遅延算出手段として機能させるためのプログラム。
【請求項５】
コンピュータを、音声信号と、音声信号の音声特徴量である第１の音声特徴量が多重された映像信号を受信する信号監視装置として機能させるプログラムであって、
前記映像信号から音声信号および第１の音声特徴量を抽出する信号・特徴量抽出手段と、
前記信号・特徴量抽出手段が抽出した音声信号から第２の音声特徴量を算出する特徴量算出手段と、
前記信号・特徴量抽出手段が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から映像・音声相対遅延量を算出する相対遅延算出手段と、
前記相対遅延算出手段が算出した映像・音声相対遅延量に基づいて、前記信号・特徴量抽出部が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から遅延を補正した第１の音声特徴量と第２の音声特徴量を得る位相調整手段と、
前記位相調整手段によって得られた遅延を補正された第１の音声特徴量と第２の音声特徴量を比較して誤り検出を行う音声特徴量比較手段として機能させるためのプログラム。
【請求項６】
コンピュータを、音声信号と、音声信号の音声特徴量である第１の音声特徴量が多重された映像信号を受信する信号補正装置として機能させるプログラムであって、
前記映像信号から音声信号および第１の音声特徴量を抽出する信号・特徴量抽出手段と、
前記信号・特徴量抽出手段が抽出した音声信号から第２の音声特徴量を算出する特徴量算出手段と、
前記信号・特徴量抽出手段が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から映像・音声相対遅延量を算出する相対遅延算出手段と、
前記相対遅延算出手段から出力される映像・音声相対遅延量に基づいて、前記音声信号が多重された映像信号の中の音声信号または映像信号のいずれかの遅延を補正する映像／音声信号補正手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号と音声信号を伝送する際に、伝送過程で生じた映像信号と音声信号の間の相対遅延や誤りを検出する信号監視装置およびプログラム、ならびに、相対遅延を補正する信号補正装置およびプログラムに関する。
【背景技術】
【０００２】
テレビ映像信号用SDI(Serial Digital Interface)の補助データ領域に音声信号を多重して伝送することがよく行われている。SDIの補助データ領域への音声信号の多重法は、例えばARIB標準規格BTA S-006に規定されている。国内で使用されているHDTV(1080／59.94／I)の場合、映像信号のフレーム期間毎に音声信号約1600サンプル(48kHzサンプリング)が多重される。伝送過程では、機器の不具合や雑音の混入などによって、映像信号や音声信号にエラーが生じたり、運用上のエラーによって意図しない信号が付加、挿入されたりすることがある。また、映像と音声を分離して処理し、再び音声信号を多重して伝送することがある。この場合、信号処理によっては映像信号と音声信号の間に遅延差が生じる。映像と音声の間に遅延が生じると、映像フレーム期間に多重される音声信号のサンプルが、元のサンプルとは異なることとなる。
【０００３】
ARIB技術資料ARIB TR-B29（非特許文献１）では、信号の障害監視を行うために、映像や音声の特徴量を用いるための方法が記載されている。送信側の映像と音声の特徴量をフレーム毎に算出し、メタデータとして映像・音声信号と共に伝送し、受信側の監視点では、受信した映像および音声信号から映像および音声の特徴量をフレーム毎に算出し、送信側で算出されて伝送された特徴量と比較する。伝送過程で信号にエラーが生じていれば、受信側で算出した特徴量は、送信側で算出した特徴量とは異なる値となるため、送受の特徴量を比較することによって、送信・受信間で生じた信号エラーを検出できる。
【０００４】
図１に、送信側と受信側それぞれにおける、映像信号と音声信号ならびにフレーム毎の映像特徴量と音声特徴量の関係を示す。この例では、映像信号が0.5フレーム分、音声より遅延した場合を示し、１フレーム当たりの音声サンプル数を1600として記載している。
【０００５】
伝送過程で生じた映像信号と音声信号の間の相対遅延を検出する技術の従来技術文献としては、例えば特許文献１がある。特許文献１には、送信側で、デジタル映像信号及びデジタル音声信号の基準信号でサンプリングした時刻情報をビデオ圧縮データ及びオーディオ圧縮データに付加して伝送し、受信側で、受信したビデオ圧縮データ及びオーディオ圧縮データに付加された時刻情報を抽出し、受信したビデオ圧縮データ及びオーディオ圧縮データを伸長したデジタル映像信号及びデジタル音声信号の基準信号でサンプリングした時刻情報と抽出した時刻情報の差分を検出し、当該検出した差分情報に基づき、映像信号及び音声信号の送信側における入力時刻と受信側における出力時刻の差である遅延時間を検出し、映像信号の遅延時間と音声信号の遅延時間から映像信号と音声信号の遅延時間の差を示す値を得ることが記載されている（要約、段落００３５〜００３６参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１０４７３０号公報
【非特許文献】
【０００７】
【非特許文献１】ARIB技術資料ARIB TR-B29「放送チェーンにおける映像・音声信号の障害監視のためのメタデータ」、[online]、［平成２３年４月６日検索］、インターネット＜http:／／www.arib.or.jp／english／html／overview／doc／4-TR-B29v1_0.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
映像信号と音声信号の相対遅延を検出するためには、映像信号と音声信号の時間的な対応関係が既知である必要がある。さらに、受信した映像信号と音声信号から、時間的な対応関係を検出する手段が必要である。
【０００９】
また、伝送過程で映像信号と音声信号の間に遅延が生じていると、受信した映像信号フレーム期間に多重されている音声信号が、送信側で多重された音声信号とは異なることとなり、伝送エラーが存在しなくても、受信側で算出される音声特徴量は、送信側で算出された音声特徴量とは異なることとなり、送受の音声特徴量が一致しない。すなわち、図１において、送信側では、映像フレーム１に対して、音声サンプル1−1600から音声特徴量AIT(1)が生成されるが、受信側では、映像フレーム１に対して、音声サンプル801−2400に対して音声特徴量AIR(1)が生成され、全く伝送過程でのエラーが無かったとしてもAIT(1)とAIR(1)は一致しない。
【００１０】
本発明の目的は、伝送過程における信号処理の結果生じる処理遅延によって、映像信号と音声信号の間に遅延が生じた場合の映像信号と音声信号の間の相対遅延を検出する装置を提供することである。
【００１１】
また、伝送過程における機器障害や伝送エラーなどによって生じる信号誤りを監視する際に、映像信号と音声信号の間に遅延が生じた場合に映像信号と音声信号の間の相対遅延を検出し、相対遅延を補正して音声信号の誤りを検出する装置を提供することである。
【００１２】
また、検出された映像信号と音声信号の間の相対遅延に基づいて、いずれか進んでいる方の信号を遅延させ、映像信号と音声信号の間の遅延を補正する装置を提供することである。
【課題を解決するための手段】
【００１３】
本明細書において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
【００１４】
（１）音声信号と、音声信号の音声特徴量である第１の音声特徴量が多重された映像信号を受信する信号監視装置であって、前記映像信号から音声信号および第１の音声特徴量を抽出する信号・特徴量抽出部と、前記信号・特徴量抽出部が抽出した音声信号から第２の音声特徴量を算出する特徴量算出部と、前記信号・特徴量抽出部が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から映像・音声相対遅延量を算出する相対遅延算出部と、を備える信号監視装置である。
【００１５】
（２）上記（１）において、前記相対遅延算出部が算出した映像・音声相対遅延量に基づいて、前記信号・特徴量抽出部が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から遅延を補正した第１の音声特徴量と第２の音声特徴量を得る位相調整部と、前記位相調整部によって得られた遅延を補正された第１の音声特徴量と第２の音声特徴量を比較して誤り検出を行う音声特徴量比較部と、を備える信号監視装置である。
【００１６】
（３）上記（１）の信号監視装置と、前記信号監視装置から出力される映像・音声相対遅延量に基づいて、前記音声信号が多重された映像信号の中の音声信号または映像信号のいずれかの遅延を補正する映像／音声信号補正部と、を備える信号補正装置である。
【００１７】
（４）コンピュータを、音声信号と、音声信号の音声特徴量である第１の音声特徴量が多重された映像信号を受信する信号監視装置として機能させるプログラムであって、前記映像信号から音声信号および第１の音声特徴量を抽出する信号・特徴量抽出手段と、前記信号・特徴量抽出手段が抽出した音声信号から第２の音声特徴量を算出する特徴量算出手段と、前記信号・特徴量抽出手段が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から映像・音声相対遅延量を算出する相対遅延算出手段として機能させるためのプログラムである。
【００１８】
（５）コンピュータを、音声信号と、音声信号の音声特徴量である第１の音声特徴量が多重された映像信号を受信する信号監視装置として機能させるプログラムであって、前記映像信号から音声信号および第１の音声特徴量を抽出する信号・特徴量抽出手段と、前記信号・特徴量抽出手段が抽出した音声信号から第２の音声特徴量を算出する特徴量算出手段と、前記信号・特徴量抽出手段が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から映像・音声相対遅延量を算出する相対遅延算出手段と、前記相対遅延算出手段が算出した映像・音声相対遅延量に基づいて、前記信号・特徴量抽出部が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から遅延を補正した第１の音声特徴量と第２の音声特徴量を得る位相調整手段と、前記位相調整手段によって得られた遅延を補正された第１の音声特徴量と第２の音声特徴量を比較して誤り検出を行う音声特徴量比較手段として機能させるためのプログラムである。
【００１９】
（６）コンピュータを、音声信号と、音声信号の音声特徴量である第１の音声特徴量が多重された映像信号を受信する信号補正装置として機能させるプログラムであって、前記映像信号から音声信号および第１の音声特徴量を抽出する信号・特徴量抽出手段と、前記信号・特徴量抽出手段が抽出した音声信号から第２の音声特徴量を算出する特徴量算出手段と、前記信号・特徴量抽出手段が抽出した第１の音声特徴量と前記第２の特徴量算出部が算出した第２の音声特徴量から映像・音声相対遅延量を算出する相対遅延算出手段と、前記相対遅延算出手段から出力される映像・音声相対遅延量に基づいて、前記音声信号が多重された映像信号の中の音声信号または映像信号のいずれかの遅延を補正する映像／音声信号補正手段として機能させるためのプログラムである。
【発明の効果】
【００２０】
本発明により、映像信号と音声信号を伝送する際に、伝送過程における信号処理の結果生じる処理遅延によって、映像信号と音声信号の間に遅延が生じた場合の映像信号と音声信号の間の相対遅延を検出する装置を得ることができる。
【００２１】
また、本発明により、伝送過程における機器障害や伝送エラーなどによって生じる信号誤りを監視する際に、映像信号と音声信号の間に遅延が生じた場合に、映像信号と音声信号の間の相対遅延を検出し、送信側から伝送した音声特徴量と受信側で算出した音声特徴量間の相対遅延を補正して比較し音声信号の誤りを検出する装置を得ることができる。
【００２２】
また、本発明により、検出された映像信号と音声信号の間の相対遅延に基づいて、いずれか進んでいる方の信号を遅延させ、映像信号と音声信号の間の遅延を無くす装置を提供することができる。
【図面の簡単な説明】
【００２３】
【図１】送信側と受信側それぞれにおける映像信号と音声信号ならびにフレーム毎の映像特徴量と音声特徴量の関係を示す図である。
【図２】本発明の実施例１の信号監視装置を示す図である。
【図３】送信側装置で算出された音声特徴量の例を示す図である。
【図４】受信側装置で算出された音声特徴量の例を示す図である。
【図５】窓関数w(i)の例を示す図である。
【図６】音声・映像相対遅延量に応じた検出結果r(i)の例（映像・音声相対遅延量＝０の場合）を示す図である。
【図７】音声・映像相対遅延量に応じた検出結果r(i)の例（映像・音声相対遅延量＝０．２５フレーム（映像遅れ・音声進み）の場合）を示す図である。
【図８】音声・映像相対遅延量に応じた検出結果r(i)の例（映像・音声相対遅延量＝１．５フレーム（映像遅れ・音声進み）の場合）を示す図である。
【図９】音声・映像相対遅延量に応じた検出結果r(i)の例（映像・音声相対遅延量＝３０フレーム（映像遅れ・音声進み）の場合）を示す図である。
【図１０】本発明の実施例２の信号監視装置を示す図である。
【図１１】本発明の実施例３の信号補正装置を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施例を図を参照して詳細に説明する。
【実施例１】
【００２５】
本発明の実施例１の信号監視装置の構成を図２に示す。本実施例は、映像信号と音声信号を伝送する際に伝送過程で生じた映像信号と音声信号の間の相対遅延を検出する信号監視装置（映像・音声相対遅延測定装置）に関するものである。
【００２６】
図２に示すように、信号監視装置は、送信側装置１０からの信号を受信する受信側に設けられた受信側装置２０から成る。
【００２７】
送信側装置１０は、音声信号が多重された映像信号から音声信号を抽出する信号抽出部１１と、信号抽出部１１が抽出した音声信号から映像フレーム期間毎の音声特徴量a(i)を算出する特徴量算出部１２と、特徴量算出部１２が算出した音声特徴量a(i)を音声信号が多重された映像信号に多重して、音声信号および音声特徴量a(i)が多重された映像信号を出力する補助データ多重部１３と、を備える。
【００２８】
受信側装置２０は、音声信号および音声特徴量a(i)が多重された映像信号から音声信号および音声特徴量a(i)を抽出する信号・特徴量抽出部２１と、信号・特徴量抽出部２１が抽出した音声信号から映像フレーム期間毎の音声特徴量b(i)を算出する特徴量算出部２２と、信号・特徴量抽出部２１が抽出した音声特徴量a(i)と特徴量算出部２２が算出した音声特徴量b(i)から映像・音声相対遅延量２５を算出する相対遅延算出部２４と、特徴量算出部２２が算出した音声特徴量b(i)を音声信号および音声特徴量a(i)が多重された映像信号に多重して、音声信号および音声特徴量a(i)およびb(i)が多重された映像信号を出力する補助データ多重部２３と、を備える。なお、本受信側装置２０以降で信号監視を行わない場合は、補助データ多重部２３は必要としない。
【００２９】
音声信号が多重された映像信号は、映像信号に所定の時間（例えば映像フレーム期間）毎に音声信号を多重した信号であり、特徴量算出部１２は、音声信号から所定の時間（例えば映像フレーム期間）毎の音声特徴量a(i)を算出し、特徴量算出部２２は、音声信号から所定の時間（例えば映像フレーム期間）毎の音声特徴量b(i)を算出する。48kHzサンプリングの音声信号を1080／59.94／IのHDTV信号と共に伝送する場合、１フレーム当たりの音声サンプル数は約1600サンプルである。
【００３０】
また、相対遅延算出部２４は、音声特徴量a(i)と音声特徴量b(i)との間で、例えば位相限定相関法によって両者の位相差を算出して映像・音声相対遅延量２５を得る。
【００３１】
この例では、送信側、受信側において、映像信号はSDI(serial digital interface)で入出力され、音声信号は補助データとしてSDIに多重して伝送される。映像フレーム期間毎に算出した音声特徴量a(i)、b(i)は、次映像フレームの補助データ領域に多重する。送信側における映像信号と音声信号の相対遅延を基準とし、送信側において、映像信号と音声信号の相対遅延差はないものとする。ただし、映像信号はSDIに限定されない。
【００３２】
送信側装置１０には音声信号が補助データパケットに多重されたHD-SDI信号（映像＋音声）１４が入力され、補助データ多重部１３で音声特徴量a(i)が補助データパケットに多重され、音声信号および音声特徴量a(i)が補助データパケットに多重されたHD-SDI信号（映像＋音声＋音声特徴量a(i)）１５が受信側に向けて送信される。図２では送信側装置１０から受信側装置２０までの信号の伝送や信号の処理を包括的に伝送・処理と記載している。
【００３３】
送信側から伝送や信号の処理を経て受信した音声信号および音声特徴量a(i)が補助データパケットに多重されたHD-SDI信号（映像＋音声＋音声特徴量a(i)）２６が受信側装置２０に入力され、受信側装置２０はHD-SDI信号（映像＋音声＋音声特徴量a(i)+音声特徴量b(i)）２７および映像・音声相対遅延量２５を出力する。
【００３４】
音声特徴量、およびこれらの補助データパケットへの多重法は、例えば、ARIB技術資料ARIB TR-B29「放送チェーンにおける映像・音声信号の障害監視のためのメタデータ」（非特許文献１）に規定されている。本実施例では、音声特徴量として、ARIB TR-B29に規定されている振幅情報あるいは位相情報を用いる。ただし、音声特徴量、およびこれらの補助データパケットへの多重法はこれらに限定されない。
【００３５】
信号抽出部１１はHD-SDI信号（映像＋音声）１４の補助データ領域に多重されている音声信号を抽出する。
【００３６】
特徴量算出部１２は信号抽出部１１が抽出した音声信号からARIB TR-B29に基づき映像フレーム期間毎の音声特徴量a(i)を算出する。
【００３７】
補助データ多重部１３は特徴量算出部１２が算出した音声特徴量a(i)を、ARIB TR-B29に基づき補助データとしてHD-SDI信号（映像＋音声）１４に多重する。
【００３８】
信号・特徴量抽出部２１はHD-SDI信号（映像＋音声＋音声特徴量a(i)）２６の補助データ領域に多重されている音声信号および音声特徴量a(i)を抽出する。
【００３９】
特徴量算出部２２は信号・特徴量抽出部２１が抽出した音声信号からARIB TR-B29に基づき映像フレーム期間毎の音声特徴量b(i)を算出する。
【００４０】
補助データ多重部２３は特徴量算出部２２が算出した音声特徴量b(i)を、ARIB TR-B29に基づき補助データとしてHD-SDI信号（映像＋音声＋音声特徴量a(i)）２６に多重する。
【００４１】
相対遅延算出部２４は信号・特徴量抽出部２１が抽出した音声特徴量a(i)と特徴量算出部２２が算出した音声特徴量b(i)から映像・音声相対遅延量２５を算出する。
【００４２】
伝送過程で、映像信号と音声信号に相対遅延が生じていなければ、受信側で算出した音声特徴量b(i)と、送信側で算出した音声特徴量a(i)の算出対象音声サンプルが一致する。しかし、映像信号と音声信号に相対遅延が生じていると、映像フレーム期間に対応する音声信号期間が時間的にずれることとなり、音声特徴量の算出対象音声サンプルが、送信側と受信側で異なることとなり、音声特徴量は一致しなくなる。この送受の音声特徴量a(i)とb(i)を基に、相対遅延算出部２４は映像・音声相対遅延量２５を以下のようにして位相限定相関法を用いて算出する。
【００４３】
送信側および受信側における、現映像フレームを含む過去N(＝2n)フレーム分の音声特徴量サンプルをそれぞれa(i)、b(i) (i＝-2n-1，…， 2n-1 - 1)とする。ここで、iは映像フレームを表す。映像・音声相対遅延量の算出に用いるフレーム数Nは、検出しようとする映像・音声相対遅延量や精度、後述の離散フーリエ変換の計算法に応じて設定すればよい。2のべき乗とするのは、高速フーリエ変換の容易さのためである。
【００４４】
a(i)およびb(i)に窓関数w(i) ＝ (1+cos(πi／2n-1))／2をかけた後、離散フーリエ変換してA(j)、B(j)を得る。離散フーリエ変換と離散逆フーリエ変換をそれぞれ記号F{}とF-1{}で表すこととする。
A(j) ＝ F{a(i)w(i)}
B(j) ＝ F{b(i)w(i)}
窓関数をかけるのは有限個のサンプルに対して離散フーリエ変換を行うためである。
【００４５】
A(j)とB(j)から正規化相互パワースペクトルR(j) ＝ A(j)B*(j) ／ |A(j)B*(j)|を算出し（*は位相共役を示し、｜｜は絶対値を示す）、位相限定相関関数r(i)をR(j)の離散逆フーリエ変換により求める。
R(j) ＝ A(j)B*(j) ／ |A(j)B*(j)|  （*は位相共役を示し、｜｜は絶対値を示す）
r(i) ＝ F-1{R(j)}
a(i)とb(i)が同一であれば、rp (0)＝1.0が得られる。
【００４６】
r(i)から、r(i)の最大値rpおよびその位置ipを検出する。
rp＝r(ip)    (0＜rp≦1)
rp ＝ 1.0、ip ＝ 0の場合、遅延は無いと判断され、以下の処理は不要である。
【００４７】
r(i)の第二最大値rsとその位置isを検出する。
rs ＝ r(is)    (0＜rs＜rp)
第二最大値が最大値の下隣接であればsign ＝ -1、第二最大値が最大値rpの上隣接であればsign ＝ 1、第二最大値が最大値に隣接していなければsign ＝ 0とし、以下の演算によって位相差を検出する。
位相差 ＝ ip + sign * {(1 - rp) + rs}／2
位相差の符号が、a(i)とb(i)のどちらが進んでいるか、遅れているかを表す。
【００４８】
本実施例では、r(i)の最大値と第二最大値から位相差の近似値を求める簡便な方法を用いたが、より高度な方法を用いても良い。
【００４９】
このようにa(i)とb(i)との間で位相限定相関法により両者の位相差を算出することによって、伝送過程で生じた映像・音声相対遅延量が求められる。ただし、位相限定相関法以外の方法を用いて映像・音声相対遅延量を求めてもよい。
【００５０】
次に、図３〜図９を用いて音声特徴量の例、窓関数の例、映像・音声相対遅延量に応じた検出結果r(i)の例について説明する。図３〜９において横軸はフレームである。
【００５１】
図３に送信側装置１０で算出された音声特徴量a(i)の一例を示す。送信側において映像信号と音声信号の相対遅延差はないものとしているから、映像・音声相対遅延量＝0である。ここで、音声特徴量としては、ARIB TR-B29に規定の音声同相情報(AII)を用いている。
【００５２】
図４に伝送・処理の過程で、1.5フレーム（約2400音声サンプル@48kHz）の映像・音声相対遅延が生じた場合の、受信側装置２０で算出された音声特徴量b(i)の一例を示す。
【００５３】
図５にN＝256の場合の窓関数w(i)を示す。
【００５４】
図６に映像・音声相対遅延量＝0の場合のr(i)を示す。rp ＝ r(0)、ip ＝ 0であり、遅延が0であることが分かる。
【００５５】
図７に映像・音声相対遅延量＝0.25フレーム（400音声サンプル@48kHz、映像遅れ・音声進み）の場合のr(i)を示す。rp ＝ r(0) ＝ 0.752、ip ＝ 0、rs ＝ r(1) ＝ 0.2429、is ＝ 1であり、また、第二最大値が最大値の上隣接であるからsign ＝ 1であり、
位相差 ＝ ip + sign * {(1 - rp) + rs}／2 ＝ 0 + 1 * {(1 - 0.752) + 0.242}／2 ＝ 0.245フレーム
と算出される。位相差が0.245フレームであるから映像・音声相対遅延量は約0.25フレームである。
【００５６】
図８に映像・音声相対遅延量＝1.5フレーム（映像遅れ・音声進み）の場合のr(i)を示す。rp ＝ r(1) ＝ 0.533、ip ＝ 1、rs ＝ r(2) ＝ 0.482、is ＝ 2であり、また、第二最大値が最大値の上隣接であるからsign ＝ 1であり、
位相差 ＝ ip + sign * {(1 - rp) + rs}／2 ＝ 1 + 1 * {(1 - 0.533) + 0.482}／2 ＝ 1.47フレーム
と算出される。位相差が1.47フレームであるから映像・音声相対遅延量は約1.5フレームである。
【００５７】
図９に映像・音声相対遅延量＝30フレーム（映像遅れ・音声進み）の場合のr(i)を示す。rp ＝ r(30) ＝ 0.761、ip ＝ 30、rs ＝ r(-26) ＝ 0.095、is ＝ -26であり、最大値と第二最大値が隣接していないからsign ＝ 0であり、
位相差 ＝ ip ＝ 30フレーム
と算出される。位相差が30フレームであるから、映像・音声相対遅延量は30フレームである。
【００５８】
以上、図７〜９では映像遅れ・音声進みの例を示したが、逆に映像進み・音声遅れの場合はr(i)の最大値となるipが勿論マイナス側に来る。
【００５９】
本実施例により、映像信号に音声信号を多重して伝送することによって、送信側では両者の時間差が無いものとして扱うことができる。さらに、送信側で算出した音声特徴量を小サイズのデータとして映像信号および音声信号とともに伝送する。この音声特徴量（映像特徴量も同じ）は、映像フレームに同期して伝送され、伝送過程で映像と音声が分離処理され再び音声信号が再び多重されるときでも、映像信号と補助データ領域の音声特徴量の位置関係は変化しない。受信側では、受信した音声信号から音声特徴量を算出して、送信側で算出し伝送した音声特徴量との間に位相限定相関法を適用することによって、位相差を求めることができる。
【００６０】
本受信側装置２０以降でも信号監視を行う場合は、第２、第３、‥の受信装置を備えることによって、送信側装置、受信装置、第２、第３、‥の受信装置の任意の区間の相対遅延を求めることが可能となる。
【実施例２】
【００６１】
本発明の実施例２の信号監視装置の構成を図１０に示す。本実施例は、伝送過程で生じた映像信号と音声信号の誤りを検出する信号監視装置（映像・音声信号監視装置）に関するもので、伝送過程で映像信号と音声信号の間に相対遅延が生じた場合でも、音声信号の誤りを検出できる装置である。
【００６２】
図１０に示すように、信号監視装置は、送信側装置３０からの信号を受信する受信側に設けられた受信側装置４０から成る。
【００６３】
送信側装置３０は、音声信号が多重された映像信号から音声信号および映像信号を抽出する信号抽出部３１と、信号抽出部３１が抽出した音声信号および映像信号から音声特徴量AIT(i)および映像特徴量VIT(i)を算出する特徴量算出部３２と、特徴量算出部３２が算出した音声特徴量AIT(i)および映像特徴量VIT(i)を音声信号が多重された映像信号に多重して、音声信号および音声特徴量AIT(i) および映像特徴量VIT(i)が多重された映像信号を出力する補助データ多重部３３と、を備える。
【００６４】
受信側装置４０は、音声信号および音声特徴量AIT(i)および映像特徴量VIT(i)が多重された映像信号から音声信号および映像信号および音声特徴量AIT(i)および映像特徴量VIT(i)を抽出する信号・特徴量抽出部４１と、抽出した音声信号および映像信号から音声特徴量AIR(i)および映像特徴量VIR(i)を算出する特徴量算出部４２と、信号・特徴量抽出部４１が抽出した音声特徴量AIT(i)と特徴量算出部４２が算出した音声特徴量AIR(i)から映像・音声相対遅延量４５を算出する相対遅延算出部４４と、相対遅延算出部４４が算出した映像・音声相対遅延量４５に基づいて、AIT(i)の位相を調整する位相調整部４６とAIR(i)の位相を補正する位相調整部４７と、位相調整部４６、４７によって補正された音声特徴量AIT(i)と音声特徴量AIR(i)を比較して誤り検出を行う音声特徴量比較部４８と、信号・特徴量抽出部４１が抽出した映像特徴量VIT(i)と特徴量算出部４２が算出した映像特徴量VIR(i)を比較して誤り検出を行う映像特徴量比較部４９と、音声特徴量AIR(i)および映像特徴量VIR(i)を音声信号および音声特徴量AIT(i)および映像特徴量VIT(i)が多重された映像信号に多重して、音声信号および音声特徴量AIT(i)およびAIR(i)、映像特徴量VIT(i)およびVIR(i)が多重された映像信号を出力する補助データ多重部４３と、を備える。なお、本受信側装置４０以降で信号監視を行わない場合は、補助データ多重部４３は必要としない。
【００６５】
音声信号が多重された映像信号は、映像信号に所定の時間（例えば映像フレーム期間）毎に音声信号を多重した信号であり、特徴量算出部３２は、音声信号、映像信号から所定の時間（例えば映像フレーム期間）毎の音声特徴量AIT(i)、映像特徴量VIT(i)を算出し、特徴量算出部４２は、音声信号、映像信号から所定の時間（例えば映像フレーム期間）毎の音声特徴量AIR(i)、映像特徴量VIR(i)を算出する。また、相対遅延算出部４４は、音声特徴量AIT(i)と音声特徴量AIR(i)との間で、例えば、位相限定相関法によって両者の位相差を算出して映像・音声相対遅延量（位相差）４５を得る。
【００６６】
送信側装置３０には音声信号が補助データパケットに多重されたHD-SDI信号（映像＋音声）３４が入力され、送信側装置３０で音声特徴量AIT(i)および映像特徴量VIT(i)が補助データパケットに多重され、音声信号および音声特徴量AIT(i)および映像特徴量VIT(i)が補助データパケットに多重されたHD-SDI信号（映像＋音声＋映像特徴量VIT(i)＋音声特徴量AIT(i)）３５が受信側に向けて送信される。図１０では送信側装置３０から受信側装置４０までの信号の伝送や信号の処理を包括的に伝送・処理と記載している。
【００６７】
送信側から受信した音声信号および音声特徴量AIT(i)および映像特徴量VIT(i)が補助データパケットに多重されたHD-SDI信号（映像＋音声＋映像特徴量VIT(i)＋音声特徴量AIT(i)）５０が受信側装置４０に入力され、受信側装置４０はHD-SDI信号（映像＋音声＋映像特徴量VIT(i)＋映像特徴量VIR(i)＋音声特徴量AIT(i)＋音声特徴量AIR(i)）５１を出力する。また、受信側装置４０は相対遅延算出部４４の出力である映像・音声相対遅延量（位相差）４５を用いて図示しない表示装置に映音遅延状態表示を行い、映像特徴量比較部４９、音声特徴量比較部４８の出力を用いて図示しない表示装置に映像状態表示、音声状態表示を行う。
【００６８】
本実施例では、映像特徴量、音声特徴量として、ARIB TR-B29（非特許文献１）に規定されている映像空間情報、映像時間情報、音声振幅情報、音声位相情報を用いる。ただし、映像特徴量、音声特徴量、およびこれらの補助データパケットへの多重法はこれらに限定されない。
【００６９】
信号抽出部３１は、HD-SDI信号（映像＋音声）３４から、映像信号および補助データ領域に多重されている音声信号を抽出する。
【００７０】
特徴量算出部３２は映像信号、音声信号からARIB TR-B29に基づき映像特徴量VIT(i)、音声特徴量AIT(i)を算出する。
【００７１】
補助データ多重部３３は映像特徴量VIT(i)、音声特徴量AIT(i)を、ARIB TR-B29に基づき補助データとしてHD-SDI信号（映像＋音声）３４に多重する。
【００７２】
信号・特徴量抽出部４１はHD-SDI信号（映像＋音声＋映像特徴量VIT(i)＋音声特徴量AIT(i)）５０から、映像信号および補助データ領域に多重されている音声信号および映像特徴量VIT(i)および音声特徴量AIT(i)を抽出する。
【００７３】
相対遅延算出部４４は信号・特徴量抽出部４１が抽出した音声特徴量AIT(i)と特徴量算出部４２が算出した音声特徴量AIR(i)から映像・音声相対遅延量４５を算出する。
【００７４】
位相調整部４６および位相調整部４７は、それぞれ、算出した映像・音声相対遅延量に基づき、信号・特徴量抽出部４１が抽出した音声特徴量AIT(i)および特徴量算出部４２が算出した音声特徴量AIR(i)の位相を補正する。なお、実際には遅れている方に対して進んでいる方を遅らせることで補正するので位相調整部４６、４７のいずれか一方で補正する（遅らせる）ことになる。
【００７５】
音声特徴量比較部４８は位相調整部４６によって補正された音声特徴量AIT(i)と位相調整部４７によって補正された音声特徴量AIR(i)をフレーム毎に比較する。
【００７６】
映像特徴量比較部４９は信号・特徴量抽出部４１が抽出した映像特徴量VIT(i)と特徴量算出部４２が算出した映像特徴量VIR(i)をフレーム毎に比較する。
【００７７】
補助データ多重部４３は映像特徴量VIR(i)、音声特徴量AIR(i)を、ARIB TR-B29に基づき補助データとしてHD-SDI信号（映像＋音声＋映像特徴量VIT(i)＋音声特徴量AIT(i)）５０に多重する。このVIT(i)、 AIT(i)は映像フレームに同期して伝送される。
【００７８】
送信側において、送信側装置３０は、所定の映像特徴量VIT(i)、音声特徴量AIT(i)を映像フレーム期間毎に算出し、次フレームの補助データ領域に多重する。48kHzサンプリングの音声信号を1080／59.94／IのHDTV信号と共に伝送する場合、１フレーム当たりの音声サンプル数は約1600サンプルである。
【００７９】
受信側では、映像信号、音声信号と共に、送信側で算出・多重された映像特徴量VIT(i)、音声特徴量AIT(i)が受信される。受信側では、受信側装置４０が、受信した映像信号および音声信号から、送信側で算出し伝送したのと同じ定義に基づく映像特徴量VIR(i)、音声特徴量AIR(i)を算出する。
【００８０】
伝送過程で、映像信号と音声信号に相対遅延が生じていなければ、受信側で算出した音声特徴量AIR(i)と、送信側で算出した音声特徴量AIT(i)の算出対象音声サンプルが一致する。しかし、映像信号と音声信号に相対遅延が生じていると、映像フレーム期間に対応する音声サンプルが時間的にずれることとなり、音声特徴量の算出対象音声サンプルが、送信側と受信側で異なることとなり、音声特徴量は一致しない。
【００８１】
この送受の音声特徴量を基に、相対遅延算出部４４は映像・音声相対遅延量４５を位相限定相関法を用いて算出する。
【００８２】
すなわち、受信した音声信号から算出した音声特徴量列と、送信側で算出し伝送した音声特徴量列との間に位相限定相関法を適用することによって、送受信間の音声特徴量の位相差を求める。送受信間の音声特徴量の位相差は、映像と音声との相対遅延に相当する。
【００８３】
本実施例の相対遅延算出部４４の算出方法は、実施例１の相対遅延算出部２４と同様である。実施例１のa(i)、b(i)をAIT(i)、AIR(i)に置き換えれば全く同じ演算であるので、ここでは繰り返さないが、実施例１と同様に、AIT(i)とAIR(i)から位相限定相関関数r(i)を求め、その最大値と第二最大値およびそれらの位置から位相差（映像・音声相対遅延量）を求める。位相差の符号が、AIT(i)とAIR(i)のどちらが進んでいるか（遅れているか）を表す。AIT(i)とAIR(i)が同一であれば、rp(0) ＝ 1.0が得られる。
【００８４】
このようにして、伝送過程で生じた映像・音声相対遅延量が求められる。
【００８５】
また、実施例１において、図３〜図９を用いて音声特徴量の例、窓関数の例、映像・音声相対遅延量に応じた検出結果r(i)の例について説明したが、本実施例においても同様である。
【００８６】
この映像・音声相対遅延量４５を基に、位相調整部４６で、信号・特徴量抽出部４１が抽出した音声特徴量AIT(i)および特徴量算出部４２が算出した音声特徴量AIR(i)の位相を補正する。位相差を与える処理は、例えば以下のように表すことができる。
【００８７】
f(t)のフーリエ変換をF(ω)とすると、f(t)をt0だけシフトしたf(t - t0)のフーリエ変換はF(ω)exp(-jωt0)であらわされるから（ｊは虚数単位）、音声特徴列a(i)に対し、そのフーリエ変換A(k)にexp(-jωt0)  （ただし、位相差t0、ω＝2πk）を乗じ、その逆フーリエ変換を得る。
【００８８】
音声特徴量はフレーム単位で算出されたものであるため、整数フレームの遅延の場合は、位相調整部４６は特徴量サンプルを位相差分シフトすればよい。小数フレームの遅延の場合は、遅延量に応じて上記のような補間処理を行う必要がある。
【００８９】
位相補正した音声特徴量を用い、送受信間の音声特徴量の差分を求めることで、音声信号異常を検出する。差分が所定の閾値以内であれば、異常はないと判断する。
【００９０】
映像特徴量については、送受の特徴量間の差分を求めることで、映像信号異常を検出する。差分が所定の閾値以内であれば、異常はないと判断する。
【００９１】
本実施例においては、送受信間の音声特徴量の位相差に応じて、送信側あるいは受信側の音声特徴量の位相をずらすことによって、遅延補正した音声特徴量を得る。遅延補正した音声特徴量を用いて、送受間で音声特徴量の差を求める。これによって、映音相対遅延が生じた場合でも、伝送過程の障害や雑音などによる音声信号のエラーを検出することが可能となる。
【００９２】
受信側装置４０以降でも信号監視を行う場合は、第２、第３、‥の受信装置を備えることによって、送信側装置、受信装置、第２、第３、‥の受信装置の任意の区間の相対遅延検出ならびにエラー検出が可能となる。
【００９３】
実施例２では、音声特徴量と映像特徴量の両方を多重しているが、音声特徴量だけを多重する実施例１に、実施例２のように位相調整部４６、４７、音声特徴量比較部４８を設けて、音声信号異常を検出するようにしてもよい。
【００９４】
また、実施例１では、音声特徴量だけを多重しているが、実施例２のように音声特徴量と映像特徴量の両方を多重して、映像特徴量比較部４９を設けて、映像信号異常を検出するようにしてもよい。
【実施例３】
【００９５】
本発明の実施例３の信号補正装置の構成を図１１に示す。本実施例は、伝送過程で映像信号と音声信号の間に相対遅延が生じた場合でも、両信号間の相対遅延を検出し、検出した遅延分進んでいる方の信号を遅らせる補正をすることで相対遅延を解消する装置である。
【００９６】
図１１に示すように、信号補正装置は、映像信号と、映像フレームに同期した音声特徴量および音声信号が多重された信号を受信する受信側装置６０から成る。また、これは実施例１の信号監視装置２０に、補助データ多重部２３を除き、映像／音声信号補正部６６を加えた構成となっている。
【００９７】
受信側装置６０は、音声信号および音声特徴量a(i)が多重された映像信号から音声信号および音声特徴量a(i)を抽出する信号・特徴量抽出部６１と、信号・特徴量抽出部６１が抽出した音声信号から映像フレーム期間毎の音声特徴量b(i)を算出する特徴量算出部６２と、信号・特徴量抽出部６１が抽出した音声特徴量a(i)と特徴量算出部２２が算出した音声特徴量b(i)から映像・音声相対遅延量６５を算出する相対遅延算出部６４と、算出した相対遅延分だけ映像信号または音声信号を遅延させる映像／音声信号補正部６６、から構成される。
【００９８】
映像・音声相対遅延量６５を算出するまでの動作は実施例１と同様である。
【００９９】
映像／音声信号補正部６６は、想定される遅延量に相当するバッファを設けておいて［映像＋音声（補助データ領域）］信号を滞留できるようにし、補助データ領域へアクセスすることで音声信号の差し替え、すなわち映像・音声相対遅延量に応じた遅れまたは進みの遅延調整を行う。映像・音声相対遅延量が映像遅れ・音声進みならば、補助データ領域に多重されている音声信号（サンプリングデータ）を算出された遅延量だけ遅延させる。また、映像進み・音声遅れならば、補助データ領域の音声信号を、算出された遅延量だけ遅延させた映像信号に移動させる。
【０１００】
このようにして、映像／音声信号補正部６６は、伝送過程での映像・音声の相対遅延を補正した映像信号および音声信号を出力できる。また、必要ならば、後段に実施例１の送信側装置１０に相当する装置を設け、改めて音声信号に対する音声特徴量を算出し、次映像フレームに付加してもよい。
【０１０１】
実施例１、２の信号監視装置および実施例３の信号補正装置はHD-SDIのインタフェース部を除いてコンピュータとプログラムで構成することができる。また、そのプログラムの一部または全部をハードウェアで構成してもよい。
【０１０２】
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【符号の説明】
【０１０３】
１０…送信側装置、１１…信号抽出部、１２…特徴量算出部、１３…補助データ多重部、１４…送信側装置１０に入力されるHD-SDI（映像＋音声）、１５…送信側装置１０から出力されるHD-SDI（映像＋音声＋音声特徴量a(i)）、２０…受信側装置、２１…信号・特徴量抽出部、２２…特徴量算出部、２３…補助データ多重部、２４…相対遅延算出部、２５…映像・音声相対遅延量、２６…受信側装置２０に入力されるHD-SDI（映像＋音声＋音声特徴量a(i)）、２７…受信側装置２０から出力されるHD-SDI（映像＋音声＋音声特徴量a(i)＋音声特徴量b(i)）、３０…送信側装置、３１…信号抽出部、３２…特徴量算出部、３３…補助データ多重部、３４…送信側装置３０に入力されるHD-SDI（映像＋音声）、３５…送信側装置３０から出力されるHD-SDI（映像＋音声＋映像特徴量VIT(i)＋音声特徴量AIT(i)）、４０…受信側装置、４１…信号・特徴量抽出部、４２…特徴量算出部、４３…補助データ多重部、４４…相対遅延算出部、４５…映像・音声相対遅延量、４６，４７…位相調整部、４８…音声特徴量比較部、４９…映像特徴量比較部、５０…受信側装置４０に入力されるHD-SDI（映像＋音声＋映像特徴量VIT(i)＋音声特徴量VIT(i)）、５１…受信側装置４０から出力されるHD-SDI（映像＋音声＋映像特徴量VIT(i)＋映像特徴量VIR(i)＋音声特徴量VIT(i)＋音声特徴量VIR(i)）、６０…受信側装置、６１…信号・特徴量抽出部、６２…特徴量算出部、６４…相対遅延算出部、６５…映像・音声相対遅延量、６６…映像／音声信号補正部
【図１】
2012244413.tif 000003
【図２】
2012244413.tif 000004
【図３】
2012244413.tif 000005
【図４】
2012244413.tif 000006
【図５】
2012244413.tif 000007
【図６】
2012244413.tif 000008
【図７】
2012244413.tif 000009
【図８】
2012244413.tif 000010
【図９】
2012244413.tif 000011
【図１０】
2012244413.tif 000012
【図１１】
2012244413.tif 000013