(57)【特許請求の範囲】
【請求項１】
映像を符号化する映像符号化手段と、音声を符号化する音声符号化手段と、前記符号化映像と符号化音声とを多重化して伝送路に送出する多重化手段とを備えた映像符号化装置と、
前記伝送路からの多重化された符号化映像と符号化音声とをそれぞれに分離する分離手段と、分離された符号化映像を復号化して映像を再生する映像復号化手段と、分離された符号化音声を復号化して音声を再生する音声復号化手段とを備えた映像復号化装置とを有し、
該映像復号化装置が、前記分離手段で分離された符号化音声を時間的に遅延させて出力する遅延手段と、該遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段に出力する音声選択手段とを有する映像音声伝送システムにおいて、
前記映像符号化装置は、前記映像復号化装置に対する音声制御情報を生成する音声制御情報生成手段を有し、前記音声制御情報を符号化映像と符号化音声とともに多重化して伝送路に送出し、
前記映像復号化装置における分離手段は前記伝送路からの多重化された符号化映像と符号化音声とともに、受信した前記音声制御情報を解読して前記音声選択手段に選択指示信号を出力することを特徴とする映像音声伝送システム。
【請求項２】
前記音声選択手段は、前記音声制御情報に従った選択指示信号により、前記遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段へ出力することを特徴とする請求項１記載の映像音声伝送システム。
【請求項３】
前記音声選択手段は、前記映像復号化装置の外部ユーザインタフェースでの設定により、前記遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段へ出力することを特徴とする請求項１または２に記載の映像音声伝送システム。
【請求項４】
前記外部ユーザインタフェースとして、前記映像復号化装置にリモートで制御や監視を行える外部制御装置を用いることを特徴とする請求項３記載の映像音声伝送システム。
【請求項５】
前記音声制御情報は前記多重化手段によりは符号化映像と符号化音声とともに多重化されることを特徴とする請求項１ないし４のいずれかに記載の映像音声伝送システム。
【請求項６】
前記音声制御情報は前記映像符号化手段により符号化映像の中に多重して出力されることを特徴とする請求項１ないし４のいずれかに記載の映像音声伝送システム。
【請求項７】
前記音声制御情報は前記音声符号化手段により符号化音声の中に多重して出力されることを特徴とする請求項１ないし４のいずれかに記載の映像音声伝送システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、映像と音声をそれぞれデジタル符号化して送信する映像符号化装置と、映像符号化装置から受信したこれらの符号化映像と符号化音声を復号して再生する映像復号化装置とを有する映像音声伝送システムに関するものである。
【０００２】
【従来の技術】
国内ではＣＳデジタル放送に続き、２０００年からＢＳデジタル放送が開始され、さらに２００３年には地上波放送のデジタル化が予定されている。放送などの映像音声伝送システムにおけるデジタル化のメリットのひとつとして、デジタル符号化処理による伝送情報量の圧縮削減がある。この効果により、従来ひとつの番組配信に必要とされていた伝送容量と同じ容量を使って、同時に複数の番組伝送を行うことができるようになる。映像符号化装置は入力映像及び入力音声をそれぞれ所定の方式に基づいてデジタル符号化し、映像復号化装置は逆にこれらの符号化映像及び符号化音声をそれぞれ元通りに復号して再生する。
【０００３】
一方、伝送する映像や音声の情報量を圧縮するためには、例えばＭＰＥＧ−２などのデジタル圧縮符号化方式が適用されるが、このようなデジタル圧縮符号化方式を用いる場合、映像や音声の符号化及び復号化のためにそれぞれの処理時間が必要となり、処理遅延が発生する。従って、デジタル圧縮符号化方式を用いた映像音声伝送システムでは、伝送路上での伝送遅延が無いと仮定しても、符号化及び復号化に伴う処理遅延が発生する。さらに映像の符号化と復号化に必要な処理時間は、音声の符号化と復号化に必要な処理時間よりもかなり長い。このため、映像と音声の処理時間の差を補正しないと、映像復号化装置で再生される映像は音声よりも遅れるため、映像と音声が一致せず、視聴者に不自然な印象を与えることになる。
【０００４】
このような課題、即ち再生時の映像と音声の不一致を解消するため、処理時間の少ない音声に対して時間的に遅延させる遅延手段を映像復号化装置か、あるいは映像符号化装置と映像復号化装置の双方に設けて、処理時間の長い映像に時間的に同期させるようにし、視聴者に不自然な印象を与えないようにするのが一般的である。しかし、このような方法によれば、例えば距離が離れ、かついずれにも映像符号化装置と映像復号化装置とが設置された複数地点間で映像とこれに付随する音声を伝送するシステムでは、各地点間で掛け合いの会話を行う場合に、一方の会話の音声と他方の会話の音声との間に、音声の時間的な遅延による無音期間が発生し、双方の会話の自然さが損なわれるという課題が出るため、これを低減する方法が示されている（例えば特開平１１−２９８８７０号公報）。
【０００５】
図５は、従来の映像音声伝送システムにおける映像符号化装置および映像復号化装置の一例を示すブロック図である。映像符号化装置１は、映像符号化手段１１と、音声符号化手段１２と、多重化手段１３とから概略構成されている。また映像復号化装置２は、映像復号化手段２１と、音声復号化手段２２と、分離手段２３と、遅延手段２６とから概略構成されている。
【０００６】
映像符号化装置１において、映像符号化手段１１は、外部のテレビカメラ等（図示せず）からの映像１１１を例えばＭＰＥＧ−２等の所定の符号化方式によって高能率符号化して圧縮し、符号化映像１１２を出力する。一方、音声符号化手段１２は、外部のマイクロフォン等（図示せず）からの音声１２１を例えばＭＰＥＧ−１等の所定の符号化方式によって高能率符号化して圧縮し、符号化音声１２２を出力する。多重化手段１３は、符号化映像１１２と、符号化音声１２２とを時分割多重し、多重化信号１３１として伝送路に出力する。
【０００７】
また、映像復号化装置２において、分離手段２３は、伝送路から受信した多重化信号１３１を、符号化映像２１１と符号化音声２２１とに分離する。映像復号化手段２１は、分離された符号化映像２１１を映像符号化装置１での映像符号化方式に対応して復号化し、再生された映像２１２として外部に出力する。音声復号化手段２２は、入力する符号化音声２２１を映像符号化装置１での音声符号化方式に対応して復号化し、再生された音声２２３として出力する。一方、遅延手段２６は、映像の符号化処理時間と復号化処理時間の和と、音声の符号化処理時間と復号化処理時間の和との差に相当する時間だけ復号後の音声２２３を遅延させて遅延音声２２４として出力する。映像復号化装置では、出力映像に同期させるために遅延させた音声２２４と、映像に同期させるための遅延を行わない音声２２３とが、それぞれの出力端子から同時に出力されている。
【０００８】
【発明が解決しようとする課題】
従来の映像音声伝送システムにおける映像復号化装置では、出力映像に同期させるために時間的な遅延を加えた音声の出力端子と、音声の掛け合いによる会話の不自然さを低減するためにその遅延を加えない音声の出力端子とをそれぞれ装備する必要があり、さらに、音声復号化手段にて音声が復号化された後に遅延手段が設けられているが、復号化されて多量の情報量となった音声の遅延のために大規模な蓄積回路等で構成される遅延手段を備える必要があり、映像復号化装置の小型化や低廉化が困難となる問題点があった。
【０００９】
この発明は、前記のような問題点を解決するためになされたもので、出力映像に同期させるために音声を遅延させるか、あるいは音声に遅延を加えずに掛け合いによる会話の不自然さを低減するかを、用途に応じて容易に選択することができ、かつ、小規模な蓄積回路等で構成される遅延手段を用いて映像復号化装置の小型化と低廉化を実現することができる、映像音声伝送システムを得ることを目的としている。
【００１０】
【課題を解決するための手段】
この発明は、映像を符号化する映像符号化手段と、音声を符号化する音声符号化手段と、前記符号化映像と符号化音声とを多重化して伝送路に送出する多重化手段とを備えた映像符号化装置と、前記伝送路からの多重化された符号化映像と符号化音声とをそれぞれに分離する分離手段と、分離された符号化映像を復号化して映像を再生する映像復号化手段と、分離された符号化音声を復号化して音声を再生する音声復号化手段とを備えた映像復号化装置とを有し、該映像復号化装置が、前記分離手段で分離された符号化音声を時間的に遅延させて出力する遅延手段と、該遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段に出力する音声選択手段とを有する映像音声伝送システムにおいて、前記映像符号化装置は、前記映像復号化装置に対する音声制御情報を生成する音声制御情報生成手段を有し、前記音声制御情報を符号化映像と符号化音声とともに多重化して伝送路に送出し、前記映像復号化装置における分離手段は前記伝送路からの多重化された符号化映像と符号化音声とともに、受信した前記音声制御情報を解読して前記音声選択手段に選択指示信号を出力する。
【００１１】
この発明において、前記音声選択手段は、前記音声制御情報に従った選択指示信号により、前記遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段へ出力する。
【００１２】
この発明において、前記音声選択手段は、前記映像復号化装置の外部ユーザインタフェースでの設定により、前記遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段へ出力する。
【００１３】
この発明において、前記外部ユーザインタフェースとして、前記映像復号化装置にリモートで制御や監視を行える外部制御装置を用いる。
【００１４】
この発明において、前記音声制御情報は前記多重化手段によりは符号化映像と符号化音声とともに多重化される。
【００１５】
この発明において、前記音声制御情報は前記映像符号化手段により符号化映像の中に多重して出力される。
【００１６】
この発明において、前記音声制御情報は前記音声符号化手段により符号化音声の中に多重して出力される。
【００１７】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態１を図について説明する。図１において、映像符号化装置１は、映像符号化手段１１と、音声符号化手段１２と、音声制御情報生成手段１４と、多重化手段１３とから概略構成されている。また映像復号化装置２は、映像復号化手段２１と、音声復号化手段２２と、分離手段２３と、遅延手段２４と、音声選択手段２５とから概略構成されている。
【００１８】
映像符号化装置１において、映像符号化手段１１は、外部のテレビカメラ等（図示せず）からの映像１１１を例えばＭＰＥＧ−２等の所定の符号化方式によって高能率符号化して圧縮し、符号化映像１１２を出力する。一方、音声符号化手段１２は、外部のマイクロフォン等（図示せず）からの音声１２１を例えばＭＰＥＧ−１等の所定の符号化方式によって高能率符号化して圧縮し、符号化音声１２２を出力する。また、音声制御情報生成手段１４は、後述する映像復号化装置２における音声選択手段への選択指示を行うための音声制御情報１４１を生成して出力する。多重化手段１３は、符号化映像１１２と、符号化音声１２２を時分割多重すると共に、これに音声制御情報１４１を定期的に多重化した多重化信号１３１を伝送路に出力する。
【００１９】
また、映像復号化装置２において、分離手段２３は、伝送路から受信した多重化信号１３１を、符号化映像２１１と符号化音声２２１とに分離するとともに、音声制御情報１４１を受信するごとにその内容を解読して選択指示信号２５１を出力する。映像復号化手段２１は、分離された符号化映像２１１を映像符号化装置１での映像符号化方式に対応して復号化し、再生された映像２１２として外部に出力する。一方、遅延手段２４は、映像の符号化処理時間と復号化処理時間の和と、音声の符号化処理時間と復号化処理時間の和との差に相当する時間だけ分離された符号化音声２２１を遅延させた符号化音声２２２として出力する。この遅延手段２４における蓄積回路は、復号化前の圧縮された符号化音声に対応しており、復号化後の多量の情報量の音声に対応した蓄積回路の規模に比べて小さいことは言うまでも無い。音声選択手段２５は、選択指示信号２５１に従って符号化音声２２１か遅延させた符号化音声２２２のいずれか一方を選択して出力する。音声復号化手段２２は、入力される符号化音声２２１か遅延符号化音声２２２のいずれかを映像符号化装置１での音声符号化方式に対応して復号化し、再生された音声２２３として外部に出力する。
【００２０】
図３は、映像符号化装置１に入力された映像１１１と音声１２１に対する映像符号化手段１１と音声符号化手段１２でのそれぞれの符号化処理時間ＴＶ−ＥＮＣとＴＡ−ＥＮＣ、映像復号化装置２における符号化映像２１１と符号化音声２２１に対する映像復号化手段２１と音声復号化手段２２でのそれぞれの復号化処理時間ＴＶ−ＤＥＣとＴＡ−ＤＥＣを模式的に示した図である。前述のように、映像の符号化処理時間ＴＶ−ＥＮＣと復号化処理時間ＴＶ−ＤＥＣの和は、音声の符号化処理時間ＴＡ−ＥＮＣと復号化処理時間ＴＡ−ＤＥＣの和に比べて大きいため、映像符号化装置１に音声と同時に入力された映像は、映像復号化装置の出力時にこれらの和の差（ＴＶ−ＥＮＣ＋ＴＶ−ＤＥＣ）―（ＴＡ−ＥＮＣ＋ＴＡ−ＤＥＣ）の分だけ音声から遅れる。
【００２１】
一方、図４は、遅延手段２４にて符号化音声２２１に対して前述の和の差（ＴＶ−ＥＮＣ＋ＴＶ−ＤＥＣ）―（ＴＡ−ＥＮＣ＋ＴＡ−ＤＥＣ）の時間ＴＤＬＹに相当する遅延を行って遅延符号化音声２２２を出力し、該遅延符号化音声２２２を音声復号化手段２２で復号化して音声２２３を出力する場合を模式的に示した図であり、この場合、映像符号化装置１に同時に入力された映像と音声は映像復号化装置２で同時に出力される。
【００２２】
音声選択手段２５は、選択指示信号２５１により分離手段２３から分離された符号化音声２２１の選択指示があれば該符号化音声２２１を音声復号化手段２２に出力し、選択指示信号２５１により遅延符号化音声２２２の選択指示があれば該遅延符号化音声２２２を音声復号化手段２２に出力する。図３は前者に対応する処理時間の関係を示し、図４は後者に対応する処理時間の関係を示している。
【００２３】
実施の形態２．
図２は、この発明の実施の形態２についての説明図であり、第２の選択指示信号２５２の記載以外は図１と同様である。第２の選択指示信号２５２は、映像復号化装置２の外部ユーザインタフェースからの設定により、分離された符号化音声２２１か遅延符号化音声２２２のいずれか一方の選択を音声選択手段２５に対して指示する。外部ユーザインタフェースの具体的な例としては、映像復号化装置２に具備され、利用者が操作可能な設定スイッチがある。この場合、映像復号化装置２は本スイッチの設定状態により、前述の音声の選択を行う。
【００２４】
実施の形態３．
前述の形態２で示した外部ユーザインタフェースの別の例として、映像復号化装置２にリモートで制御や監視を実施できる外部制御装置でもよい。この場合、映像復号化装置２は本外部制御装置からのリモート制御を受けて、前述の音声の選択を行う。
【００２５】
実施の形態４．
前述の形態1，２では、映像符号化装置１における音声制御情報１４１は符号化映像１１２、符号化音声１２２とは別に多重化手段１３で多重化されるが、音声制御情報１４１を映像符号化手段１１にて符号化映像１１２の中に多重して出力し、映像復号化装置２における映像復号化手段２１にて、分離手段２３で分離された符号化映像２１１から音声制御情報１４１を分離して解読し、映像復号化手段２１から選択指示信号２５１を出力しても同様の効果を奏する。
【００２６】
実施の形態５．
前述の形態1，２では、映像符号化装置１における音声制御情報１４１は符号化映像１１２、符号化音声１２２とは別に多重化手段１３で多重化されるが、音声制御情報１４１を音声符号化手段１２にて符号化音声１２２の中に多重して出力し、映像復号化装置２における音声復号化手段２２にて、符号化音声２２１または遅延符号化音声２２２から音声制御情報１４１を分離して解読し、音声復号化手段２２から選択指示信号２５１を出力しても同様の効果を奏する。
【００２７】
なお、前述した実施の形態では、映像と音声のデジタル圧縮符号化方式の例としてそれぞれＭＰＥＧ−２、ＭＰＥＧ−１を挙げたが、この発明はこれらに限ったものではなく、他の符号化方式を適用しても同様の効果を奏する。
【００２８】
【発明の効果】
この発明は、映像を符号化する映像符号化手段と、音声を符号化する音声符号化手段と、前記符号化映像と符号化音声とを多重化して伝送路に送出する多重化手段とを備えた映像符号化装置と、前記伝送路からの多重化された符号化映像と符号化音声とをそれぞれに分離する分離手段と、分離された符号化映像を復号化して映像を再生する映像復号化手段と、分離された符号化音声を復号化して音声を再生する音声復号化手段とを備えた映像復号化装置とを有し、該映像復号化装置が、前記分離手段で分離された符号化音声を時間的に遅延させて出力する遅延手段と、該遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段に出力する音声選択手段とを有する映像音声伝送システムにおいて、前記映像符号化装置は、前記映像復号化装置に対する音声制御情報を生成する音声制御情報生成手段を有し、前記音声制御情報を符号化映像と符号化音声とともに多重化して伝送路に送出し、前記映像復号化装置における分離手段は前記伝送路からの多重化された符号化映像と符号化音声とともに、受信した前記音声制御情報を解読して前記音声選択手段に選択指示信号を出力するので、その用途に応じて、映像復号化装置が出力する音声を映像に同期させて視聴者に不自然な印象を与えないようにもできるし、あるいは他地点との音声の掛け合いによる会話の不自然さを低減することもできると共に、音声出力の選択を映像符号化装置からの指示で制御でき、受信側の映像復号化装置を操作しなくても遠隔地の送信側から選択できる効果がある。
【００２９】
さらに、この発明において、前記音声選択手段は、前記映像復号化装置の外部ユーザインタフェースでの設定により、前記遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段へ出力するので、音声出力の選択を遠隔地の送信側からの制御だけでなく、映像復号化装置での操作でもでき、送信側だけでなく受信側の都合にも適宜対応して選択できる効果がある。
【図面の簡単な説明】
【図１】  この発明の実施の形態１の映像音声伝送システムにおける映像符号化装置と映像復号化装置を示すブロック図である。
【図２】  この発明の実施の形態２の映像音声伝送システムにおける映像符号化装置と映像復号化装置を示すブロック図である。
【図３】  この発明の映像音声伝送システムにおける映像符号化装置での映像符号化処理時間と音声符号化処理時間、ならびに映像復号化装置での映像復号化処理時間と音声復号化処理時間の関係を示す説明図である。
【図４】  音声を出力映像に同期させる場合について、図３に遅延手段による遅延時間を付加した各処理時間の関係を示す説明図である。
【図５】  従来の映像音声伝送システムにおける映像符号化装置と映像復号化装置を示すブロック図である。
【符号の説明】
１  映像符号化装置、１１  映像符号化手段、１２  音声符号化手段、１３  多重化手段、１４  音声制御情報生成手段
２  映像復号化装置、２１  映像復号化手段、２２  音声復号化手段、２３  分離手段、２４  遅延手段、２５  音声選択手段
【図１】
0003683210.tif 000002
【図２】
0003683210.tif 000003
【図３】
0003683210.tif 000004
【図４】
0003683210.tif 000005
【図５】
0003683210.tif 000006