(57)【要約】【課題】大量の遅延メモリを実装することなく、映像信号と音声信号の同期ずれを抑えることができるようにする。【解決手段】映像信号に対する遅延処理を実施し、遅延後の映像信号を符号化して、映像符号化データを生成する映像符号化処理部１２と、音声信号に対する遅延処理を実施し、遅延後の音声信号を指定された符号化フレーム長で符号化して、音声符号化データを生成する音声符号化処理部１３とを設け、同期制御部１４が映像符号化処理部１２による処理時間と音声符号化処理部１３とを比較して、音声符号化処理部１３が音声信号を符号化する際の符号化フレーム長を指定する。【選択図】図１
2009253744.tif 000002
【特許請求の範囲】
【請求項１】
映像信号に対する遅延処理を実施し、遅延後の映像信号を符号化して、映像符号化データを生成する映像符号化手段と、音声信号に対する遅延処理を実施し、遅延後の音声信号を指定された符号化フレーム長で符号化して、音声符号化データを生成する音声符号化手段と、上記映像符号化手段による処理時間と上記音声符号化手段による処理時間とを比較して上記符号化フレーム長を指定する符号化フレーム長指定手段と、上記映像符号化手段により生成された映像符号化データ、上記音声符号化手段により生成された音声符号化データ及び上記符号化フレーム長指定手段により指定された符号化フレーム長を示す符号化フレーム長情報を多重化してストリーム信号を生成するメディア多重化手段とを備えた符号化装置。
【請求項２】
符号化フレーム長指定手段は、映像符号化手段による処理時間が音声符号化手段による処理時間より長い場合、符号化フレーム長が長くなる方向に変更し、上記映像符号化手段による処理時間が上記音声符号化手段による処理時間より短い場合、上記符号化フレーム長が短くなる方向に変更して、上記映像符号化手段による処理時間と上記音声符号化手段による処理時間を一致させることを特徴とする請求項１記載の符号化装置。
【請求項３】
ストリーム信号に含まれている映像符号化データ、音声符号化データ及び符号化フレーム長情報を分離するメディア分離手段と、上記メディア分離手段により分離された映像符号化データを復号し、上記映像符号化データの復号結果である映像信号に対する遅延処理を実施する映像復号手段と、上記メディア分離手段により分離された符号化フレーム長情報が示す符号化フレーム長毎に、上記メディア分離手段により分離された音声符号化データを復号し、上記音声符号化データの復号結果である音声信号に対する遅延処理を実施する音声復号手段とを備えた復号装置。
【請求項４】
映像信号及び音声信号を符号化して、映像符号化データ及び音声符号化データを含むストリーム信号を送信する符号化装置と、上記符号化装置から送信されたストリーム信号を受信し、上記ストリーム信号に含まれている映像符号化データ及び音声符号化データを復号して映像信号及び音声信号を再生する復号装置とからなる映像音声伝送システムにおいて、上記符号化装置は、映像信号に対する遅延処理を実施し、遅延後の映像信号を符号化して、映像符号化データを生成する映像符号化手段と、音声信号に対する遅延処理を実施し、遅延後の音声信号を指定された符号化フレーム長で符号化して、音声符号化データを生成する音声符号化手段と、上記映像符号化手段による処理時間と上記音声符号化手段による処理時間とを比較して上記符号化フレーム長を指定する符号化フレーム長指定手段と、上記映像符号化手段により生成された映像符号化データ、上記音声符号化手段により生成された音声符号化データ及び上記符号化フレーム長指定手段により指定された符号化フレーム長を示す符号化フレーム長情報を多重化してストリーム信号を生成し、上記ストリーム信号を送信するメディア多重化手段とを備え、上記復号装置は、上記符号化装置から送信されたストリーム信号を受信し、上記ストリーム信号に含まれている映像符号化データ、音声符号化データ及び符号化フレーム長情報を分離するメディア分離手段と、上記メディア分離手段により分離された映像符号化データを復号し、上記映像符号化データの復号結果である映像信号に対する遅延処理を実施する映像復号手段と、上記メディア分離手段により分離された符号化フレーム長情報が示す符号化フレーム長毎に、上記メディア分離手段により分離された音声符号化データを復号し、上記音声符号化データの復号結果である音声信号に対する遅延処理を実施する音声復号手段とを備えていることを特徴とする映像音声伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像信号及び音声信号を符号化して、映像符号化データ及び音声符号化データを送信する符号化装置と、映像符号化データ及び音声符号化データを復号して映像信号及び音声信号を再生する復号装置と、その符号化装置及び復号装置からなる映像音声伝送システムとに関するものである。
【背景技術】
【０００２】
一般に、映像信号及び音声信号を高能率に圧縮して伝送する映像音声伝送システムにおいては、映像信号の処理系と音声信号の処理系に固有の遅延が存在する。
ここでの「遅延」は、入力信号（映像信号、音声信号）を一時的に格納する際のバッファリング遅延、入力信号を符号化する際の符号化方式に伴う固有のアルゴリズム遅延、符号化装置が符号化データを復号装置に伝送する際の伝送遅延、その他装置を実現する際に必要となる所定の処理遅延などを含む概念である。
【０００３】
高圧縮符号化技術の一つとして、国際標準であるＭＰＥＧ方式（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）があり、日本国内のデジタル放送では、このＭＰＥＧ方式が採用されている。
このＭＰＥＧ方式を使用して、１つのデータストリームを生成する場合、映像信号と音声信号が別々に符号化されるため、復号時に、タイムスタンプを使用して、映像信号と音声信号の同期をとって再生することが考えられている。
しかしながら、現実的には、各種の遅延が、映像の処理系と音声の処理系で発生するため、映像信号と音声信号の同期をとるための改善手法が提案されている。
【０００４】
即ち、映像信号と音声信号の同期ずれに対応するために、復号装置が大量の遅延メモリを実装して、映像信号及び音声信号に対する遅延処理を実施するようにしている（例えば、特許文献１参照）。
また、通常は、予め遅延の大きな処理系に合わせて、遅延の小さな処理系に遅延を追加することで同期をとる手法がとられるため、全体の処理系における遅延が大きくなる傾向がある。
また、映像信号と音声信号の遅延の大小関係を判別することができず、双方の場合に備えたバッファ構成を採用する必要がある。
【０００５】
【特許文献１】特開２００６−１９１４６３号公報（段落番号［００１１］から［００１２］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の映像音声伝送システムは以上のように構成されているので、映像信号と音声信号の同期ずれに対応するために、復号装置側に大量の遅延メモリを実装する必要がある課題があった。
また、通常は、予め遅延の大きな処理系に合わせて、遅延の小さな処理系に遅延を追加することで同期をとる手法がとられるため、全体の処理系における遅延が大きくなる傾向がある。また、映像信号と音声信号の遅延の大小関係を判別することができず、双方の場合に備えたバッファ構成を採用する必要があるなどの課題もあった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、大量の遅延メモリを実装することなく、映像信号と音声信号の同期ずれを抑えることができる符号化装置、復号装置及び映像音声伝送システムを得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る符号化装置は、映像信号に対する遅延処理を実施し、遅延後の映像信号を符号化して、映像符号化データを生成する映像符号化手段と、音声信号に対する遅延処理を実施し、遅延後の音声信号を指定された符号化フレーム長で符号化して、音声符号化データを生成する音声符号化手段とを設け、符号化フレーム長指定手段が映像符号化手段による処理時間と音声符号化手段による処理時間とを比較して、音声符号化手段が音声信号を符号化する際の符号化フレーム長を指定するようにしたものである。
【発明の効果】
【０００９】
この発明によれば、映像信号に対する遅延処理を実施し、遅延後の映像信号を符号化して、映像符号化データを生成する映像符号化手段と、音声信号に対する遅延処理を実施し、遅延後の音声信号を指定された符号化フレーム長で符号化して、音声符号化データを生成する音声符号化手段とを設け、符号化フレーム長指定手段が映像符号化手段による処理時間と音声符号化手段による処理時間とを比較して、音声符号化手段が音声信号を符号化する際の符号化フレーム長を指定するように構成したので、大量の遅延メモリを復号装置に実装することなく、映像信号と音声信号の同期ずれを抑えることができる効果がある。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による映像音声伝送システムを示す構成図である。
図１において、符号化装置１は映像信号及び音声信号を符号化して、映像符号化データ及び音声符号化データを含むストリーム信号を復号装置２に送信する処理を実施する。
復号装置２は符号化装置１から送信されたストリーム信号を受信し、そのストリーム信号に含まれている映像符号化データ及び音声符号化データを復号して映像信号及び音声信号を再生する処理を実施する。
【００１１】
第１遅延制御部１１は映像符号化処理部１２及び音声符号化処理部１３における遅延処理を制御する処理を実施する。
映像符号化処理部１２は映像信号を入力すると、第１遅延制御部１１の制御の下、その映像信号に対する遅延処理を実施し、遅延後の映像信号を符号化して、映像符号化データを生成する処理を実施する。なお、映像符号化処理部１２は映像符号化手段を構成している。
【００１２】
音声符号化処理部１３は音声信号を入力すると、第１遅延制御部１１の制御の下、その音声信号に対する遅延処理を実施し、遅延後の音声信号を同期制御部１４により指定された符号化フレーム長で符号化して、音声符号化データを生成する処理を実施する。また、音声符号化処理部１３は符号化フレーム長を示す符号化フレーム長情報を音声符号化データに多重化して、その音声符号化データをメディア多重化部１５に出力する処理を実施する。なお、音声符号化処理部１３は音声符号化手段を構成している。
【００１３】
同期制御部１４は映像系の遅延に連動して音声系の遅延を制御する処理部であって、映像符号化処理部１２による処理時間と音声符号化処理部１３による処理時間とを比較して、音声符号化処理部１３が音声信号を符号化する際の符号化フレーム長を指定する処理を実施する。
即ち、同期制御部１４は映像符号化処理部１２による処理時間が音声符号化処理部１３による処理時間より長い場合、音声信号を符号化する際の符号化フレーム長が長くなる方向に変更し、映像符号化処理部１２による処理時間が音声符号化処理部１３による処理時間より短い場合、その符号化フレーム長が短くなる方向に変更して、映像符号化処理部１２による処理時間と音声符号化処理部１３による処理時間を一致させる処理を実施する。なお、同期制御部１４は符号化フレーム長指定手段を構成している。
【００１４】
メディア多重化部１５は映像符号化処理部１２により生成された映像符号化データと音声符号化処理部１３により符号化フレーム長情報が多重化されている音声符号化データを多重化してストリーム信号を生成し、そのストリーム信号を復号装置２に送信する処理を実施する。
ここでは、音声符号化処理部１３が符号化フレーム長情報を音声符号化データに多重化して、メディア多重化部１５が映像符号化処理部１２により生成された映像符号化データと音声符号化処理部１３により符号化フレーム長情報が多重化されている音声符号化データを多重化してストリーム信号を生成するものについて示したが、メディア多重化部１５が、映像符号化処理部１２により生成された映像符号化データと、音声符号化処理部１３により生成された音声符号化データと、同期制御部１４により指定された符号化フレーム長を示す符号化フレーム長情報とを多重化してストリーム信号を生成するようにしてもよい。
なお、メディア多重化部１５はメディア多重化手段を構成している。
【００１５】
メディア分離部２１は符号化装置１から送信されたストリーム信号を受信し、そのストリーム信号に含まれている映像符号化データと音声符号化データを分離する処理を実施する。
ここでは、メディア分離部２１がストリーム信号に含まれている映像符号化データと音声符号化データを分離するものについて示したが、さらに、その音声符号化データに多重化されている符号化フレーム長情報を分離するようにしてもよい。
なお、メディア分離部２１はメディア分離手段を構成している。
【００１６】
第２遅延制御部２２は映像復号処理部２３及び音声復号処理部２４における遅延処理を制御する処理を実施する。
映像復号処理部２３は第２遅延制御部２２の制御の下、メディア分離部２１により分離された映像符号化データを復号し、その映像符号化データの復号結果である映像信号に対する遅延処理を実施する。なお、映像復号処理部２３は映像復号手段を構成している。
【００１７】
音声復号処理部２４はメディア分離部２１により分離された音声符号化データから符号化フレーム長情報を分離して、その符号化フレーム長情報が示す符号化フレーム長毎に、その音声符号化データを復号し、その音声符号化データの復号結果である音声信号に対する遅延処理を実施する。
ここでは、音声復号処理部２４が音声符号化データから符号化フレーム長情報を分離しているが、上述したように、メディア分離部２１が音声符号化データから符号化フレーム長情報を分離する場合には、音声復号処理部２４が符号化フレーム長情報を分離する処理を実施しない。
なお、音声復号処理部２４は音声復号手段を構成している。
【００１８】
図２はこの発明の実施の形態１による符号化装置における映像符号化処理部１２の内部を示す構成図である。
図２において、第１映像遅延部３１は第１遅延制御部１１の制御の下、映像信号に対する遅延処理を実施する。
映像符号化部３２はユーザにより指定された映像符号化方式、または、第１遅延制御部１１による遅延制御に対応する映像符号化方式で、第１映像遅延部３１により遅延された映像信号を符号化して、映像符号化データを生成する処理を実施する。
また、映像符号化部３２は映像符号化方式によって決まるバッファリング遅延及び符号化処理遅延（アルゴリズム遅延）を示す映像遅延情報を同期制御部１４に出力する処理を実施する。
【００１９】
図３はこの発明の実施の形態１による符号化装置における音声符号化処理部１３の内部を示す構成図である。
図３において、第１音声遅延部４１は第１遅延制御部１１の制御の下、音声信号に対する遅延処理を実施する。
音声符号化部４２はユーザにより指定された音声符号化方式、または、第１遅延制御部１１による遅延制御に対応する音声符号化方式で、かつ、同期制御部１４により指定された符号化フレーム長で、第１音声遅延部４１により遅延された音声信号を符号化して、音声符号化データを生成するとともに、その符号化フレーム長を示す符号化フレーム長情報を音声符号化データに多重化して、その音声符号化データをメディア多重化部１５に出力する処理を実施する。
また、音声符号化部４２は音声符号化方式によって決まるバッファリング遅延及び符号化処理遅延（アルゴリズム遅延）を示す音声遅延情報を同期制御部１４に出力する処理を実施する。
【００２０】
図５はこの発明の実施の形態１による復号装置における映像復号処理部２３の内部を示す構成図である。
図５において、映像復号部５１は第２遅延制御部２２の制御の下、メディア分離部２１により分離された映像符号化データを復号し、その映像符号化データの復号結果である映像信号を出力する処理を実施する。
第２映像遅延部５２は映像復号部５１から出力された映像信号に対する遅延処理を実施して、第２遅延制御部２２により指定されたタイミングで映像信号を出力する処理を実施する。
【００２１】
図６はこの発明の実施の形態１による復号装置における音声復号処理部２４の内部を示す構成図である。
図６において、音声復号部６１はメディア分離部２１により分離された音声符号化データから符号化フレーム長情報を分離して、その符号化フレーム長情報が示す符号化フレーム長毎に、その音声符号化データを復号し、その音声符号化データの復号結果である音声信号を出力する処理を実施する。
第２音声遅延部６２は音声復号部６１から出力された音声信号に対する遅延処理を実施して、第２遅延制御部２２により指定されたタイミングで音声信号を出力する処理を実施する。
【００２２】
次に動作について説明する。
符号化装置１は、映像信号及び音声信号を入力すると、その映像信号及び音声信号を符号化して映像符号化データ及び音声符号化データを生成し、その映像符号化データ及び音声符号化データを含むストリーム信号を復号装置２に送信する。
以下、符号化装置１の処理内容を具体的に説明する。
【００２３】
図４は映像符号化処理部１２による処理時間と音声符号化処理部１３による処理時間を示す説明図である。
符号化装置１の第１遅延制御部１１は、映像符号化処理部１２が映像信号の符号化を実行する最小単位として、その映像信号のフレーム周波数ｆｖ（例えば、３０Ｈｚ）を設定する。
このとき、映像信号を符号化する周期Ｔｖは、Ｔｖ＝１／ｆｖであり、約３３．３３ｍｓｅｃとなる。
第１遅延制御部１１は、映像符号化処理部１２における映像符号化の効率を高めるため、Ｎｖ個の映像フレームをまとめた符号化フレームＦｖ（＝Ｔｖ×Ｎｖ）を一単位として符号化の実施を指示する制御信号を映像符号化処理部１２に出力する。
【００２４】
また、第１遅延制御部１１は、音声符号化処理部１３が音声信号の符号化を実行する最小単位として、その音声信号のサンプリング周波数ｆａ（例えば、４８０００ｋＨｚ）を設定する。
このとき、音声信号を符号化する周期Ｔａは、Ｔａ＝１／ｆａであり、約２０．８３μｓｅｃとなる。
第１遅延制御部１１は、音声符号化処理部１３における音声符号化の効率を高めるため、サンプリング周波数ｆａでサンプルされたＮａ個の音声サンプルをまとめた符号化フレームＦａ（＝Ｔａ×Ｎａ）を一単位として符号化の実施を指示する制御信号を音声符号化処理部１３に出力する。
【００２５】
なお、第１遅延制御部１１は、遅延制御に対応する映像符号化方式及び音声符号化方式を設定して、その映像符号化方式を映像符号化処理部１２に通知し、また、その音声符号化方式を音声符号化処理部１３に通知する。
ここでは、第１遅延制御部１１が映像符号化方式及び音声符号化方式を設定するものについて示したが、ユーザが映像符号化方式及び音声符号化方式を設定するようにしてもよい。
【００２６】
映像符号化処理部１２の第１映像遅延部３１は、映像信号を入力すると、第１遅延制御部１１から出力された制御信号にしたがって映像信号に対する遅延処理を実施する。
即ち、第１映像遅延部３１は、映像信号を一時的に格納するデータバッファを備えており、映像符号化部３２がＮｖ個の映像フレームをまとめた符号化フレームＦｖ（＝Ｔｖ×Ｎｖ）を一単位とする符号化を実施することができるように映像信号のバッファリングを行う。
【００２７】
映像符号化処理部１２の映像符号化部３２は、第１遅延制御部１１から通知された映像符号化方式で、第１映像遅延部３１により遅延された映像信号を符号化して、映像符号化データを生成する。
また、映像符号化部３２は、第１映像遅延部３１による映像信号のバッファリングに伴うバッファリング遅延Ｆｖと、その映像信号の符号化に伴う符号化処理遅延との総和である映像遅延Ｄｖを示す映像遅延情報を同期制御部１４に出力する。
【００２８】
音声符号化処理部１３の第１音声遅延部４１は、音声信号を入力すると、第１遅延制御部１１から出力された制御信号にしたがって音声信号に対する遅延処理を実施する。
即ち、第１音声遅延部４１は、音声信号を一時的に格納するデータバッファを備えており、音声符号化部４２がＮａ個の音声サンプルをまとめた符号化フレームＦａ（＝Ｔａ×Ｎａ）を一単位とする符号化を実施することができるように音声信号のバッファリングを行う。
【００２９】
音声符号化処理部１３の音声符号化部４２は、第１遅延制御部１１から通知された音声符号化方式で、第１音声遅延部４１により遅延された音声信号を符号化して、音声符号化データを生成する。
ただし、この段階では、音声符号化部４２が音声信号を符号化する際、第１遅延制御部１１から出力された制御信号が示す符号化フレームＦａ（＝Ｔａ×Ｎａ）単位で、音声信号を符号化している。
音声符号化部４２は、第１音声遅延部４１による音声信号のバッファリングに伴うバッファリング遅延Ｆａと、その音声信号の符号化に伴う符号化処理遅延との総和である音声遅延Ｄａを示す音声遅延情報を同期制御部１４に出力する。
【００３０】
同期制御部１４は、映像符号化処理部１２から映像遅延情報を受け、音声符号化処理部１３から音声遅延情報を受けると、映像信号と音声信号の同期ずれを解消するため、映像符号化処理部１２による処理時間と音声符号化処理部１３による処理時間とを比較する。
即ち、同期制御部１４は、映像符号化処理部１２から出力された映像遅延情報が示す映像遅延Ｄｖと、音声符号化処理部１３から出力された音声遅延情報が示す音声遅延Ｄａとを比較する。
同期制御部１４は、映像遅延Ｄｖと音声遅延Ｄａが一致していれば、同期ずれがないと判定するが、映像遅延Ｄｖと音声遅延Ｄａが一致していなければ、同期ずれがあると判定する。
【００３１】
同期制御部１４は、同期ずれがないと判定すると、音声符号化処理部１３が音声信号を符号化する際の符号化フレーム長、即ち、第１遅延制御部１１から出力された制御信号が示す音声信号の符号化フレームＦａ（＝Ｔａ×Ｎａ）を変更せずに、その符号化フレームＦａを示す符号化フレーム長情報を音声符号化処理部１３に出力する。
同期制御部１４は、同期ずれがあると判定すると、下記のようにして、その符号化フレームＦａを変更し、変更後の符号化フレームＦａを示す符号化フレーム長情報を音声符号化処理部１３に出力する。
【００３２】
同期制御部１４は、映像遅延Ｄｖが音声遅延Ｄａより大きい場合（映像符号化処理部１２による処理時間が音声符号化処理部１３による処理時間より長い場合）、映像遅延Ｄｖと音声遅延Ｄａを一致させるため、音声符号化処理部１３が音声信号を符号化する際の符号化フレーム長、即ち、第１遅延制御部１１から出力された制御信号が示す音声信号の符号化フレームＦａ（＝Ｔａ×Ｎａ）が長くなる方向に変更する。
一方、映像遅延Ｄｖが音声遅延Ｄａより小さい場合（映像符号化処理部１２による処理時間が音声符号化処理部１３による処理時間より短い場合）、映像遅延Ｄｖと音声遅延Ｄａを一致させるため、音声符号化処理部１３が音声信号を符号化する際の符号化フレーム長、即ち、第１遅延制御部１１から出力された制御信号が示す音声信号の符号化フレームＦａ（＝Ｔａ×Ｎａ）が短くなる方向に変更する。
【００３３】
音声符号化処理部１３の第１音声遅延部４１は、同期制御部１４から変更された符号化フレームＦａを受けると、以降の音声信号の符号化については、音声符号化部４２が変更後の符号化フレームＦａの単位で符号化を実施することができるように音声信号のバッファリングを行う。
音声符号化部４２は、以降の音声信号の符号化については、変更後の符号化フレームＦａの単位で、音声信号の符号化を実施する。
【００３４】
なお、映像遅延Ｄｖと音声遅延Ｄａが一致するように、音声信号の符号化フレームＦａが変更されると、Ｄａ＝Ｄｖ＝２×Ｆａの関係が構築され、Ｆａ＝Ｄｖ／２となる。
これにより、音声符号化部４２では、Ｎａ＝Ｄｖ／（２×Ｔａ）により求めた音声サンプル数Ｎａを符号化フレーム長として符号化を行うことになる。
音声符号化部４２は、音声信号を符号化して音声符号化データを生成すると、変更後の符号化フレームＦａ（同期制御部１４により変更されていなければ、第１遅延制御部１１から出力された制御信号が示す符号化フレームＦａ）を示す符号化フレーム長情報を音声符号化データに多重化し、多重化後の音声符号化データをメディア多重化部１５に出力する。
【００３５】
メディア多重化部１５は、映像符号化処理部１２が映像符号化データを生成し、音声符号化処理部１３が音声符号化データ（符号化フレーム長情報を含む）を生成すると、その映像符号化データと音声符号化データを多重化してストリーム信号（＝映像符号化データ＋音声符号化データ＋符号化フレーム長情報）を生成し、そのストリーム信号を復号装置２に送信する。
【００３６】
復号装置２は、符号化装置１から送信されたストリーム信号を受信し、そのストリーム信号に含まれている映像符号化データ及び音声符号化データを復号して映像信号及び音声信号を再生する。
以下、復号装置２の処理内容を具体的に説明する。
【００３７】
復号装置２の第２遅延制御部２２は、映像復号処理部２３が映像符号化データの復号を実行する一単位として、符号化装置１の第１遅延制御部１１と同様に、符号化フレームＦｖ（＝Ｔｖ×Ｎｖ）を決定し、その符号化フレームＦｖ（＝Ｔｖ×Ｎｖ）を一単位として復号の実施を指示する制御信号を映像復号処理部２３に出力する。
また、第２遅延制御部２２は、映像符号化処理部１２が実施する映像符号化方式に対応する映像復号方式を映像復号処理部２３に通知し、音声符号化処理部１３が実施する音声符号化方式に対応する音声復号方式を音声復号処理部２４に通知する。
【００３８】
復号装置２のメディア分離部２１は、符号化装置１から送信されたストリーム信号を受信すると、そのストリーム信号に含まれている映像符号化データと音声符号化データを分離して、その映像符号化データを映像復号処理部２３に出力し、また、その音声符号化データを音声復号処理部２４に出力する。
【００３９】
映像復号処理部２３の映像復号部５１は、メディア分離部２１から映像符号化データを受けると、第２遅延制御部２２から通知された映像復号方式で、その映像符号化データを復号し、その映像符号化データの復号結果である映像信号を第２映像遅延部５２に出力する。
この際、映像復号部５１は、第２遅延制御部２２から出力された制御信号が示す符号化フレームＦｖ（＝Ｔｖ×Ｎｖ）単位で、映像符号化データの復号を行う。
【００４０】
映像復号処理部２３の第２映像遅延部５２は、映像復号部５１から出力された映像信号を一時的に格納するデータバッファを備えており、そのデータバッファ内の映像信号を第２遅延制御部２２により指定されたタイミングで映像信号を出力する。
例えば、第２遅延制御部２２は、データバッファに格納されている映像信号のデータ量を監視し、その映像信号のデータ量が規定量になると、第２映像遅延部５２及び第２音声遅延部６２に対して、映像信号（音声信号）の出力を指示する。
【００４１】
音声復号処理部２４の音声復号部６１は、メディア分離部２１から音声符号化データを受けると、その音声符号化データから符号化フレーム長情報を分離する。
音声復号部６１は、第２遅延制御部２２から通知された音声復号方式で、その音声符号化データを復号し、その音声符号化データの復号結果である音声信号を第２音声遅延部６２に出力する。
この際、音声復号部６１は、その符号化フレーム長情報が示す符号化フレームＦａ単位で、その音声符号化データの復号を行う。
【００４２】
音声復号処理部２４の第２音声遅延部６２は、音声復号部６１から出力された音声信号を一時的に格納するデータバッファを備えており、そのデータバッファ内の音声信号を第２遅延制御部２２により指定されたタイミングで音声信号を出力する。
これにより、復号装置２から映像信号と音声信号が同じタイミングで出力される。
【００４３】
以上で明らかなように、この実施の形態１によれば、映像信号に対する遅延処理を実施し、遅延後の映像信号を符号化して、映像符号化データを生成する映像符号化処理部１２と、音声信号に対する遅延処理を実施し、遅延後の音声信号を指定された符号化フレーム長で符号化して、音声符号化データを生成する音声符号化処理部１３とを設け、同期制御部１４が映像符号化処理部１２による処理時間と音声符号化処理部１３とを比較して、音声符号化処理部１３が音声信号を符号化する際の符号化フレーム長を指定するように構成したので、大量の遅延メモリを復号装置２に実装することなく、映像信号と音声信号の同期ずれを抑えることができる効果を奏する。
【００４４】
即ち、この実施の形態１によれば、映像の符号化方式や動作モードに応じて遅延が異なる場合に適応的に音声系の遅延が制御されるので、復号装置２から出力される映像信号と音声信号の同期ずれを抑えることが可能となる。
また、符号化装置１において、映像信号と音声信号の同期ずれを、映像信号と音声信号のアルゴリズム遅延の差の範囲内に抑えるため、符号化装置１における第１映像遅延部３１及び第１音声遅延部４１の回路規模の縮小やコストの削減が可能となる。
また、復号装置２においても同様に、映像信号と音声信号の遅延の差異が限定的なものとなるため、第２映像遅延部５２及び第２音声遅延部６２の回路規模の縮小やコストの削減が可能となる。
【００４５】
また、この実施の形態１によれば、音声信号の符号化を実行する最小単位である周期ＴａのＮａ倍に相当する符号化フレームＦａを採用するため、映像の符号化を実行する最小単位である周期ＴｖのＮｖ倍に相当する符号化フレームＦｖに対して小さく設定することが可能であり、この場合には、常に映像信号に対して音声信号の遅延を制御する構成とすることができる。これにより、復号装置２における第２映像遅延部５２のバッファサイズを限りなく小さくすることも可能となり、回路規模の縮小やコストの削減に寄与する。
【００４６】
この実施の形態１では、音声の符号化を実行する周期Ｔａが映像の符号化を実行する周期Ｔｖより短いものについて示したが、音声の符号化を実行する周期Ｔａが映像の符号化を実行する周期Ｔｖより長くてもよい。
また、映像信号や音声信号以外のデータを符号化するものであってもよい。
【００４７】
実施の形態２．
上記実施の形態１では、同期制御部１４が映像符号化処理部１２による処理時間と音声符号化処理部１３による処理時間とを比較して、音声符号化処理部１３が音声信号を符号化する際の符号化フレーム長を指定するものについて示したが、さらに、ストリーム信号の構造におけるデータ多重効率を考慮して、その符号化フレーム長を補正するようにしてもよい。
【００４８】
図７はこの発明の実施の形態２による符号化装置における同期制御部１６の内部を示す構成図である。
図７において、同期制御部１６は図１の同期制御部１４と同様に、映像系の遅延に連動して音声系の遅延を制御する処理部であって、映像符号化処理部１２による処理時間と音声符号化処理部１３による処理時間とを比較して、音声符号化処理部１３が音声信号を符号化する際の符号化フレーム長を指定する処理を実施する。
【００４９】
同期制御部１６のフレーム長算出部７１は映像符号化処理部１２から出力された映像遅延情報が示す映像遅延Ｄｖと、音声符号化処理部１３から出力された音声遅延情報が示す音声遅延Ｄａとを比較し、その映像遅延Ｄｖが音声遅延Ｄａより大きい場合、第１遅延制御部１１から出力された制御信号が示す音声信号の符号化フレームＦａ（＝Ｔａ×Ｎａ）が長くなる方向に変更し、その映像遅延Ｄｖが音声遅延Ｄａより小さい場合、第１遅延制御部１１から出力された制御信号が示す音声信号の符号化フレームＦａ（＝Ｔａ×Ｎａ）が短くなる方向に変更して、映像遅延Ｄｖと音声遅延Ｄａを一致させる処理を実施する。
フレーム長補正部７２はストリーム信号の構造におけるデータ多重効率を考慮して、フレーム長算出部７１により算出された符号化フレーム長を補正する処理を実施する。
【００５０】
次に動作について説明する。
ただし、上記実施の形態１と比較して、符号化装置１の同期制御部１４の代わりに、同期制御部１６が搭載されている点以外は同じであるため、同期制御部１６の処理内容のみを説明する。
【００５１】
同期制御部１６のフレーム長算出部７１は、図１の同期制御部１４と同様にして、音声符号化処理部１３が音声信号を符号化する際の符号化フレーム長を決定する。
即ち、フレーム長算出部７１は、映像符号化処理部１２から出力された映像遅延情報が示す映像遅延Ｄｖと、音声符号化処理部１３から出力された音声遅延情報が示す音声遅延Ｄａとを比較し、映像遅延Ｄｖと音声遅延Ｄａが一致していれば、同期ずれがないと判定するが、映像遅延Ｄｖと音声遅延Ｄａが一致していなければ、同期ずれがあると判定する。
【００５２】
フレーム長算出部７１は、同期ずれがないと判定すると、音声符号化処理部１３が音声信号を符号化する際の符号化フレーム長、即ち、第１遅延制御部１１から出力された制御信号が示す音声信号の符号化フレームＦａ（＝Ｔａ×Ｎａ）を変更せずに、その符号化フレームＦａをフレーム長補正部７２に出力する。
同期制御部１４は、同期ずれがあると判定すると、下記のようにして、その符号化フレームＦａを変更し、変更後の符号化フレームＦａをフレーム長補正部７２に出力する。
【００５３】
フレーム長算出部７１は、映像遅延Ｄｖが音声遅延Ｄａより大きい場合、映像遅延Ｄｖと音声遅延Ｄａを一致させるため、第１遅延制御部１１から出力された制御信号が示す音声信号の符号化フレームＦａ（＝Ｔａ×Ｎａ）が長くなる方向に変更する。
一方、映像遅延Ｄｖが音声遅延Ｄａより小さい場合、映像遅延Ｄｖと音声遅延Ｄａを一致させるため、第１遅延制御部１１から出力された制御信号が示す音声信号の符号化フレームＦａ（＝Ｔａ×Ｎａ）が短くなる方向に変更する。
【００５４】
フレーム長補正部７２は、フレーム長算出部７１から符号化フレームＦａを受けると、ストリーム信号の構造におけるデータ多重効率を考慮して、その符号化フレームＦａを補正し、補正後の符号化フレームＦｂを示す符号化フレーム長情報を音声符号化処理部１３に出力する。
以下、フレーム長補正部７２の処理内容を具体的に説明する。
【００５５】
ここでは、符号化データを固定長のパケットに分割多重してストリーム信号を生成する場合を想定する。
図８は符号化データを固定長のパケットに分割多重している様子を示す説明図である。
特に、図８（ａ）はＮ個の符号化フレームＦａからなる符号化データ長Ｌａがパケット長Ｌｐでパケット化されている様子を示している。図８（ａ）では、符号化データ長Ｌａとパケット長Ｌｐの差分に対して、冗長ビットを挿入することで、パケットを生成している。
また、図８（ｂ）はＭ個の符号化フレームＦｂからなる符号化データ長Ｌｂがパケット長Ｌｐでパケット化されている様子を示している。図８（ｂ）では、符号化データ長Ｌｂとパケット長Ｌｐの差分に対して、冗長ビットを挿入することで、パケットを生成している。
このとき、図８（ａ）のパケットに対する冗長ビットの挿入量と、図８（ｂ）のパケットに対する冗長ビットの挿入量とを比較すると、図８（ｂ）のパケットに対する冗長ビットの挿入量の方が少なく、データの多重効率が高い。
【００５６】
図９は音声信号の符号化フレームがＦａとＦｂに設定された場合の遅延を示す説明図である。
特に、図９（ａ）は音声信号の符号化フレームがＦａである場合の遅延を示し、図９（ｂ）は音声信号の符号化フレームがＦｂである場合の遅延を示している。
図９において、Ｎａは符号化フレームがＦａである場合の音声サンプル数であり、Ｎａ＝Ｆａ／Ｔａである。
また、Ｎｂは符号化フレームがＦｂである場合の音声サンプル数であり、Ｎｂ＝Ｆｂ／Ｔａである。
図９から明らかなように、Ｆｂ＜Ｆａとなる符号化フレームＦｂを決定すれば、データの多重効率の劣化を抑え、かつ、絶対遅延を小さくすることができることがわかる。
【００５７】
そこで、フレーム長補正部７２は、フレーム長算出部７１から符号化フレームＦａを受けると、Ｆｂ＜Ｆａとなる符号化フレームＦｂを決定し、その符号化フレームＦｂを示す符号化フレーム長情報を音声符号化処理部１３に出力する。
このように、この実施の形態２によれば、音声の符号化を実行する最小単位である周期ＴａのＮｂ倍に相当する符号化フレームＬｂを採用し、かつ、パケット長に合わせて符号化フレーム長を補正するので、データの多重効率を高めることが可能となる。
【図面の簡単な説明】
【００５８】
【図１】この発明の実施の形態１による映像音声伝送システムを示す構成図である。
【図２】この発明の実施の形態１による符号化装置における映像符号化処理部１２の内部を示す構成図である。
【図３】この発明の実施の形態１による符号化装置における音声符号化処理部１３の内部を示す構成図である。
【図４】映像符号化処理部１２による処理時間と音声符号化処理部１３による処理時間を示す説明図である。
【図５】この発明の実施の形態１による復号装置における映像復号処理部２３の内部を示す構成図である。
【図６】この発明の実施の形態１による復号装置における音声復号処理部２４の内部を示す構成図である。
【図７】この発明の実施の形態２による符号化装置における同期制御部１６の内部を示す構成図である。
【図８】符号化データを固定長のパケットに分割多重している様子を示す説明図である。
【図９】音声信号の符号化フレームがＦａとＦｂに設定された場合の遅延を示す説明図である。
【符号の説明】
【００５９】
１  符号化装置、２  復号装置、１１  第１遅延制御部、１２  映像符号化処理部（映像符号化手段）、１３  音声符号化処理部（音声符号化手段）、１４，１６  同期制御部（符号化フレーム長指定手段）、１５  メディア多重化部（メディア多重化手段）、２１  メディア分離部（メディア分離手段）、２２  第２遅延制御部、２３  映像復号処理部（映像復号手段）、２４  音声復号処理部（音声復号手段）、３１  第１映像遅延部、３２  映像符号化部、４１  第１音声遅延部、４２  音声符号化部、５１  映像復号部、５２  第２映像遅延部、６１  音声復号部、６２  第２音声遅延部、７１  フレーム長算出部、７２  フレーム長補正部。
【図１】
2009253744.tif 000003
【図２】
2009253744.tif 000004
【図３】
2009253744.tif 000005
【図４】
2009253744.tif 000006
【図５】
2009253744.tif 000007
【図６】
2009253744.tif 000008
【図７】
2009253744.tif 000009
【図８】
2009253744.tif 000010
【図９】
2009253744.tif 000011