(57)【特許請求の範囲】
【請求項１】
第１符号化ユニットと、第２符号化ユニットと、多重化ユニットと、がそれぞれ相互に接続されたデジタル信号多重化装置を用いてデジタル信号を多重化するデジタル信号多重化方法であって、
前記第１符号化ユニットは、
第１のデジタル信号を符号化し、
前記第１符号化ユニットに割り当てられた第１割当符号化データ量と前記第１符号化ユニットにおける実際の符号化データ量との差に相当する余剰データ量と、前記余剰データ量が生じた時刻を示す時間情報である第１符号化タイミングと、を示す余剰情報を生成し、
前記余剰情報を前記第２符号化ユニットに送信し、
前記第２符号化ユニットは、
前記余剰データ量と、前記第２符号化ユニットに割り当てられた第２割当符号化データ量との和に相当する拡張データ量を追加割当情報量とし、第２のデジタル信号を符号化し、
前記第２のデジタル信号の符号化で前記余剰データ量を一部または全部消費できない場合、その消費できないデータ量である未消費データ量と、前記第１符号化タイミングと、を示す未消費情報を生成し、
前記未消費情報を前記第１符号化ユニットに送信し、
符号化した前記第２のデジタル信号を前記多重化ユニットに送信し、
前記第１符号化ユニットは、
前記第２符号化ユニットから受信した前記未消費情報の未消費データ量に相当するダミーデータを、前記未消費情報が示す前記第１符号化タイミングに符号化された前記第１のデジタル信号に付与し、
前記ダミーデータを付与した前記第１のデジタル信号を前記多重化ユニットに送信し、
前記多重化ユニットは、
前記第１符号化ユニットが送信した前記第１のデジタル信号と、前記第２符号化ユニットが送信した前記第２のデジタル信号とを多重化し、
多重化した前記第１のデジタル信号および前記第２のデジタル信号を、固定帯域伝送路を通じて外部に送信することを特徴とするデジタル信号多重化方法。
【請求項２】
第１符号化ユニットと、第２符号化ユニットと、多重化ユニットと、がそれぞれ相互に接続されたデジタル信号多重化装置を用いてデジタル信号を多重化するデジタル信号多重化方法であって、
前記第１符号化ユニットは、
第１のデジタル信号を符号化し、
前記第１符号化ユニットに割り当てられた第１割当符号化データ量と前記第１符号化ユニットにおける実際の符号化データ量との差に相当する余剰データ量と、前記余剰データ量が生じた時刻を示す時間情報である第１符号化タイミングと、を示す余剰情報を生成し、
前記余剰情報を前記第２符号化ユニットに送信し、
前記第２符号化ユニットは、
前記余剰データ量と、前記第２符号化ユニットに割り当てられた第２割当符号化データ量との和に相当する拡張データ量を追加割当情報量とし、第２のデジタル信号を符号化し、
前記第２のデジタル信号の符号化で前記余剰データ量を一部または全部消費できない場合、その消費できないデータ量である未消費データ量と、前記第１符号化タイミングと、を示す未消費情報を生成し、
前記未消費情報を前記多重化ユニットに送信し、
符号化した前記第２のデジタル信号を前記多重化ユニットに送信し、
前記多重化ユニットは、
前記第２符号化ユニットから受信した前記未消費情報の未消費データ量に相当するダミーデータを、前記未消費情報が示す前記第１符号化タイミングに対応するタイミングで生成し、
前記ダミーデータと、前記第１符号化ユニットが送信した前記第１のデジタル信号と、前記第２符号化ユニットが送信した前記第２のデジタル信号とを多重化し、
多重化した前記ダミーデータ、前記第１のデジタル信号および前記第２のデジタル信号を、固定帯域伝送路を通じて外部に送信することを特徴とするデジタル信号多重化方法。
【請求項３】
第１符号化ユニットと、第２符号化ユニットと、多重化ユニットと、がそれぞれ相互に接続されたデジタル信号多重化装置であって、
前記第１符号化ユニットは、
第１割当符号化データ量を上限として第１のデジタル信号を符号化する第１符号化部と、
前記第１割当符号化データ量と前記第１符号化部における実際の符号化データ量との差に相当する余剰データ量と、前記余剰データ量が生じた時刻を示す時間情報である第１符号化タイミングと、を示す余剰情報を生成し、前記第２符号化ユニットに送信する余剰生成部と、
前記第２符号化ユニットから受信した、前記第２符号化ユニット内における符号化で前記余剰データ量を一部または全部消費できない場合の、その消費できないデータ量である未消費データ量と、前記第１符号化タイミングと、を示す未消費情報の前記未消費データ量に相当するダミーデータを、前記未消費情報が示す前記第１符号化タイミングに符号化された前記第１のデジタル信号に付与し、前記多重化ユニットに送信する信号生成部と、
を備え、
前記第２符号化ユニットは、
前記第１符号化ユニットから受信した余剰情報に示された前記余剰データ量と前記第２符号化ユニットに割り当てられた第２割当符号化データ量との和に相当する拡張データ量を追加割当情報量とし、第２のデジタル信号を符号化し、前記多重化ユニットに送信する第２符号化部と、
前記未消費情報を生成し、前記第１符号化ユニットに送信する未消費生成部と、
を備え、
前記多重化ユニットは、
前記第１符号化ユニットが送信した前記第１のデジタル信号と、前記第２符号化ユニットが送信した前記第２のデジタル信号とを多重化する多重化処理部と、
多重化された前記第１のデジタル信号および前記第２のデジタル信号を、固定帯域伝送路を通じて外部に送信する多重化送信部と、
を備えることを特徴とするデジタル信号多重化装置。
【請求項４】
第１符号化ユニットと、第２符号化ユニットと、多重化ユニットと、がそれぞれ相互に接続されたデジタル信号多重化装置であって、
前記第１符号化ユニットは、
第１割当符号化データ量を上限として第１のデジタル信号を符号化する第１符号化部と、
前記第１割当符号化データ量と前記第１符号化部における実際の符号化データ量との差に相当する余剰データ量と、前記余剰データ量が生じた時刻を示す時間情報である第１符号化タイミングと、を示す余剰情報を生成し、前記第２符号化ユニットに送信する余剰生成部と、
を備え、
前記第２符号化ユニットは、
前記第１符号化ユニットから受信した余剰情報に示された前記余剰データ量と前記第２符号化ユニットに割り当てられた第２割当符号化データ量との和に相当する拡張データ量を追加割当情報量とし、第２のデジタル信号を符号化し、前記多重化ユニットに送信する第２符号化部と、
前記第２符号化部の符号化で前記余剰データ量を一部または全部消費できない場合、その消費できないデータ量である未消費データ量と、前記第１符号化タイミングと、を示す未消費情報を生成し、前記多重化ユニットに送信する未消費生成部と、
を備え、
前記多重化ユニットは、
前記第２符号化ユニットから受信した前記未消費情報の未消費データ量に相当するダミーデータを生成する信号生成部と、
前記ダミーデータと、前記第１符号化ユニットが送信した前記第１のデジタル信号と、前記第２符号化ユニットが送信した前記第２のデジタル信号とを、前記未消費情報が示す前記第１符号化タイミングに対応させて、多重化する多重化処理部と、
多重化された前記ダミーデータ、前記第１のデジタル信号および前記第２のデジタル信号を、固定帯域伝送路を通じて外部に送信する多重化送信部と、
を備えることを特徴とするデジタル信号多重化装置。
【請求項５】
前記第１符号化ユニットもしくは前記第２符号化ユニットのいずれか一方または両方は複数存在し、
１または複数の前記第１符号化ユニットの余剰データ量の総量が、１または複数の前記第２符号化ユニットに、所定の条件に従って分配されることを特徴とする請求項３または４に記載のデジタル信号多重化装置。
【請求項６】
前記所定の条件とは、等配分、前記第２割当符号化データ量に基づく比例配分、または、前記第２符号化ユニットのバッファの容量に基づく比例配分の何れかであることを特徴とする請求項５に記載のデジタル信号多重化装置。
【請求項７】
前記第１のデジタル信号の符号化は、オーディオロスレス符号化方式に基づいて実行され、
前記第２のデジタル信号の符号化は、ＭＰＥＧ−２、ＭＰＥＧ−４／ＡＶＣ、Ｍｏｔｉｏｎ−ＪＰＥＧの何れかの符号化方式に基づいて実行されることを特徴とする請求項３から６のいずれか１項に記載のデジタル信号多重化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の符号化方式のデジタル信号を多重化し固定帯域伝送路を通じて送信するデジタル信号多重化方法およびデジタル信号多重化装置に関する。
【背景技術】
【０００２】
近年、テレビジョン放送の放送電波等、アナログ信号からデジタル信号への切り替えが急速に進んでいる。かかる放送電波の送信施設では、オーディオ（音声）信号やビデオ（映像）信号等の複数のデジタル信号を符号化（圧縮）して同期をとりながら多重化し、使用可能な帯域幅が固定されている伝送路（固定帯域伝送路）を通じて送信する。
【０００３】
このように、複数のデジタル信号を符号化および多重化する場合、図９に示すように、複数の符号化ユニット１０ａ、１０ｂ、１０ｃを総合的に制御する統合制御部１２が設けられ、統合制御部１２は、符号化ユニット１０ａ、１０ｂ、１０ｃそれぞれにおいて時々刻々と変化する符号化の複雑度や情報量を監視する。そして、統合制御部１２は、それぞれの符号化ユニット１０ａ、１０ｂ、１０ｃに入力されたデジタル信号の複雑度や情報量に応じてリソース（出力を許容する情報量等）を、その総量が伝送路の帯域幅を超えない範囲で、個々の符号化ユニット１０ａ、１０ｂ、１０ｃに割り当てる（統計多重化方式）。
【０００４】
さらに、統合制御部に相当する多重化制御部が各符号化ユニット（チャンネル）のバッファから符号化データを読み出す際、各符号化ユニットの符号化データのデータ量に応じて、符号化ユニットの設定レートに対する余剰分の帯域を他の符号化ユニットのバッファからの符号化の読み出しに振り分ける技術が公開されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２５２５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１の技術およびその他の統計多重化方式を用いると、符号化に伴うデータの品質劣化を符号化ユニット（チャンネル）間で平準化することができ、符号化後のデータの伝送効率を向上することが可能となる。
【０００７】
しかし、上述したオーディオ信号とビデオ信号のように、単純に符号化の複雑さや品質を比較できないデジタル信号同士を多重化する場合、それぞれの符号化ユニットに対するリソースの割り当て量を配分する制御が複雑になり、統合制御部の処理負荷が増大する。
【０００８】
さらに、例えば、ビデオ信号の符号化方式であるＭＰＥＧ（Moving Picture Experts Group）−２に代表されるように、符号化ユニットに入力されるデジタル信号の入力順序と、符号化した後で出力される出力順序とが異なる場合、かかる符号化方式のデジタル信号（ビデオ信号）と他の符号化方式のデジタル信号（オーディオ信号）とにリソースを分配する制御が一層複雑化する。統合制御部は、このような複雑な計算をした上で、上述したリソースの割り当てを行わなければならず、統合制御部の処理負荷は格段に高まってしまう。
【０００９】
そこで、固定帯域伝送路に許容される帯域幅を、各符号化ユニットの処理能力に応じて予め固定的に分配しておき、各符号化ユニットに、その分配された帯域内でのみ符号化させることが考えられる。かかる構成ではそれぞれの符号化ユニットが独立して動作するため統合制御部の処理負荷を削減できる利点はあるものの、各符号化ユニットにおける実際の符号化データ量が上限符号化データ量に満たない場合に、何ら利用されない余剰領域が生じてしまうので、伝送効率の低下を招いていた。
【００１０】
本発明は、このような課題に鑑み、独立した各符号化ユニットそれぞれに簡易な構成を追加するだけで、複数種類のデジタル信号を符号化し多重化送信する場合においても、統合制御部を頼ることなくリソースを適切に割り当て、伝送効率を高めると共に、符号化後のデータの総合的な品質を向上することが可能なデジタル信号多重化方法およびデジタル信号多重化装置を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のデジタル信号多重化方法は、第１符号化ユニットと、第２符号化ユニットと、多重化ユニットと、がそれぞれ相互に接続されたデジタル信号多重化装置を用いてデジタル信号を多重化するデジタル信号多重化方法であって、第１符号化ユニットは、第１のデジタル信号を符号化し、第１符号化ユニットに割り当てられた第１割当符号化データ量と第１符号化ユニットにおける実際の符号化データ量との差に相当する余剰データ量と、余剰データ量が生じた時刻を示す時間情報である第１符号化タイミングと、を示す余剰情報を生成し、余剰情報を第２符号化ユニットに送信し、第２符号化ユニットは、余剰データ量と、第２符号化ユニットに割り当てられた第２割当符号化データ量との和に相当する拡張データ量を追加割当情報量とし、第２のデジタル信号を符号化し、第２のデジタル信号の符号化で余剰データ量を一部または全部消費できない場合、その消費できないデータ量である未消費データ量と、第１符号化タイミングと、を示す未消費情報を生成し、未消費情報を第１符号化ユニットに送信し、符号化した第２のデジタル信号を多重化ユニットに送信し、第１符号化ユニットは、第２符号化ユニットから受信した未消費情報の未消費データ量に相当するダミーデータを、未消費情報が示す第１符号化タイミングに符号化された第１のデジタル信号に付与し、ダミーデータを付与した第１のデジタル信号を多重化ユニットに送信し、多重化ユニットは、第１符号化ユニットが送信した第１のデジタル信号と、第２符号化ユニットが送信した第２のデジタル信号とを多重化し、多重化した第１のデジタル信号および第２のデジタル信号を、固定帯域伝送路を通じて外部に送信することを特徴とする。
【００１２】
本発明のデジタル信号多重化方法では、個々の符号化ユニットがそれぞれ主体となってリソースの割り当てを行う。即ち、第１符号化ユニットが主体となって、自体の符号化における余剰データ量を第２符号化ユニットに付与し、第２符号化ユニットは、その余剰データ分を加算した値を上限として符号化を遂行する。また、第２符号化ユニットは、自体が消費しきれなかった未消費データ量を第１符号化ユニットに再配置する。かかるデジタル信号多重化方法では、統合制御部によるリソースの再割り当ての複雑な制御処理を伴わず、個々の符号化ユニット間の伝送のみという簡易な構成で、伝送効率を高め、符号化後のデータの総合的な品質を向上することができる。
【００１３】
上記課題を解決するために、本発明の他のデジタル信号多重化方法は、第１符号化ユニットと、第２符号化ユニットと、多重化ユニットと、がそれぞれ相互に接続されたデジタル信号多重化装置を用いてデジタル信号を多重化するデジタル信号多重化方法であって、第１符号化ユニットは、第１のデジタル信号を符号化し、第１符号化ユニットに割り当てられた第１割当符号化データ量と第１符号化ユニットにおける実際の符号化データ量との差に相当する余剰データ量と、余剰データ量が生じた時刻を示す時間情報である第１符号化タイミングと、を示す余剰情報を生成し、余剰情報を第２符号化ユニットに送信し、第２符号化ユニットは、余剰データ量と、第２符号化ユニットに割り当てられた第２割当符号化データ量との和に相当する拡張データ量を追加割当情報量とし、第２のデジタル信号を符号化し、第２のデジタル信号の符号化で余剰データ量を一部または全部消費できない場合、その消費できないデータ量である未消費データ量と、第１符号化タイミングと、を示す未消費情報を生成し、未消費情報を多重化ユニットに送信し、符号化した第２のデジタル信号を多重化ユニットに送信し、多重化ユニットは、第２符号化ユニットから受信した未消費情報の未消費データ量に相当するダミーデータを、未消費情報が示す第１符号化タイミングに対応するタイミングで生成し、ダミーデータと、第１符号化ユニットが送信した第１のデジタル信号と、第２符号化ユニットが送信した第２のデジタル信号とを多重化し、多重化したダミーデータ、第１のデジタル信号および第２のデジタル信号を、固定帯域伝送路を通じて外部に送信することを特徴とする。
【００１４】
本発明のデジタル信号多重化方法では、第１符号化ユニットが主体となって、自体の符号化における余剰データ量を第２符号化ユニットに付与し、第２符号化ユニットは、その余剰データ分を加算した値を上限として符号化を遂行する。また、本発明での第２符号化ユニットは、自体が消費しきれなかった未消費データ量を多重化ユニットに伝え、多重化ユニットが未消費データ量に相当するダミーデータを余剰データ領域として生成する。かかるデジタル信号多重化方法では、上述した発明同様、統合制御部によるリソースの再割り当ての複雑な制御処理を伴わず、個々の符号化ユニットおよび多重化ユニット間の伝送のみという簡易な構成で、伝送効率を高め、符号化後のデータの総合的な品質を向上することができる。
【００１５】
上記課題を解決するために、本発明のデジタル信号多重化装置は、第１符号化ユニットと、第２符号化ユニットと、多重化ユニットと、がそれぞれ相互に接続されたデジタル信号多重化装置であって、第１符号化ユニットは、第１割当符号化データ量を上限として第１のデジタル信号を符号化する第１符号化部と、第１割当符号化データ量と第１符号化部における実際の符号化データ量との差に相当する余剰データ量と、余剰データ量が生じた時刻を示す時間情報である第１符号化タイミングと、を示す余剰情報を生成し、第２符号化ユニットに送信する余剰生成部と、第２符号化ユニットから受信した、第２符号化ユニット内における符号化で余剰データ量を一部または全部消費できない場合の、その消費できないデータ量である未消費データ量と、第１符号化タイミングと、を示す未消費情報の未消費データ量に相当するダミーデータを、未消費情報が示す第１符号化タイミングに符号化された第１のデジタル信号に付与し、多重化ユニットに送信する信号生成部と、を備え、第２符号化ユニットは、第１符号化ユニットから受信した余剰情報に示された余剰データ量と第２符号化ユニットに割り当てられた第２割当符号化データ量との和に相当する拡張データ量を追加割当情報量とし、第２のデジタル信号を符号化し、多重化ユニットに送信する第２符号化部と、未消費情報を生成し、第１符号化ユニットに送信する未消費生成部と、を備え、多重化ユニットは、第１符号化ユニットが送信した第１のデジタル信号と、第２符号化ユニットが送信した第２のデジタル信号とを多重化する多重化処理部と、多重化された第１のデジタル信号および第２のデジタル信号を、固定帯域伝送路を通じて外部に送信する多重化送信部と、を備えることを特徴とする。
【００１６】
上記課題を解決するために、本発明の他のデジタル信号多重化装置は、第１符号化ユニットと、第２符号化ユニットと、多重化ユニットと、がそれぞれ相互に接続されたデジタル信号多重化装置であって、第１符号化ユニットは、第１割当符号化データ量を上限として第１のデジタル信号を符号化する第１符号化部と、第１割当符号化データ量と第１符号化部における実際の符号化データ量との差に相当する余剰データ量と、余剰データ量が生じた時刻を示す時間情報である第１符号化タイミングと、を示す余剰情報を生成し、第２符号化ユニットに送信する余剰生成部と、を備え、第２符号化ユニットは、第１符号化ユニットから受信した余剰情報に示された余剰データ量と第２符号化ユニットに割り当てられた第２割当符号化データ量との和に相当する拡張データ量を追加割当情報量とし、第２のデジタル信号を符号化し、多重化ユニットに送信する第２符号化部と、第２符号化部の符号化で余剰データ量を一部または全部消費できない場合、その消費できないデータ量である未消費データ量と、第１符号化タイミングと、を示す未消費情報を生成し、多重化ユニットに送信する未消費生成部と、を備え、多重化ユニットは、第２符号化ユニットから受信した未消費情報の未消費データ量に相当するダミーデータを生成する信号生成部と、ダミーデータと、第１符号化ユニットが送信した第１のデジタル信号と、第２符号化ユニットが送信した第２のデジタル信号とを、未消費情報が示す第１符号化タイミングに対応させて、多重化する多重化処理部と、多重化されたダミーデータ、第１のデジタル信号および第２のデジタル信号を、固定帯域伝送路を通じて外部に送信する多重化送信部と、を備えることを特徴とする。
【００１７】
上述したデジタル信号多重化方法における技術的思想に対応する構成要素やその説明は、当該デジタル信号多重化装置にも適用可能である。
【００１８】
上記第１符号化ユニットもしくは第２符号化ユニットのいずれか一方または両方は複数存在し、１または複数の第１符号化ユニットの余剰データ量の総量が、１または複数の第２符号化ユニットに、所定の条件に従って分配されてもよい。また、上記所定の条件とは、等配分、第２割当符号化データ量に基づく比例配分、または、第２符号化ユニットのバッファの容量に基づく比例配分の何れかであってもよい。
【００１９】
第１符号化ユニットや第２符号化ユニットが複数ある場合であっても、余剰データ量の総量を所定の条件に従って分配するだけといった単純な計算で、本発明のデジタル信号多重化装置はリソースの適切な再割り当てを確実に実行することができる。
【００２０】
上記第１のデジタル信号の符号化は、オーディオロスレス符号化方式に基づいて実行され、第２のデジタル信号の符号化は、ＭＰＥＧ−２、ＭＰＥＧ−４／ＡＶＣ、Ｍｏｔｉｏｎ−ＪＰＥＧの何れかの符号化方式に基づいて実行されてもよい。
【００２１】
本発明のデジタル信号多重化装置によれば、オーディオロスレス符号化方式を用いることで生じる、符号化後のデータ量の変動に伴った余剰データ量を、他の符号化ユニットで好適に消費することができる。また、第２のデジタル信号がビデオ信号でありその符号化方式に、符号化による品質劣化が不可避であるＭＰＥＧ−２、ＭＰＥＧ−４／ＡＶＣ、Ｍｏｔｉｏｎ−ＪＰＥＧの何れかを用いることで、オーディオロスレス符号化方式において生じた余剰データ量を、符号化後の画質の向上に好適に利用することが可能となる。
【発明の効果】
【００２２】
本発明は、独立した各符号化ユニットそれぞれに簡易な構成を追加するだけで、複数種類のデジタル信号を符号化し多重化送信する場合においても、統合制御部を頼ることなくリソースを適切に割り当て、伝送効率を高めると共に、符号化後のデータの総合的な品質を向上することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】デジタル信号多重化システムの概略的な接続関係を示したブロック図である。
【図２】第１の実施形態にかかるデジタル信号多重化装置の電気的な構成を示す機能ブロック図である。
【図３】ビデオ符号化ユニットにおける仮想バッファのバッファ蓄積量の推移を示す説明図である。
【図４】第１の実施形態にかかるオーディオロスレス符号化ユニットの処理の流れを示すフローチャートである。
【図５】第１の実施形態にかかるビデオ符号化ユニットの処理の流れを示すフローチャートである。
【図６】第１の実施形態にかかるデジタル信号多重化装置の全体の処理の流れを示すシーケンス図である。
【図７】第２の実施形態にかかるデジタル信号多重化装置の電気的な構成を示す機能ブロック図である。
【図８】第２の実施形態にかかるデジタル信号多重化装置の全体の処理の流れを示すシーケンス図である。
【図９】従来のデジタル信号多重化装置の電気的な構成を示した機能ブロック図である。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２５】
（第１の実施形態：デジタル信号多重化システム１００）
図１は、デジタル信号多重化システム１００の概略的な接続関係を示したブロック図である。図１に示すように、デジタル信号多重化システム１００は、デジタル信号多重化装置１１０と、放送アンテナ１２０と、受信アンテナ１３０と、デジタルチューナー内蔵テレビジョン１４０と、を含んで構成される。
【００２６】
例えば、番組制作スタッフがテレビ局１１２のスタジオで撮像装置１１４およびマイク１１６を使って番組を収録すると、収録された映像（ビデオ信号）および音声（オーディオ信号）は、図示しないＡＤＣ（Analog Digital Converter）でデジタル信号に変換され、デジタルビデオ信号およびデジタルオーディオ信号としてデジタル信号多重化装置１１０に伝送される。
【００２７】
デジタル信号多重化装置１１０は、かかるデジタルビデオ信号およびデジタルオーディオ信号を多重化し、放送アンテナ１２０を通じて放送する。デジタルチューナー内蔵テレビジョン１４０は、受信アンテナ１３０を介して、放送されたデジタル信号を受信し、受信したデジタル信号から映像および音声を再構成して、映像と音声との同期をとりながらその映像と音声とを再生する。
【００２８】
このようなデジタル信号多重化システム１００において、デジタル信号多重化装置１１０からデジタルチューナー内蔵テレビジョン１４０までの伝送路のうち、特に放送アンテナ１２０から受信アンテナ１３０までの経路は、使用できる電波の周波数帯域が放送局毎に厳密に制限されている。そのため、デジタル信号多重化装置１１０が伝送できる単位時間当たりのデータ量（伝送レート）は固定された値となる（固定帯域伝送路）。
【００２９】
かかる固定帯域伝送路において、オーディオ信号とビデオ信号のように、単純に符号化の複雑さや品質を比較できないデジタル信号同士を多重化する場合、それぞれの符号化ユニットに対するリソースの割り当て量を配分する制御が複雑になり、統合制御部の処理負荷が増大する。
【００３０】
そこで、固定帯域伝送路に許容される帯域幅を、各符号化ユニットの処理能力に応じて予め割り当てておき、各符号化ユニットに、その割り当てた帯域内でのみ符号化させることが考えられるが、各符号化ユニットにおける実際の符号化データ量が割当符号化データ量に満たない場合に、何ら利用されない余剰領域が生じてしまうので、伝送効率の低下を招いていた。
【００３１】
以下の実施形態では、上述したデジタルテレビジョン放送のデジタル信号の多重化において、統合制御部を頼ることなくリソースを適切に割り当て、伝送効率を高めると共に、符号化後のデータの総合的な品質を向上することができるデジタル信号多重化装置１１０およびデジタル信号多重化方法について説明する。
【００３２】
（デジタル信号多重化装置１１０）
図２は、第１の実施形態にかかるデジタル信号多重化装置１１０の電気的な構成を示した機能ブロック図である。デジタル信号多重化装置１１０は、第１符号化ユニットとしてのオーディオロスレス符号化ユニット２００と、第２符号化ユニットとしてのビデオ符号化ユニット２０２と、多重化ユニット２０４と、を含んで構成される。また、以下の実施形態では、デジタル信号多重化装置１１０をデジタルテレビジョン放送に用いる例を挙げているが、かかる場合に限られず、例えば、監視カメラの映像やマイクの音声を多重化して送受信するセキュリティシステム等に用いることもできる。
【００３３】
オーディオロスレス符号化ユニット２００は、マイク１１６から伝送されたデジタルオーディオ信号に、第１割当符号化データ量を上限としてロスレス符号化処理を施す。ここで、ロスレス符号化は、符号化前のデータと、符号化および復号化の処理を経たデータとが完全に等しくなる算術的な可逆符号化であり、可逆可能な範囲で圧縮が施される。
【００３４】
本実施形態において、第１割当符号化データ量は、符号化単位となる複数のオーディオサンプルで形成されたブロック１つ当たりに割り当てられた符号化データ量（符号化後のデータ量）の上限値であり、一般的には１秒当たりの符号化データレートにブロックが占める割合（1ブロックのサンプル数／サンプリング周波数）を乗じることで求められる。
【００３５】
また、オーディオロスレス符号化ユニット２００によるロスレス符号化処理では、圧縮率が悪い場合、符号化後のデータ量が符号化前のデータ量とほぼ等しくなることがある。従って、オーディオロスレス符号化ユニット２００に固定の第１割当符号化データ量を設定する場合、可逆圧縮を保証するため最悪値である符号化前データ量にほぼ等しい符号化データレートを指定する必要がある。
【００３６】
ビデオ符号化ユニット２０２は、撮像装置１１４から伝送されたデジタルビデオ信号を第２割当符号化データ量を追加し符号化上限情報量を更新した上で符号化する。ここで第２割当符号化データ量は、第１割当符号化データ量と同様、ブロック１つ（１ピクチャ）当たりに割り当てられた符号化データ量であり、一般的には1秒当たりの符号化データレートに対しビデオピクチャーレート（１秒間のピクチャ枚数）を割算することで導出される。符号化上限情報量については後に詳述する。
【００３７】
本実施形態において、ビデオ符号化ユニット２０２の符号化方式は、デジタルテレビジョン放送で広く採用されているビデオ符号化方式であるＭＰＥＧ２−Ｖｉｄｅｏ（ＭＰＥＧ−２）方式を用いている。しかし、かかる場合に限られず、例えば、ＡＶＣ「ＭＰＥＧ−４  Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ−Ｖｉｄｅｏ−Ｃｏｄｉｎｇ」（ＭＰＥＧ−４／ＡＶＣ）、Ｍｏｔｉｏｎ−ＪＰＥＧ等の様々なビデオ符号化方式を用いてもよい。
【００３８】
かかるＭＰＥＧ２−Ｖｉｄｅｏ方式等は、固定レートを前提に量子化値を調整しているので、後述する本実施形態の余剰データ処理を適用していない状態では、ビデオ符号化ユニット２０２から多重化ユニット２０４に伝送される伝送レートの平均値が、ビデオ符号化ユニット２０２に割り当てられた符号化伝送レートと略等しくなる。
【００３９】
かかるビデオ符号化ユニット２０２における符号化では、割り当てられた第２割当符号化データ量を全て消費して符号化しなくても、バッファを利用して、残った符号化データ量を確保しておく事が可能であり、撮像装置１１４から伝送されたデジタルビデオ信号の複雑さに応じて確保しておいた符号化データ量を適応的に利用することができる。
【００４０】
ただし、かかるバッファ総容量は、復号化側のバッファ総容量、例えば、デジタルチューナー内蔵テレビジョン１４０に内蔵されたビデオ復号化ユニットのバッファ総容量と共に、符号化方式によって厳密に制限されており、ビデオ符号化ユニット２０２の符号化データ量の制御は、かかるバッファ総容量を超えない範囲に制限される。
【００４１】
本実施形態において、ビデオ符号化ユニット２０２のバッファ総容量は、ビデオ符号化ユニット２０２の後述する処理量制御部２５６にて、符号量制御のために用いられる仮想バッファ検証器が保持するバッファ総容量と同じである。仮想バッファ検証器はビデオ符号化ユニット２０２における符号化およびビデオ復号化ユニットにおける復号化の符号化（復号化）レート及びバッファ容量の整合性を保証するために設置された概念的なバッファのことである。
【００４２】
多重化ユニット２０４は、オーディオロスレス符号化ユニット２００およびビデオ符号化ユニット２０２から受信したデジタル符号化信号（デジタルオーディオ信号およびデジタルビデオ信号）を多重化し、放送アンテナ１２０を通じ伝送する。
【００４３】
この多重化したデジタル信号を伝送する固定帯域伝送路の伝送レート（固定伝送レートＡ）を超えないようにするため、第１上限伝送レートＢ（オーディオ側）および第２上限伝送レートＣ（ビデオ側）は、Ａ≧Ｂ＋Ｃの関係式を満たすように設定される。
【００４４】
また、上述したオーディオロスレス符号化ユニット２００における実際の符号化データ量は、第１割当符号化データ量以下であるため、第１割当符号化データ量と第１符号化ユニットにおける実際の符号化データ量との差に相当する余剰データ量分、固定帯域伝送路に未使用領域が生じてしまう。かかる未使用領域をそのまま放置すると不定なデータが混入し復号化に支障を来たすか、またはデータ欠損を招くため、オーディオロスレス符号化ユニット２００では、有意ではないことを示すダミーデータ（例えば、スタッフィングデータ等）をその未使用領域に付与する等の処理が行われる。
【００４５】
本実施形態では、かかるダミーデータを付与して送信する代わりに、その未使用領域に相当するデータ領域分、他の符号化ユニット（ビデオ符号化ユニット２０２）が有意なデータを追加して送信することで、固定帯域伝送路の未使用領域の有効利用を図る。以下、簡易な構成でかかる効果を奏するオーディオロスレス符号化ユニット２００、ビデオ符号化ユニット２０２、および多重化ユニット２０４の具体的な構成について説明する。
【００４６】
（オーディオロスレス符号化ユニット２００）
オーディオロスレス符号化ユニット２００は、オーディオフレームメモリ２１０と、予測部２１２と、差分符号化部２１４と、オーディオエントロピー符号化部２１６と、オーディオＥＳ（Elementary Stream）多重化部２１８と、オーディオＥＳバッファ２２０と、余剰生成部２２２と、を含んで構成される。オーディオロスレス符号化ユニット２００において、デジタルオーディオ信号の符号化にかかる構成要素は第１符号化部として機能し、オーディオＥＳ多重化部２１８は、信号生成部として機能する。
【００４７】
オーディオフレームメモリ２１０は、マイク１１６から伝送されたデジタルオーディオ信号をフレーム単位で一時的に保持する。予測部２１２は、かかるデジタルオーディオ信号の連続性、すなわち、将来の値が過去の値と因果関係を持つ性質に基づいて、オーディオフレームメモリ２１０に保持されたデジタルオーディオ信号から予測係数を導出し、将来のデジタルオーディオ信号を予測する。
【００４８】
差分符号化部２１４は、予測部２１２の予測信号と実際のデジタルオーディオ信号との差分である残差信号を導出して符号化する。
【００４９】
オーディオエントロピー符号化部２１６は、差分符号化部２１４が符号化した残差信号に対してエントロピー符号化処理を施しエントロピー符号化信号を生成する。エントロピー符号化処理は、頻出するデータにより短い符号を割り当てることで圧縮を行う符号化処理である。
【００５０】
オーディオＥＳ多重化部２１８は、オーディオエントロピー符号化部２１６が生成したエントロピー符号化信号と予測部２１２の予測係数などの補助情報とを多重化し、オーディオＥＳ信号として後述する多重化ユニット２０４に伝送する。
【００５１】
オーディオＥＳバッファ２２０は、オーディオＥＳ多重化部２１８が生成したオーディオＥＳ信号を一時的に保持する。
【００５２】
上述したオーディオＥＳ多重化部２１８は、ビデオ符号化ユニット２０２から受信した、後述する未消費情報の未消費データ量に相当するダミーデータを、未消費情報が示す第１符号化タイミングに符号化されたオーディオＥＳ信号に付与する。
【００５３】
そのため、後述する余剰生成部２２２が余剰情報を送信した場合、オーディオＥＳ多重化部２１８は、その余剰情報に対する未消費情報を受信するか、未消費情報を受信できないまま所定時間経過してタイムアウトするまで、第１符号化タイミングに符号化されたデジタルオーディオ信号（オーディオＥＳ）を、多重化ユニット２０４に伝送せずオーディオＥＳバッファ２２０に保持しておく。
【００５４】
余剰生成部２２２は、オーディオロスレス符号化ユニット２００に割り当てられた第１割当符号化データ量と、実際の符号化データ量との差に相当する余剰データ量と、符号化を実行した第１符号化タイミングと、を示す余剰情報を生成し、ビデオ符号化ユニット２０２に送信する。
【００５５】
本実施形態において、第１符号化タイミングは、オーディオロスレス符号化ユニット２００が符号化を実行したタイミングであり、余剰データ量が発生したタイミングでもある。また、余剰データ量は、オーディオロスレス符号化ユニット２００に割り当てられた第１割当符号化データ量うち、ロスレス符号化の過程で消費されなかったデータ量を示す。
【００５６】
（ビデオ符号化ユニット２０２）
ビデオ符号化ユニット２０２は、ビデオフレームメモリ２３０と、ＤＣＴ（Discrete Cosine Transform）２３２と、量子化部２３４と、逆量子化部２３６と、ＩＤＣＴ２３８と、加算器２４０と、予測メモリ２４２と、動き検出部２４４と、動き補償部２４６と、減算器２４８と、ビデオエントロピー符号化部２５０と、ビデオＥＳ多重化部２５２と、ビデオＥＳバッファ２５４と、処理量制御部２５６と、未消費生成部２５８と、を含んで構成される。ビデオ符号化ユニット２０２において、デジタルビデオ信号の符号化にかかる構成要素は第２符号化部として機能する。
【００５７】
ビデオフレームメモリ２３０は、撮像装置１１４から伝送されたデジタルビデオ信号をフレーム毎に一時的に保持する。
【００５８】
ＤＣＴ２３２は、ビデオフレームメモリ２３０に保持されたフレーム毎のデジタルビデオ信号を、周波数領域の信号に変換する（離散コサイン変換）。このとき、ＤＣＴ２３２は、対象のフレームがＩ（元画像）ピクチャであれば対象のフレームの画像データをそのまま用い、Ｐ（順方向予測）ピクチャまたはＢ（双方向予測）ピクチャであれば対象のフレームの画像と参照画像との差分値を周波数領域の信号に変換する。
【００５９】
その後、ＤＣＴ２３２は、変換されたデジタルビデオ信号の各フレームにジグザグスキャン処理を施して低周波成分（直流成分）から周波数の小さい順に並び替え、省略したとしても画質に影響の少ない高周波成分をまとめる。
【００６０】
量子化部２３４は、ジグザグスキャン処理が施されたデジタルビデオ信号の各フレームの画像に対して、オーディオロスレス符号化ユニット２００から受信した余剰情報に示された余剰データ量と、ビデオ符号化ユニット２０２に割り当てられた第２割当符号化データ量との和に相当する拡張データ量を追加割当情報量として、後述する処理量制御部２５６の符号量制御に従って量子化処理を施す。本実施形態において、量子化処理は、所定の係数で除算し整数値へ丸め、人の目では識別が困難な高解像度成分を除去する等の圧縮処理である。追加割当情報量については後に詳述する。
【００６１】
逆量子化部２３６は、量子化後の各フレームの画像に除算で用いた所定の係数を乗算する（逆量子化）。ＩＤＣＴ２３８は、逆量子化された各フレームの画像に逆離散コサイン変換を施す。かかる逆量子化部２３６およびＩＤＣＴ２３８の処理は、ローカルデコードと呼ばれる簡易復号化処理である。
【００６２】
加算器２４０は、ローカルデコードされた各フレームの画像のうち、Ｉピクチャをそのまま予測メモリ２４２に伝送する。また、ＰピクチャおよびＢピクチャについては、後述する動き補償部２４６が生成した予測画像のうち、対応する参照画像を加算して元画像を復号化し、予測メモリ２４２に伝送する。
【００６３】
予測メモリ２４２は、加算器２４０から伝送された各フレームの画像を一時的に保持する。動き検出部２４４は、ビデオフレームメモリ２３０から伝送された各フレームの画像間の動きベクトル（方向成分と距離）を導出し、動き補償部２４６に伝送する。動き補償部２４６は、予測メモリ２４２内の参照画像と動きベクトルを用いて予測画像を作成し、加算器２４０および減算器２４８に伝送する。
【００６４】
減算器２４８は、ビデオフレームメモリ２３０の元画像と動き補償部２４６から伝送された予測画像との差分を導出する。かかる差分は、上述したデジタルビデオ信号と同様、ＤＣＴ２３２および量子化部２３４を通じて圧縮され、多重化ユニット２０４を介して送信される。
【００６５】
動き検出部２４４および動き補償部２４６を備える構成により、時間的に前後する各フレームの画像間の相関性を利用し、動きのある物体（部分）を抽出してその物体に着目し前後の画像の差分から動きベクトルを求め、かかる動きベクトルを用いて生成した予測画像と、元画像との差分を符号化することで高い圧縮率を実現している。
【００６６】
ビデオエントロピー符号化部２５０は、量子化部２３４が量子化した各フレームの画像と、元画像と予測画像との差分等の補助情報に対して、エントロピー符号化処理を施す。
【００６７】
また、本実施形態において、ビデオエントロピー符号化部２５０は、量子化部２３４が量子化した各フレームの画像と、元画像と予測画像との差分等の補助情報に対して、エントロピー符号化処理を施し、ビデオＥＳ多重化部２５２に伝送する。
【００６８】
ビデオＥＳ多重化部２５２は、エントロピー符号化信号と動きベクトル等の各種補助情報と、を多重化しビデオＥＳを生成して後述するビデオＥＳバッファ２５４に伝送する。
【００６９】
ビデオＥＳバッファ２５４は、ビデオＥＳ多重化部２５２から伝送されたビデオＥＳを一時的に保持する。
【００７０】
処理量制御部２５６は、複雑度が異なる画像を符号化する際、例えば、フレーム毎に、第２符号化ユニット２０２に割り当てられる符号化データ量である追加割当情報量を、保持しておき必要に応じて消費することで、符号化後の仮想バッファの蓄積量がほぼ一定に保たれるように、かつＩ、Ｐ、Ｂの属性を考慮し画像毎に符号化データ量を制御する。また、上述したように、仮想バッファ総容量は、符号化方式によって厳密に制限されているため、処理量制御部２５６は、上限の容量を超えないよう、または下限の容量を下回らないように符号化データ量を制御する。
【００７１】
本実施形態において、処理量制御部２５６は、量子化部２３４の説明において上述したように、オーディオロスレス符号化ユニット２００から受信した余剰情報に示された余剰データ量と、ビデオ符号化ユニット２０２に割り当てられた第２割当符号化データ量との和に相当する拡張データ量を追加割当情報量として、第２符号化部として機能する構成要素の符号量を制御する。
【００７２】
未消費生成部２５８は、ビデオエントロピー符号化部２５０の符号化で余剰データ量を一部または全部消費できない場合、その消費できないデータ量である未消費データ量と、第１符号化タイミング（余剰データ量が生じたタイミング）と、を示す未消費情報を生成し、オーディオロスレス符号化ユニット２００に送信する。
【００７３】
図３は、ビデオ符号化ユニット２０２における仮想バッファのバッファ蓄積量の推移を示す説明図である。特に、図３（ａ）は、本実施形態のビデオ符号化ユニット２０２の仮想バッファに蓄積されているデータ容量（バッファ蓄積量）の推移を、図３（ｂ）は、比較例として本実施形態の余剰データ処理を適用していないビデオ符号化ユニットの仮想バッファの蓄積量の推移を示す。
【００７４】
図３において、横軸は時間を、縦軸にバッファ蓄積量を示す。図３（ｂ）に折れ線で示すように、バッファ蓄積量は時間と共に一定の増加量で徐々に上昇し、一点鎖線で示す動画像のフレームレートに相当するタイミングにおいて、符号化信号を生成する際に消費したデータ量分減少している様子を表している。
【００７５】
本実施形態のビデオ符号化ユニット２０２は、余剰データ量分だけ符号化データ量を増加させることができるため、バッファ蓄積量は、図３（ａ）に示すように、図３（ｂ）の比較例に比べ実線矢印の分だけ多くなる。
【００７６】
また、図３（ａ）に点線矢印で示すように、仮想バッファの総容量を超えてしまう分は消費できないため、未消費データ量となる。このように、未消費データ量は、余剰データ量のうち、ビデオ符号化ユニット２０２で消費しきれなかったデータ量を示す。
【００７７】
未消費生成部２５８は、かかる未消費データ量を未消費情報に含めてオーディオロスレス符号化ユニット２００に伝送し、オーディオロスレス符号化ユニット２００の説明において上述したオーディオＥＳ多重化部２１８が、未消費データ量に相当するダミーデータをスタッフィングデータとして挿入する。
【００７８】
また、本実施形態では、ＭＰＥＧ２−Ｖｉｄｅｏ方式が採用されているので、上述したようにデジタルビデオ信号に対してＩピクチャ、Ｐピクチャ、Ｂピクチャの並び替えが生じる。また、デジタルビデオ信号では５０Ｈｚまたは６０Ｈｚのフレームレートに基づいて処理されるが、デジタルオーディオ信号はこのフレームレートに一致するとは限らない。さらに、たとえフレームレートが同じだとしてもその符号化タイミングが一致するとは限らない。そのため、同時間帯に処理されるデジタルオーディオ信号およびデジタルビデオ信号の時間軸は必ずしも一致しない。
【００７９】
このように、時間軸が不一致な条件下で処理する場合であっても、オーディオロスレス符号化ユニット２００が第１符号化タイミングを余剰情報に含めることで、余剰データ量を消費する際、対象とするデジタルビデオ信号（フレーム）のタイミングを、第１符号化タイミングから所定の時間範囲（例えば±６０ｍｓｅｃ）内に制限すれば、余剰データ量の発生と消費のタイミングの極端なずれを回避できる。
【００８０】
さらに、処理量制御部２５６は、撮像装置１１４から伝送されたデジタルビデオ信号の符号化のフレーム毎の難易度と、仮想バッファの蓄積量に応じて、余剰データ量を蓄積し、複数回の符号化タイミングに分けて、消費させてもよい。かかる構成により、符号化に伴うデータの品質劣化をフレーム間で平準化できる。この場合、複数回のタイミングに分けても消費しきれない余剰データ量分が未消費データ量となる。
【００８１】
また、上述したように、ビデオ符号化ユニット２０２が余剰データ量を消費しきれず未消費データ量として、オーディオロスレス符号化ユニット２００に伝送する場合、未消費生成部２５８は、第１符号化タイミングを未消費情報に含める。かかる構成により、オーディオロスレス符号化ユニット２００は、第１符号化タイミングを参照し、余剰データ量が生じたタイミングのデジタルオーディオ信号を確実に特定しダミーデータを付加することができるため、ダミーデータを付加する位置がずれて、テレビ局１１２に割りふられた固定帯域伝送路の伝送レートを超えてしまうといった事態を回避できる。
【００８２】
本実施形態では、余剰情報や未消費情報に示される第１符号化タイミングおよび第２符号化タイミングは、オーディオロスレス符号化ユニット２００およびビデオ符号化ユニット２０２それぞれが、現在時刻を提供する、図示しない同一の時刻生成部から符号化のタイミングで取得したタイムスタンプによって示され、少なくともダミーデータを付加する時間的位置を特定する。また、かかる場合に限定されず、オーディオＥＳにシーケンシャルに付したフレームナンバー等を用いて示されてもよい。
【００８３】
（多重化ユニット２０４）
多重化ユニット２０４は、多重化処理部２７０と、多重化送信部２７２と、を含んで構成される。また、理解を容易にするためその記載を省略するが、多重化処理部２７０は、デジタルオーディオ信号およびデジタルビデオ信号の他に、データ放送符号化信号、伝送信号の識別情報、伝送エラー保護情報等も処理する。
【００８４】
多重化処理部２７０は、オーディオロスレス符号化ユニット２００が送信したデジタルオーディオ信号と、ビデオ符号化ユニット２０２が送信したデジタルビデオ信号とを多重化する。
【００８５】
多重化送信部２７２は、多重化されたデジタルオーディオ信号およびデジタルビデオ信号を、固定帯域伝送路を通じて外部（放送アンテナ１２０）に送信する。
【００８６】
以上、上述したように、本実施形態のデジタル信号多重化装置１１０は、余剰データ量が発生した、すなわち符号化を実行した第１符号化タイミングにおけるデジタルオーディオ信号の位置にスタッフィングデータを付加するため、フレーム同期をとらないデジタルオーディオ信号とデジタルビデオ信号との多重化においても、従来と同様の時間管理の制御機構をそのまま適用できる。
【００８７】
また、未消費データ量に相当するダミーデータをオーディオロスレス符号化ユニット２００で付加することで余剰データ量に基づいて符号化データ量を増加させる処理が完結するため、多重化ユニット２０４に、新たな機能を追加しなくとも、固定帯域伝送路の伝送レートを維持し、多重化処理を遂行することが可能となる。
【００８８】
本実施形態の処理量制御部２５６は、符号化で消費させる符号化データ量を符号化の難易度に応じて調整する従来の機能を拡張し、余剰データ量分を加味する機能を追加する。かかる構成により、固定帯域伝送路の伝送レートの上述した関係式を満たしながら、バッファ総容量の規定の範囲内で、余剰データ量分を必要なタイミングかつ必要な画像の符号化に割り当てる事ができ、固定帯域伝送路の未使用領域の効果的な利用を図る事が可能となる。
【００８９】
上述した未消費データ量は、ビデオ符号化ユニット２０２で消費された分だけ、余剰データ量より少なくなっている。したがって、オーディオロスレス符号化ユニット２００において、未消費データ量に相当するダミーデータをデジタルオーディオ信号に付加しても、第１上限伝送レートを超えることはなく、多重化後も固定帯域伝送路の伝送レートの制限も超えない。むしろ、固定帯域伝送路の伝送レートに一致するように、ビデオ符号化ユニット２０２で消費された分が勘案されたデータ量のダミーデータを確実に付加することができる。
【００９０】
以上説明したデジタル信号多重化装置１１０では、デジタルオーディオ信号およびデジタルビデオ信号をそれぞれ一つずつ多重化する場合を説明した。しかし、デジタルテレビジョン放送は、マルチストリームの多重化が許されており、１つの放送局が同時に３つの番組を放送する等、オーディオロスレス符号化ユニット２００に相当する第１符号化ユニットが複数存在していたり、ビデオ符号化ユニット２０２に相当する第２符号化ユニットが複数存在する場合がある。そこで、以下では、第１符号化ユニットや第２符号化ユニットが複数配設されたデジタル信号多重化装置を説明する。
【００９１】
デジタル信号多重化装置において、第１符号化ユニット（オーディオロスレス符号化ユニット２００）もしくは第２符号化ユニット（ビデオ符号化ユニット２０２）のいずれか一方または両方が複数存在する場合、１または複数の第２符号化ユニットに対して、１または複数の第１符号化ユニットの余剰データ量の総量が、所定の条件に従って分配される。ここで、所定の条件とは、例えば、等配分、第２割当符号化データ量に基づく比例配分、または、第２符号化ユニットのバッファの容量に基づく比例配分の何れかである。
【００９２】
このような場合においても、本実施形態のデジタル信号多重化装置によれば、余剰データ量の総量を所定の条件に従って分配するだけといった単純な計算で、統合制御部を頼ることなくリソースを適切に割り当て、伝送効率を高め、符号化後のデータの総合的な品質を向上することができる。
【００９３】
上述したデジタル信号多重化装置１１０によれば、オーディオロスレス符号化方式を用いることで生じる、符号化データ量の変動に伴った余剰データ量を、ビデオ符号化ユニット２０２で好適に消費することができる。また、第２のデジタル信号がビデオ信号でありその符号化方式に、符号化による品質劣化が不可避であるＭＰＥＧ−２、ＭＰＥＧ−４／ＡＶＣ、Ｍｏｔｉｏｎ−ＪＰＥＧの何れかを用いることで、オーディオロスレス符号化方式において生じた余剰データ量を、符号化後の画質の向上に好適に利用することができる。また、本実施形態において、多重化システムは、標準化されたＭＰＥＧ２システムとする。ＭＰＥＧ２システムを用いることにより、デジタル信号多重化装置１１０を汎用的に利用することができる。
【００９４】
また、本実施形態のデジタル信号多重化装置１１０によれば、個々の符号化ユニットがそれぞれ主体となってリソースの割り当てを行う。即ち、オーディオロスレス符号化ユニット２００が主体となって、自体の符号化における余剰データ量をビデオ符号化ユニット２０２に付与し、ビデオ符号化ユニット２０２は、その余剰データ分を加算した値を上限として符号化を遂行する。また、ビデオ符号化ユニット２０２は、自体が消費しきれなかった未消費データ量をオーディオロスレス符号化ユニット２００に再配置する。
【００９５】
かかる構成により、統合制御部によるリソースの再割り当ての複雑な制御処理を伴わず、ビデオ符号化ユニット２０２の処理量制御部２５６に設けられた既存の制御機能を有効活用し、個々の符号化ユニット間の伝送のみという簡易な構成で、伝送効率を高め、符号化後のデータの総合的な品質を向上することができる。
【００９６】
さらに、本実施形態のデジタル信号多重化装置１１０は、オーディオロスレス符号化ユニット２００で生じた余剰データ量を、バッファを介さず直接、処理量制御部２５６が受け、ビデオエントロピー符号化部２５０に消費させている。そのため、オーディオロスレス符号化ユニット２００において余剰データ量が生じた直後に、ビデオ符号化ユニット２０２において複雑な画像を符号化する場合であっても、処理量制御部２５６は、即座に余剰データ量をビデオエントロピー符号化部２５０に消費させ、余剰データ量を有効に利用して符号化することが可能となる。
【００９７】
続いて上述したデジタル信号多重化装置１１０を用いたデジタル信号多重化方法について、フローチャートを用いて説明する。かかるデジタル信号多重化方法の処理は、デジタル信号多重化装置１１０にデジタル信号が伝送されている間、繰り返し実行される。
【００９８】
（デジタル信号多重化方法）
図４は、第１の実施形態にかかるオーディオロスレス符号化ユニット２００の処理の流れを示すフローチャートである。
【００９９】
デジタルオーディオ信号にオーディオロスレス符号化処理を施し（Ｓ３００）、オーディオロスレス符号化ユニット２００の第１割当符号化データ量とオーディオロスレス符号化ユニット２００における実際の符号化データ量との差である余剰データ量が０（ゼロ）か否かを判定する（Ｓ３０２）。余剰データ量が０の場合（Ｓ３０２のＹＥＳ）、オーディオＥＳを生成し、オーディオＥＳバッファ２２０に保持（蓄積）させる（Ｓ３０４）。
【０１００】
余剰データ量が０でない場合（Ｓ３０２のＮＯ）、余剰データ量と符号化を実行した第１符号化タイミングとを示す余剰情報を生成し（Ｓ３０６）、ビデオ符号化ユニット２０２に伝送する（Ｓ３０８）。そして、符号化されたデジタルオーディオ信号からビデオＥＳを生成し、第１タイミングに符号化したことを特定できる態様でオーディオＥＳバッファ２２０に保持させておく（Ｓ３１０）。
【０１０１】
オーディオロスレス符号化ユニット２００は、ビデオ符号化ユニット２０２から伝送される未消費情報が有るか否かを判定する（Ｓ３１２）。未消費情報がない場合（Ｓ３１２のＮＯ）、第１符号化タイミングから所定時間が経過したか否かを判定する（Ｓ３１４）。所定時間が経過していない場合（Ｓ３１４のＮＯ）、未消費情報の有無判定ステップ（Ｓ３１２）に戻る。所定時間が経過している場合（Ｓ３１４のＹＥＳ）、既に生成されたオーディオＥＳ信号を所定のタイミングで出力する。
【０１０２】
未消費情報が有る場合（Ｓ３１２のＹＥＳ）、未消費情報の第１符号化タイミングに対応するオーディオＥＳ（符号化されたオーディオデジタル信号）を特定し（Ｓ３１６）、そのオーディオＥＳに未消費データ量に相当するダミーデータを付与する（Ｓ３１８）。
【０１０３】
オーディオＥＳ生成ステップ（Ｓ３０４）後、ダミーデータ付与ステップ（Ｓ３１８）後、または、所定時間経過判定ステップ（Ｓ３１４）で所定時間が経過していた場合（Ｓ３１４のＹＥＳ）、オーディオＥＳを多重化ユニット２０４に送信する（Ｓ３２０）。
【０１０４】
続いて、オーディオロスレス符号化ユニット２００の処理と並行して実行されるビデオ符号化ユニット２０２の処理の流れを説明する。
【０１０５】
図５は、第１の実施形態にかかるビデオ符号化ユニット２０２の処理の流れを示すフローチャートである。
【０１０６】
ビデオ符号化ユニット２０２は、オーディオロスレス符号化ユニット２００から伝送された余剰情報が有るか否かを判定する（Ｓ３３０）。余剰情報がある場合（Ｓ３３０のＹＥＳ）、ビデオ符号化ユニット２０２の仮想バッファのバッファ蓄積量に基づいて、余剰情報に含まれる余剰データ量を一部または全部消費できるか否かを判定する（Ｓ３３２）。
【０１０７】
余剰情報に含まれる余剰データ量を一部または全部消費できる場合（Ｓ３３２のＹＥＳ）、余剰データ量と、ビデオ符号化ユニット２０２の第２割当符号化データ量との和に相当する拡張データ量を追加割当情報量とし、デジタルビデオ信号を符号化する（Ｓ３３４）。
【０１０８】
そして、ビデオ符号化ユニット２０２は、余剰データ量が全量（余剰無しで）消費されているか否かの判定をする（Ｓ３４６）。全量消費されていない場合、すなわちデジタルビデオ信号の符号化において余剰データ量を一部または全部消費できなかった場合（Ｓ３４６のＮＯ）、その消費できないデータ量である未消費データ量と、第１符号化タイミングと、を示す未消費情報を生成し、オーディオロスレス符号化ユニット２００に伝送する（Ｓ３４８）。
【０１０９】
余剰情報の有無判定ステップで余剰情報が無かった場合（Ｓ３３０のＮＯ）、または、余剰情報に含まれる余剰データ量を消費できない場合（Ｓ３３２のＮＯ）、第２割当符号化データ量を追加情報量としデジタルビデオ信号を符号化する（Ｓ３５０）。
【０１１０】
そして、余剰データ量消費判定ステップ（Ｓ３４６）で全量消費していた場合（Ｓ３４６のＹＥＳ）、未消費情報生成ステップ（Ｓ３４８）の後、または第２割当符号化データ量での符号化ステップ（Ｓ３５０）の後、ビデオ符号化ユニット２０２は、符号化したデジタルビデオ信号を多重化ユニット２０４に送信する（Ｓ３５２）。
【０１１１】
図４および図５を用いて説明したオーディオロスレス符号化ユニット２００およびビデオ符号化ユニット２０２の処理は、余剰情報と未消費情報の伝送において接続されており、かかる伝送とその後のオーディオロスレス符号化ユニット２００と、ビデオ符号化ユニット２０２と、多重化ユニット２０４との送受信について、図６を用いて説明する。
【０１１２】
図６は、第１の実施形態にかかるデジタル信号多重化装置１１０の全体の処理の流れを示すシーケンス図である。
【０１１３】
オーディオロスレス符号化ユニット２００は、デジタルオーディオ信号にロスレス符号化処理を施し（Ｓ３７０）、余剰情報を生成すると（Ｓ３７２）、かかる余剰情報をビデオ符号化ユニット２０２に伝送する（Ｓ３７４）。
【０１１４】
ビデオ符号化ユニット２０２は、余剰情報に基づく拡張データ量を加味し追加割当情報量として、デジタルビデオ信号を符号化する（Ｓ３７６）。そして、ビデオ符号化ユニット２０２は、未消費情報を生成し（Ｓ３７８）、かかる未消費情報をオーディオロスレス符号化ユニット２００に伝送する（Ｓ３８０）。
【０１１５】
オーディオロスレス符号化ユニット２００は、未消費情報に基づいて、符号化されたデジタルオーディオ信号（オーディオＥＳ）にダミーデータを付与し（Ｓ３８２）、ダミーデータを付与したオーディオＥＳを多重化ユニット２０４に送信する（Ｓ３８４）。
【０１１６】
ビデオ符号化ユニット２０２は、符号化されたデジタルビデオ信号（ビデオＥＳ）を多重化ユニット２０４に送信する（Ｓ３８６）。
【０１１７】
多重化ユニット２０４は、オーディオロスレス符号化ユニット２００およびビデオ符号化ユニット２０２から送信されたオーディオＥＳおよびビデオＥＳを多重化し（Ｓ３８８）、外部へ送信する（Ｓ３９０）。
【０１１８】
上述したように、本実施形態のデジタル信号多重化方法を用いることで、統合制御部によるリソースの再割り当ての複雑な制御処理を伴わず、個々の符号化ユニット間の伝送のみという簡易な構成で、伝送効率を高め、符号化後のデータの総合的な品質を向上することができる。
【０１１９】
（第２の実施形態：デジタル信号多重化装置４１０）
第１の実施形態では、ビデオ符号化ユニット２０２で消費しきれなかった余剰データ量分の未消費データ量を、オーディオロスレス符号化ユニット２００に返すデジタル信号多重化装置１１０について説明した。第２の実施形態では、未処理データ量をオーディオロスレス符号化ユニット２００に返さず、多重化ユニット２０４で未処理データ量の補填処理を行うデジタル信号多重化装置について説明する。なお、上述したデジタル信号多重化装置１１０と実質的に等しい構成要素については、同一の符号を付して説明を省略する。
【０１２０】
図７は、第２の実施形態にかかるデジタル信号多重化装置４１０の電気的な構成を示す機能ブロック図である。デジタル信号多重化装置４１０は、第１符号化ユニットとしてのオーディオロスレス符号化ユニット２００と、第２符号化ユニットとしてのビデオ符号化ユニット４０２と、多重化ユニット４０４と、を含んで構成される。
【０１２１】
ビデオ符号化ユニット４０２は、第１の実施形態と同様、撮像装置１１４から伝送されたデジタルビデオ信号を第２割当符号化データ量を追加割当情報量として符号化（圧縮）する。ここでビデオ符号化ユニット４０２は第２割当伝送レートを目標レートとする固定レートの符号化処理を行っているものとする。
【０１２２】
また、ビデオ符号化ユニット４０２は、ビデオフレームメモリ２３０と、ＤＣＴ２３２と、量子化部２３４と、逆量子化部２３６と、ＩＤＣＴ２３８と、加算器２４０と、予測メモリ２４２と、動き検出部２４４と、動き補償部２４６と、減算器２４８と、ビデオエントロピー符号化部２５０と、ビデオＥＳ多重化部２５２と、ビデオＥＳバッファ２５４と、処理量制御部２５６と、未消費生成部４５８と、を含んで構成される。
【０１２３】
未消費生成部４５８は、ビデオ符号化において消費しきれなかった情報量に相当する未消費データ量と、第１符号化タイミングと、を示す未消費情報を生成する。
【０１２４】
そして、未消費生成部４５８はかかる未消費情報を、第１の実施形態と異なり、オーディオロスレス符号化ユニット２００ではなく、多重化ユニット４０４に送信する。
【０１２５】
多重化ユニット４０４は、第１の実施形態と同様、オーディオロスレス符号化ユニット２００およびビデオ符号化ユニット４０２から受信したデジタル信号（デジタルオーディオ信号およびデジタルビデオ信号）を多重化し、放送アンテナ１２０に伝送する。
【０１２６】
多重化ユニット４０４は、多重化処理部２７０と、信号生成部４７０と、多重化送信部４７２と、を含んで構成される。
【０１２７】
信号生成部４７０は、ビデオ符号化ユニット４０２から受信した未消費情報の未消費データ量に相当するダミーデータを生成する。
【０１２８】
多重化処理部４７２は、信号生成部４７０が生成したダミーデータと、オーディオロスレス符号化ユニット２００が送信したデジタルオーディオ信号と、ビデオ符号化ユニット２０２が送信したデジタルビデオ信号とを、特に、ダミーデータを、未消費情報が示す第１符号化タイミングに対応させて、多重化する。かかるダミーデータは、ＭＰＥＧ−２  ＴＳ（Transport Stream）におけるアダプテーション・フィールドとして扱われる。
【０１２９】
本実施形態のデジタル信号多重化装置４１０によれば、個々の符号化ユニットがそれぞれ主体となってリソースの割り当てを行う。また、ビデオ符号化ユニット４０２は、自体が消費しきれなかった未消費データ量を多重化ユニットに伝え、多重化ユニットが未消費データ量に相当するダミーデータを余剰データ領域として生成する。かかる構成により、第１の実施形態と同様、統合制御部によるリソースの再割り当ての複雑な制御処理を伴わず、個々の符号化ユニットおよび多重化ユニット間の伝送のみという簡易な構成で、伝送効率を高め、符号化後のデータの総合的な品質を向上することができる。
【０１３０】
続いて上述したデジタル信号多重化装置４１０を用いたデジタル信号多重化方法について、フローチャートを用いて説明する。
【０１３１】
（デジタル信号多重化方法）
図８は、第２の実施形態にかかるデジタル信号多重化装置４１０の全体の処理の流れを示すシーケンス図である。オーディオデジタル信号符号化ステップ（Ｓ３７０）から未消費情報生成ステップ（Ｓ３７８）までの処理は、図６において説明した処理と実質的に等しいため、同一の符号を付して説明を省略する。
【０１３２】
ビデオ符号化ユニット４０２は、生成した未消費情報を多重化ユニット４０４に伝送する（Ｓ５８０）。オーディオロスレス符号化ユニット２００は、オーディオＥＳを多重化ユニット２０４に送信する（Ｓ３８４）。ビデオ符号化ユニット４０２は、符号化されたビデオ信号（ビデオＥＳ）を多重化ユニット４０４に送信する（Ｓ３８６）。
【０１３３】
多重化ユニット４０４は、ビデオ符号化ユニット４０２から受信した未消費情報の未消費データ量に相当するダミーデータを生成する（Ｓ５８２）。
【０１３４】
そして、多重化ユニット４０４は、ダミーデータと、デジタルオーディオ信号と、ビデオ符号化ユニット４０２が送信したデジタルビデオ信号とを、未消費情報が示す第１符号化タイミングに対応させて、多重化し（Ｓ３８８）、外部へ送信する（Ｓ３９０）。
【０１３５】
上述したように、本実施形態のデジタル信号多重化方法によれば、統合制御部によるリソースの再割り当ての複雑な制御処理を伴わず、個々の符号化ユニットおよび多重化ユニット間の伝送のみという簡易な構成で、伝送効率を高め、符号化後のデータの総合的な品質を向上することができる。
【０１３６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１３７】
なお、本明細書のデジタル信号多重化方法における各工程は、必ずしもフローチャートおよびシーケンス図として記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１３８】
本発明は、複数の符号化方式のデジタル信号を多重化し固定帯域伝送路を通じて送信するデジタル信号多重化方法およびデジタル信号多重化装置に利用することができる。
【符号の説明】
【０１３９】
１１０、４１０  …デジタル信号多重化装置
２００  …オーディオロスレス符号化ユニット（第１符号化ユニット）
２０２、４０２  …ビデオ符号化ユニット（第２符号化ユニット）
２０４、４０４  …多重化ユニット
２１８  …オーディオＥＳ多重化部（信号生成部）
２２２  …余剰生成部
２５８、４５８  …未消費生成部
２７０  …多重化処理部
２７２  …多重化送信部
４７０  …信号生成部
【図１】
0005391899.tif 000002
【図２】
0005391899.tif 000003
【図３】
0005391899.tif 000004
【図４】
0005391899.tif 000005
【図５】
0005391899.tif 000006
【図６】
0005391899.tif 000007
【図７】
0005391899.tif 000008
【図８】
0005391899.tif 000009
【図９】
0005391899.tif 000010