(57)【特許請求の範囲】
【請求項１】
それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、
番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて、自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、
各画像符号化手段および前記情報符号化手段の出力データを多重化する多重化手段と、
前記情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定すると共に、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得し、前記情報符号化手段に対して設定された符号レートと前記符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行う統計多重制御手段と
を備え、
前記統計多重制御手段は、
前記情報符号化手段からの出力データを一時的に保存したのち、前記多重化手段に対して出力するメモリと、
前記情報符号化手段から前記目標符号レートを取得すると共に、前記メモリからそのメモリにおけるデータの残存状況情報を取得し、前記目標符号レートと前記データの残存状況情報とに基づいて、少なくとも前記メモリにおけるオーバーフローが生じないように、前記情報符号化手段に対して設定すべき符号レートを決定する手段と
を含み、
前記統計多重制御手段は、伝送可能な総符号レートから、前記情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行う
統計多重システム。
【請求項２】
前記統計多重制御手段は、
前記符号化難易度に基づいて、各画像符号化手段についての符号レートの暫定的な目標値としての暫定符号レートを設定すると共に、
各画像符号化手段についての前記暫定符号レートの総和が前記画像基準値の範囲内で前記画像基準値に近づくよう、前記暫定符号レートを修正することにより、各画像符号化手段に対する符号レートの割り当てを行う
請求項１記載の統計多重システム。
【請求項３】
それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および前記情報符号化手段の出力データを多重化する多重化手段とを備えた統計多重システムに用いられ、各画像符号化手段および前記情報符号化手段を制御する統計多重制御装置であって、
前記情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定すると共に、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得し、前記情報符号化手段に対して設定された符号レートと前記符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行う統計多重制御手段を備え、
前記統計多重制御手段は、
前記情報符号化手段からの出力データを一時的に保存したのち、前記多重化手段に対して出力するメモリと、
前記情報符号化手段から前記目標符号レートを取得すると共に、前記メモリからそのメモリにおけるデータの残存状況情報を取得し、前記目標符号レートと前記データの残存状況情報とに基づいて、少なくとも前記メモリにおけるオーバーフローが生じないように、前記情報符号化手段に対して設定すべき符号レートを決定する手段と
を含み、
前記統計多重制御手段は、伝送可能な総符号レートから、前記情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行う
統計多重制御装置。
【請求項４】
前記統計多重制御手段は、
前記符号化難易度に基づき、各画像符号化手段について符号レートの暫定的な目標値としての暫定符号レートを設定すると共に、
各画像符号化手段についての前記暫定符号レートの総和が前記画像基準値の範囲内で前記画像基準値に近づくよう、前記暫定符号レートを修正することにより、各画像符号化手段に対する符号レートの割り当てを行う
請求項３記載の統計多重制御装置。
【請求項５】
それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および前記情報符号化手段の出力データを多重化する多重化手段と、各画像符号化手段および情報符号化手段を制御する統計多重制御手段とを備えた統計多重システムに用いられる統計多重方法であって、
前記情報符号化手段に対し、単位時間当たりの出力符号量としての符号レートを設定するステップと、
各画像符号化手段から、各番組データの符号化の難易度を表す符号化難易度を取得するステップと、
前記情報符号化手段に対して設定された符号レートと前記符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行うステップと
を含み、
前記符号レートを設定するステップは、
前記情報符号化手段から前記目標符号レートを取得するステップと、
前記情報符号化手段からの出力データを一時的に保存したのちに前記多重化手段に対して出力するメモリから、そのメモリにおけるデータの残存状況情報を取得するステップと、
前記目標符号レートと前記データの残存状況情報とに基づいて、少なくとも前記メモリにおけるオーバーフローが生じないように、前記情報符号化手段に対して設定すべき符号レートを決定するステップと
を含み、
前記割り当てを行うステップでは、
伝送可能な総符号レートから、前記情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行う
統計多重方法。
【請求項６】
前記割り当てを行うステップでは、
前記符号化難易度に基づき、各画像符号化手段について符号レートの暫定的な目標値としての暫定符号レートを設定し、
各画像符号化装置についての前記暫定符号レートの総和が前記画像基準値の範囲内で前記画像基準値に近づくよう前記暫定符号レートを修正することにより、各画像符号化手段に対する符号レートの割り当てを行うことを含む
請求項５記載の統計多重方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データを含む複数の番組データおよび番組データ以外の付帯情報を符号化し多重化する統計多重システム、およびその統計多重システムで用いられる統計多重制御装置ならびに統計多重方法に関するものである。
【０００２】
【従来の技術】
最近、画像データなどをデジタルデータとして送受信するデジタル放送が注目されている。デジタル放送の利点は、アナログ放送に比べて、同じ伝送路においてより多くの番組データ（以下、プログラムという。）を伝送することが可能であるということである。これは画像データを圧縮して伝送できるということによるところが大きい。画像データの圧縮の方法としては、例えばＭＰＥＧ（Moving Picture Experts Group）規格で採用されている双方向予測符号化方式がある。
【０００３】
デジタル放送における画像の圧縮符号化では、圧縮符号化後のデータ量（ビット量）を、伝送路の伝送容量以下に抑えつつ、画質を高品質に保つ必要がある。
【０００４】
所定の伝送容量の伝送路に対して、より多くのプログラムを流す方法として、「統計多重」という手法がある。統計多重は、各プログラムに割り当てられる符号レートを動的に変化させることにより、より多くのプログラムを伝送する手法である。この統計多重では、例えば、符号レートを減らしても画質の劣化が目立たないプログラムについては符号レートを減らすことにより、より多くのプログラムの伝送を可能にする。
【０００５】
ここで、図９および図１０を参照して、統計多重制御について更に説明する。図９は、従来の固定レートにより多重化した場合の各プログラムに対して割り当てられる符号レートの一例を表したものである。図９において、縦軸は各プログラムの符号レートを表し、横軸は時間を表している。図９に示したように、例えば天気予報、ニュースおよびドラマといった多重化される各プログラムの割当符号レートは、初期値として割り当てられた符号レートのままであり、時間の経過によって変動していない。各プログラムに対して初期値として割り当てられる符号レートは、各プログラムの画質の劣化が目立つ部分（時間）における画質の劣化が許容範囲に収まるように割り当てられている。従って、画質の劣化が目立つ部分以外には、必要以上の符号レートが割り当てられていることになる。
【０００６】
図１０は、統計多重の手法を用いて、各プログラムに対する割当符号レートを動的に変化させて多重化した場合の各プログラムに対する割当符号レートの一例を表したものであり、縦軸が各プログラムに対する割当符号レート、横軸が時間を表している。統計多重は、各プログラムの画質の劣化が目立つ部分（時間）が同一時に重なることが稀であることを利用したものである。そのため、あるプログラムでは画質劣化が目立つ部分であるとき、他のプログラムは符号レートを落としても画質劣化が目立たない場合が多いので、他のプログラムの符号レートを落として、画質劣化が目立つプログラムに対して符号レートを多く割り当てることができる。図１０に示した例では、時刻Ｐにおいて、ドラマ（１）では画質劣化が目立つ部分であり、ニュースおよびドラマ（２）では画質劣化が目立たない部分であるとき、ニュースおよびドラマ（２）の符号レートを落として、ドラマ（１）に対してその分の符号レートを多く割り当てる。このようにして、統計多重を用いることにより、通常よりも多くのプログラムを伝送することができる。
【０００７】
ここで、近年、ＥＰＧ（Electric Program Guide）など、プログラム以外の付帯情報を、プログラムと共に伝送することが考えられている。図１１は、プログラムと付帯情報とを多重化して伝送する場合の割当符号レートの一例を表すものである。図１１に示したように、プログラム毎に割り当てられる符号レートが統計多重により可変制御されているのに対し、付帯情報に割り当てられる符号レートは常に一定となっている。
【０００８】
【発明が解決しようとする課題】
しかしながら、このように付帯情報に割り当てられる符号レートが一定であると、付帯情報の量が少ないときには、空（から）のデータが伝送されることになり、無駄が多いという問題があった。さらに、付帯情報の量が少ないときには、番組データに割り当てる符号レートを増やせば画質の向上を図ることができるが、従来は、そのような割り当てがなされていなかった。
【０００９】
本発明はかかる問題点に鑑みてなされたもので、その目的は、符号レートの割り当てを効率的に行い、画質を向上することができる統計多重システム、統計多重制御装置および統計多重方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明による統計多重システムは、それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて、自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および情報符号化手段の出力データを多重化する多重化手段と、情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定すると共に、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得し、情報符号化手段に対して設定された符号レートと符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行う統計多重制御手段とを備えたものである。ここで、この統計多重制御手段は、情報符号化手段からの出力データを一時的に保存したのち、多重化手段に対して出力するメモリと、情報符号化手段から目標符号レートを取得すると共に、上記メモリからそのメモリにおけるデータの残存状況情報を取得し、目標符号レートとデータの残存状況情報とに基づいて、少なくともメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートを決定する手段とを含んでいる。また、上記統計多重制御手段は、伝送可能な総符号レートから、情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行うようになっている。
【００１１】
本発明による統計多重制御装置は、それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および情報符号化手段の出力データを多重化する多重化手段とを備えた統計多重システムに用いられ、各画像符号化手段および情報符号化手段を制御する統計多重制御装置であって、情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定すると共に、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得し、情報符号化手段に対して設定された符号レートと符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行う統計多重制御手段を備えたものである。ここで、この統計多重制御手段は、情報符号化手段からの出力データを一時的に保存したのち、多重化手段に対して出力するメモリと、情報符号化手段から目標符号レートを取得すると共に、上記メモリからそのメモリにおけるデータの残存状況情報を取得し、目標符号レートとデータの残存状況情報とに基づいて、少なくともメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートを決定する手段とを含んでいる。また、上記統計多重制御手段は、伝送可能な総符号レートから、情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行うようになっている。
【００１２】
本発明による統計多重方法は、それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および情報符号化手段の出力データを多重化する多重化手段とを備えた統計多重システムに用いられ、各画像符号化手段および情報符号化手段を制御する統計多重方法であって、情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定するステップと、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得するステップと、情報符号化手段に対して設定された符号レートと符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行うステップとを含むものである。ここで、上記符号レートを設定するステップは、情報符号化手段から目標符号レートを取得するステップと、情報符号化手段からの出力データを一時的に保存したのちに多重化手段に対して出力するメモリから、そのメモリにおけるデータの残存状況情報を取得するステップと、目標符号レートとデータの残存状況情報とに基づいて、少なくともメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートを決定するステップとを含んでいる。また、上記割り当てを行うステップでは、伝送可能な総符号レートから、情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行うようになっている。
【００１３】
本発明による統計多重システム、統計多重制御装置または統計多重方法では、まず情報符号化手段に対して符号レートが優先的に設定され、その符号レートに基づいて、各画像符号化手段に対して割り当てられる符号レートが設定される。ここで、情報符号化手段に対して符号レートを設定する際には、この情報符号化手段から取得した目標符号レートと、情報符号化手段からの出力データを一時的に保存するメモリにおけるデータの残存状況情報と基づいて、少なくともこのメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートが決定される。また、各画像符号化手段に対する符号レートの割り当てを行う際には、伝送可能な総符号レートから情報符号化手段に対して設定された符号レートを差し引いた残りが、画像基準値とされると共に、この画像基準値の範囲内で各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てが行われる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１５】
図１は、本発明の一実施の形態に係る統計多重システムの構成例を表すブロック図である。この統計多重システム１は、番組データとしてのプログラムＳi（ｉは１以上の整数値）を圧縮符号化する複数の画像符号化手段としての画像符号化装置２iと、プログラム以外の情報Ｓdを符号化する情報符号化手段としての情報符号化装置４と、各画像符号化装置２iおよび情報符号化装置４の出力データを多重化して伝送路に出力する多重化装置６とを備えている。さらに、この統計多重システム１は、各画像符号化装置２iおよび情報符号化装置４に対して単位時間当たりの出力符号量としてのビットレート（符号レート）を割り当てることにより、各画像符号化装置２iおよび情報符号化装置４を制御する統計多重制御装置５を備えている。
【００１６】
画像符号化装置２iは、それぞれ画像データを含むプログラムＳiを入力され、圧縮符号化し、符号化画像信号Ｓｔiとして多重化装置６に出力するようになっている。各画像符号化装置２iは、符号化画像信号Ｓｔiの単位時間当たりの出力符号量としてのビットレートＲiを、フレーム単位で変更できるようになっている。さらに、画像符号化装置２iは、入力されたプログラムＳiの符号化難易度Ｄi（すなわち、同じ画質を保つために必要なデータ量の割合）を算出すると共に、この符号化難易度Ｄiを統計多重制御装置５に送信するようになっている。
【００１７】
情報符号化装置４は、ＥＰＧやインターネット情報など、プログラムＳiとは同期されていない付帯情報Ｓdを入力され、符号化し、符号化情報信号Ｓｔdとして多重化装置６に出力するようになっている。なお、情報符号化装置４は、付帯情報Ｓdが入力されると、その付帯情報Ｓdの情報量に応じて、自らが出力する符号化情報信号Ｓｔdのビットレートの目標値Ｐを算出し、その目標値Ｐを後述のデータ送信指令装置６５に送信するようになっている。
【００１８】
多重化装置６は、各画像符号化装置２iから出力された符号化画像信号Ｓｔiを所定時間だけ遅延して、それぞれ入力した順に出力する画像ＦＩＦＯ（先入れ先出し）メモリ６０iと、情報符号化装置４から出力された符号化情報信号Ｓｔdを所定時間だけ遅延し、入力した順に出力する情報ＦＩＦＯメモリ６１とを備えている。さらに、多重化装置６は、画像ＦＩＦＯメモリ６０iおよび情報ＦＩＦＯメモリ６１から出力された符号化画像信号Ｓｔiおよび符号化情報信号Ｓｔdを多重化する多重化手段としての多重化器６２を備えている。多重化器６２は、画像ＦＩＦＯメモリ６０iおよび情報ＦＩＦＯメモリ６１にデータが保持されているか否かを順次監視しており、いずれかのメモリにデータが保持されていることを確認すると、そのデータを速やかに全て引き出すようになっている。なお、情報ＦＩＦＯメモリ６１は、自らの記憶可能な全容量のうち、データにより占有されている容量についての情報（以下、データ残存状況Ｆとする。）を、データ送信指令装置６５に送信するようになっている。
【００１９】
多重化装置６は、さらに、情報符号化装置４の出力を制御するデータ送信指令装置６５を備えている。データ送信指令装置６５は、情報符号化装置４から送信されるビットレートの目標値Ｐを受信し、さらに、情報ＦＩＦＯメモリ６１から送信されるデータ残存状況Ｆを受信するようになっている。データ送信指令装置６５は、さらに、ビットレートの目標値Ｐとデータ残存状況Ｆとに基づいて、情報符号化装置４が出力すべき符号化情報信号ＳｔdのビットレートＲdを決定し、このビットレートＲdを情報符号化装置４に送信するようになっている。
【００２０】
なお、情報符号化装置４の出力をデータ送信指令装置６５によって制御するようにした理由は次のとおりである。すなわち、情報ＦＩＦＯメモリ６１に入力されたデータは、原則、多重化器６２によって速やかに全て引き出されるが、情報ＦＩＦＯメモリ６１にまだデータが残っているうちに（すなわち、情報ＦＩＦＯメモリ６１が「空」になる前に）、情報符号化装置４から次のデータが入力される可能性もある。そこで、情報ＦＩＦＯメモリ６１におけるオーバーフローが生じないよう、また、多重化器６２からの出力データのビットレートが伝送容量を超えないよう、データ送信指令装置６５が、情報符号化装置４から送信されたビットレートの目標値Ｐと情報ＦＩＦＯメモリ６１のデータ残存状況Ｆとに基づいて、情報符号化装置４に割り当てるビットレートＲdを決定するようにしている。
【００２１】
図２は、図１における統計多重制御装置５の概略構成例を表すブロック図である。統計多重制御装置５は、ＣＰＵ（Central Processing Unit）５１と、ＦＲＯＭ（flash electrically erasable programmable read only memory）５２と、ＤＲＡＭ（dynamic random access memory）５３と、これらが接続されたバス５５とを備えている。統計多重制御装置５は、更に、それぞれの画像符号化装置２iおよび情報符号化装置４とのデータの送受信を行うためのインターフェース５４を備えている。この統計多重制御装置５は、インターフェース５４を介して、データ送信指令装置６５から符号化情報信号ＳｔdのビットレートＲdを受信すると共に、各画像符号化装置２iから符号化難易度Ｄiを受信し、かつ、各画像符号化装置２iに対して符号化画像信号ＳｔiのビットレートＲiを送信するようになっている。
【００２２】
図３は、情報符号化装置４の概略構成例を表すブロック図である。情報符号化装置４は、付帯情報Ｓdを入力し所定の前処理を行う前処理部４１と、この前処理部４１の出力データを符号化し、符号化情報信号Ｓｔdとして出力する符号化部４２と、符号化部４２における符号化処理を制御する符号化制御部４３とを備えている。前処理部４１では、入力された付帯情報Ｓdの情報量を表すデータを符号化制御部４３に出力するようになっている。符号化制御部４３では、前処理部４１から入力された情報量データに基づき、符号化部４２から出力すべき符号化情報信号Ｓｔdのビットレートの目標値Ｐを算出して統計多重制御装置５に送信するようになっている。さらに、符号化制御部４３は、統計多重制御装置５から送信されたビットレートＲdを受信して、このビットレートＲdに基づいて、符号化部４２の出力を制御するようになっている。
【００２３】
図４は、画像符号化装置２iの詳細な構成を表すブロック図である。画像符号化装置２iは、プログラムＳiを入力し、圧縮符号化のための前処理等を行うエンコーダ前処理部１１と、このエンコーダ前処理部１１の出力データを所定時間だけ遅延して出力するためのＦＩＦＯメモリ１２と、このＦＩＦＯメモリ１２の出力データを入力し、ピクチャ毎にピクチャタイプに応じた画像符号化方法によって圧縮符号化して、符号化画像信号Ｓｔiを出力するエンコーダ１３と、エンコーダ前処理部１１の出力データに基づいて動きベクトルを検出し、エンコーダ１３に送る動き検出回路１４と、エンコーダ前処理部１１から出力されるイントラＡＣデータＳａiと動き検出回路１４から出力されるＭＥ残差データＳｚiとに基づいてエンコーダ１３を制御する符号化制御部１５とを備えている。なお、ＭＥ残差とは、動き予測誤差をピクチャ全体について絶対値和あるいは自乗和したものであり、ＭＥ残差データＳｚiは、ＭＥ残差を求めるためのデータである。
【００２４】
エンコーダ前処理部１１は、プログラムＳiを入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路２１と、この画像並べ替え回路２１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路２２と、この走査変換・マクロブロック化回路２２の出力データを入力し、ＩピクチャにおけるイントラＡＣを算出し、イントラＡＣデータＳａiを符号化制御部１５に送ると共に、走査変換・マクロブロック化回路２２の出力データをＦＩＦＯメモリ１２および動き検出回路１４に送るイントラＡＣ演算回路２３とを備えている。なお、イントラＡＣとは、Ｉピクチャにおいて、８×８画素のＤＣＴ（離散コサイン変換）ブロック内の各画素の画素値とＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として定義され、絵柄の複雑さを表すものといえる。
【００２５】
エンコーダ１３は、ＦＩＦＯメモリ１２の出力データと予測画像データとの差分をとる減算回路３１と、この減算回路３１の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路３２と、このＤＣＴ回路３２の出力データを量子化する量子化回路３３と、この量子化回路３３の出力データを可変長符号化する可変長符号化回路３４と、この可変長符号化回路３４の出力データを一旦保持し、ビットストリームからなる符号化画像信号Ｓｔiとして出力するバッファメモリ３５と、量子化回路３３の出力データを逆量子化する逆量子化回路３６と、この逆量子化回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路３７と、この逆ＤＣＴ回路３７の出力データと予測画像データとを加算して出力する加算回路３８と、この加算回路３８の出力データを保持し、動き検出回路１４から送られる動きベクトルに応じて動き補償を行って予測画像データを減算回路３１および加算回路３８に出力する動き補償回路３９とを備えている。
【００２６】
動き検出回路１４は、エンコーダ前処理部１１の出力データに基づいて、圧縮符号化の対象となるピクチャの注目マクロブロックと、参照されるピクチャにおいて注目マクロブロックとの間の画素値の差分の絶対値和あるいは自乗和が最小となるマクロブロックを探して、動きベクトルを検出して動き補償回路３９に送るようになっている。また、動き検出回路１４は、動きベクトルを求める際に、最小となったマクロブロック間における画素値の差分の絶対値和あるいは自乗和を、ＭＥ残差データＳｚiとして符号化制御部１５に送るようになっている。
【００２７】
符号化制御部１５は、動き検出回路１４からのＭＥ残差データＳｚiをピクチャ全体について足し合わせた値であるＭＥ残差を算出するＭＥ残差計算部２４と、このＭＥ残差計算部２４によって算出されたＭＥ残差とイントラＡＣ演算回路２３からのイントラＡＣデータＳａiとに基づいて、ピクチャの符号化の難易度を表す符号化難易度Ｄiを算出し、統計多重制御装置５に送る符号化難易度計算部２５とを備えている。また、符号化制御部１５は、符号化難易度計算部２５によって算出された符号化難易度Ｄiに基づいて統計多重制御装置５において決定されたビットレートＲiとなるように量子化回路３３における量子化特性値に対応する量子化インデックスを決定し、量子化回路３３に送る量子化インデックス決定部２６を備えている。
【００２８】
ここで、符号化難易度について説明する。符号化難易度は、ピクチャの符号化の難易度を表すものであるが、これは、同じ画質を保つために必要なデータ量の比率と言い換えることができる。符号化難易度を数値化する方法は種々考えられるが、本実施の形態では、ＩピクチャについてはイントラＡＣを用いて符号化難易度を求め、ＰピクチャとＢピクチャについてはＭＥ残差を用いて符号化難易度を求めることとしている。前述のように、イントラＡＣは絵柄の複雑さを表し、ＭＥ残差は映像の動きの速さおよび絵柄の複雑さを表し、これらは符号化の難易度と強い相関があることから、これらを変数とする一次関数等により、符号化難易度を算出することが可能である。
【００２９】
次に、図１に示した統計多重システム１の基本動作について説明する。図５は、図１に示した統計多重システム１において、符号化情報信号Ｓｔdおよび各符号化画像信号Ｓｔiに割り当てられるビットレートを表す図である。図５において、縦軸は各プログラムＳiおよび付帯情報Ｓdに割り当てられたビットレートを表し、横軸は時間を表している。なお、図５では、簡単のため、プログラムＳiは４つのみ示す。
【００３０】
本実施の形態では、まず符号化情報信号Ｓｔdに割り当てるビットレートＲdを決定し、残りのビットレートＴ1の範囲について、統計多重の手法に基づく符号化画像信号Ｓｔ1〜Ｓｔ4への割り当てを行う。具体的には、まず、データ送信指令装置６５が、上述したビットレートの目標値Ｐおよび情報ＦＩＦＯメモリ６１のデータ残存状況Ｆに基づいて、符号化情報信号Ｓｔdに割り当てるビットレートＲdを決定する。そののち、統計多重制御装置５が、伝送可能な総ビットレート（伝送容量）Ｔ0から、符号化情報信号Ｓｔdに割り当てられたビットレートＲdを差し引いた残り（Ｔ0−Ｒd）を画像基準値Ｔ1とし、この画像基準値Ｔ1の範囲内で統計多重の手法により各符号化画像信号Ｓｔ1〜Ｓｔ4へのビットレートＲiの割り当てを行う。以下、統計多重システム１の動作の詳細について説明する。
【００３１】
ＥＰＧなどの付帯情報Ｓdは情報符号化装置４に入力され、各プログラムＳiは各画像符号化装置２iに入力される。情報符号化装置４では、入力された付帯情報に基づいてビットレートの目標値Ｐを設定し、この目標値Ｐをデータ送信指令装置６５に送信する。一方、画像符号化装置２iでは、入力されたプログラムＳiに基づいて符号化制御部１５が符号化難易度Ｄiを算出し、統計多重制御装置５に送信する。
【００３２】
図６は、データ送信指令装置６５が実行する処理を表す流れ図である。まず、データ送信指令装置６５は、情報符号化装置４から出力されたビットレートの目標値Ｐを確認（Ｓ１０）し、次いで、情報ＦＩＦＯメモリ６１のデータの残存状況Ｆを確認する（Ｓ１２）。続いて、データ送信指令装置６５は、情報符号化装置４から送信されたビットレートの目標値Ｐと情報ＦＩＦＯメモリ６１のデータ残存状況Ｆとに基づき、情報ＦＩＦＯメモリ６１のオーバーフローなどが生じないよう、情報符号化装置４が出力すべき符号化情報信号Ｓｔd のビットレートＲd を決定し（Ｓ１４）、このビットレートＲd を情報符号化装置４に通知する（Ｓ１６）。次いで、データ送信指令装置６５は、統計多重制御装置５に対して、符号化情報信号Ｓｔd のビットレートＲd を通知する（Ｓ１８）。図６に示した処理により、情報符号化装置４の符号化情報信号Ｓｔd のビットレートＲd が設定される。
【００３３】
図７は、統計多重制御装置５が実行する処理を表す流れ図である。統計多重制御装置５は、まず、データ送信指令装置６５から送信された符号化情報信号ＳｔdのビットレートＲdを伝送容量Ｔ0から差し引いた残りを画像基準値Ｔ1として設定する（Ｓ１００）。次いで、統計多重制御装置５は、統計多重の手法を用いて、各画像符号化装置２iから入力された符号化難易度Ｄiに基づいて、各画像符号化装置２iに対して設定すべきビットレートの暫定的な目標値としての暫定ビットレートＴＲiをそれぞれ算出する（Ｓ１０２）。ここでは、符号化難易度Ｄiと暫定ビットレートＴＲiとの対応関係を表す演算式を用いて、暫定ビットレートＴＲiを算出するものとする。
【００３４】
次いで、統計多重制御装置５は、各画像符号化装置２i に対して設定された暫定ビットレートＴＲi の総和と画像基準値Ｔ1 との大小関係を判断する（Ｓ１０４）。暫定ビットレートＴＲi の総和が画像基準値Ｔ1 よりも大きい場合（Ｓ１０４でＹ）には、その総和が画像基準値Ｔ1 以下になるよう、各暫定ビットレートＴＲi を減少方向に修正し、これを最終的なビットレートＲi とする（Ｓ１０６）。一方、暫定ビットレートＴＲi の総和が画像基準値Ｔ1 以下の場合（Ｓ１０４でＮ）には、その総和が画像基準値Ｔ1 を超えない範囲でより大きくなるように（すなわち、総和が、画像基準値Ｔ1 と同じか僅かに小さい値になるように）符号化画像信号Ｓｔi の暫定ビットレートＴＲi を増加方向に修正し、これを最終的なビットレートＲi とする（Ｓ１０８）。続いて、ステップＳ１０６またはステップＳ１０８で設定された符号化画像信号Ｓｔi のビットレートＲi を各画像符号化装置２i に送信する（Ｓ１１０）。図７に示した処理により、各画像符号化装置２i の符号化画像信号Ｓｔi のビットレートＲi が設定される。
【００３５】
情報符号化装置４では、符号化制御部４３がデータ送信指令装置６５からビットレートＲd を受信し、このビットレートＲd に応じて符号化部４２の符号化処理を制御する。符号化部４２は、符号化制御部４３から指示されたビットレートＲd で付帯情報Ｓd を符号化し、符号化情報信号Ｓｔd を多重化装置６に出力する。画像符号化装置２i では、符号化制御部１５が統計多重制御装置５からビットレートＲi を受信し、このビットレートＲi に応じてエンコーダ１３の符号化処理を制御する。エンコーダ１３は、符号化制御部１５から指示されたビットレートＲi でプログラムＳi を圧縮符号化し、符号化画像信号Ｓｔi を多重化装置６に出力する。多重化装置６は、情報符号化装置４から送信された符号化情報信号Ｓｔd および各画像符号化装置２i から送信された符号化画像信号Ｓｔi を多重化して、多重化データＳｍを生成し、伝送路に対して出力する。
【００３６】
以上説明したように、本実施の形態に係る統計多重システムによれば、情報符号化装置４に対して割り当てるビットレートＲdを優先的に設定し、そのビットレートＲdに基づいて各画像符号化装置２iに対するビットレートＲiの割り当てを行うようにしたので、伝送すべき付帯情報Ｓdが比較的少ない場合には、それだけ多くのビットレートを各画像符号化装置２iに対して割り当てることができる。従って、無駄のないビットレートの割り当てを行うことができ、画質の向上に資することができる。
【００３７】
また、データ送信指令装置６５により、情報ＦＩＦＯメモリ６１のデータの残存状況に応じて情報符号化装置４の出力を制御するようにしたので、情報ＦＩＦＯメモリ６１のオーバーフローなどが防止できる。
【００３８】
なお、上記の実施の形態では、データ送信指令装置６５が情報符号化装置４を制御するようにしたが、図８に示したように、データ送信指令装置６５を設けずに、統計多重制御装置５によって情報符号化装置４を直接制御するようにしてもよい。このような構成にすれば、処理時間を短縮でき、より効率的な情報符号化・伝送が可能になる。
【００３９】
以上、実施の形態を挙げて本発明を説明したが、本発明はこの実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上述した実施の形態では、情報符号化装置４は１つのみとしたが、複数の情報符号化装置を設けてもよい。また、情報符号化装置４の符号化部４２が、付帯情報Ｓdをトランスポートストリーム化して出力するようにしてもよい。
【００４０】
また、図６および図７に示した処理を統計多重制御装置５およびデータ送信指令装置６５によって実行させるようにしたが、他の機器によって実行させるようにしてもよい。また、画像符号化装置２i，統計多重制御装置５，情報符号化装置４，および多重化装置６は、図１ないし図４に示した構成と異なる構成であってもよい。さらに、情報符号化装置４により符号化する付帯情報は、ＥＰＧやインターネット情報に限られず、他のデータであってもよい。
【００４１】
【発明の効果】
以上説明したように、請求項１もしくは請求項２に記載の統計多重システム、請求項３もしくは請求項４に記載の統計多重制御装置、または請求項５もしくは請求項６に記載の統計多重方法によれば、情報符号化手段に対して符号レートを設定し、その符号レートに基づいて、画像符号化手段に対する符号レートを設定するようにしたので、伝送すべき付帯情報が少ない場合には、より多くの符号レートを番組データに割り当てることができる。すなわち、符号レートの割り当てを効率的に行うことができ、画質を向上させることができるという効果を奏する。
また、各画像符号化手段に対する符号レートの割り当てを行う際に、伝送可能な総符号レートから情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とすると共に、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて各画像符号化手段に対する符号レートの割り当てを行うようにしたので、伝送路のオーバーフローなどを起こすことなく、画像符号化手段に対する符号レートの割り当てを効率的に行うことができるという効果を奏する。
さらに、情報符号化手段に対して符号レートを設定する際に、この情報符号化手段から取得した目標符号レートと、情報符号化手段からの出力データを一時的に保存するメモリにおけるデータの残存状況情報と基づいて、少なくともこのメモリにおけるオーバーフローが生じないように情報符号化手段に対して設定すべき符号レートを決定するようにしたので、メモリのオーバーフローなどを防止できるという効果を奏する。
【００４３】
特に、請求項２記載の統計多重システム、請求項４記載の統計多重制御装置、または請求項６記載の統計多重方法によれば、各画像符号化手段について暫定符号レートを設定し、暫定符号レートの総和が画像基準値に近づくよう暫定符号レートを修正するようにしたので、画像基準値の範囲内で、無駄なく符号レートの割り当てを行うことができるという効果を奏する。
【図面の簡単な説明】
【図１】  本発明の実施の形態に係る統計多重制御装置を含む統計多重システムの概略の構成を表すブロック図である。
【図２】  図１に示した統計多重システムにおける統計多重制御装置のハードウェア構成を表すブロック図である。
【図３】  図１に示した統計多重システムにおける情報符号化装置の概略構成例を表すブロック図である。
【図４】  図１に示した統計多重システムにおける画像符号化装置の概略構成例を表すブロック図である。
【図５】  図１に示した統計多重制御装置における割当ビットレートの一例を表すチャートである。
【図６】  データ送信指令装置により実行される処理を表す流れ図である。
【図７】  統計多重制御装置により実行される処理を表す流れ図である。
【図８】  統計多重システムの他の構成例を表すブロック図である。
【図９】  ビットレートが固定された場合の一般的な割当符号レートを表す図である。
【図１０】  統計多重制御における一般的な割当符号レートを表す図である。
【図１１】  統計多重制御における一般的な割当符号レートを表す図である。
【図１】
0004441839.tif 000002
【図２】
0004441839.tif 000003
【図３】
0004441839.tif 000004
【図４】
0004441839.tif 000005
【図５】
0004441839.tif 000006
【図６】
0004441839.tif 000007
【図７】
0004441839.tif 000008
【図８】
0004441839.tif 000009
【図９】
0004441839.tif 000010
【図１０】
0004441839.tif 000011
【図１１】
0004441839.tif 000012