(57)【特許請求の範囲】
【請求項１】
複数の画像信号符号化処理部からの出力符号化データをチャネル多重化部にて多重化する画像信号符号化多重方法において、上記各画像信号符号化処理部は、上記符号化データのレート制御を画像信号符号化により発生する符号化歪情報を制御することによって行なうものであり、該各画像信号符号化処理部から上記符号化データおよび上記符号化歪情報を上記チャネル多重化部へ出力し、該チャネル多重化部から上記各符号化歪情報に応じたそれぞれの伝送レート制御信号を上記各画像信号符号化処理部へ出力し、該各伝送レート制御信号で上記各符号化歪情報が均等もしくは近い値になるように、上記各画像信号符号化処理部を繰り返し制御することにより画像信号の冗長度に応じた伝送レート割当てを行なうことを特徴とする画像信号符号化多重方法。
【請求項２】
請求項１記載のものにおいて、上記各画像信号符号化処理部からの各符号化歪情報を上記各画像信号符号化処理部の各量子化ステップ信号とし、該各量子化ステップ信号を各画像信号符号化処理部のバッファの蓄積状態に応じて制御することを特徴とする画像信号符号化多重方法。
【請求項３】
請求項２記載のものにおいて、上記各画像信号符号化処理部の各量子化ステップ信号の状態に応じた上記チャネル多重化部からの各伝送レート制御信号により、上記各量子化ステップ信号が均等もしくは近い値になるように、上記各画像信号符号化処理部のバッファからの蓄積読み出し時間を制御することを特徴とする画像信号符号化多重方法。
【請求項４】
複数の画像信号符号化処理部からの出力符号化データをチャネル多重化部にて多重化する画像信号符号化多重方法において、上記各画像信号符号化処理部は、発生符号データ量が目標符号データ量と等しくなるように画像信号符号化により発生する符号化歪情報を制御することによって行なうものであり、該各画像信号符号化処理部から上記符号化データおよび上記符号化歪情報を上記チャネル多重化部へ出力し、該チャネル多重化部は、少なくとも上記各符号化歪情報に応じて変更されるそれぞれの目標符号データ量に対応する割当符号データ量を上記各画像信号符号化処理部へ出力し、上記各割当符号データ量で上記各符号化歪情報が均等もしくは近い値になるよう、上記各画像信号符号化処理部を繰り返し制御することにより画像信号の冗長度に応じた伝送レート割当てを行なうことを特徴とする画像信号符号化多重方法。
【請求項５】
複数の画像信号符号化処理部からの出力符号化データをチャネル多重化部にて多重化する画像信号符号化多重装置において、上記各画像信号符号化処理部に、それぞれ画像信号を符号化する手段と、それぞれ上記符号化データのレート制御を行なうために、画像信号符号化により発生する符号化歪情報を制御する手段と、該符号化歪情報を上記チャネル多重化部へ出力する手段を有し、上記チャネル多重化部に、上記各符号化歪情報が均等もしくは近い値になるよう上記各チャネルの伝送レート割当てを行うための各伝送レート制御信号を発生する手段と、当該各伝送レート制御信号により繰り返し制御された上記各画像信号符号化処理部からの各符号化データを伝送レート割当てして多重化する手段を有することを特徴とする画像信号符号化多重装置。
【請求項６】
請求項５記載のものにおいて、上記各符号化歪情報を上記各画像信号符号化処理部の量子化ステップ信号とし、上記チャネル多重化部に、上記各量子化ステップ信号を上記各画像信号符号化処理部のバッファの蓄積状態に応じて制御する制御手段を有することを特徴とする画像信号符号化多重装置。
【請求項７】
請求項６記載のものにおいて、上記制御手段を、上記各伝送レート制御信号により、上記各量子化ステップ信号が均等もしくは近い値になるように、上記各画像信号符号化処理部のバッファからの蓄積読み出し時間を制御するバッファ読み出し制御手段としたことを特徴とする画像信号符号化多重装置。
【請求項８】
複数の画像信号符号化処理部からの出力符号化データをチャネル多重化部にて多重化する画像信号符号化多重装置において、上記各画像信号符号化処理部に、それぞれ画像信号を符号化する手段と、それぞれ発生符号データ量が目標符号データ量と等しくなるように画像信号符号化により発生する符号化歪情報を制御する手段と、該符号化歪情報を上記チャネル多重化部へ出力する手段を有し、上記チャネル多重化部に、上記各符号化歪情報に応じて変更される上記各チャネルの目標符号データ量に対応する各割当符号データ量を発生する手段と、当該各割当符号データ量により上記各符号化歪情報が均等もしくは近い値になるよう繰り返し制御された上記各画像信号符号化処理部からの各符号化データを伝送レート割当てして多重化する手段を有することを特徴とする画像信号符号化多重装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は画像信号の符号化方法、特に複数チャネルの画像信号を符号化し多重する方法に関するものである。
【０００２】
【従来の技術】
最近、画像信号の符号化技術、特に動画像信号の高能率符号化に関連する技術については著しい進歩があり、国際的な標準化が進められるとともに、多様な利用形態による動画像信号高能率符号化システムが増加している。
その中の一つに複数チャネルの動画像信号を高能率符号化し、多重化して伝送または記録するシステムの要求があり開発が進められている。
【０００３】
開発が進められているものとして、放送システムのＦＰＵ（Ｆｉｅｌｄ  Ｐｉｃｋ  Ｕｐ）装置があるが、従来技術例としてのＦＰＵ装置はアナログ信号で処理を行ない画像信号を伝送するものであり、且つ１チャネルの画像信号を伝送するものであるため、同時に複数チャネルの画像信号を伝送したいという要求に答えられない。
この要求に答えるため、ＦＰＵ装置に高能率符号化技術を適用し、画像信号を例えば３チャネル多重伝送するものが開発されている。ＦＰＵ装置の伝送容量を例えば１５Ｍｂｐｓとして高能率符号化伝送により３チャネルの信号を伝送するもので、各チャネルに５Ｍｂｐｓづつ固定的に伝送容量を割当て、３チャネルの画像信号を多重して伝送するものである。
【０００４】
然し乍ら、この場合各チャネルには通常異なる画像信号が入力されることから、必然的に各チャネルの画像信号の冗長度に差が発生することになり、一つのチャネルは５Ｍｂｐｓの伝送容量では不足であり、別のチャネルでは５Ｍｂｐｓの伝送容量で十分ということになる。しかも伝送容量が５Ｍｂｐｓで不足であったり十分であったりする状態はたえず変化しており固定されてない。例えば動きの激しいスポーツの画像信号と静寂な風景の画像信号とでは明らかに風景の画像信号の方が冗長度の多い画像信号である。
このように冗長度に差が発生しているにも関わらず、割当伝送レートが各チャネル同一ということは、冗長度の少ないチャネルに関しては符号化による画質劣化が激しく、冗長度の多いチャネルについては必要以上に画質劣化が少ないといった現象が発生することになる。
【０００５】
【発明が解決しようとする課題】
前述の従来からの高能率符号化技術のままでは、ＦＰＵ装置各チャネルの伝送レートを各チャネルの画像信号の冗長度に応じた伝送レートで割当てていないために、画質劣化の無い効率的な画像信号符号化多重方法が実現されていないといった欠点がある。
本発明はこれらの欠点を除去し、各チャネルにどのような画像信号が入力されても、各チャネルの画像信号の冗長度に応じた伝送レート割当てを可能とし、画質劣化の無い効率的な画像信号符号化多重方法の実現を目的とする。
【０００６】
【課題を解決するための手段】
本発明は上記の目的を達成するため、複数の画像信号符号化処理部からの出力符号化データをチャネル多重化部にて多重化する画像信号符号化多重方法において、上記各画像信号符号化処理部は、上記符号化データのレート制御を画像信号符号化により発生する符号化歪情報を制御することによって行なうものであり、該各画像信号符号化処理部から上記符号化データおよび上記符号化歪情報を上記チャネル多重化部へ出力し、該チャネル多重化部から上記各符号化歪情報に応じたそれぞれの伝送レート制御信号を上記各画像信号符号化処理部へ出力し、該各伝送レート制御信号で上記各符号化歪情報が均等もしくは近い値になるように、上記各画像信号符号化処理部を繰り返し制御することにより画像信号の冗長度に応じた伝送レート割当てを行なうものである。
また、上記各画像信号符号化処理部からの各符号化歪情報を上記各画像信号符号化処理部の各量子化ステップ信号とし、該各量子化ステップ信号を各画像信号符号化処理部のバッファの蓄積状態に応じて制御するものである。
また、上記各画像信号符号化処理部の各量子化ステップ信号の状態に応じた上記チャネル多重化部からの各伝送レート制御信号により、上記各量子化ステップ信号が均等もしくは近い値になるように、上記各画像信号符号化処理部のバッファからの蓄積読み出し時間を制御するものである。
【０００７】
また、複数の画像信号符号化処理部からの出力符号化データをチャネル多重化部にて多重化する画像信号符号化多重方法において、上記各画像信号符号化処理部は、発生符号データ量が目標符号データ量と等しくなるように画像信号符号化により発生する符号化歪情報を制御することによって行なうものであり、該各画像信号符号化処理部から上記符号化データおよび上記符号化歪情報を上記チャネル多重化部へ出力し、該チャネル多重化部は、少なくとも上記各符号化歪情報に応じて変更されるそれぞれの目標符号データ量に対応する割当符号データ量を上記各画像信号符号化処理部へ出力し、上記各割当符号データ量で上記各符号化歪情報が均等もしくは近い値になるよう、上記各画像信号符号化処理部を繰り返し制御することにより画像信号の冗長度に応じた伝送レート割当てを行なうものである。
【０００８】
【作用】
本発明の画像信号符号化多重方法は、各画像信号符号化処理部から符号化データおよび画像信号符号化により発生する符号化歪情報をチャネル多重化部へ出力し、チャネル多重化部からは伝送レート制御信号を各画像信号符号化処理部へ出力することにより画像信号の冗長度に応じた伝送割当てを行なう。
また、各画像信号符号化処理部からの符号化歪情報が均等になるように、チャネル多重化部からの伝送レート制御信号で各画像信号符号化処理部を制御する。
【０００９】
また、各画像信号符号化処理部から符号化データおよび画像信号符号化により発生する符号化歪情報をチャネル多重化部へ出力し、チャネル多重化部からは伝送レート制御信号および割当符号データ量を各画像信号符号化処理部へ出力することにより画像信号の冗長度に応じた伝送割当てを行なう。
また、各画像信号符号化処理部から符号化データをチャネル多重化部へ出力し、一個の量子化ステップ変更器により前記複数の画像信号符号化処理部を制御すると共に該一個の量子化ステップ変更器から画像信号符号化により発生する符号化歪情報をチャネル多重化部へ出力し、チャネル多重化部からは伝送レート制御信号を各画像信号符号化処理部へ出力することにより画像信号の冗長度に応じた伝送割当てを行なう。
【００１０】
【実施例】
〔実施例  １〕
図１に本発明の第１の実施例を示す。図１に全体構成のブロック図で示す画像信号符号化多重方法により各チャネルの画像信号の冗長度に応じた伝送レート割当てを行なう。破線で囲んだ部分が一つのチャネルの処理部で、そのチャネル数は任意である。
まず、第１チャネルでは画像信号１が画像信号符号化処理部２に入力され、その画像信号符号化処理部２からは画像信号１の符号化処理により発生した符号化歪情報３と符号化データ４がチャネル多重化部１６へ出力される。また、チャネル多重化部１６からは伝送レートの割当てを行なう伝送レート制御信号５が画像信号符号化処理部２へ出力される。
【００１１】
第２チャネルは画像信号６、画像信号符号化処理部７、符号化歪情報８、符号化データ９、伝送レート制御信号１０とその接続構成および信号は第１チャネルと同様である。また、第ｍチャネルは画像信号１１、画像信号符号化処理部１２、符号化歪情報１３、符号化データ１４、伝送レート制御信号１５とその接続構成および信号は第１チャネルと同様である。チャネル多重化部１６では伝送レート割当てが行なわれた符号化データ４、９、１４を多重し、多重符号化データ１７を出力する。
【００１２】
更に詳しく説明すると、前記チャネル多重化部１６では入力された各チャネルの符号化歪情報３、８、・・・１３がそれぞれ等しいか、もしくは近い値になるように、伝送レート制御信号５、１０、・・・１５により画像信号符号化処理部２、７、・・・１２を制御する。
前記制御により伝送レート制御信号５、１０、・・・１５に応じた各チャネルから符号化データ４、９、・・・１４がチャネル多重化部１６に入力され、該チャネル多重化部１６から多重化した多重符号化データ１７が出力される。その結果各チャネルの画像信号の冗長度に応じた伝送レートを自動的に割当て可能となる。
画像信号の冗長度に応じた伝送レートを各チャネルに割当てるということを各チャネルの画像信号の符号化による歪が均等になるように制御することで実現する。
【００１３】
〔実施例  ２〕
図２に本発明の第２の実施例を示す。この実施例では符号化により発生する歪を量子化のステップによって推量し、各チャネルの量子化ステップが均等になるように制御することを基本としている。
図２の実施例は３チャネル多重の場合を示し、画像信号符号化処理部２ａ、７ａ、１２ａにはそれぞれに画像信号１８、１９、２０が印加され、独立に画像信号を符号化処理する。
【００１４】
また、ここに示した画像信号符号化処理部２ａ、７ａ、１２ａのレートコントロールは各画像信号符号化処理部に配置されているバッファ（実体はバッファメモリであるが、以後通称のバッファを使用）の蓄積状態に応じた制御で行なうものである。
その画像信号符号化処理部２ａ、７ａ、１２ａからはそれぞれの量子化ステップ信号２４、２５、２６がチャネル多重化部１６ａの伝送レート割当変更部３４に出力され、また、それぞれの符号化データ２７、２８、２９は多重符号化データ３３に多重されるように出力される。
【００１５】
一方、前記伝送レート割当変更部３４はチャネルアクセス時間設定部５８へ信号３５、３６、３７を出力し、チャネルアクセス時間設定部５８はチャネルイネーブル信号（チャネル使用可能信号）３８、３９、４０をそれぞれのバッファ読み出し制御部４１、４２、４３へ出力する。
バッファ読み出し制御部４１、４２、４３は各チャネルの画像信号符号化処理部にある各バッファに対しＲＥ／ＯＥ信号３０、３１、３２を出力し、また各ＩＤ出力部からはチャネルＩＤデータ４４、４５、４６が多重符号化データ３３に多重されるように出力される。
【００１６】
次に画像信号符号化処理部２ａ、７ａ、１２ａの詳細な構成を画像信号符号化処理部２ａに代表して示し説明をする。
まず画像信号１８はＤＣＴ（離散余弦変換）符号化器４７に印加される。このＤＣＴ符号化器４７では動き補償予測などを行ない、ＤＣＴ変換をし、変換係数４８を量子化器４９へ出力する。
そして、この変換係数４８は量子化器４９にて量子化されデータ５０として可変長符号化器５１へ出力される。
可変長符号化器５１はデータ５０を可変長符号化し、符号化データ５３をバッファ５４に出力する。
【００１７】
バッファ５４からはライトアドレスデータ２２とリードアドレスデータ２１が量子化ステップ変更器５２に出力され、また、符号化データ２７を多重符号化データ３３に多重されるように出力する。この時バッファ５４にはバッファ読み出し制御部４１からＲＥ／ＯＥ信号３０が入力される。
前記量子化ステップ変更器５２は量子化器４９と伝送レート割当変更部３４へ量子化ステップ信号２４を出力する。
【００１８】
次にバッファ読み出し制御部４１、４２、４３の詳細構成をバッファ読み出し制御部４１に代表して示し説明をする。前記チャネルアクセス時間設定部５８からのチャネルイネーブル信号３８がバッファ読み出し制御部４１を構成するＩＤ出力部５５とＡＮＤ回路５７に入力される。
チャネルイネーブル信号３８が入力されたＩＤ出力部５５からはチャネルＩＤデータ４４が多重符号化データ３３に多重されるように出力され、信号５６がＡＮＤ回路５７に出力される。ＡＮＤ回路５７からはＲＥ／ＯＥ信号３０がバッファ５４へ出力される。
【００１９】
以下図２の実施例の動作を説明する。まず、各画像信号符号化処理部内の動作について画像信号符号化処理部２ａで代表して説明する。
ＤＣＴ符号化器４７に印加された画像信号１８は、ＤＣＴ符号化器４７によりＤＣＴの変換係数４８となり量子化器４９へ出力される。なお、このＤＣＴ符号化器４７では動き補償予測などの処理も行なう。
【００２０】
次に前記変換係数４８は量子化器４９により量子化されデータ５０となり可変長符号化器５１へ出力される。この量子化器４９で変換係数４８が量子化されるステップは量子化ステップ変更器５２からの量子化ステップ信号２４で制御される。
そして前記データ５０は可変長符号化器５１で符号化され符号化データ５３となりバッファ５４へ出力される。
【００２１】
バッファ５４はバッファ読み出し制御部４１からのＲＥ／ＯＥ信号３０に制御され、設定されたレートで符号化データ２７が多重符号化データ３３に多重されるように出力される。
具体的にはＲＥ／ＯＥ信号３０が“１”のときに、バッファ５４のメモリが読み出し可能状態となり符号化データ２７が出力される。また、ＲＥ／ＯＥ信号３０が“０”のときにバッファ５４の記憶の読み出しがストップされ、符号化データ２７は出力されない。
【００２２】
ここで、この画像信号符号化処理部内のレートコントロール動作について説明する。
バッファ５４の出力である符号化データ２７はシステムで定められた目的のレートで出力されるが、そのためには可変長符号化器５１の出力である符号化データ５３のバッファ５４への出力レートをこのレートに合わせる必要がある。
【００２３】
このレート合わせは、量子化ステップ変更器５２へバッファ５４のライトアドレスデータ２２とリードアドレスデータ２１を入力し、バッファ５４の蓄積の状態に応じて量子化ステップ変更器５２の出力の量子化ステップ信号２４を変更し量子化器４９の量子化ステップを制御することで符号化データ５３のレート制御を実現している。
具体的にはリードアドレスデータ２１とライトアドレスデータ２２のデータ値が近くなったら（バッファ内データがエンプティに近づいたら）符号化データ５３のレートを上げるようにし、リードアドレスデータ２１とライトアドレスデータ２２のデータ値が離れたら（バッファ内データがオーバーフローに近づいたら）符号化データ５３のレートを下げるように制御する。
【００２４】
更に説明すると、この符号化データ５３のレートを上げるのは量子化器４９の量子化ステップを小さくすれば良く、符号化データ５３のレートを下げるのは量子化器４９の量子化ステップを大きくすれば良い。
量子化ステップ変更器５２は量子化ステップ信号２４を量子化器４９へ出力し、量子化ステップを制御する。以上により画像信号符号化処理部内のレートコントロールが実現されるが、これは他のチャネルについても同様である。
【００２５】
次にチャネル間のレートコントロール動作について説明する。まず、初期状態は画像信号符号化処理部２ａ、７ａ、１２ａに対し均等に出力読み出しが実施されているとする。
そこに、画像信号符号化処理部２ａには冗長度の多い画像信号が入力され、画像信号符号化処理部１２ａには冗長度の少ない画像が入力され、画像信号符号化処理部７ａにはその中間の冗長度の画像信号が入力されたとする。
【００２６】
冗長度の異なる画像信号が入力された時点では各チャネルは同一の伝送レートで読み出しがされているため、冗長度の異なる画像信号の入力により必然的に各チャネルの量子化ステップには差が発生する。つまり最も冗長度の多い画像信号符号化処理部２ａの量子化ステップは最も小さく、最も冗長度の少ない画像信号符号化処理部１２ａの量子化ステップは最も大きくなる。
【００２７】
この状態を伝送レート割当変更部３４は各チャネルの量子化ステップ信号２４、２５、２６で監視しており、状態に応じてチャネルアクセス時間設定部５８へ信号３５、３６、３７を出力し、各チャネルのバッファの読み出し時間（量）をチャネルイネーブル信号３８、３９、４０により変更する。これは量子化ステップの小さなチャネルのバッファの読み出し時間を少なくし、量子化ステップの大きなチャネルのバッファの読み出し時間を多くするように変更する。
【００２８】
この動作についてより具体的に述べる。例えばレート変更前のチャネルイネーブル信号３８、３９、４０の状態が図３に示すものとし、このチャネルイネーブル信号３８、３９、４０は“１”のときに該当チャネルのバッファが読み出し可能とされるものとする。
従って、このレート変更前の状態ではお互いに１００という長さで均等になっており、次いで伝送レート割当変更部３４は量子化ステップ信号２４、２５、２６の信号から前述のような量子化ステップの違いを検出する。
【００２９】
例えば、画像信号符号化処理部２ａの量子化ステップがＱ１＝２０、画像信号符号化処理部７ａの量子化ステップがＱ２＝５０、画像信号符号化処理部１２ａの量子化ステップがＱ３＝８０とする。
伝送レート割当変更部３４は、次の式によりチャネルイネーブル信号３８、３９、４０の変更量Ｄ１、Ｄ２、Ｄ３を求め、その情報を信号３５、３６、３７としてチャネルアクセス時間設定部５８に出力する。
【００３０】
Ｑａｖｅ＝（Ｑ１＋Ｑ２＋Ｑ３）／３＝５０
Ｄ１＝Ｋ（Ｑ１−Ｑａｖｅ）＝−３０（但し、Ｋ＝１の場合）
Ｄ２＝Ｋ（Ｑ２−Ｑａｖｅ）＝０    （但し、Ｋ＝１の場合）
Ｄ３＝Ｋ（Ｑ３−Ｑａｖｅ）＝３０  （但し、Ｋ＝１の場合）
【００３１】
上記変数Ｋは、システムによって任意に設定可能であるが、ここでは便宜上Ｋ＝１とする。これによりチャネルイネーブル信号３８、３９、４０は図４のようになる。
この動作の後冗長度の大きかったチャネルは伝送レートが小さくなり、その分冗長度の少ないチャネルの伝送レートが大きくなる。従って、前述した各画像信号符号化処理部内のレートコントロール動作の結果、Ｑ１＞２０、Ｑ２＝５０、Ｑ３＜８０となり、お互いの量子化ステップが近づくようになる。更に変化したＱ１、Ｑ２、Ｑ３について同様の動作をすればＱ１≒Ｑ２≒Ｑ３となる。
【００３２】
なお、変更量Ｄ１、Ｄ２、Ｄ３に関しては必ずしも上記式によるものでなくても良い。最も簡単には、Ｑａｖｅに対し該当チャネルの量子化ステップ（Ｑ１またはＱ２またはＱ３）が大きいか小さいかを判断し、大きければ正の或る所定量、小さければ負の或る所定量を変更量とする方法もある。この所定量は一定値であるが、何回も繰り返すことによりＱ１≒Ｑ２≒Ｑ３とすることが可能である。また、完全にＱ１＝Ｑ２＝Ｑ３となるまで変更量を与える必要が無いことは言うまでもない。完全にＱ１＝Ｑ２＝Ｑ３としようとすれば、その付近で発振する恐れがあるため、ある程度近づいたら変更量をゼロにした方が安定した画質を得ることができる。
【００３３】
この量子化ステップを同一にするということは、ＤＣＴをベースにした符号化では符号化による歪の最大の原因は量子化ステップに直接関係することから、各チャネルとも同程度の歪にしたことになり、冗長度に応じた伝送レート割当ができたことになる。
【００３４】
なお、多重符号化データ３３には、各チャネルの符号化データの区切りに該当チャネルを認識可能なデータが挿入される。それは各チャネルの符号化データの多重割合が前記のようにダイナミックに変化するために、復号化側で該当チャネルを認識する必要があるからである。
このため各チャネルの符号化データ２７、２８、２９を多重符号化データ３３に多重して出力する前に、チャネル識別のチャネルＩＤデータ４４、４５、４６を挿入する。これを実現しているのがバッファ読み出し制御部４１、４２、４３である。
【００３５】
例えばバッファ読み出し制御部４１においては、チャネルイネーブル信号３８が“１”になると同時に、ＩＤ出力部５５から必要なチャネルＩＤデータ４４を多重符号化データ３３の符号化データ２７の前に出力する。そして、この間は画像信号符号化処理部２ａのバッファ５４から記憶データが読み出されないようにＩＤ出力部５５からの信号５６によりＡＮＤ回路５７でゲートがかけられるのでＲＥ／ＯＥ信号３０は“１”とならない。チャネルＩＤデータ４４の信号が終わると信号５６によるゲートがはずされ、バッファ５４の記憶データ読み出しを開始する。
【００３６】
〔実施例  ３〕
ここで本発明による第３の実施例を説明する。各画像信号符号化処理部内のレートコントロールを図２の一実施例ではバッファを制御する技術で説明したが、バッファを制御しない場合でももちろん本発明は適用可能である。
一例としては、目標符号データ量と実際の発生符号データ量の差を検出し、目標符号データ量になるように順次量子化ステップを変更するレートコントロール方法があり、この場合の実施例を図５に示す。図２と異なるのは各画像信号符号化処理部２ｂ、７ｂ、１２ｂ内の量子化ステップ変更器と伝送レート割当変更部８５である。
【００３７】
この相違部分を中心にその動作を説明する。各画像信号符号化処理部２ｂ、７ｂ、１２ｂ内の量子化ステップ変更器の動作を量子化ステップ変更器９９で代表して説明する。この量子化ステップ変更器９９は、２つの入力信号の一方である可変長符号化器９６の出力の符号化データ９８から発生符号データ量（例えば、１フレーム単位）を検出し、これと他方の入力信号である伝送レート割当変更部８５の出力の割当符号データ量６８（例えば、連続する複数の画像フレームに対する符号データ量）から算出される目標符号データ量（例えば、１フレームに対する符号データ量）とを比較し、前記２つのデータ量が等しくなるように順次量子化ステップ変更器９９の出力である量子化ステップ信号６５を変更し、レートコントロールを実現するものである。
【００３８】
ここでバッファ９７をオーバーフローやエンプティにならないようにするには前記割当符号データ量６８に応じたレートでバッファ９７から符号化データ７１を読み出すだけで可能である。
【００３９】
各チャネルがこのような画像信号符号化処理部で構成されている場合、チャネル間のレートコントロールは各バッファに入力されるＲＥ／ＯＥ信号７４、７５、７６の他に割当符号データ量６８、６９、７０を変更することで実現できる。ＲＥ／ＯＥ信号７４、７５、７６の変更動作は上述の図２で説明したのと同様で、割当符号データ量６８、６９、７０はこれに比較して変更すれば良い。
【００４０】
なお、図２、図５の実施例において、量子化ステップ信号２４、２５、２６または６５、６６、６７から得る量子化ステップは変換係数それぞれの量子化ステップの平均値でも、また代表値でも良い。
【００４１】
また、本発明は複数系統のそれぞれ独立した画像信号を扱うばかりでなく、一つの画像信号を複数のチャネルに分割して並列処理により符号化する場合でも本発明の効果を得ることができる。
具体的にはＨＤＴＶ画像など高精細な画像の信号を入力する場合で、その画素レートは７４ＭＨｚにもなり、現状のハードウェア能力では並列処理が必要となる。このような必要性から一つの画像の信号を分割したとしても、分割した各データを比較すれば冗長度に差が発生することは十分に考えられる。つまり、ある分割データは単純な空の部分で、他の分割データは複雑な服の模様の部分であったりする。
【００４２】
その構成例は図６に示すもので、一つの入力画像信号１００をチャネル分割器１０１により分割し、各チャネルの画像信号符号化処理部１０５、１０６、１０７にデータ１０２、１０３、１０４を入力し符号化処理をする。ここで、前記のように与えられたデータ１０２、１０３、１０４の冗長度に差が発生することになる。そしてそれぞれを単純に同一の伝送レートで符号化すると従来技術と同じ欠点が生じることになる。従ってこの様な場合においても本発明により容易に解決できる。なお、チャネル分割器１０１による分割では領域ごとの分割の他に輝度信号と色差信号に分割する場合などが考えられる。
【００４３】
また、本発明実施例の図２、図５では各画像信号符号化処理部ごとに量子化ステップ変更器が存在した。しかし、図７に示すように一つの量子化ステップ変更器１１１における量子化ステップ信号１１２だけで集中制御する構成でも可能である。これにより各画像信号符号化処理部１０８、１０９、１１０の量子化器１１３、１１４、１１５における量子化ステップが等しくなるように制御することができ、同様の効果を得ることができる。
【００４４】
【発明の効果】
本発明によれば、各チャネルにどのような画像信号が印加されても各チャネルの画像信号の冗長度に応じた伝送レート割当てを可能とし、画質劣化の無い、より効率的な画像信号符号化多重方法を実現できる。
【図面の簡単な説明】
【図１】本発明の全体構成を示すブロック図。
【図２】本発明の一実施例を示すブロック図。
【図３】図２の動作を説明する図。
【図４】図２の動作を説明する図。
【図５】本発明の他の実施例を示すブロック図。
【図６】本発明による一つの入力画像信号を分割して処理する構成を示すブロック図。
【図７】本発明による一つの量子化ステップ変更器を使用する構成を示すブロック図。
【符号の説明】
２、２ａ、２ｂ、７、７ａ、７ｂ、１２、１２ａ、１２ｂ…画像信号符号化処理部、１６、１６ａ、１６ｂ…チャネル多重化部、３４、８５…伝送レート割当変更部、４１、４２、４３、８６、８７、８８…バッファ読み出し制御部、４７、９２…ＤＣＴ符号化器、４９、９４、１１３、１１４、１１５…量子化器、５１、９６…可変長符号化器、５２、９９…量子化ステップ変更器、５４、９７…バッファ、５５…ＩＤ出力部、５７…ＡＮＤ回路、５８、８１…チャネルアクセス時間設定部、１０１…チャネル分割部、１０５、１０６、１０７、１０８、１０９、１１０…画像信号符号化処理部、１１１…量子化ステップ変更器。
１、６、１１、１８、１９、２０、５９、６０、６１、１００…画像信号、３、８、１３…符号化歪情報、４、９、１４…符号化データ、５、１０、１５…伝送レート制御信号、１７、３３、７７…多重符号化データ、２１…リードアドレスデータ、２２…ライトアドレスデータ、２４、２５、２６、６５、６６、６７、１１２…量子化ステップ信号、２７、２８、２９、７１、７２、７３…符号化データ、３０、３１、３２、７４、７５、７６…ＲＥ／ＯＥ信号、３５、３６、３７、７８、７９、８０…信号、３８、３９、４０、８２、８３、８４…チャネルイネーブル信号、４４、４５、４６、８９、９０、９１…チャネルＩＤデータ、４８、９３…変換係数、５０、９５…データ、５３、９８…符号化データ、５６…信号、６８、６９、７０…割当符号データ量、１０２、１０３、１０４…データ。
【図１】
0003614448.tif 000002
【図２】
0003614448.tif 000003
【図３】
0003614448.tif 000004
【図４】
0003614448.tif 000005
【図５】
0003614448.tif 000006
【図６】
0003614448.tif 000007
【図７】
0003614448.tif 000008