(57)【特許請求の範囲】
【請求項１】
単位ブロックをＤＣＴ変換して得られた複数の係数を第１の量子化ステップで量子化及び可変長符号化された第１の符号化量子化データを用いて得られた第１の画像符号化データを前記第１の量子化ステップよりも広いステップ幅の第２の量子化ステップで量子化及び可変長符号化された第２の符号化量子化データを用いて得られた第２の画像符号化データに変換する画像符号化レート変換装置であって、
前記第１の画像符号化データをヘッダデータ、前記第１の符号化量子化データ及び前記第１の符号化量子化データ以外のデータとに分離するヘッダ分離部と、
前記ヘッダ分離部で分離された前記第１の符号化量子化データを可変長復号して第１の量子化データを出力する可変長復号部と、
前記第１、第２の画像符号化データの符号量情報に基づいて、前記第２の量子化ステップを出力する符号量制御部と、
前記第１の量子化データの逆量子化を行って第１のＤＣＴ係数データを得、前記第２の量子化ステップに基づいて、前記第１のＤＣＴ係数データを再量子化して第２のＤＣＴ係数データを生成する逆量子化・再量子化部と、
前記第２のＤＣＴ係数データの中に含まれる係数値が全て０であった場合には、前記第１のＤＣＴ係数データの係数を残す指示を前記逆量化・再量子化部に行って前記逆量子化・再量子化部から第３のＤＣＴ係数データを出力させる係数選択部と、
前記第３のＤＣＴ係数データを可変長符号化して前記第２の符号化ＤＣＴ係数データを生成する可変長符号化部と、
前記第２の符号化ＤＣＴ係数データと分離された前記ヘッダデータと前記第１の符号化量子化データ以外のデータとを結合して前記第２の画像符号化データを出力するヘッダ結合部と、
を備えたことを特徴とする画像符号化レート変換装置。
【請求項２】
単位ブロックをＤＣＴ変換して得られた複数の係数を第１の量子化ステップで量子化及び可変長符号化された第１の符号化量子化データを用いて得られた第１の画像符号化データを前記第１量子化ステップよりも広いステップ幅の第２の量子化ステップで量子化及び可変長符号化された第２の符号化量子化データを用いて得られた第２の画像符号化データに変換する画像符号化レート変換方法であって、
前記第１の画像符号化データをヘッダデータ、前記第１の符号化量子化データ及び前記第１の符号化量子化データ以外のデータとに分離し、
前記分離された前記第１の符号化量子化データを可変長復号して第１の量子化データを出力し、
前記第１、第２の画像符号化データの符号量情報に基づいて、前記第２の量子化ステップを出力し、
前記第１の量子化データの逆量子化を行って第１のＤＣＴ係数データを得、前記第２の量子化ステップに基づいて、前記第１のＤＣＴ係数データを再量子化して第２のＤＣＴ係数データを生成し、
前記第２のＤＣＴ係数データの中に含まれる係数値が全て０であった場合には、前記第１のＤＣＴ係数データの係数を残す指示を行って第３のＤＣＴ係数データを出力させ、
前記第３のＤＣＴ係数データを可変長符号化して前記第２の符号化ＤＣＴ係数データを生成し、
前記第２の符号化ＤＣＴ係数データと分離された前記ヘッダデータと前記第１の符号化量子化データ以外のデータとを結合して前記第２の画像符号化データを出力することを特徴とする画像符号化レート変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所定の転送レートで符号化される画像符号化データのレート変換に係り、特に符号化された動画像を記録、伝送、または表示する装置におけるレート変換を簡単な構成により行うことの出来る画像符号化データのレート変換方法、及び画像符号化レート変換装置に関する。
【０００２】
【従来の技術】
テレビジョン信号などの動画像信号を高能率符号化する技術として、国際標準としてＭＰＥＧ−２（moving picture experts group -2）がＩＳＯ／ＩＥＣ（International Organization for Standardization / International Electrotechnical Commission）により規定されている。
【０００３】
そのＭＰＥＧ−２は、動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる16×16画素のブロックに分割し、各マクロブロック単位ごとに、時間的に未来または過去に所定の数フレーム離れた参照画像と被符号化画像との間で「動きベクトル」と呼ばれる動き量を求め、その動き量を基に参照画像から被符号化画像を符号化する「動き補償予測」技術と、その動き補償予測の誤差信号または被符号化画像そのものに対して、直交変換技術の一つであるＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）を用いて画像情報を周波数情報量に変換して後に視覚的に有意な情報のみを得るようにして圧縮符号化を行う「変換符号化」技術と、の２つの画像符号化の要素技術を基にして規定されている。
【０００４】
そのようにして規定される技術により画像符号化された信号の転送速度の設定は、単位時間当りの伝送容量がほぼ一定にされて伝送される固定転送レートと、一定の範囲内で伝送容量が可変されて転送される可変転送レートとの２種類の設定方法が用いられている。
【０００５】
そして、ＭＰＥＧ−２標準が用いられて符号化された信号はデジタル放送、ＤＶＤなどの記録メディア、及びＡＴＭ（Asynchronous Transfer Mode：非同期伝送モード）等の通信路などに用いられ、それらの用途に合わせて単位時間当りのビットストリームの伝送容量を示すビットレートは一定の範囲内で自由に選択することが出来るようになされている。
【０００６】
そのように、用途によって異なった転送レートの符号化信号が用いられているため、その異なる転送レートの符号化信号を、例えば７Mbps（Mビット／秒）のデジタル放送の信号を、例えば４Mbpsの記録レートに設定されているデジタルレコーダに記録することはできない。
【０００７】
このときに、レコーダの記録容量をデジタル放送の信号レートに合わせて大きなビットレートに設定して記録する方法はあるが、その場合はレコーダの記録媒体の記録領域を大きく確保する必要があり、そのため記録時間が減少してしまうなどの問題が生じてしまい好ましくない。
【０００８】
そこで、７Mbpsのビットレートの信号を４Mbpsの新たなビットレートの信号にレート変換して後にレコーダに記録するようにし、所定の記録時間を確保するようにする。
【０００９】
そしてそのレート変換は、固定転送レートで放送されるビットストリームを、可変転送レートで記録したり、またその逆の可変転送レートで放送されたビットストリームを固定転送レートで記録するといった場合もあり、そのようなビットレートの固定、可変の設定方法を切替える際にもレート変換処理が必要となる。
【００１０】
このようにレート変換を行って、ある転送レートのビットストリームから他の転送レートのビットストリームを生成する方法として、従来は供給されるビットストリームを復号器で画素レベルまで復号して復号画像を生成した後に、その生成された復号画像を符号化器に供給して再度符号化を行う、いわゆる「再符号化」の方法が用いられてきた。
【００１１】
しかし再符号化は、復号器と符号化器の両者が必要であり、その他にも復号画像を一次記憶するための画像メモリが符号化のために必要とされ、回路規模が増大してしまう、また符号化及び再符号化の処理に遅延時間が生じてしまう等の課題があった。
【００１２】
その課題を解決するレート変換方法として、入力ビットストリームを画素レベルまでの復号を行わずに、可変長復号（ＶＬＤ；decoding of variable length coding）、及び逆量子化を行って得られるＤＣＴ係数に対し、異なった値の量子化スケールで再量子化を行い、所要のビットレートのビットストリームを得るレート変換方法が、特開平７−３１２７５６号公報「圧縮動画像符号信号の情報量変換回路、装置、及び方法」に開示されている。
【００１３】
図１６にそのようにしてなる従来例におけるレート変換装置の構成を示す。
同図において、供給された４Mbpsのビットストリームはデータ分離回路８１により画像信号と他の信号部分とに分離され、画像信号は逆ＶＬＣ（variable length coding）回路８２によりＶＬＣされた信号が復号され、復号して得られる信号は逆量子化器８３で逆量子化が行われて後にビットレート制御回路８４により制御される量子化器８５により量子化が行われ、量子化して得られる信号がＶＬＣ回路８６でＶＬＣされ、ＶＬＣされて得られた信号はデータ分離回路８１により分離された信号と結合回路８７で結合され、結合されて得られる信号はバッファ回路８８に一時記憶され、一時記憶された２Mbpsに転送レートの変換された信号は必要に応じてバッファ回路８８より読み出されてレート変換装置よりの出力信号として供給されるようになっている。
【００１４】
このようにして、逆量子化、及び再量子化によりレート変換を行った信号を得ることができるが、その他のレート変換方法として、レート変換後のビットレートが変換前より低くなるような場合には、入力ビットストリームの量子化後ＤＣＴ係数の部分に相当する可変長符号を調整して、符号長を短縮し、所要のビットレートのビットストリームを得るレート変換方法が、特開平１１−３１７９４２号公報「画像符号化装置」に開示されている。
【００１５】
【発明が解決しようとする課題】
ところで、ＭＰＥＧ−２方式などで符号化して得られた信号には、その符号化パラメータに関する情報がヘッダ信号としてその符号化された信号に前置されてビットストリーム信号が構成される。
【００１６】
従って、その符号化信号のレート変換処理により符号化パラメータに変更が生じたときは、そのヘッダ信号の内容を符号化信号の変更に応じて更新する必要がある。
【００１７】
そして、そのヘッダ信号の更新は、前述の従来例におけるＤＣＴ係数部分の可変長符号を直接調整してレート変換を行うような方法では、例えば非イントラマクロブロックのＤＣＴ係数を調整する場合等で、レート変換によってＤＣＴ係数の個数が変更され、個数が０になされる場合などではそれに応じてＣＨＰ(Coded Block Pattern)などのヘッダ信号の更新が必要となる。
【００１８】
しかし、そのヘッダ信号の更新は、そのヘッダ信号に関る全ての画像信号のレート変換処理がなされた後でないとヘッダ信号の確定がなされないため、その間変換処理中の画像信号を一時記憶しておく必要があり、そのために装置の構成が複雑になる、及びレート変換処理のために遅延時間が生じてしまうなどの課題があった。
【００１９】
そして、そのような課題を生じなくするため、そのヘッダ信号に変更がなされない程度でレート変換を行うような方法が考えられるが、特に低いレートへの変換は困難であり、低レートのストリームを得るためにＤＣＴ係数を残すべきブロックの係数を粗いスケールで量子化する、あるいは係数を削減してしまうなどの処理がなされると画質劣化が大きくなるなど、それらのレート変換方法は有効に活用されるには至ってなかった。
【００２０】
そこで本発明は、ＭＰＥＧ−２などの画像データをマクロブロックに分割して符号化を行うデータ構造の符号化方式に対して、そのデータ構造を同一に保ちつつ転送レートの変換を行なうようにする、即ち分割されたそれぞれのマクロブロックは変換前と同一のマクロブロックタイプ及びＣＢＰ（coded block pattern）の信号に変換するようにする。
【００２１】
そのために変換前に符号化されたＤＣＴ係数が存在するブロックについては、変換後においても少なくとも１つの係数を残すこととし、又再量子化によってレート変換を行う場合は、変換前の量子化スケールの更新マクロブロック位置と同一の位置でのみ量子化スケールの更新を行うようにする。
【００２２】
この様にして行うレート変換で、変換操作するデータは、ＤＣＴ係数部分の可変長符号を操作するときはＤＣＴ係数部分のみを、又再量子化によりレート変換を行うときはＤＣＴ係数部分と量子化スケールコードのみとすることができるなどレート変換に伴う処理を簡素化することができる、画質劣化の少ない画像符号化レート変換装置及び画像符号化レート変換方法を提供しようとするものである。
【００２３】
【課題を解決するための手段】
本発明は、上記課題を解決するために以下の１）及び２）の手段より成るものである。
すなわち、
【００２４】
１）  単位ブロックをＤＣＴ変換して得られた複数の係数を第１の量子化ステップで量子化及び可変長符号化された第１の符号化量子化データを用いて得られた第１の画像符号化データを前記第１の量子化ステップよりも広いステップ幅の第２の量子化ステップで量子化及び可変長符号化された第２の符号化量子化データを用いて得られた第２の画像符号化データに変換する画像符号化レート変換装置であって、
前記第１の画像符号化データをヘッダデータ、前記第１の符号化量子化データ及び前記第１の符号化量子化データ以外のデータとに分離するヘッダ分離部と、
前記ヘッダ分離部で分離された前記第１の符号化量子化データを可変長復号して第１の量子化データを出力する可変長復号部と、
前記第１、第２の画像符号化データの符号量情報に基づいて、前記第２の量子化ステップを出力する符号量制御部と、
前記第１の量子化データの逆量子化を行って第１のＤＣＴ係数データを得、前記第２の量子化ステップに基づいて、前記第１のＤＣＴ係数データを再量子化して第２のＤＣＴ係数データを生成する逆量子化・再量子化部と、
前記第２のＤＣＴ係数データの中に含まれる係数値が全て０であった場合には、前記第１のＤＣＴ係数データの係数を残す指示を前記逆量化・再量子化部に行って前記逆量子化・再量子化部から第３のＤＣＴ係数データを出力させる係数選択部と、
前記第３のＤＣＴ係数データを可変長符号化して前記第２の符号化ＤＣＴ係数データを生成する可変長符号化部と、
前記第２の符号化ＤＣＴ係数データと分離された前記ヘッダデータと前記第１の符号化量子化データ以外のデータとを結合して前記第２の画像符号化データを出力するヘッダ結合部と、
を備えたことを特徴とする画像符号化レート変換装置。
【００２５】
２）  単位ブロックをＤＣＴ変換して得られた複数の係数を第１の量子化ステップで量子化及び可変長符号化された第１の符号化量子化データを用いて得られた第１の画像符号化データを前記第１量子化ステップよりも広いステップ幅の第２の量子化ステップで量子化及び可変長符号化された第２の符号化量子化データを用いて得られた第２の画像符号化データに変換する画像符号化レート変換方法であって、
前記第１の画像符号化データをヘッダデータ、前記第１の符号化量子化データ及び前記第１の符号化量子化データ以外のデータとに分離し、
前記分離された前記第１の符号化量子化データを可変長復号して第１の量子化データを出力し、
前記第１、第２の画像符号化データの符号量情報に基づいて、前記第２の量子化ステップを出力し、
前記第１の量子化データの逆量子化を行って第１のＤＣＴ係数データを得、前記第２の量子化ステップに基づいて、前記第１のＤＣＴ係数データを再量子化して第２のＤＣＴ係数データを生成し、
前記第２のＤＣＴ係数データの中に含まれる係数値が全て０であった場合には、前記第１のＤＣＴ係数データの係数を残す指示を行って第３のＤＣＴ係数データを出力させ、
前記第３のＤＣＴ係数データを可変長符号化して前記第２の符号化ＤＣＴ係数データを生成し、
前記第２の符号化ＤＣＴ係数データと分離された前記ヘッダデータと前記第１の符号化量子化データ以外のデータとを結合して前記第２の画像符号化データを出力することを特徴とする画像符号化レート変換方法。
【００３１】
【発明の実施の形態】
以下、本発明の画像符号化レート変換装置及び画像符号化レート変換方法の実施形態につき好ましい実施例により説明する。
図１は、その符号化信号のデータ構造を同一に保ちつつ転送レートの変換を行なう画像符号化データのレート変換方法を搭載した画像符号化レート変換装置の構成であり、以下図と共に説明する。
【００３２】
同図に示す画像符号化レート変換装置１０は、逆量子化、及び再量子化によってレート変換を行う装置であり、その装置はＤＥＭＵＸ（de-multiplexing）部１１、入力符号量カウンタ１２、ヘッダ分離部１３、ヘッダデータ格納部１４、ヘッダ結合部１５、出力符号量カウンタ１６、再ＭＵＸ（multiplexing）部１７、及び逆量子化、再量子化によりレート変換を行う画像レート変換部２０より構成される。
【００３３】
次に、このように構成される画像符号化レート変換装置１０の動作について述べる。
まず、所定のデータレートでＭＰＥＧ−２（moving picture experts group -2）方式により符号化されたビットストリームは、ＤＥＭＵＸ部１１で符号化された画像信号と、その画像信号に付随されるオーディオ信号、文字情報等の補助信号、及びそれらの信号の再生方法の制御、同期等を行うためのＭＰＥＧ−２システムに関るその他の信号とに分離される。
【００３４】
その分離して得られるその他の信号部分は再ＭＵＸ部１７に供給されると共に、分離して得られる画像信号は入力符号量カウンタ１２に供給され、そこで画像信号の符号量がカウントされ、カウントして得られた信号の一部は画像レート変換部２０に供給され、他の一部はヘッダ分離部１３に供給される。
【００３５】
そのヘッダ分離部１３では、供給された画像信号よりシーケンスヘッダ、及びピクチャヘッダなどのスライス層より上の層のデータが分離され、その分離されて得られた信号はヘッダデータ格納部１４に供給されて一時格納され、そこに一時格納された信号は必要に応じてヘッダ結合部１５に供給されると共に、他の一部のシーケンスヘッダに記録された変換前ビットレート情報、及び符号化された画像信号は画像レート変換部２０に供給される。
【００３６】
その画像レート変換部２０では、入力符号量カウンタ１２より供給された変換前ビットレート情報、及び出力符号量カウンタ１６より供給される変換後ビットレート情報を基にし、ヘッダ分離部１３より供給される符号化された画像信号の画像レート変換が行われ、変換して得られる変換後画像信号はヘッダ結合部１５に供給されて、ヘッダデータ格納部１４より供給されたヘッダ信号と結合され、結合して得られた信号は出力符号量カウンタ１６に供給される。
【００３７】
その出力符号量カウンタ１６に供給された信号は、符号化された信号のビットレートが計測されて前述の変換後ビットレート情報が得られると共に、出力符号量のカウントされた信号は再ＭＵＸ部１７に供給され、前述の画像信号に付随されるオーディオ信号、及びＭＰＥＧ−２システムに関るその他の信号部分が付加されてＭＰＥＧ−２ストリーム出力信号として画像符号化レート変換装置１０より出力される。
【００３８】
このようにして、画像符号化レート変換装置１０より符号化レートの変換されたＭＰＥＧ−２ストリームが出力信号として供給されるが、次にその変換装置の要部である画像レート変換部２０の動作について、ＭＰＥＧ−２符号化方式で行われる符号化の動作と共に述べる。
【００３９】
図２に、ＭＰＥＧ−２により規定される動画像信号の符号化を行うＭＰＥＧ−２エンコーダの構成を示す。
【００４０】
そのＭＰＥＧ−２エンコーダ６０は、減算器６１、ＤＣＴ（Discrete Cosine transform）器６２、量子化器６３、符号量制御器６４、可変長符号化器６５、バッファ６６、逆量子化器７１、ＩＤＣＴ（Inverse Discrete Cosine transform）器７２、加算器７３、フレームメモリ７４、及び動き補償予測器７５より構成される。
【００４１】
このように構成されるＭＰＥＧ−２エンコーダ６０の動作について述べる。
まず、供給される動画像信号は減算器６１の片方の入力端子に供給されると共に動き補償予測器７５に供給されて、動画像信号の動ベクトルが求められ、その求められた動ベクトルを基に動き予測信号が生成され、生成された動き予測信号は加算器７３の一方の入力端子に供給される、又その動き予測信号は減算器６１に減算用入力信号として供給される。
【００４２】
その減算器６１からは、供給された動画像信号に対して動き予測信号が減算された差信号がＤＣＴ器６２に供給され、そのＤＣＴ器６２では供給された差信号の離散余弦変換がなされ、余弦変換して得られた余弦周波数成分は量子化器６３に供給される。
【００４３】
その量子化器６３では、符号量制御部６４より供給される制御信号を基にしてＤＣＴ器６２より供給された余弦周波数成分のうち、画像符号化に有効とされる周波数成分を量子化信号として得、その得られた量子化信号は可変長符号化器６５に供給されると共に、逆量子化器７１にも供給される。
【００４４】
その逆量子化器７１に供給された量子化信号は逆量子化されて、近似的な余弦周波数成分が得られ、その得られた近似的な余弦周波数成分はＩＤＣＴ器７２に供給されて近似的な画像の差信号が得られる。
【００４５】
その得られた近似的な画像の差信号は加算器７３に供給され、前述の動き予測信号と加算されるようにして近似的な画像信号が復号され,、その復号された画像信号はフレームメモリ７４に蓄積されると共に、フレームメモリ７４に蓄積された画像信号は次に入来される動画信号のフレーム画像に対する動き補償予測画像の生成に用いられる。
【００４６】
このようにして動き補償予測画像が生成されながら動画像信号の符号化がなされるが、前述の可変長符号化器６５に供給された量子化信号はそこで可変長符号化され、可変長符号化されて得られた信号はバッファ６６に一時記憶されて符号化ビットストリームとして供給されると共に、そのバッファ６６に一時記憶された信号の一部は符号量制御部６４に供給され、その符号量制御部６４では生成されたビットストリームの符号量が検出され、検出して得られる符号量情報を基に前述の量子化器６３の量子化の粗さを制御するための制御信号が生成されるようになされ、量子化器６３では所定のビットレートによる符号化信号が生成される様になされている。
【００４７】
以上の様に、供給される動画像信号が動き補償予測手法、及び変換符号化手法が用いられて画像符号化が行われる。
次に、その画像符号化のなされる画像信号は所定のフレーム画像毎の符号化ピクチャ構成とされて動き補償予測がなされるが、次にそのＭＰＥＧ−２方式において動き補償予測のなされる予測フレーム画像の構成について述べる。
【００４８】
図３に、符号化装置６０によりなされる動き補償予測に関し、その動きベクトルが求められて動き補償の行われるピクチャ画像の関連を説明するための符号化ピクチャ構造を示す。
【００４９】
同図に示すその動き補償予測による符号化ピクチャの構造は、Ｉ（Ｉｎｔｒａ-ｃｏｄｅｄ）ピクチャ（フレーム内符号化）、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ-ｃｏｄｅｄ）ピクチャ（順方向予測符号化）、及びＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ predictive-coded）ピクチャ（双方向予測符号化）と呼ばれる、動き予測方法の異なる３種類のピクチャの組合せによって構成されている。
【００５０】
このような動き予測構造で構成されるフレーム単位の画像信号は、通常のビデオ信号で毎秒３０フレーム、映画素材の場合は毎秒２４フレームの画像信号として構成されるが、次にその画像信号の変換符号化について述べる。
【００５１】
図４に、その変換符号化に関する画像分割の方法を示す。
同図において、フレーム画像は幅が１６本の走査線で構成されるスライスと称される横長の画像に分割されて画像圧縮処理がなされることを示している。
【００５２】
そして、その画像圧縮処理のための画素単位は、スライスを横方向に１６画素毎に分割し、分割して得られる１６画素×１６走査線（画素）の画素単位がマクロブロックと呼ばれる画素単位である。
【００５３】
そして、その画素単位であるマクロブロックは、８画素×８画素の４個の輝度信号ブロックと、青、及び赤のそれぞれが８画素×８画素である色差信号ブロックとの合計６ブロックに分割されて変換符号化がなされる。
【００５４】
このようにして変換符号化のなされる画像データは、スライスで構成される画像データに関る符号化データよりなるスライス層、マクロブロック毎のデータに関るマクロブロック層、そしてマクロブロックを構成する６つのブロックを量子化して得られるＤＣＴ係数データよりなるブロック層などの各層のデータよりなる符号化データとして構成される。
【００５５】
この様にして構成される各層のデータは、シーケンスヘッダ、ピクチャヘッダなどのヘッダに続けて伝送されるが、その様にして伝送されるシリーズな信号であるデータはビットストリームと呼ばれる。
【００５６】
図５に、その様にして伝送されるＭＰＥＧ−２におけるビットストリームのデータ構造を示す。
同図において、伝送されるデータはヘッダデータ、スライス層データ、マクロブロック層データ、及びブロック層データより構成されることを示している。
【００５７】
図６に、マクロブロック層におけるデータ構造を示す。
そのマクロブロック層におけるデータは、マクロブロックエスケープ、マクロブロックアドレスインクリメント、マクロブロックタイプ、モーションタイプ、ＤＣＴタイプ、Ｑスケールコード、モーションベクトル、そしてＣＢＰ（coded block pattern：コーデドブロックパターン）の順にそれぞれが配列されている。
【００５８】
そして、これらの配列中にあるマクロブロックタイプは、Ｉ、Ｐ、Ｂで示されるピクチャタイプ毎に予測モード、量子化スケールコードの有無、符号化係数の有無を示しており、その量子化スケールコードはスライス内において当該マクロブロックで量子化スケールが更新された場合にのみ、更新された値が伝送されるようになされている。
【００５９】
次に、そのＩ、Ｐ、Ｂで与えられるピクチャ毎のマクロブロックタイプのＶＬＣ（variable length coding）テーブルを示す。
図７は、それらのピクチャの中のＩピクチャに対するマクロブロックタイプのＶＬＣテーブルであり、そのコード（code）が「１」のときはイントラコードであることがDescriptionの位置に示されており、「０１」のときは量子化スケールコードが後に配置されていることを示している。
【００６０】
そして、図８はＰピクチャに対するマクロブロックタイプのＶＬＣテーブルであり、そのコード（code）に対する記述（description）により動き予測符号化（ＭＣ；Motion Compensation）されている状態を、また量子化スケールコード（Quant）の状態を示している。
【００６１】
また、図９はＢピクチャに対するマクロブロックタイプのＶＬＣテーブルであり、前方（Fwd：forward）画像からの予測、及び後方（Bwd：backward）画像からの予測に関する予測符号化データの状態を示している。
【００６２】
このようにして、マクロブロックタイプ情報が配置されてビットストリームとして伝送されるが、マクロブロック層の最後にＣＢＰが配置され、その後に続くブロック層の量子化後ＤＣＴ係数データが６つのブロックの各々に存在するか否かを示している。
【００６３】
そして、そのマクロブロックタイプが面内符号化画像データであるイントラマクロブロックの場合には、全てのブロックに係数データが少なくとも1つは存在するようにされているので、マクロブロック層の最後のＣＢＰは存在しないようにされている。
【００６４】
また、１つのマクロブロック内において全てのブロックに係数が存在しない場合は、そのマクロブロックは"Not Coded"とされる。
【００６５】
さらに、フレーム構造符号化の場合で、モーションタイプ（動き予測タイプ）がフレーム予測であり、Ｐピクチャでは動きベクトルが全て"０"である場合（これを"No MC"という）に、"Not Coded"となると、そのマクロブロックはスキップ、即ち符号化を行わない、とすることが出来る。
【００６６】
同様にして、モーションタイプ（動き予測タイプ）がフレーム予測であり、前方予測か後方予測か双方向予測かなどのＢピクチャの予測方向と、動きベクトルが同じスライスの直前のマクロブロックと同一である場合には、"Not Coded"としてそのマクロブロックをスキップ、即ち符号化を行わない、とすることが出来る。
【００６７】
このようにしてマクロブロック層のデータが配列され、そのマクロブロック層の次にはブロック層のデータが配列されるが、次にそのブロック層のデータ構造について述べる。
図１０に、そのブロック層におけるデータ構造を示す。
【００６８】
同図において、ブロック層はイントラマクロブロックの画像データをＤＣＴ演算して得られる画像のＤＣ（直流）係数、及び余弦周波数成分であるＡＣ（交流）係数と、それらの係数の終了後に伝送されるＥＯＢ（end of block）の順に配列されている。
【００６９】
そして、ブロック層における量子化後ＤＣＴ係数データの符号化はイントラマクロブロックとそれ以外のマクロブロックとで異なっており、イントラマクロブロックの場合は最初の係数であるＤＣ係数のみがあり、それはＡＣ係数と異なる方法によりＶＬＣ（variable length coding；可変長符号化）がなされる。
【００７０】
即ち、イントラマクロブロックのＤＣ係数以外の係数、及びその他のマクロブロックの係数は、指定された順番に並び替えられた後、その順番で先行するゼロ係数の個数（ラン）と、非ゼロ係数の値（レベル）が調べられ、それらのランとレベルを１組にまとめて示される２次元ＶＬＣテーブルによって符号化がなされる。
【００７１】
そして、その２次元ＶＬＣテーブルによる符号化は非ゼロ係数が無くなった時点でＥＯＢ（エンドオブブロック）と呼ばれる符号が付加され、そのブロックの符号化を終了するようになされている。
【００７２】
以上、動画信号がＭＰＥＧ−２により符号化され、符号化された画像データを伝送するために行う所定の方法により配列されて生成されるビットストリームについて述べた。
【００７３】
次に、このようにして生成された所定のビットレートによる符号化信号を、他の目的とするビットレートの信号に変換する方法について述べる。
【００７４】
その変換は、例えばＭＰＥＧ−２方式によりデジタル放送される受信信号を、デジタルＶＴＲに記録するに際し、記録時間を長くするためなどで放送よりは小さなビットレートに変換して記録する場合などである。
【００７５】
そして、そのビットレートの変換をデジタル信号をアナログ信号に変換してから再度デジタル信号に変換して行う場合では、その為の処理時間が長くなり、例えば供給される信号の記録と再生を同時に行う記録信号の同時モニタをするときなどでその遅延時間が障害となり、更にデジタル信号をアナログ信号に変換した後に、再度デジタル信号に変換するときは変換により画質劣化が生じるため、そのような再変換により画質劣化することのない画像符号化レート変換装置の構成を実現することを目的とするものであり、以下複数の実施例と共に述べる。
【００７６】
図１１に、第１の実施例による画像符号化レート変換装置の構成を示す。
その画像符号化レート変換装置１０は、逆量子化及び再量子化によってレート変換を行う装置である。
【００７７】
そして、その画像符号化レート変換装置１０はＤＥＭＵＸ（de-multiplexing）部１１、入力符号量カウンタ１２、ヘッダ分離部１３、ヘッダデータ格納部１４、ヘッダ結合部１５、出力符号量カウンタ１６、再ＭＵＸ（multiplexing）部１７、可変長復号部２１、逆量子化・再量子化部２２、符号量制御部２３、係数選択部２４、及び可変長符号化部２５より構成される。
【００７８】
次に、このように構成される画像符号化レート変換装置１０の動作について述べる。
【００７９】
まず、所定のデータレートでＭＰＥＧ−２方式により符号化されたビットストリームは、ＤＥＭＵＸ部１１で符号化された画像信号と、その画像信号に付随されるオーディオ信号、及びＭＰＥＧ−２システムに関るその他の信号部分とに分離され、その分離されて得られるその他の信号部分は再ＭＵＸ部１７に供給されると共に、画像信号は入力符号量カウンタ１２に供給され、そこで画像信号の符号量がカウントされ、カウントされた信号の一部は符号量制御部２３に供給されると共に、他の一部はヘッダ分離部１３に供給される。
【００８０】
そのヘッダ分離部１３では、供給された画像信号よりシーケンスヘッダ及びピクチャヘッダなどのスライス層より上位の層のデータが分離され、その分離された信号はヘッダデータ格納部１４に供給されて一時格納されると共に、他の一部であるシーケンスヘッダに記録された変換前ビットレート情報は符号量制御部２３に供給され、更に他の一部は可変長復号部２１に供給される。
【００８１】
その可変長復号部２１に供給されてヘッダデータが分離された信号は、可変長復号部２１でＤＣＴ（discrete cosine transform）係数部分とそれ以外の部分とに分けられてＤＣＴ係数部分は可変長復号され、復号して得られる変換前量子化スケールコードは逆量子化・再量子化部２２に供給される。
【００８２】
そして、復号して得られるスライス層、マクロブロック層に記録されている変換前量子化スケールコード、及びそのマクロブロックの画面中の位置情報が符号量制御部２３に供給される。
【００８３】
その符号量制御部２３には、変換前ビットレート情報、変換後目標ビットレート情報、変換前量子化スケールコード、そのマクロブロック位置情報、入力符号量カウンタ１２と出力符号量カウンタ１６から供給される変換前後の各画像の符号量情報、及び逆量子化・再量子化部２２でカウントされる各マクロブロックのレート変換前と変換後のそれぞれの符号量情報などが供給される。
【００８４】
これらの情報が供給された符号量制御部２３では、それらの情報を基に各画像の変換前、及び変換後の量子化スケールに対する画像毎の符号量の平均値が求められ、その求められた符号量に対して予め定めた方法、例えばＭＰＥＧ−２ Test Model 5のStep 1,2に規定される方法により符号量制御を行うことにより、変換後の量子化スケールを定め、定められた変換後の量子化スケールは逆量子化・再量子化部２２に供給される。
【００８５】
その逆量子化・再量子化部２２における符号量制御は、通常の符号化時には各マクロブロック毎に任意に量子化スケールを用いることが出来る、即ちレート変換時には任意の量子化スケールコードへの変更が可能とされるが、ここでは変換前のデータに量子化スケールコードが存在するマクロブロック位置でのみ、変換後の量子化スケールを変更可能とする。
【００８６】
図１２に、レート変換前、および後における量子化スケールコードの存在する様子を示す。
同図において、左側の図がレート変換前のスケールコードの存在する状態で、右側はレート変換後のスケールコードの存在を示している。
【００８７】
そして、それぞれの図の左側がスライス層の値でありその右にマクロブロック層における値を示し、網点のかけられている個所が量子化スケールコードの存在している位置である。
【００８８】
このようにして、レート変換後の量子化スケールコードはレート変換前に存在していたマクロブロック位置の一部のマクロブロック位置に存在する様になされており、その変換後の量子化スケールは逆量子化・再量子化部２２に供給される。
【００８９】
その逆量子化・再量子化部２２には、可変長復号部２１で可変長復号された変換前量子化スケールコード及びＤＣＴ係数部分が供給され、そのＤＣＴ係数部分は変換前量子化スケールコードより得られる変換前量子化スケールにより逆量子化変換され、逆量子化変換されて得られたデータは符号量制御部２３より供給された変換後の量子化スケールに基づいて再量子化される。
【００９０】
即ち、その逆量子化・再量子化部２３における逆量子化、及び再量子化の処理は、供給された変換前量子化スケール及び変換後量子化スケールの比較を行い、比較して得られる大小関係により処理がなされるが、その逆量子化及び再量子化処理には次の３つの場合がある。
【００９１】
第１の場合は変換前量子化スケールと変換後量子化スケールが等しい場合であり、その場合は逆量子化及び再量子化の処理は行われず、変換前のＤＣＴ係数部分がそのまま変換後のＤＣＴ係数部分として供給される。
【００９２】
第２の場合は変換前量子化スケールが変換後量子化スケールよりも大きい場合であり、その場合は変換前のそれぞれのＤＣＴ係数に対し、変換前量子化スケールを変換後量子化スケールで除した比の値が乗じられ、乗じて得られる更新されたＤＣＴ係数値が変換後のＤＣＴ係数として供給される。
【００９３】
この第２の場合では、レート変換処理により更新されたＤＣＴ係数値が大きくなるので、係数値が０となることにより削除されてしまうなどによりデータ構造が同一に保たれなくなることはないので、更新されたＤＣＴ係数値に対する係数選択などの処理の必要はないこととなる。
【００９４】
そして第３の場合は、変換前量子化スケールが変換後量子化スケールよりも小さい場合であり、このときは変換前のＤＣＴ各係数に対して、変換前量子化スケールを変換後量子化スケールで除した比の値が乗じられて更新されたＤＣＴ係数値が求められるが、この場合では更新されたＤＣＴ係数値は小さな値となるため、場合によっては更新されたＤＣＴ係数全てが０になるブロックが生じる可能性がある。
【００９５】
そして、更新されたＤＣＴ係数値が全て０となり、そのブロックで削除されてしまうことによりデータ構造の同一性が保たれなくなることを防ぐための、更新された係数値が０になったブロックについては変換前ＤＣＴ係数が係数選択部２４に供給され、そこで変換後ＤＣＴ係数の全てが０になることを防ぐための係数選択処理を行う。
【００９６】
その係数選択部２４でなされる係数選択処理は、まず逆量子化・再量子化部２２より供給される逆量子化前の変換前ＤＣＴ係数のうち、残すべき係数の決定を行う。
【００９７】
その第１の係数決定方法は、逆量子化前の変換前ＤＣＴ係数の絶対値の最大値に対し、その位置における変換後ＤＣＴ係数値を"１"または"−１"とし、その他は"０"とするもので、最大値が複数あるブロックについては、２次元ＶＬＣで符号化したときに最も符号長が短くなる位置における係数値を、そしてそのときの符号長のそれぞれが同一である場合はゼロランが最も短くなる位置における係数値を選択することにより係数の決定を行う。
【００９８】
第２の係数決定方法は、変換前ＤＣＴの係数値にかかわらず、係数ブロックが輝度信号か、又は青、赤の色差信号であるか、さらにまた変換前ＤＣＴ係数の係数分布によって変換後画像の画質に与える影響が最も少なく、かつ２次元ＶＬＣの符号長が短くなる係数の位置を予め定めておき、その定められた位置の係数を変換後のＤＣＴ係数の位置であるとして係数の決定を行う。
【００９９】
このようにして、第１、又は第２の方法により係数選択部２４で残すべき係数、又は置換すべき係数の位置が決定される。逆量子化・再量子化部２２から供給される再量子化された信号は全てが０にならないブロックのＤＣＴ係数として、可変長符号化部２５に供給される。
【０１００】
このようにして全ては０にならないブロックのＤＣＴ係数が可変長符号化部２５に供給されるが、その供給されるマクロブロックの信号が面内符号化されるイントラマクロブロックの信号である場合は、仮に全てのＤＣＴ係数が０になってもデータ構造の変更はなされないので、イントラマクロブロックに対するこのような係数選択部２４の処理は行わなくてもよい。
【０１０１】
以上の様にして、可変長符号化部２５には、逆量子化・再量子化部２２に供給されなかった可変長復号されたデータも供給される。
【０１０２】
そして可変長符号化部２５では、その供給されたデータのうちの量子化スケールコードは、変換前の量子化スケールコードが存在するマクロブロックの位置における、符号量制御部２３で決定された変換後量子化スケールを示すコードに変換されて、変換されたコードに置換され、そこで置換されたコードの可変長符号化がなされる。
【０１０３】
なお、符号量制御の状態によっては、同じスライス内でその直前に存在する量子化スケールコードと更新された量子化スケールコードと同じ値となり、実際には量子化スケールコードが不要であるマクロブロックも存在するが、その存在はＭＰＥＧ−２で定める規格に対して問題はない。
【０１０４】
それとは反対の場合であり、変換前の量子化スケールコードが存在していないマクロブロックもあるが、そのマクロブロックに新たに変換後量子化スケールコードを追加する必要はない。
【０１０５】
即ち、その量子化スケールコードが存在しない場合、逆量子化・再量子化部２２より供給される変換後ＤＣＴ係数は可変長符号化部２５で可変長符号化され、その可変長符号化して得られた信号と、可変長復号部２１で分離されたその他の可変長符号データに含まれる量子化スケールコードとが結合されてヘッダ結合部１５に供給されるためによる。
【０１０６】
そのヘッダ結合部１５では、ヘッダデータ格納部１４に一時記憶されたヘッダデータのうち、更新された新しいビットレートの値のみが変換後の値に置換されて２次元ＶＬＣ部２８で可変長符号化され、データ結合部２９でデータ結合されて得られた変換後データと結合されて再ＭＵＸ部１７に供給される。
【０１０７】
そして、その再ＭＵＸ部１７ではＤＥＭＵＸ部１１より供給される画像符号化信号以外の信号部分と結合され、結合されて得られるビットストリーム信号がこの画像符号化レート変換装置１０の出力信号として供給される。
【０１０８】
以上、逆量子化及び再量子化によってレート変換の行われる第１の実施例による画像符号化レート変換装置の構成、及びその装置の動作について述べた。
なお、ここに示した例ではデータ処理の簡単化のために逆量子化と再量子化を逆量子化・再量子化部２２で同時に行っているが、逆量子化を逆量子化部、再量子化を再量子化部で別々に行う構成としてもよい。
【０１０９】
図１３に、逆量子化と再量子化を別々に行う第１の実施例を変形した画像符号化レート変換装置１０ａの構成を示す。
【０１１０】
その変形した実施例による場合は、逆量子化部２２ａで変換前ＤＣＴ係数のある全てのブロックについて逆量子化を行った後に、再量子化部２２ｂで変換後のＤＣＴ係数が全ては０にならないようにして再量子化を行なうようにする。
【０１１１】
次に、逆量子化及び再量子化によらずにレート変換処理がなされる第２の実施例による画像符号化レート変換装置について述べる。
【０１１２】
図１４に、その第２の実施例による画像符号化レート変換装置の構成を示す。
即ち、その画像符号化レート変換装置は、逆量子化・再量子化を行わずに、ＤＣＴ係数部分の操作によりレート変換を行う。
【０１１３】
その第２の実施例による画像符号化レート変換装置１０ｂは、第１の実施例による画像符号化レート変換装置１０に比し画像レート変換部２０ｂの動作、即ちＤＣＴ係数分離部２６、係数操作部２７、ＤＣＴ係数結合部２８、及び符号量制御部２３の動作が異なるのみであるので、その他の動作は簡略にして画像符号化レート変換装置１０ｂの動作について説明する。
【０１１４】
その画像符号化レート変換装置１０ｂに供給されるＭＰＥＧ−２ストリームは、ヘッダ分離部１３によりヘッダデータ部が分離された符号化信号の一方である画像データ部分がＤＣＴ係数分離部２６に供給されるが、そのＤＣＴ係数分離部２６では画像データ部分よりＤＣＴ係数部分が分離されて得られ、その得られたＤＣＴ係数部分のデータは係数操作部２７に供給される。
【０１１５】
そして、ヘッダ分離部１３により分離された他方のヘッダデータ部分は符号量制御部２３に供給され、その符号量制御部２３では変換前ビットレート情報と、変換後目標ビットレート情報と、入力符号量カウンタ１２及び出力符号量カウンタ１６から供給される変換前後の各画像の符号量情報と、係数操作部２７でカウントされる各ブロックのレート変換前及び変換後の符号量情報と、更に必要に応じて量子化スケールコード情報と、が供給され、これらの供給された情報を基に予め定められた所定の方法により符号量の制御が行われる。
【０１１６】
その符号量制御の方法は、各画像に対する目標符号量が決定された後に、その目標符号量を画像１枚当りに含まれるマクロブロック数で除し、除して得られる符号量を基に１マクロブロック当りの目標符号量を定め、その定められたマクロブロック当りの符号量を基にそのマクロブロックに含まれる６つのブロックそれぞれの目標符号量を割り当てる。
【０１１７】
その様にして割り当てられた各ブロックごとの目標符号量は係数操作部２７に供給され、係数操作部２７ではそれらの割り当てられた符号量を基に、それぞれの該当するブロックの係数が制御され、各ブロックの符号量が目標符号量になるように係数操作部２７での係数操作がなされる。
【０１１８】
また、他の方法による符号量制御は、各ブロック毎のレート変換前符号量に対する変換後の目標符号量の、ＤＣＴ係数符号量に関る部分のビットレート比率を求め、その求められたビットレート比率を変換前符号量に乗じて各ブロック毎のレート変換後目標符号量として定め、その定められた変換後目標符号量情報が係数操作部２７に供給され、そこでその目標符号量が得られる様にＤＣＴ係数部分の操作が行われる。
【０１１９】
そのときの係数操作部２７におけるＤＣＴ係数部分の操作は、各ブロック毎のレート変換後目標符号量が変換前符号量より大である場合には係数操作処理を行わないようにするが、目標値に等しい変換後のビットレート信号を得たいときなどは、必要に応じてスライスまたはピクチャ毎の画像データ位置にダミーデータを挿入するようにして目標とする転送レートの信号を得る様にする。
【０１２０】
その変換後目標符号量が変換前符号量より大である場合の転送レートの調整は、スライスまたはピクチャ毎にダミーデータを挿入しても良いが、その場合はビットレート情報と、ＤＣＴ係数部分以外の部分は変更されないという前提条件には該当しないこととなる。
【０１２１】
次に、変換後目標符号量が変換前符号量より小である場合の転送レートの調整について述べるに、その場合は２次元ＶＬＣにより符号化されているレート変換前のＤＣＴ係数部分のデータ量を削減し、変換後目標符号量のデータを得るための操作を行う。
【０１２２】
その操作には、例えばＥＯＢの手前に配置される２次元ＶＬＣ符号を、ランとレベルの組合わせによりなる１語ずつを順に削除し、変換後目標符号量が所定の値に達したときにその削除を中止する方法がある。
【０１２３】
そしてその削除は、ＥＯＢの手前に配置される最後の２次元ＶＬＣ符号に対しては、変換後目標符号量が所定の値に達していない場合であっても符号の削除を中止するようにする。
【０１２４】
そして、この場合は係数選択部２４から供給される係数ブロックが輝度信号か、青又は赤の色差信号であるかのブロックの種類を示す符号、及び変換前ＤＣＴ係数の係数分布に基づいて予め定めた係数を示す２次元ＶＬＣ符号を選択し、その選択された符号にＥＯＢを付加した符号を決定し、その決定された符号をこのブロックの変換後ＤＣＴ係数部分の符号として用いるようにする。
【０１２５】
なお、このときのマクロブロックが面内符号化を行うイントラマクロブロックである場合は係数が全て０になっても良いので、ＥＯＢ以外の２次元ＶＬＣ符号は全て削除されてもよい。
【０１２６】
このようにして、ＤＣＴ係数は周波数の高い成分より削除され、ＤＣＴ係数部分のデータ量が削減された変換後目標符号量のデータが得られるが、次に他の方法によりデータ量を削減する方法について述べる。
【０１２７】
その方法は、変換前２次元ＶＬＣ符号を復号してＤＣＴ係数列データを得、その得られたＤＣＴ係数列データの一部を"０" に置き換えることにより係数のカットを行い、その係数のカットされたＤＣＴ係数列データを再度２次元ＶＬＣ符号化する方法である。
【０１２８】
その方法は、係数列を"０"に置き換える部分のレート変換前及び後における符号量比として、変換後の画質に対する影響度の大小を予め定めておき、係数を"０"にしないと目標符号量が満たされないときは、係数選択部２４から供給される残すべき係数に置き換えるようにして行う。
【０１２９】
その係数選択部２４では、係数操作部２７から供給される２次元ＶＬＣ符号、又はそれを復号したＤＣＴ係数であるＤＣＴ係数部分のデータに対し、係数操作部２７でその係数部分のデータが"０"とされてしまうブロックについて、残すべき２次元ＶＬＣ符号またはＤＣＴ係数を決定する。
【０１３０】
そのＤＣＴ係数を決定する１つの方法は、２次元ＶＬＣレベルの最大値又はＤＣＴ係数の絶対値の最大値に対して、その位置を"１"または"−１"とすると共に、その他は"０"としたＤＣＴ係数を変換後のＤＣＴ係数とすることとし、必要に応じてその係数を２次元ＶＬＣの値とする。
【０１３１】
そして、そのときの最大値が複数個あるブロックについては、２次元ＶＬＣで符号化したときに最も符号長が短くなる位置を、又それらが同じ符号長である場合はゼロランが最も短くなる位置を選択し、その位置の係数を２次元ＶＬＣの値とする。
【０１３２】
また、ＤＣＴ係数を決定する他の方法は、変換前２次元ＶＬＣ又はＤＣＴ係数の値にかかわらず、係数ブロックが輝度信号に対する、又は青ないしは赤に対する色差信号であるかなどのブロックの種類、更にまた変換前ＤＣＴ係数の係数分布により変換後画像の画質に最も影響が少なく、かつ２次元ＶＬＣの符号長が短くなる係数の位置を予め定めておき、その定められた位置に基づいて変換後のＤＣＴ係数を決定するものである。
【０１３３】
これらの方法により係数選択部２４で決定された変換後のＤＣＴ係数は係数操作部２７に供給され、係数操作部２７では供給された係数のレート変換を行い、レート変換のなされたＤＣＴ係数の２次元ＶＬＣ符号はＤＣＴ係数結合部２８に供給される。
【０１３４】
そのＤＣＴ係数結合部２８では、供給された２次元ＶＬＣ符号と、ＤＣＴ係数分離部２６より供給されたＤＣＴ係数部分以外のデータと再結合され、その再結合して得られるデータはヘッダ結合部１５に供給され、ここでは転送レートの値が更新されたヘッダデータと結合され、結合されて得られる信号は再ＭＵＸ部で画像以外の音響信号等の符号化された信号と結合され、結合された信号は画像符号化レート変換装置１０ｂのストリーム出力として供給される。
【０１３５】
以上の様にして、この第２の実施例による画像符号化レート変換装置１０ｂよりのストリーム出力信号が供給されるが、そのストリーム出力においては量子化スケールコードは変更されていなく、シーケンスヘッダに記録されるビットレート情報及びＤＣＴ係数部分のみの更新がなされた信号であり、そのようにデータ構造を同一としたままビットストリームの更新を行う画像符号化レート変換装置１０ｂが簡単に構成できることを示している。
【０１３６】
次に、画像符号化データのレート変換方法について第３の実施例について図と共に説明する。
図１５に、その第３の実施例による画像符号化レート変換装置の構成を示す。
【０１３７】
その画像符号化レート変換装置１０ｃは、第１の実施例と同様に逆量子化・再量子化によってレート変換を行う装置であり、第１の実施例に比し逆量子化・再量子化部２２と可変長符号化部２５の間に前述の係数操作部２７が設けられている点で異なっている。
【０１３８】
そして、第１の実施例による構成では符号量制御部２３から供給される変換後の量子化スケールによって符号量制御を行っていたが、変換前のデータで量子化スケールコードが存在するマクロブロックの数が少なく、また変換後の符号量制御において量子化スケールコードの変更位置が不十分である場合などの符号量制御は次のように行っていた。
【０１３９】
即ち、その制御は逆量子化・再量子化部２２の次の係数操作部２７において、再量子化後のＤＣＴ係数に対して、その一部を"０"、または元の係数より小さな値にして係数を削減することにより、その後の可変長符号化部で符号化される２次元ＶＬＣ符号長を短縮し、符号量制御器２３における変換後の符号量を所要の値とするものである。
【０１４０】
そして、そのときに削減するＤＣＴ係数の位置、及びその係数の具体的な削減方法は符号量制御器２３より供給されるが、例えば２次元ＶＬＣ処理を行ったときに最も後ろに配置される係数から順に削減する方法として述べた。
【０１４１】
ここに示す第３の実施例では、係数操作部２７により前述と同様な係数削減を行うようにしている。
【０１４２】
また、その係数操作部２７による係数削減、又は逆量子化・再量子化部２２から供給される係数が全て０になる等のブロックについては、上述の係数選択部２４によって選択された残すべき係数が係数操作部２７から供給されるようになされている。
【０１４３】
このようにして、第３の実施例に示した画像符号化レート変換装置１０ｃにより符号化レートの変更されたストリーム信号が供給されるが、そのための係数操作部２７は前述の図１３に示す第１の実施例を変形した画像符号化レート変換装置１０ａに付加する場合であっても同様の動作を行うレート変換装置を構成することができる。
【０１４４】
以上、ＭＰＥＧ−２方式に基づいて符号化されたビットストリームの信号を画素レベルまで変換することなしに、及びビットストリームのデータ構造を同一に保ちつつ転送レートの変換を行う第１及〜第３の実施例について述べた。
【０１４５】
そして、これらの実施例により行われるレート変換方法は供給されるフレーム画像単位の動画信号を、複数の例えば１６画素×１６画素の画素ブロック毎の画像データに分割し、その分割された画素ブロック毎に動きベクトル量を求め、その求められた動きベクトル量に基づいて動き補償予測を行いつつ、その画素ブロックの画像データをＤＣＴ変換等により直交変換を行い、その直交変換して得られるたデータを量子化し、量子化して得られるデータを可変長符号化することにより符号化画像信号を生成し、そしてその符号化画像信号の生成に関る直交変換、及び動き予測などの符号化パラメータの情報を符号化情報として得、その得られた符号化情報を含むヘッダ信号を生成し、それらの生成された符号化画像信号及びヘッダ信号を結合して第１の転送レートにより圧縮符号化された第１の符号化ビットストリームとして得ると共に、その得られたビットストリームのデータが供給され、第１の転送レートよりも低い、又は第１の転送レート異なる第２の転送レートにより符号化されたビットストリームの信号に変換して得る画像符号化データのレート変換方法、又は画像符号化レート変換装置を、供給されたビットストリームの信号より符号化画像信号と符号化パラメータ情報を分離し、分離して得られた符号化情報を基に、符号化画像信号を直交変換して得られる画素ブロック毎の係数データを得、その得られた画像データに関る量子化データの複数ある量子化係数の内１つ以上を残し他の量子化係数を削除して更新画像データを生成し、その生成された更新画像データと、前記信号分離手段で得られた前記符号化情報に基づいて転送レート情報等が更新された符号化情報を結合して第２の転送レートによる第２の符号化データを生成するようにしているため、符号化された信号を画像信号に変換してから再変換により符号化して転送レートの変換をするのに比して信号変換のための遅延時間を少なくでき、また信号変換のための画像信号の一時記憶の必要がなく変換の方法が容易であり、且つその更新された符号化データの生成は第１の符号化方式におけるデータ構造を同一に保ちつつ転送レートの変換を行なうようにでき、即ち分割されたそれぞれのマクロブロックは変換前と同一のマクロブロックタイプ及びＣＢＰの信号に変換するようにし、又再量子化によってレート変換を行う場合は、変換前の量子化スケールの更新マクロブロック位置と同一の位置でのみ量子化スケールの更新を行うようにしてレート変換を行うため、変換されるデータはＤＣＴ係数部分のみを、又再量子化によりレート変換を行うときはＤＣＴ係数部分と量子化スケールコードのみとすることができ、また変換前後においてマクロブロックタイプ及びＣＢＰの変更を行わなく、そして変換で操作するデータは、直接ＤＣＴ係数部分の可変長符号を操作する場合はＤＣＴ係数部分のみを、さらに再量子化によるレート変換ではＤＣＴ係数部分と量子化スケールコードのみを変更するなどレート変換に伴う処理を簡素化することができるためレート変換された画像信号に付されるヘッダ信号も転送レート情報等の最小の変更とすることができ、ヘッダ信号の生成はそのヘッダ信号に該当する全ての画像データの更新を待たずに行うことが出来るため���ート変換の実現方法が容易であり、レート変換のための装置の構成も簡単とできるにもかかわらず、このような容易な方法、簡単な装置により生成された符号化信号はビットストリーム全体において調和的に転送レートの変更を行うことが出来るため、特に低い転送レートの符号化信号に変換したビットストリームを得ようとする場合においても画質劣化の少ない符号化信号に変換した信号を得ることができている。
【０１４６】
なお、以上述べた実施例では変換対象のビットストリームの符号化方式はＭＰＥＧ−２を中心として述べたが、符号化方式はＭＰＥＧ−２に限ることなく、所定量の符号化された画像データに対し、その符号化パラメータに関する情報をヘッダー情報としてその画像データに付随してビットストリームを構成するようなＭＰＥＧ−２と同様のデータ構造を有する符号化方式、例えばＭＰＥＧ−１方式、Ｈ２６１などの方式、及び他のＭＰＥＧ−４、ＭＰＥＧ−７、及びＭＰＥＧ−２１などにより符号化されたビットストリームに対しても適用可能である。
【０１４７】
そして、これらの例に示したレート変換前及び変換後の符号量制御がそれぞれ、固定ビットレート制御、又は可変ビットレート制御のいずれの場合であっても適用可能である。
【０１４８】
【発明の効果】
請求項１記載の発明によれば、符号化信号を画素レベル迄変換することなく、且つ更新されたＤＣＴ係数の量子化値が全て０となり、そのブロックで削除されてしまうことを防ぐようにして符号化信号のデータ構造を同一に保ったまま転送レートの変換を行うため、信号処理のためのデータ記憶量が少なく、信号処理のための遅延時間が短く、画質劣化が少なく、且つCBPなどのヘッダーの変更を伴うような複雑なコード変更をする必要がなく、符号量制御を容易に行える簡単な画像符号化レート変換装置を提供することが出来る効果がある。
【０１４９】
また、請求項２記載の発明によれば、符号化信号を画素レベル迄変換することなく、且つ更新されたＤＣＴ係数値が全て０となり、そのブロックで削除されてしまうことを防ぐようにして符号化信号のデータ構造を同一に保ったまま転送レートの変換を行うため、信号処理のためのデータ記憶量が少なく、信号処理のための遅延時間が短く、画質劣化が少なく、且つＣＢＰなどのヘッダーの変更を伴うような複雑なコード変更をする必要がなく、符号量制御を容易に行える簡単な画像符号化レート変換方法を提供できる効果がある。
【図面の簡単な説明】
【図１】本発明の実施例に係る画像符号化レート変換装置の概略ブロック図である。
【図２】ＭＰＥＧ−２符号化装置の概略ブロック図である。
【図３】ＭＰＥＧ−２符号化方式の動き補償予測に関するピクチャタイプの構造を示す図である。
【図４】ＭＰＥＧ−２符号化方式の変換符号化に関する画素データの構造を示す図である。
【図５】ＭＰＥＧ−２方式により伝送されるビットストリームのデータ構造を示す図である。
【図６】ＭＰＥＧ−２方式により符号化されるマクロブロック層におけるデータ構造を示す図である。
【図７】ＭＰＥＧ−２方式により符号化されるＩピクチャに対するマクロブロックタイプのＶＬＣテーブルを示す。
【図８】ＭＰＥＧ−２方式により符号化されるＰピクチャに対するマクロブロックタイプのＶＬＣテーブルを示す。
【図９】ＭＰＥＧ−２方式により符号化されるＢピクチャに対するマクロブロックタイプのＶＬＣテーブルを示す。
【図１０】ＭＰＥＧ−２方式により符号化されるブロック層におけるデータ構造を示す図である。
【図１１】本発明の実施に関る第１の実施例による画像符号化レート変換装置の構成を示す図である。
【図１２】本発明の実施に関るレート変換前及び後における量子化スケールコードの存在を説明するための図である。
【図１３】本発明の実施に関る第１の実施例の変形による画像符号化レート変換装置の構成を示す図である。
【図１４】本発明の実施に関る第２の実施例による画像符号化レート変換装置の構成を示す図である。
【図１５】本発明の実施に関る第３の実施例による画像符号化レート変換装置の構成を示す図である。
【図１６】従来例におけるレート変換装置の構成を示す図である。
【符号の説明】
１０、１０ａ、１０ｂ、１０ｃ  画像符号化レート変換装置
１１  ＤＥＭＵＸ部
１２  入力符号量カウンタ
１３  ヘッダ分離部
１４  ヘッダデータ格納部
１５  ヘッダ結合部
１６  出力符号量カウンタ
１７  再ＭＵＸ部
２０、２０ａ、２０ｂ、２０ｃ  画像レート変換部
２１  可変長復号部
２２  逆量子化・再量子化部
２２ａ  逆量子化部
２２ｂ  再量子化部
２３  符号量制御部
２４  係数選択部
２５  可変長符号化部
２６  ＤＣＴ係数分離部
２７  係数操作部
２８  ＤＣＴ係数結合部
６０  ＭＰＥＧ−２エンコーダ
６１  減算器
６２  ＤＣＴ器
６３  量子化器
６４  符号量制御器
６５  可変長符号化器
６６  バッファ
７１  逆量子化器
７２  ＩＤＣＴ器
７３  加算器
７４  フレームメモリ
７５  動き補償予測器
８１  データ分離回路
８２  逆ＶＬＣ回路
８３  逆量子化器
８４  ビットレート制御回路
８５  量子化器
８６  ＶＬＣ回路
８７  結合回路
８８  バッファ回路
【図１】
0003770466.tif 000002
【図２】
0003770466.tif 000003
【図３】
0003770466.tif 000004
【図４】
0003770466.tif 000005
【図５】
0003770466.tif 000006
【図６】
0003770466.tif 000007
【図７】
0003770466.tif 000008
【図８】
0003770466.tif 000009
【図９】
0003770466.tif 000010
【図１０】
0003770466.tif 000011
【図１１】
0003770466.tif 000012
【図１２】
0003770466.tif 000013
【図１３】
0003770466.tif 000014
【図１４】
0003770466.tif 000015
【図１５】
0003770466.tif 000016
【図１６】
0003770466.tif 000017