(57)【特許請求の範囲】
【請求項１】
画像データを符号化する画像処理装置において、
前記画像データに対する過去の符号化において利用された符号化パラメータを受け取る受け取り手段と、
前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記画像データを符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶する記憶手段と、
前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記画像データを符号化するとともに、
前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶手段に記憶された量子化マトリクスを利用して前記画像データを符号化する符号化手段と
を備える画像処理装置。
【請求項２】
前記符号化手段は、前記受け取り手段により受け取られた符号化パラメータを再利用しないで前記画像データを符号化する場合には、符号化規格においてデフォルトとされている量子化マトリクスを利用して前記画像データを符号化する
請求項１に記載の画像処理装置。
【請求項３】
前記量子化マトリクスは、イントラ量子化マトリクス又は非イントラ量子化マトリクスである
請求項１に記載の画像処理装置。
【請求項４】
前記記憶手段に記憶された量子化マトリクスは、高域のAC成分の値がDC成分の2倍以下に制限されている
請求項１に記載の画像処理装置。
【請求項５】
前記記憶手段に記憶された量子化マトリクスは、高域のAC成分の値と低域のAC成分の値とが同一又は略同一である
請求項１に記載の画像処理装置。
【請求項６】
前記符号化手段は、MPEG規格に従って、前記画像データを符号化する
請求項１に記載の画像処理装置。
【請求項７】
前記判定手段は、前記画像データを符号化する際のビットレートが前記受け取り手段により受け取られた符号化パラメータに示されるビットレートよりも小さい場合に、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないと判定する
請求項１に記載の画像処理装置。
【請求項８】
前記判定手段は、過去の符号化においてIピクチャとして符号化された画像データを、Iピクチャと符号する場合には、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないと判定する
請求項１に記載の画像処理装置。
【請求項９】
画像データを符号化する画像処理装置の画像処理方法において、
受け取り手段が、前記画像データに対する過去の符号化において利用された符号化パラメータを受け取り、
記憶手段が、前記受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記画像データを符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶し、
判定手段が、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定し、
符号化手段が、
前記判定手段の判定結果に基づいて、前記受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記画像データを符号化するとともに、
前記判定手段の判定結果に基づいて、前記受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶された量子化マトリクスを利用して前記画像データを符号化するステップ
を含む画像処理方法。
【請求項１０】
コンピュータを、
画像データを符号化する画像処理装置において、
前記画像データに対する過去の符号化において利用された符号化パラメータを受け取る受け取り手段と、
前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記画像データを符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶する記憶手段と、
前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記画像データを符号化するとともに、
前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶手段に記憶された量子化マトリクスを利用して前記画像データを符号化する符号化手段と
を備える画像処理装置として機能させるプログラム。
【請求項１１】
請求項１０に記載のプログラムが記録されている記録媒体。
【請求項１２】
符号化ストリームを再符号化するする画像処理装置において、
前記符号化ストリームに対する過去の符号化において利用された符号化パラメータを受け取る受け取り手段と、
前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記符号化ストリームを再符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶する記憶手段と、
前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記符号化ストリームを再符号化するとともに、
前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶手段に記憶された量子化マトリクスを利用して前記符号化ストリームを再符号化する再符号化手段と
を備える画像処理装置。
【請求項１３】
符号化ストリームを再符号化するする画像処理装置の画像処理方法において、
受け取り手段が、前記符号化ストリームに対する過去の符号化において利用された符号化パラメータを受け取り、
記憶手段が、前記受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記符号化ストリームを再符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶し、
判定手段が、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定し、
再符号化手段が、
前記判定手段の判定結果に基づいて、前記受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記符号化ストリームを再符号化するとともに、
前記判定手段の判定結果に基づいて、前記受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶された量子化マトリクスを利用して前記符号化ストリームを再符号化するステップ
を含む画像処理方法。
【請求項１４】
コンピュータを、
符号化ストリームを再符号化するする画像処理装置において、
前記符号化ストリームに対する過去の符号化において利用された符号化パラメータを受け取る受け取り手段と、
前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記符号化ストリームを再符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶する記憶手段と、
前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記符号化ストリームを再符号化するとともに、
前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶手段に記憶された量子化マトリクスを利用して前記符号化ストリームを再符号化する再符号化手段とを備える画像処理装置として機能させる
プログラム。
【請求項１５】
請求項１４に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、記録媒体、並びに、プログラムに関し、特に、対応するデータに対して過去に施された符号化に関する情報を用いて再符号化することが可能なようになされている場合に用いて好適な、画像処理装置および画像処理方法、記録媒体、並びに、プログラムに関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。
【０００３】
画像信号が圧縮符号化される場合、生成されるビットストリームが、所定のビットレートになるように符号化が行われる。しかしながら、実運用上において、伝送路の都合により、ビットストリームのビットレートを変換する必要が生じることがある。
【０００４】
また、例えば、伝送された画像信号が、放送局において編集される場合、編集は秒単位で行われるので、フレームの画像情報は、他のフレームの画像情報から独立しているほうがよい。そこで、低いビットレート（例えば、３乃至９Mbps）で転送しても画質が劣化しないように、情報が相関関係にあるフレームの集合であるＧＯＰ(Group of Picture)を構成するフレーム数が多いLong GOPと、高ビットレート（１８乃至５０Mbps）で転送される、ＧＯＰを構成するフレーム数が少ないShort GOPとを、相互に変換する必要があった。
【０００５】
例えば、非圧縮のデータをＭＰＥＧのLong GOPのストリームデータに符号化した後、フレーム編集することが可能なシステムについて、図１を用いて説明する。
【０００６】
ＳＤＩ（Serial Digital Interface）−ＡＳＩ（Asynchronous Serial Interface）変換装置１は、供給されたＳＤＩ入力画像を、ＭＰＥＧのLong GOP（ＡＳＩストリーム）となるように符号化し、符号化されたＭＰＥＧのLong GOPのストリームデータを出力する。ＳＤＩとは、Point to Pointの伝送を基本に考えた、非圧縮のデジタルビデオ・オーディオの伝送方式であり、ＡＮＳＩ（American National Standards Institute）／ＳＭＰＴＥ（Society of Motion Picture and Television Engineers）２５９Ｍに規定されている。
【０００７】
ＡＳＩ−ＳＤＴＩ  ＣＰ（Serial Data Transport Interface Contents Package）変換装置２は、供給されたＭＰＥＧのLong GOPのストリームデータを、復号部２１で一旦復号した後、符号化部２２において、全てイントラフレーム（All Intra）となるように符号化し、符号化された全てイントラフレームのストリームデータ（ＳＤＴＩ  ＣＰストリーム）を、ＳＤＴＩ  ＣＰインタフェースのフレーム編集装置３に出力する。ＳＤＴＩ  ＣＰとは、Pro−MPEGフォーラムの推進でＳＭＰＴＥ３２６Ｍとして標準化された、ＭＰＥＧデータをリアルタイムに伝送（同期転送）する伝送方式の世界標準規格である。
【０００８】
フレーム編集装置３にてフレーム編集されたストリームデータは、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置４に供給される。ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置４は、供給された全てイントラフレームのストリームデータを、復号部３１で一旦復号した後、符号化部３２において、ＭＰＥＧのLong GOPとなるように符号化し、符号化されたＭＰＥＧのLong GOPのストリームデータ（ＡＳＩストリーム）を出力する。
【０００９】
また、入力画像を高ビットレートでＭＰＥＧのLong GOPに符号化し、それを復号して低ビットレートのＭＰＥＧのLong GOPに再符号化することが可能なシステムについて、図２を用いて説明する。
【００１０】
Long GOP符号化装置５１は、供給されたＳＤＩ入力画像を、復号部６１で一旦復号した後、符号化部６２において、高ビットレートのＭＰＥＧのLong GOPとなるように符号化し、符号化されたＭＰＥＧのLong GOPのストリーム（ＡＳＩストリーム）データを出力する。Long GOP符号化装置５２は、供給された高ビットレートのＭＰＥＧのLong GOPを、復号部７１で一旦復号した後、符号化部７２において、低ビットレートのＭＰＥＧのLong GOPとなるように符号化し、符号化された低ビットレートのＭＰＥＧのLong GOPのストリーム（ＡＳＩストリーム）データを出力する。
【００１１】
このように、画像情報に対する符号化および復号が繰り返された場合、符号化の度に使用される符号化パラメータが変化してしまうと、画像情報が劣化してしまう。この画像情報の劣化を防止するため、ビットストリームのピクチャ層のユーザデータエリアに挿入された符号化履歴情報を用いることにより、再符号化に伴う画像の劣化を抑制することができる技術がある（例えば、特許文献１参照）。
【００１２】
【特許文献１】
特開２０００−０５９７８８号公報
【００１３】
例えば、非圧縮のデータをＭＰＥＧのLong GOPのストリームデータに符号化した後、フレーム編集を行うことが可能なシステムにおいて、符号化履歴情報を利用する場合について、図３を用いて説明する。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１４】
すなわち、ＡＳＩ−ＳＤＴＩ  ＣＰ変換装置１０１は、図１と同様のＳＤＩ−ＡＳＩ変換装置１により符号化されて生成された、ＭＰＥＧのLong GOP（ＡＳＩストリーム）の供給を受ける。
【００１５】
ＭＰＥＧのLong GOPはそれぞれ符号化の素性の異なる３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成されるため、それを復号したビデオデータにも、フレームによってそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャの素性を持ったものが存在する。したがって、このビデオデータをＭＰＥＧのLong GOPで再符号化する場合、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、それぞれ別のピクチャタイプで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、ＩピクチャおよびＰピクチャより歪が多くなりやすいＢピクチャであったビデオデータをＩピクチャとして符号化してしまうと、その周辺のピクチャが、歪の多いＩピクチャを参照画像として予測符号化されてしまうため、画質が劣化してしまう。
【００１６】
このような再符号化による画質劣化を引き起こさないため、ＡＳＩ−ＳＤＴＩＣＰ変換装置１０１は、供給されたＭＰＥＧのLong GOPのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化するとき、過去に実行された符号化、すなわち、ＳＤＩ−ＡＳＩ変換装置１による符号化のピクチャタイプや量子化値などのパラメータを、全てイントラフレームのＳＤＴＩ-ＣＰストリーム上に、ＳＭＰＴＥ３２８Ｍのヒストリー情報（History data）として付加し、フレーム編集装置３に供給する。
【００１７】
フレーム編集装置３にてフレーム編集されたストリームデータは、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１０２に供給される。ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１０２は、供給された、ヒストリー情報つきの全てイントラフレームのストリームデータを、復号部１２１で復号する。符号化部１２２は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等の必要なパラメータを使用して、Long GOPに再符号化して出力する。
【００１８】
また、図２を用いて説明したように、入力画像を高ビットレートでＭＰＥＧのLongGOPに符号化し、それを復号して低ビットレートのＭＰＥＧのLongGOPに再符号化することが可能なシステムにおいて、再符号化のための画像劣化が発生しないようになされている場合について、図４を用いて説明する。なお、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１９】
すなわち、LongGOP符号化装置５１により符号化されたＭＰＥＧのLong GOPのストリーム（ＡＳＩストリーム）データの供給を受けたLongGOP符号化装置１３１は、高ビットレートのＭＰＥＧのLong GOPを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部１４２に供給する。符号化部１４２は、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのＭＰＥＧのLong GOPとなるように符号化し、符号化された低ビットレートのＭＰＥＧのLong GOPのストリーム（ＡＳＩストリーム）データを出力する。
【００２０】
【発明が解決しようとする課題】
上述したように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等）を再利用して符号化することにより、画質劣化を防ぐことが可能である。しかしながら、図４を用いて説明したシステムのように、再符号化によりビットレートを低くするような場合、量子化値をそのまま利用するとビットレートを低くすることができないため、量子化値を再利用することができない。また、図３を用いて説明したシステムにおいて、例えば、編集点を含むストリームの符号化時のＶＢＶバッファ状態などによっては、量子化値を再利用して符号化を行うことができない場合がある。
【００２１】
このように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報を再利用して符号化するにあたって、ヒストリー情報、または、符号化パラメータに含まれる情報のうち、量子化値について再利用することができない場合、量子化値は、通常の符号化で用いるＴＭ５等のレート制御により決定される。すなわち、符号化に用いられる量子化値は、過去の符号化の量子化値とは異なってくる。
【００２２】
更に、過去に符号化が実行された符号化装置もしくはトランスコーダと、再符号化を行う符号化装置もしくはトランスコーダとが異なり、装置によってレート制御方法等が異なる場合、過去の符号化と次に実行される符号化において、量子化値が異なるものとなる可能性が高い。
【００２３】
再符号化で用いられる量子化値が、過去の符号化における量子化値と異なる場合、その差分によっては、画質劣化を引き起こしてしまう。例えば、過去の符号化における量子化値に対して２倍前後の量子化値の差分を有している場合、顕著な画質劣化を引き起こしてしまい、過去の符号化における量子化値に対して２倍以上の量子化値の差分を有している場合、より一層顕著な画質劣化を引き起こしてしまう。
【００２４】
この原因については、例えば、次にあげられるようなことが考えられる。
【００２５】
符号化するビデオデータが、ノイズや細かいテクスチャ等の高周波成分を多く含む場合、量子化しても０にならないＤＣＴ係数が高次まで広く分布する。例えば、イントラマクロブロックのうちの、ある高次の係数を量子化した結果が１であった場合を考える。再符号化において、この部分を２倍の量子化値で量子化すると、その結果は０．５となり、丸めにより再び１となる。更に、復号時に逆量子化されて、２倍の量子化値が乗算されるため、その係数値は、過去の符号化時の係数値の２倍となる。したがって、逆ＤＣＴしたときに、ビデオデータのノイズや細かいテクスチャ等の高周波成分が、過去の符号化時の入力ビデオデータに比べて強調されてしまう。
【００２６】
また、同様の部分に対して、再符号化において２倍を超える量子化値を用いて量子化が施された場合、その係数は０に丸められるので、解像度が落ちてしまう。このような場合、量子化計算を切捨てで行っている符号化装置においては、再符号化において用いられる量子化値が、過去の量子化値より僅かに大きくなるだけで、量子化結果が０となってしまうため、過去に１であるデータが、全て０となり、解像度が落ち、画像が劣化してしまう。
【００２７】
特に、過去の符号化でＩピクチャであった部分が、再びＩピクチャとして再符号化される場合には、このような高周波成分の強調や解像度落ちの画質劣化が引き起こされやすい。したがって、再符号化後のビデオデータにおいて、Ｉピクチャの部分のみで高周波成分が強調されてしまったり、解像度が落ちてしまうため、再生されるビデオデータのうち、Ｉピクチャに対応する部分のみが強調されて、フリッカーが発生してしまう。
【００２８】
ビットレートを小さくする場合、量子化値が大きくなりやすいために、上述した画質劣化が発生しやすい。また、ビットレートはそのままである場合であっても、再符号化時の入力ビデオデータが過去の符号化時の入力ビデオデータとは異なるものである場合、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのビット発生量割り振りに、差が発生してしまう。このような場合も、過去の符号化時と比較して、量子化値が異なるものとなる可能性があるため、過去の量子化値との差異の大きさによっては、画質劣化が発生してしまう。
【００２９】
本発明はこのような状況に鑑みてなされたものであり、過去の符号化におけるパラメータを再利用して符号化する場合において、量子化値を再利用できないときに、画質劣化が発生してしまうことを防ぐことができるようにするものである。
【００３０】
【課題を解決するための手段】
本発明の第１の画像処理装置は、前記画像データに対する過去の符号化において利用された符号化パラメータを受け取る受け取り手段と、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記画像データを符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶する記憶手段と、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記画像データを符号化するとともに、前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶手段に記憶された量子化マトリクスを利用して前記画像データを符号化する符号化手段とを備える。
【００３１】
前記符号化手段は、前記受け取り手段により受け取られた符号化パラメータを再利用しないで前記画像データを符号化する場合には、符号化規格においてデフォルトとされている量子化マトリクスを利用して前記画像データを符号化するようにすることができる。
【００３２】
前記量子化マトリクスは、イントラ量子化マトリクス又は非イントラ量子化マトリクスであるようにすることができる。
【００３５】
前記記憶手段に記憶された量子化マトリクスは、高域のAC成分の値がDC成分の2倍以下に制限されているようにすることができる。
【００３６】
前記記憶手段に記憶された量子化マトリクスは、高域のAC成分の値と低域のAC成分の値とが同一又は略同一であるようにすることができる。
【００３７】
前記符号化手段は、MPEG規格に従って、前記画像データを符号化するようにすることができる。
【００３９】
前記判定手段は、前記画像データを符号化する際のビットレートが前記受け取り手段により受け取られた符号化パラメータに示されるビットレートよりも小さい場合に、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないと判定するようにすることができる。
【００４０】
前記判定手段は、過去の符号化においてIピクチャとして符号化された画像データを、Iピクチャと符号する場合には、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないと判定するようにすることができる。
【００４１】
本発明の第１の画像処理方法は、受け取り手段が、前記画像データに対する過去の符号化において利用された符号化パラメータを受け取り、記憶手段が、前記受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記画像データを符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶し、判定手段が受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定し、符号化手段が、判定手段の判定結果に基づいて、前記受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記画像データを符号化するとともに、判定手段の判定結果に基づいて、前記受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶された量子化マトリクスを利用して前記画像データを符号化するステップを含む。
【００４２】
本発明の第１のプログラムは、コンピュータを、画像データを符号化する画像処理装置において、前記画像データに対する過去の符号化において利用された符号化パラメータを受け取る受け取り手段と、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記画像データを符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶する記憶手段と、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記画像データを符号化するとともに、前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶手段に記憶された量子化マトリクスを利用して前記画像データを符号化する符号化手段とを備える画像処理装置として機能させる。
【００４３】
本発明の第１の画像処理装置および方法、並びにプログラムにおいては、前記画像データに対する過去の符号化において利用された符号化パラメータが受け取られ、前記受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記画像データを符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスが記憶され、受け取られた符号化パラメータに含まれる量子化値を再利用するか否かが判定され、判定結果に基づいて、受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記画像データが符号化されるとともに、判定結果に基づいて、受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶された量子化マトリクスを利用して前記画像データが符号化される。
【００４４】
本発明の第２の画像処理装置は、前記符号化ストリームに対する過去の符号化において利用された符号化パラメータを受け取る受け取り手段と、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記符号化ストリームを再符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶する記憶手段と、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記符号化ストリームを再符号化するとともに、前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶手段に記憶された量子化マトリクスを利用して前記符号化ストリームを再符号化する再符号化手段とを備える。
【００４５】
本発明の第２の画像処理装置は、受け取り手段が、前記符号化ストリームに対する過去の符号化において利用された符号化パラメータを受け取り、記憶手段が、前記受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記符号化ストリームを再符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶し、判定手段が、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定し、再符号化手段が、前記判定手段の判定結果に基づいて、前記受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記符号化ストリームを再符号化するとともに、前記判定手段の判定結果に基づいて、前記受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶された量子化マトリクスを利用して前記符号化ストリームを再符号化するステップを含む。
【００４６】
本発明の第２のプログラムは、コンピュータを、符号化ストリームを再符号化するする画像処理装置において、前記符号化ストリームに対する過去の符号化において利用された符号化パラメータを受け取る受け取り手段と、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記符号化ストリームを再符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスを記憶する記憶手段と、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用するか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記符号化ストリームを再符号化するとともに、前記判定手段の判定結果に基づいて、前記受け取り手段により受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶手段に記憶された量子化マトリクスを利用して前記符号化ストリームを再符号化する再符号化手段とを備える画像処理装置として機能させる。
【００４７】
本発明の第２の画像処理装置および方法、並びにプログラムにおいては、前記符号化ストリームに対する過去の符号化において利用された符号化パラメータが受け取られ、前記受け取られた符号化パラメータに含まれる量子化値を再利用しないで前記符号化ストリームを再符号化する場合に利用する、符号化規格で定められている量子化マトリクスに比べて、高域のAC成分の値を小さくした量子化マトリクスが記憶され、受け取られた符号化パラメータに含まれる量子化値を再利用するか否かが判定され、判定結果に基づいて、前記受け取られた符号化パラメータに含まれる量子化値を再利用する場合には、前記受け取られた符号化パラメータに含まれる量子化マトリクスを再利用して前記符号化ストリームが再符号化されるとともに、判定結果に基づいて、前記受け取られた符号化パラメータに含まれる量子化値を再利用しない場合には、前記記憶された量子化マトリクスを利用して前記符号化ストリームが再符号化される。
【００６０】
以下、図を参照して、本発明の実施の形態について説明する。
【００６１】
図５は、本発明を適用した、非圧縮のデータをＭＰＥＧのLong GOPのストリームデータに符号化した後、フレーム編集することが可能なシステムの構成を示すブロックである。
【００６２】
なお、図３を用いて説明した従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、本発明を適用した、非圧縮のデータをＭＰＥＧのLong GOPのストリームデータに符号化した後、フレーム編集することが可能なシステムにおいては、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１０２に代わって、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１５１が設けられているほかは、図３を用いて説明した従来の場合と基本的に同様に構成されており、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１５１は、符号化部１２２に代わって、量子化値が再利用できるか否かに基づいて、最適な量子化マトリクスを選択して量子化処理を実行することが可能な符号化部１６１が設けられているほかは、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１０２と基本的に同様に構成されている。
【００６３】
ＡＳＩ−ＳＤＴＩ  ＣＰ変換装置１０１は、ＳＤＩ−ＡＳＩ変換装置１により符号化されて生成された、ＭＰＥＧのLong GOP（ＡＳＩストリーム）の供給を受ける。
【００６４】
ＭＰＥＧのLongGOPは、３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成される。ＡＳＩ−ＳＤＴＩ  ＣＰ変換装置１０１は、供給されたＭＰＥＧのLong GOPのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化する場合、その後の処理において、これらのストリームデータがLongGOPで再符号化されるにあたって、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、別のピクチャタイプで符号化されてしまうことを防ぐため、過去に実行された符号化、すなわち、ＳＤＩ−ＡＳＩ変換装置１による符号化のピクチャタイプや量子化値などのパラメータを、ＳＭＰＴＥ３２８Ｍのヒストリー情報（History data）として、全てイントラフレームのＳＤＴＩ-ＣＰストリーム上に付加し、フレーム編集装置３に供給する。
【００６５】
フレーム編集装置３にてフレーム編集された、ヒストリー情報付のストリームデータは、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１５１に供給される。ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１５１は、供給された、ヒストリー情報付の全てイントラフレームのストリームデータを、復号部１２１で復号する。符号化部１６１は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等のパラメータを、必要に応じて使用して、LongGOPに再符号化して出力する。
【００６６】
図６は、符号化部１６１の構成を示すブロック図である。
【００６７】
ヒストリー抽出部１７１は、復号部１２１により復号された、ＳＭＰＴＥ３２８Ｍのヒストリー情報付のＳＤＩＴ  ＣＰストリームから、ヒストリー情報を抽出して、レート設定部１７７に供給するとともに、映像ストリームを映像並べ替え部１７２に供給する。ヒストリー情報には、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなど、過去に実行された符号化に関する情報が含まれている。
【００６８】
映像並べ替え部１７２は、順次入力される画像データの各フレーム画像を、必要に応じて、並べ替えたり、画像データの各フレーム画像を、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割したマクロブロックデータを生成して、演算部１７３、および、動きベクトル検出部１７４に供給する。
【００６９】
動きベクトル検出部１７４は、マクロブロックデータの入力を受け、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ１８３に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部１８２に送出する。
【００７０】
演算部１７３は、映像並べ替え部１７２から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいた動き補償を行う。具体的には、演算部１７３は、Ｉピクチャに対してはイントラモードで動き補償を行い、Ｐピクチャに対しては、順方向予測モードで動き補償を行い、Ｂピクチャに対しては、双方向予測モードで動き補償を行うようになされている。
【００７１】
ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法であり、双方向予測モードとは、符号化対象となるフレーム画像と、過去と将来の参照画像との予測残差を伝送データとする方法である。
【００７２】
まず、マクロブロックデータがＩピクチャであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部１７３は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）部１７５に送出する。ＤＣＴ部１７５は、入力された演算データに対し、直交変換であるＤＣＴ変換処理を行うことによりＤＣＴ係数化し、これをＤＣＴ係数データとして、量子化部１７６に送出する。
【００７３】
量子化部１７６は、レート設定部１７７から供給される量子化値Ｑおよび量子化マトリクスに基づいて、入力されたＤＣＴ係数データに対して量子化処理を行い、量子化ＤＣＴ係数としてＶＬＣ（Variable Length Code；可変長符号化）部１７８および逆量子化部１７９に送出する。量子化部１７６は、次の式（１）を用いて、量子化ＤＣＴ係数Ｓｑを算出する。
【００７４】
Ｓｑ＝（（３２×Ｓ）／ｑ）／（２×Ｑ）    ・・・（１）
【００７５】
ただし、式（１）においては、量子化前のＤＣＴ係数成分値をＳとし、量子化マトリクスの成分値をｑとし、乗算の結果は、四捨五入するものとする。
【００７６】
逆量子化部１７９に送出された量子化ＤＣＴ係数データは、量子化部１７６と同じ量子化ステップサイズによる逆量子化処理を受け、ＤＣＴ係数データとして、逆ＤＣＴ部１８０に送出される。逆量子化部１７９は、次の式（２）を用いて、逆量子化ＤＣＴ係数Ｓｉｑを算出する。
【００７７】
Ｓｉｑ＝（２×Ｓｑ×ｑ×Ｑ）／３２    ・・・（２）
【００７８】
逆ＤＣＴ部１８０は、供給されたＤＣＴ係数データに逆ＤＣＴ処理を施し、生成された演算データは、演算部１８１に送出され、参照画像データとしてフレームメモリ１８３に記憶される。
【００７９】
そして、演算部１７３は、マクロブロックデータがＰピクチャであった場合、マクロブロックデータについて、順方向予測モードよる動き補償処理を行い、Ｂピクチャであった場合、マクロブロックデータについて、双方向予測モードによる動き補償処理を行う。
【００８０】
動き補償部１８２は、フレームメモリ１８３に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データ、または、双方向予測画像データを算出する。演算部１７３は、マクロブロックデータについて、動き補償部１８２より供給される順方向予測画像データ、または、双方向予測画像データを用いて減算処理を実行する。
【００８１】
すなわち、順方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００８２】
演算部１８１には、動き補償部１８２より順方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００８３】
また、双方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを双方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、双方向予測画像データを減算して、予測残差としての差分データを得る。
そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００８４】
演算部１８１には、動き補償部１８２より双方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、双方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００８５】
かくして、符号化部１６１に入力された画像データは、動き補償予測処理、ＤＣＴ処理および量子化処理を受け、量子化ＤＣＴ係数データとして、ＶＬＣ部１７８に供給される。ＶＬＣ部１７８は、量子化ＤＣＴ係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ１８４に送出する。バッファ１８４は、供給された可変長符号化データをバッファリングした後、出力する。
【００８６】
レート設定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、蓄積状態を表す占有量情報、または、ヒストリー抽出部１７１から供給されるヒストリー情報を基に量子化ステップサイズを決定するようになされている。
【００８７】
このとき、レート設定部１７７は、ヒストリー抽出部１７１から供給されるヒストリー情報に含まれている量子化マトリクス、または、メモリ１８５に記憶されている複数の量子化マトリクスのうち、後述する符号化の条件に合致するものを選択するようになされている。
【００８８】
メモリ１８５には、図７に示される、MPEG2においてデフォルトとされているイントラ量子化マトリクス、および、非イントラ（インター）量子化マトリクス（図１２）以外に、図８に示される、過去の符号化の情報のうちの量子化値が再利用できない場合に用いられるイントラ量子化マトリクスが記憶されている。
【００８９】
前述したように、過去の符号化の情報を用いて再符号化する場合に、例えば、再符号化によりビットレートが低くされたり、編集点を含むストリームの符号化時のＶＢＶバッファの状態によっては、過去の符号化における量子化値を再利用することができない場合がある。過去の符号化における量子化値を再利用できないことにより発生する画質劣化を防ぐためには、ＡＣ成分の値を小さくして、その周波数成分を保護することができるイントラ量子化マトリクスを再符号化に用いるようにすればよい。
【００９０】
図７に、MPEG2においてデフォルトとされているイントラ量子化マトリクスを示す。図７のイントラ量子化マトリクスは、高域のＡＣ成分ほど大きな値となるように設定されている。これは、人間の視覚が、高域成分の画像の劣化に鈍感であるという特性を利用して、高域成分をより大きな値で除算することにより、画像の見た目を劣化させることなく、データを大きく削減することができるようにするためである。量子化前のＤＣＴ係数は、ＤＣ成分が大きな値となり、ＡＣ成分は小さな値となる傾向があるため、図７に示されるような、高域になるほど大きな値をとる量子化マトリクスを用いることにより、量子化後の係数は、高域成分がほとんど０となるような場合が多い。なお、MPEG2において、量子化マトリクスの各成分がとりえる値の最高値は２５５である。
【００９１】
しかしながら、ビデオデータがノイズや細かいテクスチャ等の高周波成分を多く含む場合、量子化前のＤＣＴ係数の高域成分にも係数が残り、その値が１であるような場合が多く発生する。このようなビデオデータが、復号されて再符号化される場合、過去の符号化と同一の量子化マトリクスを用いる可能であり、かつ、量子化値も過去の符号化と同一であれば、量子化後の係数も１となって、元の値に再び復号することができる。しかしながら、上述したように、量子化値が、例えば、過去の符号化の２倍程度になってしまうと、再符号化後の復号後の値が、過去の符号化の前の値と大きく異なってしまう場合が発生する。
【００９２】
このようにして、多くの成分において、値の変動が発生してしまうことにより、画質が著しく劣化してしまう。更に、このようなビデオデータに対して、再符号化が繰り返されてしまうと、同様の復号値の変動も繰り返されてしまうため、再符号化が施される毎に、更に画質が劣化してしまう。
【００９３】
そこで、高域のＡＣ成分においても、大きな値が設定されておらず、高域成分が低域成分と同一か、略同等の値で構成されている量子化マトリクスを使用することにより、再符号化時に、量子化値で除算する直前の値をある程度大きな値とすることができるので、上述した量子化値の変動による復号値の変動の影響を受けないようにすることができる。例えば、図８に示されるように、MPEG2の規格で「８」に定められているＤＣ成分以外の全ての成分を、ＤＣ成分の２倍の値である１６とした量子化マトリクスを使用することにより、上述した量子化値の変動による復号値の変動の影響を受けないようにすることができる。
【００９４】
図７に示される、MPEG2においてデフォルトとされているイントラ量子化マトリクスが用いられた場合、過去の符号化時において量子化前のＤＣＴ係数成分値が９であり、対応する成分の量子化マトリクス値がｑ＝３４であり、量子化値がＱ＝４であれば、上述した式（１）より、量子化結果は、Ｓｑ＝（（３２×９）／３４）／（２×４）＝１となり、逆量子化すると、上述した式（２）より、Ｓｉｑ＝（２×１×３４×４）／３２＝９となる。
【００９５】
このとき、再符号化時に量子化値Ｑが、Ｑ＝４から、２倍のＱ＝８になった場合、量子化結果は、同様に、式（１）から、Ｓｑ＝（（３２×９）／３４）／（２×８）＝１となり、逆量子化すると、式（２）から、Ｓｉｑ＝（２×１×３４×８）／３２＝１７となり、量子化前のＤＣＴ係数成分値である９と、大きく異なる値となる。
【００９６】
これに対して、例えば、図８の量子化マトリクスを再符号化に用いた場合、対応する成分の量子化マトリクス値がｑ＝１６であるため、量子化値Ｑが、Ｑ＝４から、２倍のＱ＝８になったとしても、再符号化時の量子化結果は、式（１）より、Ｓｑ＝（（３２×９）／１６）／（２×８）＝１となり、逆量子化すると、式（２）より、Ｓｉｑ＝（２×１×１６×８）／３２＝８となる。すなわち、図８の量子化マトリクスを再符号化に用いた場合には、量子化前のＤＣＴ係数成分値である９と、大きく変わらない逆量子化結果を得ることができるため、量子化値の変動による復号値の変動に対して、影響を受けにくくなることが分かる。
【００９７】
したがって、量子化値を再利用できない場合には、図８に示されるような、高域のＡＣ成分においても大きな値が設定されていない（高域のＡＣ成分の値が、ＤＣ成分の２倍以下に制限され、低域のＡＣ成分の値と同一か、または、略等しい値となる）イントラ量子化マトリクスを使用することにより、再符号化後の画質劣化を抑制できる。
【００９８】
ここでは、図８のイントラ量子化マトリクスを、高域のＡＣ成分においても、大きな値が設定されておらず、高域成分が低域成分と同一か、略同等の値で構成されているイントラ量子化マトリクスの例として説明したが、本発明に用いられるイントラ量子化マトリクスは、図８のイントラ量子化マトリクスに限定されるものではなく、図８のイントラ量子化マトリクスのように、ＡＣ成分が全て同一の値でなくても、例えば、高域成分が、ＤＣ成分の２倍以下となるような、充分小さな値が用いられていればよい。
【００９９】
レート設定部１７７は、図示しない操作入力部から供給されるユーザの操作入力を示す信号、または、ヒストリー抽出部１７１からヒストリー情報が供給されたか否かを基に、ヒストリー情報を用いて符号化を行うことが可能か否かを判断する。ヒストリー抽出部１７１から供給されるヒストリー情報には、上述したように、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなどが含まれる。
【０１００】
レート設定部１７７は、ヒストリー情報を用いて符号化を行うことができないと判断した場合、通常の符号化に用いられる、図７を用いて説明したイントラ量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給する。
ヒストリー情報を用いて符号化を行うことができないと判断した場合の量子化値Ｑの決定方法については後述する。
【０１０１】
レート設定部１７７は、ヒストリー情報を用いて符号化を行うことが可能であると判断した場合、ヒストリー抽出部１７１から供給されるヒストリー情報を基に、量子化値を再利用することが可能か否かを判断する。
【０１０２】
ここで、量子化値を再利用することが可能であるか否かは、例えば、量子化値を再利用できるか否かを、ユーザによって予め設定可能なようにしても良いし、ヒストリー情報の中に、量子化値を再利用することが可能であるか否の情報が記載されているものとしても良いし、ヒストリー情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件により決定されるようにしても良い。
【０１０３】
そして、量子化値を再利用することが可能であると判断された場合、レート設定部１７７は、ヒストリー情報に含まれる量子化マトリクスを量子化部１７６に供給する。一方、量子化値を再利用することが可能ではないと判断された場合、レート設定部１７７は、画像の劣化を防ぐために、図８を用いて説明した量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給する。
【０１０４】
また、レート設定部１７７は、ヒストリー情報を利用しない場合、または、ヒストリー情報に含まれる量子化値を再利用することができない場合、目標発生符号量よりも実際に発生したマクロブロックの発生符号量が多いとき、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量よりも実際の発生符号量が少ないとき、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【０１０５】
すなわち、レート設定部１７７は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、仮想バッファのバッファ占有量を求めて、量子化値Ｑを算出し、通常の符号化に用いられる、図７を用いて説明した量子化マトリクスとともに、量子化部１７６に供給する。
【０１０６】
ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）は、次の式（３）によって表され、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（４）によって表され、式（３）から式（４）を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（５）として表される。
【０１０７】
ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−{Ｔ×（ｊ−１）／MBcnt}
・・・（３）
【０１０８】
ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、MBcntは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。
【０１０９】
ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｊ）−（Ｔ×ｊ）／MBcnt
・・・（４）
【０１１０】
ｄ（ｊ＋１）＝ｄ（ｊ）＋{Ｂ（ｊ）−Ｂ（ｊ−１）}−Ｔ／MBcnt
・・・（５）
【０１１１】
なお、レート設定部１７７は、ピクチャ内のマクロブロックが、例えば、イントラスライス部分とインタースライス部分とに分かれている場合には、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴpiおよびＴppをそれぞれ個別に設定することができる。
【０１１２】
したがって、レート設定部１７７は、バッファ占有量ｄ（ｊ＋１）、および、式（６）に示される定数ｒを、式（７）に代入することにより、マクロブロック（ｊ＋1）の量子化インデックスデータＱ（ｊ＋1）を算出し、これを量子化部１７６に供給する。
【０１１３】
ｒ＝（２×ｂｒ）／ｐｒ  ・・・（６）
Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ）  ・・・（７）
ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【０１１４】
量子化部１７６は、レート設定部１７７から供給された量子化値Ｑに基づいて、次のマクロブロックにおける量子化ステップサイズを決定し、量子化ステップサイズによってＤＣＴ係数データを量子化する。
【０１１５】
これにより、量子化部１７６は、実際の発生符号量に基づいて算出された、次のピクチャの目標発生符号量にとって最適な量子化ステップサイズによって、ＤＣＴ係数データを量子化することができる。
【０１１６】
かくして、量子化部１７６では、バッファ１８４のデータ占有量に応じて、バッファ１８４がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化ＤＣＴ係数データを生成することができる。
【０１１７】
なお、以上においては、符号化処理を、ピクチャ単位で行う場合について説明したが、符号化処理が、ピクチャ単位ではなく、例えば、スライス単位や、マクロブロック単位で行われる場合にも、基本的に同様にして、符号化処理が実行される。
【０１１８】
また、図４を用いて説明した、入力画像を高ビットレートでＭＰＥＧのLongGOPに符号化し、それを復号して、低ビットレートのLongGOPに再符号化する場合に、再符号化のための画像劣化が発生しないようになされているシステムについても、同様にして本発明を適用することが可能である。図９は、本発明を適用した、入力画像を高ビットレートでＭＰＥＧのLongGOPに符号化し、それを復号して低ビットレートのLongGOPに再符号化する場合に、ＶＢＶバッファの破綻を防止しつつ、再符号化のための画像劣化が発生しないようになされているシステムの構成を示すブロック図である。なお、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１９】
すなわち、図９のシステムは、LongGOP符号化装置１３１に代わって、LongGOP符号化装置２０１が備えられ、LongGOP符号化装置２０１は、符号化部１４２に代わって、最適な量子化マトリクスを用いて量子化を行うことが可能な符号化部２１１が設けられているほかは、基本的に、LongGOP符号化装置１３１と同様の構成を有する。
【０１２０】
LongGOP符号化装置５１により符号化されたＭＰＥＧのLong GOPのストリーム（ＡＳＩストリーム）データの供給を受けたLongGOP符号化装置２０１は、高ビットレートのＭＰＥＧのLong GOPを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部２１１に供給する。符号化部２１１は、必要に応じて、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのＭＰＥＧのLong GOPとなるように符号化し、符号化された低ビットレートのＭＰＥＧのLong GOPのストリーム（ＡＳＩストリーム）データを出力する。
【０１２１】
図１０は、符号化部２１１の構成を示すブロック図である。なお、図１０においては、図６の符号化部１６１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１２２】
すなわち、符号化部２１１は、ヒストリー抽出部１７１が省略され、復号部１４１から供給されるパラメータを取得してレート設定部１７７に供給する、パラメータ入力部２２１が設けられているほかは、図６の符号化部１６１と、基本的に同様の構成を有するものである。
【０１２３】
レート設定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、蓄積状態を表す占有量情報、または、パラメータ入力部２２１から供給されるパラメータ情報を基に量子化ステップサイズを決定するようになされている。
【０１２４】
レート設定部１７７は、図示しない操作入力部から供給されるユーザの操作入力を示す信号、または、パラメータ入力部２２１からパラメータ情報が供給されたか否かを基に、パラメータ情報を用いて符号化を行うか否かを判断する。パラメータ入力部２２１から供給されるパラメータ情報には、上述したヒストリー情報と同様に、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなどが含まれる。
【０１２５】
レート設定部１７７は、パラメータ情報を用いて符号化を行うことができないと判断した場合、通常の符号化に用いられる、図７を用いて説明した量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給する。
【０１２６】
レート設定部１７７は、パラメータ情報を用いて符号化を行うことが可能であると判断した場合、パラメータ入力部２２１から供給されるパラメータ情報を基に、量子化値を再利用することが可能か否かを判断する。
【０１２７】
ここで、量子化値を再利用することが可能であるか否かは、例えば、量子化値を再利用できるか否かを、ユーザによって予め設定可能なようにしても良いし、パラメータ情報の中に、量子化値を再利用することが可能であるか否の情報が記載されているものとしても良いし、パラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、パラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件により決定される。
【０１２８】
そして、パラメータ情報を基に、量子化値を再利用することが可能であると判断された場合、レート設定部１７７は、パラメータ情報に含まれるイントラ量子化マトリクスを量子化部１７６に供給する。一方、量子化値を再利用することが可能ではないと判断された場合、レート設定部１７７は、画像の劣化を防ぐために、図８を用いて説明したイントラ量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給する。
【０１２９】
量子化部１７６は、レート設定部１７７から供給された量子化値および量子化マトリクスを基に、ＤＣＴ部１７５から供給されたＤＣＴ係数を量子化する。
【０１３０】
次に、図１１のフローチャートを参照して、図６の符号化部１６１、または、図１０の符号化部２１１において実行される、量子化マトリクス決定処理１について説明する。
【０１３１】
ステップＳ１において、レート設定部１７７は、図示しない操作入力部から供給される、ユーザの操作入力を示す信号を基に、または、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータの供給を受けるか否かなどを基に、ヒストリー情報もしくはパラメータに記載されている過去の符号化の情報を再利用して符号化が実行されるか否かを判断する。
【０１３２】
ステップＳ１において、過去の符号化の情報を再利用して符号化が実行されないと判断された場合、ステップＳ２において、レート設定部１７７は、通常の符号化において用いられる、図７を用いて説明したイントラ量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給して、処理が終了される。
【０１３３】
ステップＳ１において、過去の符号化の情報を再利用して符号化が実行されると判断された場合、ステップＳ３において、レート設定部１７７は、例えば、予め量子化値を再利用できないと設定されているか否か、ヒストリー情報やパラメータ情報の中に、量子化値を再利用することが可能であると記載されているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件を満たしているか否かを基に、量子化値は再利用可能であるか否かを判断する。
【０１３４】
ステップＳ３において、量子化値は再利用可能であると判断された場合、ステップＳ４において、レート設定部１７７は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている、過去の符号化におけるイントラ量子化マトリクスを、量子化部１７６に供給して、処理が終了される。
【０１３５】
ステップＳ３において、量子化値は再利用可能ではないと判断された場合、ステップＳ５において、レート設定部１７７は、メモリ１８５に保存されている、図８を用いて説明したイントラ量子化マトリクスを、量子化部１７６に供給して、処理が終了される。
【０１３６】
このような処理により、符号化に用いられる量子化値が、過去の符号化の量子化値と異なる場合において、ビットレートが小さくなるときや、再符号化時の入力ビデオデータが過去の符号化時の入力ビデオデータとは異なるものであるときでも、特に、Ｉピクチャにおいて、高周波成分が強調されたり、画像の解像度が落ちることなどにより発生するフリッカーを防ぐことができる。
【０１３７】
また、以上において説明した処理では、過去の符号化に関する情報のうち、量子化値が再利用可能ではない場合に、ＡＣ成分（特に、ＡＣ成分の高域部分）に大きな値が用いられていないイントラ量子化マトリクスが選択されて、量子化に用いられるものとして説明したが、イントラマトリクスのみならず、非イントラ（インター）量子化マトリクスについても、同様の処理により、量子化値が再利用可能であるか否かに基づいて、最適なものが選択されるようにしてもよい。
【０１３８】
すなわち、図６の符号化部１６１、または、図１０の符号化部２１１のメモリ１８５に、図１２に示される、MPEG2のＴＭ５においてデフォルトとされている非イントラ量子化マトリクス以外に、図１３に示される、高域のＡＣ成分においても大きな値を用いない非イントラ量子化マトリクスとを更に保存させるようにし、レート制御部１７７によって、量子化値が再利用可能であるか否かに基づいて、最適なものが選択されるようにすることができる。
【０１３９】
図１２に、MPEG2のＴＭ５においてデフォルトとされている非イントラ量子化マトリクスを示す。図１２の非イントラ量子化マトリクスも、人間の視覚が、高域成分の画像の劣化に鈍感であるという特性を利用して、高域成分をより大きな値で除算するようにするために、高域のＡＣ成分ほど大きな値となるように設定されている。
【０１４０】
非イントラ量子化マトリクスにおいても、高域のＡＣ成分においても大きな値を用いず、高域成分が低域成分と同一か、略同等の値で構成されている量子化マトリクスを使用することにより、再符号化時に、量子化値で除算する直前の値が大きくなるため、量子化値の変動による復号値の変動の影響を受けないようにすることができる。例えば、図１３に示されるように、全ての成分を１６とした量子化マトリクスを使用することにより、上述した量子化値の変動による復号値の変動の影響を受けないようにすることができる。
【０１４１】
ここでは、高域のＡＣ成分においても大きな値を用いず、高域成分が低域成分と同一か、略同等の値で構成されている非イントラ量子化マトリクスの例として、図１３に示される、全ての成分が同一である量子化マトリクスを用いて説明したが、本発明に用いられる非イントラ量子化マトリクスは、図１３の非イントラ量子化マトリクスに限定されるものではなく、図１３の非イントラ量子化マトリクスのように、全ての成分、または、全てのＡＣ成分が同一の値でなくても、高域成分に、例えば、ＤＣ成分の２倍以下となるような充分小さな値や、図１２を用いて説明した非イントラ量子化マトリクスよりも高域成分が小さな（例えば、３２以下となる）値が用いられていればよい。
【０１４２】
次に、図１４のフローチャートを参照して、図６の符号化部１６１、または、図１０の符号化部２１１において実行される、量子化値が再利用可能であるか否かに基づいて、イントラ量子化マトリクスおよび非イントラ量子化マトリクスを選択するようになされている、量子化マトリクス決定処理２について説明する。
【０１４３】
ステップＳ２１において、レート設定部１７７は、図示しない操作入力部から供給される、ユーザの操作入力を示す信号を基に、または、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータの供給を受けるか否かなどを基に、ヒストリー情報もしくはパラメータに記載されている過去の符号化の情報を再利用して符号化が実行されるか否かを判断する。
【０１４４】
ステップＳ２１において、過去の符号化の情報を再利用して符号化が実行されないと判断された場合、ステップＳ２２において、レート設定部１７７は、通常の符号化において用いられる、図７を用いて説明したイントラ量子化マトリクスおよび図１２を用いて説明した非イントラ量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給して、処理が終了される。
【０１４５】
ステップＳ２１において、過去の符号化の情報を再利用して符号化が実行されると判断された場合、ステップＳ２３において、レート設定部１７７は、例えば、予め量子化値を再利用できないと設定されているか否か、ヒストリー情報やパラメータ情報の中に、量子化値を再利用することが可能であると記載されているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件を満たしているか否かを基に、量子化値は再利用可能であるか否かを判断する。
【０１４６】
ステップＳ２３において、量子化値は再利用可能であると判断された場合、ステップＳ２４において、レート設定部１７７は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている、過去の符号化における、イントラ量子化マトリクスおよび非イントラ量子化マトリクスを、量子化部１７６に供給して、処理が終了される。
【０１４７】
ステップＳ２３において、量子化値は再利用可能ではないと判断された場合、ステップＳ２５において、レート設定部１７７は、メモリ１８５に保存されている、図８を用いて説明したイントラ量子化マトリクス、および、図１３を用いて説明した非イントラ量子化マトリクスを、量子化部１７６に供給して、処理が終了される。
【０１４８】
このような処理により、符号化に用いられる量子化値が、過去の符号化の量子化値と異なる場合において、ビットレートが小さくなるときや、再符号化時の入力ビデオデータが過去の符号化時の入力ビデオデータとは異なるものであるときでも、特に、Ｉピクチャの画像の解像度が落ちることなどにより発生するフリッカーを防ぐことができるとともに、非イントラ部分においても、画像の劣化を防ぐようにすることができる。
【０１４９】
なお、以上においては、過去の符号化に関する情報が再利用されない場合に用いられる量子化マトリクスとして、符号化装置において標準的に用いられる量子化マトリクス（規格のディフォルト）が用いられるものとして説明したが、過去の符号化に関する情報が再利用されない場合に用いられる量子化マトリクス（例えば、量子化マトリクスＡ）がいかなる値を有するものであっても（例えば、高域成分にＭＰＥＧの規格において取りえる最高の値である２５５を有するものであっても）、本発明において、過去の符号化に関する情報を再利用するが、過去の符号化の量子化値を再利用しない場合に用いられる量子化マトリクス（例えば、量子化マトリクスＢ）が、量子化マトリクスＡよりも高域成分の小さな量子化マトリクス（少なくとも、２５５未満の値で構成される量子化マトリクス）である場合、画像の劣化を防ぐという効果を奏することができる。
【０１５０】
すなわち、符号化に用いられる量子化値が、過去の符号化の量子化値と異なる場合において、量子化に量子化マトリクスＢを用いることにより、量子化マトリクスＡを用いる場合と比較して、ビットレートが小さくなるときや、再符号化時の入力ビデオデータが過去の符号化時の入力ビデオデータとは異なるものであるときでも、特に、Ｉピクチャの画像の解像度が落ちることなどにより発生するフリッカーを防ぐことができ、画像の劣化を防ぐようにすることができる。
【０１５１】
なお、本発明は、例えば、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされているローディレイエンコードを行う場合においても適用可能である。
【０１５２】
また、本発明は、ローディレイコーディングとして各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合においても、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにした場合においても適用可能である。
【０１５３】
更に、上述の実施の形態においては、本発明をＭＰＥＧ方式によって圧縮符号化する符号化部１６１、または、符号化部２１１に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。
【０１５４】
なお、上述の実施の形態においては、ストリームデータを変換するそれぞれの変換装置やLongGOP符号化装置が、それぞれ、復号部と符号化部を有しているものとして説明したが、復号部および符号化部が、それぞれ、復号装置および符号化装置として、独立した装置として構成されている場合においても、本発明は適用可能である。
【０１５５】
すなわち、上述の実施の形態においては、それぞれの変換装置やLongGOP符号化装置が、ストリームデータを変換するものとして説明したが、例えば、図１５に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置２５１、ベースバンド信号を符号化してストリームデータに変換する符号化装置２５２が、それぞれ独立した装置として構成されていても良い。更に、復号装置２５１が、供給されたストリームデータを完全に復号せず、対応する符号化装置２５２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０１５６】
例えば、復号装置２５１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していなかった場合、符号化装置２５２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行う符号化装置２５２の量子化における量子化値を再利用するか否かの決定において、本発明を適用することができるのは言うまでもない。
【０１５７】
更に、復号装置２５１が完全に復号したベースバンド信号を、符号化装置２５２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置２５１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置２５２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１５８】
更に、このような部分的な復号を行う符号化装置２５１と部分的な符号化を行う符号化装置２５２で構成されたトランスコーダ２６１においても、本発明は適用可能である。このようなトランスコーダ２６１は、例えば、スプライシングなどの編集を行う編集装置２６２が利用される場合などに用いられる。
【０１５９】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１５１や、Long GOP符号化装置２０１は、図１６に示されるようなパーソナルコンピュータ３０１により構成される。
【０１６０】
図１６において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６１】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０１６２】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１６３】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０１６４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１６５】
この記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０１６６】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。
【０１６７】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６８】
【発明の効果】
このように、本発明によれば、画像データを符号化することができる。特に、過去の符号化において用いられた量子化値が再利用できない場合に、高域成分が、２５５未満の値で構成されている量子化マトリクスを用いて量子化を実行することができるので、画質の劣化を防ぐようにすることができる。
【０１６９】
また、他の本発明によれば、画像データを符号化することができるほか、過去の符号化において用いられた情報を再利用するが、量子化値が再利用できない場合に、過去の符号化において用いられた情報を再利用できない場合に用いられる量子化マトリクスよりも小さな値で構成されている量子化マトリクスを用いて量子化を実行することができるので、画質の劣化を防ぐようにすることができる。
【０１７０】
また、他の本発明によれば、画像データを変換することができるほか、変換処理における符号化処理において、過去の符号化において用いられた量子化値が再利用できない場合に、高域成分が、２５５未満以下の値で構成されている量子化マトリクスを用いて量子化を実行することができるので、画質の劣化を防ぐようにすることができる。
【０１７１】
更に、他の本発明によれば、画像データを変換することができるほか、変換処理における符号化処理において、過去の符号化において用いられた情報を再利用するが、量子化値が再利用できない場合に、過去の符号化において用いられた情報を再利用できない場合に用いられる量子化マトリクスよりも小さな値で構成されている量子化マトリクスを用いて量子化を実行することができるので、画質の劣化を防ぐようにすることができる。
また、更に、他の本発明によれば、再符号化を行うことができ、特に、過去の符号化処理における量子化値が再利用可能であるかを判定して、再利用可能でないと判定された場合に、ＡＣ成分の値を小さくしたイントラ量子化マトリクスを利用して再符号化するようにしたので、画質の劣化を防ぐようにすることができる。
【図面の簡単な説明】
【図１】フレーム編集を行う場合の再符号化が行われる従来のシステムを説明するための図である。
【図２】ＭＰＥＧのLong GOPのビットレートを変更して再符号化することが可能な従来のシステムについて説明するための図である。
【図３】フレーム編集を行う場合の再符号化が行われる従来のシステムにおいて、符号化履歴情報を利用する場合について、説明するための図である。
【図４】ＭＰＥＧのLong GOPのビットレートを変更して再符号化することが可能な従来のシステムで符号化履歴情報を利用する場合について、説明するための図である。
【図５】本発明を適用した、フレーム編集を行う場合の再符号化が行われるシステムの構成を示すブロックである。
【図６】図５の符号化部の構成を示すブロック図である。
【図７】  MPEG2においてデフォルトとされているイントラ量子化マトリクスについて説明するための図である。
【図８】本発明において用いられるイントラ量子化マトリクスについて説明するための図である。
【図９】本発明を適用した、ＭＰＥＧのLong GOPのビットレートを変更して再符号化することが可能なシステムの構成を示すブロック図である。
【図１０】図９の符号化部の構成を示すブロック図である。
【図１１】量子化マトリクス決定処理１について説明するためのフローチャートである。
【図１２】  MPEG2においてデフォルトとされている非イントラ量子化マトリクスについて説明するための図である。
【図１３】本発明において用いられる非イントラ量子化マトリクスについて説明するための図である。
【図１４】量子化マトリクス決定処理２について説明するためのフローチャートである。
【図１５】本発明を適用可能な異なる装置の構成について説明するための図である。
【図１６】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
１  ＳＤＩ−ＡＳＩ変換装置，  ３  フレーム編集装置，  ５１  Long GOP符号化装置，  ６１  復号部，  ６２  符号化部，  １０１  ＡＳＩ−ＳＤＴＩ変換装置，  １１１  復号部，  １１２  符号化部，  １２１  復号部，  １４１復号部，  １５１  ＳＤＴＩ  ＣＰ−ＡＳＩ変換部，  １６１  符号化部，  １７１  ヒストリー抽出部，  １７２  画像並べ替え部，  １７３  演算部，  １７４  動きベクトル検出部，  １７５  ＤＣＴ部，  １７６  量子化部，  １７７  レート設定部，  １７８  ＶＬＣ部，  １７９  逆量子化部，  １８０  逆ＤＣＴ部，  １８１  演算部，  １８２  動き補償部，  １８３  フレームメモリ，  １８４  バッファ，  １８５  メモリ，  ２０１  Long GOP符号化装置，  ２１１  符号化部，  ２２１  パラメータ入力部
【図１】
0004539028.tif 000002
【図２】
0004539028.tif 000003
【図３】
0004539028.tif 000004
【図４】
0004539028.tif 000005
【図５】
0004539028.tif 000006
【図６】
0004539028.tif 000007
【図７】
0004539028.tif 000008
【図８】
0004539028.tif 000009
【図９】
0004539028.tif 000010
【図１０】
0004539028.tif 000011
【図１１】
0004539028.tif 000012
【図１２】
0004539028.tif 000013
【図１３】
0004539028.tif 000014
【図１４】
0004539028.tif 000015
【図１５】
0004539028.tif 000016
【図１６】
0004539028.tif 000017