(57)【要約】【課題】量子化値が再利用できない場合の画質劣化を防ぐ。【解決手段】ステップＳ１で過去の符号化の情報を再利用して符号化されるか否かが判断され、過去の符号化の情報を再利用して符号化されない場合、ステップＳ２で通常の符号化で用いられるイントラ量子化マトリクスがメモリから読み出される。過去の符号化の情報を再利用して符号化される場合、ステップＳ３で量子化値は再利用可能であるか否かが判断される。量子化値が再利用可能である場合、ステップＳ４で、過去の符号化におけるイントラ量子化マトリクスが、量子化部に供給される。量子化値が再利用可能ではない場合、ステップＳ５で、メモリから、例えば、ＤＣ成分の２倍以下など、高域成分が十分小さな（例えば、３２以下となる）値で構成されているイントラ量子化マトリクスが読み出される。本発明は、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置またはＬｏｎｇ  ＧＯＰ符号化装置に適用できる。【選択図】      図１１
2004343279.tif 000002
【特許請求の範囲】
【請求項１】
画像データを符号化する画像処理装置において、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、
前記画像データを直交変換する直交変換手段と、
高域成分が、２５５未満の値で構成されている第１の量子化マトリクスを記憶する記憶手段と、
量子化に用いられる量子化値および量子化マトリクスを決定する決定手段と、
前記決定手段により決定された前記量子化値および前記量子化マトリクスを用いて、量子化を実行する量子化手段と、
を備え、
前記決定手段は、前記取得手段により取得された前記情報に含まれる前記量子化値が再利用可能である場合、前記取得手段により取得された前記情報に含まれる第２の量子化マトリクスを量子化に用いることを決定し、前記情報に含まれる前記量子化値が再利用可能ではない場合、前記記憶手段に記憶されている前記第１の量子化マトリクスを量子化に用いることを決定する
ことを特徴とする画像処理装置。
【請求項２】
前記第１の量子化マトリクスは、高域成分が、ＤＣ成分の２倍以下の値で構成されている
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の量子化マトリクスは、高域成分が、３２以下の値で構成されている
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記量子化手段により量子化された量子化係数データを符号化する符号化手段を更に備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記記憶手段に記憶されている第１の量子化マトリクスは、イントラマクロブロックの量子化に用いられる量子化マトリクスを含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記記憶手段に記憶されている第１の量子化マトリクスは、イントラマクロブロックの量子化に用いられる第３の量子化マトリクスおよび非イントラマクロブロックの量子化に用いられる第４の量子化マトリクスを含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記記憶手段は、量子化において、前記取得手段により取得された前記情報が再利用されない場合に用いられる第３の量子化マトリクスを更に記憶し、
前記決定手段は、前記取得手段により取得された前記情報が再利用されるか否かを更に判断し、
前記情報が再利用され、かつ、前記取得手段により取得された前記情報に含まれる前記量子化値が再利用可能である場合、前記決定手段は、前記取得手段により取得された前記情報に含まれる前記第２の量子化マトリクスを量子化に用いることを決定し、
前記情報が再利用され、かつ、前記情報に含まれる前記量子化値が再利用可能ではない場合、前記決定手段は、前記記憶手段に記憶されている前記第１の量子化マトリクスを量子化に用いることを決定し、
前記情報が再利用されない場合、前記決定手段は、前記記憶手段に記憶されている前記第３の量子化マトリクスを量子化に用いることを決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記記憶手段により記憶されている前記第１の量子化マトリクスのＡＣ成分は、全て同一の値である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
画像データを符号化する画像処理装置の画像処理方法において、
前記画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が、量子化に用いられるか否かを判断する判断ステップと、
前記判断ステップの処理により、前記量子化値が量子化に用いられないと判断された場合、高域成分が、２５５未満の値で構成されている第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、
前記判断ステップの処理により、前記量子化値が量子化に用いられると判断された場合、前記情報に含まれる第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
画像データを符号化する処理をコンピュータに実行させるためのプログラムであって、
前記画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が、量子化に用いられるか否かを判断する判断ステップと、
前記判断ステップの処理により、前記量子化値が量子化に用いられないと判断された場合、高域成分が、２５５未満の値で構成されている第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、
前記判断ステップの処理により、前記量子化値が量子化に用いられると判断された場合、前記情報に含まれる第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１１】
画像データを符号化する処理をコンピュータに実行させるためのプログラムであって、
前記画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が、量子化に用いられるか否かを判断する判断ステップと、
前記判断ステップの処理により、前記量子化値が量子化に用いられないと判断された場合、高域成分が、２５５未満の値で構成されている第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、
前記判断ステップの処理により、前記量子化値が量子化に用いられると判断された場合、前記情報に含まれる第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップと
を含むことを特徴とするプログラム。
【請求項１２】
画像データを符号化する画像処理装置において、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、
前記画像データを直交変換する直交変換手段と、
量子化において、前記取得手段により取得された前記情報が再利用されない場合に用いられる第１の量子化マトリクス、および、各成分が前記第１の量子化マトリクス以下の値を有する第２の量子化マトリクスを記憶する記憶手段と、
量子化に用いられる量子化値および量子化マトリクスを決定する決定手段と、
前記決定手段により決定された前記量子化値および前記量子化マトリクスを用いて、量子化を実行する量子化手段と
を備え、
前記決定手段は、
前記情報が再利用され、かつ、前記取得手段により取得された前記情報に含まれる前記量子化値が再利用可能である場合、前記取得手段により取得された前記情報に含まれる第３の量子化マトリクスを量子化に用いることを決定し、
前記情報が再利用され、かつ、前記情報に含まれる前記量子化値が再利用可能ではない場合、前記記憶手段に記憶されている前記第２の量子化マトリクスを量子化に用いることを決定し、
前記情報が再利用されない場合、前記記憶手段に記憶されている前記第１の量子化マトリクスを量子化に用いることを決定する
ことを特徴とする画像処理装置。
【請求項１３】
画像データを符号化する画像処理装置の画像処理方法において、
前記画像データに対して過去に行われた符号化に関する情報を再利用するか否かを判断する第１の判断ステップと、
前記第１の判断ステップの処理により、前記過去の符号化の情報が再利用されないと判断された場合、所定の第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、
前記第１の判断ステップの処理により、前記過去の符号化に関する情報が再利用されると判断された場合、前記情報に含まれる量子化値が、量子化に用いられるか否かを判断する第２の判断ステップと、
前記第２の判断ステップの処理により、前記量子化値が量子化に用いられないと判断された場合、各成分が前記第１の量子化マトリクス以下の値を有する第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップと、
前記第２の判断ステップの処理により、前記量子化値が量子化に用いられると判断された場合、前記情報に含まれる第３の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第３の選択ステップと
を含むことを特徴とする画像処理方法。
【請求項１４】
画像データを符号化する処理をコンピュータに実行させるためのプログラムであって、
前記画像データに対して過去に行われた符号化に関する情報を再利用するか否かを判断する第１の判断ステップと、
前記第１の判断ステップの処理により、前記過去の符号化の情報が再利用されないと判断された場合、所定の第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、
前記第１の判断ステップの処理により、前記過去の符号化に関する情報が再利用されると判断された場合、前記情報に含まれる量子化値が、量子化に用いられるか否かを判断する第２の判断ステップと、
前記第２の判断ステップの処理により、前記量子化値が量子化に用いられないと判断された場合、各成分が前記第１の量子化マトリクス以下の値を有する第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップと、
前記第２の判断ステップの処理により、前記量子化値が量子化に用いられると判断された場合、前記情報に含まれる第３の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第３の選択ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１５】
画像データを符号化する処理をコンピュータに実行させるためのプログラムであって、
前記画像データに対して過去に行われた符号化に関する情報を再利用するか否かを判断する第１の判断ステップと、
前記第１の判断ステップの処理により、前記過去の符号化の情報が再利用されないと判断された場合、所定の第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、
前記第１の判断ステップの処理により、前記過去の符号化に関する情報が再利用されると判断された場合、前記情報に含まれる量子化値が、量子化に用いられるか否かを判断する第２の判断ステップと、
前記第２の判断ステップの処理により、前記量子化値が量子化に用いられないと判断された場合、各成分が前記第１の量子化マトリクス以下の値を有する第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップと、
前記第２の判断ステップの処理により、前記量子化値が量子化に用いられると判断された場合、前記情報に含まれる第３の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第３の選択ステップと
を含むことを特徴とするプログラム。
【請求項１６】
画像データを変換する情報処理装置において、
供給された前記画像データを完全に、または、不完全に復号する復号手段と、
前記復号手段により完全に復号されたベースバンドの前記画像データ、または、前記復号手段により不完全に復号されて生成された、中途段階まで符号化された前記画像データを、中途段階まで、または、完全に符号化する符号化手段と
を備え、
前記符号化手段は、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、
前記画像データを直交変換する直交変換手段と、
高域成分が、２５５未満の値で構成されている第１の量子化マトリクスを記憶する記憶手段と、
量子化に用いられる量子化値および量子化マトリクスを決定する決定手段と、
前記決定手段により決定された前記量子化値および前記量子化マトリクスを用いて、量子化を実行する量子化手段と、
を備え、
前記決定手段は、前記取得手段により取得された前記情報に含まれる前記量子化値が再利用可能である場合、前記取得手段により取得された前記情報に含まれる第２の量子化マトリクスを量子化に用いることを決定し、前記情報に含まれる前記量子化値が再利用可能ではない場合、前記記憶手段に記憶されている前記第１の量子化マトリクスを量子化に用いることを決定する
ことを特徴とする情報処理装置。
【請求項１７】
画像データを変換する情報処理装置において、
供給された前記画像データを完全に、または、不完全に復号する復号手段と、
前記復号手段により完全に、または、不完全に復号された前記画像データを、前記復号手段による復号の状態に対応する方法で符号化する符号化手段と
を備え、
前記符号化手段は、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、
前記画像データを直交変換する直交変換手段と、
量子化において、前記取得手段により取得された前記情報が再利用されない場合に用いられる第１の量子化マトリクス、および、各成分が前記第１の量子化マトリクス以下の値を有する第２の量子化マトリクスを記憶する記憶手段と、
量子化に用いられる量子化値および量子化マトリクスを決定する決定手段と前記決定手段により決定された前記量子化値および前記量子化マトリクスを用いて、量子化を実行する量子化手段と
を備え、
前記決定手段は、
前記情報が再利用され、かつ、前記取得手段により取得された前記情報に含まれる前記量子化値が再利用可能である場合、前記取得手段により取得された前記情報に含まれる第３の量子化マトリクスを量子化に用いることを決定し、
前記情報が再利用され、かつ、前記情報に含まれる前記量子化値が再利用可能ではない場合、前記記憶手段に記憶されている前記第２の量子化マトリクスを量子化に用いることを決定し、
前記情報が再利用されない場合、前記記憶手段に記憶されている前記第１の量子化マトリクスを量子化に用いることを決定する
ことを特徴とする情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラムに関し、特に、対応するデータに対して過去に施された符号化に関する情報を用いて再符号化することが可能なようになされている場合に用いて好適な、画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラムに関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。
【０００３】
画像信号が圧縮符号化される場合、生成されるビットストリームが、所定のビットレートになるように符号化が行われる。しかしながら、実運用上において、伝送路の都合により、ビットストリームのビットレートを変換する必要が生じることがある。
【０００４】
また、例えば、伝送された画像信号が、放送局において編集される場合、編集は秒単位で行われるので、フレームの画像情報は、他のフレームの画像情報から独立しているほうがよい。そこで、低いビットレート（例えば、３乃至９Ｍｂｐｓ）で転送しても画質が劣化しないように、情報が相関関係にあるフレームの集合であるＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）を構成するフレーム数が多いＬｏｎｇ  ＧＯＰと、高ビットレート（１８乃至５０Ｍｂｐｓ）で転送される、ＧＯＰを構成するフレーム数が少ないＳｈｏｒｔ  ＧＯＰとを、相互に変換する必要があった。
【０００５】
例えば、非圧縮のデータをＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータに符号化した後、フレーム編集することが可能なシステムについて、図１を用いて説明する。
【０００６】
ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）−ＡＳＩ（Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｓｅｒｉａｌ  Ｉｎｔｅｒｆａｃｅ）変換装置１は、供給されたＳＤＩ入力画像を、ＭＰＥＧのＬｏｎｇ  ＧＯＰ（ＡＳＩストリーム）となるように符号化し、符号化されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータを出力する。ＳＤＩとは、Ｐｏｉｎｔ  ｔｏ  Ｐｏｉｎｔの伝送を基本に考えた、非圧縮のデジタルビデオ・オーディオの伝送方式であり、ＡＮＳＩ（Ａｍｅｒｉｃａｎ  Ｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄｓ  Ｉｎｓｔｉｔｕｔｅ）／ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）２５９Ｍに規定されている。
【０００７】
ＡＳＩ−ＳＤＴＩ  ＣＰ（Ｓｅｒｉａｌ  Ｄａｔａ  Ｔｒａｎｓｐｏｒｔ  Ｉｎｔｅｒｆａｃｅ  Ｃｏｎｔｅｎｔｓ  Ｐａｃｋａｇｅ）変換装置２は、供給されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータを、復号部２１で一旦復号した後、符号化部２２において、全てイントラフレーム（Ａｌｌ  Ｉｎｔｒａ）となるように符号化し、符号化された全てイントラフレームのストリームデータ（ＳＤＴＩ  ＣＰストリーム）を、ＳＤＴＩ  ＣＰインタフェースのフレーム編集装置３に出力する。ＳＤＴＩ  ＣＰとは、Ｐｒｏ−ＭＰＥＧフォーラムの推進でＳＭＰＴＥ３２６Ｍとして標準化された、ＭＰＥＧデータをリアルタイムに伝送（同期転送）する伝送方式の世界標準規格である。
【０００８】
フレーム編集装置３にてフレーム編集されたストリームデータは、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置４に供給される。ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置４は、供給された全てイントラフレームのストリームデータを、復号部３１で一旦復号した後、符号化部３２において、ＭＰＥＧのＬｏｎｇ  ＧＯＰとなるように符号化し、符号化されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータ（ＡＳＩストリーム）を出力する。
【０００９】
また、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇ  ＧＯＰに符号化し、それを復号して低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰに再符号化することが可能なシステムについて、図２を用いて説明する。
【００１０】
Ｌｏｎｇ  ＧＯＰ符号化装置５１は、供給されたＳＤＩ入力画像を、復号部６１で一旦復号した後、符号化部６２において、高ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰとなるように符号化し、符号化されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。Ｌｏｎｇ  ＧＯＰ符号化装置５２は、供給された高ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰを、復号部７１で一旦復号した後、符号化部７２において、低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。
【００１１】
このように、画像情報に対する符号化および復号が繰り返された場合、符号化の度に使用される符号化パラメータが変化してしまうと、画像情報が劣化してしまう。この画像情報の劣化を防止するため、ビットストリームのピクチャ層のユーザデータエリアに挿入された符号化履歴情報を用いることにより、再符号化に伴う画像の劣化を抑制することができる技術がある（例えば、特許文献１参照）。
【００１２】
【特許文献１】
特開２０００−０５９７８８号公報
【００１３】
例えば、非圧縮のデータをＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータに符号化した後、フレーム編集を行うことが可能なシステムにおいて、符号化履歴情報を利用する場合について、図３を用いて説明する。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１４】
すなわち、ＡＳＩ−ＳＤＴＩ  ＣＰ変換装置１０１は、図１と同様のＳＤＩ−ＡＳＩ変換装置１により符号化されて生成された、ＭＰＥＧのＬｏｎｇ  ＧＯＰ（ＡＳＩストリーム）の供給を受ける。
【００１５】
ＭＰＥＧのＬｏｎｇ  ＧＯＰはそれぞれ符号化の素性の異なる３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成されるため、それを復号したビデオデータにも、フレームによってそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャの素性を持ったものが存在する。したがって、このビデオデータをＭＰＥＧのＬｏｎｇ  ＧＯＰで再符号化する場合、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、それぞれ別のピクチャタイプで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、ＩピクチャおよびＰピクチャより歪が多くなりやすいＢピクチャであったビデオデータをＩピクチャとして符号化してしまうと、その周辺のピクチャが、歪の多いＩピクチャを参照画像として予測符号化されてしまうため、画質が劣化してしまう。
【００１６】
このような再符号化による画質劣化を引き起こさないため、ＡＳＩ−ＳＤＴＩＣＰ変換装置１０１は、供給されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化するとき、過去に実行された符号化、すなわち、ＳＤＩ−ＡＳＩ変換装置１による符号化のピクチャタイプや量子化値などのパラメータを、全てイントラフレームのＳＤＴＩ−ＣＰストリーム上に、ＳＭＰＴＥ３２８Ｍのヒストリー情報（Ｈｉｓｔｏｒｙ  ｄａｔａ）として付加し、フレーム編集装置３に供給する。
【００１７】
フレーム編集装置３にてフレーム編集されたストリームデータは、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１０２に供給される。ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１０２は、供給された、ヒストリー情報つきの全てイントラフレームのストリームデータを、復号部１２１で復号する。符号化部１２２は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等の必要なパラメータを使用して、Ｌｏｎｇ  ＧＯＰに再符号化して出力する。
【００１８】
また、図２を用いて説明したように、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して低ビットレートのＭＰＥＧのＬｏｎｇＧＯＰに再符号化することが可能なシステムにおいて、再符号化のための画像劣化が発生しないようになされている場合について、図４を用いて説明する。なお、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１９】
すなわち、ＬｏｎｇＧＯＰ符号化装置５１により符号化されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリーム（ＡＳＩストリーム）データの供給を受けたＬｏｎｇＧＯＰ符号化装置１３１は、高ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部１４２に供給する。符号化部１４２は、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。
【００２０】
【発明が解決しようとする課題】
上述したように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等）を再利用して符号化することにより、画質劣化を防ぐことが可能である。しかしながら、図４を用いて説明したシステムのように、再符号化によりビットレートを低くするような場合、量子化値をそのまま利用するとビットレートを低くすることができないため、量子化値を再利用することができない。また、図３を用いて説明したシステムにおいて、例えば、編集点を含むストリームの符号化時のＶＢＶバッファ状態などによっては、量子化値を再利用して符号化を行うことができない場合がある。
【００２１】
このように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報を再利用して符号化するにあたって、ヒストリー情報、または、符号化パラメータに含まれる情報のうち、量子化値について再利用することができない場合、量子化値は、通常の符号化で用いるＴＭ５等のレート制御により決定される。すなわち、符号化に用いられる量子化値は、過去の符号化の量子化値とは異なってくる。
【００２２】
更に、過去に符号化が実行された符号化装置もしくはトランスコーダと、再符号化を行う符号化装置もしくはトランスコーダとが異なり、装置によってレート制御方法等が異なる場合、過去の符号化と次に実行される符号化において、量子化値が異なるものとなる可能性が高い。
【００２３】
再符号化で用いられる量子化値が、過去の符号化における量子化値と異なる場合、その差分によっては、画質劣化を引き起こしてしまう。例えば、過去の符号化における量子化値に対して２倍前後の量子化値の差分を有している場合、顕著な画質劣化を引き起こしてしまい、過去の符号化における量子化値に対して２倍以上の量子化値の差分を有している場合、より一層顕著な画質劣化を引き起こしてしまう。
【００２４】
この原因については、例えば、次にあげられるようなことが考えられる。
【００２５】
符号化するビデオデータが、ノイズや細かいテクスチャ等の高周波成分を多く含む場合、量子化しても０にならないＤＣＴ係数が高次まで広く分布する。例えば、イントラマクロブロックのうちの、ある高次の係数を量子化した結果が１であった場合を考える。再符号化において、この部分を２倍の量子化値で量子化すると、その結果は０．５となり、丸めにより再び１となる。更に、復号時に逆量子化されて、２倍の量子化値が乗算されるため、その係数値は、過去の符号化時の係数値の２倍となる。したがって、逆ＤＣＴしたときに、ビデオデータのノイズや細かいテクスチャ等の高周波成分が、過去の符号化時の入力ビデオデータに比べて強調されてしまう。
【００２６】
また、同様の部分に対して、再符号化において２倍を超える量子化値を用いて量子化が施された場合、その係数は０に丸められるので、解像度が落ちてしまう。このような場合、量子化計算を切捨てで行っている符号化装置においては、再符号化において用いられる量子化値が、過去の量子化値より僅かに大きくなるだけで、量子化結果が０となってしまうため、過去に１であるデータが、全て０となり、解像度が落ち、画像が劣化してしまう。
【００２７】
特に、過去の符号化でＩピクチャであった部分が、再びＩピクチャとして再符号化される場合には、このような高周波成分の強調や解像度落ちの画質劣化が引き起こされやすい。したがって、再符号化後のビデオデータにおいて、Ｉピクチャの部分のみで高周波成分が強調されてしまったり、解像度が落ちてしまうため、再生されるビデオデータのうち、Ｉピクチャに対応する部分のみが強調されて、フリッカーが発生してしまう。
【００２８】
ビットレートを小さくする場合、量子化値が大きくなりやすいために、上述した画質劣化が発生しやすい。また、ビットレートはそのままである場合であっても、再符号化時の入力ビデオデータが過去の符号化時の入力ビデオデータとは異なるものである場合、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのビット発生量割り振りに、差が発生してしまう。このような場合も、過去の符号化時と比較して、量子化値が異なるものとなる可能性があるため、過去の量子化値との差異の大きさによっては、画質劣化が発生してしまう。
【００２９】
本発明はこのような状況に鑑みてなされたものであり、過去の符号化におけるパラメータを再利用して符号化する場合において、量子化値を再利用できないときに、画質劣化が発生してしまうことを防ぐことができるようにするものである。
【００３０】
【課題を解決するための手段】
本発明の第１の画像処理装置は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、画像データを直交変換する直交変換手段と、高域成分が、２５５未満の値で構成されている第１の量子化マトリクスを記憶する記憶手段と、量子化に用いられる量子化値および量子化マトリクスを決定する決定手段と、決定手段により決定された量子化値および量子化マトリクスを用いて、量子化を実行する量子化手段とを備え、決定手段は、取得手段により取得された情報に含まれる量子化値が再利用可能である場合、取得手段により取得された情報に含まれる第２の量子化マトリクスを量子化に用いることを決定し、情報に含まれる量子化値が再利用可能ではない場合、記憶手段に記憶されている第１の量子化マトリクスを量子化に用いることを決定することを特徴とする。
【００３１】
第１の量子化マトリクスは、高域成分が、ＤＣ成分の２倍以下の値で構成されているものとすることができる。
【００３２】
第１の量子化マトリクスは、高域成分が、３２以下の値で構成されているものとすることができる。
【００３３】
量子化手段により量子化された量子化係数データを符号化する符号化手段を更に備えさせるようにすることができる。
【００３４】
記憶手段に記憶されている第１の量子化マトリクスは、イントラマクロブロックの量子化に用いられる量子化マトリクスを含むものとすることができる。
【００３５】
記憶手段に記憶されている第１の量子化マトリクスは、イントラマクロブロックの量子化に用いられる第３の量子化マトリクスおよび非イントラマクロブロックの量子化に用いられる第４の量子化マトリクスを含むものとすることができる。
【００３６】
記憶手段には、量子化において、取得手段により取得された情報が再利用されない場合に用いられる第３の量子化マトリクスを更に記憶させるようにすることができ、決定手段には、取得手段により取得された情報が再利用されるか否かを更に判断させるようにすることができ、情報が再利用され、かつ、取得手段により取得された情報に含まれる量子化値が再利用可能である場合、決定手段には、取得手段により取得された情報に含まれる第２の量子化マトリクスを量子化に用いることを決定させるようにすることができ、情報が再利用され、かつ、情報に含まれる量子化値が再利用可能ではない場合、決定手段には、記憶手段に記憶されている第１の量子化マトリクスを量子化に用いることを決定させるようにすることができ、情報が再利用されない場合、決定手段には、記憶手段に記憶されている第３の量子化マトリクスを量子化に用いることを決定させるようにすることができる。
【００３７】
記憶手段により記憶されている第１の量子化マトリクスのＡＣ成分は、全て同一の値であるものとすることができる。
【００３８】
本発明の第１の画像処理方法は、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が、量子化に用いられるか否かを判断する判断ステップと、判断ステップの処理により、量子化値が量子化に用いられないと判断された場合、高域成分が、２５５未満の値で構成されている第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、判断ステップの処理により、量子化値が量子化に用いられると判断された場合、情報に含まれる第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップとを含むことを特徴とする。
【００３９】
本発明の第１の記録媒体に記録されているプログラムは、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が、量子化に用いられるか否かを判断する判断ステップと、判断ステップの処理により、量子化値が量子化に用いられないと判断された場合、高域成分が、２５５未満の値で構成されている第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、判断ステップの処理により、量子化値が量子化に用いられると判断された場合、情報に含まれる第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップとを含むことを特徴とする。
【００４０】
本発明の第１のプログラムは、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が、量子化に用いられるか否かを判断する判断ステップと、判断ステップの処理により、量子化値が量子化に用いられないと判断された場合、高域成分が、２５５未満の値で構成されている第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、判断ステップの処理により、量子化値が量子化に用いられると判断された場合、情報に含まれる第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップとを含むことを特徴とする。
【００４１】
本発明の第１の画像処理装置および画像処理方法、並びに、プログラムにおいては、画像データに対して過去に行われた符号化に関する情報が取得されて、この情報に含まれる量子化値が、量子化に用いられるか否かが判断され、情報に含まれる量子化値が量子化に用いられないと判断された場合、高域成分が、２５５未満の値で構成されている第１の量子化マトリクスが量子化に用いられ、情報に含まれる量子化値が量子化に用いられると判断された場合、情報に含まれる第２の量子化マトリクスが量子化に用いられる。
【００４２】
本発明の第２の画像処理装置は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、画像データを直交変換する直交変換手段と、量子化において、取得手段により取得された情報が再利用されない場合に用いられる第１の量子化マトリクス、および、各成分が第１の量子化マトリクス以下の値を有する第２の量子化マトリクスを記憶する記憶手段と、量子化に用いられる量子化値および量子化マトリクスを決定する決定手段と、決定手段により決定された量子化値および量子化マトリクスを用いて、量子化を実行する量子化手段とを備え、決定手段は、情報が再利用され、かつ、取得手段により取得された情報に含まれる量子化値が再利用可能である場合、取得手段により取得された情報に含まれる第３の量子化マトリクスを量子化に用いることを決定し、情報が再利用され、かつ、情報に含まれる量子化値が再利用可能ではない場合、記憶手段に記憶されている第２の量子化マトリクスを量子化に用いることを決定し、情報が再利用されない場合、記憶手段に記憶されている第１の量子化マトリクスを量子化に用いることを決定することを特徴とする。
【００４３】
本発明の第２の画像処理方法は、画像データに対して過去に行われた符号化に関する情報を再利用するか否かを判断する第１の判断ステップと、第１の判断ステップの処理により、過去の符号化の情報が再利用されないと判断された場合、所定の第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、第１の判断ステップの処理により、過去の符号化に関する情報が再利用されると判断された場合、情報に含まれる量子化値が、量子化に用いられるか否かを判断する第２の判断ステップと、第２の判断ステップの処理により、量子化値が量子化に用いられないと判断された場合、各成分が第１の量子化マトリクス以下の値を有する第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップと、第２の判断ステップの処理により、量子化値が量子化に用いられると判断された場合、情報に含まれる第３の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第３の選択ステップとを含むことを特徴とする。
【００４４】
本発明の第２の記録媒体に記録されているプログラムは、画像データに対して過去に行われた符号化に関する情報を再利用するか否かを判断する第１の判断ステップと、第１の判断ステップの処理により、過去の符号化の情報が再利用されないと判断された場合、所定の第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、第１の判断ステップの処理により、過去の符号化に関する情報が再利用されると判断された場合、情報に含まれる量子化値が、量子化に用いられるか否かを判断する第２の判断ステップと、第２の判断ステップの処理により、量子化値が量子化に用いられないと判断された場合、各成分が第１の量子化マトリクス以下の値を有する第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップと、第２の判断ステップの処理により、量子化値が量子化に用いられると判断された場合、情報に含まれる第３の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第３の選択ステップとを含むことを特徴とする。
【００４５】
本発明の第２のプログラムは、画像データに対して過去に行われた符号化に関する情報を再利用するか否かを判断する第１の判断ステップと、第１の判断ステップの処理により、過去の符号化の情報が再利用されないと判断された場合、所定の第１の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第１の選択ステップと、第１の判断ステップの処理により、過去の符号化に関する情報が再利用されると判断された場合、情報に含まれる量子化値が、量子化に用いられるか否かを判断する第２の判断ステップと、第２の判断ステップの処理により、量子化値が量子化に用いられないと判断された場合、各成分が第１の量子化マトリクス以下の値を有する第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップと、第２の判断ステップの処理により、量子化値が量子化に用いられると判断された場合、情報に含まれる第３の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第３の選択ステップとを含むことを特徴とする。
【００４６】
本発明の第２の画像処理装置および画像処理方法、並びにプログラムにおいては、画像データに対して過去に行われた符号化に関する情報が取得されて、再利用されるか否かが判断され、過去の符号化の情報が再利用されないと判断された場合、所定の第１の量子化マトリクスが、量子化に用いる量子化マトリクスとして選択され、過去の符号化に関する情報が再利用されると判断された場合、情報に含まれる量子化値が、量子化に用いられるか否かが判断され、量子化値が量子化に用いられないと判断された場合、各成分が第１の量子化マトリクス以下の値を有する第２の量子化マトリクスが、量子化に用いる量子化マトリクスとして選択され、量子化値が量子化に用いられると判断された場合、情報に含まれる第３の量子化マトリクスが、量子化に用いる量子化マトリクスとして選択される。
【００４７】
本発明の第１の情報処理装置は、供給された画像データを完全に、または不完全に復号する復号手段と、復号手段により完全に復号されたベースバンドの画像データ、または、復号手段により不完全に復号されて生成された、中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する符号化手段とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、画像データを直交変換する直交変換手段と、高域成分が、２５５未満の値で構成されている第１の量子化マトリクスを記憶する記憶手段と、量子化に用いられる量子化値および量子化マトリクスを決定する決定手段と、決定手段により決定された量子化値および量子化マトリクスを用いて、量子化を実行する量子化手段とを備え、決定手段は、取得手段により取得された情報に含まれる量子化値が再利用可能である場合、取得手段により取得された情報に含まれる第２の量子化マトリクスを量子化に用いることを決定し、情報に含まれる量子化値が再利用可能ではない場合、記憶手段に記憶されている第１の量子化マトリクスを量子化に用いることを決定することを特徴とする。
【００４８】
本発明の第１の情報処理装置においては、供給された画像データが完全または不完全に復号され、完全に復号されたベースバンドの画像データ、または、中途段階まで符号化された前記画像データが、中途段階まで、または、完全に符号化され、符号化において、画像データに対して過去に行われた符号化に関する情報が取得され、画像データが直交変換され、高域成分が、２５５未満の値で構成されている第１の量子化マトリクスが記憶され、量子化に用いられる量子化値および量子化マトリクスが決定され、決定された量子化値および量子化マトリクスが用いられて、量子化が実行され、量子化値および量子化マトリクスの決定においては、取得された情報に含まれる量子化値が再利用可能である場合、取得された情報に含まれる第２の量子化マトリクスを量子化に用いることが決定され、情報に含まれる量子化値が再利用可能ではない場合、記憶されている第１の量子化マトリクスを量子化に用いることが決定される。
【００４９】
本発明の第２の情報処理装置は、供給された画像データを完全に、または、不完全に復号する復号手段と、復号手段により完全に、または、不完全に復号された画像データを、復号手段による復号の状態に対応する方法で符号化する符号化手段とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、画像データを直交変換する直交変換手段と、量子化において、取得手段により取得された情報が再利用されない場合に用いられる第１の量子化マトリクス、および、各成分が第１の量子化マトリクス以下の値を有する第２の量子化マトリクスを記憶する記憶手段と、量子化に用いられる量子化値および量子化マトリクスを決定する決定手段と、決定手段により決定された量子化値および量子化マトリクスを用いて、量子化を実行する量子化手段とを備え、決定手段は、情報が再利用され、かつ、取得手段により取得された情報に含まれる量子化値が再利用可能である場合、取得手段により取得された情報に含まれる第３の量子化マトリクスを量子化に用いることを決定し、情報が再利用され、かつ、情報に含まれる量子化値が再利用可能ではない場合、記憶手段に記憶されている第２の量子化マトリクスを量子化に用いることを決定し、情報が再利用されない場合、記憶手段に記憶されている第１の量子化マトリクスを量子化に用いることを決定することを特徴とする。
【００５０】
本発明の第２の情報処理装置においては、供給された画像データが完全または不完全に復号され、復号の状態に対応する方法で画像データが符号化され、符号化において、画像データに対して過去に行われた符号化に関する情報が取得され、画像データが直交変換され、量子化において、取得された情報が再利用されない場合に用いられる第１の量子化マトリクス、および、各成分が第１の量子化マトリクス以下の値を有する第２の量子化マトリクスが記憶され、量子化に用いられる量子化値および量子化マトリクスが決定され、決定された量子化値および量子化マトリクスを用いて、量子化が実行され、情報が再利用され、かつ、取得手段により取得された情報に含まれる量子化値が再利用可能である場合、取得された情報に含まれる第３の量子化マトリクスを量子化に用いることが決定され、情報が再利用され、かつ、情報に含まれる量子化値が再利用可能ではない場合、記憶されている第２の量子化マトリクスを量子化に用いることが決定され、情報が再利用されない場合、記憶されている第１の量子化マトリクスを量子化に用いることが決定される。
【００５１】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段またはステップなどの後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。ただし、もちろんこの記載は、各手段またはステップなどを記載したものに限定することを意味するものではない。
【００５２】
請求項１に記載の画像処理装置（例えば、図５の符号化部１６１、図９の符号化部２１１、もしくは、図１５の符号化装置２５２）は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図６のヒストリー抽出部１７１、または、図１０のパラメータ入力部２２１）と、画像データを直交変換する直交変換手段（例えば、図６または図１０のＤＣＴ部１７５）と、高域成分が、２５５未満の値で構成されている第１の量子化マトリクス（例えば、図８または図１３の量子化マトリクス）を記憶する記憶手段（例えば、図６または図１０のメモリ１８５）と、量子化に用いられる量子化値および量子化マトリクスを決定する決定手段（例えば、図６または図１０のレート設定部１７７）と、決定手段により決定された量子化値および量子化マトリクスを用いて、量子化を実行する量子化手段（例えば、図６、または、図１０の量子化部１７６）とを備え、決定手段は、取得手段により取得された情報に含まれる量子化値が再利用可能である場合、取得手段により取得された情報に含まれる第２の量子化マトリクスを量子化に用いることを決定し、情報に含まれる量子化値が再利用可能ではない場合、記憶手段に記憶されている第１の量子化マトリクスを量子化に用いることを決定することを特徴とする。
【００５３】
請求項４に記載の画像処理装置は、量子化手段により量子化された量子化係数データを符号化する符号化手段（例えば、図６、または、図１０のＶＬＣ部１７８）を更に備えることを特徴とする。
【００５４】
請求項７に記載の画像処理装置は、記憶手段が、量子化において、取得手段により取得された情報が再利用されない場合に用いられる第３の量子化マトリクス（例えば、図７または図１２の量子化マトリクス）を更に記憶し、決定手段は、取得手段により取得された情報が再利用されるか否かを更に判断し、情報が再利用され、かつ、取得手段により取得された情報に含まれる量子化値が再利用可能である場合、決定手段は、取得手段により取得された情報に含まれる第２の量子化マトリクスを量子化に用いることを決定し、情報が再利用され、かつ、情報に含まれる量子化値が再利用可能ではない場合、決定手段は、記憶手段に記憶されている第１の量子化マトリクスを量子化に用いることを決定し、情報が再利用されない場合、決定手段は、記憶手段に記憶されている第３の量子化マトリクスを量子化に用いることを決定することを特徴とする。
【００５５】
請求項９に記載の画像処理方法、請求項１０に記載の記録媒体に記録されているプログラム、および、請求項１１に記載のプログラムは、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）に含まれる量子化値が、量子化に用いられるか否かを判断する判断ステップ（例えば、図１１のステップＳ３の処理、または、図１４のステップＳ２３の処理）と、判断ステップの処理により、量子化値が量子化に用いられないと判断された場合、高域成分が、２５５未満の値で構成されている第１の量子化マトリクス（例えば、図８または図１３の量子化マトリクス）を、量子化に用いる量子化マトリクスとして選択する第１の選択ステップ（例えば、図１１のステップＳ５の処理、または図１４のステップＳ２５の処理）と、判断ステップの処理により、量子化値が量子化に用いられると判断された場合、情報に含まれる第２の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第２の選択ステップ（例えば、図１１のステップＳ４の処理、または図１４のステップＳ２４の処理）とを含むことを特徴とする。
【００５６】
請求項１２に記載の画像処理装置（例えば、図５の符号化部１６１、図９の符号化部２１１、もしくは、図１５の符号化装置２５２、もしくは、図１５のトランスコーダ２６１）は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図６のヒストリー抽出部１７１、または、図１０のパラメータ入力部２２１）と、画像データを直交変換する直交変換手段（例えば、図６または図１０のＤＣＴ部１７５）と、量子化において、取得手段により取得された情報が再利用されない場合に用いられる第１の量子化マトリクス（例えば、図７または図１２の量子化マトリクス）、および、各成分が第１の量子化マトリクス以下の値を有する第２の量子化マトリクス（例えば、図８または図１３の量子化マトリクス）を記憶する記憶手段（例えば、図６または図１０のメモリ１８５）と、量子化に用いられる量子化値および量子化マトリクスを決定する決定手段（例えば、図６または図１０のレート設定部１７７）と、決定手段により決定された量子化値および量子化マトリクスを用いて、量子化を実行する量子化手段（例えば、図６、または、図１０の量子化部１７６）とを備え、決定手段は、情報が再利用され、かつ、取得手段により取得された情報に含まれる量子化値が再利用可能である場合、取得手段により取得された情報に含まれる第３の量子化マトリクスを量子化に用いることを決定し、情報が再利用され、かつ、情報に含まれる量子化値が再利用可能ではない場合、記憶手段に記憶されている第２の量子化マトリクスを量子化に用いることを決定し、情報が再利用されない場合、記憶手段に記憶されている第１の量子化マトリクスを量子化に用いることを決定することを特徴とする。
【００５７】
請求項１３に記載の画像処理方法、請求項１４に記載の記録媒体に記録されているプログラム、および、請求項１５に記載のプログラムは、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を再利用するか否かを判断する第１の判断ステップ（例えば、図１１のステップＳ１の処理、または、図１４のステップＳ２１の処理）と、第１の判断ステップの処理により、過去の符号化の情報が再利用されないと判断された場合、所定の第１の量子化マトリクス（例えば、図７または図１２の量子化マトリクス）を、量子化に用いる量子化マトリクスとして選択する第１の選択ステップ（例えば、図１１のステップＳ２の処理、または、図１４のステップＳ２２の処理）と、第１の判断ステップの処理により、過去の符号化に関する情報が再利用されると判断された場合、情報に含まれる量子化値が、量子化に用いられるか否かを判断する第２の判断ステップ（例えば、図１１のステップＳ３の処理、または、図１４のステップＳ２３の処理）と、第２の判断ステップの処理により、量子化値が量子化に用いられないと判断された場合、各成分が第１の量子化マトリクス以下の値を有する第２の量子化マトリクス（例えば、図８または図１３の量子化マトリクス）を、量子化に用いる量子化マトリクスとして選択する第２の選択ステップ（例えば、図１１のステップＳ５の処理、または図１４のステップＳ２５の処理）と、第２の判断ステップの処理により、量子化値が量子化に用いられると判断された場合、情報に含まれる第３の量子化マトリクスを、量子化に用いる量子化マトリクスとして選択する第３の選択ステップ（例えば、図１１のステップＳ４の処理、または図１４のステップＳ２４の処理）とを含むことを特徴とする。
【００５８】
請求項１６に記載の情報処理装置（例えば、図５の符号化部１６１、図９の符号化部２１１、もしくは、図１５の符号化装置２５２、もしくは、図１５のトランスコーダ２６１）は、供給された画像データを完全または不完全に復号する復号手段（例えば、図５の復号部１２１、図９の復号部１４１、もしくは、図１５の復号装置２５１）と、復号手段により完全にまたは不完全に復号された画像データを、前記復号手段による復号の状態に対応する方法で符号化する符号化手段（例えば、図５の符号化部１６１、図９の符号化部２１１、もしくは、図１５の符号化装置２５２）とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図６のヒストリー抽出部１７１、または、図１０のパラメータ入力部２２１）と、画像データを直交変換する直交変換手段（例えば、図６または図１０のＤＣＴ部１７５）と、高域成分が、２５５未満の値で構成されている第１の量子化マトリクス（例えば、図８または図１３の量子化マトリクス）を記憶する記憶手段（例えば、図６または図１０のメモリ１８５）と、量子化に用いられる量子化値および量子化マトリクスを決定する決定手段（例えば、図６または図１０のレート設定部１７７）と、決定手段により決定された量子化値および量子化マトリクスを用いて、量子化を実行する量子化手段（例えば、図６、または、図１０の量子化部１７６）とを備え、決定手段は、取得手段により取得された情報に含まれる量子化値が再利用可能である場合、取得手段により取得された情報に含まれる第２の量子化マトリクスを量子化に用いることを決定し、情報に含まれる量子化値が再利用可能ではない場合、記憶手段に記憶されている第１の量子化マトリクスを量子化に用いることを決定することを特徴とする。
【００５９】
請求項１７に記載の情報処理装置（例えば、図５のＳＤＩＴ  ＣＰ−ＡＳＩ変換装置１５１、もしくは、図９のＬｏｎｇ  ＧＯＰ符号化装置２０１）は、供給された画像データを完全または不完全に復号する復号手段（例えば、図５の復号部１２１、図９の復号部１４１、もしくは、図１５の復号装置２５１）と、復号手段により完全にまたは不完全に復号された画像データを、前記復号手段による復号の状態に対応する方法で符号化する符号化手段（例えば、図５の符号化部１６１、図９の符号化部２１１、もしくは、図１５の符号化装置２５２）とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図６のヒストリー抽出部１７１、または、図１０のパラメータ入力部２２１）と、画像データを直交変換する直交変換手段（例えば、図６または図１０のＤＣＴ部１７５）と、量子化において、取得手段により取得された情報が再利用されない場合に用いられる第１の量子化マトリクス（例えば、図７または図１２の量子化マトリクス）、および、各成分が第１の量子化マトリクス以下の値を有する第２の量子化マトリクス（例えば、図８または図１３の量子化マトリクス）を記憶する記憶手段（例えば、図６または図１０のメモリ１８５）と、量子化に用いられる量子化値および量子化マトリクスを決定する決定手段（例えば、図６または図１０のレート設定部１７７）と、決定手段により決定された量子化値および量子化マトリクスを用いて、量子化を実行する量子化手段（例えば、図６、または、図１０の量子化部１７６）とを備え、決定手段は、情報が再利用され、かつ、取得手段により取得された情報に含まれる量子化値が再利用可能である場合、取得手段により取得された情報に含まれる第３の量子化マトリクスを量子化に用いることを決定し、情報が再利用され、かつ、情報に含まれる量子化値が再利用可能ではない場合、記憶手段に記憶されている第２の量子化マトリクスを量子化に用いることを決定し、情報が再利用されない場合、記憶手段に記憶されている第１の量子化マトリクスを量子化に用いることを決定することを特徴とする。
【００６０】
以下、図を参照して、本発明の実施の形態について説明する。
【００６１】
図５は、本発明を適用した、非圧縮のデータをＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータに符号化した後、フレーム編集することが可能なシステムの構成を示すブロックである。
【００６２】
なお、図３を用いて説明した従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、本発明を適用した、非圧縮のデータをＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータに符号化した後、フレーム編集することが可能なシステムにおいては、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１０２に代わって、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１５１が設けられているほかは、図３を用いて説明した従来の場合と基本的に同様に構成されており、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１５１は、符号化部１２２に代わって、量子化値が再利用できるか否かに基づいて、最適な量子化マトリクスを選択して量子化処理を実行することが可能な符号化部１６１が設けられているほかは、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１０２と基本的に同様に構成されている。
【００６３】
ＡＳＩ−ＳＤＴＩ  ＣＰ変換装置１０１は、ＳＤＩ−ＡＳＩ変換装置１により符号化されて生成された、ＭＰＥＧのＬｏｎｇ  ＧＯＰ（ＡＳＩストリーム）の供給を受ける。
【００６４】
ＭＰＥＧのＬｏｎｇＧＯＰは、３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成される。ＡＳＩ−ＳＤＴＩ  ＣＰ変換装置１０１は、供給されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化する場合、その後の処理において、これらのストリームデータがＬｏｎｇＧＯＰで再符号化されるにあたって、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、別のピクチャタイプで符号化されてしまうことを防ぐため、過去に実行された符号化、すなわち、ＳＤＩ−ＡＳＩ変換装置１による符号化のピクチャタイプや量子化値などのパラメータを、ＳＭＰＴＥ３２８Ｍのヒストリー情報（Ｈｉｓｔｏｒｙ  ｄａｔａ）として、全てイントラフレームのＳＤＴＩ−ＣＰストリーム上に付加し、フレーム編集装置３に供給する。
【００６５】
フレーム編集装置３にてフレーム編集された、ヒストリー情報付のストリームデータは、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１５１に供給される。ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１５１は、供給された、ヒストリー情報付の全てイントラフレームのストリームデータを、復号部１２１で復号する。符号化部１６１は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等のパラメータを、必要に応じて使用して、ＬｏｎｇＧＯＰに再符号化して出力する。
【００６６】
図６は、符号化部１６１の構成を示すブロック図である。
【００６７】
ヒストリー抽出部１７１は、復号部１２１により復号された、ＳＭＰＴＥ３２８Ｍのヒストリー情報付のＳＤＩＴ  ＣＰストリームから、ヒストリー情報を抽出して、レート設定部１７７に供給するとともに、映像ストリームを映像並べ替え部１７２に供給する。ヒストリー情報には、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなど、過去に実行された符号化に関する情報が含まれている。
【００６８】
映像並べ替え部１７２は、順次入力される画像データの各フレーム画像を、必要に応じて、並べ替えたり、画像データの各フレーム画像を、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割したマクロブロックデータを生成して、演算部１７３、および、動きベクトル検出部１７４に供給する。
【００６９】
動きベクトル検出部１７４は、マクロブロックデータの入力を受け、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ１８３に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部１８２に送出する。
【００７０】
演算部１７３は、映像並べ替え部１７２から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいた動き補償を行う。具体的には、演算部１７３は、Ｉピクチャに対してはイントラモードで動き補償を行い、Ｐピクチャに対しては、順方向予測モードで動き補償を行い、Ｂピクチャに対しては、双方向予測モードで動き補償を行うようになされている。
【００７１】
ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法であり、双方向予測モードとは、符号化対象となるフレーム画像と、過去と将来の参照画像との予測残差を伝送データとする方法である。
【００７２】
まず、マクロブロックデータがＩピクチャであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部１７３は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ  ：離散コサイン変換）部１７５に送出する。ＤＣＴ部１７５は、入力された演算データに対し、直交変換であるＤＣＴ変換処理を行うことによりＤＣＴ係数化し、これをＤＣＴ係数データとして、量子化部１７６に送出する。
【００７３】
量子化部１７６は、レート設定部１７７から供給される量子化値Ｑおよび量子化マトリクスに基づいて、入力されたＤＣＴ係数データに対して量子化処理を行い、量子化ＤＣＴ係数としてＶＬＣ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅ；可変長符号化）部１７８および逆量子化部１７９に送出する。量子化部１７６は、次の式（１）を用いて、量子化ＤＣＴ係数Ｓｑを算出する。
【００７４】
Ｓｑ＝（（３２×Ｓ）／ｑ）／（２×Ｑ）    ・・・（１）
【００７５】
ただし、式（１）においては、量子化前のＤＣＴ係数成分値をＳとし、量子化マトリクスの成分値をｑとし、乗算の結果は、四捨五入するものとする。
【００７６】
逆量子化部１７９に送出された量子化ＤＣＴ係数データは、量子化部１７６と同じ量子化ステップサイズによる逆量子化処理を受け、ＤＣＴ係数データとして、逆ＤＣＴ部１８０に送出される。逆量子化部１７９は、次の式（２）を用いて、逆量子化ＤＣＴ係数Ｓｉｑを算出する。
【００７７】
Ｓｉｑ＝（２×Ｓｑ×ｑ×Ｑ）／３２    ・・・（２）
【００７８】
逆ＤＣＴ部１８０は、供給されたＤＣＴ係数データに逆ＤＣＴ処理を施し、生成された演算データは、演算部１８１に送出され、参照画像データとしてフレームメモリ１８３に記憶される。
【００７９】
そして、演算部１７３は、マクロブロックデータがＰピクチャであった場合、マクロブロックデータについて、順方向予測モードよる動き補償処理を行い、Ｂピクチャであった場合、マクロブロックデータについて、双方向予測モードによる動き補償処理を行う。
【００８０】
動き補償部１８２は、フレームメモリ１８３に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データ、または、双方向予測画像データを算出する。演算部１７３は、マクロブロックデータについて、動き補償部１８２より供給される順方向予測画像データ、または、双方向予測画像データを用いて減算処理を実行する。
【００８１】
すなわち、順方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００８２】
演算部１８１には、動き補償部１８２より順方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００８３】
また、双方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを双方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、双方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００８４】
演算部１８１には、動き補償部１８２より双方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、双方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００８５】
かくして、符号化部１６１に入力された画像データは、動き補償予測処理、ＤＣＴ処理および量子化処理を受け、量子化ＤＣＴ係数データとして、ＶＬＣ部１７８に供給される。ＶＬＣ部１７８は、量子化ＤＣＴ係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ１８４に送出する。バッファ１８４は、供給された可変長符号化データをバッファリングした後、出力する。
【００８６】
レート設定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、蓄積状態を表す占有量情報、または、ヒストリー抽出部１７１から供給されるヒストリー情報を基に量子化ステップサイズを決定するようになされている。
【００８７】
このとき、レート設定部１７７は、ヒストリー抽出部１７１から供給されるヒストリー情報に含まれている量子化マトリクス、または、メモリ１８５に記憶されている複数の量子化マトリクスのうち、後述する符号化の条件に合致するものを選択するようになされている。
【００８８】
メモリ１８５には、図７に示される、ＭＰＥＧ２においてデフォルトとされているイントラ量子化マトリクス、および、非イントラ（インター）量子化マトリクス（図１２）以外に、図８に示される、過去の符号化の情報のうちの量子化値が再利用できない場合に用いられるイントラ量子化マトリクスが記憶されている。
【００８９】
前述したように、過去の符号化の情報を用いて再符号化する場合に、例えば、再符号化によりビットレートが低くされたり、編集点を含むストリームの符号化時のＶＢＶバッファの状態によっては、過去の符号化における量子化値を再利用することができない場合がある。過去の符号化における量子化値を再利用できないことにより発生する画質劣化を防ぐためには、ＡＣ成分の値を小さくして、その周波数成分を保護することができるイントラ量子化マトリクスを再符号化に用いるようにすればよい。
【００９０】
図７に、ＭＰＥＧ２においてデフォルトとされているイントラ量子化マトリクスを示す。図７のイントラ量子化マトリクスは、高域のＡＣ成分ほど大きな値となるように設定されている。これは、人間の視覚が、高域成分の画像の劣化に鈍感であるという特性を利用して、高域成分をより大きな値で除算することにより、画像の見た目を劣化させることなく、データを大きく削減することができるようにするためである。量子化前のＤＣＴ係数は、ＤＣ成分が大きな値となり、ＡＣ成分は小さな値となる傾向があるため、図７に示されるような、高域になるほど大きな値をとる量子化マトリクスを用いることにより、量子化後の係数は、高域成分がほとんど０となるような場合が多い。なお、ＭＰＥＧ２において、量子化マトリクスの各成分がとりえる値の最高値は２５５である。
【００９１】
しかしながら、ビデオデータがノイズや細かいテクスチャ等の高周波成分を多く含む場合、量子化前のＤＣＴ係数の高域成分にも係数が残り、その値が１であるような場合が多く発生する。このようなビデオデータが、復号されて再符号化される場合、過去の符号化と同一の量子化マトリクスを用いる可能であり、かつ、量子化値も過去の符号化と同一であれば、量子化後の係数も１となって、元の値に再び復号することができる。しかしながら、上述したように、量子化値が、例えば、過去の符号化の２倍程度になってしまうと、再符号化後の復号後の値が、過去の符号化の前の値と大きく異なってしまう場合が発生する。
【００９２】
このようにして、多くの成分において、値の変動が発生してしまうことにより、画質が著しく劣化してしまう。更に、このようなビデオデータに対して、再符号化が繰り返されてしまうと、同様の復号値の変動も繰り返されてしまうため、再符号化が施される毎に、更に画質が劣化してしまう。
【００９３】
そこで、高域のＡＣ成分においても、大きな値が設定されておらず、高域成分が低域成分と同一か、略同等の値で構成されている量子化マトリクスを使用することにより、再符号化時に、量子化値で除算する直前の値をある程度大きな値とすることができるので、上述した量子化値の変動による復号値の変動の影響を受けないようにすることができる。例えば、図８に示されるように、ＭＰＥＧ２の規格で「８」に定められているＤＣ成分以外の全ての成分を、ＤＣ成分の２倍の値である１６とした量子化マトリクスを使用することにより、上述した量子化値の変動による復号値の変動の影響を受けないようにすることができる。
【００９４】
図７に示される、ＭＰＥＧ２においてデフォルトとされているイントラ量子化マトリクスが用いられた場合、過去の符号化時において量子化前のＤＣＴ係数成分値が９であり、対応する成分の量子化マトリクス値がｑ＝３４であり、量子化値がＱ＝４であれば、上述した式（１）より、量子化結果は、Ｓｑ＝（（３２×９）／３４）／（２×４）＝１となり、逆量子化すると、上述した式（２）より、Ｓｉｑ＝（２×１×３４×４）／３２＝９となる。
【００９５】
このとき、再符号化時に量子化値Ｑが、Ｑ＝４から、２倍のＱ＝８になった場合、量子化結果は、同様に、式（１）から、Ｓｑ＝（（３２×９）／３４）／（２×８）＝１となり、逆量子化すると、式（２）から、Ｓｉｑ＝（２×１×３４×８）／３２＝１７となり、量子化前のＤＣＴ係数成分値である９と、大きく異なる値となる。
【００９６】
これに対して、例えば、図８の量子化マトリクスを再符号化に用いた場合、対応する成分の量子化マトリクス値がｑ＝１６であるため、量子化値Ｑが、Ｑ＝４から、２倍のＱ＝８になったとしても、再符号化時の量子化結果は、式（１）より、Ｓｑ＝（（３２×９）／１６）／（２×８）＝１となり、逆量子化すると、式（２）より、Ｓｉｑ＝（２×１×１６×８）／３２＝８となる。すなわち、図８の量子化マトリクスを再符号化に用いた場合には、量子化前のＤＣＴ係数成分値である９と、大きく変わらない逆量子化結果を得ることができるため、量子化値の変動による復号値の変動に対して、影響を受けにくくなることが分かる。
【００９７】
したがって、量子化値を再利用できない場合には、図８に示されるような、高域のＡＣ成分においても大きな値が設定されていない（高域のＡＣ成分の値が、ＤＣ成分の２倍以下に制限され、低域のＡＣ成分の値と同一か、または、略等しい値となる）イントラ量子化マトリクスを使用することにより、再符号化後の画質劣化を抑制できる。
【００９８】
ここでは、図８のイントラ量子化マトリクスを、高域のＡＣ成分においても、大きな値が設定されておらず、高域成分が低域成分と同一か、略同等の値で構成されているイントラ量子化マトリクスの例として説明したが、本発明に用いられるイントラ量子化マトリクスは、図８のイントラ量子化マトリクスに限定されるものではなく、図８のイントラ量子化マトリクスのように、ＡＣ成分が全て同一の値でなくても、例えば、高域成分が、ＤＣ成分の２倍以下となるような、充分小さな値が用いられていればよい。
【００９９】
レート設定部１７７は、図示しない操作入力部から供給されるユーザの操作入力を示す信号、または、ヒストリー抽出部１７１からヒストリー情報が供給されたか否かを基に、ヒストリー情報を用いて符号化を行うことが可能か否かを判断する。ヒストリー抽出部１７１から供給されるヒストリー情報には、上述したように、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなどが含まれる。
【０１００】
レート設定部１７７は、ヒストリー情報を用いて符号化を行うことができないと判断した場合、通常の符号化に用いられる、図７を用いて説明したイントラ量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給する。ヒストリー情報を用いて符号化を行うことができないと判断した場合の量子化値Ｑの決定方法については後述する。
【０１０１】
レート設定部１７７は、ヒストリー情報を用いて符号化を行うことが可能であると判断した場合、ヒストリー抽出部１７１から供給されるヒストリー情報を基に、量子化値を再利用することが可能か否かを判断する。
【０１０２】
ここで、量子化値を再利用することが可能であるか否かは、例えば、量子化値を再利用できるか否かを、ユーザによって予め設定可能なようにしても良いし、ヒストリー情報の中に、量子化値を再利用することが可能であるか否の情報が記載されているものとしても良いし、ヒストリー情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件により決定されるようにしても良い。
【０１０３】
そして、量子化値を再利用することが可能であると判断された場合、レート設定部１７７は、ヒストリー情報に含まれる量子化マトリクスを量子化部１７６に供給する。一方、量子化値を再利用することが可能ではないと判断された場合、レート設定部１７７は、画像の劣化を防ぐために、図８を用いて説明した量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給する。
【０１０４】
また、レート設定部１７７は、ヒストリー情報を利用しない場合、または、ヒストリー情報に含まれる量子化値を再利用することができない場合、目標発生符号量よりも実際に発生したマクロブロックの発生符号量が多いとき、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量よりも実際の発生符号量が少ないとき、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【０１０５】
すなわち、レート設定部１７７は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、仮想バッファのバッファ占有量を求めて、量子化値Ｑを算出し、通常の符号化に用いられる、図７を用いて説明した量子化マトリクスとともに、量子化部１７６に供給する。
【０１０６】
ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）は、次の式（３）によって表され、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋１）は、次の式（４）によって表され、式（３）から式（４）を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋１）は、次の式（５）として表される。
【０１０７】
ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−｛Ｔ×（ｊ−１）／ＭＢｃｎｔ｝・・・（３）
【０１０８】
ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、ＭＢｃｎｔは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。
【０１０９】
ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｊ）−（Ｔ×ｊ）／ＭＢｃｎｔ・・・（４）
【０１１０】
ｄ（ｊ＋１）＝ｄ（ｊ）＋｛Ｂ（ｊ）−Ｂ（ｊ−１）｝−Ｔ／ＭＢｃｎｔ・・・（５）
【０１１１】
なお、レート設定部１７７は、ピクチャ内のマクロブロックが、例えば、イントラスライス部分とインタースライス部分とに分かれている場合には、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴｐｉおよびＴｐｐをそれぞれ個別に設定することができる。
【０１１２】
したがって、レート設定部１７７は、バッファ占有量ｄ（ｊ＋１）、および、式（６）に示される定数ｒを、式（７）に代入することにより、マクロブロック（ｊ＋１）の量子化インデックスデータＱ（ｊ＋１）を算出し、これを量子化部１７６に供給する。
【０１１３】
ｒ＝（２×ｂｒ）／ｐｒ  ・・・（６）
Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ）  ・・・（７）
ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【０１１４】
量子化部１７６は、レート設定部１７７から供給された量子化値Ｑに基づいて、次のマクロブロックにおける量子化ステップサイズを決定し、量子化ステップサイズによってＤＣＴ係数データを量子化する。
【０１１５】
これにより、量子化部１７６は、実際の発生符号量に基づいて算出された、次のピクチャの目標発生符号量にとって最適な量子化ステップサイズによって、ＤＣＴ係数データを量子化することができる。
【０１１６】
かくして、量子化部１７６では、バッファ１８４のデータ占有量に応じて、バッファ１８４がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化ＤＣＴ係数データを生成することができる。
【０１１７】
なお、以上においては、符号化処理を、ピクチャ単位で行う場合について説明したが、符号化処理が、ピクチャ単位ではなく、例えば、スライス単位や、マクロブロック単位で行われる場合にも、基本的に同様にして、符号化処理が実行される。
【０１１８】
また、図４を用いて説明した、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して、低ビットレートのＬｏｎｇＧＯＰに再符号化する場合に、再符号化のための画像劣化が発生しないようになされているシステムについても、同様にして本発明を適用することが可能である。図９は、本発明を適用した、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して低ビットレートのＬｏｎｇＧＯＰに再符号化する場合に、ＶＢＶバッファの破綻を防止しつつ、再符号化のための画像劣化が発生しないようになされているシステムの構成を示すブロック図である。なお、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１９】
すなわち、図９のシステムは、ＬｏｎｇＧＯＰ符号化装置１３１に代わって、ＬｏｎｇＧＯＰ符号化装置２０１が備えられ、ＬｏｎｇＧＯＰ符号化装置２０１は、符号化部１４２に代わって、最適な量子化マトリクスを用いて量子化を行うことが可能な符号化部２１１が設けられているほかは、基本的に、ＬｏｎｇＧＯＰ符号化装置１３１と同様の構成を有する。
【０１２０】
ＬｏｎｇＧＯＰ符号化装置５１により符号化されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリーム（ＡＳＩストリーム）データの供給を受けたＬｏｎｇＧＯＰ符号化装置２０１は、高ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部２１１に供給する。符号化部２１１は、必要に応じて、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。
【０１２１】
図１０は、符号化部２１１の構成を示すブロック図である。なお、図１０においては、図６の符号化部１６１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１２２】
すなわち、符号化部２１１は、ヒストリー抽出部１７１が省略され、復号部１４１から供給されるパラメータを取得してレート設定部１７７に供給する、パラメータ入力部２２１が設けられているほかは、図６の符号化部１６１と、基本的に同様の構成を有するものである。
【０１２３】
レート設定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、蓄積状態を表す占有量情報、または、パラメータ入力部２２１から供給されるパラメータ情報を基に量子化ステップサイズを決定するようになされている。
【０１２４】
レート設定部１７７は、図示しない操作入力部から供給されるユーザの操作入力を示す信号、または、パラメータ入力部２２１からパラメータ情報が供給されたか否かを基に、パラメータ情報を用いて符号化を行うか否かを判断する。パラメータ入力部２２１から供給されるパラメータ情報には、上述したヒストリー情報と同様に、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなどが含まれる。
【０１２５】
レート設定部１７７は、パラメータ情報を用いて符号化を行うことができないと判断した場合、通常の符号化に用いられる、図７を用いて説明した量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給する。
【０１２６】
レート設定部１７７は、パラメータ情報を用いて符号化を行うことが可能であると判断した場合、パラメータ入力部２２１から供給されるパラメータ情報を基に、量子化値を再利用することが可能か否かを判断する。
【０１２７】
ここで、量子化値を再利用することが可能であるか否かは、例えば、量子化値を再利用できるか否かを、ユーザによって予め設定可能なようにしても良いし、パラメータ情報の中に、量子化値を再利用することが可能であるか否の情報が記載されているものとしても良いし、パラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、パラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件により決定される。
【０１２８】
そして、パラメータ情報を基に、量子化値を再利用することが可能であると判断された場合、レート設定部１７７は、パラメータ情報に含まれるイントラ量子化マトリクスを量子化部１７６に供給する。一方、量子化値を再利用することが可能ではないと判断された場合、レート設定部１７７は、画像の劣化を防ぐために、図８を用いて説明したイントラ量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給する。
【０１２９】
量子化部１７６は、レート設定部１７７から供給された量子化値および量子化マトリクスを基に、ＤＣＴ部１７５から供給されたＤＣＴ係数を量子化する。
【０１３０】
次に、図１１のフローチャートを参照して、図６の符号化部１６１、または、図１０の符号化部２１１において実行される、量子化マトリクス決定処理１について説明する。
【０１３１】
ステップＳ１において、レート設定部１７７は、図示しない操作入力部から供給される、ユーザの操作入力を示す信号を基に、または、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータの供給を受けるか否かなどを基に、ヒストリー情報もしくはパラメータに記載されている過去の符号化の情報を再利用して符号化が実行されるか否かを判断する。
【０１３２】
ステップＳ１において、過去の符号化の情報を再利用して符号化が実行されないと判断された場合、ステップＳ２において、レート設定部１７７は、通常の符号化において用いられる、図７を用いて説明したイントラ量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給して、処理が終了される。
【０１３３】
ステップＳ１において、過去の符号化の情報を再利用して符号化が実行されると判断された場合、ステップＳ３において、レート設定部１７７は、例えば、予め量子化値を再利用できないと設定されているか否か、ヒストリー情報やパラメータ情報の中に、量子化値を再利用することが可能であると記載されているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件を満たしているか否かを基に、量子化値は再利用可能であるか否かを判断する。
【０１３４】
ステップＳ３において、量子化値は再利用可能であると判断された場合、ステップＳ４において、レート設定部１７７は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている、過去の符号化におけるイントラ量子化マトリクスを、量子化部１７６に供給して、処理が終了される。
【０１３５】
ステップＳ３において、量子化値は再利用可能ではないと判断された場合、ステップＳ５において、レート設定部１７７は、メモリ１８５に保存されている、図８を用いて説明したイントラ量子化マトリクスを、量子化部１７６に供給して、処理が終了される。
【０１３６】
このような処理により、符号化に用いられる量子化値が、過去の符号化の量子化値と異なる場合において、ビットレートが小さくなるときや、再符号化時の入力ビデオデータが過去の符号化時の入力ビデオデータとは異なるものであるときでも、特に、Ｉピクチャにおいて、高周波成分が強調されたり、画像の解像度が落ちることなどにより発生するフリッカーを防ぐことができる。
【０１３７】
また、以上において説明した処理では、過去の符号化に関する情報のうち、量子化値が再利用可能ではない場合に、ＡＣ成分（特に、ＡＣ成分の高域部分）に大きな値が用いられていないイントラ量子化マトリクスが選択されて、量子化に用いられるものとして説明したが、イントラマトリクスのみならず、非イントラ（インター）量子化マトリクスについても、同様の処理により、量子化値が再利用可能であるか否かに基づいて、最適なものが選択されるようにしてもよい。
【０１３８】
すなわち、図６の符号化部１６１、または、図１０の符号化部２１１のメモリ１８５に、図１２に示される、ＭＰＥＧ２のＴＭ５においてデフォルトとされている非イントラ量子化マトリクス以外に、図１３に示される、高域のＡＣ成分においても大きな値を用いない非イントラ量子化マトリクスとを更に保存させるようにし、レート制御部１７７によって、量子化値が再利用可能であるか否かに基づいて、最適なものが選択されるようにすることができる。
【０１３９】
図１２に、ＭＰＥＧ２のＴＭ５においてデフォルトとされている非イントラ量子化マトリクスを示す。図１２の非イントラ量子化マトリクスも、人間の視覚が、高域成分の画像の劣化に鈍感であるという特性を利用して、高域成分をより大きな値で除算するようにするために、高域のＡＣ成分ほど大きな値となるように設定されている。
【０１４０】
非イントラ量子化マトリクスにおいても、高域のＡＣ成分においても大きな値を用いず、高域成分が低域成分と同一か、略同等の値で構成されている量子化マトリクスを使用することにより、再符号化時に、量子化値で除算する直前の値が大きくなるため、量子化値の変動による復号値の変動の影響を受けないようにすることができる。例えば、図１３に示されるように、全ての成分を１６とした量子化マトリクスを使用することにより、上述した量子化値の変動による復号値の変動の影響を受けないようにすることができる。
【０１４１】
ここでは、高域のＡＣ成分においても大きな値を用いず、高域成分が低域成分と同一か、略同等の値で構成されている非イントラ量子化マトリクスの例として、図１３に示される、全ての成分が同一である量子化マトリクスを用いて説明したが、本発明に用いられる非イントラ量子化マトリクスは、図１３の非イントラ量子化マトリクスに限定されるものではなく、図１３の非イントラ量子化マトリクスのように、全ての成分、または、全てのＡＣ成分が同一の値でなくても、高域成分に、例えば、ＤＣ成分の２倍以下となるような充分小さな値や、図１２を用いて説明した非イントラ量子化マトリクスよりも高域成分が小さな（例えば、３２以下となる）値が用いられていればよい。
【０１４２】
次に、図１４のフローチャートを参照して、図６の符号化部１６１、または、図１０の符号化部２１１において実行される、量子化値が再利用可能であるか否かに基づいて、イントラ量子化マトリクスおよび非イントラ量子化マトリクスを選択するようになされている、量子化マトリクス決定処理２について説明する。
【０１４３】
ステップＳ２１において、レート設定部１７７は、図示しない操作入力部から供給される、ユーザの操作入力を示す信号を基に、または、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータの供給を受けるか否かなどを基に、ヒストリー情報もしくはパラメータに記載されている過去の符号化の情報を再利用して符号化が実行されるか否かを判断する。
【０１４４】
ステップＳ２１において、過去の符号化の情報を再利用して符号化が実行されないと判断された場合、ステップＳ２２において、レート設定部１７７は、通常の符号化において用いられる、図７を用いて説明したイントラ量子化マトリクスおよび図１２を用いて説明した非イントラ量子化マトリクスを、メモリ１８５から読み出して、量子化部１７６に供給して、処理が終了される。
【０１４５】
ステップＳ２１において、過去の符号化の情報を再利用して符号化が実行されると判断された場合、ステップＳ２３において、レート設定部１７７は、例えば、予め量子化値を再利用できないと設定されているか否か、ヒストリー情報やパラメータ情報の中に、量子化値を再利用することが可能であると記載されているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件を満たしているか否かを基に、量子化値は再利用可能であるか否かを判断する。
【０１４６】
ステップＳ２３において、量子化値は再利用可能であると判断された場合、ステップＳ２４において、レート設定部１７７は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている、過去の符号化における、イントラ量子化マトリクスおよび非イントラ量子化マトリクスを、量子化部１７６に供給して、処理が終了される。
【０１４７】
ステップＳ２３において、量子化値は再利用可能ではないと判断された場合、ステップＳ２５において、レート設定部１７７は、メモリ１８５に保存されている、図８を用いて説明したイントラ量子化マトリクス、および、図１３を用いて説明した非イントラ量子化マトリクスを、量子化部１７６に供給して、処理が終了される。
【０１４８】
このような処理により、符号化に用いられる量子化値が、過去の符号化の量子化値と異なる場合において、ビットレートが小さくなるときや、再符号化時の入力ビデオデータが過去の符号化時の入力ビデオデータとは異なるものであるときでも、特に、Ｉピクチャの画像の解像度が落ちることなどにより発生するフリッカーを防ぐことができるとともに、非イントラ部分においても、画像の劣化を防ぐようにすることができる。
【０１４９】
なお、以上においては、過去の符号化に関する情報が再利用されない場合に用いられる量子化マトリクスとして、符号化装置において標準的に用いられる量子化マトリクス（規格のディフォルト）が用いられるものとして説明したが、過去の符号化に関する情報が再利用されない場合に用いられる量子化マトリクス（例えば、量子化マトリクスＡ）がいかなる値を有するものであっても（例えば、高域成分にＭＰＥＧの規格において取りえる最高の値である２５５を有するものであっても）、本発明において、過去の符号化に関する情報を再利用するが、過去の符号化の量子化値を再利用しない場合に用いられる量子化マトリクス（例えば、量子化マトリクスＢ）が、量子化マトリクスＡよりも高域成分の小さな量子化マトリクス（少なくとも、２５５未満の値で構成される量子化マトリクス）である場合、画像の劣化を防ぐという効果を奏することができる。
【０１５０】
すなわち、符号化に用いられる量子化値が、過去の符号化の量子化値と異なる場合において、量子化に量子化マトリクスＢを用いることにより、量子化マトリクスＡを用いる場合と比較して、ビットレートが小さくなるときや、再符号化時の入力ビデオデータが過去の符号化時の入力ビデオデータとは異なるものであるときでも、特に、Ｉピクチャの画像の解像度が落ちることなどにより発生するフリッカーを防ぐことができ、画像の劣化を防ぐようにすることができる。
【０１５１】
なお、本発明は、例えば、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされているローディレイエンコードを行う場合においても適用可能である。
【０１５２】
また、本発明は、ローディレイコーディングとして各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合においても、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにした場合においても適用可能である。
【０１５３】
更に、上述の実施の形態においては、本発明をＭＰＥＧ方式によって圧縮符号化する符号化部１６１、または、符号化部２１１に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。
【０１５４】
なお、上述の実施の形態においては、ストリームデータを変換するそれぞれの変換装置やＬｏｎｇＧＯＰ符号化装置が、それぞれ、復号部と符号化部を有しているものとして説明したが、復号部および符号化部が、それぞれ、復号装置および符号化装置として、独立した装置として構成されている場合においても、本発明は適用可能である。
【０１５５】
すなわち、上述の実施の形態においては、それぞれの変換装置やＬｏｎｇＧＯＰ符号化装置が、ストリームデータを変換するものとして説明したが、例えば、図１５に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置２５１、ベースバンド信号を符号化してストリームデータに変換する符号化装置２５２が、それぞれ独立した装置として構成されていても良い。更に、復号装置２５１が、供給されたストリームデータを完全に復号せず、対応する符号化装置２５２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０１５６】
例えば、復号装置２５１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していなかった場合、符号化装置２５２は、量子化および可変長符号化処理を行うが、ＤＣＴ変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行う符号化装置２５２の量子化における量子化値を再利用するか否かの決定において、本発明を適用することができるのは言うまでもない。
【０１５７】
更に、復号装置２５１が完全に復号したベースバンド信号を、符号化装置２５２が中途段階まで符号化する場合（例えば、ＤＣＴ変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置２５１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置２５２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１５８】
更に、このような部分的な復号を行う符号化装置２５１と部分的な符号化を行う符号化装置２５２で構成されたトランスコーダ２６１においても、本発明は適用可能である。このようなトランスコーダ２６１は、例えば、スプライシングなどの編集を行う編集装置２６２が利用される場合などに用いられる。
【０１５９】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、ＳＤＴＩ  ＣＰ−ＡＳＩ変換装置１５１や、Ｌｏｎｇ  ＧＯＰ符号化装置２０１は、図１６に示されるようなパーソナルコンピュータ３０１により構成される。
【０１６０】
図１６において、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６１】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０１６２】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１６３】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０１６４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１６５】
この記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）を含む）、光磁気ディスク３３３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０１６６】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。
【０１６７】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６８】
【発明の効果】
このように、本発明によれば、画像データを符号化することができる。特に、過去の符号化において用いられた量子化値が再利用できない場合に、高域成分が、２５５未満の値で構成されている量子化マトリクスを用いて量子化を実行することができるので、画質の劣化を防ぐようにすることができる。
【０１６９】
また、他の本発明によれば、画像データを符号化することができるほか、過去の符号化において用いられた情報を再利用するが、量子化値が再利用できない場合に、過去の符号化において用いられた情報を再利用できない場合に用いられる量子化マトリクスよりも小さな値で構成されている量子化マトリクスを用いて量子化を実行することができるので、画質の劣化を防ぐようにすることができる。
【０１７０】
また、他の本発明によれば、画像データを変換することができるほか、変換処理における符号化処理において、過去の符号化において用いられた量子化値が再利用できない場合に、高域成分が、２５５未満以下の値で構成されている量子化マトリクスを用いて量子化を実行することができるので、画質の劣化を防ぐようにすることができる。
【０１７１】
更に、他の本発明によれば、画像データを変換することができるほか、変換処理における符号化処理において、過去の符号化において用いられた情報を再利用するが、量子化値が再利用できない場合に、過去の符号化において用いられた情報を再利用できない場合に用いられる量子化マトリクスよりも小さな値で構成されている量子化マトリクスを用いて量子化を実行することができるので、画質の劣化を防ぐようにすることができる。
【図面の簡単な説明】
【図１】フレーム編集を行う場合の再符号化が行われる従来のシステムを説明するための図である。
【図２】ＭＰＥＧのＬｏｎｇ  ＧＯＰのビットレートを変更して再符号化することが可能な従来のシステムについて説明するための図である。
【図３】フレーム編集を行う場合の再符号化が行われる従来のシステムにおいて、符号化履歴情報を利用する場合について、説明するための図である。
【図４】ＭＰＥＧのＬｏｎｇ  ＧＯＰのビットレートを変更して再符号化することが可能な従来のシステムで符号化履歴情報を利用する場合について、説明するための図である。
【図５】本発明を適用した、フレーム編集を行う場合の再符号化が行われるシステムの構成を示すブロックである。
【図６】図５の符号化部の構成を示すブロック図である。
【図７】ＭＰＥＧ２においてデフォルトとされているイントラ量子化マトリクスについて説明するための図である。
【図８】本発明において用いられるイントラ量子化マトリクスについて説明するための図である。
【図９】本発明を適用した、ＭＰＥＧのＬｏｎｇ  ＧＯＰのビットレートを変更して再符号化することが可能なシステムの構成を示すブロック図である。
【図１０】図９の符号化部の構成を示すブロック図である。
【図１１】量子化マトリクス決定処理１について説明するためのフローチャートである。
【図１２】ＭＰＥＧ２においてデフォルトとされている非イントラ量子化マトリクスについて説明するための図である。
【図１３】本発明において用いられる非イントラ量子化マトリクスについて説明するための図である。
【図１４】量子化マトリクス決定処理２について説明するためのフローチャートである。
【図１５】本発明を適用可能な異なる装置の構成について説明するための図である。
【図１６】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
１  ＳＤＩ−ＡＳＩ変換装置，  ３  フレーム編集装置，  ５１  Ｌｏｎｇ  ＧＯＰ符号化装置，  ６１  復号部，  ６２  符号化部，  １０１  ＡＳＩ−ＳＤＴＩ変換装置，  １１１  復号部，  １１２  符号化部，  １２１  復号部，  １４１復号部，  １５１  ＳＤＴＩ  ＣＰ−ＡＳＩ変換部，  １６１  符号化部，  １７１  ヒストリー抽出部，  １７２  画像並べ替え部，  １７３  演算部，  １７４  動きベクトル検出部，  １７５  ＤＣＴ部，  １７６  量子化部，  １７７  レート設定部，  １７８  ＶＬＣ部，  １７９  逆量子化部，  １８０  逆ＤＣＴ部，  １８１  演算部，  １８２  動き補償部，  １８３  フレームメモリ，  １８４  バッファ，  １８５  メモリ，  ２０１  Ｌｏｎｇ  ＧＯＰ符号化装置，  ２１１  符号化部，  ２２１  パラメータ入力部
【図１】
2004343279.tif 000003
【図２】
2004343279.tif 000004
【図３】
2004343279.tif 000005
【図４】
2004343279.tif 000006
【図５】
2004343279.tif 000007
【図６】
2004343279.tif 000008
【図７】
2004343279.tif 000009
【図８】
2004343279.tif 000010
【図９】
2004343279.tif 000011
【図１０】
2004343279.tif 000012
【図１１】
2004343279.tif 000013
【図１２】
2004343279.tif 000014
【図１３】
2004343279.tif 000015
【図１４】
2004343279.tif 000016
【図１５】
2004343279.tif 000017
【図１６】
2004343279.tif 000018