(57)【要約】【課題】条件に基づいて、再利用可能なパラメータを選択する。【解決手段】以前の符号化時と再符号化時とで、ディレイモード、ピクチャ構成、プルダウンモードが一致していない場合、パラメータが再利用されず、一致していていれば、画像枠が一致しているか否かが判断され、一致していなければピクチャタイプが再利用される。以前の符号化のビットレートが今回の符号化よりも小さく、クロマフォーマットが今回より大きい場合、ピクチャタイプと動きベクトルが再利用され、これら条件が満たされていなければ、パラメータの供給を受け、クロマフォーマットが一致しているか否かが判断される。これら条件が満たされていない場合、ピクチャタイプ、動きベクトル、量子化値の情報が再利用され、これら条件が満たされている場合、復号部に入力されたストリームデータが出力される。本発明は、符号化部、符号化装置、または、トランスコーダに適用できる。【選択図】      図１１
2004343280.tif 000002
【特許請求の範囲】
【請求項１】
ベースバンドの画像データまたは中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する処理を実行する画像処理装置において、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、
前記取得手段により取得された前記符号化に関する情報と前記画像処理装置が前記画像データに対して実行する符号化に関する条件とを基に、前記符号化に関する情報のうち、符号化に利用可能な情報を選択し、符号化処理を制御する制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記符号化に関する情報に記載された過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、前記画像処理装置が前記画像データに対して実行する符号化の条件と一致していた場合、前記符号化に関する情報に記載されたピクチャタイプの情報を用いて、符号化処理を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記符号化に関する情報に記載された過去の符号化における画像枠と、前記画像処理装置が前記画像データに対して実行する符号化の画像枠との位置および大きさが一致している場合、前記符号化に関する情報に記載された動きベクトルの情報を更に用いて、符号化処理を制御する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記符号化に関する情報に記載された過去の符号化におけるビットレートが、前記画像処理装置が前記画像データに対して実行する符号化のビットレートよりも小さく、かつ、前記符号化に関する情報に記載された過去の符号化におけるクロマフォーマットが、前記画像処理装置が前記画像データに対して実行する符号化のクロマフォーマットと比較して、等しい、または、大きい場合、前記符号化に関する情報に記載された量子化値の情報を更に用いて、符号化処理を制御する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像データを復号した他の画像処理装置に供給された第１の符号化データ、および前記制御手段により制御された符号化処理により生成された第２の符号化データの供給を受け、前記第１の符号化データまたは前記第２の符号化データを出力する出力手段を更に備え、
前記制御手段は、前記符号化に関する情報に記載された過去の符号化におけるディレイモード、ピクチャ構成、プルダウンモード、画像枠の位置および大きさ、並びに、クロマフォーマットが、前記画像処理装置が前記画像データに対して実行する符号化の条件と一致し、前記符号化に関する情報に記載された過去の符号化におけるビットレートが、前記画像処理装置が前記画像データに対して実行する符号化のビットレートよりも小さい場合、前記出力手段を更に制御して、前記第１の符号化データを出力させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
ベースバンドの画像データまたは中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する処理を実行する画像処理装置の画像処理方法において、
前記画像データに対して過去に行われた符号化に関する情報を取得し、
取得された前記符号化に関する情報と前記画像処理装置が前記画像データに対して実行する符号化に関する条件とを基に、前記符号化に関する情報のうち、符号化に利用可能な情報を選択し、
選択された前記符号化に関する情報を基に、符号化処理を制御する
ことを特徴とする画像処理方法。
【請求項７】
画像データに対して過去に行われた符号化に関する情報の供給を受けて、ベースバンドの画像データまたは中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する処理をコンピュータに実行させるためのプログラムであって、
供給された前記符号化に関する情報と、前記画像データに対して実行する符号化に関する条件とを比較する比較ステップと、
前記比較ステップの処理による比較結果を基に、前記符号化に関する情報のうち、符号化に利用可能な情報を選択する選択ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項８】
画像データに対して過去に行われた符号化に関する情報の供給を受けて、ベースバンドの画像データまたは中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する処理をコンピュータに実行させるためのプログラムであって、
供給された前記符号化に関する情報と、前記画像データに対して実行する符号化に関する条件とを比較する比較ステップと、
前記比較ステップの処理による比較結果を基に、前記符号化に関する情報のうち、符号化に利用可能な情報を選択する選択ステップと
を含むことを特徴とするプログラム。
【請求項９】
画像データを変換する情報処理装置において、
供給された前記画像データを完全に、または、不完全に復号する復号手段と、
前記復号手段により完全に復号されたベースバンドの前記画像データ、または、前記復号手段により不完全に復号されて生成された、中途段階まで符号化された前記画像データを、中途段階まで、または、完全に符号化する符号化手段と
を備え、
前記符号化手段は、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、
前記取得手段により取得された前記符号化に関する情報と前記画像処理装置が前記画像データに対して実行する符号化に関する条件とを基に、前記符号化に関する情報のうち、符号化に利用可能な情報を選択し、符号化処理を制御する制御手段と
を備えることを特徴とする情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラムに関し、特に、対応するデータに対して過去に施された符号化に関する情報を用いて再符号化することが可能なようになされている場合に用いて好適な、画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラムに関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。
【０００３】
画像信号が圧縮符号化される場合、生成されるビットストリームが、所定のビットレートになるように符号化が行われる。しかしながら、実運用上において、伝送路の都合により、ビットストリームのビットレートを変換する必要が生じることがある。
【０００４】
また、例えば、伝送された画像信号が、放送局において編集される場合、編集は秒単位で行われるので、フレームの画像情報は、他のフレームの画像情報から独立しているほうがよい。そこで、低いビットレート（例えば、３乃至９Ｍｂｐｓ）で転送しても画質が劣化しないように、情報が相関関係にあるフレームの集合であるＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）を構成するフレーム数が多いＬｏｎｇ  ＧＯＰと、高ビットレート（１８乃至５０Ｍｂｐｓ）で転送される、ＧＯＰを構成するフレーム数が少ないＳｈｏｒｔ  ＧＯＰとを、相互に変換する必要があった。
【０００５】
例えば、伝送路を介して送受信されるＬｏｎｇ  ＧＯＰのストリームデータを、Ｓｈｏｒｔ  ＧＯＰであるＡｌｌ  Ｉｎｔｒａのストリームデータに符号化しなおして、フレーム編集することが可能なシステムについて、図１を用いて説明する。
【０００６】
伝送路１には、伝送に適したＬｏｎｇ  ＧＯＰのストリームデータが伝送される。
【０００７】
トランスコーダ２は、伝送路１を介して供給された、ＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータを、復号部２１で一旦復号した後、符号化部２２において、全てイントラフレーム（Ａｌｌ  Ｉｎｔｒａ）となるように符号化し、符号化されたＡｌｌ  Ｉｎｔｒａのストリームデータ（ＳＤＴＩ  ＣＰ（Ｓｅｒｉａｌ  Ｄａｔａ  Ｔｒａｎｓｐｏｒｔ  Ｉｎｔｅｒｆａｃｅ−Ｃｏｎｔｅｎｔｓ  Ｐａｃｋａｇｅ）ストリーム）を、ＳＤＴＩ  ＣＰインタフェースのフレーム編集装置３に出力する。
【０００８】
フレーム編集装置３にてフレーム編集されたストリームデータは、トランスコーダ４に供給される。トランスコーダ４は、供給されたＡｌｌ  Ｉｎｔｒａのストリームデータを、復号部３１で一旦復号した後、符号化部３２において、ＭＰＥＧのＬｏｎｇ  ＧＯＰとなるように符号化し、符号化されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータを、伝送路１を介して、所定のデータ伝送先に出力する。
【０００９】
また、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇ  ＧＯＰに符号化し、それを復号して低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰに再符号化することが可能なシステムについて、図２を用いて説明する。
【００１０】
トランスコーダ５１は、供給された、圧縮されていない入力画像を、復号部６１で一旦復号した後、符号化部６２において、高ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰとなるように符号化し、符号化されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータを出力する。トランスコーダ５２は、供給された高ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰを、復号部７１で一旦復号した後、符号化部７２において、低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータを、伝送路１を介して、所定のデータ伝送先に出力する。
【００１１】
このように、画像情報に対する符号化および復号が繰り返された場合、符号化の度に使用される符号化パラメータが変化してしまうと、画像情報が劣化してしまう。この画像情報の劣化を防止するため、ビットストリームのピクチャ層のユーザデータエリアに挿入された符号化履歴情報を用いることにより、再符号化に伴う画像の劣化を抑制することができる技術がある（例えば、特許文献１参照）。
【００１２】
【特許文献１】
特開２０００−０５９７８８号公報
【００１３】
例えば、ＭＰＥＧのＬｏｎｇ  ＧＯＰを、フレーム編集を行うことが可能なＳｈｏｒｔ  ＧＯＰに変換することが可能なシステムにおいて、符号化履歴情報を利用する場合について、図３を用いて説明する。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１４】
すなわち、トランスコーダ１０１は、伝送路１を介して、ＭＰＥＧのＬｏｎｇ  ＧＯＰの供給を受ける。
【００１５】
ＭＰＥＧのＬｏｎｇ  ＧＯＰはそれぞれ符号化の素性の異なる３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成されるため、それを復号したビデオデータにも、フレームによってそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャの素性を持ったものが存在する。したがってこのビデオデータをＭＰＥＧのＬｏｎｇ  ＧＯＰで再符号化する場合、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、それぞれ別のピクチャタイプで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、ＩピクチャおよびＰピクチャより歪が多くなりやすいＢピクチャであったビデオデータをＩピクチャとして符号化してしまうと、その周辺のピクチャが、歪の多いＩピクチャを参照画像として予測符号化されてしまうため、画質が劣化してしまう。
【００１６】
このような再符号化による画質劣化を引き起こさないため、トランスコーダ１０１は、例えば、伝送路１を介して、他のトランスコーダによって過去に符号化されたストリームデータの供給を受けた場合、供給されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化するとき、過去に実行された符号化、すなわち、復号部１１１に供給された符号化ストリームの符号化のピクチャタイプや量子化値などのパラメータを、Ａｌｌ  Ｉｎｔｒａの符号化ストリーム上に、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）３２８Ｍのヒストリー情報（Ｈｉｓｔｏｒｙ  ｄａｔａ）として付加し、フレーム編集装置３に供給する。
【００１７】
フレーム編集装置３にてフレーム編集されたストリームデータは、再び、トランスコーダ１０２に供給される。トランスコーダ１０２は、供給された、ヒストリー情報つきのＡｌｌ  Ｉｎｔｒａのストリームデータを、復号部１２１で復号する。符号化部１２２は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等の必要なパラメータを使用して、Ｌｏｎｇ  ＧＯＰに再符号化して出力する。
【００１８】
また、図２を用いて説明したように、非圧縮のデータを高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して低ビットレートのＭＰＥＧのＬｏｎｇＧＯＰに再符号化することが可能なシステムにおいて、再符号のための画像劣化が発生しないようになされている場合について、図４を用いて説明する。なお、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１９】
すなわち、トランスコーダ５１により符号化されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームの供給を受けたトランスコーダ１３１は、高ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを、符号化部１４２に供給する。符号化部１４２は、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータを出力する。
【００２０】
【発明が解決しようとする課題】
上述したように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層、マクロブロック層のパラメータ）を再利用して符号化することにより、画質劣化を防ぐことが可能である。しかしながら、例えば、編集などによって、ビットレート、画像枠、クロマフォーマットなどが、前の符号化処理時とは異なるストリームが、置き換えられたり、挿入される場合がある。このような場合、パラメータをピクチャ層からマクロブロック層までの全ての符号化の情報を再利用して再符号化することはできない。
【００２１】
本発明はこのような状況に鑑みてなされたものであり、符号化する画像データの状態に応じて、再利用することができる情報を選択することができるようにするものである。
【００２２】
【課題を解決するための手段】
本発明の画像処理装置は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、取得手段により取得された符号化に関する情報と画像処理装置が画像データに対して実行する符号化に関する条件とを基に、符号化に関する情報のうち、符号化に利用可能な情報を選択し、符号化処理を制御する制御手段とを備えることを特徴とする。
【００２３】
制御手段には、符号化に関する情報に記載された過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像処理装置が画像データに対して実行する符号化の条件と一致していた場合、符号化に関する情報に記載されたピクチャタイプの情報を用いて、符号化処理を制御させるようにすることができる。
【００２４】
制御手段には、符号化に関する情報に記載された過去の符号化における画像枠と、画像処理装置が画像データに対して実行する符号化の画像枠との位置および大きさが一致している場合、符号化に関する情報に記載された動きベクトルの情報を更に用いて、符号化処理を制御させるようにすることができる。
【００２５】
制御手段には、符号化に関する情報に記載された過去の符号化におけるビットレートが、画像処理装置が画像データに対して実行する符号化のビットレートよりも小さく、かつ、符号化に関する情報に記載された過去の符号化におけるクロマフォーマットが、画像処理装置が画像データに対して実行する符号化のクロマフォーマットと比較して、等しい、または、大きい場合、符号化に関する情報に記載された量子化値の情報を更に用いて、符号化処理を制御させるようにすることができる。
【００２６】
画像データを復号した他の画像処理装置に供給された第１の符号化データ、および制御手段により制御された符号化処理により生成された第２の符号化データの供給を受け、第１の符号化データまたは第２の符号化データを出力する出力手段を更に備えさせるようにすることができ、制御手段には、符号化に関する情報に記載された過去の符号化におけるディレイモード、ピクチャ構成、プルダウンモード、画像枠の位置および大きさ、並びに、クロマフォーマットが、画像処理装置が画像データに対して実行する符号化の条件と一致し、符号化に関する情報に記載された過去の符号化におけるビットレートが、画像処理装置が画像データに対して実行する符号化のビットレートよりも小さい場合、出力手段を更に制御して、第１の符号化データを出力させるようにすることができる。
【００２７】
本発明の画像処理方法は、画像データに対して過去に行われた符号化に関する情報を取得し、取得された符号化に関する情報と画像処理装置が画像データに対して実行する符号化に関する条件とを基に、符号化に関する情報のうち、符号化に利用可能な情報を選択し、選択された符号化に関する情報を基に、符号化処理を制御することを特徴とする。
【００２８】
本発明の記録媒体に記録されているプログラムは、供給された符号化に関する情報と、画像データに対して実行する符号化に関する条件とを比較する比較ステップと、比較ステップの処理による比較結果を基に、符号化に関する情報のうち、符号化に利用可能な情報を選択する選択ステップとを含むことを特徴とする。
【００２９】
本発明のプログラムは、供給された符号化に関する情報と、画像データに対して実行する符号化に関する条件とを比較する比較ステップと、比較ステップの処理による比較結果を基に、符号化に関する情報のうち、符号化に利用可能な情報を選択する選択ステップとを含むことを特徴とする。
【００３０】
本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、過去の符号化に関する情報の供給を受け、過去の符号化に関する情報と、画像データに対して実行される符号化に関する条件とが比較され、比較結果を基に、符号化に関する情報のうち、符号化に利用可能な情報が選択される。
【００３１】
本発明の情報処理装置は、供給された画像データを完全に、または、不完全に復号する復号手段と、復号手段により完全に復号されたベースバンドの画像データ、または、復号手段により不完全に復号されて生成された、中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する符号化手段とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、取得手段により取得された符号化に関する情報と画像処理装置が画像データに対して実行する符号化に関する条件とを基に、符号化に関する情報のうち、符号化に利用可能な情報を選択し、符号化処理を制御する制御手段とを備えることを特徴とする。
【００３２】
本発明の情報処理装置においては、供給された画像データが、完全に、または、不完全に復号され、ベースバンドの画像データ、または、中途段階まで符号化された画像データが、中途段階まで、または、完全に符号化され、符号化において、過去の符号化に関する情報の供給を受け、過去の符号化に関する情報と画像データに対して実行される符号化に関する条件とが比較され、比較結果を基に、符号化に関する情報のうち、符号化に利用可能な情報が選択される。
【００３３】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段および各ステップと以下の実施の形態との対応関係を明らかにするために、各手段および各ステップの後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但しもちろんこの記載は、各手段および各ステップを記載したものに限定することを意味するものではない。
【００３４】
請求項１に記載の、ベースバンドの画像データまたは中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する処理（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していない復号処理が施された、中途段階まで符号化された画像データに対して、量子化および可変長符号化処理を行うが、ＤＣＴ変換処理は行わない処理などを含む）を実行する画像処理装置（例えば、図６の符号化部１６１、図１０の符号化部２１１、または、図１２の符号化装置２５２）は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）を取得する取得手段（例えば、図６のヒストリー抽出部１７１、または、図１０のパラメータ入力部２２１）と、取得手段により取得された符号化に関する情報と画像処理装置が画像データに対して実行する符号化に関する条件とを基に、符号化に関する情報のうち、符号化に利用可能な情報を選択し、符号化処理を制御する制御手段（例えば、図６または図１０の制御部１８５）とを備えることを特徴とする。
【００３５】
請求項５に記載の画像処理装置は、画像データを復号した他の画像処理装置（例えば、図５の復号部１２１、図９の復号部１４１、または、図１２の復号装置２５１）に供給された第１の符号化データ、および制御手段により制御された符号化処理により生成された第２の符号化データの供給を受け、第１の符号化データまたは第２の符号化データを出力する出力手段（例えば、図６または図１０のストリームスイッチ１８６）を更に備え、制御手段は、符号化に関する情報に記載された過去の符号化におけるディレイモード、ピクチャ構成、プルダウンモード、画像枠の位置および大きさ、並びに、クロマフォーマットが、画像処理装置が画像データに対して実行する符号化の条件と一致し、符号化に関する情報に記載された過去の符号化におけるビットレートが、画像処理装置が画像データに対して実行する符号化のビットレートよりも小さい場合、出力手段を更に制御して、第１の符号化データを出力させることを特徴とする。
【００３６】
請求項６に記載の画像処理方法は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）を取得し、取得された符号化に関する情報と画像処理装置が画像データに対して実行する符号化に関する条件とを基に、符号化に関する情報のうち、符号化に利用可能な情報を選択し、選択された符号化に関する情報を基に、符号化処理（例えば、図６または図１０の、画像並べ替え部１７２乃至バッファ１８４が実行する符号化処理）を制御することを特徴とする。
【００３７】
請求項７に記載の記録媒体に記録されているプログラムは、供給された符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）と、画像データに対して実行する符号化に関する条件とを比較する比較ステップ（例えば、図１１のステップＳ１，ステップＳ３，ステップＳ５，または、ステップＳ７の処理）と、比較ステップの処理による比較結果を基に、符号化に関する情報のうち、符号化に利用可能な情報を選択する選択ステップ（例えば、図１１のステップＳ２，ステップＳ４，ステップＳ６，または、ステップＳ８の処理）とを含むことを特徴とする。
【００３８】
請求項８に記載のプログラムは、供給された符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）と、画像データに対して実行する符号化に関する条件とを比較する比較ステップ（例えば、図１１のステップＳ１，ステップＳ３，ステップＳ５，または、ステップＳ７の処理）と、比較ステップの処理による比較結果を基に、符号化に関する情報のうち、符号化に利用可能な情報を選択する選択ステップ（例えば、図１１のステップＳ２，ステップＳ４，ステップＳ６，または、ステップＳ８の処理）とを含むことを特徴とする。
【００３９】
請求項９に記載の情報処理装置（例えば、図５のトランスコーダ１５１、図９のトランスコーダ２０１、または、図１２のトランスコーダ２６１）は、供給された画像データを完全に、または、不完全に復号する復号手段（例えば、図５の復号部１２１、図９の復号部１４１、または、図１２の復号装置２５１）と、復号手段により完全に復号されたベースバンドの画像データ、または、復号手段により不完全に復号されて生成された、中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する符号化手段と（例えば、図６の符号化部１６１、図１０の符号化部２１１、または、図１２の符号化装置２５２）とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）を取得する取得手段（例えば、図６のヒストリー抽出部１７１、または、図１０のパラメータ入力部２２１）と、取得手段により取得された符号化に関する情報と画像処理装置が画像データに対して実行する符号化に関する条件とを基に、符号化に関する情報のうち、符号化に利用可能な情報を選択し、符号化処理を制御する制御手段（例えば、図６または図１０の制御部１８５）とを備えることを特徴とする。
【００４０】
以下、図を参照して、本発明の実施の形態について説明する。
【００４１】
本発明を適用した、ＭＰＥＧのＬｏｎｇ  ＧＯＰを、フレーム編集を行うことが可能なＳｈｏｒｔ  ＧＯＰに変換することが可能なシステムにおいて、符号化履歴情報を利用する場合について、図５を用いて説明する。
【００４２】
なお、図３を用いて説明した従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、トランスコーダ１０２に代わって、トランスコーダ１５１が設けられているほかは、図３を用いて説明した従来の場合と基本的に同様に構成されており、トランスコーダ１５１は、符号化部１２２に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報（ヒストリー情報）を選択することが可能な符号化部１６１が設けられ、符号化部１６１には、復号部１２１から出力される復号された信号のほかに、復号部１２１に入力されているストリームデータも入力されているほかは、トランスコーダ１０２と基本的に同様に構成されている。
【００４３】
トランスコーダ１０１は、伝送路１から、ＭＰＥＧのＬｏｎｇ  ＧＯＰの供給を受ける。
【００４４】
ＭＰＥＧのＬｏｎｇＧＯＰは、３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成される。トランスコーダ１０１は、供給されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化する場合、その後の処理において、これらのストリームデータがＬｏｎｇＧＯＰで再符号化されるにあたって、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、別のピクチャタイプで符号化されてしまうことを防ぐため、過去に実行された符号化、すなわち、伝送路１を介して、トランスコーダ１０１に、ＭＰＥＧのＬｏｎｇ  ＧＯＰストリームを送信した装置による符号化のパラメータ（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層およびマクロブロック層のパラメータ）を、Ａｌｌ  Ｉｎｔｒａのストリーム上に、ＳＭＰＴＥ３２８Ｍのヒストリー情報（Ｈｉｓｔｏｒｙ  ｄａｔａ）として付加し、フレーム編集装置３に供給する。
【００４５】
フレーム編集装置３にてフレーム編集された、ヒストリー情報付のストリームデータは、トランスコーダ１５１に供給される。トランスコーダ１５１は、供給された、ヒストリー情報付のＡｌｌ  Ｉｎｔｒａのストリームデータを、復号部１２１で復号する。符号化部１６１は、復号されたヒストリー情報に含まれている、過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層およびマクロブロック層のパラメータを、必要に応じて使用して、復号部１２１で復号された情報を、ＬｏｎｇＧＯＰに再符号化して出力する。
【００４６】
図６は、符号化部１６１の構成を示すブロック図である。
【００４７】
ヒストリー抽出部１７１は、復号部１２１により復号された、ヒストリー情報付のＡｌｌ  Ｉｎｔｒａストリームから、ヒストリー情報を抽出して、制御部１８５に供給するとともに、映像ストリームを映像並び替え部１７２に供給する。ヒストリー情報には、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなど、過去に実行された符号化に関する情報が含まれている。
【００４８】
制御部１８５は、ヒストリー抽出部１７１により抽出された、ヒストリー情報に含まれている、過去の符号化のパラメータを基に、画像並び替え部１７２、動きベクトル検出部１７４、または、量子化値決定部１７７を、必要に応じて制御する。
【００４９】
ヒストリー抽出部１７１により抽出されるヒストリー情報は、ＳＭＰＴＥ  ３２９Ｍに規定されている、ｃｏｍｐｒｅｓｓｅｄ＿ｓｔｒｅａｍ＿ｆｏｒｍａｔ＿ｏｆ＿ＭＰＥＧ＿２＿ｒｅｃｏｄｉｎｇ＿ｓｅｔ（）の形式で記載されている。次に、図７を用いて、ＳＭＰＴＥ  ３２９Ｍに規定されている、ｃｏｍｐｒｅｓｓｅｄ＿ｓｔｒｅａｍ＿ｆｏｒｍａｔ＿ｏｆ＿ＭＰＥＧ＿２＿ｒｅｃｏｄｉｎｇ＿ｓｅｔ（）のシンタックスについて説明する。
【００５０】
ＳＭＰＴＥ  ３２９Ｍのｃｏｍｐｒｅｓｓｅｄ＿ｓｔｒｅａｍ＿ｆｏｒｍａｔ＿ｏｆ＿ＭＰＥＧ＿２＿ｒｅｃｏｄｉｎｇ＿ｓｅｔ（）は、ｎｅｘｔ＿ｓｔａｒｔ＿ｃｏｄｅ（）関数、ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（）関数、ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ（）関数、ｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（０）関数、ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ（）関数、ｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（１）関数、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ（）関数、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ（）関数、ｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（２）関数、およびｐｉｃｔｕｒｅ＿ｄａｔａ（）関数によって定義されたデータエレメントによって構成される。
【００５１】
ｎｅｘｔ＿ｓｔａｒｔ＿ｃｏｄｅ（）関数は、ビットストリーム中に存在するスタートコードを探すための関数である。ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（）関数によって定義されるデータエレメントには、例えば、画像の水平方向の画素数の下位１２ビットから成るデータであるｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ＿ｖａｌｕｅ、画像の縦のライン数の下位１２ビットからなるデータであるｖｅｒｔｉｃａｌ＿ｓｉｚｅ＿ｖａｌｕｅ、発生符号量制御用の仮想バッファ（ＶＢＶ；ビデオバッファベリファイヤ）の大きさを決める値の下位１０ビットデータであるＶＢＶ＿ｂｕｆｆｅｒ＿ｓｉｚｅ＿ｖａｌｕｅなどがある。ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ（）関数によって定義されるデータエレメントには、例えば、ビデオデータが順次走査であることを示すデータであるｐｒｏｇｒｅｓｓｉｖｅ＿ｓｅｑｕｅｎｃｅ、ビデオデータの色差フォーマットを指定するためのデータであるｃｈｒｏｍａ＿ｆｏｒｍａｔ、Ｂピクチャを含まないことを示すデータであるｌｏｗ＿ｄｅｌａｙなどがある。
【００５２】
ｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（ｉ）関数は、「ｉ」が２以外のときは、ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ（）関数によって定義されるデータエレメントは記述されずに、ｕｓｅｒ＿ｄａｔａ（）関数によって定義されるデータエレメントのみが履歴ストリームとして記述される。よって、  ｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（０）関数は、  ｕｓｅｒ＿ｄａｔａ（）関数によって定義されるデータエレメントのみが履歴ストリームとして記述される。そして、履歴ストリーム中に、ＧＯＰ層のスタートコードを示すｇｒｏｕｐ＿ｓｔａｒｔ＿ｃｏｄｅが記述されている場合にのみ、  ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ（）関数によって定義されたデータエレメント、およびｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（１）関数によって定義されるデータエレメントが記述されている。
【００５３】
ｐｉｃｔｕｒｅ＿ｈｅａｄｒ（）関数によって定義されるデータエレメントには、例えば、ピクチャ層の開始同期コードを表すデータであるｐｉｃｔｕｒｅ＿ｓｔａｒｔ＿ｃｏｄｅ、ピクチャの表示順を示す番号で、ＧＯＰの先頭でリセットされるデータであるｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅなどがある。ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ（）関数によって定義されるデータエレメントには、例えば、フレームストラクチャかフィールドストラクチャかを示すデータであり、フィールドストラクチャの場合は上位フィールドか下位フィールドかもあわせて示すデータであるｐｉｃｔｕｒｅ＿ｓｔｒｕｃｔｕｒｅ、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータであるｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータであるｑ＿ｓｃａｌｅ＿ｔｙｐｅ、２：３プルダウンの際に使われるデータであるｒｅｐｅａｔ＿ｆｉｒｔ＿ｆｉｅｌｄなどがある。
【００５４】
ｒｅ＿ｃｏｄｉｎｇ＿ｓｔｒｅａｍ＿ｉｎｆｏ（）関数によって定義されるデータエレメントは、ＳＭＰＴＥ３２７Ｍにおいて定義されている。ｅｘｔｅｎｓｉｏｎｓ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（２）については、図８を用いて後述する。ｐｉｃｔｕｒｅ＿ｄａｔａ（）関数によって定義されるデータエレメントは、ｓｌｉｃｅ（）関数によって定義されるデータエレメントである。ｓｌｉｃｅ（）関数によって、ｍａｃｒｏｂｌｏｃｋ（）が定義され、ｍａｃｒｏｂｌｏｃｋ（）には、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ情報が記載されている。
【００５５】
図７で説明した、ｃｏｍｐｒｅｓｓｅｄ＿ｓｔｒｅａｍ＿ｆｏｒｍａｔ＿ｏｆ＿ＭＰＥＧ＿２＿ｒｅｃｏｄｉｎｇ＿ｓｅｔ（）のｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（２）内のｕｓｅｒ＿ｄａｔａ（２）に記載される情報について、図８を用いて説明する。
【００５６】
Ｓｔｒｅａｍ＿Ｉｎｆｏｒｍａｔｉｏｎ＿Ｈｅａｄｅｒは、３２ｂｉｔのデータであり、ｐｉｃｔｕｒｅ＿ｌａｙｅｒのｕｓｅｒ＿ｄａｔａでの識別用のＨｅａｄｅｒ番号が記載されており、ｕｓｅｒ＿ｄａｔａとしてこの情報を識別できる値が記載されている１６ｂｉｔのＳｔｒｅａｍ＿Ｉｎｆｏｒｍａｔｉｏｎ＿Ｈｅａｄｅｒ、Ｓｔｒｅｍａ＿Ｉｎｆｏｒｍａｔｉｏｎ（）のｂｙｔｅ長を示す、８ｂｉｔのＬｅｎｇｔｈ、および、ｍａｒｋｅｒ＿ｂｉｔｓで構成されている。
【００５７】
Ｅｎｃｏｄｅｒ＿Ｓｅｒｉａｌ＿Ｎｕｍｂｅｒは、エンコーダ（符号化部または符号化装置）に固有につけられる番号（シリアルナンバ）であり、１６ｂｉｔの情報である。Ｅｎｃｏｄｅｒ＿ＩＤは、エンコーダの機種を示すＩＤであり、１５ｂｉｔの情報である。
【００５８】
続くＥｎｃｏｄｉｎｇ＿Ｓｔａｔｅ＿Ｔｉｍｅ＿Ｃｏｄｅは、このストリームの生成が開始された時刻を示す情報であり、各ｂｙｔｅデータのｍｓｂを、ｍａｒｋｅｒ＿ｂｉｔ＝１とする、８ｂｙｔｅの情報である。ここでは、８ｂｙｔｅ中の６ｂｙｔｅが用いられて、ストリームの生成が開始された年（Ｔｉｍｅ＿Ｙｅａｒ）、月（Ｔｉｍｅ＿Ｍｏｎｔｈ）、日（Ｔｉｍｅ＿Ｄａｙ）、時（Ｔｉｍｅ＿Ｈｏｕｒ）、分（Ｔｉｍｅ＿Ｍｉｎｕｔｅ）、および、秒（Ｔｉｍｅ＿Ｓｅｃｏｎｄ）が記載されている。これらの値は、１ストリーム中で一定値となる。
【００５９】
Ｇｅｎｅｒａｔｉｏｎ＿Ｃｏｕｎｔｅｒ  （ＧｅｎＣ）は、符号化の世代数を示すカウンタ値であり、４  ｂｉｔの情報である。符号化の世代数は、ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）データからＡＳＩ（Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｓｅｒｉａｌ  Ｉｎｔｅｒｆａｃｅ）データにエンコードするときにカウントが開始され（第１世代とされ）、ＡＳＩデータからＡＳＩデータへの再エンコード時、またはＳＤＴＩ  ＣＰ（Ｓｅｒｉａｌ  Ｄａｔａ  Ｔｒａｎｓｐｏｒｔ  Ｉｎｔｅｒｆａｃｅ−Ｃｏｎｔｅｎｔｓ  Ｐａｃｋａｇｅ）データからＡＳＩデータの再エンコード時に、カウンタ値がインクリメントされる。
【００６０】
ＳＤＴＩ  ＣＰとは、Ｐｒｏ−ＭＰＥＧフォーラムの推進でＳＭＰＴＥ３２６Ｍとして標準化された、ＭＰＥＧデータをリアルタイムに伝送（同期転送）する世界標準規格であり、全てイントラフレーム（Ａｌｌ  Ｉｎｔｒａ）である場合の伝送方式である。ＳＤＩとは、Ｐｏｉｎｔ  ｔｏ  Ｐｏｉｎｔの伝送を基本に考えた、非圧縮のデジタルビデオ・オーディオの伝送方式であり、ＡＮＳＩ／ＳＭＰＴＥ２５９Ｍに規定されている。ＡＳＩとは、符号化されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリームデータの伝送方式である。
【００６１】
Ｃｏｎｔｉｎｕｉｔｙ＿Ｃｏｕｎｔｅｒとは、フレームごとにインクリメントされるカウンタであり、最大値をすぎたら、再度、０からカウントが開始される。また、必要に応じて、フレーム数ではなく、フィールド数やピクチャ数をカウントするようにしても良い。
【００６２】
そして、これ以下に説明する情報は、デコーダ（復号部または復号装置）にて復号された時に生成されるパラメータから抽出されて挿入される情報であるので、挿入前の状態においては、領域が確保されているだけである。
【００６３】
ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅは、ＭＰＥＧ２規格に準拠した、ピクチャのコーディングタイプを示す３  ｂｉｔの情報で、例えば、このピクチャは、Ｉピクチャであるか、Ｂピクチャであるか、Ｐピクチャである過などが示される。ｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅは、ＭＰＥＧ２  規格に準拠した、ＧＯＰの中の画像順を表す（ピクチャごとにカウントアップされる）１０ｂｉｔの情報である。
【００６４】
ｒｅｕｓｅ＿ｌｅｖｅｌとは、パラメータの再利用を規定するための７ｂｉｔの情報である。ｅｒｒｏｒ＿ｆｌａｇは、各種エラーを通知するためのフラグである。
【００６５】
ｈｅａｄｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ（Ａ）は、ｓｅｑｕｅｎｃｅ  ｈｅａｄｅｒ  ｐｒｅｓｅｎｔ  ｆｌａｇと、ＧＯＰ  ｈｅａｄｅｒ  ｐｒｅｓｅｎｔ  ｆｌａｇとの２ｂｉｔのフラグ情報である。
【００６６】
ｅｘｔｅｎｓｉｏｎ＿ｓｔａｒｔ＿ｃｏｄｅ＿ｆｌａｇｓは、ＳＭＰＴＥに規定されていない情報であり、各種の拡張ＩＤが含まれているか否かを示す１６ｂｉｔのフラグ情報であり、０は拡張ＩＤが含まれていないことを、１は拡張ＩＤが含まれていることを示す。拡張ＩＤには、例えば、ｓｅｑｕｅｎｃｅ  ｅｘｔｅｎｓｉｏｎ  ＩＤ、  ｓｅｑｕｅｎｃｅ  ｄｉｓｐｌａｙ  ｅｘｔｅｎｓｉｏｎ  ＩＤ、ｑｕａｎｔ  ｍａｔｒｉｘ  ｅｘｔｅｎｓｉｏｎ  ＩＤ、ｃｏｐｙｒｉｇｈｔ  ｅｘｔｅｎｓｉｏｎ  ＩＤ、ｓｅｑｕｅｎｃｅ  ｓｃａｌａｂｌｅ  ｅｘｔｅｎｓｉｏｎ  ＩＤ、ｐｉｃｔｕｒｅ  ｄｉｓｐｌａｙ  ｅｘｔｅｎｓｉｏｎ  ＩＤ、ｐｉｃｔｕｒｅ  ｃｏｄｉｎｇ  ｅｘｔｅｎｓｉｏｎ  ＩＤ、ｐｉｃｔｕｒｅ  ｓｐａｔｉａｌ  ｓｃａｌａｂｌｅ  ｅｘｔｅｎｓｉｏｎ  ＩＤ、ｐｉｃｔｕｒｅ  ｔｅｍｐｏｒａｌ  ｓｃａｌａｂｌｅ  ｅｘｔｅｎｓｉｏｎ  ＩＤなどがある。
【００６７】
ｏｔｈｅｒ＿ｓｔａｒｔ＿ｃｏｄｅｓ（図中ｏｔｈｅｒ）は、ユーザデータのスタートコードがどのレイヤに含まれているか、または、シーケンスエラーコードおよびシーケンスエンドコードが含まれているか否かを示す５ｂｉｔのフラグ情報である。
【００６８】
図中、Ｂと記載されているのは、ｒｅｄｕｃｅｄ＿ｂａｎｄｗｉｄｔｈ＿ｆｌａｇ（Ｂ）の１ｂｉｔの情報であり、Ｃと記載されているのは、ｒｅｄｕｃｅｄ＿ｂａｎｄｗｉｄｔｈ＿ｉｎｄｉｃａｔｏｒ（Ｃ）の２ｂｉｔの情報である。ｎｕｍ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｂｙｔｅｓは、ピクチャの発生量を示す２２ｂｉｔの情報であり、レートコントロールなどに用いられる。
【００６９】
ｂｉｔ＿ｒａｔｅ＿ｅｘｔｅｎｓｉｏｎは、１２ｂｉｔの、ビットレートに関する拡張情報領域であり、ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅは、１８ｂｉｔの情報である。ＳＭＰＴＥに規定されているフォーマットにおいて、ビットレートの情報は、統計多重されることにより、しばしば、特定の値（例えば、“ｆｆ“）で記載されているため、この情報を、再符号化に用いることはできない。これに対して、ｂｉｔ＿ｒａｔｅ＿ｅｘｔｅｎｓｉｏｎは、再符号化に用いるために、前の符号化における実際のビットレートの値が記載される領域である。
【００７０】
制御部１８５は、ヒストリー抽出部１７１から、図７および図８を用いて説明したヒストリー情報の供給を受け、ヒストリー情報に記載されている内容が、所定の条件に合致しているか否かを基に、画像並べ替え部１７２、動きベクトル検出部１７４、量子化値決定部１７７、ストリームスイッチ１８６の一部、もしくは全ての処理を制御する。
【００７１】
具体的には、制御部１８５は、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致しているか否かを判断し、一致していないと判断された場合、パラメータの再利用を行わなず、後述する通常の符号化を実行すると判断する。ディレイモードは、ＳＭＰＴＥ  ３２９Ｍのｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ（）関数のｌｏｗ＿ｄｅｌａｙに記載されている情報であり、ピクチャ構成およびプルダウンモードは、ＳＭＰＴＥ  ３２９Ｍのｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ（）関数のｐｉｃｔｕｒｅ＿ｓｔｒｕｃｔｕｒｅ、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔおよび、ｒｅｐｅａｔ＿ｆｉｒｔ＿ｆｉｅｌｄに、それぞれ記載されている情報である。
【００７２】
以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致していると判断された場合、制御部１８５は、次に符号化する画像枠は、ヒストリー情報に示されている符号化処理を行った画像枠と一致しているか否かを判断し、画像枠が一致していないと判断された場合、ピクチャタイプ（図８を用いて説明した、ｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（２）内のｕｓｅｒ＿ｄａｔａ（２）に記載されているｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）の情報のみを再利用する。画像枠が一致しているか否かは、ＳＭＰＴＥ  ３２９Ｍのｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（）関数に記載されているｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ＿ｖａｌｕｅおよびｖｅｒｔｉｃａｌ＿ｓｉｚｅ＿ｖａｌｕｅ、並びに、ＳＭＰＴＥ  ３２９Ｍのｖ＿ｐｈａｓｅおよびｈ＿ｐｈａｓｅを比較することにより判断される。
【００７３】
画像並び替え部１７２は、前の符号化のピクチャタイプが再利用されると判断された場合、制御部１８５から供給された制御信号を基に、ヒストリー情報に含まれているピクチャタイプを基に、画像の並び替えを実行する。
【００７４】
画像枠が一致していると判断された場合、制御部１８５は、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断し、いずれかの条件が満たされていなかったと判断された場合、ピクチャタイプの情報に加えて、動きベクトルの情報（ｐｉｃｔｕｒｅ＿ｄａｔａ（）関数のｓｌｉｃｅ（）関数に記載されているｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ情報）を再利用する。ビットレートの情報は、ＳＭＰＴＥ  ３２９Ｍのｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（２）内のｕｓｅｒ＿ｄａｔａ（２）のｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅに記載されている。クロマフォーマットの情報は、ＳＭＰＴＥ  ３２９Ｍのｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（）関数のｃｈｒｏｍａ＿ｆｏｒｍａｔに記載されている。
【００７５】
動きベクトル検出部１７４は、制御部１８５から供給された制御信号を基に、過去の符号化における動きベクトル情報を、動きベクトルとして再利用する。
【００７６】
以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、制御部１８５は、ピクチャタイプ、動きベクトルに加えて、量子化値（ｑ＿ｓｃａｌｅ）を再利用する。
【００７７】
量子化値決定部１７７は、制御部１８５からから供給された制御信号を基に、必要に応じて、再利用された量子化値を量子化部１７６に供給して、量子化を実行させる。
【００７８】
図６の説明に戻る。
【００７９】
映像並び替え部１７２は、制御部１８５の制御に基づいて、順次入力される画像データの各フレーム画像を、必要に応じて、並べ替えたり、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割したマクロブロックデータを生成して、演算部１７３、および、動きベクトル検出部１７４に供給する。
【００８０】
動きベクトル検出部１７４は、マクロブロックデータの入力を受け、制御部１８５の制御に基づいて、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ１８３に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部１８２に送出したり、制御部１８５から供給された過去の符号化の動きベクトルを再利用して、動き補償部１８２に送出する。
【００８１】
演算部１７３は、映像並び替え部１７２から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいた動き補償を行う。具体的には、演算部１７３は、Ｉピクチャに対してはイントラモードで動き補償を行い、Ｐピクチャに対しては、順方向予測モードで動き補償を行い、Ｂピクチャに対しては、双方向予測モードで動き補償を行うようになされている。
【００８２】
ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法であり、双方向予測モードとは、符号化対象となるフレーム画像と、過去と将来の参照画像との予測残差を伝送データとする方法である。
【００８３】
まず、マクロブロックデータがＩピクチャであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部１７３は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ  ：離散コサイン変換）部１７５に送出する。ＤＣＴ部１７５は、入力された演算データに対しＤＣＴ変換処理を行うことによりＤＣＴ係数化し、これをＤＣＴ係数データとして、量子化部１７６に送出する。
【００８４】
量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに基づいて、入力されたＤＣＴ係数データに対して量子化処理を行い、量子化ＤＣＴ係数データとしてＶＬＣ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅ；可変長符号化）部１７８および逆量子化部１７９に送出する。ここで、量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに応じて、量子化処理における量子化ステップサイズを調整することにより、発生する符号量を制御するようになされている。
【００８５】
逆量子化部１７９に送出された量子化ＤＣＴ係数データは、量子化部１７６と同じ量子化ステップサイズによる逆量子化処理を受け、ＤＣＴ係数データとして、逆ＤＣＴ部１８０に送出される。逆ＤＣＴ部１８０は、供給されたＤＣＴ係数データに逆ＤＣＴ処理を施し、生成された演算データは、演算部１８１に送出され、参照画像データとしてフレームメモリ１８３に記憶される。
【００８６】
そして、演算部１７３は、マクロブロックデータがＰピクチャであった場合、マクロブロックデータについて、順方向予測モードよる動き補償処理を行い、Ｂピクチャであった場合、マクロブロックデータについて、双方向予測モードによる動き補償処理を行う。
【００８７】
動き補償部１８２は、フレームメモリ１８３に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データ、または、双方向予測画像データを算出する。演算部１７３は、マクロブロックデータについて、動き補償部１８２より供給される順方向予測画像データ、または、双方向予測画像データを用いて減算処理を実行する。
【００８８】
すなわち、順方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００８９】
演算部１８１には、動き補償部１８２より順方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００９０】
また、双方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを双方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、双方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００９１】
演算部１８１には、動き補償部１８２より双方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、双方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００９２】
かくして、符号化部１６１に入力された画像データは、動き補償予測処理、ＤＣＴ処理および量子化処理を受け、量子化ＤＣＴ係数データとして、ＶＬＣ部１７８に供給される。ＶＬＣ部１７８は、量子化ＤＣＴ係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ１８４に送出する。バッファ１８４は、供給された可変長符号化データをバッファリングした後、ストリームスイッチ１８６に出力する。
【００９３】
ストリームスイッチ１８６は、制御部１８５の制御に基づいて、バッファ１８４から供給された可変長符号化データを出力する。
【００９４】
量子化値決定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、制御部１８５の制御に基づいて、蓄積状態を表す占有量情報、または、制御部１８５から供給される、過去の符号化のパラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定するようになされている。
【００９５】
量子化値決定部１７７は、上述したように、制御部１８５から過去の符号化パラメータに含まれる量子化値Ｑが供給され、過去の符号化の量子化値を再利用することができる場合、過去の符号化パラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定することができる。
【００９６】
また、量子化値決定部１７７は、ヒストリー情報を基に量子化ステップサイズを決定しない場合においては、目標発生符号量よりも実際に発生したマクロブロックの発生符号量が多いとき、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量よりも実際の発生符号量が少ないとき、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【００９７】
すなわち、量子化値決定部１７７は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、仮想バッファのバッファ占有量を求めて、量子化値Ｑを算出し、これを量子化部１７６に供給する。
【００９８】
ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）は、次の式（１）によって表され、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋１）は、次の式（２）によって表され、（１）式から（２）式を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋１）は、次の式（３）として表される。
【００９９】
ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−｛Ｔ×（ｊ−１）／ＭＢｃｎｔ｝・・・（１）
【０１００】
ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、ＭＢｃｎｔは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。
【０１０１】
ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｉ）−（Ｔ×ｊ）／ＭＢｃｎｔ・・・（２）
【０１０２】
ｄ（ｊ＋１）＝ｄ（ｊ）＋｛Ｂ（ｊ）−Ｂ（ｊ−１）｝−Ｔ／ＭＢｃｎｔ・・・（３）
【０１０３】
量子化値決定部１７７は、ピクチャ内のマクロブロックがイントラスライス部分とインタースライス部分とに分かれている場合には、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴｐｉおよびＴｐｐをそれぞれ個別に設定する。
【０１０４】
したがって、発生符号量制御部９２は、バッファ占有量ｄ（ｊ＋１）、および、式（４）に示される定数ｒを、式（５）に代入することにより、マクロブロック（ｊ＋１）の量子化インデックスデータＱ（ｊ＋１）を算出し、これを量子化部７５に供給する。
【０１０５】
ｒ＝（２×ｂｒ）／ｐｒ  ・・・（４）
Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ）  ・・・（５）
ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【０１０６】
量子化部１７６は、量子化値Ｑに基づいて、次のマクロブロックにおける量子化ステップサイズを決定し、量子化ステップサイズによってＤＣＴ係数データを量子化する。
【０１０７】
これにより、量子化部１７６は、１つ前のピクチャにおける実際の発生符号量に基づいて算出された、次のピクチャの目標発生符号量にとって最適な量子化ステップサイズによって、ＤＣＴ係数データを量子化することができる。
【０１０８】
かくして、量子化部１７６では、バッファ１８４のデータ占有量に応じて、バッファ１８４がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化ＤＣＴ係数データを生成することができる。
【０１０９】
なお、以上においては、符号化処理を、ピクチャ単位で行う場合について説明したが、符号化処理が、ピクチャ単位ではなく、例えば、スライス単位や、マクロブロック単位で行われる場合にも、基本的に同様にして、符号化処理が実行される。
【０１１０】
また、図４を用いて説明した、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して、低ビットレートのＬｏｎｇＧＯＰに再符号化する場合に、再符号化のための画像劣化が発生しないようになされているシステムについても、同様にして本発明を適用することが可能である。図９は、本発明を適用した、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して低ビットレートのＬｏｎｇＧＯＰに再符号化する場合に、ＶＢＶバッファの破綻を防止しつつ、再符号化のための画像劣化が発生しないようになされているシステムの構成を示すブロック図である。なお、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１１】
すなわち、図９のシステムは、トランスコーダ１３１に代わって、トランスコーダ２０１が備えられ、トランスコーダ２０１は、符号化部１４２に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報（パラメータ情報）を選択することが可能な符号化部２１１が設けられており、符号化部２１１には、復号部１４１から出力される復号された信号のほかに、復号部１４１に入力されているストリームデータも入力されているほかは、基本的に、トランスコーダ１３１と同様の構成を有する。
【０１１２】
トランスコーダ５１により符号化されたＭＰＥＧのＬｏｎｇ  ＧＯＰのストリーム（ＡＳＩストリーム）データの供給を受けたトランスコーダ２０１は、高ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部２１１に供給する。符号化部２１１は、必要に応じて、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ  ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。
【０１１３】
図１０は、符号化部２１１の構成を示すブロック図である。なお、図１０においては、図６の符号化部１６１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１４】
すなわち、符号化部２１１は、ヒストリー抽出部１７１が省略され、復号部１４１から供給されるパラメータを取得して制御部１８５に供給する、パラメータ入力部２２１が設けられているほかは、図６の符号化部１６１と、基本的に同様の構成を有するものである。
【０１１５】
制御部１８５は、パラメータ入力部２２１から、図７および図８を用いて説明したヒストリー情報と同様の情報を含むパラメータ情報の供給を受け、パラメータ情報に記載されている内容が、所定の条件に合致しているか否かを基に、画像並べ替え部１７２、動きベクトル検出部１７４、量子化値決定部１７７、ストリームスイッチ１８６の一部、もしくは全ての処理を制御する。
【０１１６】
具体的には、制御部１８５は、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致しているか否かを判断し、一致していないと判断された場合、パラメータの再利用を行わなず、後述する通常の符号化を実行すると判断する。ディレイモードは、ＳＭＰＴＥ  ３２９Ｍのｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ（）関数のｌｏｗ＿ｄｅｌａｙと同様にして、パラメータ情報に記載されている情報であり、ピクチャ構成およびプルダウンモードは、ＳＭＰＴＥ  ３２９Ｍのｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ（）関数のｐｉｃｔｕｒｅ＿ｓｔｒｕｃｔｕｒｅ、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔおよび、ｒｅｐｅａｔ＿ｆｉｒｔ＿ｆｉｅｌｄと同様にして、パラメータ情報に、それぞれ記載されている情報である。
【０１１７】
以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致していると判断された場合、制御部１８５は、次に符号化する画像枠は、パラメータ情報に示されている符号化処理を行った画像枠と一致しているか否かを判断し、画像枠が一致していないと判断された場合、ピクチャタイプの情報（図８を用いて説明した、ｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（２）内のｕｓｅｒ＿ｄａｔａ（２）に記載されているｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅと同様にして、パラメータ情報に記載されている情報）のみを再利用する。画像枠が一致しているか否かは、ＳＭＰＴＥ  ３２９Ｍのｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（）関数に記載されているｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ＿ｖａｌｕｅ、および、ｖｅｒｔｉｃａｌ＿ｓｉｚｅ＿ｖａｌｕｅ、並びに、ＳＭＰＴＥ  ３２９Ｍのｖ＿ｐｈａｓｅおよびｈ＿ｐｈａｓｅと同様にして、パラメータ情報に記載されている情報を比較することにより判断される。
【０１１８】
画像並び替え部１７２は、前の符号化のピクチャタイプが再利用されると判断された場合、制御部１８５から供給された制御信号を基に、パラメータ情報に含まれているピクチャタイプを基に、画像の並び替えを実行する。
【０１１９】
画像枠が一致していると判断された場合、制御部１８５は、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断し、いずれかの条件が満たされていなかったと判断された場合、ピクチャタイプの情報に加えて、動きベクトルの情報（ｐｉｃｔｕｒｅ＿ｄａｔａ（）関数のｓｌｉｃｅ（）関数に記載されているｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ情報と同様にして、パラメータ情報に記載されている情報）を再利用する。ビットレートの情報は、ＳＭＰＴＥ  ３２９Ｍのｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（２）内のｕｓｅｒ＿ｄａｔａ（２）のｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅと同様にして、パラメータ情報に記載されている情報である。クロマフォーマットの情報は、ＳＭＰＴＥ  ３２９Ｍのｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（）関数のｃｈｒｏｍａ＿ｆｏｒｍａｔと同様にして、パラメータ情報に記載されている。
【０１２０】
動きベクトル検出部１７４は、制御部１８５から過去の符号化の動きベクトル情報の供給を受け、動きベクトルとして再利用する。
【０１２１】
以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、制御部１８５は、パラメータのクロマフォーマットと今回のクロマフォーマットが一致しているか否かを判断し、一致していないと判断された場合、ピクチャタイプ、動きベクトルに加えて、量子化値（ｑ＿ｓｃａｌｅ）を再利用する。
【０１２２】
量子化値決定部１７７は、制御部１８５からから供給された制御信号を基に、過去の符号化に用いられた量子化値を量子化部１７６に供給して、量子化を実行させる。
【０１２３】
クロマフォーマットと今回のクロマフォーマットが一致していると判断された場合、制御部１８５は、ストリームスイッチ１８６を制御して、復号部１４１に入力されたストリームデータを出力する。
【０１２４】
なお、図１０の符号化部２１１においては、パラメータ情報に含まれる前の符号化に関する情報を再利用するか否かにかかわる制御部１８５の処理以外の通常の符号化処理については、図６を用いて説明した符号化部１６１と同様の処理が実行されるので、その詳細な説明は省略する。
【０１２５】
すなわち、図６を用いて説明した符号化部１６１および図１０を用いて説明した符号化部２１１において、ヒストリー情報またはパラメータ情報を再利用しない場合、通常のエンコードが行われ、ピクチャタイプを再利用する場合、ヒストリー情報に含まれるＳＭＰＴＥ３２９Ｍのｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ、または、パラメータ情報に含まれる同様の情報が再利用され、更に動きベクトルを再利用する場合、ヒストリー情報に含まれるｒｅｄ＿ｂｗ＿ｉｎｄｉｃａｔｏｒ＝０からｑ＿ｓｃａｌｅ＿ｃｏｄｅを除いた情報、または、パラメータ情報に含まれる同様の情報が再利用され、更に量子化値を再利用する場合、ヒストリー情報に含まれるｒｅｄ＿ｂｗ＿ｉｎｄｉｃａｔｏｒ＝０、または、パラメータ情報に含まれる同様の情報が再利用され、エンコーダへの入力ストリームが出力される場合、ストリームスイッチ１８６が制御されて、前段の復号部へ入力されたストリームデータが出力される。
【０１２６】
次に、図１１のフローチャートを参照して、図６の符号化部１６１および図１０の符号化部２１１が実行する処理について説明する。
【０１２７】
ステップＳ１において、制御部１８５は、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータ情報の供給を受け、ヒストリー情報に含まれるＳＭＰＴＥ  ３２９Ｍのｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ（）関数のｌｏｗ＿ｄｅｌａｙ、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ（）関数のｐｉｃｔｕｒｅ＿ｓｔｒｕｃｔｕｒｅ、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔおよび、ｒｅｐｅａｔ＿ｆｉｒｔ＿ｆｉｅｌｄ、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致しているか否かを判断する。
【０１２８】
ステップＳ１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していないと判断された場合、ステップＳ２において、制御部１８５は、パラメータの再利用を行わないものとし、符号化部１６１または符号化部２１１の各部を制御して、符号化を実行させ、処理が終了される。
【０１２９】
ステップＳ１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していていると判断された場合、ステップＳ３において、制御部１８５は、供給されたヒストリー情報に含まれる、ＳＭＰＴＥ  ３２９Ｍのｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（）関数に記載されているｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ＿ｖａｌｕｅ、および、ｖｅｒｔｉｃａｌ＿ｓｉｚｅ＿ｖａｌｕｅ、並びに、ＳＭＰＴＥ  ３２９Ｍのｖ＿ｐｈａｓｅおよびｈ＿ｐｈａｓｅ、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否かを判断する。
【０１３０】
ステップＳ３において、以前の符号化が実行された画像枠と再符号化時の画像枠とで、位置または大きさのうちの少なくともひとつが一致していないと判断された場合、ステップＳ４において、制御部１８５は、ピクチャタイプ（ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）の情報を再利用して符号化を行うものとし、画像並び替え部１７２を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０１３１】
ステップＳ３において、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致したと判断された場合、ステップＳ５において、制御部１８５は、ヒストリー情報に含まれているＳＭＰＴＥ  ３２９Ｍのｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（２）内のｕｓｅｒ＿ｄａｔａ（２）のｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ、および、ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（）関数のｃｈｒｏｍａ＿ｆｏｒｍａｔ、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照し、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断する。
【０１３２】
ステップＳ５において、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも大きいか、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより小さいと判断された場合、ステップＳ６において、制御部１８５は、ピクチャタイプ、および、動きベクトルの情報（ｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ情報）を再利用して符号化を行うものとし、画像並び替え部１７２を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部１７４に過去の符号化における動きベクトル情報を供給して再利用させ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０１３３】
ステップＳ５において、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、ステップＳ７において、制御部１８５は、復号部からパラメータが供給され（すなわち、ヒストリー情報が用いられて再利用符号化が行われるのではなく、パラメータ情報が用いられて再利用符号化が行われており）、かつ、供給されたパラメータ情報に含まれているＳＭＰＴＥ  ３２９Ｍのｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（）関数のｃｈｒｏｍａ＿ｆｏｒｍａｔと同様の情報を参照して、パラメータのクロマフォーマットと今回のクロマフォーマットが一致しているか否かを判断する。すなわち、符号化部２１１を含むトランスコーダ２０１が、例えば、４：２：０フォーマットから、４：２：２フォーマットへのフォーマット変換を行う場合などにおいては、クロマフォーマットが一致しないと判断される。
【０１３４】
ステップＳ７において、復号部１４１からパラメータが供給されるのではなく、復号部１６１からヒストリー情報が供給されているか、または、パラメータ情報のクロマフォーマットと今回のクロマフォーマットが一致していないと判断された場合、ステップＳ８において、制御部１８５は、ピクチャタイプ、動きベクトル、および、量子化値の情報（ｑ＿ｓｃａｌｅ）を再利用して符号化を行うものとし、画像並び替え部１７２を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部１７４に過去の符号化における動きベクトル情報を供給して再利用させ、量子化値決定部１７７に、ヒストリー情報またはパラメータ情報に含まれていた量子化値を量子化部１７６に供給させて、量子化を実行させ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０１３５】
ステップＳ７において、復号部１４１からパラメータが供給され、かつ、パラメータ情報のクロマフォーマットと今回のクロマフォーマットが一致していると判断された場合、ステップＳ９において、制御部１８５は、ストリームスイッチ１８６を制御して、復号部１４１に入力されたストリームデータを出力し、処理が終了される。
【０１３６】
このような処理により、以前の符号化と今回の符号化とを比較して、満たされている条件に基づいて、再利用可能な符号化情報を選択することができるようにしたので、復号および符号化の処理が繰り返されるような場合においても、画像データの劣化を防ぐようにすることができる。
【０１３７】
なお、図１１のフローチャートによる説明においては、ステップＳ１、ステップＳ３、ステップＳ５、または、ステップＳ７の処理において、以前の符号化における符号化のパラメータと、今回の符号化の条件とを比較して、所定の条件を満たしているか否かを、それぞれ、判断するものとして説明したが、例えば、データ伝送のシステムにおいて、固定となっているパラメータが存在するような場合においては、そのパラメータに関する判断処理が省略されるようにしても良い。
【０１３８】
なお、本発明は、例えば、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされているローディレイエンコードを行う場合においても適用可能である。
【０１３９】
また、本発明は、ローディレイコーディングとして各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合においても、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにした場合においても適用可能である。
【０１４０】
更に、上述の実施の形態においては、本発明をＭＰＥＧ方式によって圧縮符号化する符号化部１６１、または、符号化部２１１に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。
【０１４１】
なお、上述の実施の形態においては、ストリームデータを変換するトランスコーダが、それぞれ、復号部と符号化部を有しているものとして説明したが、復号部および符号化部が、それぞれ、復号装置および符号化装置として、独立した装置として構成されている場合においても、本発明は適用可能である。
【０１４２】
すなわち、上述の実施の形態においては、それぞれのトランスコーダが、ストリームデータを変換するものとして説明したが、例えば、図１２に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置２５１、ベースバンド信号を符号化してストリームデータに変換する符号化装置２５２が、それぞれ独立した装置として構成されていても良い。更に、復号装置２５１が、供給されたストリームデータを完全に復号せず、対応する符号化装置２５２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０１４３】
例えば、復号装置２５１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していなかった場合、符号化装置２５２は、量子化および可変長符号化処理を行うが、ＤＣＴ変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行う符号化装置２５２の量子化における量子化値を再利用するか否かの決定において、本発明を適用することができるのは言うまでもない。
【０１４４】
更に、復号装置２５１が完全に復号したベースバンド信号を、符号化装置２５２が中途段階まで符号化する場合（例えば、ＤＣＴ変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置２５１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置２５２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１４５】
更に、このような部分的な復号を行う符号化装置２５１と部分的な符号化を行う符号化装置２５２で構成されたトランスコーダ２６１においても、本発明は適用可能である。このようなトランスコーダ２６１は、例えば、スプライシングなどの編集を行う編集装置２６２が利用される場合などに用いられる。
【０１４６】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、トランスコーダ１５１や、トランスコーダ２０１は、図１３に示されるようなパーソナルコンピュータ３０１により構成される。
【０１４７】
図１３において、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４８】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０１４９】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５０】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０１５１】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５２】
この記録媒体は、図１３に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）を含む）、光磁気ディスク３３３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０１５３】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。
【０１５４】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５５】
【発明の効果】
このように、本発明によれば、画像データを符号化することができる。特に、符号化に関する情報を取得して、符号化に関する条件と比較することにより、符号化に関する情報のうち、再利用可能な情報を選択することができる。
【０１５６】
また、他の本発明によれば、画像データを変換することができるほか、符号化時に、符号化に関する情報を取得して、符号化に関する条件と比較することにより、符号化に関する情報のうち、再利用可能な情報を選択することができる。
【図面の簡単な説明】
【図１】フレーム編集を行う場合の再符号化が行われる従来のシステムを説明するための図である。
【図２】ＭＰＥＧのＬｏｎｇ  ＧＯＰのビットレートを変更して再符号化することが可能な従来のシステムについて説明するための図である。
【図３】フレーム編集を行う場合の再符号化が行われる従来のシステムにおいて、符号化履歴情報を利用する場合について、説明するための図である。
【図４】ＭＰＥＧのＬｏｎｇ  ＧＯＰのビットレートを変更して再符号化することが可能な従来のシステムで符号化履歴情報を利用する場合について、説明するための図である。
【図５】本発明を適用した、フレーム編集を行う場合の再符号化が行われるシステムの構成を示すブロックである。
【図６】図５の符号化部の構成を示すブロック図である。
【図７】ＳＭＰＴＥ  ３２９Ｍに規定されている、ｃｏｍｐｒｅｓｓｅｄ＿ｓｔｒｅａｍ＿ｆｏｒｍａｔ＿ｏｆ＿ＭＰＥＧ＿２＿ｒｅｃｏｄｉｎｇ＿ｓｅｔ（）のシンタックスについて説明するための図である。
【図８】ｅｘｔｅｎｓｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（２）内のｕｓｅｒ＿ｄａｔａ（２）に記載されている情報について説明するための図である。
【図９】本発明を適用した、ＭＰＥＧのＬｏｎｇ  ＧＯＰのビットレートを変更して再符号化することが可能なシステムの構成を示すブロック図である。
【図１０】図９の符号化部の構成を示すブロック図である。
【図１１】本発明を適用した符号化部が実行する処理について説明するフローチャートである。
【図１２】本発明を適用可能な異なる装置の構成について説明するための図である。
【図１３】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
１  伝送路，  ３  フレーム編集装置，  １０１  トランスコーダ，  １１１復号部，  １１２  符号化部，  １２１  復号部，  １５１  トランスコーダ，  １６１  符号化部，  １７１  ヒストリー抽出部，  １７２  画像並べ替え部，  １７３  演算部，  １７４  動きベクトル検出部，  １７５  ＤＣＴ部，１７６  量子化部，  １７７  レート設定部，  １７８  ＶＬＣ部，  １７９逆量子化部，  １８０  逆ＤＣＴ部，  １８１  演算部，  １８２  動き補償部，  １８３  フレームメモリ，  １８４  バッファ，  １８５  制御部，  １８６  ストリームスイッチ，  ２０１  トランスコーダ，  ２１１  符号化部，２２１  パラメータ入力部
【図１】
2004343280.tif 000003
【図２】
2004343280.tif 000004
【図３】
2004343280.tif 000005
【図４】
2004343280.tif 000006
【図５】
2004343280.tif 000007
【図６】
2004343280.tif 000008
【図７】
2004343280.tif 000009
【図８】
2004343280.tif 000010
【図９】
2004343280.tif 000011
【図１０】
2004343280.tif 000012
【図１１】
2004343280.tif 000013
【図１２】
2004343280.tif 000014
【図１３】
2004343280.tif 000015