(57)【要約】【課題】ＪＰＥＧデータをＭＰＥＧ−４データに変換するには、一旦画素値まで復号してから再度符号化を行うため、処理が大規模であり、画質も劣化する。【解決手段】分離器４で、ＪＰＥＧ符号化データをヘッダ情報とフレームデータに分離し、画像情報符号化器６及び符号化パラメータ符号化器７でＭＰＥＧ−４方式のヘッダを生成する。符号変換設定器９では、ＭＰＥＧ−４のＩｎｔｒａ用テーブルとヘッダ内の符号化パラメータに基づいて可変長符号用の変換テーブルを設定し、符号変換器１４で該変換テーブルに従って、フレームデータ内の可変長符号を変換する。ＶＬＣ復号器１１，ＤＣ予測器１２，ＤＣ符号化器１３では、フレーム内のＤＣ成分を量子化値に復号してＭＰＥＧ−４の予測符号化を行なう。そして整形器１５において上記各構成からの出力を整形して、ＭＰＥＧ−４の符号化データとして出力する。【選択図】    図１
2004186811.tif 000002
【特許請求の範囲】
【請求項１】
画像を第１の符号化方式で符号化した第１の符号化データを入力する符号化データ入力手段と、
前記第１の符号化データから符号化のヘッダ情報を抽出するヘッダ抽出手段と、
前記ヘッダ情報から第２の符号化方式のヘッダを生成するヘッダ生成手段と、前記第２の符号化方式における所定のパラメータと前記符号化パラメータとに基づき、可変長符号用の変換方法を設定する変換方法設定手段と、
前記第１の符号化データからフレームの符号化データを抽出するフレームデータ抽出手段と、
前記フレームの符号化データ内の可変長符号を、前記変換方法設定手段で設定された変換方法に従って変換する可変長符号変換手段と、
前記フレームの符号化データ内のＤＣ成分を、量子化値に復号して前記第２の符号化方式による予測符号化を行なうＤＣ成分変換手段と、
前記ヘッダ生成手段と前記可変長符号変換手段、及び前記ＤＣ成分変換手段からの出力を整形して、前記第２の符号化方式による符号化データとして出力する符号化データ出力手段と、
を有することを特徴とする符号化データ変換装置。
【請求項２】
前記フレームデータ抽出手段によって抽出されたフレームの符号化データ内の可変長符号を復号する可変長符号復号手段と、
前記可変長符号の復号結果を格納する格納手段と、
前記格納手段に格納された前記復号結果を参照して動きベクトルを探索し、該動きベクトルに基づいて前記復号結果の予測誤差を算出する動き補償手段と、
前記予測誤差を符号化する予測誤差符号化手段と、をさらに有し、
前記符号化データ出力手段はさらに、前記予測誤差符号化手段からの出力を含めて整形して、前記第２の符号化方式による符号化データとして出力することを特徴とする請求項１記載の符号化データ変換装置。
【請求項３】
前記動き補償手段は、フレーム内符号化及びフレーム間符号化のいずれを行なうかを決定することを特徴とする請求項２記載の符号化データ変換装置。
【請求項４】
前記動き補償手段及び前記予測誤差符号化手段は、フレーム内符号化を行う際には動作せず、フレーム間符号化を行う際に動作することを特徴とする請求項３記載の符号化データ変換装置。
【請求項５】
前記動き補償手段は、１６画素精度での動き補償を行うことを特徴とする請求項２記載の符号化データ変換装置。
【請求項６】
前記予測誤差符号化手段は、フレーム内符号化を行う際にＡＣ予測符号化を行うことを特徴とする請求項４記載の符号化データ変換装置。
【請求項７】
前記ＤＣ成分変換手段は、フレーム内符号化を行う際に動作することを特徴とする請求項２記載の符号化データ変換装置。
【請求項８】
前記ヘッダ情報は、画像の記述情報と符号化のパラメータ情報を含むことを特徴とする請求項１または２記載の符号化データ変換装置。
【請求項９】
前記変換方法設定手段は、可変長符号用の変換テーブルを設定することを特徴とする請求項１または２記載の符号化データ変換装置。
【請求項１０】
前記第１の符号化方式はフレーム内符号化方式であり、前記第２の符号化方式はフレーム間符号化方式であることを特徴とする請求項１または２記載の符号化データ変換装置。
【請求項１１】
前記第１の符号化方式はＪＰＥＧ符号化方式であることを特徴とする請求項１０に記載の符号化データ変換装置。
【請求項１２】
前記第２の符号化方式はＭＰＥＧ−４符号化方式であることを特徴とする請求項１０に記載の符号化データ変換装置。
【請求項１３】
画像を第１の符号化方式で符号化した第１の符号化データを入力する符号化データ入力ステップと、
前記第１の符号化データから符号化のヘッダ情報を抽出するヘッダ抽出ステップと、
前記ヘッダ情報から第２の符号化方式のヘッダを生成するヘッダ生成ステップと、
前記第２の符号化方式における所定のパラメータと前記符号化パラメータとに基づき、可変長符号用の変換方法を設定する変換方法設定ステップと、
前記第１の符号化データからフレームの符号化データを抽出するフレームデータ抽出ステップと、
前記フレームの符号化データ内の可変長符号を、前記変換方法設定ステップで設定された変換方法に従って変換する可変長符号変換ステップと、
前記フレームの符号化データ内のＤＣ成分を、量子化値に復号して前記第２の符号化方式による予測符号化を行なうＤＣ成分変換ステップと、
前記ヘッダ生成ステップと前記可変長符号変換ステップ、及び前記ＤＣ成分変換ステップによる出力を整形して、前記第２の符号化方式による符号化データとして出力する符号化データ出力ステップと、
を有することを特徴とする符号化データ変換方法。
【請求項１４】
前記フレームデータ抽出ステップにおいて抽出されたフレームの符号化データ内の可変長符号を復号する可変長符号復号ステップと、
前記可変長符号の復号結果を参照して動きベクトルを探索し、該動きベクトルに基づいて前記復号結果の予測誤差を算出する動き補償ステップと、
前記予測誤差を符号化する予測誤差符号化ステップと、をさらに有し、
前記符号化データ出力ステップにおいてはさらに、前記予測誤差符号化ステップによる出力を含めて整形して、前記第２の符号化方式による符号化データとして出力することを特徴とする請求項１３記載の符号化データ変換方法。
【請求項１５】
前記動き補償ステップにおいては、フレーム内符号化及びフレーム間符号化のいずれを行なうかを決定することを特徴とする請求項１４記載の符号化データ変換方法。
【請求項１６】
前記動き補償ステップ及び前記予測誤差符号化ステップは、フレーム内符号化を行う際には実行されず、フレーム間符号化を行う際に実行されることを特徴とする請求項１５記載の符号化データ変換方法。
【請求項１７】
前記動き補償ステップにおいては、１６画素精度での動き補償を行うことを特徴とする請求項１４記載の符号化データ変換方法。
【請求項１８】
前記予測誤差符号化ステップにおいては、フレーム内符号化を行う際にＡＣ予測符号化を行うことを特徴とする請求項１６記載の符号化データ変換方法。
【請求項１９】
前記ＤＣ成分変換ステップは、フレーム内符号化を行う際に実行されることを特徴とする請求項１４記載の符号化データ変換方法。
【請求項２０】
前記ヘッダ情報は、画像の記述情報と符号化のパラメータ情報を含むことを特徴とする請求項１３または１４記載の符号化データ変換方法。
【請求項２１】
前記変換方法設定ステップにおいては、可変長符号用の変換テーブルを設定することを特徴とする請求項１３または１４記載の符号化データ変換方法。
【請求項２２】
前記第１の符号化方式はフレーム内符号化方式であり、前記第２の符号化方式はフレーム間符号化方式であることを特徴とする請求項１３または１４記載の符号化データ変換方法。
【請求項２３】
前記第１の符号化方式はＪＰＥＧ符号化方式であることを特徴とする請求項２２に記載の符号化データ変換方法。
【請求項２４】
前記第２の符号化方式はＭＰＥＧ−４符号化方式であることを特徴とする請求項２２に記載の符号化データ変換方法。
【請求項２５】
コンピュータ上で実行されることによって、該コンピュータを請求項１乃至１２のいずれかに記載の符号化データ変換装置として動作させることを特徴とするプログラム。
【請求項２６】
請求項２５記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化データを変換する符号化データ変換装置及びその方法に関する。
【０００２】
【従来の技術】
近年、カメラのデジタル化が進み、動画像の符号化方式を採用するものが出始めた。例えばデジタルスチールカメラにおいては、静止画を記録する際にＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）符号化方式を採用しており、これを連続して符号化することによって動画記録を行なうＭｏｔｈｉｏｎ  ＪＰＥＧが普及しつつある。
【０００３】
一方で、ＰＣの普及に伴い、インターネットで動画像をやり取りしたり、配信したりする方式として、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）が標準化したＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−４符号化方式が利用され始めている。ＭＰＥＧ−４符号化方式はフレーム間符号化方式であり、従来のＭＰＥＧ−１，２といった符号化方式に比べ、特に低ビットレートに向いており、インターネット等での利用には最適な符号化方式となっている。
【０００４】
従来のＭＰＥＧ−１符号化方式で符号化して得られたビットストリームを、ＭＰＥＧ−４符号化方式のビットストリームに変換する技術が開示されている（例えば、特許文献１参照）。また、ＭＰＥＧ−２符号化方式のビットストリームをＭＰＥＧ−４符号化方式のビットストリームに変換する手法が開示されている（例えば、特許文献２参照）。
【特許文献１】
特開２００１−２３８２１４
【特許文献２】
特開２００１−２３８２１８
【０００５】
【発明が解決しようとする課題】
上述したようなＭｏｔｉｏｎ  ＪＰＥＧによる符号化データを、ＭＥＰＧ−４符号化方式のビットストリームと同様に例えばインターネット上で利用したいという要求がある。しかしながら、Ｍｏｔｉｏｎ  ＪＰＥＧ符号化方式はフレーム内符号化方式であるため、そのままでは符号化効率を上げることができず、インターネット等で配信するためには容量が大きすぎるといった問題が生じてしまう。
【０００６】
そこで、上記Ｍｏｔｉｏｎ  ＪＰＥＧによる符号化データを、ＭＰＥＧ−４符号化方式のビットストリームに変換する技術が必要とされるが、Ｍｏｔｉｏｎ  ＪＰＥＧ符号化方式のビットストリームをＭＰＥＧ−４符号化方式のビットストリームに変換するには、一度画素値に戻してから、動き補償を行なう必要がある。従って、一旦復号した後に再度符号化を行わねばならないため、処理が大規模になってしまう。さらにこの場合、再度の符号化を行うことにより、入力された画像データに対して新たな劣化が加わってしまう。
【０００７】
本発明は上記課題を解決するためになされたものであり、画質を劣化させずに、第１の符号化データを第２の符号化データに高速かつ、小規模な構成で変換することができる符号化データ変換装置及びその方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明の符号化データ変換装置は以下の構成を備える。
【０００９】
すなわち、画像を第１の符号化方式で符号化した第１の符号化データを入力する符号化データ入力手段と、前記第１の符号化データから符号化のヘッダ情報を抽出するヘッダ抽出手段と、前記ヘッダ情報から第２の符号化方式のヘッダを生成するヘッダ生成手段と、前記第２の符号化方式における所定のパラメータと前記符号化パラメータとに基づき、可変長符号用の変換方法を設定する変換方法設定手段と、前記第１の符号化データからフレームの符号化データを抽出するフレームデータ抽出手段と、前記フレームの符号化データ内の可変長符号を、前記変換方法設定手段で設定された変換方法に従って変換する可変長符号変換手段と、前記フレームの符号化データ内のＤＣ成分を、量子化値に復号して前記第２の符号化方式による予測符号化を行なうＤＣ成分変換手段と、前記ヘッダ生成手段と前記可変長符号変換手段、及び前記ＤＣ成分変換手段からの出力を整形して、前記第２の符号化方式による符号化データとして出力する符号化データ出力手段と、を有することを特徴とする。
【００１０】
さらに、前記フレームデータ抽出手段によって抽出されたフレームの符号化データ内の可変長符号を復号する可変長符号復号手段と、前記可変長符号の復号結果を格納する格納手段と、前記格納手段に格納された前記復号結果を参照して動きベクトルを探索し、該動きベクトルに基づいて前記復号結果の予測誤差を算出する動き補償手段と、前記予測誤差を符号化する予測誤差符号化手段と、を有し、前記符号化データ出力手段はさらに、前記予測誤差符号化手段からの出力を含めて整形して、前記第２の符号化方式による符号化データとして出力することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００１２】
＜第１実施形態＞
図１は、本実施形態における符号化データ変換システムの構成を示すブロック図である。同図において、１は本発明に係る符号化データ変換装置である。２，３は記憶装置であり、記憶装置２にはＭｏｔｉｏｎ  ＪＰＥＧ符号化方式で符号化された符号化データが、記憶装置３にはＭＰＥＧ−４符号化方式で符号化された符号化データが、それぞれ格納される。なお、本実施形態においてはこれらの符号化方式を例として説明するが、本発明はこれらの符号化方式に限定されず、他の符号化方式に対しても適用可能である。
【００１３】
４は分離器であり、Ｍｏｔｉｏｎ  ＪＰＥＧ符号化方式の符号化データを解釈し、ヘッダやフレーム単位の符号化データに分離する。５はヘッダ解析器であり、ＪＰＥＧ符号化方式の符号化データの各ヘッダを解釈し、画像そのものを記述する画像情報と符号化に必要なパラメータに分離する。６は画像情報符号化器であり、画像を記述する画像情報を符号化し、ＭＰＥＧ−４符号化方式のヘッダを生成する。７は符号化パラメータ符号化器であり、符号化パラメータのうちＭＰＥＧ−４符号化方式で必要な諸パラメータを符号化し、ＭＰＥＧ−４符号化方式のヘッダを生成する。
【００１４】
８は、ＭＰＥＧ−４符号化方式でＩｎｔｒａマクロブロック符号化を行なう際に使用する、可変長符号化の符号化テーブルを予め格納しておくＭＰＥＧ−４ＶＬＣメモリである。９は符号変換設定器であり、ヘッダ解析部５で分離された符号化パラメータと、ＭＰＥＧ−４ＶＬＣメモリ８に格納された符号化テーブルから、符号の変換に必要なテーブル等を生成する。
【００１５】
１０はフレームの符号化データを一時的に格納するメモリであり、ブロック単位で後段に符号化データを送出する。１１は各ブロックのＤＣ成分の可変長符号を復号するＶＬＣ復号器、１２は周囲のＤＣ成分からＭＰＥＧ−４符号化方式のＤＣ予測の方式に則って予測を行なうＤＣ予測器、１３はＤＣ予測器１２で得られたＤＣ成分の予測誤差をＭＰＥＧ−４符号化方式に則って可変長符号化するＤＣ符号化器である。
【００１６】
１４は、符号変換設定器９で生成した変換テーブル等の情報に基づいて、ＡＣ成分のＪＰＥＧ符号化方式の符号化データをＭＰＥＧ−４符号化方式の符号化データに変換する符号変換器である。
【００１７】
１５は、画像情報符号化器６、符号化パラメータ符号化器７、ＤＣ符号化器１３、符号変換器１４の出力を、ＭＰＥＧ−４符号化方式の書式に従った符号化データに整形する整形器である。
【００１８】
以下、上述した構成からなる符号化データ変換システムにおける符号の変換動作について説明する。変換処理に先立ち、まずは各部の初期化を行なう。すなわち、メモリ１０はクリアされ、各部のパラメータがリセットされる。また、記憶装置２では変換するＭｏｔｉｏｎ  ＪＰＥＧ符号化方式の符号化データが選択され、その読み出し開始位置を設定する。また、記憶装置３では空いている領域で書き込み可能な領域の書き込み開始位置を設定する。
【００１９】
初期化処理が終了すると、記憶装置２からＭｏｔｉｏｎ  ＪＰＥＧ符号化方式の符号化データが符号化データ変換装置１に入力される。符号化データ変換装置１の分離器４は最初のＪＰＥＧ符号化データを読み込み、ヘッダやフレーム単位の符号化データに分離して、ヘッダはヘッダ解析器５に、フレームの符号化データはメモリ１０に蓄積される。
【００２０】
ヘッダ解析器５はＪＰＥＧ符号化方式のヘッダを解釈する。ＪＰＥＧ符号化方式では、最初にイメージ層の符号化データが入力される。なお、ＪＰＥＧ符号化方式に関してはＩＳＯ１０９１８−１に詳細が記載されているため、ここでは詳細な説明を省略するが、画像開始のマーカーコードに続き、各種のテーブルデータが記述されている。ＪＰＥＧ符号化方式では、量子化マトリクスやハフマンテーブルについてのデフォルトが存在しないため、これらが符号化されている。これらは符号化や復号に必要不可欠な符号化パラメータであり、符号化パラメータ符号化器７に入力される。量子化マトリクスとしては、量子化テーブル定義のＤＱＴマーカーコードに続いて６４個の量子化テーブル要素が存在しているためにこれを読み出すか、または、量子化テーブル番号に従って量子化テーブル要素を読み出し、これらの量子化テーブルのデータは符号化パラメータ符号化器７に入力される。またハフマンテーブルとしては、ハフマン定義のＤＨＴマーカーコードに続いてハフマン符号が存在しているために、これを読み出して符号変換設定器９に入力する。
【００２１】
符号化パラメータ符号化器７では、入力された量子化テーブル要素と、ＭＰＥＧ−４符号化方式のＩｎｔｒａブロックにおけるデフォルトの量子化マトリクスとの比較を行なう。なお、ＭＰＥＧ−４符号化方式に関してはＩＳＯ１４４９６−２に詳細が記載されているため、ここでは詳細な説明を省略する。入力された量子化テーブル要素がデフォルトの量子化マトリクスと異なるようであれば、ＶＯＬ（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｌａｙｅｒ）ヘッダのｌｏａｄ＿ｉｎｔｒａ＿ｑｕａｎｔ＿ｍａｔ符号を１にし、ｌｏａｄ＿ｉｎｔｒａ＿ｍａｔ符号としてＡＣ成分の量子化テーブル要素を記述しておく。さらに、ＶＯＰ（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｐｌａｎｅ）ヘッダのｖｏｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ符号は常にｉｎｔｒａ−ｃｏｄｅｄ（Ｉ）を示す“００”とする。マクロブロック単位でのＡＣ予測符号化を行なうか否かを記述するａｃ＿ｐｒｅｄ＿ｆｌａｇ符号は０としておく。
【００２２】
符号変換設定器９では、ハフマンテーブルの処理を行なう。以下、ＪＰＥＧ符号化方式のハフマンテーブルがＩＳＯ１０９１８−１の表Ｋ．５に記載されたテーブルであった場合を例として説明する。まず、ラン長が０である符号を表１に抜き出す。
【００２３】
【表１】
2004186811.tif 000003
【００２４】
また、ＭＰＥＧ−４符号化方式のハフマンテーブルは、ＩＳＯ１４４９６−２のＴａｂｌｅＢ−１６に記載されているように一義に決まっており、ＭＰＥＧ−４ＶＬＣメモリ８にそれぞれの値が格納されている。但し、ＭＰＥＧ−４符号化方式はＪＰＥＧ符号化方式の２次元ハフマンに対し、ＬＡＳＴ，ＲＵＮ，ＶＡＬＵＥの３次元符号化方式である。従って、まずはＬＡＳＴが０のハフマンについて説明するため、ラン長０でＬＡＳＴが０の符号を抜き出した結果を表２に示す。
【００２５】
【表２】
2004186811.tif 000004
【００２６】
また、ＪＰＥＧ符号化方式で入力されたハフマン符号に続いてＥＯＢが続く場合が、ＬＡＳＴが１である状態となるため、ラン長０でＬＡＳＴが１の符号を抜き出した結果を表３に示す。
【００２７】
【表３】
2004186811.tif 000005
【００２８】
ここで、符号にｅｓｃａｐｅと記された符号は固定長の符号であり、ＶＡＬＵＥが９の場合は
００００１  １  ００００００  １  ０００００００１００１  １  ００００
となり、１０の場合は
００００１  １  ００００００  １  ０００００００１０１０  １  ００００
となる。従って、続いてＥＯＢ符号が無い場合、ＪＰＥＧ符号化方式のハフマンをＭＰＥＧ−４符号化方式のハフマンに変換するテーブルは、表１と表２に基づき、表４のように作成される。
【００２９】
【表４】
2004186811.tif 000006
【００３０】
また、ＥＯＢが続く場合は、ＪＰＥＧ符号化方式のハフマンをＭＰＥＧ−４符号化方式のハフマンに変換するテーブルは、表１と表３に基づき、表５のように作成される。
【００３１】
【表５】
2004186811.tif 000007
【００３２】
符号変換設定器９では、他のハフマン符号に関しても同様に、ＭＰＥＧ−４ＶＬＣメモリ８に格納されたＭＰＥＧ−４符号化方式のハフマンテーブルと比較して、変換テーブルを作成する。以降、ＥＯＢが続かない場合の変換テーブルを変換テーブルＡ、続く場合のテーブルを変換テーブルＢと便宜的に呼ぶこととする。これらの変換テーブルは、符号変換器１４に入力される。
【００３３】
続いて、ヘッダ解析器５はＪＰＥＧ符号化方式の符号化データで最初のフレームのヘッダを解釈する。フレームヘッダには、入力画像のサンプル精度、ライン数、ライン当りのサンプル数等の画像に関する情報が存在しており、これらの画像情報は画像情報符号化器６に入力される。
【００３４】
画像情報符号化器６では、これらのサンプル精度、ライン数、ライン当りのサンプル数から、ＭＰＥＧ−４符号化方式における各符号を決定していく。サンプル精度は、８ビットであればＶＯＬヘッダのｎｏｔ＿８＿ｂｉｔ符号を０とし、そうでなければｎｏｔ＿８＿ｂｉｔ符号を１にした上、ｑｕａｎｔ＿ｐｒｅｃｉｓｉｏｎ符号とｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌ符号を適宜設定し、符号を生成する。
【００３５】
ライン数とライン数当りのサンプル数は、画像の縦と横のサイズを表しているので、ＶＯＬヘッダのｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｈｅｉｇｈｔ符号とｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｗｉｄｔｈ符号にその値を設定し、符号を生成する。もちろん、画像の形状は矩形なので、ＶＯＬヘッダのｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｓｈａｐｅ符号は“ｒｅｃｔａｎｇｕｌａｒ”に設定する。その他のＭＰＥＧ−４符号化方式のＶＯＳ（Ｖｉｓｕａｌ  Ｏｂｊｅｃｔ  Ｓｅｑｕｅｎｃｅ）ヘッダ、ＶＯ（Ｖｉｓｕａｌ  Ｏｂｊｅｃｔ）ヘッダ、ＶＯＬヘッダの各符号も適宜設定し、符号を生成する。生成された符号は整形器１５に入力される。整形器１５はこれらをＶＯＳ，ＶＯ，ＶＯＬのヘッダデータとして整形し、記憶装置３の所定の領域に格納する。
【００３６】
分離器４で分離されたフレームの符号化データはメモリ１０に格納され、各ブロック単位でＤＣ成分はＶＬＣ復号器１１に、ＡＣ成分は符号変換器１４に入力される。
【００３７】
まず、ＤＣ成分の処理について説明する。ＶＬＣ復号器１１ではＤＣ成分の符号を復号し、量子化されたＤＣ成分の予測誤差値をＤＣ予測器１２に入力する。ＤＣ予測器１２では前のブロックのＤＣ成分と入力された予測誤差値から、ＤＣ成分の量子化値を復元して蓄積し、周囲のブロックのＤＣ成分からＭＰＥＧ−４符号化方式のＤＣ成分の予測を行なう。直前ラインの同じ位置のブロックのＤＣ成分と直前のブロックのＤＣ成分からＤＣ予測値を求め、ＤＣ符号化器１３に入力する。ＤＣ符号化器１３では、入力されたＤＣ予測誤差を、ＭＰＥＧ−４符号化方式のＤＣ成分の符号化手順に従って符号化する。生成された符号は整形器１５に入力される。
【００３８】
一方、ＡＣ成分の符号が入力された符号変換器１４では、符号変換設定器９で生成された変換テーブルに従った変換を行う。まず、読み出したハフマン符号に続いてＥＯＢが無ければ、変換テーブルＡに従ってＭＰＥＧ−４符号化方式のハフマン符号に変換する。ＥＯＢが続く場合は、変換テーブルＢに従って変換し、次のブロックの処理に移行する。生成された符号は整形器１５に入力される。
【００３９】
整形器１５では、画像情報符号化器６、符号化パラメータ符号化器７、ＤＣ符号化器１３、符号変換器１４で生成された符号を並び替え、ＭＰＥＧ−４符号化データの書式に従って整列して記憶装置３に出力し、所定の領域に順次、書き込む。
【００４０】
記憶装置２に蓄積されたＪＰＥＧ符号化データの全てのフレームに関して、フレームデータの読み出しと符号の変換を行ない、出力し終えたら処理を終了する。
【００４１】
以上に説明した符号化データの変換処理の流れを、図２、３のフローチャートを用いて説明する。
【００４２】
図２のステップＳ１では、ＪＰＥＧ符号化データのイメージ層の符号化データを読み出す。ステップＳ２では、その符号化データから量子化テーブルに関する符号を抽出し、ＭＰＥＧ−４符号化方式の量子化マトリクスと比較し、必要に応じて符号を生成する。ステップＳ３では、ハフマンテーブルに関する符号を抽出し、ＭＰＥＧ−４符号化方式のハフマンテーブルと比較し、変換テーブルを作成する。ステップＳ４では、ＪＰＥＧ符号化方式の符号化データからフレームデータを読み出し、そのヘッダを解析する。ステップＳ５では、その解析結果等から画像情報を得て、ＶＯＳ，ＶＯ，ＶＯＬの各ヘッダデータを生成して出力する。ステップＳ６では、フレームの画素に関する符号化データの変換を行なう。この変換の処理に関しては図３を用いて後述する。ステップＳ７では、全てのフレームデータに関して処理が終了したか否かを判定し、未処理のフレームデータがある場合はステップＳ８に進む。ステップＳ８では、ＪＰＥＧ符号化方式のフレームデータを読み出し、ステップＳ６に戻ってフレームデータの変換を行う。ステップＳ７で全てのフレームの処理が終わったと判断されれば、処理全体を終了する。
【００４３】
図３は、上記ステップＳ６におけるフレーム単位の符号化データ変換処理を示すフローチャートである。ステップＳ２１では、画像情報等からＶＯＰのヘッダを生成して出力する。ステップＳ２２では、フレームの全てのマクロブロックについて処理が終了したか否かによって、終了判定を行なう。終了していれば、当該フレームの処理は終了したと判断するが、そうでなければステップＳ２３に進む。ステップＳ２３では、マクロブロックの全てのブロックについて処理が終了したか否かを判定する。終了していればステップＳ２２に戻り、そうでなければステップＳ２４に進む。ステップＳ２４では、ブロックのＤＣ成分に関して予測誤差の復号、ＪＰＥＧ符号化方式の予測に基づくＤＣ成分の量子化値の再生、ＭＰＥＧ−４符号化方式での予測と符号化を行ない出力する。ステップＳ２５では、ＥＯＢ符号の検出によって全てのＡＣ成分の変換が終了したか否かを判定し、これによってブロック単位での処理の終了判定を行なう。終了していればステップＳ２３に戻り、そうでなければステップＳ２６に進む。ステップＳ２６では、０ランと値を表すハフマン符号を抽出する。ステップＳ２７では、抽出した符号の次がＥＯＢ符号化であるか否かを判定し、ＥＯＢ符号であればステップＳ２９に、そうでなければステップＳ２８に進む。ステップＳ２８ではテーブルＡを用いて符号の変換を行ない、出力する。ステップＳ２９ではテーブルＢを用いて変換を行なう。
【００４４】
以上説明したように本実施形態によれば、ＪＰＥＧ符号化方式で符号化されたデータを画素値の再生を行なうこと無く、劣化を伴わずに、ＭＰＥＧ−４符号化方式における符号化データ（Ｉ−ＶＯＰ）に変換することができる。その結果、ＪＰＥＧ符号化方式に比べ、ＭＰＥＧ−４符号化方式はＤＣの予測が適応的に行なわれるため、符号化効率の改善が見込まれる。また、符号の変換もテーブル参照によって行なうため、非常に高速な処理が行なえる。また、画素値を保存するためのメモリが不要であるなため、処理規模を抑えることができ、装置のコスト削減が可能になる。
【００４５】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。
【００４６】
図４は、第２実施形態における符号化データ変換システムの構成を示すブロック図である。第２実施形態においても、入力としてＭｏｔｉｏｎ  ＪＰＥＧ符号化データを、出力としてＭＰＥＧ−４符号化データを例として説明するが、これに限定されないことは第１実施形態と同様である。なお、第１実施形態の図１と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００４７】
図４において、１０１は第２実施形態に係る符号化データ変換装置である。１０２は、各ブロックのＡＣ成分の可変長符号を復号するＶＬＣ復号器であり、１０３はマクロブロック単位で量子化値によって動き補償を行なう動き補償器である。１０４は動き補償器１０３で得られたマクロブロックの予測誤差をＭＰＥＧ−４符号化方式に則って可変長符号化する符号化器である。１０５は各ブロック毎に復号された量子化値を格納するメモリである。１０６は画像情報符号化器６、符号化パラメータ符号化器７、ＤＣ符号化器１３、符号変換器１４、符号化器１０４の出力をＭＰＥＧ−４符号化方式の書式に従った符号化データに整形する整形器である。
【００４８】
以下、上述した構成からなる符号化データ変換システムにおける符号の変換動作について説明する。変換処理に先立ち、まずは各部の初期化を行なう。すなわち、メモリ１０，メモリ１０５はクリアされ、各部のパラメータがリセットされる。また、記憶装置２では変換するＭｏｔｉｏｎ  ＪＰＥＧ符号化方式の符号化データが選択され、その読み出し開始位置を設定する。また、記憶装置３では空いている領域で書き込み可能な領域の書き込み開始位置を設定する。
【００４９】
初期化処理が終了すると、記憶装置２からＭｏｔｉｏｎ  ＪＰＥＧ符号化方式の符号化データを符号化データ変換装置１０１に入力する。符号化データ変換装置１０１の分離器４は最初のＪＰＥＧ符号化データを読み込み、ヘッダやフレーム単位の符号化データに分離して、ヘッダはヘッダ解析器５に、フレームの符号化データはメモリ１０に蓄積される。
【００５０】
上述した第１実施形態と同様に、ヘッダ解析器５はＪＰＥＧ符号化方式のヘッダを解釈して符号化パラメータと画像情報を抽出し、符号化パラメータ符号化器７と画像情報符号化器６でヘッダデータを生成して整形器１０６に出力する。符号変換設定器９も変換テーブルを作成して符号変換器１４に入力する。
【００５１】
続いて、フレーム単位の処理について説明する。第２実施形態では、ＭＰＥＧ−４符号化方式におけるフレーム内符号化モードであるＩ−ＶＯＰと、フレーム間符号化モードであるＰ−ＶＯＰの符号を生成する。以下、一定間隔でＩ−ＶＯＰが含まれる場合について説明するが、間隔やフレームモードの決定による制限はない。
【００５２】
最初に、フレームの符号化モードがＩ−ＶＯＰである場合について説明する。符号化パラメータ符号化器７では、ＶＯＰヘッダのｖｏｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ符号はｉｎｔｒａ−ｃｏｄｅｄ（Ｉ）を示す“００”とする。第１実施形態と同様に、分離器４で分離されたフレームの符号化データはメモリ１０に格納され、各ブロック単位でＤＣ成分はＶＬＣ復号器１１とＶＬＣ復号器１０２に、ＡＣ成分は符号変換器１４とＶＬＣ復号器１０２に入力される。ＤＣ成分の符号の変換は第１実施形態と同様に、ＶＬＣ復号器１１、ＤＣ予測器１２、ＤＣ符号化器１３によって実施される。また、ＡＣ成分の変換も第１実施形態と同様に符号変換器１４にて実施される。変換された符号化データは整形器１０６を介して出力される。
【００５３】
一方、メモリ１０からＶＬＣ復号器１０２にブロック単位で入力された符号化データは、ＤＣ成分、ＡＣ成分ともに可変長符号化データに復号され、量子化された値が再生されて動き補償器１０３に入力される。動き補償器１０３はＩ−ＶＯＰでは動作せず、量子化値はそのままメモリ１０５に格納される。また、符号化器１０４もＩ−ＶＯＰでは動作しない。
【００５４】
次に、フレームの符号化モードがＰ−ＶＯＰである場合について説明する。符号化パラメータ符号化器７では、ＶＯＰヘッダのｖｏｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ符号をｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ（Ｐ）を示す“０１”とする。メモリ１０に格納されたフレームの符号化データは、各ブロック単位で読み出されてＶＬＣ復号器１０２に入力され、ＤＣ成分、ＡＣ成分とも可変長符号化データが復号されて、量子化された値が再生され、動き補償器１０３に入力される。動き補償器１０３は入力された量子化値とメモリ１０５にブロック単位で格納された量子化値とを比較する。この比較は、例えば輝度のみについて行えばよいが、色度を加えても良い。
【００５５】
ここで、動き補償器１０３における動き補償処理について説明する。以下、画像がＣＩＦ（３５２×２８８）である場合を例として説明するが、この例に限定されないことはもちろんである。
【００５６】
入力されたブロックが画像内の（Ｉ，Ｊ）座標であり、量子化値がＧ（ｘ，ｙ）であるとする。なお、Ｉは０から２１まで、Ｊは０から１７までの値をとる。メモリ１０５に格納された量子化値Ｐｉ，ｊ（ｘ，ｙ）（ｉ＝０〜２１、ｊ＝０〜１７）に対して、差分値の絶対値の和Ｓｉｊを次式に従って計算する。
【００５７】
Ｓｉｊ  ＝  Σｘ＝０，７Σｙ＝０，７｜Ｇ（ｘ，ｙ）−Ｐｉ，ｊ（ｘ，ｙ）｜  …（１）
さらに、入力された４つのブロックをまとめてマクロブロック単位とし、各Ｓｉｊをまとめて、マクロブロック毎に差分値の絶対値の和を求めて、最もその値が小さいものを選択する。これにより、画像の状態では８画素単位の動き補償を行なっているのと等価になる。そして、選択されたブロックとの相対位置を動きベクトルとし、その差分を予測誤差として符号化器１０４に出力する。このように第２実施形態においては、動きベクトルが１６画素単位となる。
【００５８】
符号化器１０４はＭＰＥＧ−４符号化方式に従って、動きベクトルと量子化値の予測誤差を符号化する。得られた符号化データは整形器１０６に入力される。
【００５９】
整形器１０６では、フレームの符号化モードがＩ−ＶＯＰである場合には、画像情報符号化器６、符号化パラメータ符号化器７、ＤＣ符号化器１３、符号変換器１４で生成された符号を並び替え、ＭＰＥＧ−４符号化データの書式に従って整列する。一方、フレームの符号化モードがＰ−ＶＯＰである場合には、画像情報符号化器６、符号化パラメータ符号化器７、符号化器１０４で生成された符号を並び替え、ＭＰＥＧ−４符号化データの書式に従って整列する。そして、整列された符号化データを記憶装置３に出力し、所定の領域に順次書き込む。
【００６０】
記憶装置２に蓄積されたＪＰＥＧ符号化データの全てのフレームに関してフレームデータの読み出しと、符号の変換を行ない、出力し終えたら処理を終了する。
【００６１】
以上に説明した符号化データの変換処理の流れを、図５，図６のフローチャートを用いて説明する。
【００６２】
図５は、第２実施形態における符号化データ変換処理を示すフローチャートであるが、上述した第１実施形態の図２と同様の処理については同一ステップ番号を付し、その詳細な説明を省略する。
【００６３】
ステップＳ７での終了判定において未処理のフレームデータがある場合には、ステップＳ１００に進む。ステップＳ１００では符号化モードをＩ−ＶＯＰ，Ｐ−ＶＯＰのいずれにするかを決定する。例えば、一定のフレーム間隔でＩ−ＶＯＰとするように決定すればよい。その後、ステップＳ８で第１実施形態と同様にフレームデータを読み出し、ステップＳ６に戻ってフレームデータの符号を符号化モードに従って変換する。
【００６４】
図６は、ステップＳ６におけるフレーム単位の符号化データ変換処理を示すフローチャートである。なお、上述した第１実施形態の図３と同様の処理については同一ステップ番号を付し、その詳細な説明を省略する。
【００６５】
まずステップＳ１２１では、画像情報等からＶＯＰのヘッダを生成して出力する。この時、ｖｏｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ符号は、図５のステップＳ１００でＩ−ＶＯＰ符号化が選択された場合には“００”、Ｐ−ＶＯＰ符号化が選択された場合には“０１”が設定される。
【００６６】
ステップＳ１２２では、図５のステップＳ１００で決定された符号化モードによって処理を選択する。符号化モードがＩ−ＶＯＰであればステップＳ２２に、Ｐ−ＶＯＰであればステップＳ１２４に進む。
【００６７】
符号化モードがＩ−ＶＯＰである場合は、ステップＳ２４からステップＳ２６までの処理を行なった後、ステップＳ１２３に進む。ステップＳ１２３ではＤＣ成分、ＡＣ成分の可変長符号化データを復号し、量子化値を得た後、メモリ１０５に格納する。その後、第１実施形態と同様にステップＳ２７からステップＳ２９でＡＣ成分の変換を行なう。
【００６８】
一方、符号化モードがＰ−ＶＯＰである場合は、ステップＳ１２４でステップＳ２２と同様に終了判定を行なう。未終了であればステップＳ１２５において、マクロブロックに含まれるブロックのＤＣ成分、ＡＣ成分の可変長符号化を復号し、量子化値を得た後、メモリ１０５に格納してステップＳ１２６に進む。ステップＳ１２６では、量子化値を参照して、動きベクトル探索と予測誤差の算出が行われる。そしてステップＳ１２７では、得られた動きベクトルと予測誤差をＭＰＥＧ−４符号化方式に従って符号化し、出力して次のマクロブロックの処理を行なうためにステップＳ１２４に戻る。
【００６９】
以上説明したように第２実施形態によれば、フレーム内符号化方式であるＪＰＥＧ符号化方式で符号化されたデータを画素値の再生を行なうこと無く、劣化を伴わずに、フレーム間符号化方式であるＭＰＥＧ−４符号化方式のデータ（Ｉ−ＶＯＰ及びＰ−ＶＯＰ）に変換することができる。その結果、ＪＰＥＧ符号化方式に比べ、ＭＰＥＧ−４符号化方式は動き補償によって大幅な符号化効率の改善が見込まれている。また、符号の変換もテーブル参照で行なうことができるので、非常に高速に処理が行なえる。また、画素値を保存するためのメモリが不要であるため、処理規模を抑えることができ、装置のコスト削減が可能になる。また、動きベクトル探索も非常に演算量が少なく、高速に探索を行なうことができる。
【００７０】
＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。第３実施形態においては、符号化データ変換処理をソフトウェアによって実現する例を示す。図７は、第３実施形態における符号化データ変換装置の構成を示すブロック図である。
【００７１】
図７において、３００は装置全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は本装置の制御に必要なオペレーティングシステム（ＯＳ）やソフトウェアによる演算に必要な記憶領域を提供するメモリである。３０２は種々の装置を接続し、データや制御信号をやり取りするバスである。３０３は装置の起動、各種条件の設定、再生の指示を行なうための操作部である。３０４はソフトウェアを蓄積する記憶装置である。３０５は画像データを蓄積する記憶装置、３０６は画像を撮像するカメラである。記憶装置３０４および３０５は、システムから脱着可能なメディアで構成することもできる。３０７は画像を表示するモニタ、３０８は通信回路であり、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０９は通信回路３０８を介して画像データを送受信する通信インタフェース（Ｉ／Ｆ）である。
【００７２】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳや動作させるソフトウェアを格納し、入力されるＪＰＥＧ符号化データを格納するＪＰＥＧ符号化データエリア、出力するＭＰＥＧ−４符号化データを格納するＭＰＥＧ−４符号化データエリア、復号した量子化値等のパラメータ等を格納しておくワーキングエリアが存在する。
【００７３】
このような構成において、記憶装置３０５に格納されたＭｏｔｉｏｎ  ＪＰＥＧ符号化データをＭＰＥＧ−４符号化データに変換して通信インターフェースから送信する符号化データ送信処理について説明する。
【００７４】
処理に先立ち、操作部３０３から装置全体に対して起動が指示され、各部が初期化される。すると記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【００７５】
ここで図８に、メモリ３０１の使用状況を示す。図８に示されるようにメモリ３０１には、装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、通信を制御する通信ソフトウェア、符号化データ変換ソフトウェアが展開されている。
【００７６】
装置の起動後、メモリ３０１に格納された通信ソフトウエアが起動され、通信回線３０８を介して他装置との通信路を確保する。
【００７７】
以下、ＣＰＵ３００による符号化データの変換処理について、説明する。画像情報の抽出、符号化パラメータの抽出、画像情報の符号化、符号化パラメータの符号化、ＭＰＥＧ−４符号化データのヘッダの生成に関しては、第２実施形態の図５と同様であるため、図５を参照して第３実施形態を説明する。
【００７８】
まずステップＳ１で、ＪＰＥＧ符号化データのイメージ層の符号化データを読み出し、メモリ３０１のＪＰＥＧ符号化データエリアに格納する。ステップＳ２では、メモリ３０１のＪＰＥＧ符号化データエリアに格納されたイメージ層の符号化データから、符号化パラメータである、量子化テーブルに関する符号を抽出し、ＭＰＥＧ−４符号化方式の量子化マトリクスと比較し、必要に応じて符号を生成して、ワーキングエリアに格納する。ステップＳ３では、メモリ３０１のＪＰＥＧ符号化データエリアの符号化データからハフマンテーブルに関する符号を抽出し、ＭＰＥＧ−４符号化方式のハフマンテーブルと比較し、変換テーブルを作成してワーキングエリアに格納する。ステップＳ４では、メモリ３０１のＪＰＥＧ符号化データエリアからＪＰＥＧ符号化方式の符号化データでフレームデータを読み出し、そのヘッダを解析する。得られた画像情報は、メモリ３０１上のワーキングエリアに格納される。ステップＳ５では、その画像情報や符号化パラメータ等からＶＯＳ，ＶＯ，ＶＯＬの各ヘッダデータを生成して、メモリ３０１上のＭＰＥＧ−４符号化データエリアに格納する。ステップＳ６では、フレームの画素に関する符号化データの変換を行なう。
【００７９】
ステップＳ７では、全てのフレームデータに関して処理が終了したか否かを判定する。未処理のフレームデータがメモリ３０１上のＪＰＥＧ符号化データエリアにある場合は、ステップＳ１００に進む。ステップＳ１００では符号化モードをＩ−ＶＯＰ，Ｐ−ＶＯＰのいずれにするかを決定する。ステップＳ８では、メモリ３０１のＪＰＥＧ符号化データエリアからＪＰＥＧ符号化方式のフレームデータを読み出す。そしてステップＳ９では、フレームの画素に関する符号化データの変換を行ない、メモリ３０１のＭＰＥＧ−４符号化データエリアに順に格納した後、ステップＳ７に戻る。この変換の処理に関しては図９を用いて後述する。
【００８０】
ステップＳ７で全てのフレームの処理が終わったと判断されれば処理全体を終了する。通信ソフトウェアはメモリ３０１のＭＰＥＧ−４符号化データエリアの符号化データを適宜読み出し、通信インターフェース３０９を介して通信回線３０８に出力し、出力したデータに関してはメモリ３０１上のＭＰＥＧ−４符号化データエリアから削除する。
【００８１】
続いて図９のフローチャートを用いて、上記ステップＳ１００におけるフレーム単位の符号化データ変換処理について説明する。
【００８２】
ステップＳ２０１では、メモリ３０１上のワーキングエリアに格納された画像情報と符号化パラメータからＶＯＰヘッダを生成し、図５のステップＳ６で決められた符号化モードをｖｏｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ符号に記述する。そして、生成されたＶＯＰヘッダをメモリ３０１上のＭＰＥＧ−４符号化データエリアに格納してステップＳ２０２に進む。ステップＳ２０２では、フレームの全てのマクロブロックについて処理が終了したか否かによって終了判定を行なう。終了していれば、当該フレームの処理は終了したと判断するが、そうでなければステップＳ２０３に進む。ステップＳ２０３では、ステップＳ６で決定された符号化モードによって処理を選択する。符号化モードがＩ−ＶＯＰであればステップＳ２０４に、Ｐ−ＶＯＰであればステップＳ２１２に進む。
【００８３】
符号化モードがＩ−ＶＯＰであった場合、ステップＳ２０４では、Ｉｎｔｒａマクロブロックとしてのマクロブロックのヘッダを生成して、メモリ３０１上のＭＰＥＧ−４符号化データエリアに格納し、ステップＳ２０５に進む。ステップＳ２０５では、マクロブロックの全てのブロックについて処理が終了したか否かを判定する。終了していれば、ステップＳ２０２に戻り、そうでなければステップＳ２０６に進む。
【００８４】
ステップＳ２０６では、ブロックのＤＣ成分に関して予測誤差の復号、ＪＰＥＧ符号化方式の予測に基づくＤＣ成分の量子化値の再生、ＭＰＥＧ−４符号化方式での予測と符号化を行ない、ＭＰＥＧ−４符号化データエリアに符号化データを格納し、ＤＣ成分をワーキングエリアの量子化値を格納する領域の該当するブロック位置に格納して、ステップＳ２０７に進む。ステップＳ２０７では、ＥＯＢ符号の検出によって全てのＡＣ成分の変換が終了したか否かを判定し、これによってブロック単位での処理の終了判定を行なう。終了していればステップＳ２１０に進み、そうでなければステップＳ２０８に進む。ステップＳ２０８では、０ランと値を表すハフマン符号を抽出し、ステップＳ２０９に進む。ステップＳ２０９では、入力した符号を復号して量子化された値を再生し、これをワーキングエリアの量子化値を格納する領域の該当するブロックの位置に格納して、ステップＳ２０７に戻る。
【００８５】
ステップＳ２０７でブロックの量子化値の再生が終了したと判断されたら、ステップＳ２１０でメモリ３０１上のワーキングエリアに格納されている周囲のブロックの量子化値からＭＰＥＧ−４符号化方式の係数の予測に従って、ＤＣ成分とＡＣ成分を予測し、ステップＳ２１１に進む。ステップＳ２１１ではこの予測誤差と残りのＡＣ成分を符号化して、ＭＰＥＧ−４符号化データエリアに格納し、ステップＳ２０５に戻る。ステップＳ２０５でマクロブロック内の全ブロックの処理が終了したら、次のマクロブロックの処理を行なうために、ステップＳ２０２に戻る。
【００８６】
一方、ステップＳ２０３において符号化モードがＰ−ＶＯＰであった場合、ステップＳ２１２では、入力したマクロブロックの符号を復号して量子化された値を再生し、これをメモリ３０１上のワーキングエリアの量子化値を格納する領域の該当するブロック位置に格納して、ステップＳ２１３に進む。ステップＳ２１３では、ワーキングエリアに格納された前のフレームの量子化値を参照して８画素単位の動きベクトル探索を行い、求めた動きベクトルと各予測誤差を一時的にワーキングエリアに格納する。さらに、予測誤差の絶対値の総和Ｓｍを求めて、ステップＳ２１４に進む。ステップＳ２１４では、入力された量子化値に関して絶対値の総和Ｓｓを求め、ＳｍとＳｓを比較する。ＳｓがＳｍよりも小さければ、当該マクロブロックはＩｎｔｒａ符号化することが効率的と判断してステップＳ２０４に進み、前述のとおり、Ｉｎｔｒａマクロブロックとして処理を行なう。そうでなければ、Ｉｎｔｅｒ符号化するためにステップＳ２１５に進む。
【００８７】
ステップＳ２１５では、動き補償を行なうＩｎｔｅｒマクロブロックとしてマクロブロックヘッダを生成して、ＭＰＥＧ−４符号化データエリアに格納し、ステップＳ２１６に進む。このヘッダにはステップＳ２１３で算出した動きベクトルの符号化データも含まれる。ステップＳ２１６では、マクロブロックの全てのブロックについて処理が終了したか否かを判定する。終了していればステップＳ２０２に戻り、そうでなければステップＳ２１７に進む。ステップＳ２１７では、得られた予測誤差をブロック単位で符号化し、メモリ３０１上のＭＰＥＧ−４符号化データエリアに格納して次のマクロブロックの処理を行なうためにステップＳ２１６を介してステップＳ２０２に戻る。
【００８８】
このように第３実施形態においては、マクロブロックの符号化モードを判定し、フレーム内符号化モード時にはＡＣ予測を行うことを特徴とする。
【００８９】
以上説明したように第３実施形態によれば、フレーム内符号化方式であるＪＰＥＧ符号化方式で符号化されたデータを画素値の再生を行なうこと無く、劣化を伴わずに、フレーム間符号化方式であるＭＰＥＧ−４符号化方式のデータ（Ｉ−ＶＯＰ及びＰ−ＶＯＰ）に変換することができる。その結果、ＪＰＥＧ符号化方式に比べ、ＭＰＥＧ−４符号化方式はＡＣの予測によってよりいっそうの符号化効率の改善が見込まれている。また、符号の変換もテーブル参照で行なうことができるので、非常に高速に処理が行なえる。また、画素値を保存するメモリが不要であるため、ソフトウェアの規模を抑えることができ、小容量のメモリで符号データの変換を行うことが可能となる。また、動きベクトル探索も非常に演算量が少なく、高速に探索を行なうことができる。
【００９０】
なお、第２及び第３実施形態においては動き補償として前方予測のみを用いたが、これに限定されず、ＭＰＥＧ−４符号化方式の他の動き補償のモード、例えば両方向予測による動き補償を行なうことももちろん可能である。
【００９１】
また、上述した第１乃至第３実施形態においては、入力をＪＰＥＧ符号化方式の符号化データ、出力をＭＰＥＧ−４符号化方式の符号化データとして説明したが、本発明はこの例に限定されず、ＭＰＥＧ−１，２、Ｈ．２６１、Ｈ．２６３等の符号化方式であってもでも構わなし、入出力が同じ変換を用いる変換符号化方式であっても良い。
【００９２】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、テレビ受像機、ビデオテープレコーダ、複写機、ファクシミリ装置など）に適用しても良い。また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成されることは言うまでもない。
【００９３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることが出来る。
【００９５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９７】
【発明の効果】
以上説明したように本発明によれば、画質を劣化させずに、第１の符号化データを第２の符号化データに高速かつ、小規模な構成で変換することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態における符号化データ変換システムの構成を示すブロック図である。
【図２】本実施形態における符号化データ変換処理を示すフローチャートである。
【図３】本実施形態におけるフレーム単位の符号化データ変換処理を示すフローチャートである。
【図４】第２実施形態における符号化データ変換システムの構成を示すブロック図である。
【図５】第２実施形態における符号化データ変換処理を示すフローチャートである。
【図６】第２実施形態におけるフレーム単位の符号化データ変換処理を示すフローチャートである。
【図７】第３実施形態における符号化データ変換システムの構成を示すブロック図である。
【図８】第３実施形態におけるメモリの使用例を示す図である。
【図９】第３実施形態におけるフレーム単位の符号化データ変換処理を示すフローチャートである。
【符号の説明】
１，１０１  符号化データ変換装置
２，３，３０４，３０５  記憶装置
４  分離器
５  ヘッダ解析器
６  画像情報符号化器
７  符号化パラメータ符号化器
８  ＭＰＥＧ−４ＶＬＣメモリ
９  符号変換設定器
１０，１０５，３０１  メモリ
１１，１０２  ＶＬＣ復号器
１２  ＤＣ予測器
１３  ＤＣ符号化器
１４  符号変換器
１５，１０６  整形器
１０３  動き補償器
１０４  符号化器
３００  ＣＰＵ
３０２  バス
３０３  操作部
３０８  通信回線
３０９  通信インターフェース
【図１】
2004186811.tif 000008
【図２】
2004186811.tif 000009
【図３】
2004186811.tif 000010
【図４】
2004186811.tif 000011
【図５】
2004186811.tif 000012
【図６】
2004186811.tif 000013
【図７】
2004186811.tif 000014
【図８】
2004186811.tif 000015
【図９】
2004186811.tif 000016
【手続補正書】
【提出日】平成15年11月27日(2003.11.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を第１の符号化方式で符号化した第１の符号化データを入力する符号化データ入力手段と、
前記第１の符号化データから符号化のヘッダ情報を抽出するヘッダ抽出手段と、
前記ヘッダ情報から第２の符号化方式のヘッダを生成するヘッダ生成手段と、
前記第２の符号化方式における所定のパラメータと前記符号化パラメータとに基づき、可変長符号用の変換方法を設定する変換方法設定手段と、
前記第１の符号化データからフレームの符号化データを抽出するフレームデータ抽出手段と、
前記フレームの符号化データ内の可変長符号を、前記変換方法設定手段で設定された変換方法に従って変換する可変長符号変換手段と、
前記フレームの符号化データ内のＤＣ成分を、量子化値に復号して前記第２の符号化方式による予測符号化を行なうＤＣ成分変換手段と、
前記ヘッダ生成手段と前記可変長符号変換手段、及び前記ＤＣ成分変換手段からの出力を整形して、前記第２の符号化方式による符号化データとして出力する符号化データ出力手段と、
を有することを特徴とする符号化データ変換装置。
【請求項２】
前記フレームデータ抽出手段によって抽出されたフレームの符号化データ内の可変長符号を復号する可変長符号復号手段と、
前記可変長符号の復号結果を格納する格納手段と、
前記格納手段に格納された前記復号結果を参照して動きベクトルを探索し、該動きベクトルに基づいて前記復号結果の予測誤差を算出する動き補償手段と、
前記予測誤差を符号化する予測誤差符号化手段と、をさらに有し、
前記符号化データ出力手段はさらに、前記予測誤差符号化手段からの出力を含めて整形して、前記第２の符号化方式による符号化データとして出力することを特徴とする請求項１記載の符号化データ変換装置。
【請求項３】
前記動き補償手段は、フレーム内符号化及びフレーム間符号化のいずれを行なうかを決定することを特徴とする請求項２記載の符号化データ変換装置。
【請求項４】
前記動き補償手段及び前記予測誤差符号化手段は、フレーム内符号化を行う際には動作せず、フレーム間符号化を行う際に動作することを特徴とする請求項３記載の符号化データ変換装置。
【請求項５】
前記予測誤差符号化手段は、フレーム内符号化を行う際にＡＣ予測符号化を行うことを特徴とする請求項４記載の符号化データ変換装置。
【請求項６】
前記ＤＣ成分変換手段は、フレーム内符号化を行う際に動作することを特徴とする請求項２記載の符号化データ変換装置。
【請求項７】
前記ヘッダ情報は、画像の記述情報と符号化のパラメータ情報を含むことを特徴とする請求項１または２記載の符号化データ変換装置。
【請求項８】
前記変換方法設定手段は、可変長符号用の変換テーブルを設定することを特徴とする請求項１または２記載の符号化データ変換装置。
【請求項９】
前記第１の符号化方式はフレーム内符号化方式であり、前記第２の符号化方式はフレーム間符号化方式であることを特徴とする請求項１または２記載の符号化データ変換装置。
【請求項１０】
画像を第１の符号化方式で符号化した第１の符号化データを入力する符号化データ入力ステップと、
前記第１の符号化データから符号化のヘッダ情報を抽出するヘッダ抽出ステップと、
前記ヘッダ情報から第２の符号化方式のヘッダを生成するヘッダ生成ステップと、
前記第２の符号化方式における所定のパラメータと前記符号化パラメータとに基づき、可変長符号用の変換方法を設定する変換方法設定ステップと、
前記第１の符号化データからフレームの符号化データを抽出するフレームデータ抽出ステップと、
前記フレームの符号化データ内の可変長符号を、前記変換方法設定ステップで設定された変換方法に従って変換する可変長符号変換ステップと、
前記フレームの符号化データ内のＤＣ成分を、量子化値に復号して前記第２の符号化方式による予測符号化を行なうＤＣ成分変換ステップと、
前記ヘッダ生成ステップと前記可変長符号変換ステップ、及び前記ＤＣ成分変換ステップによる出力を整形して、前記第２の符号化方式による符号化データとして出力する符号化データ出力ステップと、
を有することを特徴とする符号化データ変換方法。
【請求項１１】
前記フレームデータ抽出ステップにおいて抽出されたフレームの符号化データ内の可変長符号を復号する可変長符号復号ステップと、
前記可変長符号の復号結果を参照して動きベクトルを探索し、該動きベクトルに基づいて前記復号結果の予測誤差を算出する動き補償ステップと、
前記予測誤差を符号化する予測誤差符号化ステップと、をさらに有し、
前記符号化データ出力ステップにおいてはさらに、前記予測誤差符号化ステップによる出力を含めて整形して、前記第２の符号化方式による符号化データとして出力することを特徴とする請求項１０記載の符号化データ変換方法。
【請求項１２】
前記予測誤差符号化ステップにおいては、フレーム内符号化を行う際にＡＣ予測符号化を行うことを特徴とする請求項１１記載の符号化データ変換方法。
【請求項１３】
前記ＤＣ成分変換ステップは、フレーム内符号化を行う際に実行されることを特徴とする請求項１１記載の符号化データ変換方法。
【請求項１４】
前記変換方法設定ステップにおいては、可変長符号用の変換テーブルを設定することを特徴とする請求項１０または１１記載の符号化データ変換方法。
【請求項１５】
コンピュータ上で実行されることによって、該コンピュータを請求項１乃至９のいずれかに記載の符号化データ変換装置として動作させることを特徴とするプログラム。
【請求項１６】
請求項１５記載のプログラムを記録したコンピュータ可読記録媒体。