(57)【特許請求の範囲】
【請求項１】
画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した符号化データを、所定の符号化方式によって再符号化する符号化装置であって、
前記符号化データから、前記形状情報と前記配置情報とを抽出する手段と、
前記符号化データを復号して各々の前記オブジェクトを合成した画像を生成し、当該合成した画像を前記所定の方式で再符号化し、新たな符号化データを作成する手段と、
抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化手段と、
前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する手段と、
重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する手段と、を備え、
前記多重化手段は、当該部分に係る符号化データも多重化することを特徴とする符号化装置。
【請求項２】
画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した第１の符号化データと、フレーム又はフィールド単位で符号化された画像の第２の符号化データと、に基づく画像を合成して所定の符号化方式で再符号化する符号化装置であって、
前記第１の符号化データから、前記形状情報と前記配置情報とを抽出する手段と、
前記第１の符号化データ及び前記第２の符号化データを復号してその画像を合成する手段と、
合成された画像を前記所定の方式で再符号化し、新たな符号化データを作成する手段と、
抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化手段と、
前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する手段と、
重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する手段と、を備え、
前記多重化手段は、当該部分に係る符号化データも多重化することを特徴とする符号化装置。
【請求項３】
所定の符号化方式で符号化された画像の符号化データと、前記画像を構成する複数のオブジェクトの配置情報及び形状情報と、前記オブジェクト間で重複する部分の符号化データと、が多重化された符号化データを再符号化する符号化装置であって、
多重化された前記符号化データから、前記形状情報と前記配置情報と前記重複する部分の符号化データとを分離する手段と、
多重化された前記符号化データから、前記画像に係る符号化データを分離して、復号する手段と、
前記重複する部分の符号化データを復号する手段と、
前記形状情報と前記配置情報とに基づいて、復号された前記画像をオブジェクト単位で切り出す手段と、
前記形状情報と前記配置情報に基づいて、前記重複する部分を合成するオブジェクトを特定し、特定したオブジェクトの画像に、復号された前記重複する部分の画像を合成する手段と、
前記画像を、切り出した各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化する手段と、
を備えたことを特徴とする符号化装置。
【請求項４】
前記所定の符号化方式が、フレーム又はフィールド単位での符号化方式であることを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
【請求項５】
画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した符号化データを、所定の符号化方式によって再符号化する符号化方法であって、
前記符号化データから、前記形状情報と前記配置情報とを抽出する工程と、
前記符号化データを復号して各々の前記オブジェクトを合成した画像を生成し、当該合成した画像を前記所定の方式で再符号化し、新たな符号化データを作成する工程と、
抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化工程と、
前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する工程と、
重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する工程と、を含み、
前記多重化工程では、当該部分に係る符号化データも多重化することを特徴とする符号化方法。
【請求項６】
画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した第１の符号化データと、フレーム又はフィールド単位で符号化された画像の第２の符号化データと、に基づく画像を合成して所定の符号化方式で再符号化する符号化方法であって、
前記第１の符号化データから、前記形状情報と前記配置情報とを抽出する工程と、
前記第１の符号化データ及び前記第２の符号化データを復号してその画像を合成する工程と、
合成した画像を前記所定の方式で再符号化し、新たな符号化データを作成する工程と、
抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化工程と、
前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する工程と、
重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する工程と、を含み、
前記多重化工程では、当該部分に係る符号化データも多重化することを特徴とする符号化方法。
【請求項７】
所定の符号化方式で符号化された画像の符号化データと、前記画像を構成する複数のオブジェクトの配置情報及び形状情報と、前記オブジェクト間で重複する部分の符号化データと、が多重化された符号化データを、再符号化する符号化方法であって、
多重化された前記符号化データから、前記形状情報と前記配置情報と前記重複する部分の符号化データとを分離する工程と、
多重化された前記符号化データから、前記画像に係る符号化データを分離して、復号する工程と、
前記重複する部分の符号化データを復号する工程と、
前記形状情報と前記配置情報とに基づいて、復号された前記画像をオブジェクト単位で切り出す工程と、
前記形状情報と前記配置情報に基づいて、前記重複する部分を合成するオブジェクトを特定し、特定したオブジェクトの画像に、復号された前記重複する部分の画像を合成する工程と、
前記画像を、切り出した各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化する工程と、
を含むことを特徴とする符号化方法。
【請求項８】
前記所定の符号化方式が、フレーム又はフィールド単位での符号化方式であることを特徴とする請求項５乃至７のいずれか１項に記載の符号化方法。
【請求項９】
画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した符号化データを、所定の符号化方式によって再符号化するために、コンピュータを、
前記符号化データから、前記形状情報と前記配置情報とを抽出する手段、
前記符号化データを復号して各々の前記オブジェクトを合成した画像を生成し、当該合成した画像を前記所定の方式で再符号化し、新たな符号化データを作成する手段、
抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化手段、として機能させるプログラムを記録した記憶媒体であって、
前記プログラムが、コンピュータを、
前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する手段、
重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する手段、として機能させるプログラムを含み、
前記多重化手段は、当該部分に係る符号化データも多重化することを特徴とする記憶媒体。
【請求項１０】
画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した第１の符号化データと、フレーム又はフィールド単位で符号化された画像の第２の符号化データと、に基づく画像を合成して所定の符号化方式で再符号化するために、コンピュータを、
前記第１の符号化データから、前記形状情報と前記配置情報とを抽出する手段、
前記第１の符号化データ及び前記第２の符号化データを復号してその画像を合成する手段、
合成された画像を前記所定の方式で再符号化し、新たな符号化データを作成する手段、
抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化手段、として機能させるプログラムを記録した記憶媒体であって、
前記プログラムが、コンピュータを、
前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する手段、
重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する手段、として機能させるプログラムを含み、
前記多重化手段は、当該部分に係る符号化データも多重化することを特徴とする記憶媒体。
【請求項１１】
所定の符号化方式で符号化された画像の符号化データと、前記画像を構成する複数のオブジェクトの配置情報及び形状情報と、前記オブジェクト間で重複する部分の符号化データと、が多重化された符号化データを、再符号化するために、コンピュータを、
多重化された前記符号化データから、前記形状情報と前記配置情報と前記重複する部分の符号化データとを分離する手段、
多重化された前記符号化データから、前記画像に係る符号化データを分離して、復号する手段、
前記重複する部分の符号化データを復号する手段、
前記形状情報と前記配置情報とに基づいて、復号された前記画像をオブジェクト単位で切り出す手段、
前記形状情報と前記配置情報に基づいて、前記重複する部分を合成するオブジェクトを特定し、特定したオブジェクトの画像に、復号された前記重複する部分の画像を合成する手段、
前記画像を、切り出した各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化する手段、
として機能させるプログラムを記録した記憶媒体。
【請求項１２】
前記所定の符号化方式が、フレーム又はフィールド単位での符号化方式であることを特徴とする請求項９乃至１１のいずれか１項に記載の記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データの符号化装置及び方法に関し、特に、符号化方式の異なる符号化データに再符号化する符号化装置及び方法に関する。
【０００２】
【従来の技術】
従来、動画像の符号化方式としては通信用のＨ．２６１、Ｈ．２６３、蓄積メディア用のＭＰＥＧ−１、ＭＰＥＧ−２といった方式が知られている。Ｈ．２６１はＴＶ会議に用いられ、ＭＰＥＧ−１、２はＣＤ等の記録メディアへの動画の書き込みに用いられ、広く利用されている。特にＭＰＥＧ−２はＴＶのディジタル化を進める上でその利用が大きく期待されている。これらはフレーム間の相関が高いことを利用し、画像を複数のブロックに分割し、それぞれについて参照フレームから予測を行った予測誤差やブロックの値に対して直交変換を行い変換係数を量子化して符号の割り当てを行っている。
【０００３】
さらに近年、動画像の新しい符号化手段として、ＭＰＥＧ−４の標準化が進められている。これは従来の動画像符号化ではフレームあるいはフィールドを単位としていたが、コンテンツの再利用や編集を実現するために、ＭＰＥＧ４では映像データやオーディオ・データをオブジェクト（物体）として扱う。さらに映像データに含まれる物体も独立して符号化され、それぞれもオブジェクトとして扱うことができる。符号化の際、画像のオブジェクトは、形状とテクスチャとに分けて符号化される。
【０００４】
その詳細は、例えば、日経エレクトロニクス１９９７．９．２２号ｐ．１４７〜ｐ．１６８「国際標準規格ＭＰＥＧ４の概要決まる」等に記載されている。
【０００５】
図１８は、係るＭＰＥＧ−４に基づく画像符号化器の機能ブロック図であり、また、図１９は、その復号化の機能ブロック図である。
【０００６】
図１８において、入力された画像データは、オブジェクト定義器１００１によって各オブジェクトに分割され、分割されたオブジェクトごとにオブジェクト符号化器１００２〜１００４を用いて符号化される。
【０００７】
また、各オブジェクトを復号側で配置するための配置情報が配置情報符号化器１０１１で符号化する。この配置情報はシステム符号と呼ばれ、ＣＧ言語であるＶＲＭＬと同様に分割されたオブジェクトの配置、再生のタイミング等を記述したものが符号化されている。こうして得られた符号化データを多重化器１００５によって多重化して１つの符号化データとして出力する。
【０００８】
一方、符号化データは、図１９の復号器において分離器１００６によって多重化を解かれ、各オブジェクトの符号化データを得ることができる。得られた符号化データは各オブジェクト復号器１００７〜１００９によって復号される。同時に、配置情報復号器１０１２は各オブジェクトの配置情報を復号する。オブジェクト復号器１００７〜１００９の出力はオブジェクト配置情報にしたがって、合成器１０１０によって合成され、画像として表示される。
【０００９】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧ−４のようなオブジェクト単位の符号化データと、従来の符号化データ、たとえばＭＰＥＧ−２の符号化データは符号化方式が異なるため、ＭＰＥＧ−２等のフォーマットを用いる放送システムでは、ＭＰＥＧ−４のようなオブジェクト単位の符号化データをそのまま送受信することは困難である。この場合、符号化データを一旦復号し、オブジェクトを合成して、従来の符号化方式で再符号化することも可能であるが、オブジェクト毎の情報は失われてしまうため、オブジェクトの再利用が不可能である。
【００１０】
従って、本発明の目的は、オブジェクト単位の符号化データを、オブジェクト毎の情報を失わずに、他の符号化方式で再符号化し得る符号化装置及び符号化方法を提供することにある。
【００１１】
【課題を解決するための手段】
本発明によれば、画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した符号化データを、所定の符号化方式によって再符号化する符号化装置であって、前記符号化データから、前記形状情報と前記配置情報とを抽出する手段と、前記符号化データを復号して各々の前記オブジェクトを合成した画像を生成し、当該合成した画像を前記所定の方式で再符号化し、新たな符号化データを作成する手段と、抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化手段と、前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する手段と、重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する手段と、を備え、前記多重化手段は、当該部分に係る符号化データも多重化することを特徴とする符号化装置が提供される。
【００１２】
また、本発明によれば、画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した第１の符号化データと、フレーム又はフィールド単位で符号化された画像の第２の符号化データと、に基づく画像を合成して所定の符号化方式で再符号化する符号化装置であって、前記第１の符号化データから、前記形状情報と前記配置情報とを抽出する手段と、前記第１の符号化データ及び前記第２の符号化データを復号してその画像を合成する手段と、合成された画像を前記所定の方式で再符号化し、新たな符号化データを作成する手段と、抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化手段と、前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する手段と、重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する手段と、を備え、前記多重化手段は、当該部分に係る符号化データも多重化することを特徴とする符号化装置が提供される。
【００１５】
また、本発明によれば、所定の符号化方式で符号化された画像の符号化データと、前記画像を構成する複数のオブジェクトの配置情報及び形状情報と、前記オブジェクト間で重複する部分の符号化データと、が多重化された符号化データを再符号化する符号化装置であって、多重化された前記符号化データから、前記形状情報と前記配置情報と前記重複する部分の符号化データとを分離する手段と、多重化された前記符号化データから、前記画像に係る符号化データを分離して、復号する手段と、前記重複する部分の符号化データを復号する手段と、前記形状情報と前記配置情報とに基づいて、復号された前記画像をオブジェクト単位で切り出す手段と、前記形状情報と前記配置情報に基づいて、前記重複する部分を合成するオブジェクトを特定し、特定したオブジェクトの画像に、復号された前記重複する部分の画像を合成する手段と、前記画像を、切り出した各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化する手段と、を備えたことを特徴とする符号化装置が提供される。
【００１６】
本発明の符号化装置においては、前記所定の符号化方式を、フレーム又はフィールド単位での符号化方式とすることができる。
【００１７】
また、本発明によれば、画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した符号化データを、所定の符号化方式によって再符号化する符号化方法であって、前記符号化データから、前記形状情報と前記配置情報とを抽出する工程と、前記符号化データを復号して各々の前記オブジェクトを合成した画像を生成し、当該合成した画像を前記所定の方式で再符号化し、新たな符号化データを作成する工程と、抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化工程と、を含み、更に前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する工程と、重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する工程と、を含み、前記多重化工程では、当該部分に係る符号化データも多重化することを特徴とする符号化方法が提供される。
【００１８】
また、本発明によれば、画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した第１の符号化データと、フレーム又はフィールド単位で符号化された画像の第２の符号化データと、に基づく画像を合成して所定の符号化方式で再符号化する符号化方法であって、前記第１の符号化データから、前記形状情報と前記配置情報とを抽出する工程と、前記第１の符号化データ及び前記第２の符号化データを復号してその画像を合成する工程と、合成した画像を前記所定の方式で再符号化し、新たな符号化データを作成する工程と、抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化工程と、を含み、更に前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する工程と、重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する工程と、を含み、前記多重化工程では、当該部分に係る符号化データも多重化することを特徴とする符号化方法が提供される。
【００２０】
また、本発明によれば、所定の符号化方式で符号化された画像の符号化データと、前記画像を構成する複数のオブジェクトの配置情報及び形状情報と、前記オブジェクト間で重複する部分の符号化データと、が多重化された符号化データを、再符号化する符号化方法であって、多重化された前記符号化データから、前記形状情報と前記配置情報と前記重複する部分の符号化データとを分離する工程と、多重化された前記符号化データから、前記画像に係る符号化データを分離して、復号する工程と、前記重複する部分の符号化データを復号する工程と、前記形状情報と前記配置情報とに基づいて、復号された前記画像をオブジェクト単位で切り出す工程と、前記形状情報と前記配置情報に基づいて、前記重複する部分を合成するオブジェクトを特定し、特定したオブジェクトの画像に、復号された前記重複する部分の画像を合成する工程と、前記画像を、切り出した各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化する工程と、を含むことを特徴とする符号化方法が提供される。
【００２１】
また、本発明によれば、画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した符号化データを、所定の符号化方式によって再符号化するために、コンピュータを、前記符号化データから、前記形状情報と前記配置情報とを抽出する手段、前記符号化データを復号して各々の前記オブジェクトを合成した画像を生成し、当該合成した画像を前記所定の方式で再符号化し、新たな符号化データを作成する手段、抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化手段、として機能させるプログラムを記録した記憶媒体であって、前記プログラムが、コンピュータを、前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する手段、重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する手段、として機能させるプログラムを含み、前記多重化手段は、当該部分に係る符号化データも多重化することを特徴とする記憶媒体が提供される。
【００２２】
画像を構成する複数のオブジェクトについて各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化した第１の符号化データと、フレーム又はフィールド単位で符号化された画像の第２の符号化データと、に基づく画像を合成して所定の符号化方式で再符号化するために、コンピュータを、前記第１の符号化データから、前記形状情報と前記配置情報とを抽出する手段、前記第１の符号化データ及び前記第２の符号化データを復号してその画像を合成する手段、合成された画像を前記所定の方式で再符号化し、新たな符号化データを作成する手段、抽出した前記配置情報及び前記形状情報を前記新たな符号化データに多重化する多重化手段、として機能させるプログラムを記録した記憶媒体であって、前記プログラムが、コンピュータを、前記形状情報及び前記配置情報に基づいて、前記オブジェクト間で重複する部分があるか否かを判定する手段、重複する部分があった場合は、当該部分を有する少なくとも１つの前記オブジェクトから当該部分を切り出して、当該部分に係る符号化データを作成する手段、として機能させるプログラムを含み、前記多重化手段は、当該部分に係る符号化データも多重化することを特徴とする記憶媒体が提供される。
【００２４】
また、本発明によれば、所定の符号化方式で符号化された画像の符号化データと、前記画像を構成する複数のオブジェクトの配置情報及び形状情報と、前記オブジェクト間で重複する部分の符号化データと、が多重化された符号化データを、再符号化するために、コンピュータを、多重化された前記符号化データから、前記形状情報と前記配置情報と前記重複する部分の符号化データとを分離する手段、多重化された前記符号化データから、前記画像に係る符号化データを分離して、復号する手段、前記重複する部分の符号化データを復号する手段、前記形状情報と前記配置情報とに基づいて、復号された前記画像をオブジェクト単位で切り出す手段、前記形状情報と前記配置情報に基づいて、前記重複する部分を合成するオブジェクトを特定し、特定したオブジェクトの画像に、復号された前記重複する部分の画像を合成する手段、前記画像を、切り出した各オブジェクト単位で、形状情報とテクスチャ情報と配置情報とに分けて符号化する手段、として機能させるプログラムを記録した記憶媒体が提供される。
【００２５】
【発明の実施の形態】
以下、本発明の好適な実施の形態を、添付図面を用いて詳細に説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る符号化装置の構成を示すブロック図である。本実施形態では、入力画像のデータとしてＭＰＥＧ−４符号化方式またはＭＰＥＧ−２符号化方式で符号化されたデータを用い、ＭＰＥＧ−２符号化方式で符号化されたデータを出力する場合について説明する。なお、この入力画像データについては画像データとその形状を表す情報を含むものであればどんなものでもよく、たとえばクロマキー等で生成されたマスク情報を含む画像データなどであってももちろんかまわない。また出力についてもＭＰＥＧ−２符号化方式に限定されるものではなく、Ｈ．２６１やＭＰＥＧ−１のような動き補償を行う符号化方式やモーションＪＰＥＧのようなフレーム単位で符号化を行う方式で符号化されたものでももちろんかまわない。
【００２６】
図１において、１は入力されるＭＰＥＧ−４符号化方式で符号化された符号化データである。２はＭＰＥＧ−２符号化方式で符号化された符号化データである。３は入力された符号化データをその内容に応じて分割し出力先を適宜変更する分離器である。４は分離器３で分離された各符号化データのヘッダの情報を格納するヘッダメモリである。
【００２７】
５〜９は分離器３で分離された画像毎やオブジェクト毎の符号化データをそれぞれ格納する符号メモリである。１０は、符号メモリ５乃至８から符号化データを適宜選択するセレクタである。１１はセレクタ１０からの符号化データから画像を表す符号化データと形状を表す符号化データとを分離する分離器である。
【００２８】
１３は分離器１１で分離された画像データの符号化データを復号する画像データ復号器である。１７は分離器１１で分離された形状を表す符号化データを格納する形状符号メモリである。１８は形状符号化データを復号する形状情報復号器である。
【００２９】
１４はヘッダメモリ４に格納されているオブジェクトの配置情報と各オブジェクトの形状情報から各フレームまたはフィールド単位で画像を合成する画像合成処理器である。１５は画像合成処理器１４で合成された画像データを格納するフレームメモリである。１６はフレームメモリ１５の内容をＭＰＥＧ−２符号化方式で符号化する画像データ符号化器である。１２はヘッダメモリ４の内容を判断してＭＰＥＧ−２符号化データに適したヘッダを生成するヘッダ生成器である。１９はヘッダ生成器１２、画像データ符号化器１６、形状符号メモリ１７の出力をＭＰＥＧ−２符号化データのフォーマットにしたがって多重化する多重化器である。２０は、生成された符号化データを表す。
【００３０】
このような構成において、ＭＰＥＧ−４に基づく符号化データ１が入力されると、分離器３でヘッダに関する符号化データと各オブジェクトを表す符号化データに分離される。図１４は各オブジェクトの画像の例を示した図である。
【００３１】
図１４（ａ）及び（ｂ）はそれぞれ車のオブジェクトを表しており、この画像の内容をテクスチャと呼ぶ。
【００３２】
図２は、ＭＰＥＧ−４に基づく符号化方式で符号化された符号化データの一例である。図２中、ＬＯＣＡＴＩＯＮ＿ＤＡＴＡは本来システム符号として別途符号化されているが、ここでは説明を容易にするために画像の符号化データの直前に多重化されているものとする。画像の符号化データはそのシーケンスの始まりを示すｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｓｅｑｕｅｎｃｅ＿ｓｔａｒｔ＿ｃｏｄｅで始まり、１つ以上の符号化データが続く。符号化データはｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｓｔａｒｔ＿ｃｏｄｅで始まる。符号化データのプロファイル／レベルを表すｐｒｏｆｉｌｅ＿ａｎｄ＿ｌｅｖｅｌ＿ｉｎｄｉｃａｔｉｏｎ符号、画像の種別を表すｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｔｙｐｅ符号が続く。符号化データは撮影された動画像のほかに、ＣＧ等も含まれるが、本発明では撮像された画像データのみを対象とする。
【００３３】
さらに各オブジェクトを表すＶｉｓｕａｌ  Ｏｂｊｅｃｔ  Ｌａｙｅｒデータが続く。ここでは図１４（ａ）の画像データがＶＯＬ＿ＤＡＴＡとして続き、さらに図１４（ｂ）の画像データがＶＯＬ＿ＤＡＴＡが続く。１つの符号化データに含まれるオブジェクトの数は任意である。それぞれのＶＯＬ＿ＤＡＴＡはｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｓｔａｒｔ＿ｃｏｄｅで始まり、符号化時のビットレート（ｂｉｔ＿ｒａｔｅ＿ｃｏｄｅ符号）、バッファの大きさ（ｖｂｖ＿ｂｕｆｆｅｒ＿ｓｉｚｅ符号）が続く。その後、オブジェクトの大きさを表すｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｗｉｄｔｈ符号、ｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｈｅｉｇｈｔ符号、再生のフレームレートを表すｆｉｘｅｄ＿ＶＯＰ＿ｒａｔｅ符号が続く。その後、各オブジェクトの時間ごとのデータすなわちフレームまたはフィールドのデータであるＶＯＰ＿ＤＡＴＡが続く。ＶＯＰ＿ＤＡＴＡはｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｌａｎｅ＿ｓｔａｒｔ＿ｃｏｄｅ符号で始まり、オブジェクトの大きさを表すＶＯＰ ＿ｗｉｄｔｈ符号、ＶＯＰ＿ｈｅｉｇｈｔ符号が続く。その後、実際の画像データとして、形状を表す形状情報ＳＨＡＰＥ＿ＤＡＴＡ、動き補償のための動きベクトルＭＯＴＩＯＮ＿ＤＡＴＡとテクスチャを表すマクロブロックのデータＭＢ＿ＤＡＴＡが続く。ＭＢ＿ＤＡＴＡは各マクロブロックの中のＤＣＴ変換係数を符号化したものが含まれており、マクロブロックの位置を表すｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔ符号、量子化係数を表すｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ符号、符号化されたブロックの位置を示すｃｂｐ符号、ＤＣＴの変換係数の符号化結果であるＢＬＯＣＫが続く。
【００３４】
ＭＰＥＧ−２の符号化データが入力も同様であるが、矩形であるため特にＬＯＣＡＴＩＯＮ＿ＤＡＴＡはなく、任意の形状を表すための形状情報はない。
【００３５】
それ以外は符号のフォーマットや名称は異なるものの同じような情報が含まれている。例えば画像のサイズを表すのにＭＰＥＧ−４符号化方式ではオブジェクトの大きさを表すｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｗｉｄｔｈ符号、ｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｈｅｉｇｈｔ符号を用いるが、ＭＰＥＧ−２ではｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ＿ｖａｌｕｅ符号、ｖｅｒｔｉｃａｌ＿ｓｉｚｅ＿ｖａｌｕｅ符号が用いられているといった具合である。しかしながらその符号は微妙に異なっており、ｄｃｔ＿ｄｃ＿ｓｉｚｅ＿ｌｕｍｉｎａｎｃｅ符号等を見てもわかるとおり、その割り当てられる符号が微妙に異なる。
【００３６】
図１４（ｃ）のオブジェクトは背景として用いられるＭＰＥＧ−２で符号化された画像を表す。
【００３７】
次に、分離器３は、各種のヘッダの情報をヘッダメモリ４に、符号メモリ５〜９に各オブジェクト毎にＳＨＡＰＥ＿ＤＡＴＡ、ＭＯＴＩＯＮ＿ＤＡＴＡ、ＭＢ＿ＤＡＴＡを格納する。ヘッダメモリ４の内容はヘッダ生成器１２に入力される。ヘッダ生成器１２の詳細なブロック図を図３に示す。図３において５１は入力された符号化データのうちＬＯＣＡＴＩＯＮ＿ＤＡＴＡやシステム符号の配置情報、フレームレートに関する符号、バッファ充足度やビットレートに関する符号、量子化特性に関する符号を分離する分離器である。５２はＬＯＣＡＴＩＯＮ＿ＤＡＴＡやシステム符号の配置情報から最終的に得られる画像データの画像の大きさを求める画像サイズ解析器である。５３はフレームレートに関する符号から最終的に得られるフレームレートを求めるフレームレート解析器である。５４はバッファ充足度やビットレートに関する符号から復号器側で復号の際に必要なビットレートとバッファサイズを求めるバッファ制御解析器である。５５は量子化特性に関する符号、例えば量子化マトリクスの指定に関する符号から量子化特性を解析する量子化特性解析器である。５６はＭＰＥＧ−２のヘッダを構成するのに必要な符号類、例えば各種スタートコード等を格納しておくコードメモリである。５７は画像サイズ解析器５２の出力に基づいてＭＰＥＧ−２フォーマットの符号を生成する画像サイズ符号割当器である。６８はフレームレート解析器５３の出力に基づいてＭＰＥＧ−２フォーマットの符号を生成するフレームレート符号割当器である。５９はバッファ制御解析器５４の出力に基づいてＭＰＥＧ−２フォーマットの符号を生成するバッファ制御符号割当器である。６０は量子化特性解析器５５の出力に基づいてＭＰＥＧ−２フォーマットの符号を生成する量子化特性符号割当器である。６３はバッファメモリであり、入力された各オブジェクトのＬＯＣＡＴＩＯＮ＿ＤＡＴＡを格納しておく。６１はコードメモリ５６、画像サイズ符号割当器５７、フレームレート符号割当器６８、バッファ制御符号割当器５９、量子化特性符号割当器６０、バッファメモリ６３からの出力をＭＰＥＧ−２符号化データのフォーマットにしたがって多重化する多重化器である。６２は生成された符号化データを表す。
【００３８】
ヘッダ生成器１２に入力されたヘッダに関する符号のうち、ＬＯＣＡＴＩＯＮ＿ＤＡＴＡやシステム符号の配置情報は画像サイズ解析器５２に入力される。画像サイズ解析器５２は画像の大きさ、オブジェクトの配置とその大きさから全てのオブジェクトを包含する画像の大きさを求める。その画像の大きさは画像サイズ符号割当器５７に入力され符号を割り当て出力する。
【００３９】
フレームレートに関する符号はフレームレート解析器５３に入力される。フレームレート解析器５３はｆｉｘｅｄ＿ＶＯＰ＿ｒａｔｅ符号等から全てのオブジェクトの表示が可能になるフレームレートを求める。そのフレームレートはフレームレート符号割当器５８に入力され符号を割り当て出力する。
【００４０】
バッファ充足度やビットレートに関する符号はバッファ制御解析器５４に入力される。バッファ制御解析器５４はバッファ制御に関する符号であるｂｉｔ＿ｒａｔｅ符号やｖｂｖ＿ｂｕｆｆｅｒ＿ｓｉｚｅ符号等から合成した画像を復号する時に必要なバッファ制御のための条件を求める。その条件はバッファ制御符号割当器５９に入力され符号を割り当て出力する。
【００４１】
量子化特性に関する符号は量子化特性解析器５５に入力される。量子化特性解析器５５は量子化マトリクスに関する符号を入力する。それにしたがって、量子化マトリクスについてデフォルトのものを使用するのか別途入力したものを利用するのか等を解析する。解析結果は量子化特性符号割当器６０に入力され符号を割り当て出力する。多重化器６１はコードメモリ５６、画像サイズ符号割当器５７、フレームレート符号割当器５８、バッファ制御符号割当器５９、量子化特性符号割当器６０からの出力をＭＰＥＧ−２符号化データのフォーマットにしたがって多重化し、符号化データ６２を出力する。
【００４２】
ＬＯＣＡＴＩＯＮ＿ＤＡＴＡはバッファメモリ６３に各オブジェクト毎に格納されている。
【００４３】
分離器３によって、符号メモリ５には図１４（ａ）の車のオブジェクトに関する符号化データが、符号メモリ６には図１４（ｂ）の車のオブジェクトに関する符号化データが、符号メモリ７には図１４（ｃ）の背景のオブジェクトに関する符号化データが格納される。セレクタ１０は各オブジェクトの符号化データについてヘッダメモリ４に格納されているフレームレートの情報に従って符号メモリ５〜７に格納されている符号化データを読み出し、分離器１１に入力する。分離器１１では入力された符号化データから形状情報を再生するのに必要な符号、ＳＨＡＰＥ＿ＤＡＴＡ、ＭＯＴＩＯＮ＿ＤＡＴＡを形状符号メモリ１７に、画像データ（テクスチャ）を再生するのに必要な符号、ＭＢ＿ＤＡＴＡ、ＭＯＴＩＯＮ＿ＤＡＴＡを画像データ復号器１３に分離して入力する。形状符号メモリ１７の内容は形状情報復号器１８に入力され、復号されて画像合成処理器１４に入力される。画像データ復号器１３は画像データを復号して画像合成処理器１４に入力する。画像合成処理器１４はヘッダメモリ４からオブジェクトの配置情報を、画像データ復号器１３から画像データを、形状情報復号器１８から形状情報を各オブジェクト毎に入力する。画像合成処理器１４はこれらの情報に従って画像を合成する。図１５（ａ）は、画像を合成した様子を示した図である。
【００４４】
合成された画像はフレームメモリ１５に格納され、画像データ符号化器１６でＭＰＥＧ−２のフォーマットにしたがった符号化データが生成される。多重化器１９はヘッダ生成器１２からの出力と画像データ符号化器１６の出力、形状符号メモリ１７の出力を入力し、ＭＰＥＧ−２のフォーマットに適合するように多重化する。図４は、符号化装置から出力されたＭＰＥＧ−２に基づく符号化データの構造を示した図である。
【００４５】
形状符号化メモリ１７からは図１５（ｂ）及び（ｃ）にしめす各オブジェクトの形状を符号化したＳＨＡＰＥ＿ＤＡＴＡが出力される。多重化器１９は最初にヘッダ生成器１２で生成されたヘッダ情報を入力する。
【００４６】
すなわち、コードメモリ５６に格納されていたｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ＿ｃｏｄｅ符号をまず出力する。続いて画像サイズ符号割当器５７が割り当てた画像のサイズを表す符号であるｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ＿ｖａｌｕｅ符号、ｖｅｒｔｉｃａｌ＿ｓｉｚｅ＿ｖａｌｕｅ符号を出力する。以後、各種ヘッダに関する符号をコードメモリ５６等から読み出し出力する。
【００４７】
また、フレームレートに関する符号はフレームレート符号割当器５８からｆｒａｍｅ＿ｒａｔｅ＿ｃｏｄｅ符号として出力され、バッファ制御に必要な符号であるｂｉｔ＿ｒａｔｅ＿ｃｏｄｅ符号とｖｂｖ＿ｂｕｆｆｅｒ＿ｓｉｚｅ符号がフレームレート符号割当器５９から出力される。さらに量子化特性を表す符号として量子化マトリクスを読み込むために量子化特性符号割当器６０から量子化マトリクスを設定するｌｏａｄ＿ｉｎｔｒａ＿ｑｕａｎｔｉｚｅｒ符号、ｉｎｔｒａ＿ｑｕａｎｔｉｚｅｒ＿ｍａｔｒｉｘ［０］〜［６３］符号、ｎｏｎ＿ｌｏａｄ＿ｉｎｔｒａ＿ｑｕａｎｔｉｚｅｒ符号、ｎｏｎ＿ｉｎｔｒａ＿ｑｕａｎｔｉｚｅｒ＿ｍａｔｒｉｘ［０］〜［６３］符号が出力される。これらの符号を図４のフォーマットにしたがって多重化する。
【００４８】
さらに各フレーム／フィールド画像の符号化データとして、コードメモリ５６に格納されていたｐｉｃｔｕｒｅ＿ｓｔａｒｔ＿ｃｏｄｅ符号が多重化され、ユーザが任意のデータを置くために設定が認められているｕｓｅｒ＿ｄａｔａを書き込むためのｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅ符号がコードメモリ５６から出力される。その後、ヘッダ生成器１２のバッファメモリ６３から各オブジェクトの位置情報を示すＬＯＣＡＴＩＯＮ＿ＤＡＴＡと形状符号メモリ１７から各オブジェクトの形状符号化データがそれぞれ多重化される。図４のＬＯＣＡＴＩＯＮ＿ＤＡＴＡとＳＨＡＰＥ＿ＤＡＴＡがそれである。さらに画像データ符号化器１６から各マクロブロックのデータがＳＬＩＣＥ単位で多重化される。この結果、符号化データ２０が生成される。
【００４９】
このような一連の動作により、オブジェクト毎に符号化されたＭＰＥＧ−４やＭＰＥＧ−２の符号化データから容易にＭＰＥＧ−２の符号化データを生成することができる。そして、形状情報や配置情報がＭＰＥＧ−２の符号化データの復号に影響が無いように保持することができ、復号側で新たに画像の認識やオブジェクトの切り出し処理を行わずにオブジェクトを再利用することが可能になる。［第２の実施形態］
図５は、本発明の第２の実施形態に係る符号化装置の構成を示すブロック図である。この符号化装置は、第１実施形態で生成された符号化データ２０を元のＭＰＥＧ−４に基づく符号化データに符号化するものである。
【００５０】
８１は符号化データ２０をその内容に応じて分割し出力先を適宜変更する分離器である。８２は分離器８１で分離された各符号化データのヘッダの情報を格納するヘッダメモリである。８３はヘッダメモリ８２の内容を判断してＭＰＥＧ−４符号化データに適したヘッダを生成するヘッダ生成器である。
【００５１】
８４はｕｓｅｒ＿ｄａｔａに含まれるＳＨＡＰＥ＿ＤＡＴＡを格納する形状符号メモリである。９３は同様にｕｓｅｒ＿ｄａｔａに含まれるＬＯＣＡＴＩＯＮ＿ＤＡＴＡを格納する配置情報メモリである。８５は形状符号メモリ８４の内容を各オブジェクト毎に復号する形状情報復号器である。８６は分離器８１で分離された画像毎やオブジェクト毎の符号化データをそれぞれ格納する符号メモリである。８７は画像データの符号化データを復号する画像データ復号器である。８８は配置情報メモリ９３、形状情報復号器８５の出力にしたがって、画像データからオブジェクトを切り出す画像分割処理器である。８９は切り出されたオブジェクトを格納するフレームメモリであり、９０はフレームメモリ８９に格納されている各オブジェクトをＭＰＥＧ−４符号化方式で符号化する画像データ符号化器である。９１はヘッダ生成器８３、配置情報メモリ９３、形状符号メモリ８４、画像データ符号化器９０からの出力をＭＰＥＧ−４符号化データのフォーマットにしたがって多重化する多重化器である。９２は生成された符号化データを表す。
【００５２】
分離器８１は各種のヘッダの情報をヘッダメモリ８２に、ＳＨＡＰＥ＿ＤＡＴＡを形状符号メモリ８４に、ＬＯＣＡＴＩＯＮ＿ＤＡＴＡを配置情報メモリ９３に、その他の画像データを符号メモリ８６に格納する。ヘッダメモリ８２の内容はヘッダ生成器８３に入力される。ヘッダ生成器８３は第１実施形態とは異なりＭＰＥＧ−４符号化方式のフォーマットにしたがったヘッダ情報を生成する。ヘッダ生成器８３の構成の詳細を図６に示す。
【００５３】
図６において、５０１は入力された符号化データのうちフレームレートに関する符号、バッファ充足度やビットレートに関する符号、量子化特性に関する符号を分離する分離器である。５０２はフレームレートに関する符号から最終的に得られるフレームレートを求めるフレームレート解析器である。５０３はバッファ充足度やビットレートに関する符号からＭＰＥＧ−４符号化データの復号の際に必要なビットレートとバッファサイズを求めるバッファ制御解析器である。
【００５４】
５０４は量子化特性に関する符号から量子化持性を解析する量子化特性解析器である。５０５はＭＰＥＧ−４のヘッダを構成するのに必要な符号類、例えば各種スタートコード等を格納しておくコードメモリである。５０６はフレームレート解析器５０２の出力に基づいてＭＰＥＧ−４フォーマットの符号を生成するフレームレート符号割当器である。
【００５５】
５０７はバッファ制御解析器５０３の出力に基づいてＭＰＥＧ−４フォーマットの符号を生成するバッファ制御符号割当器である。５０８は量子化特性解析器５０４の出力に基づいてＭＰＥＧ−４フォーマットの符号を生成する量子化特性符号割当器である。５０９はコードメモリ５０５、フレームレート符号割当器５０６、バッファ制御符号割当器５０７、量子化特性符号割当器５０８からの出力をＭＰＥＧ−４符号化データのフォーマットにしたがって多重化する多重化器である。５１０は生成された符号化データを表す。
【００５６】
ヘッダ生成器８３に入力されたヘッダに関する符号のうち、フレームレートに関する符号はフレームレート解析器５０２に入力される。フレームレート解析器５０２はｆｒａｍｅ＿ｒａｔｅ＿ｃｏｄｅ符号等からオブジェクトの表示が可能になるフレームレートを求める。そのフレームレートはフレームレート符号割当器５０６に入力され符号を割り当て出力する。
【００５７】
バッファ充足度やビットレートに関する符号はバッファ制御解析器５０３に入力される。バッファ制御解析器５０３はバッファ制御に関する符号であるｂｉｔ＿ｒａｔｅ符号やｖｂｖ＿ｂｕｆｆｅｒ＿ｓｉｚｅ符号等から各オブジェクトを復号する時に必要なバッファ制御のための条件を求める。その条件はバッファ制御符号割当器５０７に入力され符号を割り当て出力する。
【００５８】
量子化特性に関する符号は量子化特性解析器５０４に入力される。量子化特性解析器５０４は量子化マトリクスに関する符号を入力し第１実施形態の量子化特性解析器５５と同様に解析する。解析結果は量子化特性符号割当器５０８に入力され符号を割り当て出力する。
【００５９】
多重化器５０９はコードメモリ５０５、フレームレート符号割当器５０６、バッファ制御符号割当器５０７、量子化特性符号割当器５０８からの出力をＭＰＥＧ−４符号化データのフォーマットにしたがって多重化し、符号化データ５１０を出力する。ＬＯＣＡＴＩＯＮ＿ＤＡＴＡは配置情報メモリ９３に各オブジェクト毎に格納されている。
【００６０】
画像データ復号器８７は符号メモリ８６の画像データを復号して画像分割処理器８８に入力する。画像分割処理器８８は配置情報メモリ９３からオブジェクトの配置情報を、画像データ復号器８７から画像データを、形状情報復号器８５から形状情報を各オブジェクト毎に入力する。画像分割処理器８８はこれらの情報に従ってオブジェクトを切り出す。
【００６１】
例えば、図１５（ａ）の画像から形状情報である図１５（ｂ）及び（ｃ）を用いて、図１４（ａ）及び（ｂ）の車のオブジェクトを切り出す。切り出されたオブジェクトはフレームメモリ８９に格納され、画像データ符号化器９０でＭＰＥＧ−４のフォーマットにしたがった符号化データが生成される。
【００６２】
多重化器９１はヘッダ生成器８３からの出力、配置情報メモリ９３の出力、画像データ符号化器９０の出力、形状符号メモリ８４の出力を入力し、ＭＰＥＧ−４のフォーマットに適合するように多重化する。出力するＭＰＥＧ−４符号化データの構造は図２に示したとおりである。
【００６３】
このような一連の選択動作によりフレームまたはフィールド単位で符号化されたデータからオブジェクト毎に符号化された例えばＭＰＥＧ−４のような符号化データを簡単に生成することができる。特に、形状情報や配置情報がオリジナルのデータで行われていることから精度の高い切り出しが簡単かつ高速に行うことができる。
［第３の実施形態］
図７は本発明の第３の実施形態に係る符号化装置の構成を示すブロック図である。本実施形態では、入力画像のデータとしてＭＰＥＧ−４符号化方式で符号化されたデータを用い、ＭＰＥＧ−２符号化方式で符号化されたデータを出力する場合について説明する。
【００６４】
なお、この入力画像データについては画像データとその形状を表す情報を含むものであればどんなものでもよく、たとえばクロマキー等で生成されたマスク情報を含む画像データなどであってももちろんかまわない。また出力についてもＭＰＥＧ−２符号化方式に限定されるものではなく、Ｈ．２６１やＭＰＥＧ−１のような動き補償を行う符号化方式やモーションＪＰＥＧのようなフレーム単位で符号化を行う方式で符号化されたものでももちろんかまわない。なお、以下に述べる各図において、前述の実施形態と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００６５】
図７に示すように、この実施形態では、ＭＰＥＧ−４の画像データの符号化データをＭＰＥＧ−２の符号化データに変換する符号変換部１１０を設けた点に特徴がある。
【００６６】
符号変換部１１０において、１００は入力された符号化データを形状情報復号器１８とヘッダメモリ４の配置情報に基づき出力先を適宜変更するセレクタである。１０１は符号化データの符号を置換してＭＰＥＧ−２符号化方式の符号化データを生成する符号置換器である。１０２はマクロブロック単位で画像を格納するブロックメモリである。１０３はヘッダ生成器１２、画像データ符号化器１６、形状符号メモリ１７、符号置換器１０１の出力をＭＰＥＧ−２符号化データのフォーマットにしたがって多重化する多重化器である。
【００６７】
このような構成において、第１実施形態と同様にＭＰＥＧ−４符号化データ１が入力されると分離器３でヘッダに関する符号化データと各オブジェクトを表す符号化データに分離され、ヘッダメモリ４と各符号メモリ５〜９に格納される。ヘッダメモリ４の内容はヘッダ生成器１２に入力される。ヘッダ生成器１２は第１実施形態と同様に画像の大きさ等に関する符号、フレームレート等に関する符号、バッファ充足度やビットレートに関する符号、量子化特性に関する符号、ＬＯＣＡＴＩＯＮ＿ＤＡＴＡを処理してＭＰＥＧ−２符号化方式の符号を出力する。
【００６８】
セレクタ１０は各オブジェクトの符号化データについてヘッダメモリ４に格納されているフレームレートの情報に従って符号メモリ５〜７に格納されている符号化データを読み出し、分離器１１に入力する。分離器１１では入力された符号化データを、形状情報を再生するのに必要な符号と画像データを再生するのに必要な符号に分離し、それぞれを形状符号メモリ１７とセレクタ１００に入力する。第１実施形態と同様に形状符号メモリ１７の内容は形状情報復号器１８に入力され、復号されてセレクタ１００と画像合成処理器１４に入力される。セレクタ１００はヘッダメモリ４から配置情報を形状情報復号器１８から形状情報を入力する。セレクタ１００はこれらの２つの情報からマクロブロック単位での符号化データをマクロブロックにオブジェクトの境界が含まれる場合は画像データ復号器１３に出力し、そうでなければ符号置換器１０１に入力する。
【００６９】
マクロブロックに境界が含まれない場合、符号置換器１０１はマクロブロック単位でＭＰＥＧ−４の符号化データをＭＰＥＧ−２の符号化データに符号化データのままで変換する。
【００７０】
図８は、符号置換器１０１の詳細なブロック図である。同図において１３０は符号化データを格納する符号メモリである。１３１は入力された符号化データをその内容に応じて分割し出力先を適宜変更する分離器である。１３２はＭＰＥＧ−４符号化方式のフォーマットで表された動きベクトルの符号化データをＭＰＥＧ−２符号化方式のフォーマットで表された動きベクトルの符号化データに変換する動きベクトル符号置換器である。１３３はＭＰＥＧ−４符号化方式のフォーマットで表されたマクロブロックの符号化モードやブロック符号化符号（ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ ｉｃｂｐ符号）の符号化データをＭＰＥＧ−２符号化方式のフォーマットで表されたマクロブロックの符号化データに変換する動きベクトル符号置換器である。１３４はマクロブロックの量子化係数を一時的に格納しておく量子化係数メモリである。１３５、１４１はヘッダメモリ４からマクロブロックの予測のモードによって入出力を選択するセレクタである。１３６はＭＰＥＧ−４符号化方式のフォーマットで表されたＤＣＴ係数の符号化データをＭＰＥＧ−２符号化方式のフォーマットで表されたＤＣＴ係数の符号化データに変換する係数符号置換器である。１３７はＤＣＴ係数の符号化データを復号する係数復号器であり、１３８は係数の予測を行う係数予測器である。１４０は予測のために復号したＤＣＴ係数を一時格納しておく係数メモリである。１３９は係数予測器１３６の出力を符号化する係数符号化器である。１４２はＭＰＥＧ−２のマクロブロックの符号を構成するのに必要な符号類を格納しておくコードメモリである。１４３はコードメモリ１４２、動きベクトル符号置換器１３２、量子化係数メモリ１３４、セレクタ１４１からの出力をＭＰＥＧ−２符号化データのフォーマットにしたがって多重化する多重化器である。１４４は生成された符号化データを表す。
【００７１】
入力された符号化データは符号メモリ１３０に格納される。ここで符号メモリ１３０はヘッダメモリ４のヘッダ情報のうち、誤り耐性を向上させるためにｄａｔａ＿ｐａｒｔｉｔｉｏｎｅｄを行っていた場合、動きベクトルとマクロブロックの画像データを並び替えて出力する。さらに双方向可逆符号化が行われていれば符号置換器１４５を用いて通常のハフマン符号に置換しておく。そうでなければそのまま符号メモリの内容を出力する。分離器１３１は符号置換器１０１に入力された符号化データのうち動きベクトルに関する符号、マクロブロックのモード等に関する符号、ＤＣＴ係数に関する符号を分離する。
【００７２】
符号置換器１０１に入力された動きベクトルに関する符号は動きベクトル符号置換器１３２に入力される。動きベクトル符号置換器１３２はＲＯＭ等で構成されるデータのテーブルで、入力されたＭＰＥＧ−４の符号化データをＭＰＥＧ−２の符号化データに置換する。ＭＰＥＧ−４の動きベクトルとＭＰＥＧ−２の動きベクトルではｍａｒｋｅｒ＿ｂｉｔ等の差異があるため、これを符号化データで一意に変換する。
【００７３】
マクロブロックの符号化モードやブロック符号化符号はブロックモード符号置換器１３３に入力される。ＭＰＥＧ−４符号化方式とＭＰＥＧ−２符号化方式ではｃｂｐ符号のフォーマットが異なり、輝度と色度のｃｂｐ符号やモードの記述に差違が有る。これをＲＯＭ等で構成されるデータのテーブルで、入力されたＭＰＥＧ−４の符号化データをＭＰＥＧ−２の符号化データに置換し、一意に変換する。またａｃ＿ｐｒｅｄ＿ｆｌａｇ符号をセレクタ１３５、１４１に入力する。
【００７４】
量子化係数メモリ１３４は量子化係数を一時的に格納し、係数符号置換器１３６、係数復号器１３７、係数符号化器１３９に入力され符号の変換と量子化係数の変換を一度に行う。
【００７５】
セレクタ１３５、１４１はブロックモード符号置換器から出力されるａｃ＿ｐｒｅｄ＿ｆｌａｇ符号によって入出力を選択する。ＭＰＥＧ−４符号化方式ではＤＣＴ変換係数のＤＣ成分のみを周囲のブロックから予測する。ＭＰＥＧ−２符号化方式とは異なり、ＡＣ成分からも予測することが可能である。ＡＣ成分の予測が行われていない場合、セレクタ１３５、１４１は係数符号置換器１３６を用い、ＤＣＴ係数の符号化データをＭＰＥＧ−４符号化方式の符号からＭＰＥＧ−２符号化方式の符号へと変換する。ＭＰＥＧ−４では双方向可逆符号（ｒｅｖｅｒｓｉｂｌｅ  ＶＬＣ）を用いることができるので量子化係数を参照してＭＰＥＧ−２の通常のハフマン符号に置き換える。係数符号置換器１３６はＲＯＭ等で構成することができる。
【００７６】
ＡＣ成分予測を行う場合はセレクタ１３５、１４１は係数復号器１３７、係数符号化器１３９を入出力に選択する。係数復号器１３７は量子化係数を参照して復号し、係数予測器１３８に入力する。係数予測器１３８は係数メモリ１４０に格納されている過去に変換した係数を参照してＡＣ成分の予測を行いＡＣ成分の値を復元し、係数符号化器１３９でＭＰＥＧ−２の通常のハフマン符号に置き換える。
【００７７】
多重化器１４３はコードメモリ１４２からの出力、動きベクトル符号置換器１３２の出力、ブロックモード符号変換器１３３の出力、量子化係数メモリ１３４の出力、セレクタ１４１の出力を入力し、ＭＰＥＧ−２のフォーマットに適合するように多重化し符号化データ１４４を生成する。
【００７８】
マクロブロックに境界が含まれる場合、セレクタ１００は出力先に画像データ復号器１３を選択し、画像データ復号器１３は画像データを復号して画像合成処理器１４に入力する。画像合成処理器１４はヘッダメモリ４からオブジェクトの配置情報を、画像データ復号器１３から画像データを、形状情報復号器１８から形状情報を各オブジェクト毎に入力する。画像合成処理器１４はこれらの情報に従って画像を合成しブロックメモリ１０２に出力する。ブロックメモリ１０２の内容は画像データ符号化器１６でＭＰＥＧ−２符号化方式によって符号化される。
【００７９】
多重化器１０３はヘッダ生成器１２、符号置換器１０１、画像データ符号化器１６、形状情報メモリ１７からの出力を入力し、ＭＰＥＧ−２のフォーマットに適合するように多重化する。出力するＭＰＥＧ−２符号化データの構造は図４に示したとおりである。
【００８０】
以上説明したように、本実施形態によれば、符号化データを符号化データのまま合成することができるので復号作業を大幅に低減することが可能になり高速化に大きく頁献できるようになった。
［第４の実施形態］
図９は本発明の第４の実施形態に係る符号化装置の構成を示すブロック図である。
【００８１】
本実施形態では、入力画像のデータとして第３の実施形態の符号化装置で生成されたＭＰＥＧ−２符号化方式のデータを用い、これをＭＰＥＧ−４符号化方式のデータとして出力する場合について説明する。なお、前述の実施形態と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００８２】
図９に示すとおり、この符号化装置は、ＭＰＥＧ−２の画像データの符号化データをＭＰＥＧ−４の符号化データに変換する符号変換部１６０を設けた点に特徴がある。
【００８３】
符号変換部１６０において、１５０はセレクタであり、ヘッダメモリ８２または各マクロブロックの符号化モードにしたがって出力先を選択する。１５１はマクロブロック単位で画像データの符号化データを復号する画像データ復号器である。１５２は配置情報メモリ９３、形状情報復号器８５の出力にしたがって、マクロブロックの画像データからオブジェクトを切り出す画像分割処理器である。
【００８４】
１５３は切り出されたオブジェクトを格納するフレームメモリであり、１５４はフレームメモリ１５３に格納されている各オブジェクトをＭＰＥＧ−４符号化方式で符号化する画像データ符号化器である。１５５はＭＰＥＧ−２符号化方式の符号化データを置換してＭＰＥＧ−４符号化方式の符号化データを生成する符号置換器である。１５６はヘッダ生成器８３、配置情報メモリ９３、形状符号メモリ８４、画像データ符号化器１５４、符号置換器１５５からの出力をＭＰＥＧ−４符号化データのフォーマットにしたがって多重化する多重化器である。１５７は生成された符号化データを表す。
【００８５】
第２実施形態の場合と同様に分離器８１は各種のヘッダの情報をヘッダメモリ８２に、ＳＨＡＰＥ＿ＤＡＴＡを形状符号メモリ８４に、ＬＯＣＡＴＩＯＮ＿ＤＡＴＡを配置情報メモリ９３に、その他の画像データを符号メモリ８６に格納する。ヘッダ生成器８３はＭＰＥＧ−４符号化方式のフォーマットにしたがったヘッダ情報を生成する。
【００８６】
セレクタ１５０は配置情報メモリ９３、形状情報復号器８５の出力を参照してマクロブロックがオブジェクトの境界を含む時は画像データ復号器１５１を出力先に選択し、そうでなければ符号置換器１５５を選択する。
【００８７】
最初に、マクロブロックがオブジェクトの境界を含む場合について説明する。基本的には図５の符号メモリ８６、画像データ復号器８７、画像分割処理器８８、フレームメモリ８９、画像データ符号化器９０と同様の動作を画像データ復号器１５１、画像分割処理器１５２、フレームメモリ１５３、画像データ符号化器１５４マクロブロック単位で処理する。画像データ符号化器１５４でＭＰＥＧ−４のフォーマットにしたがった符号化データが生成される。
【００８８】
続いて、マクロブロックがオブジェクトの境界を含まない場合について説明する。セレクタ１５０は出力先に符号置換器１５５を選択する。符号置換器１５５の構成は図８にし示したものと同じである。しかしながら動きベクトル符号置換器１３２、ブロックモード符号置換器１３３、係数符号置換器１３６は第２実施形態と異なり、ＭＰＥＧ−２符号化方式の符号をＭＰＥＧ−４符号化方式の符号に置換する。量子化係数メモリ１３４は第２実施形態と同様に動作する。セレクタ１３５、１４１はブロックモード符号置換器１３３の処理とは独立にそのモードを設定できる。係数復号器１３７は第２実施形態とは異なりＭＰＥＧ−２符号化データを復号し、ＤＣＴ係数を得る。係数予測器１３８は係数メモリ１４０に格納されている周囲のブロックの係数からＤＣ成分及びＡＣ成分を予測し、係数の誤差を求め、係数符号化器１５４でＭＰＥＧ−４符号化方式の符号化データを得る。
【００８９】
多重化器１５６はヘッダ生成器８３からの出力、配置情報メモリ９３の出力、画像データ符号化器１５４、符号置換器１５５の出力、形状符号メモリ８４の出力を入力し、ＭＰＥＧ−４のフォーマットに適合するように多重化する。出力するＭＰＥＧ−４符号化データの構造は図２に示したとおりである。
【００９０】
このような一連の動作によりフレームまたはフィールド単位で符号化されたデータからオブジェクト毎に符号化された例えばＭＰＥＧ−４のような符号化データを簡単に生成することが可能になる。その多くを符号化データのままで変換できるので復号／符号化の処理を大幅に低減できるので高速化を図ることができる。形状情報や配置情報がオリジナルのデータで行われていることから精度の高い切り出しが簡単かつ高速に行えるようになった。
［第５の実施形態］
図１０は本発明の第５の実施形態に係る符号化装置の構成を示すブロック図である。本実施形態では、入力画像のデータとしてＭＰＥＧ−４符号化方式で符号化されたデータを用い、これをＭＰＥＧ−２符号化方式のデータとして出力する場合について説明する。なお、前述の実施形態と同様の構成要素については同一番号を付してその評細な説明は省略する。
【００９１】
図１０において、１１０は図７における符号変換部１１０と同様の構成のものを意味している。２０２はヘッダメモリ４の配置情報と形状情報からオブジェクトの重なりを検出する重複部検出器である。２００は入力された重複部検出器２０２の出力に基づき出力先を適宜変更するセレクタである。２０１は形状情報に関する符号と画像データ（テクスチャ）に関する符号とを分離する分離器である。
【００９２】
２０３は形状情報復号器であり、形状に関する符号を復号して形状情報を得る。２０４は形状情報を格納する形状情報メモリである。２０５はオブジェクト間での形状情報の重複部を検出する形状重複部検出器である。２０６は形状情報をＭＰＥＧ−４の形状情報符号化方式を用いて符号化する形状情報符号化器である。２０７はテクスチャを復号する画像データ復号器であり、２０８はオブジェクト間でのテクスチヤの重複部を検出する画像重複部検出器である。
【００９３】
２０９は、検出されたテクスチャを格納するフレームメモリである。２１０はテクスチャをＭＰＥＧ−４のテクスチャの符号化方式を用いて符号化する画像データ符号化器である。２１１はヘッダ生成器１２、画像データ符号化器２１０、形状情報符号化器２０６、符号変換部１１０の出力をＭＰＥＧ−２符号化データのフォーマットにしたがって多重化する多重化器である。２１２は生成されたＭＰＥＧ−２符号化方式フォーマットの符号化データを表す。
【００９４】
ＭＰＥＧ−４符号化方式で符号化された符号化データ１が入力されると、分離器３はヘッダ情報を分離してヘッダメモリ４に、各オブジェクトの符号化データを符号メモリ５〜９に格納する。ヘッダ生成器１２は第１実施形態と同様にＭＰＥＧ−２符号化方式のフォーマットに適合するヘッダ情報を生成する。重複部検出器２０２はヘッダメモリに格納された各オブジェクトの配置情報からオブジェクト間に重なりが有るか否かを判定する。その結果はセレクタ２００と形状重複部検出器２０５に入力される。
【００９５】
オブジェクト間に重なりの可能性がある場合には符号メモリ５〜９に格納されたオブジェクトの符号化データはセレクタ２００を介して符号変換部１１０と分離器２０１に入力される。重なりが無い場合にはオブジェクトの符号化データはセレクタ２００を介して符号変換部１１０に入力される。
【００９６】
従って、符号変換部１１０ではオブジェクトの重なりの有無に関係なく、第３実施形態と同様にオブジェとの境界を含まない部分については符号置換器１０１で符号の置換が行われてＭＰＥＧ−２符号化方式に従った画像データを生成し、境界を含む部分に関しては画像データ復号器１３、画像合成処理器１４、ブロックメモリ１０２、画像データ符号化器１６を介してＭＰＥＧ−２符号化方式に従った画像データを生成する。
【００９７】
オブジェクト間に重なりの可能性がある場合に分離器２０１はオブジェクト単位の符号化データを入力し、形状情報に関する符号とテクスチャに関する符号とを分離する。
【００９８】
図１６は、オブジェクトの重なりの様子を示した図である。図１６（ａ）はオブジェクトの重なりが無い状態を示し、図１６（ｂ）はオブジェクトの重なりが生じた状態を示している。
【００９９】
形状情報は形状情報復号器２０３で復号され、形状情報を得る。図１７（ａ）と（ｂ）は、それぞれのオブジェクトの形状情報を示している。これらの形状情報は形状情報メモリ２０４に格納される。形状重複部検出器２０５はそれぞれのオブジェクトの位置や重なりの状態をヘッダメモリ４から入力する。重なりの状態とは重なった部分のいずれかが一方のオブジェクトの裏側に回るかを表している。これらの情報から形状情報メモリ２０４の形状情報で重複する部分を検出する。形状情報の重複は２つの形状情報の論理和をとることで容易に検出することができる。図１７（ｃ）は、検出された重複部分を示した図である。検出された部分は新たな形状情報として形状情報符号化器２０６でＭＰＥＧ−４符号化方式の形状情報の符号化方式で符号化される。
【０１００】
分離器２０１で分離されたテクスチャは画像データ復号器２０７で復号され、画像重複部検出器２０８に入力される。画像重複部検出器２０８は形状情報重複部２０５から重複部の形状情報を、ヘッダメモリ４からはオブジェクトの重なり状態を入力し、重なりによって消失する部分を持つオブジェクトのデータに対して入力された形状情報にしたがってテクスチャの切り出しを行う。
【０１０１】
図１７（ｄ）にその様子を示す。図１７（ｄ）は、図１６（ａ）の一部を形状情報に基づいて（図１７（ｃ））で切り出したものである。このテクスチャはフレームメモリ２０９に格納され、画像データ符号化器２１０でＭＰＥＧ−４符号化方式のテクスチャの符号化方式で符号化される。
【０１０２】
多重化器２１１はヘッダ生成器１２、画像データ符号化器２１０、形状情報符号部２０６、符号変換部１１０の出力をＭＰＥＧ−２符号化データのフォーマットにしたがって多重化し符号化データ２１２を生成する。その様子を図１１に示す。ｕｓｅｒ＿ｄａｔａの部分でｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅ符号に続いて、オブジェクト毎に、ヘッダ生成器１２のバッファメモリ６３から各オブジェクトの位置情報を示すＬＯＣＡＴＩＯＮ＿ＤＡＴＡと形状符号メモリ１７から各オブジェクトの形状情報の符号化データＳＨＡＰＥ＿ＤＡＴＡがそれぞれ多重化される。さらに重複部分の形状情報（ＤＵＰＬＩＣＡＴＥＤ＿ＳＨＡＰＥ＿ＤＡＴＡ）とテクスチャデータ（ＤＵＰＬＩＣＡＴＥＤ＿ＴＥＸＴＵＲＥ＿ＤＡＴＡ）が続き、以後はフレームまたはフィールド単位での符号化データが続く。
【０１０３】
以上説明したように、本実施形態によれば、オブジェクト毎に符号化されたＭＰＥＧ−４やＭＰＥＧ−２の符号化データから容易にＭＰＥＧ−２の符号化データを生成することができる。そして、形状情報や配置情報がＭＰＥＧ−２の符号化データの復号に影響が無いように保持することができ、復号側で新たに画像の認識やオブジェクトの切り出し処理を行わずにオブジェクトを再利用することが可能になる。さらにオブジェクトの重なりによって消失する部分をＭＰＥＧ−２の符号化データの復号に影響が無いように保持することができ、復号側でオブジェクトの再生の際に消失部分を合成することでもとのオブジェクトを復元することが可能になる。
【０１０４】
この時、消失する部分の画像データによって符号長の増大や画質の劣化が懸念されるが、元々ＭＰＥＧ−４符号化方式等では消失する部分も送っており、符号の置換による符号長の変化も微少であるため、これら懸念は不要である。
【０１０５】
重複部分の符号化にＭＰＥＧ−４符号化方式を用いたが、これに限定されず、形状情報と重複部分のテクスチャを可逆符号化したり、非圧縮で保持していてももちろん構わない。
【０１０６】
オブジェクトの重なりを２つのオブジェクトを用いて説明したが重なるオブジェクトの数はこれに限定されず、重なりによって消失する部分を各オブジェクト毎に検出し、同様の動作を行うことで任意数のオブジェクトの重なりに対応できることは言うまでもない。
［第６の実施形態］
図１２は本発明の第６の実施形態としての符号化装置の構成を示すブロック図である。
【０１０７】
本実施形態では、入力画像のデータとして第３の実施形態の符号化装置において生成されたＭＰＥＧ−２符号化方式のデータを用い、出力にはＭＰＥＧ−４符号化方式で符号化されたデータを用いた場合について説明する。なお、前述の実施形態と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【０１０８】
２５０は符号化データ２１２をその内容に応じて分割し出力先を適宜変更する分離器である。２５１は重複部分の符号化データを格納する重複部符号メモリである。２５２は重複部符号メモリ２５１の符号化データから形状情報の符号とテクスチャの符号を分離して出力する分離器である。２５３は形状情報を復号する形状情報復号器である。
【０１０９】
２５４はテクスチャを復号する画像データ復号器である。２５５は第５実施形態の重複抽出器２０２と同様に重複部を検出する重複部検出器である。２５６はテクスチャを復号する画像データ復号器である。２５７は配置情報メモリ９３、形状情報復号器２５３の出力にしたがってオブジェクトを切り出す画像分割処理器である。２５８は切り出された画像データを格納するフレームメモリである。
【０１１０】
２５９、２６３はセレクタであり、重複部検出器２５５の出力によって入出力先を選択する。２６０は形状情報とテクスチャから画像を合成する画像合成処理器である。２６１はテクスチャをＭＰＥＧ−４符号化方式のフォーマットで符号化する画像データ符号化器である。２６２はＭＰＥＧ−２符号化データをＭＰＥＧ−４符号化データに置換する符号置換器である。その構成と動作は第４実施形態の符号置換器１５５と同様に動作する。
【０１１１】
２６４はヘッダ生成器８３、配置情報メモリ９３、形状符号メモリ８４、画像セレクタ２６３、分離器２５２からの出力をＭＰＥＧ−４符号化データのフォーマットにしたがって多重化する多重化器である。２６５は生成された符号化データを表す。
【０１１２】
分離器２５０は各種のヘッダの情報をヘッダメモリ８２に、ＳＨＡＰＥ＿ＤＡＴＡを形状符号メモリ８４に、ＬＯＣＡＴＩＯＮ＿ＤＡＴＡを配置情報メモリ９３に、ＤＵＰＬＩＣＡＴＥＤ＿ＳＨＡＰＥ＿ＤＡＴＡとＤＵＰＬＩＣＡＴＥＤ＿ＴＥＸＴＵＲＥ＿ＤＡＴＡは重複部符号メモリ２５１に、その他の画像データを符号メモリ８６に格納する。ヘッダ生成器８３はＭＰＥＧ−４符号化方式のフォーマットにしたがったヘッダ情報を生成する。
【０１１３】
オブジェクトの重なり等の判定は以下の動作によって重複部検出器２５５で行う。まず、配置情報メモリ９３に格納されているオブジェクトの位置や大きさから重複するかしないかは判定可能である。オブジェクトの大きさや位置から重複する場合は該当するオブジェクトの形状符号メモリ８４から形状情報を読み出し、形状情報復号器２５３で復号して重複部検出器２５５に入力する。
【０１１４】
重複部検出器２５５はその形状情報を比較することで重複部分の有無を詳細に検出できる。重複がある場合はヘッダメモリ８２や配置情報メモリ９３の内容からいずれのオブジェクトの消失部分があるかが簡単に判定できる。
【０１１５】
最初に、抽出するオブジェクトが他のオブジェクトと重複しない場合または重複しても消失する部分が無い場合について述べる。
【０１１６】
基本的には第４実施形態と同様に、符号メモリ８６の符号化データを読み出す。マクロブロックにオブジェクトの境界を含む場合はセレクタ２５９が画像データ復号器２５６への出力を選択する。入力された符号化データは画像データ復号器２５６で復号される。
【０１１７】
また、形状符号メモリ８４から該当する形状情報が読み出され形状情報復号器２６３で復号される。画像分割処理器２５７は形状情報復号器２５３と配置情報メモリ９３の出力にしたがってマクロブロック単位でオブジェクトデータを切り出す。これらの結果はフレームメモリ２５８に格納される。
【０１１８】
重複部検出器２５５が重複部は無いと判断した場合、画像合成処理器２６０は動作せず、入力をそのまま画像データ符号化器２６１に入力する。画像データ符号化器２６１はマクロブロック内に境界がある場合のＭＰＥＧ−４符号化方式の符号化を行う。
【０１１９】
マクロブロックにオブジェクトの境界を含まない場合、セレクタ２５９は出力先として画像符号置換器２６２を選択する。画像符号置換器２６２はＭＰＥＧ−４符号化データをＭＰＥＧ−２符号化データに置換する。多重化器２６４はヘッダ生成器８３、配置情報メモリ９３、形状符号メモリ８４、画像符号置換器２６２、分離器２５２からの出力をＭＰＥＧ−４符号化データのフォーマットにしたがって多重化する。
【０１２０】
すなわち、ＭＰＥＧ−４のヘッダに関する符号はヘッダ生成器８３の出力を、配置情報に関する符号は配置情報メモリ９３の出力を、各オブジェクトの形状情報は形状情報符号メモリ８４の出力を多重化する。テクスチャに関する符号ではオブジェクトの境界部分に関しては画像符号化器２６１の出力を、オブジェクトの内部に関しては画像符号置換器２６２の出力を多重化する。このようにしてオブジェクト単位での符号化がされたＭＰＥＧ−４符号化データのフォーマットにしたがった符号化データ２６５を得る。
【０１２１】
次に、抽出するオブジェクトが他のオブジェクトと重複し、消失する部分があった場合について述べる。重複や消失が無い場合と同様にフレームメモリ２５８には境界部分のマクロブロックの画像データが格納され、オブジェクトの内部は画像符号置換器によって符号の置換が行われる。
【０１２２】
重複部検出器２５５は重複部があると判断したので画像合成処理器２６０が動作する。重複部符号メモリ２５１から分離器２５２で分離された該当する形状情報符号を形状情報復号器２５３で復号して画像分割処理器２５７と画像合成処理器２６０に入力される。画像分割処理器２５７は重複郡分のオブジェクトの境界部分に関して切り出しを行いフレームメモリ２５８に格納する。
【０１２３】
画像合成処理器２６０はオブジェクトの境界部分の画像と重複部分の境界部分の画像を入力し、オブジェクトの境界部分で重複部分の境界と重なる部分についてはオブジェクトの境界部分を重複部分の境界部分の画像で置き換える。
【０１２４】
重複部分でオブジェクトの境界部分と重ならない部分に関しては符号メモリ８６から該当する画像データを読み出し、画像データ復号器２５６で復号し、画像合成処理器２６０で画像を合成する。このようにして得られた画像データを画像データ符号化器２６１でＭＰＥＧ−４符号化方式の符号化を行う。多重化器２６４はヘッダ生成器８３、配置情報メモリ９３、形状符号メモリ８４、画像データ符号化器２６２、分離器２５２からの出力をＭＰＥＧ−４符号化データのフォーマットにしたがって多重化する。
【０１２５】
すなわち、ＭＰＥＧ−４のヘッダに関する符号はヘッダ生成器８３の出力を、配置情報に関する符号は配置情報メモリ９３の出力を、各オブジェクトの形状情報は形状情報符号メモリ８４の出力を多重化する。テクスチャに関する符号では画像符号化器２６１で符号化した部分に関しては画像符号化器２６１の出力を、重複部分については重複部符号メモリ２５１から分離器２５２を介して分離された符号化データを、オブジェクト内部のその他の部分に関しては画像符号置換器２６２の出力を多重化する。このようにしてオブジェクト単位での符号化がされたＭＰＥＧ−４符号化データのフォーマットにしたがった符号化データ２６５を得る。
【０１２６】
このような一連の動作によりフレームまたはフィールド単位で符号化されたデータからオブジェクト毎に符号化された例えばＭＰＥＧ−４のような符号化データを簡単に生成することが可能になる。さらに、オブジェクトの重なりによって消失した部分に関しても再生することも可能になった。その多くを符号化データのままで変換できるので復号／符号化の処理を大幅に低減できるので高速化を図ることができる。形状情報や配置情報がオリジナルのデータで行われていることから精度の高い切り出しが簡単かつ高速に行うことができる。
【０１２７】
なお、本実施形態でオブジェクトの切り出しを境界部分は復号し、それ以外を符号化データの置換によってオブジェクト単位の符号化データを得たが、第２実施形態のように一旦復号してから形状情報によって切り出しを行い、再符号化してももちろん構わない。
【０１２８】
以上、本発明の好適な実施の形態について説明したが、上記各実施形態は、本発明の趣旨を逸脱しない範囲で、相互に組み合わせることができることはいうまでもない。
【０１２９】
また、上記各実施形態において、配置情報はＭＰＥＧ−４符号化方式のシステム符号を用いたがユーザが任意に与えてもかまわない。
【０１３０】
また、上記各実施形態においてメモリ等の構成は、例示でありこれに限定されるものではない。
【０１３１】
また、上記各実施形態においてそれぞれの機能の１部または全てをソフトウェアで記述し、演算装置を用いて装置を構成してももちろんかまわない。
【０１３２】
また、上記各実施形態においては、入力データとして符号化データを用いているが、装置内にオブジェクトを抽出する手段を設け、装置内で形状情報を生成してももちろん構わない。図１３は、第１の実施形態にオブジェクト抽出器３５１を具備した例を示した図であり、オブジェクト抽出器３５１は、動画像データ３５０を入力し、自動または半自動、さらにはフレーム毎に手動で形状情報を生成する。形状情報は画像合成処理器１４に直接入力され、形状情報符号化器３５２で符号化されてｕｓｅｒ＿ｄａｔａとして多重化される。
【０１３３】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１３４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３６】
【発明の効果】
請求項１、２、５、６、９及び１０の本発明によれば、オブジェクト単位の符号化データを、オブジェクト間の重なりを含めたオブジェクト毎の情報を失わずに、他の符号化方式で再符号化することができる。また、請求項３、７及び１１の本発明によれば、他の符号化方式で再符号化された符号化データをオブジェクト単位の符号化データに再符号化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る符号化装置の構成を示すブロック図である。
【図２】ＭＰＥＧ−４に基づく符号化方式で符号化された符号化データの一例を示す図である。
【図３】図１におけるヘッダ生成器１２の構成を示すブロック図である。
【図４】本発明の実施形態におけるフレーム／フィールド単位の符号化データの様子を示す図である。
【図５】本発明の第２の実施形態に係る符号化装置の構成を示すブロック図である。
【図６】図５におけるヘッダ生成器８３の構成を示すブロック図である。
【図７】本発明の第３の実施形態に係る符号化装置の構成を示すブロック図である。
【図８】図７における符号置換器１０１の詳細なブロック図である。
【図９】本発明の第４の実施形態に係る符号化装置の構成を示すブロック図である。
【図１０】本発明の第５の実施形態に係る符号化装置の構成を示すブロック図である。
【図１１】本発明の実施形態におけるフレーム／フィールド単位の符号化データの様子を示す図である。
【図１２】本発明の第６の実施形態に係る符号化装置の構成を示すブロック図である。
【図１３】本発明の符号化装置に動画像の入力手段を付加した構成を示すブロック図である。
【図１４】（ａ）各オブジェクトの画像の例を示した図である。
（ｂ）各オブジェクトの画像の例を示した図である。
（ｃ）各オブジェクトの画像の例を示した図である。
【図１５】（ａ）オブジェクトを合成した画像の一例を示した図である。
（ｂ）オブジェクトの形状を示した図である。
（ｃ）オブジェクトの形状を示した図である。
【図１６】（ａ）オブジェクトの重なりが無い状態を示した図である。
（ｂ）オブジェクトの重なりが生じた状態を示した図である。
【図１７】（ａ）各オブジェクトの形状情報を示した図である。
（ｂ）各オブジェクトの形状情報を示した図である。
（ｃ）オブジェクトの重複部分の抽出の様子を示した図である。
（ｄ）図１６（ａ）の重複する部分を切り出した図である。
【図１８】ＭＰＥＧ−４に基づく画像符号化器の機能ブロック図である。
【図１９】ＭＰＥＧ−４に基づく復号化器の機能ブロック図である。
【図１】
0003897499.tif 000002
【図２】
0003897499.tif 000003
【図３】
0003897499.tif 000004
【図４】
0003897499.tif 000005
【図５】
0003897499.tif 000006
【図６】
0003897499.tif 000007
【図７】
0003897499.tif 000008
【図８】
0003897499.tif 000009
【図９】
0003897499.tif 000010
【図１０】
0003897499.tif 000011
【図１１】
0003897499.tif 000012
【図１２】
0003897499.tif 000013
【図１３】
0003897499.tif 000014
【図１４】
0003897499.tif 000015
【図１５】
0003897499.tif 000016
【図１６】
0003897499.tif 000017
【図１７】
0003897499.tif 000018
【図１８】
0003897499.tif 000019
【図１９】
0003897499.tif 000020