(57)【特許請求の範囲】
【請求項１】
符号化方式を識別する識別情報を含むH.263符号化方式のヘッダ情報と画像符号化データとが多重化された第１の符号化ビットストリーム、又は上記識別情報を含むMPEG−４符号化方式のヘッダ情報と画像符号化データとが多重化された第２の符号化ビットストリームを復号する画像復号化装置において、上記識別情報に基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、
上記H.263符号化ビットストリームを受信した場合に、上記H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づいて、H.263符号化ビットストリームをMPEG−４符号化ビットストリームのシンタックスに従って復号する際に利用される画像符号化情報を定める設定手段と、
上記MPEG−４符号化ビットストリームを受信した場合に、上記MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を、該受信したMPEG−４符号化ビットストリームから復号する復号手段とを備え、
上記H.263符号化ビットストリームを受信した場合には上記設定手段により定められた画像符号化情報に基づいて、MPEG−４符号化ビットストリームのシンタックスに従って上記H.263符号化ビットストリームに含まれる画像符号化データを復号し、
上記MPEG−４符号化ビットストリームを受信した場合には、上記復号手段により復号された画像符号化情報に基づいて上記MPEG−４符号化ビットストリームに含まれる画像符号化データを復号することを特徴とする画像復号化装置。
【請求項２】
H.263スタートコードを含むH.263符号化方式のヘッダ情報と画像符号化データとが多重化された第１の符号化ビットストリーム、又はMPEG−４符号化方式のヘッダ情報と画像符号化データとが多重化された第２の符号化ビットストリームを復号する画像復号化装置において、上記H.263スタートコード又は上記MPEG−４符号化方式のヘッダ情報に含まれるVOL（Video  Object  Layer）スタートコードに基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、
上記H.263符号化ビットストリームを受信した場合に、上記H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づいて、H.263符号化ビットストリームをMPEG−４符号化ビットストリームのシンタックスに従って復号する際に利用される画像符号化情報を定める設定手段と、
上記MPEG−４符号化ビットストリームを受信した場合に、上記MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を、該受信したMPEG−４符号化ビットストリームから復号する復号手段とを備え、
上記H.263符号化ビットストリームを受信した場合には上記設定手段により定められた画像符号化情報に基づいて、MPEG−４符号化ビットストリームのシンタックスに従って上記H.263符号化ビットストリームに含まれる画像符号化データを復号し、
上記MPEG−４符号化ビットストリームを受信した場合には、上記復号手段により復号された画像符号化情報に基づいて上記MPEG−４符号化ビットストリームに含まれる画像符号化データを復号することを特徴とする画像復号化装置。
【請求項３】
H.263符号化方式のヘッダ情報と画像符号化データとが多重化された第１の符号化ビットストリーム、又はMPEG−４符号化方式のヘッダ情報と画像符号化データとが多重化された第２の符号化ビットストリームを復号する画像復号化装置において、上記H.263符号化方式のヘッダ情報に含まれるスタートコード、又は上記MPEG−４符号化方式のヘッダ情報に含まれるスタートコードに基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリーム又は上記第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、
上記H.263符号化ビットストリームを受信した場合に、上記H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づいて、H.263符号化ビットストリームをMPEG−４符号化ビットストリームのシンタックスに従って復号する際に利用される画像符号化情報を定める設定手段と、
上記MPEG−４符号化ビットストリームを受信した場合に、上記MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を、該受信したMPEG−４符号化ビットストリームから復号する復号手段とを備え、
上記H.263符号化ビットストリームを受信した場合には上記設定手段により定められた画像符号化情報に基づいて、MPEG−４符号化ビットストリームのシンタックスに従って上記H.263符号化ビットストリームに含まれる画像符号化データを復号し、
上記MPEG−４符号化ビットストリームを受信した場合には、上記復号手段により復号された画像符号化情報に基づいて上記MPEG−４符号化ビットストリームに含まれる画像符号化データを復号することを特徴とする画像復号化装置。
【請求項４】
符号化方式を識別する識別情報を含むH.263符号化方式のヘッダ情報と画像符号化データとが多重化された第１の符号化ビットストリーム、又は上記識別情報を含むMPEG−４符号化方式のヘッダ情報と画像符号化データとが多重化された第２の符号化ビットストリームを復号する画像復号化方法において、上記識別情報に基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームであるかを判定し、
上記H.263符号化ビットストリームを受信した場合に、上記H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づいて、H.263符号化ビットストリームをMPEG−４符号化ビットストリームのシンタックスに従って復号する際に利用される画像符号化情報を定める設定を行い、
上記MPEG−４符号化ビットストリームを受信した場合に、上記MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を、該受信したMPEG−４符号化ビットストリームから復号し、
上記H.263符号化ビットストリームを受信した場合には上記設定により定められた画像符号化情報に基づいて、MPEG−４符号化ビットストリームのシンタックスに従って上記H.263符号化ビットストリームに含まれる画像符号化データを復号し、
上記MPEG−４符号化ビットストリームを受信した場合には、上記復号手段により復号された画像符号化情報に基づいて上記MPEG−４符号化ビットストリームに含まれる画像符号化データを復号することを特徴とする画像復号化方法。
【請求項５】
H.263符号化方式のヘッダ情報と画像符号化データとが多重化された第１の符号化ビットストリーム、又はMPEG−４符号化方式のヘッダ情報と画像符号化データとが多重化された第２の符号化ビットストリームを復号する画像復号化方法において、上記H.263符号化方式のヘッダ情報に含まれるスタートコード、又は上記MPEG−４符号化方式のヘッダ情報に含まれるスタートコードに基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリーム又は上記第２の符号化ビットストリームであるかを判定し、
上記H.263符号化ビットストリームを受信した場合に、上記H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づいて、H.263符号化ビットストリームをMPEG−４符号化ビットストリームのシンタックスに従って復号する際に利用される画像符号化情報を定める設定を行い、
上記MPEG−４符号化ビットストリームを受信した場合に、上記MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を、該受信したMPEG−４符号化ビットストリームから復号し、
上記H.263符号化ビットストリームを受信した場合には上記設定により定められた画像符号化情報に基づいて、MPEG−４符号化ビットストリームのシンタックスに従って上記H.263符号化ビットストリームに含まれる画像符号化データを復号し、
上記MPEG−４符号化ビットストリームを受信した場合には、上記復号手段により復号された画像符号化情報に基づいて上記MPEG−４符号化ビットストリームに含まれる画像符号化データを復号することを特徴とする画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、異なる符号化方式の符号化ビットストリームを扱う画像復号化装置、画像符号化装置、画像通信システム、符号化ビットストリーム変換装置及び画像復号化方法に関するものである。
【背景技術】
【０００２】
現在、ISO/IEC  JTC11/SC29/WG11にて標準化作業中のMPEG−４（Moving  Picture  Experts  Group  Phase−４）方式と、ITU−Ｔ勧告H.263の規格に基づく方法とでは、伝送信号である符号化ビットストリームに付加されるヘッダ情報（復号のための情報信号）が相違している。
【０００３】
図１（ａ）はH.263の規格に基づくH.263符号化ビットストリーム201の構造を示す図であり、ヘッダ情報211とH.263符号化方式で符号化された画像符号化データであるマクロブロックデータ225が多重化されている。図１（ｂ）はMPEG−４符号化ビットストリーム202の構造を示す図であり、ヘッダ情報212とMPEG−４符号化方式で符号化された画像符号化であるマクロブロックデータ239が多重化されている。図に示すとおり、符号化ビットストリームの構造は相違しており、特にH.263では、MPEG−４の復号に必要なVO（Video  Object）、VOL（Video  Object  Layer）、VOP（Video  Object  Plane）等に関するヘッダ情報が含まれていない。そのため両方式による画像の通信を行うためには、それぞれ別個の画像復号化装置及び画像符号化装置が必要である。
【０００４】
なおH.263符号化ビットストリーム201のGOBスタートコード223、GOBヘッダ情報224及びMPEG−４符号化ビットストリーム202の再同期指示コード237、再同期情報238は常に挿入されているものではなく、必要に応じて挿入される。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように従来の符号化ビットストリームは以上のように構成されているので、例えばMPEG−４対応の画像復号化装置では、H.263の規格に基づいて生成されたH.263符号化ビットストリーム201を復号することができないという課題があった。
またMPEG−４対応とH.263の規格に基づく両方の符号化ビットストリームを復号するためには、画像復号化装置は両方式の復号回路を備える必要があり、装置が複雑になるという課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、簡単な構成により、H.263符号化ビットストリーム201を復号可能な画像復号化装置、その画像復号化装置で復号可能な符号化ビットストリームを生成する画像符号化装置、H.263符号化ビットストリームをMPEG−４符号化ビットストリームに変換して通信する画像通信システム及び符号化ビットストリーム変換装置を得ることを目的とする。
【発明を解決するための手段】
【０００７】
この発明に係る画像復号化装置は、符号化方式を識別する識別情報を含むH.263符号化方式のヘッダ情報と画像符号化データとが多重化された第１の符号化ビットストリーム、又は上記識別情報を含むMPEG−４符号化方式のヘッダ情報と画像符号化データとが多重化された第２の符号化ビットストリームを復号するものにおいて、上記識別情報に基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、上記第１の符号化ビットストリームを受信した場合に、上記H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づき、上記MPEG−４符号化方式の画像符号化情報を設定する設定手段と、上記第２の符号化ビットストリームを受信した場合に、上記MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号する復号手段とを備え、上記設定手段により設定された画像符号化情報、又は上記復号手段により復号された画像符号化情報に基づき、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームに含まれる画像符号化データを復号するものである。
【０００８】
この発明に係る画像復号化装置は、H.263スタートコードを含むH.263符号化方式のヘッダ情報と画像符号化データとが多重化された第１の符号化ビットストリーム、又はMPEG−４符号化方式のヘッダ情報と画像符号化データとが多重化された第２の符号化ビットストリームを復号するものにおいて、上記H.263スタートコード又は上記MPEG−４符号化方式のヘッダ情報に含まれるVOL（Video  Object  Layer）スタートコードに基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリーム、又は上記第２の間の符号化ビットストリームであるかを判定する符号化方式判定手段と、上記第１の符号化ビットストリームを受信した場合に、上記H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づき、上記MPEG−４符号化方式の画像符号化情報を設定する設定手段と、上記第２の符号化ビットストリームを受信した場合に、上記MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号する復号手段とを備え、上記設定手段により設定された画像符号化情報、又は上記復号手段により復号された画像符号化情報に基づき、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームに含まれる画像符号化データを復号するものである。
【０００９】
この発明に係る画像復号化装置は、H.263符号化方式のヘッダ情報と画像符号化データとが多重化された第１の符号化ビットストリーム、又はMPEG−４符号化方式のヘッダ情報と画像符号化データとが多重化された第２の符号化ビットストリームを復号するものにおいて、上記H.263符号化方式のヘッダ情報に含まれるスタートコード、又は上記MPEG−４符号化方式のヘッダ情報に含まれるスタートコードに基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリーム又は上記第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、上記第１の符号化ビットストリームを受信した場合に、上記H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づき、上記MPEG−４符号化方式の画像符号化情報を設定する設定手段と、上記第２の符号化ビットストリームを受信した場合に、上記MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号する復号手段とを備え、上記設定手段により設定された画像符号化情報、又は上記復号手段により復号された画像符号化情報に基づき、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームに含まれる画像符号化データを復号するものである。
【００１０】
この発明に係る画像復号化装置は、H.263符号化方式のヘッダ情報と画像符号化データとが多重化された第１の符号化ビットストリーム、又はMPEG−４符号化方式のヘッダ情報と画像符号化データとが多重化された第２の符号化ビットストリームを復号するものにおいて、上記H.263符号化方式のヘッダ情報に含まれるスタートコード、又は上記MPEG−４符号化方式のヘッダ情報に含まれるスタートコードに基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、上記第１の符号化ビットストリームを受信した場合に、上記H.263符号化方式のヘッダ情報に含まれる画像符号化情報を復号する第１の復号手段と、上記第２の符号化ビットストリームを受信した場合に、上記MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号する第２の復号手段とを備え、上記第１の復号手段により復号された画像符号化情報、又は上記第２の復号手段により復号された画像符号化情報に基づき、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームに含まれる画像符号化データを復号するものである。
【００１１】
この発明に係る画像符号化装置は、画像信号をH.263符号化方式で符号化しH.263符号化ビットストリームを生成する符号化手段と、生成された上記H.263符号化ビットストリームに、MPEG−４対応の画像復号化装置で復号可能な符号化ビットストリームを生成するためのヘッダ情報を多重化するヘッダ情報多重化手段とを備えたものである。
【００１２】
この発明に係る画像符号化装置は、ヘッダ情報多重化手段が、ヘッダ情報として、MPEG−４符号化方式のスタートコードとH.263符号化方式であることを示す識別情報を多重化するものである。
【００１３】
この発明に係る画像符号化装置は、ヘッダ情報多重化手段が、ヘッダ情報として、MPEG−４符号化方式のスタートコードとH.263スタートコードを多重化するものである。
【００１４】
この発明に係る画像通信システムは、画像信号をH.263符号化方式で符号化しH.263符号化ビットストリームを生成する符号化手段と、MPEG−４符号化方式で符号化されたMPEG−４符号化ビットストリームを復号する復号化手段と、上記符号化手段から受信したH.263符号化ビットストリームに、上記復号化手段から受信した、上記復号化手段で復号可能な符号化ビットストリームを生成するためのヘッダ情報を多重化して、上記復号化手段に送信する符号化ビットストリーム変換手段とを備えたものである。
【００１５】
この発明に係る符号化ビットストリーム変換装置は、H.263符号化方式で生成されたH.263符号化ビットストリームを入力し、上記H.263符号化方式のヘッダ情報と画像符号化データとを分離するシンタックス解析手段と、分離された上記H.263符号化方式のヘッダ情報を復号する復号手段と、上記復号手段により復号されたH.263符号化方式のヘッダ情報に基づき、MPEG−４符号化方式のヘッダ情報を設定し符号化するヘッダ情報設定手段と、上記シンタックス解析手段が分離した画像符号化データと、上記ヘッダ情報設定手段が符号化したMPEG−４符号化方式のヘッダ情報とを多重化し、MPEG−４符号化ビットストリームを生成する多重化手段とを備えたものである。
【００１６】
この発明に係る画像復号化方法は、符号化方式を識別する識別情報を含むH.263符号化方式のヘッダ情報と画像符号化データとが多重化された第１の符号化ビットストリーム、又は上記識別情報を含むMPEG−４符号化方式のヘッダ情報と画像符号化データとが多重化された第２の符号化ビットストリームを復号するものにおいて、上記識別情報に基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームであるかを判定し、上記第１の符号化ビットストリームを受信した場合に、上記H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づき、上記MPEG−４符号化方式の画像符号化情報を設定し、上記第２の符号化ビットストリームを受信した場合に、上記MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号し、上記設定された画像符号化情報、又は上記復号された画像符号化情報に基づき、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームに含まれる画像符号化データを復号するものである。
【００１７】
この発明に係る画像復号化方法は、H.263符号化方式のヘッダ情報と画像符号化データとが多重化された第１の符号化ビットストリーム、又はMPEG−４符号化方式のヘッダ情報と画像符号化データとが多重化された第２の符号化ビットストリームを復号するものにおいて、上記H.263符号化方式のヘッダ情報に含まれるスタートコード、又は上記MPEG−４符号化方式のヘッダ情報に含まれるスタートコードに基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリーム又は上記第２の符号化ビットストリームであるかを判定し、上記第１の符号化ビットストリームを受信した場合に、上記H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づき、上記MPEG−４符号化方式の画像符号化情報を設定し、上記第２の符号化ビットストリームを受信した場合に、上記MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号し、上記設定された画像符号化情報、又は上記復号された画像符号化情報に基づき、上記第１の符号化ビットストリーム、又は上記第２の符号化ビットストリームに含まれる画像符号化データを復号するものである。
【発明の効果】
【００１８】
この発明によれば、識別情報に基づき、受信した符号化ビットストリームが、第１の符号化ビットストリーム、又は第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、第１の符号化ビットストリームを受信した場合に、H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づき、MPEG−４符号化方式の画像符号化情報を設定する設定手段と、第２の符号化ビットストリームを受信した場合に、MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号する復号手段とを備え、設定手段により設定された画像符号化情報、又は復号手段により復号された画像符号化情報に基づき、第１の符号化ビットストリーム、又は第２の符号化ビットストリームに含まれる画像符号化データを復号するように構成したので、符号化方式の異なるH.263とMPEG−４の符号化ビットストリームでも、符号化方式を容易に識別し復号できるという効果を奏する。
【００１９】
この発明によれば、H.263スタートコード又はMPEG−４符号化方式のヘッダ情報に含まれるVOL（Video  Object  Layer）スタートコードに基づき、受信した符号化ビットストリームが、第１の符号化ビットストリーム、又は第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、第１の符号化ビットストリームを受信した場合に、H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づき、MPEG−４符号化方式の画像符号化情報を設定する設定手段と、第２の符号化ビットストリームを受信した場合に、MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号する復号手段とを備え、設定手段により設定された画像符号化情報、又は復号手段により復号された画像符号化情報に基づき、第１の符号化ビットストリーム、又は第２の符号化ビットストリームに含まれる画像符号化データを復号するように構成したので、符号化方式の異なるH.263とMPEG−４の符号化ビットストリームでも、符号化方式を容易に識別し復号できるという効果を奏する。
【００２０】
この発明によれば、H.263符号化方式のヘッダ情報に含まれるスタートコード、又はMPEG−４符号化方式のヘッダ情報に含まれるスタートコードに基づき、受信した符号化ビットストリームが、第１の符号化ビットストリーム又は第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、第１の符号化ビットストリームを受信した場合に、H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づき、MPEG−４符号化方式の画像符号化情報を設定する設定手段と、第２の符号化ビットストリームを受信した場合に、MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号する復号手段とを備え、設定手段により設定された画像符号化情報、又は復号手段により復号された画像符号化情報に基づき、第１の符号化ビットストリーム、又は第２の符号化ビットストリームに含まれる画像符号化データを復号するように構成したので、符号化方式の異なるH.263とMPEG−４の符号化ビットストリームでも、新たなヘッダ情報を付加しなくても、符号化方式を容易に識別し復号できるという効果を奏する。
【００２１】
この発明によれば、H.263符号化方式のヘッダ情報に含まれるスタートコード、又はMPEG−４符号化方式のヘッダ情報に含まれるスタートコードに基づき、受信した符号化ビットストリームが、第１の符号化ビットストリーム、又は第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、第１の符号化ビットストリームを受信した場合に、H.263符号化方式のヘッダ情報に含まれる画像符号化情報を復号する第１の復号手段と、第２の符号化ビットストリームを受信した場合に、MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号する第２の復号手段とを備え、第１の復号手段により復号された画像符号化情報、又は第２の復号手段により復号された画像符号化情報に基づき、第１の符号化ビットストリーム、又は第２の符号化ビットストリームに含まれる画像符号化データを復号するように構成したので、符号化方式の異なるH.263とMPEG−４の符号化ビットストリームでも、新たなヘッダ情報を付加しなくても、符号化方式を容易に識別し、H.263符号化ビットストリームでも、MPEG−４符号化方式の画像符号化情報を設定することなく復号できるという効果を奏する。
【００２２】
この発明によれば、画像信号をH.263符号化方式で符号化しH.263符号化ビットストリームを生成する符号化手段と、生成されたH.263符号化ビットストリームに、MPEG−４対応の画像復号化装置で復号可能な符号化ビットストリームを生成するためのヘッダ情報を多重化するヘッダ情報多重化手段とを備えたので、MPEG−４符号化ビットストリームを復号する復号化手段が復号可能なH.263符号化ビットストリームを生成することができるという効果を奏する。
【００２３】
この発明によれば、ヘッダ情報多重化手段が、ヘッダ情報として、MPEG−４符号化方式のスタートコードとH.263符号化方式であることを示す識別情報を多重化するように構成したので、MPEG−４符号化ビットストリームを復号する復号化手段が容易に符号化方式を識別し復号可能なH.263符号化ビットストリームを生成することができるという効果を奏する。
【００２４】
この発明によれば、ヘッダ情報多重化手段が、ヘッダ情報として、MPEG−４符号化方式のスタートコードとH.263スタートコードを多重化するように構成したので、MPEG−４符号化ビットストリームを復号する復号化手段が容易に符号化方式を識別し復号可能なH.263符号化ビットストリームを生成することができるという効果を奏する。
【００２５】
この発明によれば、画像信号をH.263符号化方式で符号化しH.263符号化ビットストリームを生成する符号化手段と、MPEG−４符号化方式で符号化されたMPEG−４符号化ビットストリームを復号する復号化手段と、符号化手段から受信したH.263符号化ビットストリームに、復号化手段から受信した、復号化手段で復号可能な符号化ビットストリームを生成するためのヘッダ情報を多重化して、復号化手段に送信する符号化ビットストリーム変換手段とを備えたので、MPEG−４符号化ビットストリームを復号する復号化手段が容易に符号化手段を識別し復号可能なH.263符号化ビットストリームを生成することができるという効果を奏する。
【００２６】
この発明によれば、H.263符号化方式で生成されたH.263符号化ビットストリームを入力し、H.263符号化方式のヘッダ情報と画像符号化データとを分離するシンタックス解析手段と、分離されたH.263符号化方式のヘッダ情報を復号する復号手段と、復号手段により復号されたH.263符号化方式のヘッダ情報に基づき、MPEG−４符号化方式のヘッダ情報を設定し符号化するヘッダ情報設定手段と、シンタックス解析手段が分離した画像符号化データと、ヘッダ情報設定手段が符号化したMPEG−４符号化方式のヘッダ情報とを多重化し、MPEG−４符号化ビットストリームを生成する多重化手段とを備えたので、H.263符号化ビットストリームを容易にMPEG−４符号化ビットストリームに変換することができるという効果を奏する。
【００２７】
この発明によれば、識別情報に基づき、受信した符号化ビットストリームが、第１の符号化ビットストリーム、又は第２の符号化ビットストリームであるかを判定し、第１の符号化ビットストリームを受信した場合に、H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づき、MPEG−４符号化方式の画像符号化情報を設定し、第２の符号化ビットストリームを受信した場合に、MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号し、設定された画像符号化情報、又は復号された画像符号化情報に基づき、第１の符号化ビットストリーム、又は第２の符号化ビットストリームに含まれる画像符号化データを復号するように構成したので、符号化方式の異なるH.263とMPEG−４の符号化ビットストリームでも、符号化方式を容易に識別し復号できるという効果を奏する。
【００２８】
この発明によれば、H.263符号化方式のヘッダ情報に含まれるスタートコード、又はMPEG−４符号化方式のヘッダ情報に含まれるスタートコードに基づき、受信した符号化ビットストリームが、第１の符号化ビットストリーム又は第２の符号化ビットストリームであるかを判定し、第１の符号化ビットストリームを受信した場合に、H.263符号化方式のヘッダ情報に含まれる画像符号化情報に基づき、MPEG−４符号化方式の画像符号化情報を設定し、第２の符号化ビットストリームを受信した場合に、MPEG−４符号化方式のヘッダ情報に含まれる画像符号化情報を復号し、設定された画像符号化情報、又は復号された画像符号化情報に基づき、第１の符号化ビットストリーム、又は第２の符号化ビットストリームに含まれる画像符号化データを復号するように構成したので、符号化方式の異なるH.263とMPEG−４の符号化ビットストリームでも、新たなヘッダ情報を付加しなくても、符号化方式を容易に識別し復号できるという効果を奏する。
【発明を実施するための最良の形態】
【００２９】
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態1.
図２は実施の形態１における画像復号化装置が受信する符号化ビットストリームの構造を示す図であり、図２（ａ）はMPEG−４互換H.263符号化ビットストリーム203、また図２（ｂ）はMPEG−４符号化ビットストリーム204である。図２（ａ）のMPEG−４互換H.263符号化ビットストリーム203は、従来の図１（ａ）で示したH.263符号化ビットストリーム201に、VOスタートコード231、VO識別番号232、VOLスタートコード233及びH.263互換識別情報226が追加されている。また図２（ｂ）のMPEG−４符号化ビットストリーム204は、従来の図１（ｂ）に示したMPEG−４符号化ビットストリーム202に、H.263互換識別情報226が追加されている。なおMPEG−４互換H.263符号化ビットストリーム203とMPEG−４符号化ビットストリーム204に追加されているH.263互換識別情報226は、両方が区別できる情報とし、例えば一方のH.263互換識別情報を"0"のビットとすると、他方を"1"のビットとする。
【００３０】
図３は実施の形態１におけるVO（Video  Object）を復号する画像復号化装置の構成を示すブロック図である。図において、１は受信した符号化ビットストリーム、２はシンタックス解析・可変長復号部であり、符号化ビットストリーム１から、シンタックス（多重化したビデオ信号）を解析すると共に、形状符号化データ３、テクスチャ符号化データ６、テクスチャ動きデータ７を出力する。４は形状符号化データ３を復号し復号形状データ５を求める形状復号部、８はテクスチャ動きデータ７に基づき動き補償を行い予測テクスチャデータ９を求める動き補償部、10はテクスチャ符号化データ６と予測テクスチャデータ９に基づき復号を行い復号テクスチャデータ11を求めるテクスチャ復号部である。
【００３１】
次に動作について説明する。
ここでは、本発明の主眼たる図２（ａ）のMPEG−４互換H.263符号化ビットストリーム203の復号動作について主として説明する。従って各VOPの形状が矩形の場合、すなわちビットストリーム中に形状符号化データが含まれない場合で、テクスチャデータや動きに関する情報が、マクロブロック毎に符号化されている場合について説明する。
なお図２（ｂ）のMPEG−４符号化ビットストリーム204の復号動作については、基本的には従来と同じである。
【００３２】
まずシンタックス解析・可変長復号部２は、入力した符号化ビットストリーム１を、２値のビットストリームから意味を持つデータに分離する。そしてこのシンタックス解析・可変長復号部２が、MPEG−４互換H.263符号化ビットストリーム203の復号を可能にしている。動き補償部８は、シンタックス解析・可変長復号部２より出力されたテクスチャ動きデータ７に基づき動き補償を行い、予測テクスチャデータ９を出力する。テクスチャ復号部10は、シンタックス解析・可変長復号部２より出力されたテクスチャ符号化データ６と動き補償部８より出力された予測テクスチャデータ９を入力し、復号テクスチャデータ11を得る。
【００３３】
次にシンタックス解析・可変長復号部２の動作について説明する。
図４はシンタックス解析・可変長復号部２の構成を示すブロック図である。図において、21は符号化ビットストリーム１に付加されたヘッダ情報を抽出し以降の復号の制御に必要な各種のヘッダ情報を設定するヘッダ情報解析部、22は符号化ビットストリーム１からテクスチャ符号化データ６及びテクスチャ動きデータ７を求めるマクロブロックレイヤシンタックス解析部である。
【００３４】
図５はヘッダ情報解析部21の構成を示すブロック図である。図において、30は符号化ビットストリーム１におけるVOスタートコード231を検出するVOスタートコード検出部、31は符号化ビットストリーム１からVOLスタートコード233を検出するVOLスタートコード検出部、32は符号化方式判定部であり、符号化ビットストリーム１がMPEG−４互換H.263符号化ビットストリーム203であるかMPEG−４符号化ビットストリーム204かを判定し、H.263互換識別情報33を出力する。34は判定された符号化方式により切り替えられる切替部、35はMPEG−４互換H.263符号化ビットストリーム203の場合、H263方式に特有な画像符号化情報であるピクチャヘッダ情報222を復号し、MPEG−４方式に特有な画像符号化情報であるVOLヘッダ情報234とVOPヘッダ情報236を設定するH.263ピクチャヘッダ情報解析部、36はMPEG−４互換H.263符号化ビットストリーム203の場合、H.263GOB（Group  of  Block）ヘッダ情報224を復号し、復号されたGOBヘッダ情報224に基づいて、H.263ピクチャヘッダ解析部35により設定されたVOPヘッダ情報236の変更を行うH.263GOBヘッダ情報解析部、37はMPEG−４符号化ビットストリーム204の場合、VOLヘッダ情報234を復号するVOLヘッダ情報復号部、38はMPEG−４符号化ビットストリーム204の場合、VOPヘッダ情報236を復号するVOPヘッダ情報解析部である。
【００３５】
次にヘッダ情報解析部21の動作について説明する。
VOスタートコード検出部30が図２に示したMPEG−４互換H.263符号化ビットストリーム203又はMPEG−４符号化ビットストリーム204におけるVOスタートコード231を検出すると以下の復号動作を開始する。VOLスタートコード検出部31は、符号化ビットストリーム１からVOLスタートコード233を検出する。そして符号化方式判定部32は、符号化ビットストリーム１からH.263互換識別情報226を復号し、H.263互換識別情報226により符号化ビットストリーム１がMPEG−４互換H.263符号化ビットストリーム203であるか、MPEG−４符号化ビットストリーム204であるかを判定し、H.263互換識別情報33を出力する。
符号化ビットストリーム１がMPEG−４互換H.263符号化ビットストリーム203である場合には、切替部34により符号化ビットストリーム１がH.263ピクチャヘッダ情報解析部35に入力される。
【００３６】
図６はH.263ピクチャヘッダ情報解析部35の構成を示すブロック図である。H.263ピクチャスタートコード検出部41が、符号化ビットストリーム１からピクチャスタートコード221を検出すると、次にH.263ピクチャヘッダ情報復号部42は、符号化ビットストリーム１からピクチャヘッダ情報222を復号する。そしてMPEG−４ヘッダ情報設定部43は、復号されたピクチャヘッダ情報222に基づきVOLヘッダ情報234とVOPヘッダ情報236を設定する。
【００３７】
図７はH.263ピクチャヘッダ情報復号部42の構成を示すブロック図である。temporal  reference（TR）復号部51は、H.263ピクチャスタートコード検出部41からのビットストリーム１を入力し、伝送されたピクチャ間でスキップあるいは参照されなかったピクチャ数（TR）を復号する。この情報は表示の際に必要に応じて用いられる。
【００３８】
次に、ピクチャタイプ（PTYPE）復号部52は、ピクチャタイプ（PTYPE）の復号を行う。ピクチャタイプには、ピクチャフォーマット301、ピクチャ符号化タイプ302、オプショナルモード指示フラグ303等の情報が含まれている。復号されたピクチャフォーマット301、ピクチャ符号化タイプ302は、図６のMPEG−４ヘッダ情報設定部43に出力される。
【００３９】
またピクチャタイプ（PTYPE）復号部52は、オプショナルモード指示フラグ303がONであるか否かを判定する。H.263では、オプショナルなモードがいくつか用意されているが、この実施の形態で述べる画像復号化装置においては、これらのオプショナルなモードが含まれるビットストリームにいては互換性を認めないものとし、これらのオプショナルなモードがON（有効）になっている符号化ビットストリームは、切替部53により復号動作終了部54に入力される。そして復号動作終了部54はその符号化ビットストリームに対する復号動作を終了させる。ピクチャタイプには、その他表示等について規定した情報が含まれているが、それらについては必要に応じて用いることも可能である。
【００４０】
一方、オプショナルなモードがOFF（無効）になっているビットストリームは、切替部53によりピクチャ量子化ステップサイズ（PQUANT）復号部55に入力される。ピクチャ量子化ステップサイズ（PQUANT）復号部55は、ピクチャ量子化ステップサイズ（PQUANT）304の復号を行う。復号されたピクチャ量子化ステップサイズ304は、図６のMPEG−４ヘッダ情報設定部43に出力される。ピクチャ量子化ステップサイズ304以降のピクチャヘッダ情報は、以降の復号で必要がないため読み飛ばされる。
【００４１】
次に図６のMPEG−４ヘッダ情報設定部43の動作について説明する。
MPEG−４ヘッダ情報設定部43は、復号されたピクチャヘッダ情報222に基づき、VOLヘッダ情報234として、VOLの形状情報とオブジェクトサイズを設定する。またMPEG−４互換H.263符号化ビットストリームの場合には、各ビットストリームはフレームに対応するので、MPEG−４ヘッダ情報設定部43は、形状情報が矩形である旨設定する。さらにオブジェクトサイズはフレームサイズに対応するので、MPEG−４ヘッダ情報設定部43は、ピクチャヘッダ情報222の一つであるピクチャフォーマット301よりフレームサイズを求め、オブジェクトサイズに設定する。また１画素あたりの階調が８ビットであるか否かの設定を行う。H.263では１画素あたりの階調が８ビット以外を想定していないため、１画素あたりの階調を８ビットに設定する。
【００４２】
次にMPEG−４ヘッダ情報設定部43は、MPEG−４ベースの符号化条件である、スプライト符号化、エラー耐性符号化、イントラAC/DC予測、スケーラビリティ符号化を無効に設定する。なおMPEG−４では、量子化手法をH.263,MPEG−1/2の２種類の手法から選択できるため、MPEG−４互換H.263符号化ビットストリーム203の場合には量子化手法をH.263に設定しておく。
【００４３】
さらにMPEG−４ヘッダ情報設定部43は、VOPヘッダ情報236を設定する。VOPヘッダ情報236としては、VOPの予測タイプ情報、量子化ステップサイズを設定する。VOPの予測タイプには、VOP内のデータのみで符号化されるイントラの場合と、前後のVOPのデータを用いて符号化されるインターの場合がある。VOPの予測タイプ情報は、ピクチャヘッダ情報222の一つであるピクチャ符号化タイプ302に基づき設定する。またVOPの量子化ステップサイズも、同様にピクチャヘッダ情報222であるピクチャ量子化ステップサイズ304より設定する。
【００４４】
さらにMPEG−４では、動きベクトルの探索範囲を７種類の中から選択可能であるため、動きベクトルの探索範囲を指定するコードが用意されている。これに対し、H.263ではこの中の１種類の探索範囲のみに対応しているため、MPEG−４ヘッダ情報設定部43は、動きベクトル探索範囲指定コードをH.263で用いられている動きベクトルの探索範囲に対応するコードに設定しておく必要がある。またMPEG−４ではインタレース画像対応になっているが、H.263ではインタレース対応になっていないので、インタレースモード指示情報は常に無効に設定する。
【００４５】
図５におけるH.263ピクチャヘッダ情報解析部35によるピクチャヘッダ情報の解析が終了すると、符号化ビットストリーム中にGOBスタートコード223とGOBヘッダ情報224が挿入されている場合、次にH.263GOBヘッダ情報解析部36によるGOBヘッダ情報224の解析が行われる。符号化ビットストリーム中にGOBスタートコード223とGOBヘッダ情報224が挿入されていない場合、H.263GOBヘッダ情報解析部36は動作しない。
【００４６】
図８は図５におけるH.263GOBヘッダ情報解析部36の構成を示すブロック図である。GOBスタートコード検出部61が、符号化ビットストリーム１に付加されているGOBスタートコード223を検出すると、GOBヘッダ情報復号部62はGOBヘッダ情報224を復号する。
【００４７】
図９はGOBを説明する図である。図に示すように、GOBは画像をいくつかのマクロブロックの列に分けたもので、GOBヘッダ情報224には、復号側で再同期を取るのに必要な情報が含まれる。符号化ビットストリームのあるビットで誤りが起こった場合、可変長符号化及び予測符号化が行われているときには、以降のマクロブロックデータを正しく復号することができず誤りが伝播する。GOBヘッダ情報が検出されると、GOBの先頭のマクロブロックを復号する前に、符号化ビットストリームの再同期が取られ、以降のマクロブロックを復号するのに必要な情報が再設定されるため、エラーの伝播を防ぐことができる。各マクロブロックの量子化ステップサイズや動きベクトルは、すでに符号化されたマクロブロックの量子化ステップサイズや動きベクトルとの差分を符号化する予測符号化が行われているため、再同期が取られた場合には、これらの情報を再設定する必要がある。
【００４８】
図10はGOBヘッダ情報復号部62の構成を示すブロック図である。GOB番号復号部71は、符号化ビットストリーム１からGOB番号（GN）を復号する。そしてGOBフレーム識別番号復号部72は、GOBが属しているピクチャの識別番号（GFID）を復号する。さらにGOB量子化ステップサイズ復号部73は、GOB量子化ステップサイズ（GQUANT）305を復号し、図８におけるMPEG−４ヘッダ情報変更部63に出力する。
【００４９】
MPEG−４ヘッダ情報変更部63は、復号されたGOBヘッダ情報224に基づいて、MPEG−４ヘッダ情報設定部43により設定されたVOPヘッダ情報236の変更を行う。GOBヘッダ情報224により変更される情報は量子化ステップサイズで、GOBの量子化ステップサイズをVOPの量子化ステップサイズに設定する。以上の設定された各情報は、図４のマクロブロックレイヤシンタックス解析部22に出力される。
【００５０】
図５における符号化方式判定部32は、H.263互換識別情報226がMPEG−４を示す場合には、符号化ビットストリーム１がMPEG−４符号化ビットストリーム204であると判定し、H.263互換識別情報33を出力する。そしてMPEG−４符号化ビットストリーム204は、切替部34によりVOLヘッダ情報復号部37に入力される。VOLヘッダ情報復号部37は符号化ビットストリームからVOLヘッダ情報234を復号し、VOPヘッダ情報解析部38はVOPヘッダ情報236を復号し、図４のマクロブロックレイヤシンタックス解析部22に出力する。
【００５１】
以上の情報が設定されると、マクロブロックレイヤシンタックス解析部22は、MPEG−４のシンタックスに基づく解析で、マクロブロックデータ225、239を復号する。ただし、ブロックデータの符号化方法がMPEG−４とH.263では若干異なるため、復号側でも動作を切り替える必要がある。
【００５２】
図11は実施の形態１におけるMPEG−４互換H.263ビットストリーム203におけるマクロブロックデータ225のレイヤ構造を示す図である。マクロブロックは、４つの輝度ブロックと２つの色差ブロックから構成される。図に示すように、マクロブロックごとに、マクロブロックスキップ判定情報251、マクロブロックタイプ・有効色差ブロック識別情報252、有効ブロック識別情報253、差分量子化ステップサイズ254及び動きデータ255の各属性情報が多重化されている。
【００５３】
ここでマクロブロックスキップ判定情報251は、インターVOPにおいて、動きベクトルが零でかつマクロブロック内の全ての係数データ（入力画像信号（イントラの場合には原信号、インタの場合には参照VOPとの差分信号）をDCT後、量子化したデータ）が零かどうかを示す情報であり、動きベクトルが零で係数データが全て零の場合には、そのマクロブロックに関する以降の情報はビットストリーム中に含まれない。従って次のマクロブロックにスキップされる。
【００５４】
またマクロブロックタイプ・有効色差ブロック識別情報252のマクロブロックタイプは、マクロブロックデータを符号化する際に、マクロブロックの原信号を用いて符号化した場合（イントラ）、あるいは、動き補償予測を行い参照マクロブロックとの差分信号を符号化した場合（インター）、１つ前のマクロブロックの量子化ステップサイズと異なる量子化ステップサイズで符号化した場合等、マクロブロックの符号化タイプを示す情報である。
【００５５】
さらに有効ブロック識別情報253は、各ブロックの係数データが全て零であるか否かを示す情報である。上記属性情報の後にブロックごとに係数データが多重化されているが（ブロックデータ256に相当）、この有効ブロック識別情報253が無効ブロックであることを示す場合には、そのブロックの係数データは存在しない。
そして差分量子化ステップサイズ254は、マクロブロックタイプで１つ前のマクロブロックの量子化ステップサイズと異なることが示されている場合に多重化される情報であり、１つ前のマクロブロックの量子化ステップサイズとの差分値を示す。
【００５６】
図12はマクロブロックレイヤシンタックス解析部22の構成を示すブロック図である。図において、81はMPEG−４ヘッダ情報設定部43で設定された形状情報311により切り替えられる切替部、82は符号化ビットストリーム中の形状符号化データを復号する形状符号化データ復号部、83はMPEG−４ヘッダ情報設定部43で設定されたVOP予測タイプ312により切り替えられる切替部、84はVOP予測タイプがイントラ以外の場合に、マクロブロックのスキップ判定情報251を復号するスキップ判定情報復号部、85はスキップ判定情報251により切り替えられる切替部、86はスキップする場合にそのマクロブロックの動きベクトルとテクスチャデータを全て零にするスキップ時データ設定部、87はVOP予測タイプ312がイントラの場合やスキップしない場合にマクロブロックタイプ313及び有効色差ブロック識別情報を復号するマクロブロックタイプ・有効色差ブロック識別情報復号部である。
【００５７】
また88はMPEG−４ヘッダ情報設定部43で設定されたイントラAC/DC予測モード指示情報315により切り替えられる切替部、89はAC予測指示情報を復号するAC予測指示情報復号部、90は有効ブロック識別情報253を復号する有効ブロック識別情報復号部、91はマクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313により切り替えられる切替部である。
【００５８】
さらに92は差分量子化ステップサイズを零に設定する差分量子化ステップサイズ零設定部、93は差分量子化ステップサイズ317を復号する差分量子化ステップサイズ復号部、94は復号された差分量子化ステップサイズ317と前のブロックのVOP量子化ステップサイズ318を加算し量子化ステップサイズ319を図３のテクスチャ復号部10に出力する加算部、95はMPEG−４ヘッダ情報設定部43からのインタレースモード指示情報316により切り替えられる切替部、96はインタレース情報を復号するインタレース情報復号部、97はマクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313及びMPEG−４ヘッダ情報設定部43より出力されたVOP予測タイプ312と動きベクトル探索範囲指定情報320に基づいて動きベクトル（テクスチャ動きデータ７）を復号する動きベクトル復号部、98は符号化ブロックデータを復号しテクスチャ符号化データ６をテクスチャ復号部10へ出力するブロックデータ復号部である。
【００５９】
次にマクロブロックレイヤシンタックス解析部22の動作について説明する。
ここでは符号化ビットストリーム１がMPEG−４互換H.263符号化ビットストリーム203の場合を説明する。MPEG−４符号化ビットストリーム204の場合については、ISO/IEC  JTC1/SC29/WG11  MPEG−４  Video  VM8.0に記載されているので省略する。
符号化ビットストリーム１は、MPEG−４ヘッダ情報設定部43で設定された形状情報311により、切替部81で出力が切り替えられる。符号化ビットストリーム１がMPEG−４互換H.263符号化ビットストリーム203の場合には、形状情報311は矩形に設定されているので、ビットストリーム１は、形状符号化データ復号部82を介せずに、切替部83に入力される。
【００６０】
次に切替部83は、MPEG−４ヘッダ情報設定部43で設定されたVOP予測タイプ312により切り替えられる。VOP予測タイプ312がイントラの場合には、マクロブロックタイプ・有効色差ブロック識別情報復号部87は、マクロブロックタイプ313と有効色差ブロック識別情報を復号する。VOP予測タイプがイントラ以外の場合には、スキップ判定情報復号部84は、マクロブロックのスキップ判定情報251を復号する。復号されたスキップ判定情報251に基づき、切替部85が切り替えられ、そのマクロブロックがスキップされることを示す場合には、スキップ時データ設定部86は、そのマクロブロックの動きベクトルとマクロブロック内のテクスチャデータを全て零に設定し、そのマクロブロックに関する復号を終了する。スキップ判定情報251によりそのマクロブロックがスキップされないことを示す場合には、マクロブロックタイプ・有効色差ブロック識別情報復号部87は、マクロブロックタイプ313と有効色差ブロック識別情報を復号する。
【００６１】
次に切替部88は、MPEG−４ヘッダ情報設定部43で設定されたイントラAC/DC予測モード指示情報315により切り替えられる。MPEG−４互換H.263符号化ビットストリーム203の場合には、イントラAC/DC予測を行うという機能はないので、VOLヘッダ情報234を設定する際に、イントラAC/DC予測は無効に設定されており、AC予測指示情報復号部89を介せずに有効ブロック識別情報復号部90に入力される。
【００６２】
次に有効ブロック識別情報復号部90は、マクロブロック内の輝度ブロックに対して有効ブロック識別情報253を復号する。切替部91は、マクロブロックタイプ・有効色差ブロック識別情報復号部87により復号されたマクロブロックタイプ313により切り替えられ、そのマクロブロックの量子化ステップサイズが１つ前に復号されたマクロブロックの量子化ステップと異なる場合には、差分量子化ステップサイズ復号部93は、１つ前に符号化されたマクロブロックの量子化ステップサイズとの差分量子化ステップサイズ317を復号する。復号された差分量子化ステップサイズ317は、加算器94により１つ前のマクロブロックのVOP量子化ステップサイズ318と加算され、量子化ステップサイズ319として図３のテクスチャ復号部10に出力される。
一方、マクロブロックの量子化ステップサイズが１つ前に復号されたマクロブロックの量子化ステップサイズと同じことを示す場合には、差分量子化ステップサイズ零設定部92が、差分量子化ステップサイズを零に設定する。
【００６３】
次に切替部95は、MPEG−４ヘッダ情報設定部43からのインタレースモード指示情報316により切り替えられる。MPEG−４互換H.263符号化ビットストリーム203の場合には、インタレース画像には対応していないので、インタレースモードは無効に設定されており、インタレース情報復号部96を介せずに動きベクトル復号部97に入力される。そして動きベクトル復号部97は、MPEG−４ヘッダ情報設定部43で設定されたVOP予測タイプ312がインターの場合には、マクロブロックタイプ・有効色差ブロック識別情報復号部87により復号されたマクロブロックタイプ313とMPEG−４ヘッダ情報設定部43で設定された動きベクトル探索範囲指定情報320に基づいて、動きベクトル（テクスチャ動きデータ７）を復号し、図３の動き補償部８に出力する。
【００６４】
次にブロックデータ復号部98は、符号化ビットストリームにおける符号化ブロックデータを復号する。図13はブロックデータ復号部98の構成を示すブロック図である。図において、101は符号化ブロックデータを入力すると共にマクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313により切り替えられる切替部、102はMPEG−４ヘッダ情報設定部43で設定されたイントラAC/DC予測モード指示情報315により切り替えられる切替部、103はイントラAC/DC予測がOFFの時にMPEG−４ヘッダ情報設定部43からの１画素あたりの階調321に基づきDC係数固定長の復号を行い復号イントラDCの係数111を出力するDC係数固定長復号部、104はイントラAC/DC予測がONの時にDC係数を復号し復号イントラDC係数111を出力するDC係数復号部である。
【００６５】
105は有効ブロック識別情報復号部90から出力された有効ブロック識別情報253により切り替えられる切替部、106はマクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313と符号化方式判定部32より出力されたH.263互換識別情報33に基づきAC係数VLD（Variable  Length  Decoding）テーブルを切り替えるAC係数VLDテーブル切替部である。
【００６６】
107はAC係数データを可変長復号し復号AC係数データ112を出力するAC係数データ可変長復号部、108は符号化方式判定部32より出力されたH.263互換識別情報33により切り替えられる切替部、109は復号AC係数データ112を出力するAC係数データ固定長復号部、110は復号AC係数データ112を出力するAC係数データEsc  coding復号部、113はAC係数を零に設定するAC係数零設定部である。
【００６７】
次にブロックデータ復号部98の動作について説明する。
まず符号化ブロックデータは、マクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313により、切替部101で切り替えられ、マクロブロックタイプ313がイントラ以外の場合には、切替部105に出力される。マクロブロックタイプ313がイントラの場合には、符号化ブロックデータは切換部102に入力され、MPEG−４ヘッダ情報設定部43で設定されたイントラAC/DC予測モード指示情報315により切り替えられる。
【００６８】
MPEG−４互換H.263符号化ビットストリーム203の場合には、イントラAC/DC予測モード315は無効に設定されているので、DC係数復号部104は通過せず、DC係数固定長復号部103に入力される。DC係数固定長復号部103は固定長復号を行い、復号イントラDC係数111をテクスチャ復号部10に出力すると共に、符号化ブロックデータを切替部105に出力する。このとき固定長復号された符号長はMPEG−４ヘッダ情報設定部43で設定された１画素あたりの階調（デフォルト値の８ビット）321に等しく、１画素あたりの階調321は、デフォルト値の８ビットに設定されているので、H.263対応の復号化装置の場合と同様である。
【００６９】
切換部105は、有効ブロック識別情報復号部90で復号された有効ブロック識別情報253により切り替えられ、そのブロックが無効ブロックの場合には、AC係数零設定部113はブロック内の復号AC係数データ112を零に設定し、テクスチャ復号部10に出力する。そのブロックが有効ブロックの場合には、符号化ブロックデータはAC係数VLDテーブル切替部106に入力される。
ブロック内のAC係数は、符号化装置側で、係数をブロック内で決められた順番にスキャンし、零でない係数がブロック内で最後かどうかを示すフラグ（LAST）、連続する零の数（RUN）とそれに続く零でない係数のレベル（LEVEL）を組にして、可変長符号化されている。復号側では、符号化データを可変長復号することにより、（LAST,RUN,LEVEL）の組み合わせが得られ、これに基づいてブロック内のAC係数を再現することができる。なお（LAST,RUN,LEVEL）の組み合わせを可変長符号化する際に、MPEG−４ではマクロブロックタイプにより、異なるVLC（Variable  Length  Coding）テーブルにより可変長符号化するのに対し、H.263ではマクロブロックタイプによらず、同じVLCテーブルにより可変長符号化を行う。
【００７０】
従ってこの実施の形態における画像復号化装置において、AC係数VLDテーブル切替部106は、マクロブロックタイプ・有効色差ブロック識別情報復号部87より出力されたマクロブロックタイプ313及び符号化方式判定部32より出力されたH.263互換識別情報33に基づきAC係数VLDテーブルを切り替える。そしてH.263互換識別情報33がH.263と設定されている場合には、マクロブロックタイプ（イントラ、インター）313にかかわらずAC係数データ可変長復号部107は、一つのVLDテーブルにより可変長復号を行い、復号AC係数データ112を、符号化テクスチャデータ６としてテクスチャ復号部10に出力する。
【００７１】
また（LAST,RUN,LEVEL）の組み合わせがVLCテーブルになかった場合の符号化方法もMPEG−４とH.263では異なる。MPEG−４ではVLCテーブルに（LAST,RUN,LEVEL）の組み合わせがなかった場合には、エスケープコードを符号化した後で、RUN又はLEVELの値を補正し、可変長符号化を行うか固定長符号化を行う。一方H.263では、エスケープコードを符号化した後で、LAST,RUN,LEVELの値それぞれを固定長符号化する。
【００７２】
従ってこの実施の形態における画像復号化装置において、AC係数データ可変長復号部107によりAC係数符号化データからエスケープコードが検出されたとき符号化ビットストリームは切替部108に入力される。そしてH.263互換識別情報33がH.263に設定されている場合、符号化ビットストリームは、AC係数データEsc  coding復号部110を介さずに、AC係数データ固定長復号部109により、次に続くLAST,RUN,LEVELに関するコードをそれぞれ決められた符号長で固定長復号を行い、復号AC係数データ112を、テクスチャ符号化データ６としてテクスチャ復号部10に出力する。
【００７３】
以上の動作により、マクロブロックレイヤシンタックス解析部22で出力されたテクスチャ符号化データ６、動きベクトル（テクスチャ動きデータ７）は、それぞれテクスチャ復号部10、動き補償部８に分配される。
【００７４】
上記のようにして、図３のシンタックス解析・可変長復号部２において、VOPの予測モードが復号され設定される。VOPの予測モードがインターの場合には、テクスチャ動きベクトルの差分ベクトルが復号される。復号されたテクスチャ動きベクトルの差分ベクトルは、近傍の３つのマクロブロックの動きベクトルより求めた予測ベクトルと実際の動きベクトルとの差分ベクトルであり、従って、動きベクトルの差分ベクトルに予測ベクトルを加算したベクトルを動きベクトル（テクスチャ動きデータ８）として算出する。
【００７５】
予測ベクトルの算出は、図14（ａ）に示したようにすでに復号された３つの近傍のマクロブロック（MV1,MV2,MV3）の動きベクトルより算出する。ただし近傍の３つのマクロブロックのうち、いずれかがVOPの外部に位置する場合には、VOPの外部に位置するマクロブロックの動きベクトルの値を、図14（ｂ）、（ｄ）に示したように零ベクトルに設定するか、図14（ｃ）に示したように、VOP内のマクロブロックの動きベクトルを用いて設定する。しかし符号化方式がH.263の場合で、GOBヘッダが定義されている場合には、GOBの境界内で予測ベクトルの設定を行う必要がある。予測ベクトルの設定については、VOPの場合と同様である。復号されたベクトルに基づき、予測ベクトルを予測テクスチャデータ９として取り出し、テクスチャ復号部10に出力する。
一方VOPの予測モードがイントラの場合には、動き補償予測は行われない。
テクスチャ復号部10は、テクスチャ符号化データ６を受け取り、テクスチャデータ11を復元する。
【００７６】
図15はテクスチャ復号部10の構成を示すブロック図である。逆量子化部114はテクスチャ符号化データ６を逆量子化する。
図16は逆量子化部114の構成を示すブロック図である。
切替部117はテクスチャ符号化データ６に含まれるマクロブロックタイプ313により切り替えられる。復号対象ブロックのマクロブロックタイプ313がインター符号化モードの場合には、テクスチャ符号化データ６にDC係数データが含まれないので、テクスチャ符号化データ６はAC係数逆量子化部120に入力される。復号対象ブロックのマクロブロックタイプ313がイントラ符号化モードの場合には、テクスチャ符号化データ６は切替部118に入力される。
【００７７】
切替部118はH.263互換識別情報33により切り替えられる。H.263互換識別情報33が、MPEG−４互換H.263符号化ビットストリーム203を示している場合には、DC係数線形逆量子化部119Bがテクスチャ符号化データ６に含まれるDC係数データの逆量子化を行う。一方、H.263互換識別情報33が、MPEG−４符号化ビットストリーム204を示している場合には、DC係数非線形逆量子化部119AがDC係数データの逆量子化を行い、DC係数306を出力する。DC係数の量子化はある決められた値（量子化スケールと呼ぶ）でDC係数を割り、端数を切り捨てることにより行われる。従って復号側では、量子化DC係数に量子化スケールを掛けることにより、DC係数306を復元することができる。DC係数線形逆量子化部119BとDC係数非線形逆量子化部119Aでは、この量子化スケールの値の設定が異なる。DC係数線形逆量子化部119Bでは、量子化スケールを固定値８で逆量子化する。一方DC係数非線形逆量子化部119Aでは、量子化ステップサイズ319の範囲に応じて、非線形に量子化スケールの値が設定され、この量子化スケールにより逆量子化を行い、DC係数306を出力する。
【００７８】
次にAC係数逆量子化部120は、AC係数データの逆量子化を行い、AC係数307を出力する。逆量子化されたDC係数（イントラ符号化モードのときのみ存在）306とAC係数307はDCT係数308として逆DCT部115に渡され、逆DCTが施された後、復号予測誤差信号309として出力される。加算部116は復号予測誤差信号309と動き補償部８より得られる予測テクスチャデータ９とを加算後、復号テクスチャデータ11として出力する。ただし、イントラ符号化モードの場合には、予測テクスチャデータ９の加算は行われない。
【００７９】
符号化ビットストリーム１にH.263互換識別情報33が多重化されている場合、図２（ａ）に示すように、シーケンスの終了を示すシーケンス終了コード（EOS）227が多重化されている場合もある。シーケンス終了コード227の検出はピクチャスタートコード検出部41で行われ、シーケンス終了コード227を検出すると復号動作を終了する。
【００８０】
以上のように、この実施の形態１によれば、H.263符号化ビットストリーム201に、VOスタートコード231、VOLスタートコード、VO識別番号232及びH.263互換識別情報226が多重化されたMPEG−４互換H.263符号化ビットストリーム203を受信し、これらの各情報を復号するようにしたので、H.263と、MPEG−４とで互換性を有する画像復号化装置を得ることができるという効果が得られる。
【００８１】
実施の形態2.
図17は実施の形態２における画像符号化装置の構成を示すブロック図であり、実施の形態１で述べた画像復号化装置で復号可能な符号化ビットストリームを生成するものである。図において、121は入力画像信号、122はH.263方式符号化部、123はH.263符号化ビットストリーム、124はMPEG−４互換フラグ、125はヘッダ情報多重化部、126はMPEG−４互換H.263符号化ビットストリームである。
【００８２】
次に動作について説明する。
まず、H.263方式符号化部122は、入力画像信号121をH.263のシンタックスに基づいて符号化し、H.263符号化ビットストリーム123を生成する。次にヘッダ情報多重化部125は、MPEG−４ベースの復号化装置で復号可能なビットストリームを生成することを示すMPEG−４互換フラグ124を受け取り、H.263ビットストリームのピクチャヘッダの前に実施の形態１で述べた画像復号化装置で復号するために必要なVOスタートコード231、VO識別番号232、VOLスタートコード233及びH.263互換識別情報（H.263ベースのビットストリームであることを示す０又は１のフラグ）226を多重化する。このようにして多重化されたMPEG−４互換H.263符号化ビットストリーム126の内容は、実施の形態１の図２（ａ）に示したものとなる。
【００８３】
また図18に示すようにH.263符号化装置127とMPEG−４復号化装置128間でリアルタイム通信が行われている場合には、MPEG−４復号化装置128側からH.263符号化装置127にMPEG−４互換フラグ124を送信し、H.263符号化装置127は、MPEG−４互換フラグ124を受け取ったら、実施の形態１で述べた画像復号化装置で復号するために必要なVOスタートコード213、VO識別番号232、VOLスタートコード233及びH.263互換識別情報226をH.263方式ビットストリーム123に多重化することも可能である。
【００８４】
以上のように、この実施の形態２によれば、VOスタートコード231、VO識別番号232、VOLスタートコード233及びH.263互換識別情報226をH.263符号化ビットストリーム123に多重化するので、MPEG−４対応の画像復号化装置で復号可能な符号化ビットストリームを生成する画像符号化装置を得ることができるという効果が得られる。
【００８５】
実施の形態3.
図19は実施の形態３におけるMPEG−４互換H.263符号化ビットストリーム205の構造を示す図であり、従来の図１（ａ）で示したH.263符号化ビットストリーム201に、VOスタートコード231、VO識別番号232及びH.263スタートコード228が追加されている。そしてH.263スタートコード228は、実施の形態１において多重化されているVOLスタートコード233とH.263互換識別情報226の両方の機能を達成するものである。
なおMPEG−４符号化ビットストリーム202は、従来の図１（ｂ）で示したものと同じである。
【００８６】
この実施の形態における画像復号化装置は、実施の形態１で述べた画像復号化装置においてヘッダ情報解析部21のみが異なる。図20は実施の形態３におけるヘッダ情報解析部21の構成を示すブロック図である。図において、131はH.263スタートコード/VOLスタートコード検出部、132は符号化方式判定部であり、VOスタートコード検出部30、H.263互換識別情報33、切替部34、H.263ピクチャヘッダ情報解析部35、H.263GOBヘッダ情報解析部36、VOLヘッダ情報復号部37、VOPヘッダ情報解析部38は、実施の形態１の図５と同等のものである。
【００８７】
次に動作について説明する。
VOスタートコード検出部30がVOスタートコード231を検出すると以下の復号動作を開始する。まず、H.263スタートコード/VOLスタートコード検出部131が、MPEG−４互換H.263符号化ビットストリーム205の場合はH.263スタートコードを検出し、MPEG−４符号化ビットストリーム202の場合はVOLスタートコード233を検出する。
【００８８】
MPEG−４では、各レイヤーのスタートコードは全てのスタートコードに共通のコード（0000  0000  0000  0000  0000  0001）の後に各レイヤーに固有のスタートコードが固定長（５ビット）で続く。共通のスタートコードは、ビットストリーム中にスタートコード以外で検出されることはない。従って、H.263スタートコード228も共通のスタートコードの後にH.263符号化ビットストリームであることを識別できる固定長（５ビット）のコードを付けたものとする。
【００８９】
次に、検出されたスタートコードが、H.263スタートコード288の場合には、符号化方式判定部132は、H.263互換識別情報33をH.263に設定する。またVOLスタートコード233の場合は、H.263互換識別情報33をMPEG−４に設定する。それ以降の動作は実施の形態１と同様である。
【００９０】
以上のように、この実施の形態３によれば、H.263符号化ビットストリーム201に、VOスタートコード231、VO識別番号232及びH.263スタートコード228が多重化されたMPEG−４互換H.263符号化ビットストリーム205を受信し、これらの各情報を復号するようにしたので、H.263と、MPEG−４とで互換性を有する画像復号化装置を得ることができるという効果が得られる。
【００９１】
実施の形態4.
この実施の形態は、実施の形態３で述べた画像復号化装置で復号可能なビットストリームを生成する画像符号化装置で、その構成は実施の形態２の図17と同じである。
次に動作について説明する。
まず、H.263方式符号化部122は、入力画像信号121をH.263のシンタックスに基づいて符号化し、H.263符号化ビットストリーム123を生成する。次にヘッダ情報多重化部125は、MPEG−４互換フラグ124を受け取り、H.263符号化ビットストリーム123のピクチャヘッダの前に、実施の形態３で述べた画像復号化装置で復号するために必要なVOスタートコード231、VO識別番号232及びH.263スタートコード228を多重化する。このようにして多重化されたMPEG−４互換H.263符号化ビットストリーム126の内容は、実施の形態３の図19に示したものとなる。
なおMPEG−４互換フラグ124は実施の形態２の図18で述べたように、MPEG−４復号化装置128より渡すことも可能である。
【００９２】
以上のように、この実施の形態４によれば、VOスタートコード231、VO識別番号232及びH.263スタートコード228をH.263ビットストリーム201に多重化するので、MPEG−４対応の画像復号化装置で復号可能な符号化ビットストリームを生成する画像符号化装置を得ることができるという効果が得られる。
【００９３】
実施の形態5.
この実施の形態は、MPEG−４互換のためのヘッダ情報を多重化する多重化部を符号化装置とは独立して例えばネットワーク上に持つものである。図21は実施の形態５における画像通信システムを示す図である。図において、141はH.263符号化装置、142はMPEG−４復号化装置、143は符号化ビットストリーム変換装置であり、H.263符号化装置141、MPEG−４復号化装置142及び符号化ビットストリーム変換装置143は、ネットワークに接続されている。
【００９４】
次に動作について説明する。
符号化ビットストリーム変換装置143がMPEG−４復号化装置142又はユーザよりMPEG−４互換H.263符号化ビットストリーム148を要求するMPEG−４互換フラグ147を受け取ると、符号化ビットストリーム変換装置143は、H.263符号化装置141より、H.263符号化ビットストリーム146を受け取り、実施の形態２又は実施の形態４で述べたように、MPEG−４復号化装置で復号するのに必要なヘッダ情報をH.263符号化ビットストリーム146に多重化して、MPEG−４復号化装置142に送信する。
【００９５】
以上のように、この実施の形態５によれば、ネットワーク上に符号化ビットストリーム変換装置143を備えたので、H.263と、MPEG−４とで互換性を有する画像通信システムを得ることができるという効果が得られる。
【００９６】
実施の形態6.
図22は実施の形態６における画像通信システムを示す図である。図において、141はH.263符号化装置、143は符号化ビットストリーム変換装置、144はサーバ、145はMPEG−４復号化装置内蔵ブラウザであり、これらはネットワーク上に接続されている。
次に動作について説明する。
MPEG−４復号化装置内蔵ブラウザ145が、ネットワーク上で伝送されるH.263符号化ビットストリーム146に対してアクセスする場合、MPEG−４復号化装置内蔵ブラウザ145は、サーバ144にMPEG−４復号化装置で復号することを示すMPEG−４互換フラグ147を伝送する。サーバ144がMPEG−４互換フラグ147を受け取ると、H.263符号化ビットストリーム146を符号化ビットストリーム変換装置143に伝送する。
【００９７】
符号化ビットストリーム変換装置143は受け取ったH.263ビットストリーム146に対して、実施の形態２または４で述べたように、MPEG−４復号化装置で復号可能なようにヘッダ情報を追加したMPEG−４互換H.263符号化ビットストリーム148を生成し、MPEG−４復号化装置内蔵ブラウザ145に伝送する。MPEG−４復号化装置内蔵ブラウザ145では、MPEG−４互換H.263符号化ビットストリーム148を受け取ることにより、H.263符号化ビットストリーム146を復号し、画像を表示することが可能である。
【００９８】
またMPEG−４復号化装置内蔵ブラウザ145自体が符号化ビットストリーム変換装置143を内蔵することも可能である。この場合、MPEG−４復号化装置内蔵ブラウザ145がH.263符号化ビットストリーム146をサーバ144から受け取り、MPEG−４互換H.263符号化ビットストリーム148に変換後、内蔵のMPEG−４復号化装置で復号し、画像を表示することができる。
【００９９】
以上のように、この実施の形態６によれば、ネットワーク上に符号化ビットストリーム変換装置とサーバを備えたので、H.263と、MPEG−４とで互換性を有する画像通信システムを得ることができるという効果が得られる。
【０１００】
実施の形態7.
実施の形態１及び実施の形態３で述べた画像復号化装置においては、H.263ビットストリームか、あるいはMPEG−４ビットストリームかを識別することができる。しかし、H.263符号化装置によって生成されるH.263ビットストリームの先頭にMPEG−４互換のためのヘッダ情報を多重化する必要があり、H.263ビットストリームをそのまま受け取ることはできない。実施の形態７は、H.263ビットストリームをそのまま受け取り復号することができる画像復号化装置である。
【０１０１】
図23は実施の形態７におけるヘッダ情報解析部21の構成を示すブロック図である。図において、151はH.263符号化ビットストリームに多重化されているH.263のピクチャスタートコード221を検出するH.263ピクチャスタートコード検出部、152は符号化方式判定部、153はH.263符号化ビットストリームに多重化されているピクチャヘッダ情報222に基づきVOLヘッダ情報、VOPヘッダ情報を設定するH.263ピクチャヘッダ情報解析部である。その他のVOスタートコード検出部30、H.263互換識別情報33、切替部34、H.263GOBヘッダ情報解析部36、VOLヘッダ情報復号部37及びVOPヘッダ情報解析部38は実施の形態１と同等のものである。またヘッダ情報解析部21以外の部分の構成は、実施の形態１の画像復号化装置と同等である。
【０１０２】
次に動作について説明する。
H.263ピクチャスタートコード検出部151は、図24（ａ），（ｂ）で示した符号化ビットストリームの始めと終わりを常時監視している。H.263符号化ビットストリーム201の場合は、ピクチャスタートコード221からマクロブロックデータ225までを、MPEG−４符号化ビットストリーム202の場合は、VOスタートコード231からマクロブロックデータ239までを、それぞれ１つの符号化ビットストリームとして監視する。
【０１０３】
H.263符号化ビットストリーム201を受信した場合、H.263ピクチャスタートコード検出部151は、ピクチャスタートコード221を検出し、この結果を符号化方式判定部152に出力する。符号化方式判定部152は、検出されたピクチャスタートコード221により、受信した符号化ビットストリームがH.263符号化ビットストリーム201であると判定し、H.263互換識別情報33をH.263と設定する。一方、VOスタートコード検出部30によりVOスタートコード231が検出されると、符号化方式判定部152は、受信した符号化ビットストリームがMPEG−４符号化ビットストリーム202であると判定し、H.263互換識別情報33をMPEG−４と設定する。
【０１０４】
H.263符号化ビットストリーム201の場合、切替部34は、H.263符号化ビットストリーム201をH.263ピクチャヘッダ情報解析部153に入力する。H.263ピクチャヘッダ情報解析部153は、H.263符号化ビットストリーム201に多重化されているピクチャヘッダ情報222を復号し、実施の形態１と同様にVOLヘッダ情報、VOPヘッダ情報の設定を行う。以降の動作については、実施の形態１と同様である。
一方MPEG−４符号化ビットストリーム202の場合、切替部34は、MPEG−４符号化ビットストリーム202をVOLヘッダ情報復号部37に入力する。以降の動作についても、実施の形態１と同様である。
【０１０５】
以上のように、この実施の形態７によれば、ピクチャスタートコード221を検出した場合、H.263符号化ビットストリーム201と判定し、VOLヘッダ情報とVOPヘッダ情報を設定するようにしたので、H.263と、MPEG−４とで互換性を有する画像復号化装置を得ることができるという効果が得られる。
【０１０６】
実施の形態8.
この実施の形態は、図１（ａ）に示すH.263符号化ビットストリーム201を図１（ｂ）に示すMPEG−４符号化ビットストリーム202に変換する符号化ビットストリーム変換装置に関するものである。
図25は実施の形態８における符号化ビットストリーム変換装置を示すブロック図であり、図において、161はH.263符号化ビットストリーム201をピクチャヘッダ情報符号語401、GOBヘッダ情報符号語402及びマクロブロックデータ符号語403に分離するシンタックス解析部、162はピクチャヘッダ情報符号語401を復号するピクチャヘッダ情報復号部、163はGOBヘッダ情報符号語402を復号するGOBヘッダ情報解析・変換部、164はVOLヘッダ情報234及びVOPヘッダ情報236の設定を行うMPEG−４ヘッダ情報設定部、165はMPEG−４符号化ビットストリーム202を出力する多重化部である。
【０１０７】
次に動作について説明する。
シンタックス解析部161は、H.263符号化ビットストリーム201から、ピクチャスタートコード221を検出すると、以降に続く符号化ビットストリームをピクチャヘッダ情報符号語401、GOBヘッダ情報符号語402及びマクロブロックデータ符号語403に分離し、それぞれピクチャヘッダ情報復号部162、GOBヘッダ情報解析・変換部163及び多重化部165に出力する。ただしGOBヘッダ情報符号語402は、必ずH.263符号化ビットストリーム201に多重化されているとは限らず、GOBスタートコード223が検出された場合に限り多重化されている。GOBスタートコード223が検出された場合には、GOBヘッダ検出情報404をMPEG−４ヘッダ情報設定部164に出力する。ピクチャヘッダ情報復号部162は、ピクチャヘッダ情報符号語401を実施の形態１と同様に復号し、復号したピクチャヘッダ情報405をMPEG−４ヘッダ情報設定部164に出力する。
【０１０８】
MPEG−４ヘッダ情報設定部164は、復号されたピクチャヘッダ情報405に基づき、実施の形態１と同様にVOLヘッダ情報234及びVOPヘッダ情報236の設定を行う。実施の形態１で述べなかったヘッダ情報については、ISO/IEC  JTC1/SC29/WG11  MPEG−４  Video  VM8.0に開示されるいずれの値に設定しても良い。またGOBヘッダ検出情報405を受け取った場合には、エラー耐性符号化指示モードを有効に設定する。
【０１０９】
実施の形態１で述べたように、H.263とMPEG−４では、マクロブロックデータの復号処理手順が一部異なる。従って復号側では、切替情報に基づき、復号方法を切り替える必要がある。そのため以下の切替情報をVOLヘッダに設定しておく必要がある。
（１）AC係数VLCテーブル切替情報
実施の形態１で述べたように、符号化側でAC係数データを可変長符号化する際に用いるVLCテーブルが異なる場合に、復号側でAC係数データを可変長復号するのに用いるVLDテーブルを切り替えるための情報。
（２）Esc  Coding切替情報
実施の形態１で述べたように、符号化側でAC係数データを可変長符号化する際に、符号化しようとしているAC係数データがVLCテーブルになかったときの符号化方式が異なる場合に、復号側で復号方法を切り替えるための情報。
（３）イントラDC係数逆量子化切替情報
実施の形態１で述べたように、符号化側でイントラDC係数の量子化方法が異なる場合に、DC係数の逆量子化方法を切り替えるための情報。
なお（１）〜（３）の切替情報をまとめて、H.263で採用されている手法とそれ以外で切り替える情報として、設定しておくことも可能である。
【０１１０】
MPEG−４ヘッダ情報設定部164により設定されたMPEG−４ヘッダ情報は可変長符号化され、MPEG−４ヘッダ情報符号語406として多重化部165に出力される。
GOBヘッダ情報解析・変換部163は、実施の形態１と同様に、GOBヘッダ情報符号語402を復号し、GOBヘッダ情報224をMPEG−４の表現形式である再同期情報238に変換する。
【０１１１】
MPEG−４の再同期情報238はエラー耐性強化のために用いられる情報で、VOLヘッダ情報236のエラー耐性符号化指示情報が有効の場合に多重化される情報である。復号側では再同期情報238が復号されたら、符号化ビットストリームへの再同期が取られ、マクロブロック復号の際に用いられる予測ベクトル及び量子化ステップサイズの再設定を行う。なおH.263では、GOBヘッダ情報224が復号されたら予測ベクトルと量子化ステップサイズの再設定を行っている。そこでGOBヘッダ情報224を再同期情報238により変換することにより、GOBヘッダ情報224をMPEG−４の表現形式に変換することができる。
【０１１２】
図26はGOBヘッダ情報224及び再同期情報238の構造を示す図である。再同期情報238におけるマクロブロック番号271は、VOP内でのマクロブロックの位置を示す番号である。従って受け取ったH.263マクロブロックデータに対応するマクロブロックのピクチャ内での位置を算出すれば良い。これはGOB内で先頭のマクロブロックになるので、GOB番号より算出することができる。量子化スケール272は、GOB量子化ステップサイズを設定すれば良い。ヘッダ拡張指示コード273は"1"の場合に時間基準点274及びVOP経過時間275が多重化される。これらの情報はVOPを表示する際に用いられるもので、必要に応じてヘッダ拡張指示コード273を"1"に設定し、時間基準点274、VOP経過時間275の設定を行えば良い。再同期情報238は可変長符号化され、再同期情報238が多重化されていることを示すための固定長のユニークコードである再同期指示コードを付加した再同期情報符号語407を多重化部165に出力する。
多重化部165は、MPEG−４ヘッダ情報符号語406、再同期情報符号語407、マクロブロックデータ符号語403を符号化ビットストリームに多重化し、MPEG−４符号化ビットストリーム202を出力する。
【０１１３】
この実施の形態では、再同期情報は、VOLヘッダ情報234のエラー耐性符号化指示情報が有効の場合に多重化される情報であるとしたが、エラー耐性符号化指示情報の有効、無効に係わらず多重化することもできる。
なおH.263符号化ビットストリーム201において、マクロブロックデータ225の後にシーケンス終了コード227が付加されている場合、シンタックス解析部161は、シーケンス終了コード227を検出すると解析を終了する。
【０１１４】
以上のように、この実施の形態によれば、H.263符号化ビットストリーム201をMPEG−４符号化ビットストリーム202に変換するので、MPEG−４の画像復号化装置でH.263符号化ビットストリームを復号することができるという効果が得られる。
【０１１５】
実施の形態9.
実施の形態７では、図23において、H.263ピクチャスタートコード検出部151がピクチャスタートコード221を検出した場合、符号化方式判定部152がH.263符号化ビットストリーム201と判定し、H.263ピクチャヘッダ情報解析部153がVOLヘッダ情報とVOPヘッダ情報を設定するようにしたが、本実施の形態では、H.263ピクチャヘッダ情報解析部153に含まれている図６におけるH.263ピクチャヘッダ情報復号部42にて復号されたピクチャヘッダ情報222に基づき、マクロブロックレイヤシンタックス解析部22の動作を切り替える。このとき、MPEG−４ヘッダ情報設定部43は不要である。また、実施の形態７では、図８におけるGOBスタートコード検出部61が、H.263符号化ビットストリーム201中にGOBスタートコード223を検出した場合、GOBヘッダ情報復号部62がGOBヘッダ情報224を復号し、MPEG−４ヘッダ情報変更部63にて、VOPヘッダ情報236に含まれるVOP量子化ステップサイズの再設定を行った。本実施の形態では、H.263符号化ビットストリーム201を復号する場合、ピクチャヘッダ情報222を用いて、マクロブロックデータの復号を行うため、ピクチャヘッダ情報222に含まれるピクチャ量子化ステップサイズ304の再設定を行えば良い。
【０１１６】
次にH.263ピクチャヘッダ情報復号部42にて復号されたピクチャヘッダ情報222に基づき、マクロブロックデータの復号を行う際のマクロブロックレイヤシンタックス解析部22の動作について説明する。
本実施の形態では、図12のマクロブロックレイヤシンタックス解析部の切替部81,83,88,95の動作と、加算部94の動作と、動きベクトル復号部97の動作と、図13のブロックデータ復号部98の切替部102の動作のみが異なるので、この部分についてのみ説明する。
切替部81は、MPEG−４符号化ビットストリーム202を復号している場合、すなわち、図23における符号化方式判定部152にて設定されたH.263互換識別情報33がMPEG−４を示している場合には、VOLヘッダ情報復号部37にて復号された形状情報により、切り替えられる。H.263符号化ビットストリーム201を復号している場合、すなわち、H.263互換識別情報33がH.263を示している場合には、無条件にビットストリーム１は形状符号化データ復号部82を介さずに、切替部83に入力される。
【０１１７】
切替部83は、MPEG−４符号化ビットストリーム202を復号している場合には、VOPヘッダ情報解析部38にて復号されたVOP予測タイプにより、切り替えられる。H.263符号化ビットストリーム201を復号している場合には、H.263ピクチャヘッダ情報復号部42にて復号されたピクチャ符号化タイプ302により切り替えられる。切り替えの動作については、実施の形態１と同様であり、ピクチャ符号化タイプ302がイントラか、それ以外かで切り替えればよい。
【０１１８】
切替部88は、MPEG−４符号化ビットストリーム202を復号している場合には、VOLヘッダ情報復号部37にて復号されたイントラAC/DC予測指示情報により、切り替えられる。H.263符号化ビットストリーム201を復号している場合、すなわち、H.263互換識別情報33がH.263を示している場合には、無条件にビットストリーム１はAC予測指示情報復号部89を介さずに、有効ブロック識別情報復号部90に入力される。
【０１１９】
加算部94は、MPEG−４符号化ビットストリーム202を復号している場合には、復号された差分量子化ステップサイズ254に、１つ前に復号されたマクロブロックのVOP量子化ステップサイズを加算して、量子化ステップサイズとして出力する。H.263符号化ビットストリーム201を復号している場合には、復号された差分量子化ステップサイズ254に、１つ前に復号されたマクロブロックのピクチャ量子化ステップサイズを加算して、量子化ステップサイズとして出力する。
【０１２０】
切替部95は、MPEG−４符号化ビットストリーム202を復号している場合には、VOPヘッダ情報解析部38にて復号されたインタレースモード指示情報により、切り替えられる。H.263符号化ビットストリーム201を復号している場合、すなわち、H.263互換識別情報33がH.263を示している場合には、無条件にビットストリーム１はインタレース情報復号部96を介さずに、動きベクトル復号部97に入力される。
【０１２１】
動きベクトル復号部97は、MPEG−４符号化ビットストリーム202を復号している場合には、VOPヘッダ情報解析部38にて復号された動きベクトル探索範囲指定情報に基づいて、動きベクトル（テクスチャ動きデータ７）を復号する。H.263ビットストリームを復号している場合には、H.263で定められている動きベクトル探索範囲に基づき、動きベクトル（テクスチャ動きデータ７）を復号する。
【０１２２】
ブロックデータ復号部98の切替部102は、MPEG−４符号化ビットストリーム202を復号している場合には、VOLヘッダ情報復号部37にて復号されたイントラAC/DC予測モード指示情報により切り替えられる。H.263符号化ビットストリーム201を復号している場合、すなわち、H.263互換識別情報33がH.263を示している場合には、無条件にビットストリーム１はDC係数固定長復号部103に入力される。これ以降の動作は、実施の形態１と同様である。
【０１２３】
以上のように、この実施の形態９によれば、ピクチャスタートコード221を検出した場合、H.263符号化ビットストリーム201と判定し、ピクチャヘッダ情報222を復号し、復号したピクチャヘッダ情報222により、マクロブロックデータの復号を行うようにしたので、VOLヘッダ情報とVOPヘッダ情報を設定することなく、H.263と、MPEG−４とで互換性を有する画像符号化装置を得ることができるという効果が得られる。
【産業上の利用可能性】
【０１２４】
以上のように、この発明に係る画像復号化装置、画像符号化装置、画像通信システム及び符号化ビットストリーム変換装置は、符号化方式の異なる符号化ビットストリームでも、簡単な構成で送受信を行える。
【図面の簡単な説明】
【０１２５】
【図１】従来のH.263符号化ビットストリームとMPEG−４符号化ビットストリームの構造を示す図である。
【図２】この発明の実施の形態１による画像復号化装置が受信する符号化ビットストリームの構造を示す図である。
【図３】この発明の実施の形態１による画像復号化装置の構成を示すブロック図である。
【図４】この発明の実施の形態１によるシンタックス解析・可変長復号部の構成を示すブロック図である。
【図５】この発明の実施の形態１によるヘッダ情報解析部の構成を示すブロック図である。
【図６】この発明の実施の形態１によるH.263ピクチャヘッダ情報解析部の構成を示すブロック図である。
【図７】この発明の実施の形態１によるH.263ピクチャヘッダ情報復号部の構成を示すブロック図である。
【図８】この発明の実施の形態１によるH.263GOBヘッダ情報解析部の構成を示すブロック図である。
【図９】GOBを説明する図である。
【図１０】この発明の実施の形態１によるGOBヘッダ情報復号部の構成を示すブロック図である。
【図１１】H.263マクロブロックデータのレイヤ構造を示す図である。
【図１２】この発明の実施の形態１によるマクロブロックレイヤシンタックス解析部の構成を示すブロック図である。
【図１３】この発明の実施の形態１によるブロックデータ復号部の構成を示すブロック図である。
【図１４】予測ベクトルの算出を説明する図である。
【図１５】この発明の実施の形態１によるテクスチャ復号部の構成を示すブロック図である。
【図１６】この発明の実施の形態１による逆量子化部の構成を示すブロック図である。
【図１７】この発明の実施の形態２及び４による画像符号化装置の構成を示すブロック図である。
【図１８】この発明の実施の形態２及び４によるH.263符号化装置とMPEG−４復号化装置の関連を説明する図である。
【図１９】この発明の実施の形態３によるMPEG−４互換H.263符号化ビットストリームの内容を示す図である。
【図２０】この発明の実施の形態３によるヘッダ情報解析部の構成を示すブロック図である。
【図２１】この発明の実施の形態５による画像通信システムを示す図である。
【図２２】この発明の実施の形態６による画像通信システムを示す図である。
【図２３】この発明の実施の形態７によるヘッダ情報解析部の構成を示すブロック図である。
【図２４】この発明の実施の形態７による符号化ビットストリームの始めと終りを説明する図である。
【図２５】この発明の実施の形態８による符号化ビットストリーム変換装置を示すブロック図である。
【図２６】GOBヘッダ情報及び再同期情報の構造を示す図である。
【図３】
0003573759.tif 000002
【図４】
0003573759.tif 000003
【図１】
0003573759.tif 000004
【図１１】
0003573759.tif 000005
【図２】
0003573759.tif 000006
【図５】
0003573759.tif 000007
【図１９】
0003573759.tif 000008
【図６】
0003573759.tif 000009
【図８】
0003573759.tif 000010
【図７】
0003573759.tif 000011
【図２０】
0003573759.tif 000012
【図９】
0003573759.tif 000013
【図１０】
0003573759.tif 000014
【図１２】
0003573759.tif 000015
【図１３】
0003573759.tif 000016
【図１４】
0003573759.tif 000017
【図２６】
0003573759.tif 000018
【図１５】
0003573759.tif 000019
【図１７】
0003573759.tif 000020
【図１８】
0003573759.tif 000021
【図１６】
0003573759.tif 000022
【図２１】
0003573759.tif 000023
【図２２】
0003573759.tif 000024
【図２３】
0003573759.tif 000025
【図２４】
0003573759.tif 000026
【図２５】
0003573759.tif 000027