(57)【要約】【課題】任意形状の画像符号化において、従来の長方形の画像と同等の誤り耐性を実現することを目的とする。【解決手段】入力された動画像を符号化する符号化手段101と、この符号化手段での符号化情報から重要情報を取り出す重要情報再構成手段102と、同期信号を 発生する同期信号発生手段103と、符号化手段により符号化されたビット列に同 期発生手段から出力された同期信号と重要情報再構成手段により再構成された重要情報を加えビット列を再構成するビット列再構成手段104とを具備することを 特徴とする。【選択図】図１
2007318797.tif 000002
【特許請求の範囲】
【請求項１】
符号化ビット列を抽出するため、動画像を符号化して生成される符号化動画像情報と同期情報とビット列の纏まりを符号化する規則を表す重要情報を含むヘッダ情報とを有する多重化ビット列を逆多重化する逆多重化部と、
復号情報を生成するため前記符号化ビット列を復号する復号部と、
前記復号部の復号情報に基づいてエラーをチェックするエラーチェック部と、
前記復号部から出力する前記ヘッダ情報から前記任意形状画像の幅を表す１３ビット信号、前記任意形状画像の高さを示す１３ビット信号、前記任意形状画像の配置に使用されるＸ座標を示す１３ビット信号、前記任意形状画像の配置に使用されるＹ座標を示す１３ビット信号、前記任意形状画像の画像情報が縮小され符号化されたか否かを表す１ビット信号及び前記画像情報の符号化モードを示す１ビット信号を含む重要情報を構成し、前記エラーチェック部がエラーを検出したとき前記重要情報に基づいて前記任意形状画像を復号させるために前記復号部に報知する重要情報構成部と、
を具備する、動画像復号装置。
【請求項２】
符号化ビット列を抽出するため、動画像を符号化して生成される符号化動画像情報と同期情報とビット列の纏まりを符号化する規則を表す重要情報を含むヘッダ情報とを有する多重化ビット列を逆多重化するステップと、
復号情報を生成するため前記符号化ビット列を復号するステップと、
前記復号情報に基づいてエラーをチェックするステップと、
前記ヘッダ情報から前記任意形状画像の幅を表す１３ビット信号、前記任意形状画像の高さを示す１３ビット信号、前記任意形状画像の配置に使用されるＸ座標を示す１３ビット信号、前記任意形状画像の配置に使用されるＹ座標を示す１３ビット信号、前記任意形状画像の画像情報が縮小され符号化されたか否かを表す１ビット信号及び前記画像情報の符号化モードを示す１ビット信号を含む重要情報を構成し、エラーが検出されたとき前記重要情報に基づいて前記任意形状画像を復号するステップと、
を含む、動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された動画像／静止画像をＩＳＤＮ（Integrated Services Digital Network ）やインターネット等の有線通信網、あるいはＰＨＳや衛星通信等の無線通信網を用いて伝送する情報伝送方式およびその方法が適用される情報伝送システムにおける符号化／復号化装置に関する。
【背景技術】
【０００２】
近年、画像をはじめとする各種情報のディジタル符号化技術および広帯域ネットワーク技術の進展により、これらを利用したアプリケーションの開発が盛んになっており、圧縮符号化した画像などを、通信網を利用して伝送するシステムが開発されている。
【０００３】
例えば、テレビ電話、テレビ会議システム、ディジタルテレビ放送においては、動画像や音声をそれぞれ少ない情報量に圧縮符号化し、それら圧縮された動画像符号列、音声符号列や他のデータ符号列を多重化して一つの符号列にまとめて伝送／蓄積する技術が用いられている。
【０００４】
動画像信号の圧縮符号化技術としては動き補償、離散コサイン変換（ＤＣＴ）、サブバンド符号化、ピラミッド符号化、可変長符号化等の技術や、これらを組み合わせた方式が開発されている。また、動画像符号化の国際標準方式としてはＩＳＯ  ＭＰＥＧ−１，ＭＰＥＧ−２，ＩＴＵ−Ｔ  Ｈ．２６１，Ｈ．２６２，Ｈ．２６３が存在し、また動画像、音声・オーディオ信号を圧縮した符号列や他のデータを多重化する国際標準方式としてはＩＳＯ  ＭＰＥＧシステム、ＩＴＵ−Ｔ  Ｈ．２２１，Ｈ．２２３が存在する。
【０００５】
上述の動画像符号化国際標準方式のような従来の動画像符号化方式においては、動画像信号をフレーム毎に分割し、さらにフレームを細かい領域に分割したＧＯＢ(Group Of Block)やマクロブロック等の単位毎に符号化が行われ、このフレーム、ＧＯＢ、マクロブロック毎に符号化のモード等を示すヘッダ情報が付加される。これらのヘッダ情報はそのフレーム、ＧＯＢ等全体の復号に必ず必要な情報である。
【０００６】
このため、もしヘッダ情報に伝送路／蓄積媒体において誤りが混入し、それがために動画像符号化装置において正しく復号ができないと、そのヘッダ情報のあるフレーム、ＧＯＢ等全体が正しく復号できず、動画像復号化装置における再生動画像の品質が大きく劣化してしまうことになる。
【０００７】
すなわち、圧縮符号化された画像を通信網を利用して伝送する場合には、受信側では伝送されてきた“０”／“１”のビット列から、意味のある情報を再生する復号処理が必要になる。
【０００８】
そのためには、一定のビット列のまとまりがどのような規則のもとに符号化されてきたものなのかを指し示す情報として、前述のヘッダ情報が非常に重要になる。このヘッダ情報とは例えば、現在復号しているフレームの予測タイプ（フレーム内の符号化であるか、フレーム間の符号化であるか、等）、そのフレームを表示するタイミングを示す情報（タイム・レファランス）、あるいは量子化を行う際のステップサイズ情報などである。
【０００９】
従って、これらのヘッダ情報が失われてしまうと、それ以後に伝送されてきた情報が正しく復号できないことになる。
【００１０】
例えば前記フレームの予測タイプが、本来はフレーム間の符号化であることを示していたにも関わらず、何らかの原因でビット列に誤りが混入し、フレーム内の符号化を示すビットパターンに変化したとする。この場合、その後の実際の情報が正しく伝送されてきたとしても、復号側ではその信号をフレーム内符号化の結果と判断してしまうため、最終的には正しく復号されないことになる。
【００１１】
よって、動画像符号化装置における再生動画像の品質が大きく劣化してしまうことになる。
【００１２】
このような誤りの混入は、特に無線テレビ電話や携帯情報端末、無線ディジタルテレビ受信装置等のように無線伝送路を介して動画像を伝送／蓄積するシステムを用いた場合に多発する。
【００１３】
従来の画像伝送は、有線通信網を用いたシステムが主流であり、仮に無線通信網を用いる場合でも誤り率が非常に少ない衛星通信を想定していた。従って、伝送する符号化列の構造自体についての誤り耐性については十分な考慮がなされておらず、ヘッダ情報等の重要情報に対する伝送路誤り保護が十分ではなかった。
【００１４】
一方、今後の移動体通信の主流の一つになると見られるＰＨＳ（簡易型携帯電話）では誤り率が衛星通信の十万倍〜百万倍程度になるため、従来のように符号化されたビット列に誤り訂正を施しただけでは十分な訂正が不可能な状態になる。
【００１５】
また、ＰＨＳと同様に今後の通信の主流になると予想されるインターネットでは、いつ、どのような誤りが混入するかが統計的に明らかになっておらず、適切な誤り訂正が行えない場合もある。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
従来の構成においては、ＨＥＣを用いて二重化できる情報中には、任意形状の画像符号化の際に必要となる情報が含まれておらず、オブジェクト単位で任意形状の画像を復号化した場合に伝送誤りによりＶＯＰヘッダ情報が失われた場合に、正しく復号できないといった問題があった。
【００１７】
それ故、任意形状の画像符号化を用いて符号化された符号列を伝送する場合に、伝送データの誤り耐性が弱くなってしまうという問題点がある。
【００１８】
本発明の目的は、任意形状画像符号化の場合でも従来の長方形画像の符号化と同等の誤り耐性を持たせることができるようにした動画像符号化装置および動画像符号化データの伝送方法並びに同データを記録する記録媒体を提供することにある。
【課題を解決するための手段】
【００１９】
第１の発明は、入力された動画像を符号化してビット列を生成する符号化部と、この符号化部により得られる符号化情報から一定のビット列の纏まりがどのような規則のもとに符号化されているかを指し示す情報としての重要情報を取り出して構成する重要情報構成部と、同期信号を発生する同期信号発生部と、前記符号化部により符号化されたビット列に前記同期発生部から出力された同期信号と前記重要情報構成部により再構成された重要情報を加えビット列を再構成するビット列再構成部とを有する動画像符号化装置を提供する。
【００２０】
第２の発明は、第１の発明における重要情報構成部が符号化情報からフレームを方形領域単位で符号化する通常の符号化方式における重要情報である通常画像関連情報を構成する通常画像関連重要情報構成部と、符号化情報からフレーム内の画像を任意形状画像領域単位で符号化する任意形状符号化方式における重要情報である任意形状画像関連重要情報を構成する任意形状画像関連重要情報構成部と、符号化情報から符号化している画像が任意形状画像であるか否かを判定する任意形状符号化判定部と、この任意形状符号化判定部が任意形状画像と判定した場合に任意形状画像関連重要情報を出力する切替部と、通常画像関連情報と切替部の出力とを多重化する多重化部とから構成されている画像符号化装置を提供する。
【００２１】
第３の発明は、動画像を符号化して同期情報を含むビット列を得ると共に、この符号化における一定のビット列の纏まりがどのような規則のもとに符号化されたかを指し示す情報としての重要情報をヘッダ情報として付加したビット列を含む符号化データを復号する復号化装置であって、入力されたビット列から画像ビット列を分離する分離部と、画像ビット列を復号する復号化部と、画像ビット列から同期信号を検出し復号化部へ通知する同期信号検出部と、復号化部の復号情報に誤りが存在しないかどうかを判定するエラーチェック部と、このエラーチェック部が誤りなしと判定したとき、復号化部から出されたヘッダ情報から重要情報を構成し、復号化部に通知する重要情報構成部とを有する画像復号化装置を提供する。
【００２２】
第４の発明は、前記第３の発明における重要情報構成部が、ヘッダ情報から通常画像関連重要情報を構成する通常画像関連重要情報構成部と、ヘッダ情報から復号化している画像が任意形状画像かどうかを判定する任意形状符号化判定部と、ヘッダ情報から任意形状画像関連重要情報を構成する任意形状画像関連重要情報構成部と、任意形状符号化判定部が任意形状画像と判定した場合に、ヘッダ情報を任意形状画像関連情報再構成部へ入力する第１の切替部と、任意形状符号化判定部で任意形状画像と判定した場合に、任意形状画像関連重要情報を出力する第２の切替部とから構成されている画像復号化装置を提供する。
【００２３】
第５の発明は、入力された動画像を符号化してビット列を得る符号化部と、符号化部により得られる符号化情報から一定のビット列の纏まりがどのような規則のもとに符号化されているかを指し示す情報としての重要情報を取り出して構成する重要情報構成部と、符号化部により符号化されたビット列を分割するビット列分割部と、重要情報構成部により再構成された重要情報からパケットヘッダを作成するパケットヘッダ作成部と、ビット列分割部により分割されたビット列とパケットヘッダ生成部により生成されたパケットヘッダとを用いてパケットを構成するパケット構成部とを有する画像復号化装置を提供する。
【００２４】
第６の発明は、第５の発明の重要情報構成部が、符号化情報から任意形状画像関連重要情報を構成する任意形状画像関連重要情報構成部と、符号化情報から任意形状画像関連重要情報を保持させた拡張ヘッダをパケットヘッダに付加するかどうか判定する拡張ヘッダ挿入判定部と、拡張ヘッダ挿入判定部で拡張ヘッダを挿入すると判定された場合にヘッダ情報を任意形状画像関連重要情報に入力する切替部とから構成されている画像復号化装置を提供する。
【００２５】
第７の発明は、動画像を符号化してビット列を得ると共に、この符号化における一定のビット列の纏まりがどのような規則のもとに符号化されているかを指し示す情報としての重要情報をパケットヘッダ情報として付加したビット列を有する動画像符号化データを復号化する復号化装置であって、入力されたビット列から画像ビット列とパケットヘッダ情報を分離する分離部と、画像ビット列を復号する復号化部と、復号化部の復号情報から誤りが存在しないかどうかを判定するエラーチェック部と、パケットヘッダ情報から一定のビット列の纏まりがどのような規則のもとに符号化されているかを指し示す情報としての重要情報を取り出して重要情報の再構成を行い、エラーチェック部で誤りがあると判定され復号に重要情報が必要な場合に当該構成した重要情報を復号化部に通知する重要情報構成部とを有する画像復号化装置を提供する。
【００２６】
第８の発明は、第７の発明の重要情報構成部が、パケットヘッダ情報から任意形状画像関連重要情報を構成する任意形状画像関連重要情報構成部と、パケットヘッダ情報から拡張ヘッダがパケットヘッダに付加されているかどうか判定する拡張ヘッダ挿入判定部と、拡張ヘッダ挿入判定部で拡張ヘッダが挿入されていると判定された場合にパケットヘッダ情報を任意形状画像関連重要情報に入力する切替部とから構成されている画像復号化装置を提供する。
【００２７】
本発明は、動画像符号化において、符号化したデータにはヘッダを設けると共に、ヘッダには更に拡張ヘッダ部分を設けてヘッダに格納する通常の画像符号化方式における重要情報の他、当該拡張ヘッダに、任意形状画像符号化方式における重要情報も含めることができるので、ヘッダが一部壊れていても、健全なヘッダを持つ部分については画像を復号可能になる。また、画像データには同期信号を挿入しておくことにより、ビデオ・パケットＶＰの同期外れの問題も解消する。すなわち、ビデオ・パケットＶＰは同期信号ＲＭで始まるパケットであり、それ以前に誤りが存在し、同期外れが生じた場合でもこの同期信号ＲＭで再同期をすることが可能である。
【００２８】
これらのことから、伝送時での雑音に対する耐性の高い、また、任意形状画像符号化の場合でも従来の長方形画像の符号化と同等の誤り耐性を持たせることができる動画像符号化技術が提供できる。
【発明の効果】
【００２９】
本発明によれば、任意形状画像を符号化した場合でも、従来の長方形画像の符号化と同等の誤り耐性能力を持たせることが可能となる。また、動画像／音声データの伝送に利用されるプロトコルとしてのＲＴＰの拡張ヘッダを用いることでデータをパケット伝送する場合においても、ＭＰＥＧ−４などの既存の標準方式に則ったかたちで符号化して伝送でき、しかも、従来の長方形画像の符号化と同等の誤り耐性能力を持たせることが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照して本発明の実施例を説明する。
【００３１】
以下、本発明の実施の形態について図面を参照して説明する。
【００３２】
図１は、本発明の第１の実施形態に係る動画像符号化装置の基本構成を示す。これによると、符号化部１０１の出力は、重要情報構成部１０２およびビット列再構成部１０４に接続される。重要情報構成部１０２の出力は同期信号発生部１０３の出力と共にビット列再構成部１０４に接続される。ビット列再構成部１０４の出力は多重化部１０５に接続される。多重化部１０５の出力は伝送路１０６に接続される。
【００３３】
符号化部１０１は、入力された画像信号１３１を符号化してビット列再構成部１０４に出力し、また、符号化した際の符号化情報１３３を重要情報構成部１０２に出力するよう構成される。重要情報構成部１０２は符号化部１０１で符号化した際の符号化情報１３３を受けて復号に必要な重要情報１３４だけを選択して出力するように構成される。
【００３４】
同期信号発生部１０３は、任意の間隔で同期信号１３５を発生する部であり、ビット列再構成部１０４は、同期信号発生部１０３からの同期信号１３５をビット列１３２に挿入し、その後ろに、必要であれば重要情報構成部１０２から出力された重要情報１３４を、決められたフォーマットで挿入して出力するように構成される。
【００３５】
多重化部１０５は、ビット列再構成部１０４で再構成されたビット列１３６を、他のデータ（例えば音声データ、他の物体を符号化したビット列等）と共に多重化処理をして多重化ビット列１３７として伝送路／蓄積媒体１０６に出力するように構成される。
【００３６】
上記のような構成において、入力された動画像の画像信号１３１は符号化部１０１で符号化される。この符号化部１０１により符号化されて出力されたビット列１３２はビット列再構成部１０４に入力される。また、符号化部１０１で符号化した際の符号化情報１３３は重要情報構成部１０２に入力され、復号に必要な重要情報１３４だけが選択され出力される。
【００３７】
ビット列再構成部１０４では、任意の間隔で同期信号発生部１０３から出力された同期信号１３５をビット列１３２に挿入し、その後ろに、必要であれば重要情報構成部１０２から出力された重要情報１３４を決められたフォーマットで挿入する。
【００３８】
ビット列再構成部１０４で再構成されたビット列１３６は多重化部１０５に入力され、他のデータ(例えば音声データ、他の物体を符号化したビット列等)と共に多重化処理が行われ、多重化ビット列１３７が伝送路／蓄積媒体１０６に出力される。
【００３９】
このように、本実施例では、動画像を符号化して得たビット列に、任意の間隔で同期信号発生部１０３から出力された同期信号１３５が挿入され、その後ろに、必要であれば重要情報構成部１０２から出力された重要情報１３４が決められたフォーマットに従ってビット列再構成部１０４により挿入される。
【００４０】
そのため、ＭＰＥＧ−４における任意形状の画像符号化・復号化に必要な情報、例えば、任意形状の画像符号化では画像サイズの幅ＶＷの情報と高さＶＨの情報および復号した画像を表示する位置を示すための画像位置のｘ座標ＶＨＭＳＲの情報、ｙ座標ＶＶＭＳＲの情報、そして、形状情報の符号化モードを示すＶＯＰシェープ・コーディング・タイプ“vop_shape_coding_type （ＶＳＣＴ）”や、形状情報のサイズを変換してから符号化するかどうかを示すフラグであるchange_conv_ratio_disable（ＣＣＲＤ）などが重要情報１３４として生成される。この重要情報が決められたフォーマットでビット列再構成部１０４により二重化してＶＰヘッダに挿入されると、任意形状画像符号化にも長方形画像の符号化と同等の誤り耐性を持たせることができるようになり、ＶＯＰヘッダやＶＰが一部壊れていても動画像の復号化が可能になる。
【００４１】
ＭＰＥＧ−４の場合、フレームに相当するものをビデオ・オブジェクト・プレーン“ Video Object Plane ”と呼ぶ（図１８）。さらにこのVideo Object Plane（以下、これをＶＯＰと呼ぶ）を複数のパケットに分割することが可能であり、これをビデオ・パケット“ Video Packet ”と呼ぶ（図１９）。
【００４２】
ビデオ・パケット“Video Packet”（以下、これをＶＰと呼ぶ）は同期信号（Resync Marker、以下、ＲＭと呼ぶ）で始まるパケットであり、それ以前に誤りが存在し、同期外れが生じた場合でもこの同期信号で再同期をすることは可能であった。
【００４３】
従って、先頭以外のビデオ・パケットＶＰであれば、誤りにより情報が破壊／消失したとしても、その後のビデオ・パケットＶＰは正しく復号することができる。それはビデオ・オブジェクト・プレーンＶＯＰの先頭のＶＯＰヘッダが復号出来ていて、復号に必要な情報が全て揃うことからである（図２０）。
【００４４】
ＶＯＰヘッダ情報には前述したようにビデオ・オブジェクト・プレーンＶＯＰの符号化タイプ（フレーム内符号化、フレーム間符号化等）、タイム・レファランス、ステップサイズ等が含まれている。この情報を失うと、全てのビデオ・パケットＶＰの復号が出来なかった（図２１Ａ，２１Ｂ）。
【００４５】
そこで、ＭＰＥＧ−４では、ビデオ・パケットＶＰのヘッダの中にヘッダ・エクステンション・コードＨＥＣを定義し、この値によって、その後にＶＯＰヘッダの中の重要な情報を再度記述することが可能になっていた。
【００４６】
このフォーマットについて、図２１Ａ，２１Ｂに示す。すなわち、図２１Ａに示すように、ビデオ・オブジェクト・プレーンＶＯＰは先頭にＶＯＰヘッダとそれに続いてデータが来るといった形式のパターンを置き、その次にビデオ・パケットＶＰのヘッダとそれに続いてデータが来るといった形式のパターンが幾つか繰り返されると云ったフォーマットで構成されていた。
【００４７】
ＶＰのヘッダの中にヘッダ・エクステンション・コードＨＥＣを定義し、この値によって、その後にＶＯＰヘッダの中の重要な情報を再度記述しておけば、ビデオ・オブジェクト・プレーンＶＯＰが壊れていない限り、ビデオ・パケットＶＰのヘッダとそれに続いてデータの組が一つや二つ壊れていても、正常なＶＰヘッダとデータの組については、ＶＯＰヘッダとそのデータの情報を用いて、復号可能であった。
【００４８】
図２２Ａ、２２Ｂの例の場合、ビデオ・オブジェクト・プレーンＶＯＰのヘッダとそれのペアとなるデータは壊れていないが、第１のビデオ・パケットＶＰのヘッダとそれのペアとなるデータだけ壊れている様子を示している。この場合、図２２Ｂに示すように、ビデオ・オブジェクト・プレーンＶＯＰとそれのデータ部分は壊れていないので画像の第１の領域は正常に復号され、次の第２の領域は誤りが生じて劣化のある画像が復号され、次の第３の領域以降は正常に復号されるので、部分的には壊れているが、殆どが綺麗に再生された画像として復号できた。
【００４９】
また、ヘッダ・エクステンション・コードＨＥＣを設けない方式の場合、図２２Ａに示すように、ＶＯＰヘッダが壊れていれば、他のＶＰが壊れていなくとも復元の余地は全くなく、図２２Ｂのように、誤りの影響で全く画像は得られないことになるが、このような場合でもヘッダ・エクステンション・コードＨＥＣを設ける方式の場合は再生可能であった。すなわち、ヘッダ・エクステンション・コードＨＥＣを設ける方式の場合、当該ヘッダ・エクステンション・コードＨＥＣが真の場合には、このＨＥＣの後ろに重要情報が二重化され、ＨＥＣが偽の場合には重要情報が二重化されない形態が取られる。誤りの多い伝送路を利用する場合に、ＨＥＣを真とすると共に、その後ろに重要情報を二重化して付加するようにする。
【００５０】
その結果、図２３Ａのように、ＶＯＰの先頭に何らかの誤りが存在し、復号できなかった場合でも、ＨＥＣで保護された情報を利用することで、先頭を領域の画像は正常に復元できなくとも、第２の領域以降の部分のビデオ・パケットＶＰを復号することが可能になり、図２３Ｂに示すように部分的には壊れているが、殆どが綺麗に再生された画像として復号できることになる。
【００５１】
しかしながら、これはあくまでも長方形の画像領域単位で実現できるに過ぎなかった。つまり、ＶＯＰヘッダ情報をＶＰヘッダの中にＨＥＣを用いて二重化することで、ＶＯＰヘッダが失われた場合でも、ＶＰヘッダの中にＨＥＣによってＶＯＰヘッダが二重化されていれば、それを利用することでその後のデータを正しく復号することが可能であるが、ＨＥＣを用いて二重化できる情報中には、任意形状の画像符号化の際に必要になる情報が含まれていない。そのため、従来の長方形の画像であれば問題がなかったものの、ＭＰＥＧ−４のように、オブジェクト単位で任意形状の画像を符号化できるようにした方式の場合、復号化できなかった。
【００５２】
これはＭＰＥＧ−４におけるオブジェクト単位での任意形状の画像の符号化には、長方形の画像の符号化に比べて更に多くのヘッダ情報が追加されていることから、これを二重化の対象とできないことが大きな問題であった。
【００５３】
また、別の観点からみてみる。インターネットやイントラネット等の利用が一般化してくると、このようなネットワークを利用しての通信が多くなり、インターネットテレビ電話等も利用されるようになっている。この場合、動画像をリアルタイムで伝送することになる。しかしながら、動画像をインターネットやイントラネット等でリアルタイムに伝送しようとすると、一般に用いられているＴＣＰやＵＤＰのプロトコルでは問題点が多い。特に、ヘッダが時間情報を持っていない点が問題であった。
【００５４】
そこで、近年、動画像／音声データの伝送に利用されるプロトコルとしてＲＴＰ(Real-time Transfer Protocol)が注目を浴びている。すなわち、ＴＣＰなどのプロトコルの場合、パケット毎に付属する時間情報がないため、受信側ではその受信したデータをいつ再生すればいいのかを知ることができなかった。そのため、データをパケット伝送した場合に、受信側ではそのデータが動画像データや音声・サウンドデータである場合には旨く再生することができなかった。
【００５５】
しかし、ＲＴＰではパケット毎に時間情報を付加し、受信側でそれを元に動画像データや音声・サウンドデータを再生することが可能となる。このように、ＲＴＰはリアルタイムデータの伝送に適したプロトコルとなっている。
【００５６】
このプロトコルには、各アプリケーション毎に拡張ヘッダを定義できるようになっている。
【００５７】
従来技術で説明したように、ＭＰＥＧ−４ではＶＯＰヘッダ情報をＶＰヘッダの中にＨＥＣを用いて二重化することで、ＶＯＰヘッダが失われた場合でも、ＶＰヘッダの中にＨＥＣによってＶＯＰヘッダが二重化されていれば、それを利用することでその後のデータを正しく復号することが可能であった。
【００５８】
しかし、ＨＥＣを用いて二重化できる情報中には、任意形状の画像符号化の際に必要になる情報が含まれていない。そのため、従来の長方形の画像であれば問題がなかったものの、任意形状の画像符号化では長方形の画像の符号化に比べてヘッダ情報が追加されていることから、これが二重化できないことが大きな問題であった。
【００５９】
例えば、任意形状の画像符号化では各ＶＯＰ毎に画像サイズが変更になるため、ＶＯＰヘッダ中に画像サイズの幅vop_width（以下、ＶＷと呼ぶ）と高さvop_height（以下、ＶＨと呼ぶ）を記述する。また、復号した画像を表示する位置を示すための画像位置のｘ座標vop_horizontal_mc_spatial_ref（以下、ＶＨＭＳ Ｒと呼ぶ）、ｙ座標vop_vertical_mc_spatial_ref（以下、ＶＶＭＳＲと呼ぶ）も記述されている。これらの値の関係が図２４に示される。
【００６０】
これらの情報のないビデオ・パケットＶＰの情報だけで動画像を復号しようとした場合、任意形状の画像符号化では正しく復号することができなくなる。すなわち、任意形状の画像符号化では画像サイズの幅ＶＷの情報と高さＶＨの情報および復号した画像を表示する位置を示すための画像位置のｘ座標ＶＨＭＳＲの情報、ｙ座標ＶＶＭＳＲの情報がないと正しく復号することができなかった。
【００６１】
また、形状情報の符号化モードを示すＶＯＰシェープ・コーディング・タイプ“vop_shape_coding_type（以下、ＶＳＣＴと呼ぶ）”や、形状情報のサイズを 変換してから符号化するかどうかを示すフラグであるchange_conv_ratio_disable（以下、ＣＣＲＤと呼ぶ）なども正しく復号するためには必要である。
【００６２】
ＭＰＥＧ−４のＨＥＣによるＶＯＰヘッダの二重化は、これらの情報を保護していない。
【００６３】
このように、本システムは、任意形状画像符号化の場合でも従来の長方形画像の符号化と同等の誤り耐性を持たせることができる。上記の構成において本発明の重要な構成である重要情報構成部１０２とビット列再構成部１０４を図２を参照して詳しく説明する。
【００６４】
まず、重要情報構成部１０２の詳細について説明する。
【００６５】
重要情報構成部１０２は図２に示すように、通常画像関連重要情報構成部２０６、任意形状画像関連重要情報構成部２０７、任意形状符号化判定部２０８、多重化部２１０とより構成される。
【００６６】
これらのうち、通常画像関連重要情報構成部２０６は、符号化部１０１からの符号化情報１３３を受けて、これより通常の符号化の際、重要と判断される情報（例えば符号化モードやタイム・レファランス等）を選択し、通常画像関連重要情報２３８として多重化部２１０に出力するよう構成される。任意形状画像関連重要情報構成部２０７は、任意形状画像符号化に関連した重要情報（例えば、画像サイズ、位置、符号化モード、縮小変換モード等）を選択して、これを任意形状画像関連重要情報２３９として出力するよう構成される。
【００６７】
任意形状符号化判定部２０８は、符号化された画像が通常の長方形の画像であるのか任意形状の画像であるのかを判定する部であって、判定結果を判定信号２４０として出力する。
【００６８】
切替部２０９は、任意形状符号化判定部２０８からの判定信号２４０に応じて通常画像関連重要情報構成部２０７からの任意形状画像関連重要情報２３９を多重化部２１０に出力するかどうかの切替制御を行う。多重化部２１０は、通常画像関連重要情報構成部２０６からの通常画像関連重要情報２３８と、任意形状画像符号化において任意形状符号化判定部２０８から出力する任意形状画像関連重要情報２３９とを多重化し、重要情報１３４として出力するよう構成される。
【００６９】
上記のような構成において、符号化部１０１からの符号化情報１３３は、重要情報構成部１０２の構成要素である通常画像関連重要情報構成部２０７に入力され、当該通常画像関連重要情報構成部２０７において、通常の符号化の際、重要と判断される情報（例えば符号化モードやタイム・レファランス等）が選択されることによって、この選択された情報が通常画像関連重要情報２３８として多重化部２１０に出力される。従って、通常画像関連重要情報２３８には符号化モードやタイム・レファランス等のような通常の符号化の際、重要と判断される情報が集められたものとなる。
【００７０】
次に、任意形状画像関連重要情報構成部２０７においては、任意形状画像符号化に関連した重要情報（例えば、画像サイズ、位置、符号化モード、縮小変換モード等）が選択され、任意形状画像関連重要情報２３８として多重化部２１０に出力される。
【００７１】
一方、任意形状符号化判定部２０８では、符号化された画像が通常の長方形の画像であるのか、任意形状の画像であるのかを判定すると共に、その判定結果を判定信号２４０として出力する。この判定信号２４０により切替部２０９は制御されて、通常画像関連重要情報構成部２０７からの任意形状画像関連重要情報２３９を出力するかどうかの切替制御をする。
【００７２】
多重化部２１０では、通常画像関連重要情報２３８と任意形状画像符号化の場合は任意形状画像関連重要情報２３９とを多重化し、重要情報１３４として出力する。
【００７３】
この結果、任意形状画像符号化の場合は通常画像関連重要情報２３８と任意形状画像関連重要情報２３９とが多重化された重要情報１３４として多重化部２１０から出力できる。通常画像符号化の場合は、通常画像関連重要情報２３８のみが重要情報１３４として出力できることとなる。
【００７４】
次にビット列再構成部１０４の詳細について説明する。ビット列再構成部１０４は図２の上半分の領域に示したように、ＭＢ境界判定部２０１、カウンタ２０２、同期信号挿入判定部２０３、ヘッダ情報挿入部２０５、加算部２０６とより構成される。
【００７５】
これらのうち、ＭＢ境界判定部２０１は、前段の符号化部１０１にて符号化されて入力されるビット列１３２について、そのビット列のデータがマクロブロックＭＢの境界に当たるか否かを判定するものであり、また、符号量カウンタ部２０２は、前段の符号化部１０１にて符号化されて入力されるビット列１３２について、その符号量をカウントするためのものである。
【００７６】
同期信号挿入判定部２０３は、ＭＢ境界判定部２０１がビット列１３２についてＭＢ境界と判定し、しかも、当該ビット列１３２に対して符号量カウンタ部２０２のカウント値がある値を超えていた場合、挿入許可信号２３４を出力するものである。
【００７７】
また、ヘッダ情報挿入部２０５は、入力された重要情報１３４と同期信号１３５からヘッダ情報を作成し、同期信号挿入判定部２０３で挿入許可と判断された場合に、符号化されたビット列１３２に対して当該作成したヘッダ情報２３７を付加すべく加算部２０６に出力する。
【００７８】
また、加算部２０６は符号化部１０１にて符号化されて入力されるビット列１３２とヘッダ情報挿入部２０５の出力とを加算してこれをビット列再構成部１０４の再構成ビット列１３６として出力する部である。
【００７９】
このような構成のビット列再構成部１０４は、前段の符号化部１０１で符号化されたビット列１３２が入力されると、これをビット列再構成部１０４の構成要素の一つであるＭＢ境界判定部２０１と符号量カウンタ部２０２とに入力する。このＭＢ境界判定部２０１において入力ビット列１３２が、ＭＢの境界である否かを判定する。
【００８０】
また、符号量カウンタ部２０２では、ビット列１３２の符号量をカウントする。同期信号挿入判定部２０３では、ＭＢ境界判定部２０１での判定がＭＢ境界と判定され、且つ、カウンタ２０２での符号量のカウント値が、ある値を超えていた場合に、挿入許可信号２３４を発生し、ヘッダ情報挿入部２０５に出力するように動作する。
【００８１】
一方、ヘッダ情報挿入部２０５は、入力された重要情報１３４と同期信号１３５からヘッダ情報を作成し、同期信号挿入判定部２０３で挿入許可と判断された場合に、符号化されたビット列１３２に作成したヘッダ情報２３７を付加するため加算部２０６に送る。これにより、加算部２０６は符号化されたビット列１３２にヘッダ情報２３７を挿入し、再構成されたビット列１３６を出力する。このビット列１３６がビット列再構成部１０４の出力となる。
【００８２】
この結果、符号化部で符号化されて入力されて来る画像データのビット列１３２を調べて、マクロブロックＭＢの境界位置となるビットが到来した時点において、それまでの符号量が所定の値を超えていた場合に、挿入許可信号２３４が発生される。ヘッダ情報挿入部２０５において作成された、入力された重要情報１３４と同期信号１３５を元にしてのヘッダ情報が、上記ビット列１３２に付加できる。
【００８３】
重要情報構成部１０２は、その構成要素の一つである通常画像関連重要情報構成部２０６が符号化部１０１からの符号化情報１３３を元に通常の符号化の際、重要と判断される情報（例えば、符号化モードやタイム・レファランス等）を選び、それを通常画像関連重要情報２３８とする。また、重要情報構成部１０２における構成要素の一つである任意形状画像関連重要情報構成部２０７は、任意形状画像符号化に関連した重要情報（例えば、画像サイズ、位置、符号化モード、縮小変換モード等）を選び、これを任意形状画像関連重要情報２３９とする。通常の画像の場合は通常画像関連重要情報２３８のみを、また、任意形状の画像の符号化の場合には通常画像関連重要情報２３８と任意形状画像関連重要情報２３９とを多重化して得ており、従って、ビット列に挿入するヘッダ情報には通常画像情報関連重要情報と任意形状画像関連重要情報を含ませることができ、ＭＰＥＧ−４の符号化データの画像再生に必要な情報をＶＰヘッダに含ませることができる。
【００８４】
図３にヘッダ情報の作成に関するフローチャートを示す。  
ビット列再構成部１０４では、まず第１段階（ステップＳ５０２）として、符号化部１０１から入力されて来るビット列に対し、ＭＢ（マクロブロック）の境界位置かどうかの判定を行う。
【００８５】
第２段階（ステップＳ５０３）としては、ＭＢであった場合、同期信号ＲＭを挿入すべきかどうかの判定を行う。この判定は、ユーザの任意のアルゴリズムで行うことが可能である。  
例えば、直前の同期信号から一定のビット数を超えたならば同期信号ＲＭを挿入すると云ったアルゴリズムや、直前の同期信号から一定のＭＢ数を越えた場合、画像中の形状に沿ってＲＭを挿入するかどうかの判断を行うなど、様々な方法が利用可能である。
【００８６】
ビデオ・パケットＶＰは同期信号ＲＭで始まるパケットであり、それ以前に誤りが存在し、同期外れが生じた場合でもこの同期信号ＲＭで再同期をすることが可能である。
【００８７】
ステップＳ５０３において同期信号ＲＭを挿入すると判定された場合、ＲＭを挿入し、ＲＭに続くＶＰヘッダを挿入する(図３のステップＳ５０４）。そして 、ステップＳ５０５に進む。
【００８８】
第３段階（ステップＳ５０５）は、拡張ヘッダとしてＶＯＰヘッダの重要情報を二重化するかどうかの判定を行う。
【００８９】
二重化すると判定された場合は、ＨＥＣを真にセットし、その後、ＶＯＰヘッダの中から長方形の画像符号化における重要情報を選択し、出力する（図３のステップＳ５０６）。そして、ステップＳ５０７に進む。
【００９０】
最後の第４段階（ステップＳ５０７）では、任意形状画像か否かの判定を行う。任意形状画像の場合は、ＶＯＬヘッダ内の任意形状画像符号化における重要情報を選択し、出力する（図３のステップＳ５０８）。
【００９１】
以上の４つの段階を経てＶＰヘッダ部分を生成し、ビット列に挿入する。
【００９２】
図４に、任意形状画像のＶＰヘッダの構成例を示す。図２０に示す従来のＶＰヘッダに対し、拡張ヘッダＥｘ−Ｈｅａｄｅｒが追加されており、この拡張ヘッダＥｘ−Ｈｅａｄｅｒには任意形状画像符号化における重要情報、すなわち、画像の幅（ＶＷ）、高さ（ＶＨ）、画像を貼り込むＸ座標（ＶＨＭＳＲ）、Ｙ座標（ＶＶＭＳＲ）、形状情報を縮小変換して符号化しているかどうかを示すフラグ（ＣＣＲＤ）、形状情報の符号化タイプ（フレーム内符号化／フレーム間符号化等）の情報（ＶＳＣＴ）が追加されるようになる。
【００９３】
尚、任意形状画像符号化における重要情報としては、上記情報に限定されるものではなく、アプリケーションの用途により、さらに他の情報を増やすことも、逆に情報を減らすことも可能である。但し、送信側、受信側でヘッダフォーマットに関して共通の認識が必要になる。
【００９４】
以上、任意形状画像符号化における重要情報の抽出機能と任意形状画像を使用しているか否かの判定機能と、マクロブロックの境界検出機能を持たせ、ＶＰヘッダには拡張ヘッダ部分を設けて通常の画像符号化における重要情報の他、同期信号を含め、任意形状画像符号化においては任意形状画像符号化における重要情報も含めることができるようにしたから、ヘッダが一部壊れていても、健全なヘッダを持つ部分については画像を復号可能になる。また、同期信号があるのでビデオ・パケットＶＰの同期外れの問題も解消する。すなわち、ビデオ・パケットＶＰは同期信号ＲＭで始まるパケットであり、それ以前に誤りが存在し、同期外れが生じた場合でもこの同期信号ＲＭで再同期をすることが可能である。
【００９５】
これらのことから、伝送時での雑音に対する耐性の高い、また、任意形状画像符号化の場合でも従来の長方形画像の符号化と同等の誤り耐性を持たせることができるようになる動画像符号化技術を提供できる。
【００９６】
以上は、符号化側での構成と処理の詳細を説明したが、次に復号側の構成と処理の詳細を説明する。
【００９７】
復号部について説明する。図５に示される第１の実施形態にかかる復号部によると、符号化ビット列が入力される分離部３０２の出力は、復号化部３０３および同期検出部３０４に接続される。同期検出部３０４の出力は復号化部３０３の他方入力に接続される。復号化部３０３の出力はエラーチェック部３０５に接続される。このエラーチェック部３０５の出力は復号化部３０３の出力と共に重要情報構成部３０６に接続される。重要情報構成部３０６の出力は復号化部３０３に接続される。
【００９８】
分離部３０２は、伝送路／記憶媒体１０６から受信されたビット列３３１を画像用のビット列３３２とそれ以外のデータに分離するために設けられている。同期検出部３０４は分離部３０２から出力されるビット列３３２中から同期信号ＲＭを検出する。また、復号化部３０３は、分離部３０２から分離されて出力される画像用ビット列３３２について復号化処理して画像データを生成する。その際、復号化部３０３は、同期信号検出部３０４により検出された同期信号に同期させながら復号処理を実施するように構成されている。
【００９９】
また、重要情報構成部３０６は、復号化部３０３の現在復号処理中のデータを得て、これより当該復号化部３０３において現在復号中のＶＯＰ（ビデオ・オブジェクト・プレーン）のＶＯＰヘッダが存在している場合は、その情報を抽出し、出力して復号化部３０３に与えるように構成されている。
【０１００】
エラーチェック部３０５は、復号化部３０３の出力する復号情報３３４をチェックして復号作業中に誤りが生じていないかを検出する部であり、誤りが検出された場合、エラーチェック部３０５は、重要情報構成部３０６に復号化処理に誤りがあったことを知らせて、重要情報の復号化部３０３への出力を抑止させるように構成されている。
【０１０１】
復号化部３０３は誤りが発生した場合に、その誤りに対応した処理を行うように構成されている。また、復号化部３０３は、その誤りに対応した処理を行った後、同期検出部３０４が検出した次の同期信号の位置から復号作業を行う。
【０１０２】
このような構成において、伝送路／記憶媒体１０６から受信されたビット列３３１は、分離部３０２により画像用のビット列３３２と、それ以外のデータに分離される。その他のデータは、夫々に対応した復号化部に送られる。
【０１０３】
分離部３０２により分離された画像用ビット列３３２は、復号化部３０３に入力され、復号化が行われる。その際、同期信号検出部３０４により同期信号がビット列３３２中から検出されながら復号処理が行われる。
【０１０４】
復号化部３０３で復号化処理されることによって得られる復号情報３３４からエラーチェック部３０５で復号作業中に誤りが生じていないかを検出する。誤りが検出された場合、誤りに対応した処理が復号化部３０３で行われた後、同期検出部３０４が検出した次の同期信号の位置から復号作業が行われる。
【０１０５】
復号化部３０３は次の同期信号の種類を判定し、同期信号ＲＭの場合でエラー信号３３５が真の場合に、重要情報構成部３０６からＶＯＰヘッダの情報３４３を取得する。
【０１０６】
重要情報構成部３０６は、復号化部３０３が現在復号中のＶＯＰ（ビデオ・オブジェクト・プレーン）にＶＯＰヘッダが存在している場合は、その情報を出力する。また、現在復号中のＶＯＰにＶＯＰヘッダが存在しない場合、ＶＰヘッダ内にＨＥＣにより重要情報が挿入されていれば、それを出力する。
【０１０７】
復号化部３０３での復号化処理においては、重要情報構成部３０６で得た重要情報が用いられる。重要情報構成部３０６で得た重要情報には、復号化部３０３が現在復号中のＶＯＰ（ビデオ・オブジェクト・プレーン）にＶＯＰヘッダが存在している場合は、その情報を出力し、現在復号中のＶＯＰにＶＯＰヘッダが存在しない場合には、ＶＰヘッダ内にＨＥＣにより重要情報が挿入されていれば、それを出力する。符号化処理側では、重要情報として通常の画像符号化における重要情報の他、任意形状画像符号化においては任意形状画像符号化における重要情報も含めるようにしてあるから、ヘッダが一部壊れていても、健全なヘッダを持つ部分については通常の画像を符号化したデータであっても、また、任意形状の画像を符号化したデータであっても、そのデータから画像を復号可能になる。また、同期信号があるのでビデオ・パケットＶＰの同期外れの問題も解消する。すなわち、ビデオ・パケットＶＰは同期信号ＲＭで始まるパケットであり、それ以前に誤りが存在し、同期外れが生じた場合でもこの同期信号ＲＭで再同期をすることが可能である。  
これらのことから、伝送時での雑音に対する耐性の高い、また、任意形状画像符号化の場合でも従来の長方形画像の符号化と同等の誤り耐性を持たせることができる動画像符号化技術の復号化技術を提供できる。
【０１０８】
通常の画像符号化における重要情報の他、任意形状画像符号化においてはその任意形状画像符号化における重要情報もヘッダの情報として持たせて伝送することにより、伝送時での雑音に対する耐性を持たせる技術であり、受信側ではこの重要情報を如何にして抽出して復号化部３０３に渡し、復号化処理に利用できるようにするかが重要である。
【０１０９】
従って、本実施例の特徴的な点は重要情報構成部３０６にある。そこで、重要情報構成部３０６について図６を用いて詳細に説明する。
【０１１０】
重要情報構成部３０６は図６に示すように、通常画像関連重要情報構成部３０７、任意形状符号化判定部３０８、切替部３０９，３１１、任意形状画像関連重要情報構成部３１０とより構成される。
【０１１１】
通常画像関連重要情報構成部３０７は、復号化部３０３においてＶＰヘッダが発見された場合に、そのＶＰヘッダの情報中から符号化モード情報、タイム・レファランス等を復号し、出力するように構成される。
【０１１２】
任意形状符号化判定部３０８は、復号化部３０３が現在復号処理している画像が任意形状画像か、または、従来からの長方形画像かを判定する部であって、その判定結果に応じて切替部３０９，３１１は切り替え制御される。切替部３０９，３１１は、２部の系統切り替えスイッチである。
【０１１３】
任意形状画像関連重要情報構成部３１０は任意形状画像に関する重要情報（例えば、画像サイズ、画像位置等）を復号する部であり、任意形状画像の場合は切替部３０９，３１１が当該任意形状画像関連重要情報構成部３１０に接続されるように切り替えられ、任意形状画像に関する重要情報が再構成されて、通常画像関連重要情報構成部３０７による通常画像に関連する重要情報の他に任意形状画像に関する重要情報をも復号化部３０３に与えて、復号化部３０３での任意形状画像に関する復号化も可能にしている。
【０１１４】
このような構成の重要情報構成部３０６においては、復号化部３０３において入力ビット列にＶＰヘッダが発見された場合は、まず通常画像関連重要情報構成部３０７が符号化モード情報、タイム・レファランス等を復号する。
【０１１５】
また、任意形状符号化判定部３０８は復号化部３０３において現在復号処理されている画像が、任意形状画像かまたは従来からの長方形画像かを判定し、この判定結果に応じた制御信号を発生する。
【０１１６】
任意形状符号化判定部３０８からの制御信号により切替部３０９，３１１は制御される。このとき、任意形状画像の場合は任意形状画像関連重要情報構成部３１０が任意形状画像に関する重要情報（例えば、画像サイズ、画像位置等）を復号し、最終的な重要情報３４３を作成し、重要情報構成部３０６の出力として復号化部３０３に与える。これによって、ヘッダに拡張ヘッダを設けてこの拡張ヘッダに任意形状画像に関する重要情報を埋め込んでおけば、復号側でもこれを抽出して任意形状画像の復号に必要な重要情報を復号化部３０３に与えることができる。
【０１１７】
以上、本実施形態によれば、任意形状画像符号化の場合でも従来の長方形画像の符号化と同等の誤り耐性を持たせることが可能となる。
【０１１８】
第１の実施形態およびこれから説明する第２の実施形態において、任意形状画像の符号化では“画像のサイズ”、“位置情報”を記述する必要がある。これらの情報はＭＰＥＧ−４の場合、それぞれは１３ビットずつで表現されることになり、“画像のサイズ”、“位置情報”それぞれ縦横の情報が必要であることから計４つの情報が必要で、その必要ビット数は４×１３＝５２の計５２ビットが必要になる。これは低ビットレートでの伝送の場合には大きな冗長となる可能性がある。そこで、できるだけこのデータを圧縮して伝送することとする。以下、その方法について説明する。
【０１１９】
ビデオ・オブジェクト・プレーンＶＯＰのサイズ等はＭＰＥＧ−４では１３ビットで表現されるが、１３ビット全てを使用しないケースも多々ある。そこで、サイズの表現を可変長にし符号量を減少する方法を考える。
【０１２０】
基本的な方針は、ここでは“符号語長”＋“値”の組で表現するものとする。図７に示すように符号長を表すヘッダ部とそれに続くデータ部との組合せにする。すなわち、ヘッダ“header１”とヘッダ“header２”があり、前者は１ビット構成、後者は３ビット構成を採る。値１から値５４２までの範囲で採用し、値“１”と値“２”は符号語長を５ビット構成とし、値“３”から値“６”までは符号語長を６ビット構成とし、値“７”から値“１４”までは符号語長を７ビット構成とする。値“１５”から値“３０”までは符号語長を８ビット構成とし、値３１から値９４までは符号語長を９ビット構成とし、値“９５”から値“１５８”までは符号語長を１０ビット構成とする。値“１５９”から値“２８６”までは符号語長を１１ビット構成とし、値“２８７”から値“５４２”までは符号語長を１２ビット構成とする。値“５４３”から値“８２２２”まではヘッダ“header１”とヘッダ“header２”を前者は１ビット構成、後者は２ビット構成とし、値“５４３”から値“１０５４”までは符号語長を１２ビット構成とし、値“１０５５”から値“２０７８”までは符号語長を１３ビット構成とし、値“２０２９”から値“４１２６”までは符号語長を１４ビット構成とし、値“４１２７”から値“８２２２”までは符号語長を１５ビット構成とする。
【０１２１】
こうすることで、語長は１３ビット固定が数値により５ビットから１５ビットまでの可変長になる。この結果、ヘッダを含めても最大１８ビットで済むことになり、従来の５２ビットに比べると３４ビットも構成ビット数が少なくて済む。
【０１２２】
小さい画像の場合は低ビットレートで符号化されることを要求することが一般的に多く、大きい画像は符号化したビット列も大きなサイズになることから、ビットレートに余裕がある場合が多いと思われる。その意味でも、可変長にして小さいサイズに短い符号を有り当てることには効果がある。
【０１２３】
例えば、プレゼンテーション・レイヤ“ Presentation Layer”がＱＣＩＦ（１７６画素×１４４画素）の画像の場合、ＶＷ，ＶＨは最大で
１１[bit] × ２ ＝２２[bit]
位置情報（ＶＨＭＳＲ，ＶＶＭＳＲ）に関しても最大
１１［bit］ × ２ ＝ ２２［bit］
従って、両者の合計４４[ｂｉｔ]で、８[ｂｉｔ]分が圧縮可能となる。
【０１２４】
その他、図８のような画像構成の場合では、
ＶＷ＝１２８画素＝１０ [bit]，
ＶＨ＝８０画素＝９ [bit]，
ＶＨＭＳＲ＝３２画素＝９ [bit]，
ＶＶＭＳＲ＝２０画素＝８ [bit]
で合計
１０＋９＋８＋９＝３６ [bit]
になり、１６ [bit]の削減となる。
【０１２５】
本変形例の基本構成図を図９に示す。図９において、１００１は可変長符号化部、１００２は可変長符号生成部であり、可変長符号生成部１００２はサイズ情報を受けて、これを符号語に変換するものである。また、可変長符号化部１００１は入力された重要情報１０３１からサイズ情報を読み出し、そのサイズの情報１０３２を可変長符号生成部１００２に送ると共に、可変長符号生成部１００２から得られる符号語１０３３を符号語１０３４として出力する。
【０１２６】
このような構成において、重要情報１０３１を入力すると、当該重要情報１０３１は可変長符号化部１００１に入力される。可変長符号化部１００１では当該入力された重要情報１０３１からサイズ情報を読み出し、サイズ情報１０３２を可変長符号生成部１００２に送り、符号語１０３３を生成する。
【０１２７】
可変長符号化部１００１では可変長符号生成部１００２から得られた符号語１０３３にサイズ情報を変換してなる符号語１０３４を出力することになる。
【０１２８】
本実施形態はＭＰＥＧ−４について述べているが、ＭＰＥＧ−４以外の任意形状符号化の伝送に関しても同様の情報を付加することで、誤り耐性を向上することが可能である。
【０１２９】
次に、別の実施例を第２の実施形態として説明する。
【０１３０】
図１０は本発明の第２の実施形態に係る動画像符号化装置の基本構成図である。図１０に示す動画像符号化装置よると、符号化部６０１の出力が、ビット列分割部６０２および重要情報構成部６０３に接続される。重要情報構成部６０３の出力はパケットヘッダ生成部６０４に接続される。ビット列分割部６０２およびパケットヘッダ生成部の出力はパケット構成部６０５に接続される。パケット構成部６０５の出力は伝送路１０６に接続される。
【０１３１】
符号化部６０１は、入力された画像信号１３１を符号化してビット列分割部６０２に出力し、また、符号化した際の符号化情報６３４を重要情報構成部６０３に出力するよう構成される。
【０１３２】
また、重要情報構成部６０３は符号化部６０１で符号化した際の符号化情報６３４を受けて復号に必要な重要情報６３５だけを選択して出力する部である。特に、通常画像関連重要情報の他に、ＭＰＥＧ−４における任意形状の画像符号化・復号化に必要な情報、例えば、任意形状の画像符号化では画像サイズの幅ＶＷの情報と高さＶＨの情報および復号した画像を表示する位置を示すための画像位置のｘ座標ＶＨＭＳＲの情報、ｙ座標ＶＶＭＳＲの情報、そして、形状情報の符号化モードを示すＶＯＰシェープ・コーディング・タイプ“vop_shape_coding_type（ＶＳＣＴ）”や、形状情報のサイズを変換してから符号化するかどうかを示すフラグであるchange_conv_ratio_disable（ＣＣＲ Ｄ）などの任意形状画像関連重要情報を重要情報６３５として取得される。これら重要情報６３５が、パケットヘッダ生成部６０４に与えられ、通常画像関連重要情報についてはパケットヘッダに通常に反映させ、任意形状画像関連重要情報についてはパケットヘッダに新たに設けた拡張ヘッダ中に、決められたフォーマットで反映させた本発明独自の形式でパケットヘッダを生成させる。
【０１３３】
このように、パケットヘッダ生成部６０４は、重要情報６３５をパケットヘッダ内に組み込んでパケットヘッダ６３６としてパケット構成部６０５に出力し、ビット列分割部６０２は、符号化部６０１から出力されたビット列６３２をパケットサイズに分割して出力するように構成される。
【０１３４】
パケット構成部６０５は、ビット列分割部６０２から出力された分割ビット列６３３とパケットヘッダ生成部６０４から出力されたパケットヘッダ６３６を多重し、得られた多重データ６３７を伝送路／蓄積媒体１０６に出力するように構成される。
【０１３５】
このような構成において、入力された動画像の画像信号１３１は符号化部６０１で符号化される。このとき、符号化部６０１からは符号化した際の符号化情報６３４が出力され重要情報構成部６０３に入力される。重要情報構成部６０３は、入力された符号化情報６３４から復号に必要な重要情報６３５だけを選択し、出力する。重要情報６３５はパケットヘッダ生成部６０４において、パケットヘッダ内に組み込まれパケットヘッダ６３６として出力される。
【０１３６】
一方、ビット列分割部６０２では、符号化部６０１から出力されたビット列６３２をパケットサイズに分割して出力する。パケット構成部６０５では、ビット列分割部６０２から出力された分割ビッ ト列６３３とパケットヘッダ生成部６０４から出力されたパケットヘッダ６３６を多重し、多重データ６３７を伝送路／蓄積媒体１０６に出力する。
【０１３７】
このように、本実施例では、動画像を符号化して得たビット列に、重要情報構成部６０２から出力された重要情報６３５を決められたフォーマットでパケットヘッダ生成部６０４によりヘッダに挿入し、これを動画像の符号化データに付加してパケット化し、伝送するようにしたものである。
【０１３８】
パケットヘッダには拡張ヘッダが設けられており、この拡張ヘッダには通常画像関連重要情報以外の重要情報を格納して送るのに使用される部分である。
【０１３９】
そのため、通常画像関連重要情報以外の重要情報として、ＭＰＥＧ−４における任意形状の画像符号化・復号化に必要な情報、例えば、任意形状の画像符号化では画像サイズの幅ＶＷの情報と高さＶＨの情報および復号した画像を表示する位置を示すための画像位置のｘ座標ＶＨＭＳＲの情報、ｙ座標ＶＶＭＳＲの情報、そして、形状情報の符号化モードを示すＶＯＰシェープ・コーディング・タイプ“vop_shape_coding_type（ＶＳＣＴ）”や、形状情報のサイズを変換してか ら符号化するかどうかを示すフラグであるchange_conv_ratio_disable（ＣＣＲ Ｄ）などを重要情報６３５として得て、これを決められたフォーマットでパケットヘッダ生成部６０４により拡張ヘッダとしてパケットヘッダに挿入される。復号部はこのパケットの拡張ヘッダから取り出した情報を利用して復号化処理を行うように構成されると、パケット毎に任意形状の画像を再生できるようになり、任意形状画像符号化の場合でも従来の長方形画像の符号化と同等の誤り耐性を持たせることができるようになって、ＶＯＰヘッダや一部のＶＰが壊れていても動画像の復号化が可能になる。
【０１４０】
このように、本システムは、任意形状画像符号化の場合でも従来の長方形画像の符号化と同等の誤り耐性を持たせることができるが、上記の構成において本発明の重要な構成である重要情報構成部６０３を図１１を参照して詳細に説明する。
【０１４１】
図１１に重要情報構成部６０３のブロック図を示す。重要情報構成部６０３はこの実施形態での重要なポイントであり、図１１に示すように、重要情報構成部６０３は、切替部２２０１と、拡張ヘッダ挿入判定部２２０２と、任意形状画像関連重要情報構成部２２０３とより構成される。
【０１４２】
拡張ヘッダ挿入判定部２２０２は、拡張ヘッダをパケットヘッダに付加するかどうかの判定を行う部であり、符号化部６０１から入力された符号化情報６３４から符号化部６０１が任意形状の画像符号化を実施しているか否かを判断して任意形状の画像符号化を実施している場合に拡張ヘッダをパケットヘッダに付加する。
【０１４３】
切替部２２０１は、部開閉スイッチであって、拡張ヘッダ挿入判定部２２０２が拡張ヘッダをパケットヘッダに付加すると判断した場合に、当該拡張ヘッダ挿入判定部２２０２から出力される制御信号により切替部２２０１は、部が閉じられて符号化部６０１からの符号化情報６３４が任意形状画像関連重要情報構成部２２０３に与えられる。
【０１４４】
任意形状画像関連重要情報構成部２２０３は切替部２２０１を介して入力される符号化情報６３４を入力符号化情報２２３３として受けて、これより任意形状符号化に関連するＶＯＰヘッダ情報を選択し、重要情報６３５として出力するよう構成される。
【０１４５】
このような構成において、符号化部６０１から重要情報構成部６０３に入力された符号化情報６３４は拡張ヘッダ挿入判定部２２０２により拡張ヘッダをパケットヘッダに付加するかどうかの判定を行う。付加すると判定された場合、切替部２２０１から任意形状画像関連重要情報構成部２２０３に入力符号化情報２２３３が入力される。任意形状画像関連重要情報構成部２２０３では入力符号化情報２２３３から任意形状符号化に関連するＶＯＰヘッダ情報を選択し、重要情報６３５を出力する。
【０１４６】
以下にパケットヘッダへの重要情報の組み込みに関し詳細に述べる。
【０１４７】
任意形状画像の符号化の際、長方形画像の符号化に比べて、画像の幅（ＶＷ）、高さ（ＶＨ）、画像を配置するＸ座標（ＶＨＭＳＲ）、Ｙ座標（ＶＶＭＳＲ）、形状情報を縮小変換して符号化しているかどうかを示すフラグ（ＣＣＲＤ）、形状情報の符号化モード（ＶＳＣＴ）が必要になる。この他、アルファ・ブレンディングの際のアルファ値を一定に設定するためのフラグ(VCA)および値（ＶＣＡＶ）、計算精度を符号化／復号化で同じにするための丸め演算のやり方を示すフラグ（ＶＲＴ）などの情報も含めることも可能であるが、ここでは前者のＶＷ、ＶＨ、ＶＨＭＳＲ、ＶＶＭＳＲ、ＣＣＲＤ、ＶＳＣＴを組み込むこととする。その際のパケットヘッダ拡張部分のフォーマットを、図１２に示す。ここで上の数字はビット数を表し、横１列で３２ビット分を表すようになっている。ＭＰＥＧ−４の場合、ＶＷ、ＶＨ、ＶＨＭＳＲ、ＶＶＭＳＲは各１３ビットで表現され、残りのＣＣＥＤ、ＶＳＣＴは各１ビットである。
【０１４８】
ここでは、例として３２ビットにアラインするために、最後にリザーブ“Reserve”のビット（ＲＶ）を挿入している。ＶＷ、ＶＨなどが連続することで同期信号などのビット列と同じものが出現する可能性がある場合には、例えば、図１３のように、マーカ（Ｍ）を各値の間に挿入し、同期信号のような絶対に他に出てきてはならないビット列に一致しないようにすることも可能である。また、マーカＭの位置は、各情報の間である必要もなく、送信側／受信側で同一の規則になっていれば、どこに埋め込んでもかまわない。
【０１４９】
最後に、拡張ヘッダがあることを示すフラグを通常のヘッダ情報の中に埋め込む必要がある。そこで、１ビットの情報で、通常ヘッダ内に拡張ヘッダが存在するかどうかの情報を埋め込むことになる。これらのフォーマットは例であり、この一部のデータだけでヘッダ情報を構成したり、これ以外の情報と組合せて用いることも可能である。
【０１５０】
以上のようにして、本実施形態では、動画像を符号化してパケット化する場合に、通常画像関連重要情報を埋め込むパケットヘッダに拡張ヘッダを付加できるようにし、任意形状画像を符号化して送る場合に、その任意形状画像関連重要情報を拡張ヘッダに埋め込んでパケットヘッダとしてデータに付加し、パケット化するようにしている。従って、パケット毎に任意形状の画像を再生できるようになり、また、任意形状画像符号化の場合でも従来の長方形画像の符号化と同等の誤り耐性を持たせることができ、ＶＯＰヘッダや一部のＶＰが壊れていても動画像の復号化が可能になる。
【０１５１】
次に、このようなパケットの復号をする復号部の例を説明する。
【０１５２】
復号部の構成例について、以下に説明をする。図１４に示す復号部によると、符号化ビットストリームを受ける分離部７０２の出力は、復号化部７０３および重要情報構成部７０５に接続される。復号化部７０３の出力は、エラーチェック部７０４を介して重要情報構成部７０５に接続される。重要情報構成部７０５の出力は復号化部７０３に接続される。
【０１５３】
分離部７０２は伝送路／蓄積媒体１０６から入力されるビット列７３１を分離処理して画像用のビット列７３２とパケットヘッダ７３５、そして、それ以外のデータとに分けるためのものである。
【０１５４】
また、復号化部７０３は、分離された画像用ビット列７３２を重要情報構成部７０５からの重要情報を用いて復号化処理し、元の画像データを得る部であり、エラーチェック部７０４は、復号化部７０３にて得られる復号情報７３３から復号中に誤りが発生していないかどうかをチェックするための部である。
【０１５５】
また、重要情報構成部７０５は、分離部７０２で分離処理されたうちのパケットヘッダ７３５の情報から重要情報を構成して復号化部７０３に与えるように構成される。
【０１５６】
このような構成において、伝送路／蓄積媒体１０６から入力されたビット列７３１は、分離部７０２により画像用のビット列７３２とパケットヘッダ７３５、そして、それ以外のデータとに分離される。その他のデータは、夫々に対応した復号部に送られる。分離された画像用ビット列７３２は復号化部７０３に入力され、復号化が行われる。復号化部７０３における復号化処理は、分離された画像用ビット列７３２について重要情報構成部７０５からの重要情報を用いて行う。
【０１５７】
エラーチェック部７０４は、復号化部７０３からの復号情報７３３から復号中に誤りが発生していないかどうかをチェックする。チェックの結果、誤りがありと判定された場合、重要情報構成部７０５はパケットヘッダ７３５内に存在する重要情報７３６を構成し、復号化部７０３は重要情報７３６を用いて符号化ビット列の復号を開始する。
【０１５８】
本システムでは、動画像を符号化してパケット化する場合に、通常画像関連重要情報を埋め込むパケットヘッダに拡張ヘッダが付加できる。また、任意形状画像を符号化して送る場合に、その任意形状画像関連重要情報を拡張ヘッダに埋め込んだパケットヘッダがデータに付加される。この用にして、動画像が、パケット化されているので、拡張ヘッダより任意形状画像関連重要情報を取得でき、任意形状画像を復号できる。
【０１５９】
本実施形態において重要な要素である重要情報構成部７０５を図１５を参照して詳細を説明する。
【０１６０】
図１５に示すように、重要情報構成部７０５は、切替部２３０１と、拡張ヘッダ挿入判定部２３０２と、任意形状画像関連重要情報復号部２３０３とより構成される。
【０１６１】
拡張ヘッダ挿入判定部２３０２は、拡張ヘッダがパケットヘッダに付加されているかどうかの判定を行う部であり、分離部７０２から入力されたパケットヘッダ７３５の情報から画像用ビット列７３２が任意形状の画像符号化を実施しているか否かを判断して任意形状の画像符号化を実施している場合に拡張ヘッダをパケットヘッダに付加していると判断し、判断に対応する制御信号を出力するよう構成されている。
【０１６２】
切替部２３０１は、部開閉スイッチであって、拡張ヘッダ挿入判定部２３０２が拡張ヘッダをパケットヘッダに付加していると判断した場合に、当該拡張ヘッダ挿入判定部２３０２から出力される制御信号により切替部２３０１は、部が閉じられて分離部７０２からのパケットヘッダ７３５の情報を任意形状画像関連重要情報復号部２３０３に与えられる。
【０１６３】
任意形状画像関連重要情報復号部２３０３は切替部２３０１を介して入力されるパケットヘッダ７３５の情報を入力情報２３３３として受けて、これより任意形状符号化に関連する情報を復元し、重要情報６３６として出力するように構成される。
【０１６４】
このような構成の重要情報構成部７０５の作用を説明する。  
入力されたパケットヘッダ７３５は拡張ヘッダ挿入判定部２３０２において、パケットヘッダ情報に拡張ヘッダが付加されているかどうかをパケットヘッダ情報を復号することで判定する。その結果、拡張ヘッダがあると判定された場合、拡張ヘッダ挿入判定部２３０２は切替部２３０１を閉じるべく制御することにより、パケットヘッダ７３５を通し、これをパケットヘッダ情報２３３３として任意形状画像関連重要情報復号部２３０３に入力する。
【０１６５】
任意形状画像関連重要情報復号部２３０３はパケットヘッダ情報２３３３を元にして任意形状の符号化に関する重要情報を復号し、それを重要情報７３６として出力し、復号化部７０３へ与えることになる。
【０１６６】
このようにして、任意形状画像関連の重要情報を埋め込むことができるように設けた拡張ヘッダ中の情報から、任意形状画像関連の重要情報を復号することができるようになる。
【０１６７】
以上、本第２の実施形態の技術を用いることで、第１の実施形態と同様に任意形状画像符号化の場合でも従来の長方形画像の符号化と同等の誤り耐性を有することが可能となる。さらに、伝送路のプロトコルの拡張ヘッダを用いることにより、画像符号化に関してはビット列を変更することなく実装できる。これは、既存の標準方式等を利用する際に有効である。
【０１６８】
第１の実施形態の変形例と同様にＶＷ，ＶＨ，ＶＨＭＳＲ，ＶＶＭＳＲを可変長符号化にすることにより符号量を削減することが可能である。
【０１６９】
なお、本実施形態はＭＰＥＧ−４について述べているが、ＭＰＥＧ−４以外の任意形状画像符号化の伝送に関しても同様の情報を付加することで、誤り耐性を向上することが可能である。
【０１７０】
次に、本発明の応用例として、本発明の符号化装置／復号化装置を適用した動画像伝送システムの実施例を図２５を参照して説明する。
【０１７１】
パソコン３００１に備え付けられた（図示しない）カメラより入力された動画像信号は、パソコン３００１に組み込まれた符号化装置（あるいは符号化ソフトウェア）によって動画像符号化が行われる。この符号化装置から出力される動画像信号は、他の音声やデータの情報と共に、無線機３００３により無線で伝送され、他の無線機３００４によって受信される。この無線機には例えば、携帯電話、ＰＨＳ、無線ＬＡＮ装置などを用いても良い。無線機３００４で受信された信号は、動画像信号および音声やデータの情報に分解される。これらのうち、動画像信号はノ一トパソコン３００５に組み込まれた復号化装置（あるいは復号化ソフトウエア）によって復号され、ノートＰＣ３００５のディスプレイに表示される。
【０１７２】
一方、ノートパソコン３００５に備え付けられた（図示しない）カメラより入力された動画像信号は、ノートパソコン３００５に組み込まれた符号化装置（あるいは符号化ソフトウエア）を用いて上記と同様に復号化される。生成された動画像信号は、他の音声やデータの情報と多重化され、無線機３００４により無線で送信され、無線機３００３によって受信される。無線機３００３によって受信された信号は、動画像信号および音声やデータの情報に分解される。これらのうち、動画像信号はパソコン３００１に組み込まれた復号化装置（あるいは復号化ソフトウエア）によって復号され、パソコン３００１のディスプレイに表示される。
【０１７３】
パソコン３００１またはノートパソコン３００５と、携帯テレビ電話３００６との間の動画像通信に本発明による符号化／復号化装置を応用することもできる。パソコン３００１またはノートパソコン３００５に組み込まれた符号化装置によって生成され、無線機３００３または３００４から無線によって伝送された動画像信号は、携帯テレビ電話３００６に組み込まれた無線機で受信される。無線機で受信された信号は動画像信号および音声やデータの情報に分解される。これらのうち、動画像信号は携帯テレビ電話３００６に組み込まれた復号化装置（あるいは復号化ソフトウエア）によって復号され、携帯テレビ電話３００６のディスプレイに表示される。
【０１７４】
一方、携帯テレビ電話３００６に組み込まれたカメラ１００７より入力された動画像信号は、携帯テレビ電話３００６に組み込まれた符号化装置（あるいは符号化ソフトウエア）を用いて上記のパソコン３００１およびノートパソコン３００５の例と同様に符号化される。生成された動画像信号は、他の音声やデータの情報を多重化され、携帯テレビ電話３００６に組み込まれた無線機により無線で送信され、無線機３００３または３００４によって受信される。無線機３００３または３００４によって受信された信号は、動画像信号よび音声やデータの情報に分解される。これらのうち、動画像信号はパソコン３００１またはノートパソコン３００５に組み込まれた復号化装置（あるいは復号化ソフトウェア）によって復号され、パソコン３００１またはノートパソコン３００５のディスプレイに表示される。
【０１７５】
図２６は、図１の第１の実施形態の符号化装置に対応した第４の実施形態の符号化装置を示している。この第４の実施形態によると、多重化部１０５から出力される多重化ビット列が記録媒体１０７格納される。この記録媒体１０７は、本発明に従ってフォーマットされている。即ち、記録媒体１０７は、形状情報ヘッダと、これに続く複数のＶＯＰが格納されている。形状情報ヘッダは符号化データ内で共通に扱われる情報を納めたフィールドであり、ＶＯＰヘッダよりも上位の情報が格納されている。例えば、矩形画像の画像サイズ等が格納される。各ＶＯＰは複数のマクロブロックを含んでおり、最初のマクロブロックにはＶＯＰヘッダとこのＶＯＰヘッダの後ろに設けたＭＢデータとで構成され、以降のマクロブロックはＶＰヘッダとこのＶＰヘッダに後続するＭＢデータとで構成される。ＶＰヘッダは図４に従ってフォーマッチングされる。
【０１７６】
図２７は、図５の第１の実施形態の復号化装置に対応する第４の実施形態の復号化装置を示している。この復号化装置は、第４の実施形態の符号化装置によって記録媒体１０７に格納された多重化ビット列を読み取り、復号化する。
【０１７７】
図２８は、図１０の第２の実施形態の符号化装置に対応した第５の実施形態の復号化装置を示している。この符号化装置は、パケット構成部６０５から出力される多重化データを記録媒体１０７に本発明のフォーマットに従って格納する。即ち、フォーマットは形状情報ヘッダと複数のＶＯＰを含み、各ＶＯＰの複数のマクロブロックの各々にはＶＰヘッダが設けられる。
【０１７８】
図２９は、図１４の第２の実施形態の復号化装置に対応する第５の実施形態の復号化装置を示している。この復号化装置は、第５の実施形態の符号化装置によって記録媒体１０７に格納された多重化ビット列を読み取り、復号化する。
【０１７９】
以下、図３０にしたがって図２７の復号化装置３０３での処理の内容を説明する。
【０１８０】
蓄積媒体１０７から画像符号列を順次読み込み、まず同期符号を検出する（ステップＳ１１）。もし、検出された同期符号がＶＯＰ  ｓｔａｒｔ  ｃｏｄｅだったら（ステップＳ１２のＹＥＳ）、直前に復号されたＶＯＰ（フレーム）を画像情報出力装置へ出力する処理を行う（ステップＳ１３）。そして、画像符号列中ＶＯＰ  ｓｔａｒｔ  ｃｏｄｅに引き続くＶＯＰヘッダ（図２９中ＶＯＰ  ｈｅａｄｅｒ）の復号を行う（ステップＳ１４）。もし、ＶＯＰヘッダが正しく復号できたら（ステップＳ１５のＹＥＳ）、復号化装置中の一時記憶回路に記録されている情報を復号されたＶＯＰヘッダ情報（時刻情報、ＶＯＰ予測モード等）で置き換える（ステップＳ１６）。そしてＶＯＰヘッダに引き続くマクロブロックデータ（図２９中ＭＢ  ｄａｔａ）を復号し、そのビデオパケットの復号を行う（ステップＳ１７）。
【０１８１】
もし、検出された同期符号がｒｅｓｙｎｃｍａｒｋｅｒだったら（ステップＳ１８のＹＥＳ）、ｒｅｓｙｎｃ  ｍａｒｋｅｒに引き続くビデオパケットヘッダ（マクロブロック番号（ＭＢＡ）、ビデオパケット量子化パラメータ（ＳＱ）、ヘッダ拡張コードＨＥＣ））の復号を行う（ステップＳ１９）。もし、ビデオパケットヘッダ中のヘッダ拡張コードＨＥＣ＝“０”だった場合には（ステップＳ２０のＮＯ）、そのビデオパケットの復号を行う（ステップＳ１７）。もし、ヘッダ拡張コードＨＥＣ＝“１”だった場合には（ステップＳ２０のＹＥＳ）、それに引き続く二重化情報（図２９中ＤＵＰＨ）の復号を行う（ステップＳ２１）。このとき、任意形状か否かを判定し（ステップＳ２１−１）、ＹＥＳであれば、任意形状画像関連重要情報を復号化する（ステップＳ２１−２）。判定がＮＯであれば、ステップ２２にジャンプする。もし、二重化情報が正しく復号できたならば（ステップＳ２２のＹＥＳ）、この二重化情報と、一時記憶回路に保存されていた情報を比較する（ステップＳ２３）。もし比較結果が等しければ（ステップＳ２３のＮＯ）、ビデオパケットヘッダに引き続くマクロブロックデータ（図２９中ＭＢｄａｔａ）を復号し、そのビデオパケットを復号する（ステップＳ１７）。もし、比較結果が等しくなければ（ステップＳ２３のＹＥＳ）、このビデオパケットは直前に復号されたＶＯＰとは異なるＶＯＰに属すると判定し、直前に復号したＶＯＰを画像情報出力装置に出力する処理を行い（ステップＳ２４）、一時記憶装置に記録されている情報を復号した二重化情報で置き換える（ステップＳ２５）。さらにそのビデオパケットの復号を行う（ステップＳ１７）。
【０１８２】
以上、図３０に示した同期符号検出から始まる一連の処理を、蓄積媒体８１０に記録されている画像符号列を順次読み込みながら繰り返していき、動画像信号を再生する。
【０１８３】
なお、画像符号列をそのまま蓄積媒体に記録するのではなく、音声信号やオーディオ信号を符号化した符号列、データ、制御情報等との多重化を行った符号列を蓄積媒体に記録するようにしても良い。この場合、蓄積媒体に記録した情報を画像符号化装置８２０で符号する前に、逆多重化装置で画像符号列と音声・オーディオ符号列、データ、制御情報を逆多重化する処理を行い、逆多重化された画像符号列を符号化装置８２０で復号する。
【０１８４】
また、図２９では、蓄積媒体８１０に記録されている情報が復号化装置８２０に信号線８０を介して伝達される例を示したが、信号線以外に、有線／無線／赤外線等の伝送路を介して情報を伝達しても構わない。
【０１８５】
以上のように本発明によれば、蓄積媒体に記録されている符号列は、重要な情報が二重化して記録されているため、蓄積媒体に記録された情報に謝りがある場合や、蓄積媒体に記録された情報を再生画像に送る信号線や伝送路において誤りが生じる場合においても、劣化の少ない再生画像を再生することができる。
【図面の簡単な説明】
【０１８６】
【図１】本発明の第１の実施形態における符号化部の基本的構成を示す図。
【図２】本発明の第１の実施形態における符号化部の重要情報構成部およびビット列再構成部の詳細な基本的構成を示す図。
【図３】本発明の第１の実施形態におけるビット列再構成部の基本フローを示す図。
【図４】本発明の第１の実施形態におけるVPの拡張ヘッダフォーマットを示した図。
【図５】本発明の第１の実施形態の復号化部における基本的構成を示す図。
【図６】本発明の第１の実施形態の復号化部における重要情報構成部の詳細な基本的構成を示す図。
【図７】本発明で用いる符号語構成を説明するための図。
【図８】可変長符号化の効果を説明した例を示す図。
【図９】重要情報に可変長符号化を行うことを示した図。
【図１０】本発明の第２の実施形態における符号化部の基本的構成図。
【図１１】本発明の第２の実施形態における符号化部の重要情報構成部の詳細な構成図。
【図１２】本発明の第２の実施形態における拡張パケットヘッダの例を示した図。
【図１３】本発明の第２の実施形態における拡張パケットヘッダの例を示した図（マーカー有り）。
【図１４】本発明の第２の実施形態における復号化部の基本的構成を示す図。
【図１５】本発明の第２の実施形態における復号化部の重要情報構成部の詳細な構成を示す図。
【図１６】任意形状画像の符号化を説明した図。
【図１７】任意形状画像の復号化を説明した図。
【図１８】ＭＰＥＧ−４のＶＯＰ構造を示した図。
【図１９】ＭＰＥＧ−４のＶＰ構造を示した図。
【図２０】ＭＰＥＧ−４のＶＰヘッダフォーマットを示した図。
【図２１】通常のＶＰの問題点を示した図。
【図２２】通常のＶＰの効果を示した図。
【図２３】ＨＥＣを用いた場合のＶＰの効果を示した図。
【図２４】任意形状画像の復号時に画像を合成して再生する場合の必要情報を示した図。
【図２５】本発明の第３に実施例に係る符号化/復号化装置が適用される無線動画像伝送システムの例を示す図。
【図２６】第１の実施形態の符号化装置に対応した第４の実施形態の符号化装置を示す図。
【図２７】第１の実施形態の復号化装置に対応する第４の実施形態の復号化装置を示す図。
【図２８】第２の実施形態の符号化装置に対応した第５の実施形態の復号化装置を示す図。
【図２９】第２の実施形態の復号化装置に対応する第５の実施形態の復号化装置を示す図。
【図３０】第３の実施形態の復号化装置のフローチャートを示す図。
【符号の説明】
【０１８７】
１０１…符号化部、１０２…重要情報構成部、１０３…同期信号発生部、１０４…ビット列再構成部、１０５…多重化部、１０６…伝送路、２０１…ＭＢ境界判定部、２０２…カウンタ、２０３…同期信号挿入判定部、２０５…ヘッダ情報挿入部、２０６…加算部、２０６…通常画像関連重要情報構成部、２０７…任意形状画像関連重要情報構成部、２０８…任意形状符号化判定部、２１０…多重化部、２３２…ＭＢ境界判定信号、２３３…符号量データ、２４１…任意形状画像符号化に関する重要情報、３０２…分離部、３０３…復号化部、３０４…同期検出部、３０５…エラーチェック部、３０６…重要情報構成部、３０７、通常画像関連重要情報構成部、３０８…任意形状符号化判定部、３０９，３１１…切替部、３１０…任意形状画像関連重要情報構成部、３３３…同期信号検出信号、３３６，３３７，３４１，２３３５…重要情報を含むヘッダ情報、３３８，３３９…切替部制御信号、３４０，３４２…重要情報、３４４，７３７…復号画像信号、６０１…符号化部、６０２…ビット列分割部、６０３…重要情報構成部、６０４…パケットヘッダ生成部、６０５…パケット構成部、７３４…エラー検出信号、１００１…可変長符号化部、１００２…可変長符号生成部、２２０１…切替部、２２０２…拡張ヘッダ挿入判定部、２２０３…任意形状画像関連重要情報構成部、３００１…パソコン、３００３、３００４…無線機、３００５…ノートパソコン、３００６…携帯テレビ電話
【図１】
2007318797.tif 000003
【図２】
2007318797.tif 000004
【図３】
2007318797.tif 000005
【図４】
2007318797.tif 000006
【図５】
2007318797.tif 000007
【図６】
2007318797.tif 000008
【図７】
2007318797.tif 000009
【図８】
2007318797.tif 000010
【図９】
2007318797.tif 000011
【図１０】
2007318797.tif 000012
【図１１】
2007318797.tif 000013
【図１２】
2007318797.tif 000014
【図１３】
2007318797.tif 000015
【図１４】
2007318797.tif 000016
【図１５】
2007318797.tif 000017
【図１６】
2007318797.tif 000018
【図１７】
2007318797.tif 000019
【図１８】
2007318797.tif 000020
【図１９】
2007318797.tif 000021
【図２０】
2007318797.tif 000022
【図２１】
2007318797.tif 000023
【図２２】
2007318797.tif 000024
【図２３】
2007318797.tif 000025
【図２４】
2007318797.tif 000026
【図２５】
2007318797.tif 000027
【図２６】
2007318797.tif 000028
【図２７】
2007318797.tif 000029
【図２８】
2007318797.tif 000030
【図２９】
2007318797.tif 000031
【図３０】
2007318797.tif 000032