(57)【要約】【課題】スライス単位の動画像符号化方法において、エラーの伝播を防ぐと同時に、冗長な符号化条件などのデータをできるだけ抑えた、動画像符号化方法を提供する。【解決手段】本発明に係る動画像符号化方法は、画像を複数の領域に分割する画像分割ステップと、画像分割ステップにおいて分割されたそれぞれの画像の領域を圧縮符号化し、符号化データを生成する符号化データ生成ステップと、符号化データ生成ステップにおいて、複数の領域を符号化するために共通に用いられた画像符号化条件と、それぞれの領域を符号化するために個別に用いられた領域符号化条件と、を含む第１種ヘッダ情報を少なくとも一の符号化データに付加する第１種ヘッダ情報付加ステップと、第１種ヘッダ情報付加ステップにおいて第１種ヘッダ情報が付加されなかった残りの符号化データに領域符号化条件のみを含む第２種ヘッダ情報を付加する第２種ヘッダ情報付加ステップと、を有する。【選択図】図３
2004193897.tif 000002
【特許請求の範囲】
【請求項１】
画像を複数の領域に分割する画像分割ステップと
前記画像分割ステップにおいて分割されたそれぞれの画像の領域を圧縮符号化し、符号化データを生成する符号化データ生成ステップと、
前記符号化データ生成ステップにおいて、複数の領域を符号化するために共通に用いられた画像符号化条件と、それぞれの領域を符号化するために個別に用いられた領域符号化条件と、を含む第１種ヘッダ情報を少なくとも一の符号化データに付加する第１種ヘッダ情報付加ステップと、
前記符号化データ生成ステップにおいて生成された符号化データのうち前記第１種ヘッダ情報付加ステップにおいて第１種ヘッダ情報が付加されなかった残りの符号化データに、前記領域符号化条件のみを含む第２種ヘッダ情報を付加する第２種ヘッダ情報付加ステップと、
を有することを特徴とする動画像符号化方法。
【請求項２】
前記第１種ヘッダ情報が付加された符号化データは、前記第２種ヘッダ情報が付加された符号化データより先に復号処理ができるように伝送、もしくは記録されることを特徴とする請求項１に記載の動画像符号化方法。
【請求項３】
前記第１種ヘッダ情報及び第２種ヘッダ情報には、画像を識別するための画像識別子を含むことを特徴とする請求項１又は２に記載の動画像符号化方法。
【請求項４】
前記第１種ヘッダ情報に含まれる前記画像符号化条件は、同じ画像においてすべて同じであることを特徴とする請求項１〜３のいずれか１項に記載の動画像符号化方法。
【請求項５】
前記第１種ヘッダ情報には第１識別子を、前記第２種ヘッダ情報には第２識別子を付加し、付加された第１識別子又は第２識別子とによって前記第１種ヘッダ情報と前記第２種ヘッダ情報とを区別することを特徴とする請求項１〜４のいずれか１項に記載の動画像符号化方法。
【請求項６】
前記第１種ヘッダ情報と前記第２種ヘッダ情報に、前記画像符号化条件が含まれるかどうかを示すフラグを含ませることを特徴とする請求項１〜５のいずれか１項に記載の動画像符号化方法。
【請求項７】
画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、前記各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データと、領域固有の符号化条件を示す領域符号化条件のみを含む第２種ヘッダ情報を付加した符号化データとを復号化し、前記画像を再生する画像復号化方法であって、
前記第１種ヘッダ情報もしくは前記第２種ヘッダ情報が付加された符号化データを入力する符号化データ入力ステップと、
前記符号化データ入力ステップにおいて入力された符号化データを復号化し、前記画像を構成する領域の画素データを生成する画素データ生成ステップと、
を備え、
前記画素データ生成ステップでは、前記第２種ヘッダ情報が付加された符号化データを復号化する際に、前記第１種ヘッダ情報に含まれる前記画像符号化条件を用いることを特徴とする動画像復号化方法。
【請求項８】
前記画素データ生成ステップでは、
前記第２種ヘッダ情報が付加された符号化データを復号化する際に、同じ画像を構成する符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件を用いる、
ことを特徴とする請求項７に記載の動画像復号化方法。
【請求項９】
前記画素データ生成ステップでは、
前記第１種ヘッダ情報が付加された符号化データを復号化する際に、前記第１種ヘッダ情報に含まれる前記画像符号化条件を格納し、
前記第２種ヘッダ情報が付加された符号化データを復号化する際に、前記格納された画像符号化条件を用いる、
ことを特徴とする請求項７に記載の動画像復号化方法。
【請求項１０】
画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、前記各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データを復号化し、前記画像を再生する画像復号化方法であって、
前記第１種ヘッダ情報が付加された符号化データを入力する符号化データ入力ステップと、
前記符号化データ入力ステップにおいて入力された第１種ヘッダ情報が付加された符号化データを復号化し、前記画像を構成する領域の画素データを生成する画素データ生成ステップと、
を備え、
画素データ生成ステップでは、同じ画像を構成する複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件を比較し、画像符号化条件が異なることを検出したときに、誤りがあると判定することを特徴とする動画像復号化方法。
【請求項１１】
画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、前記各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データを復号化し、前記画像を再生する画像復号化方法であって、
前記第１種ヘッダ情報が付加された符号化データを入力する符号化データ入力ステップと、
前記符号化データ入力ステップにおいて入力された符号化データを復号化し、前記画像を構成する領域の画素データを生成する画像データ生成ステップと、
を備え、
前記画像データ生成ステップでは、同じ画像を構成する複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件を比較し、同じ画像の符号化データに付加された第１種ヘッダ情報に最も多く含まれる画像符号化条件を用いて、符号化データを復号化することを特徴とする動画像復号化方法。
【請求項１２】
画像を複数の領域に分割する画像分割手段と
前記画像分割手段によって分割されたそれぞれの画像の領域を圧縮符号化し、符号化データを生成する符号化データ生成手段と、
前記符号化データ生成手段による符号化データ生成において、複数の領域を符号化するために共通に用いられた画像符号化条件と、それぞれの領域を符号化するために個別に用いられた領域符号化条件と、を含む第１種ヘッダ情報を少なくとも一の符号化データに付加する第１種ヘッダ情報付加手段と、
前記符号化データ生成手段によって生成された符号化データのうち前記第１種ヘッダ情報付加手段によって第１種ヘッダ情報が付加されなかった残りの符号化データに前記領域符号化条件のみを含む第２種ヘッダ情報を付加する第２種ヘッダ情報付加手段と、
を有することを特徴とする動画像符号化装置。
【請求項１３】
画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、前記各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データと、領域固有の符号化条件を示す領域符号化条件のみを含む第２種ヘッダ情報を付加した符号化データとを復号化し、前記画像を再生する画像復号化装置であって、
前記第１種ヘッダ情報もしくは前記第２種ヘッダ情報が付加された符号化データを入力する符号化データ入力手段と、
前記符号化データ入力手段によって入力された符号化データを復号化し、前記画像を構成する領域の画素データを生成する画素データ生成手段と、
を備え、
前記画素データ生成手段は、前記第２種ヘッダ情報が付加された符号化データを復号化する際に、前記第１種ヘッダ情報に含まれる前記画像符号化条件を用いることを特徴とする動画像復号化装置。
【請求項１４】
画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、前記各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データを復号化し、前記画像を再生する画像復号化装置であって、
前記第１種ヘッダ情報が付加された符号化データを入力する符号化データ入力手段と、
前記符号化データ入力手段によって入力された符号化データを復号化し、前記画像を構成する領域の画素データを生成する画素データ生成手段と、
を備え、
画素データ生成手段は、同じ画像を構成する複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件を比較し、画像符号化条件が異なることを検出したときに、誤りがあると判定することを特徴とする動画像復号化装置。
【請求項１５】
画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、前記各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データを復号化し、前記画像を再生する画像復号化装置であって、
前記第１種ヘッダ情報が付加された符号化データを入力する符号化データ入力手段と、
前記符号化データ入力手段によって符号化データを復号化し、前記画像を構成する領域の画素データを生成する画像データ生成手段と、
を備え、
前記画像データ生成手段は、同じ画像を構成する複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件を比較し、同じ画像の符号化データに付加された第１種ヘッダ情報に最も多く含まれる画像符号化条件を用いて、符号化データを復号化することを特徴とする動画像復号化装置。
【請求項１６】
請求項１〜６のいずれか１項に記載の動画像符号化方法の処理をコンピュータに行わせるためのプログラム。
【請求項１７】
請求項７〜１１のいずれか１項に記載の動画像復号化方法の処理をコンピュータに行わせるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の圧縮符号化及び復号化方法とこれらを実現する装置に関するもので、特に符号化条件を効率的に伝送する方法に関するものである。
【０００２】
【従来の技術】
動画像信号の伝送や蓄積再生を行うために、動画像信号の圧縮符号化技術が用いられる。そのような技術として、ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６３（以下Ｈ．２６３と呼ぶ）やＩＳＯ／ＩＥＣ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  １４４９６−２（ＭＰＥＧ−４  Ｖｉｓｕａｌ、以下ＭＰＥＧ−４と呼ぶ）などの国際標準化動画像符号化方式が知られている。またより新しい符号化方式として、ＩＴＵ−Ｔ  とＩＳＯ／ＩＥＣとの合同国際標準化が予定されている動画像符号化方式、ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４、ＩＳＯ／ＩＥＣ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ
１４４９６−１０（以下Ｈ．２６Ｌと呼ぶ）が知られている。
【０００３】
これらの符号化方式では、画像を複数の領域に分割し、各領域において同じ条件のもとで符号化処理を行う。図２では、画像２０１を複数の領域に分割した模式図を示す。これらの領域をスライスと呼び、図２では、太い直線に囲まれる領域２０３〜２０６がスライスである。
【０００４】
各スライスに含まれる画像値はまた複数の符号化単位にまとめられる。この符号化単位はマクロブロックと呼び、１６×１６個の画素から構成される。図２では、２０２の正方形は１マクロブロックを示す。このように分割されたマクロブロックに対し、予め決定した予測信号からの残差を求め、その差分信号を離散コサイン変換（ＤＣＴ）し、ＤＣＴの係数を量子化した上で可変長符号化することにより、圧縮符号化データ（ビットストリームと呼ぶ）を生成する。
【０００５】
各マクロブロックを符号化するための共通の条件は、スライス単位で、ヘッダ情報として、マクロブロックの圧縮符号化データとともに伝送もしくは記録する。圧縮符号化データをスライス単位でまとめることにより、ほかのスライスのデータが汚染され、エラーが発生した場合でも、エラーの伝播を抑えることができる。また、スライス単位で並列な処理ができ、高速な演算が可能となる。
【０００６】
【非特許文献１】
国際標準動画像符号化の基礎技術（小野  文孝、渡辺  裕共著、コロナ社、１９９８年３月２０日発行）
【０００７】
【発明が解決しようとする課題】
このスライス単位の動画像符号化方法においては、エラーの伝播を抑えながら冗長なデータをできるだけなくし、効率的なデータ構造が要求される。
【０００８】
ところが、従来の技術では、各スライス固有の符号化条件に加えて、画像全体で共通する符号化条件も、各スライス単位で常に伝送もしくは記録しなければならない。エラー伝播を防ぐには非常に有効であるが、冗長なデータが存在するため、符号量としては非効率的である。図１３は、従来の技術で用いられる圧縮符号化データの構造を示す模式図である。同図では、１２０２、１２０４、１２０６、１２０８は各スライスの圧縮符号化データで、それぞれの先頭には、１２０１、１２０３、１２０５、１２０７のヘッダ情報が付加されている。これらのヘッダ情報には、同図の１２０９から１２１２に示すように、スライス固有の符号化条件１２１２に加えて、画像共通の符号化条件１２１１を必ず含めるようになっている。
【０００９】
本発明は、スライス単位の動画像符号化方法において、エラーの伝播を防ぐと同時に、冗長な符号化条件などのデータをできるだけ抑えた、動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置、及びこれらをコンピュータに実行させるためのプログラムとを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明に係る動画像符号化方法（装置）は、画像を複数の領域に分割する画像分割ステップ（手段）と、画像分割ステップにおいて（画像分割手段によって）分割されたそれぞれの画像の領域を圧縮符号化し、符号化データを生成する符号化データ生成ステップ（手段）と、符号化データ生成ステップにおいて（符号化データ生成手段によって）、複数の領域を符号化するために共通に用いられた画像符号化条件と、それぞれの領域を符号化するために個別に用いられた領域符号化条件と、を含む第１種ヘッダ情報を少なくとも一の符号化データに付加する第１種ヘッダ情報付加ステップ（手段）と、符号化データ生成ステップにおいて（符号化データ生成手段によって）生成された符号化データのうち第１種ヘッダ情報付加ステップにおいて（第１ヘッダ情報付加手段によって）第１種ヘッダ情報が付加されなかった残りの符号化データに領域符号化条件のみを含む第２種ヘッダ情報を付加する第２種ヘッダ情報付加ステップ（手段）と、を有することを特徴とする。
【００１１】
このように符号化のための条件を画像全体の共通の画像符号化条件と、分割されたそれぞれの領域ごとの領域符号化条件とに分け、共通の画像符号化条件を少なくとも一の符号化データに第１種ヘッダ情報として付加すると共に、残りの符号化データには領域符号化条件のみを含む第２種ヘッダ情報を付加することにより、ヘッダ情報の冗長性を低減させ、効率の良いデータ伝送を実現することができる。
【００１２】
上記動画像符号化方法（装置）において、第１種ヘッダ情報が付加された符号化データは、第２種ヘッダ情報が付加された符号化データより先に復号処理ができるように伝送、もしくは記録されることを特徴としても良い。
【００１３】
このように共通の画像符号化条件を含む第１種ヘッダ情報を、画像符号化条件を含まない第２種ヘッダ情報より先に伝送又は記録することにより、画像符号化条件が含まれない第２種ヘッダ情報が付加された符号化データを円滑に復号することができる。
【００１４】
上記動画像符号化方法（装置）において、第１種ヘッダ情報及び第２種ヘッダ情報には、画像を識別するための画像識別子を含むことが好ましい。
【００１５】
上記動画像符号化方法（装置）において、第１種ヘッダ情報に含まれる画像符号化条件は、同じ画像においてすべて同じであることが好ましい。
【００１６】
上記動画像符号化方法（装置）において、第１種ヘッダ情報には第１識別子を、第２種ヘッダ情報には第２識別子を付加し、付加された第１識別子又は第２識別子とによって第１種ヘッダ情報と第２種ヘッダ情報とを区別することが好ましい。
【００１７】
上記動画像符号化方法（装置）において、第１種ヘッダ情報と第２種ヘッダ情報に、画像符号化条件が含まれるかどうかを示すフラグを含ませることを特徴としても良い。
【００１８】
このようなフラグを用いることにより、画像符号化情報が含まれているか否かを容易に判定できる。フラグは、例えば、画像符号化条件が含まれる場合はフラグを「１」とし、画像符号化条件が含まれない場合はフラグを「０」とすることができる。
【００１９】
本発明に係る動画像復号化方法（装置）は、画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データと、領域固有の符号化条件を示す領域符号化条件のみを含む第２種ヘッダ情報を付加した符号化データとを復号化し、画像を再生する画像復号化方法（装置）であって、第１種ヘッダ情報もしくは第２種ヘッダ情報が付加された符号化データを入力する符号化データ入力ステップ（手段）と、符号化データ入力ステップにおいて（符号化データ入力手段によって）入力された符号化データを復号化し、画像を構成する領域の画素データを生成する画素データ生成ステップ（手段）と、を備え、画素データ生成ステップでは（画素データ生成手段は）、第２種ヘッダ情報が付加された符号化データを復号化する際に、第１種ヘッダ情報に含まれる画像符号化条件を用いることを特徴とする。
【００２０】
このように、画像を構成するそれぞれの領域を符号化するための領域符号化条件のみを含む第２種ヘッダ情報が付加された符号化データを、第１種ヘッダ情報に含まれる共通の画像符号化条件を用いることにより、復号化することができる。これにより、共通の画像符号化条件の情報を全ての符号化データに付加しなくても良く、ヘッダ情報の冗長性を低減し、効率的なデータ伝送を実現することができる。
【００２１】
上記動画像復号化方法（装置）において、画素データ生成ステップ（手段）では、第２種ヘッダ情報が付加された符号化データを復号化する際に、同じ画像を構成する符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件を用いる、ことが好ましい。
【００２２】
上記動画像復号化方法（装置）において、画素データ生成ステップ（手段）では、第１種ヘッダ情報が付加された符号化データを復号化する際に、第１種ヘッダ情報に含まれる画像符号化条件を格納し、第２種ヘッダ情報が付加された符号化データを復号化する際に、格納された画像符号化条件を用いる、ことを特徴としても良い。
【００２３】
このように第１種ヘッダ情報が付加された符号化データを復号化する際に、第１種ヘッダ情報に含まれる画像符号化条件を格納しておくことにより、第２種ヘッダ情報が付加された符号化データ情報を復号するときに用いることができる。
【００２４】
また、本発明に係る動画像復号化方法（装置）は、画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データを復号化し、画像を再生する画像復号化方法であって、第１種ヘッダ情報が付加された符号化データを入力する符号化データ入力ステップ（手段）と、符号化データ入力ステップにおいて（符号化データ入力手段によって）入力された第１種ヘッダ情報が付加された符号化データを復号化し、画像を構成する領域の画素データを生成する画素データ生成ステップ（手段）と、を備え、画素データ生成ステップ（手段）では、同じ画像を構成する複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件を比較し、画像符号化条件が異なることを検出したときに、誤りがあると判定することを特徴とする。
【００２５】
同じ画像を構成する複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件の内容は共通で同じであるので、複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件が異なる場合には、伝送誤りなどによって画像符号化条件の情報が変化したことが考えられるので、誤りであると判定することが好ましい。
【００２６】
また、本発明に係る動画像復号化方法（装置）は、画像を構成する複数の領域に共通する符号化条件を示す画像符号化条件と、各領域固有の符号化条件を示す領域符号化条件とを含む第１種ヘッダ情報を付加した符号化データを復号化し、画像を再生する画像復号化方法であって、第１種ヘッダ情報が付加された符号化データを入力する符号化データ入力ステップ（手段）と、符号化データ入力ステップにおいて（符号化データ入力手段によって）入力された符号化データを復号化し、画像を構成する領域の画素データを生成する画像データ生成ステップ（手段）と、を備え、画像データ生成ステップ（手段）では、同じ画像を構成する複数の符号化データに付加された第１種ヘッダ情報に含まれる画像符号化条件を比較し、同じ画像の符号化データに付加された第１種ヘッダ情報に最も多く含まれる画像符号化条件を用いて、符号化データを復号化することを特徴とする。
【００２７】
同じ画像の符号化データに付加された第１種ヘッダ情報が異なる場合には、最も多く含まれる画像符号化条件が本来の画像符号化条件である可能性が高い。従って、複数の第１種ヘッダ情報に最も多く含まれる画像符号化条件を用いることにより、正しく復号化を行うことができる。
【００２８】
本発明に係るプログラムは、上記の動画像符号化方法の処理をコンピュータに行わせるためのプログラムを格納したことを特徴とする。
【００２９】
上記した動画像符号化方法の処理をコンピュータに実行させることができるプログラムにより、データの冗長性を低減させて効率の良いデータ伝送を実現できる。
【００３０】
また、本発明に係るプログラムは、上記の動画像復号化方法の処理をコンピュータに行わせるためのプログラムを格納したことを特徴とする。
【００３１】
上記した動画像復号化方法の処理をコンピュータに実行させることができるプログラムにより、データの冗長性を低減させて効率の良いデータ伝送を実現できる。
【００３２】
本発明に係るデータ記憶媒体は、上記の動画像符号化方法の処理をコンピュータに行わせるためのプログラムを格納したことを特徴とする。
【００３３】
上記した動画像符号化方法の処理をコンピュータに実行させることができるプログラムを記憶させたデータ記憶媒体により、データの冗長性を低減させて効率の良いデータ伝送を実現できる。
【００３４】
また、本発明に係るデータ記憶媒体は、上記の動画像復号化方法の処理をコンピュータに行わせるためのプログラムを格納したことを特徴とする。
【００３５】
上記した動画像復号化方法の処理をコンピュータに実行させることができるプログラムを記憶させたデータ記憶媒体により、データの冗長性を低減させて効率の良いデータ伝送を実現できる。
【００３６】
【発明の実施の形態】
以下、図面と共に本発明に係る動画像符号化装置、動画像復号化装置、動画像符号化方法、及び動画像復号化方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００３７】
（第１実施形態）
図１は本発明の第１実施の形態による動画像符号化装置１００のブロック図を示し、図１に示されるように動画像符号化装置１００は、第１入力端子１０１、符号化条件を格納する制御器１０２、第２入力端子１０３、画像を１６×１６画素のマクロブロックに分割する画像分割器１０４、符号化器１０５、ヘッダ情報付加処理ユニット１０６と、出力端子１０７と、を備える。符号化器１０５の内部は、符号化器１０５が有する機能とその関連をブロックによって示している。
【００３８】
以上のように構成された動画像符号化装置１００の動作について説明し、併せて実施形態に係る動画像符号化方法について述べる。
【００３９】
画像を符号化する時の条件は入力端子１０１に入力される。入力の手段はアプリケーションによって異なり、圧縮率に応じて予め決められたテンプレートを入力する場合や、キーボードより条件を指定し入力する場合がある。符号化の条件は、動画像のシーケンス単位で指定されるもの、各画像単位で指定されるもの、そして画像を複数の領域に分割した際の各領域において指定されるものがある。シーケンス単位で指定される条件として、シーケンスを飛び越し走査とみなして符号化するかどうかの条件がある。画像単位で指定される条件として、当該画像を予測するための参照画像の特定や、メモリに格納される参照画像の並べ替え、メモリのリセットなどがある。さらに、画像を分割する際の各領域の形状も画像単位で予め決定される。画像単位で指定される条件は、以下「画像符号化条件」と呼ぶ。領域単位で指定される条件として、当該領域の位置や量子化幅の初期値がある。以下では、「領域符号化条件」と呼ぶ。これらの条件は制御器１０２に格納され、制御器１０２はこれらの条件をもとに、符号化器１０５に対し、符号化の条件を与える。
【００４０】
符号化の対象となる画像は入力端子１０３から入力される。分割器１０４では、当該画像を１６×１６の画素からなるマクロブロックに分割した上で、符号化器１０５に入力し、ＭＰＥＧに用いられる方式で圧縮符号化する。すなわち、フレームメモリ１１３に格納されている参照画像より、動きを検出し（１１４）、動き補償（１１４）した予測信号との差分をとり（１０８）、差分信号を離散コサイン変換（１０９）し、量子化（１１０）した上で、可変長符号化（１１５）をする。一方、量子化された信号は、逆量子化・逆離散コサイン変換（１１１）をしたのち、予測信号（１６２）に加算し（１１２）、画像を再生する。再生された画像は、参照画像として、フレームメモリ（１１３）に格納される。効率良く予測信号を作るために、参照できる画像は一枚に限らず、複数の画像を参照することができる。そのために、フレームメモリ（１１３）に複数の参照画像を格納する必要がある。フレームメモリに格納できる画像の枚数が有限であるため、画像単位で制御器（１０２）から指定される参照画像の枚数に従って、参照画像を並べ替えたり、不要となった参照画像を消したりする。これらの条件は、ヘッダ情報付加処理ユニット１０６に入力し、可変長符号化器１１５からの出力に、領域単位の先頭に付加し、出力端子１０７から出力される。
【００４１】
図２に示す画像２０１を複数の領域２０３〜２０６に分割した模式図を示す。これらの領域は以下「スライス」と呼ぶ。各スライスにあるマクロブロック（たとえば２０２）は前述のように符号化される。このように生成された圧縮符号化データは、図３に示す構造にまとめられる。
【００４２】
図３において、領域＃１画像データ３０２は、図２のスライス２０３の各マクロブロックの圧縮符号化データをまとめたものである。同様に、領域＃２画像データ３０４はスライス２０４、領域＃３画像データ３０６はスライス２０５、領域＃４画像データ３０８はスライス２０６、それぞれの圧縮符号化データをまとめたものを示す。領域＃１画像データ３０２と領域＃３画像データ３０６の先頭にはそれぞれ第１種ヘッダ情報３０１と３０５が付加され、領域＃２画像データ３０４と領域＃４画像データ３０８の先頭にはそれぞれ第２種ヘッダ情報３０３と３０７が付加される。ヘッダ情報付加処理ユニット１０６は、制御器１０２の指示より、各スライスの圧縮符号化データに指定されたヘッダ情報を付加する（詳細は下記に記載）。
【００４３】
本実施の形態に用いられる第１種ヘッダ情報を図４（ａ）及び図４（ｂ）に、第２種ヘッダ情報を図５にそれぞれ示す。第１種ヘッダ情報には、スライス固有の領域符号化条件４０１（図４（ａ）参照）と画像に共通する画像符号化条件４０２（図４（ｂ）参照）とが含まれる。図５の第２種ヘッダ情報には、スライス固有の符号化条件５０１が含まれる。領域符号化条件４０１と領域符号化条件５０１の各成分は異なる値をとることができる。但し、圧縮符号化データがどの画像に属するかを示す成分（図５ではｆｒａｍｅ＃ｎｕｍ  ５０２）はすべて同じである。両図を比較するとわかるように、第２種ヘッダ情報（図５参照）では、画像符号化条件４０２を除くことにより、ヘッダのデータを削減することができる。また、図４（ａ）及び図５に示すデータは異なる名前（ｆｉｒｓｔ＃ｓｌｉｃｅ＃ｈｅａｄｅｒとｓｅｃｏｎｄ＃ｓｌｉｃｅ＃ｈｅａｄｅｒ）をもつため、両方を区別することができる。
【００４４】
図６（ａ）及び図６（ｂ）は、本実施の形態に用いられる第１種ヘッダ情報と第２種ヘッダ情報の別の構造を示す。この構造では、画像符号化条件６０２（図６（ｂ）参照）とスライス固有の符号化条件６０１（図６（ａ）参照）は同じ構造体（ｓｌｉｃｅ＃ｈｅａｄｅｒ）にあるが、ａｂｂｒｅｖｉａｔｅｄ＃ｓｌｉｃｅ＃ｈｅａｄｅｒ＃ｆｌａｇ６０３によって分けられている。すなわち、第１種ヘッダ情報として用いる場合、ａｂｂｒｅｖｉａｔｅｄ＃ｓｌｉｃｅ＃ｈｅａｄｅｒ＃ｆｌａｇ＝１とし、画像符号化条件６０２とスライス固有の符号化条件６０１の両方を付加する。第２種ヘッダ情報として用いる場合、ａｂｂｒｅｖｉａｔｅｄ＃ｓｌｉｃｅ＃ｈｅａｄｅｒ＃ｆｌａｇ＝０とし、スライス固有の符号化条件６０１のみを付加することになる。
【００４５】
次にヘッダ情報付加処理ユニット１０６の処理について説明する。図７（ａ）は、ヘッダ情報付加処理ユニット１０６のヘッダ情報付加処理を示す。ステップ７０１では、スライスの圧縮符号化データと、ヘッダ情報のデータが入力される。ステップ７０２では、入力された圧縮符号化データは、画像を構成する複数のスライスの中で、先に伝送もしくは記録するものかどうかを判定する。先に伝送もしくは記録されるスライスの圧縮符号化データ、すなわち第１領域の符号化データであれば、ステップ７０３にて、画像符号化条件と当該スライス固有の領域符号化条件を含む第１種ヘッダ情報を付加する。それ以外のスライスの圧縮符号化データは、ステップ７０４にて当該スライス固有の領域符号化条件のみを含む第２種ヘッダ情報を付加する。本実施形態では先に伝送もしくは記録されるスライスとして、図２のように、画像の中で一番上に位置するスライス２０３を指すが、これに限るものではない。画像の中で一番上に位置していなくてもよく、要は、画像を構成するスライスの中で、ほかのスライスと比べて、時間的に先に伝送もしくは記録することがスライスの圧縮符号化データに第１種のヘッダ情報を付加し、それ以外のスライスの圧縮符号化データに第２種ヘッダ情報を付加する。
【００４６】
図７（ｂ）は、ヘッダ情報付加処理ユニット１０６の別の処理を示す。ここでは、ステップ７１２にて、入力された圧縮符号化データは優先順位の高いスライスに属すものかどうかを判定する。画像を構成するスライスの中で、例えばテレビ電話では背景よりも人間の顔が含まれるスライスは重要な情報と判断し、優先順位が高いとみなす。このような情報は、撮影される被写体によって予め定められる。ステップ７１２にて優先順位の高いスライスと判定された場合、第１種ヘッダ情報（７１３）を、そうでない場合は第２種ヘッダ情報（７１４）を付加する。
【００４７】
このように、優先順位の高い画像データに全ての情報を付加し、優先順位の低い画像データに省略された情報を付加することにより、冗長なデータを削減できると同時に、エラーが発生した場合でも、優先順位の高い画像データは問題なく再生でき、かつその領域において、時間的にエラーの伝播を抑える効果がある。
【００４８】
（第２実施形態）
図８は、本発明の第２実施の形態による動画像復号化装置８００のブロック図を示す。図８に示されるように、動画像復号化装置８００は、入力端子８０１、復号化器８０２、出力端子８０３、符号化条件を格納する制御器８０４、データ分析器８０５を備える。復号化器８０２の内部は、復号化器８０２が有する機能とその関連をブロックによって示している。
【００４９】
以上のように構成された動画像復号化装置８００の動作について説明し、併せて実施形態に係る動画像復号化方法について述べる。
【００５０】
第１実施形態に係る動画像符号化方法で生成した圧縮符号化されたデータは入力端子８０１に入力され、データ分析器８０５にてデータを分析し、可変長符号化を復号化したのち、ヘッダ情報を制御器８０４に、画像データ（ＤＣＴ係数、動き情報など）は復号化器８０２に送る。復号化器８０２は、制御器８０４からの符号化条件をもとに、圧縮データを逆量子化（８０６）し、逆離散コサイン変換（８０７）をした上で、動き補償（８１０）された予測信号に加算（８０８）し画像を再生する。再生された画像はフレームメモリ８０９に格納すると同時に、表示時間になったときに、出力端子８０３を通して表示装置に出力される。フレームメモリ８０９には、予測信号を作るために複数の画像が格納されている。制御器８０４からの指示に従い、これらの参照画像を並べ替えたり、使用しない参照画像をメモリから消したりする。これらの操作は、画像単位に行われる。
【００５１】
次に、図９を用いて制御器８０４における符号化条件の決定処理を説明する。ヘッダ情報がデータ分析器８０５から入力されたとき、ステップ９０２にて、それが第１種ヘッダ情報かどうかを判定する。第１種ヘッダ情報と判定された場合、ステップ９０３にて、画像識別子及び同じ画像識別子をもつスライスに共通する画像符号化条件を格納しておくと同時に、入力されたヘッダ情報をもとに符号化条件を設定する（９０５）。一方、ステップ９０２にて、第１種ヘッダ情報でないと判定された場合、すなわち第２種ヘッダ情報の場合、ステップ９０４にて、まず格納された画像符号化条件の中から、同じ画像識別子の画像符号化条件を取得する。この画像符号化条件と第２種ヘッダ情報に含まれている領域固有の符号化条件とから、ステップ９０５にて符号化条件をセットする。以上は、一画像に付き、第１種ヘッダ情報が１回だけ送られる場合について説明した。
【００５２】
次に、図１０を参照しながら、同じ画像において第１種ヘッダ情報が複数回含まれる場合を説明する。ステップ１００２にて入力されたデータが第１種ヘッダ情報である場合のみを説明する。そうでない場合は上記の処理と同じである。入力が第１種ヘッダ情報と判定された場合ステップ１００４に進む。ステップ１００４では、入力された第１種ヘッダ情報に示されている画像識別子は、すでに格納されている第１種ヘッダ情報の画像識別子と同じかどうかを判定する。すなわち、当該データと同じ画像の画像符号化条件がすでに格納されているかどうかを判定する。そうでない場合、ステップ１００５にて画像符号化条件を更新する。当該データと同じ画像の画像符号化条件がすでに格納されている場合、ステップ１００６にて画像符号化条件の内容が同じかどうかを判定する。同じである場合、そのままステップ１００８にて、符号化条件を設定する。そうでない場合、同じ画像であるのに、画像符号化条件が異なるという誤りが生じたことがわかる。ステップ１００７にてエラーが発生したと判定し、代わりに格納された画像符号化条件を用いて、ステップ１００８にて符号化条件を設定する。
【００５３】
別の処理方法として、画像識別子の同じ第１種ヘッダ情報に含まれる画像符号化条件の内容を全て比較した上で、多数決で内容の同じ条件を用いて、各スライスの画像符号化条件とし、復号化処理を行う。すなわち、複数の符号化データに付加された第１種ヘッダに含まれる画像符号化条件のうち、最も多く含まれる画像符号化条件を用いて復号化処理を行う。
【００５４】
このようにして、冗長なデータを必ず送ることなく、エラーが発生するときにも、画像符号化条件が共有でき、画像を再生することができる。
【００５５】
さらに、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を実現するための符号化あるいは復号化プログラムを、フロッピーディスクやハードディスク・固体メモリ等のデータ記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムや携帯端末において簡単に実施することが可能となる。
【００５６】
最後に、図１１を参照して、本発明に係る動画像符号化方法あるいは動画像復号方法を実現するためのプログラムについて説明する。
【００５７】
図１１に示す様に、動画像処理プログラム１１は、記録媒体１０内に形成されたプログラム格納領域１０ａに格納されている。動画像処理プログラム１１は、携帯端末を含むコンピュータにより実行可能であり、動画像処理を統括するメインモジュール１２と、後述の動画像符号化プログラム１３と、後述の動画像復号プログラム１４とを有する。
【００５８】
動画像符号化プログラム１３は、画像分割モジュール１３ａと、符号化データ生成モジュール１３ｂと、第１種ヘッダ情報付加１３ｃモジュールと、第２種ヘッダ情報付加モジュール１３ｄと、を備えて構成される。これら各モジュールを動作させることによって実現する機能は、上述した動画像符号化方法の各ステップを実行することによって実現する機能とそれぞれ同様である。
【００５９】
また、動画像復号プログラム１４は、符号化データ入力モジュール１４ａと、画素データ生成モジュール１４ｂと、を備えて構成される。これら各モジュールを動作させることによって実現する機能は、上述した動画像復号方法の各ステップを実行することによって実現する機能とそれぞれ同様である。
【００６０】
動画像処理プログラム１１は、記録媒体１０にこれを記録することにより、上記各実施の形態で説明した処理を、携帯端末を含むコンピュータに容易に実行させることが可能となる。より具体的には、動画像処理プログラム１１は、例えば図１２（ａ）に示す物理フォーマットを有するフロッピィディスクＦＤのプログラム格納領域１０ａに格納される。プログラム格納領域１０ａには、同心円状に外周から内周に向かって複数のトラックＴｒが形成され、更に、各トラックＴｒは、角度方向に１６のセクタＳｅに分割されている。
【００６１】
図１２（ｂ）に示す様に、プログラム格納領域１０ａがフロッピィディスクケースＦに内蔵されることにより、記録媒体１０としてのフロッピィディスクが構成されている。図１２（ｃ）に示す様に、周知慣用のコンピュータシステムＣｓにケーブル接続されたフロッピィディスクドライブＦＤＤに記録媒体１０が装着されると、図１１に示した動画像処理プログラム１１は、記録媒体１０から読み出し可能となり、コンピュータシステムＣｓに転送される。これにより、フロッピーディスクＦＤ内のプログラムにより上記符号化あるいは復号化装置をコンピュータシステム中に構築することができる。
【００６２】
なお、上記説明では、データ記録媒体１０としてフロッピーディスクＦＤを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００６３】
【発明の効果】
以上のように本発明によれば、画像共通の符号化条件と領域固有の符号化条件を分けて、重要性の高い画像領域に両方の符号化条件を付加し、重要性の低い画像領域に領域固有の符号化条件のみを付加することにより、エラーの伝播を防ぐと同時に、冗長な符号化条件のデータを抑える効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１実施形態による動画像符号化方法を示すブロック図である。
【図２】複数の領域（スライス）及び符号化単位（マクロブロック）に分割した画像を示す模式図である。
【図３】本発明による圧縮符号化データの構造を示す模式図である。
【図４】（ａ）及び（ｂ）は、本発明による第１のスライスヘッダのデータを示す図である。
【図５】本発明による第２のスライスヘッダのデータを示す図である。
【図６】（ａ）及び（ｂ）は、本発明による第３のスライスヘッダのデータを示す図である。
【図７】（ａ）及び（ｂ）は、本発明の第１実施形態による動画像符号化方法におけるヘッダ情報の付加処理を示す流れ図である。
【図８】本発明の第２実施形態による動画像復号化方法を示すブロック図である。
【図９】本発明の第２実施形態による動画像復号化方法における符号化条件を決定する第１の処理を示す流れ図である。
【図１０】本発明の第２実施形態による動画像復号化方法における符号化条件を決定する第２の処理を示す流れ図である。
【図１１】本発明の実施形態に係るプログラムの構成を示す図である。
【図１２】（ａ）（ｂ）（ｃ）は、上記各実施の形態の動画像符号化及び復号化方法をコンピュータシステムにより実現するためのプログラムを格納するためのデータ記憶媒体について説明するための図である。
【図１３】従来の技術に用いられる圧縮符号化データの構造を示す模式図である。
【符号の説明】
１００…動画像符号化装置、１０２…符号化条件を格納する制御器、１０４…画像分割器、１０５…符号化器、１０６…ヘッダ情報付加処理ユニット、８００…動画像復号化装置、８０２…復号化器、８０４…符号化条件を格納する制御器、８０５…データ分析器。
【図１】
2004193897.tif 000003
【図２】
2004193897.tif 000004
【図３】
2004193897.tif 000005
【図４】
2004193897.tif 000006
【図５】
2004193897.tif 000007
【図６】
2004193897.tif 000008
【図７】
2004193897.tif 000009
【図８】
2004193897.tif 000010
【図９】
2004193897.tif 000011
【図１０】
2004193897.tif 000012
【図１１】
2004193897.tif 000013
【図１２】
2004193897.tif 000014
【図１３】
2004193897.tif 000015