(57)【要約】【課題】画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができ、また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することができる動画像復号化方法および動画像復号化装置を提供する。【解決手段】動画像復号化方法は、基準ピクチャとして指定したことを示す情報に基づいて、画面内復号化ピクチャを基準ピクチャとして指定するか否かを判断し、基準ピクチャとして指定された場合には、基準ピクチャより後に復号化されるピクチャに対しては、基準ピクチャとして指定された画面内復号化ピクチャと、基準ピクチャより後に復号化されたピクチャから参照ピクチャを選択し、基準ピクチャより前に復号化されたピクチャが参照ピクチャとして選択されることを禁止すべく、基準ピクチャより前に復号化され、かつ、メモリに格納されているピクチャを削除する。【選択図】図９
2010259094.tif 000002
【特許請求の範囲】
【請求項１】
複数のピクチャで構成される動画像を符号化する動画像符号化方法を用いて生成された符号化信号を復号化する動画像復号化方法であって、
前記動画像符号化方法は、
前記動画像を構成する各ピクチャを画面内符号化方法あるいは画面間符号化方法により符号化するものであり、
前記画面間符号化方法で前記ピクチャを符号化する際は、前記画面内符号化方法で符号化される画面内符号化ピクチャ、前記画面内符号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内符号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャを参照ピクチャとして選択し、
前記画面内符号化方法で前記ピクチャを符号化する際は、前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定するか否かを選択し、
前記画面内符号化ピクチャを基準ピクチャとして指定した場合は、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前に符号化されたピクチャの参照を禁止すべく、前記基準ピクチャより前に符号化され、かつ、メモリに格納されているピクチャを削除するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャとして指定したことを示す情報を符号化し、
前記動画像復号化方法は、
画面内復号化方法と画面間復号化方法のいずれかで、前記動画像を構成する各ピクチャを復号化するものであり、
前記画面間復号化方法で前記ピクチャを復号化する際は、前記画面内復号化方法で復号化された画面内復号化ピクチャ、前記画面内復号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内復号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャから参照ピクチャを選択し、
前記画面内復号化方法で前記ピクチャを復号化する際は、基準ピクチャとして指定したことを示す情報に基づいて、前記画面内復号化ピクチャを基準ピクチャとして指定するか否かを判断し、
前記画面内復号化ピクチャが基準ピクチャとして指定された場合には、前記基準ピクチャより後に前記画面間復号化方法で復号化されるピクチャに対しては、前記基準ピクチャとして指定された前記画面内復号化ピクチャと前記基準ピクチャより後に復号化されたピクチャのうちの少なくとも１つのピクチャから参照ピクチャを選択し、前記基準ピクチャより前に復号化されたピクチャが参照ピクチャとして選択されることを禁止すべく、前記基準ピクチャより前に復号化され、かつ、メモリに格納されているピクチャを削除する、
ことを特徴とする動画像復号化方法。
【請求項２】
複数のピクチャで構成される動画像を符号化する動画像符号化装置を用いて生成された符号化信号を復号化する動画像復号化装置であって、
前記動画像符号化装置は、
前記動画像を構成する各ピクチャを画面内符号化手段あるいは画面間符号化手段により符号化するものであり、
前記画面間符号化手段で前記ピクチャを符号化する際は、前記画面内符号化手段で符号化される画面内符号化ピクチャ、前記画面内符号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内符号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャを参照ピクチャとして選択し、
前記画面内符号化ピクチャを、符号化の際の参照ピクチャを制限するときに基準となる基準ピクチャとして指定する指定手段と、
前記画面内符号化ピクチャを前記指定手段で基準ピクチャとして指定した場合は、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定手段で指定した前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前に符号化されたピクチャの参照を禁止すべく、前記基準ピクチャより前に符号化され、かつ、メモリに格納されているピクチャを削除するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャとして指定したことを示す情報を符号化する符号化手段とを備え、
前記動画像復号化装置は、
画面内復号化手段と画面間復号化手段のいずれかで、前記動画像を構成する各ピクチャを復号化するものであり、
前記画面間復号化手段で前記ピクチャを復号化する際は、前記画面内復号化手段で復号化された画面内復号化ピクチャ、前記画面内復号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内復号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャから参照ピクチャを選択し、
前記画面内復号化手段で前記ピクチャを復号化する際は、基準ピクチャとして指定したことを示す情報に基づいて、前記画面内復号化ピクチャを基準ピクチャとして指定するか否かを判断する判断手段と、
前記画面内復号化ピクチャが基準ピクチャとして指定された場合には、前記基準ピクチャより後に前記画面間復号化手段で復号化されるピクチャに対しては、前記基準ピクチャとして指定された前記画面内復号化ピクチャと前記基準ピクチャより後に復号化されたピクチャのうちの少なくとも１つのピクチャから参照ピクチャを選択し、前記基準ピクチャより前に復号化されたピクチャが参照ピクチャとして選択されることを禁止すべく、前記基準ピクチャより前に復号化され、かつ、メモリに格納されているピクチャを削除する復号化手段とを備える
ことを特徴とする動画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の符号化ピクチャもしくは復号化ピクチャを参照して動画像信号を符号化もしくは復号化する動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、並びにそれをソフトウェアで実施するためのプログラムを格納した記録媒体に関する。
【背景技術】
【０００２】
近年、音声、画像、およびその他の画素値等の情報を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式として表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64kbits（電話品質）、更に動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は64kbps〜1.5Mbpsの伝送速度を持つサービス総合ディジタル通信網（ＩＳＤＮ：Integrated Services Digital Network）によって既に実用化されているが、テレビカメラにより撮影された映像の情報をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ―T（国際電気通信連合  電気通信標準化部門）で国際標準化されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-1規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、動画像信号のディジタル圧縮の国際規格であり、MPEG-1は、動画像信号を1.5Mbpsまで、つまりテレビ信号の情報を約100分の１にまで圧縮する規格である。また、MPEG-1規格を対象とする伝送速度が主として約1.5Mbpsに制限されていることから、更なる高画質化の要求を満たすべく規格化されたMPEG-2では、動画像信号が２〜１５Mbpsに圧縮される。
【０００６】
更に現状では、MPEG-1、MPEG-2と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、より圧縮率が高いMPEG-4が規格化された。MPEG-4では、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ＩＴＵ―Tでは次世代画像符号化方式として、H.26Lの標準化活動が開始された。
【０００７】
MPEG-1、MPEG-2、MPEG-4では直前に符号化もしくは復号化したピクチャの画像信号（参照画像）を参照し、参照画像と被符号化・復号化画像との差分値を符号化・復号化する画面間符号化（Inter Predictive Coded Picture：以下Inter Pictureと略す）を用いることで、大幅な圧縮率を可能にした（例えば、非特許文献１参照。）。
【０００８】
更に、時間方向および空間方向の冗長性を削減することによって情報量の圧縮が実現できる。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、既に符号化・復号化したピクチャ（参照画像）を参照して予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。
【０００９】
２００１年９月時点のH.26L規格案では更に圧縮率を向上するため、直前に符号化もしくは復号化したピクチャのみを参照するだけでなく、被符号化・復号化画像より前に符号化・復号化した複数のピクチャから任意のピクチャを選択して参照画像とすることが可能になっている。
【００１０】
図１５に従来の動画像符号化方法および動画像復号化方法の概念の説明図を示す。図１５は被符号化・復号化ピクチャより前の３ピクチャから任意のピクチャを選択し、参照画像とする例である。図１５で各ピクチャは表示時刻の順序で並んでおり、左のピクチャの表示時刻が早い。符号化の順序も左のピクチャが早く符号化される。従って、ビットストリームの順序もピクチャＪ1、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4である。従って、被符号化・復号化ピクチャがピクチャＪ4の場合は、ピクチャＪ1、ピクチャＪ2、ピクチャＪ3の中から１つを選択して参照画像とすることが可能であり、被符号化・復号化ピクチャがピクチャＪ5の場合は、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4の中から１つを選択して参照画像とすることが可能である。
【００１１】
図１６は従来の動画像符号化装置の構成を示すブロック図である。
動画像符号化装置４は、入力される画像信号Vinを圧縮符号化して可変長符号化等のビットストリームに変換した画像符号化信号Strを出力する装置であり、動き検出ユニット４０１、選択ユニット４０２、画像信号減算ユニット４０３、符号化ユニット４０４、復号化ユニット４０５、加算ユニット４０６、選択ユニット４０７、およびメモリ４０８〜４１０を備えている。
【００１２】
動き検出ユニット４０１は、メモリ４０８〜４１０に格納されている既に符号化された画像である参照画像をそれぞれ読み出し、入力された画像信号Vinと比較することで画面間差分値の大きさ（誤差エネルギー）が小さい参照画像Refとその画面間差分値が小さくなる画素位置を示す動き情報MVを決定する。通常は、誤差エネルギーが最小となる参照画像Refおよび画素位置を決定することが多いが、最近は単純に誤差エネルギーが最小となるのではなく、誤差エネルギーが小さく且つ圧縮率が大きくできるように動き情報MVを決定する手法も利用されている。なお、参照画像Refおよび画素位置の情報をまとめて動き情報MVと呼ぶことにする。選択ユニット４０２は、切り替え指示信号である参照画像指示信号RefFrmに基づいてメモリ４０８〜４１０に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から選択された参照画像Refを出力する。減算ユニット４０３は、画像信号Vinと参照画像Refの差分画像信号Difを計算する。
【００１３】
符号化ユニット４０４は、差分画像信号Difと参照画像を特定するための情報である動き情報MVとを符号化する。復号化ユニット４０５は、符号化ユニット４０４により符号化された符号化データCodedを復号化して復元差分画像信号RecDifを得る。加算ユニット４０６は、参照画像Refと復元差分画像信号RecDifとを加算する。選択ユニット４０７は、入力された復号画像信号Reconを後続のピクチャの符号化で参照画像として参照可能とするため、メモリ４０８〜４１０のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
【００１４】
次に、上記のように構成された動画像符号化装置の動作について説明する。
画像信号Vinは、画像信号減算ユニット４０３と動き検出ユニット４０１に入力される。動き検出ユニット４０１は、メモリ４０８〜４１０に格納されている既に復号化された画像である参照画像Ref1、参照画像Ref2、参照画像Ref3を読み出し、入力された画像信号Vinと比較することで画面間差分値の大きさが最小となる参照画像を決定し、その参照画像および参照する画素位置を特定するための情報である動き情報MVを出力する。
【００１５】
また同時に、動き検出ユニット４０１は、選択ユニット４０２が動き情報MVに対応する参照画像を選択して参照画像Refとして出力できるように、切り替え指示信号である参照画像指示信号RefFrmを出力する。なお、シーンチェンジ等では画面間の相関が失われるため、画面間符号化すると被符号化ピクチャの画像符号化信号のみで復元可能な画面内符号化（Intra Coding Picture：以下Intra Pictureと略す）よりも圧縮率が低下することがある。その場合には、動き検出ユニット４０１は、動き情報MVで画面内符号化であることを示し、常に値０を出力する参照画像Ref4を参照画像Refとして出力するための参照画像指示信号RefFrmを出力する。なお、参照画像Ref4の値は必ずしも０である必要は無く、例えば値０から２５５をとる輝度信号やRGBカラー信号の場合は平均値の１２８としてもよい。
【００１６】
また、エラー伝播防止や画像符号化信号の途中からの画像再生を可能にするためには、一定数のピクチャ毎に被符号化ピクチャの画像符号化信号のみで復元可能な画面内符号化を行う必要がある。そこで、外部から与える画面内符号化指示信号Resetの指示により、強制的に動き検出ユニット４０１で画面内符号化に切り替えることができる。
【００１７】
一方、画像信号Vinが入力された減算ユニット４０３は、この画像信号Vinと選択ユニット４０２により選択された参照画像Refとの差分を計算し、差分画像信号Difを符号化ユニット４０４へ出力する。次に、符号化ユニット４０４は、差分画像信号Difと動き検出ユニット４０１が出力した動き情報MVを符号化し、画像符号化信号Strと符号化データCodedを出力する。ここで、符号化データCodedは画像を復元するために必要なデータであり、画像符号化信号Strは符号化データCodedを更に可変長符号化等のビットストリームに変換したものである。
【００１８】
復号化ユニット４０５は、符号化データCodedを復号化して復元差分画像信号RecDifを加算ユニット４０６へ出力する。加算ユニット４０６は、復元差分画像信号RecDifと、選択ユニット４０２により選択された参照画像Refとを加算し、復号画像信号Reconを選択ユニット４０７へ出力する。選択ユニット４０７は、復号画像信号Reconを後続のピクチャの符号化時に参照画像として参照可能とするため、メモリ４０８〜４１０のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。本例では、最も古い時刻にメモリに保存した画像が新しい復号画像信号Reconで上書きされるように選択ユニット４０７で切り替えが行われる。
【００１９】
図１７は従来の動画像復号化装置の構成を示すブロック図である。
動画像復号化装置５は、上記のように動画像符号化装置４により符号化された画像符号化信号Strを復号化する装置である。
【００２０】
復号化ユニット５０１は、入力された画像符号化信号Strを復号化し、復元差分画像信号RecDifと動き情報MVとを出力する。動き復元ユニット５０２は動き情報MVを復号化し、参照画像指示信号RefFrmを出力する。選択ユニット５０３、選択ユニット５０５、メモリ５０６〜５０８の動作は図１６に示す動画像符号化装置４の選択ユニット４０２、選択ユニット４０７、およびメモリ４０８〜４１０と同じである。加算ユニット５０４は復元差分画像信号RecDifと参照画像Refを加算して復号画像信号Vout（これは図１６では復号画像信号Reconに相当）を出力する。
【００２１】
なお、前記動画像符号化装置４および動画像復号化装置５には、図示しない動き補償ユニットがそれぞれ選択ユニット４０２および選択ユニット５０３の出力側に設けられ、メモリから出力した参照画像の画素値から1/2画素位置精度等の画素値である小数画素位置精度の画素値を補間生成する動き補償を行っている。
【先行技術文献】
【非特許文献】
【００２２】
【非特許文献１】ＩＳＯ／ＩＥＣ 13818-2 「INTERNATIONAL STANDARD Information technology Generic coding of moving pictures and associated audio information : Video」２０００年１２月１５日、ｐ．７、Intro.4.1.1
【発明の概要】
【発明が解決しようとする課題】
【００２３】
ところで、上記のような従来の動画像符号化装置および従来の動画像復号化装置では、参照画像が画面内符号化された画像（Intra Picture）であるか画面内符号化された画像以降に画面間符号化された画像（Inter Picture）であるかを全く区別していない。例えば、図１５の従来の動画像符号化方法および動画像復号化方法の概念の説明図では、ピクチャＪ2が画面内符号化されたピクチャであり、それ以外のピクチャＪ1、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5が画面間符号化されたピクチャであるが、ピクチャＪ4の参照画像としてピクチャＪ1の参照も可能になる。もし、ピクチャＪ4が参照画像としてピクチャＪ1を参照した場合、画面内符号化されたピクチャＪ2より前のピクチャを参照画像として参照したことになる。
【００２４】
しかしながら、画像を途中から再生しようした場合、例えば画像符号化信号の途中の画面内符号化されたピクチャＪ2から画像を復号化し再生しようとしても、ピクチャＪ4を復号化する際には復号化されたピクチャＪ1の参照が必要となる。このため、ピクチャＪ4以降のピクチャが正しく復号化できないという問題が生じる。
【００２５】
また、例えば画像符号化信号の途中でストリーム誤りが発生し、ピクチャＪ1が誤りによって正しく復号化できない場合、画面内符号化されたピクチャＪ2は正しく復号化できるが、ピクチャＪ4を復号化する際にはピクチャＪ1の参照を必要となるため、ピクチャＪ4以降のピクチャが正しく復号化できないという問題が生じる。
【００２６】
そこで、本発明は上記の事情に鑑みてなされたものであり、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができ、また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することができる動画像復号化方法および動画像復号化装置等を提供することを目的とする。
【課題を解決するための手段】
【００２７】
上記目的を達成するために、本発明に係る動画像復号化方法は、複数のピクチャで構成される動画像を符号化する動画像符号化方法を用いて生成された符号化信号を復号化する動画像復号化方法であって、前記動画像符号化方法は、前記動画像を構成する各ピクチャを画面内符号化方法あるいは画面間符号化方法により符号化するものであり、前記画面間符号化方法で前記ピクチャを符号化する際は、前記画面内符号化方法で符号化される画面内符号化ピクチャ、前記画面内符号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内符号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャを参照ピクチャとして選択し、前記画面内符号化方法で前記ピクチャを符号化する際は、前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定するか否かを選択し、前記画面内符号化ピクチャを基準ピクチャとして指定した場合は、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前に符号化されたピクチャの参照を禁止すべく、前記基準ピクチャより前に符号化され、かつ、メモリに格納されているピクチャを削除するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャとして指定したことを示す情報を符号化し、前記動画像復号化方法は、画面内復号化方法と画面間復号化方法のいずれかで、前記動画像を構成する各ピクチャを復号化するものであり、前記画面間復号化方法で前記ピクチャを復号化する際は、前記画面内復号化方法で復号化された画面内復号化ピクチャ、前記画面内復号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内復号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャから参照ピクチャを選択し、前記画面内復号化方法で前記ピクチャを復号化する際は、基準ピクチャとして指定したことを示す情報に基づいて、前記画面内復号化ピクチャを基準ピクチャとして指定するか否かを判断し、前記画面内復号化ピクチャが基準ピクチャとして指定された場合には、前記基準ピクチャより後に前記画面間復号化方法で復号化されるピクチャに対しては、前記基準ピクチャとして指定された前記画面内復号化ピクチャと前記基準ピクチャより後に復号化されたピクチャのうちの少なくとも１つのピクチャから参照ピクチャを選択し、前記基準ピクチャより前に復号化されたピクチャが参照ピクチャとして選択されることを禁止すべく、前記基準ピクチャより前に復号化され、かつ、メモリに格納されているピクチャを削除することを特徴とする。
【００２８】
また、上記目的を達成するために、本発明に係る動画像復号化方法は、前記動画像復号化方法では、画面内復号化方法と画面間復号化方法のいずれかでピクチャが復号化され、前記画面間復号化方法でピクチャを復号化する際は、前記画面内復号化方法で復号化された画面内復号化ピクチャ、前記画面内復号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内復号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャから復号化参照ピクチャを選択するものであり、前記動画像復号化方法は、符号化されたピクチャを復号化して復号化ピクチャを取得し、前記復号化ピクチャが、他の符号化されたピクチャを復号化するときに選択できる復号化参照ピクチャを制限する基準となる基準ピクチャとして指定された画面内復号化ピクチャである場合には、前記復号化ピクチャが基準ピクチャとして指定されたことを示す指定情報も共に復号化する復号化ステップと、前記指定情報に基づいて、画面内復号化ピクチャである前記復号化ピクチャを基準ピクチャとして指定する指定ステップと、前記基準ピクチャより前に復号化されたピクチャが復号化参照ピクチャとして選択されることを禁止すべく、前記基準ピクチャより前に復号化され、かつ、メモリに格納されているピクチャを削除する削除ステップとを含み、画面内復号化ピクチャである前記復号化ピクチャが前記指定ステップで基準ピクチャとして指定された場合には、前記基準ピクチャより後に前記画面間復号化方法で復号化されるピクチャに対しては、前記基準ピクチャとして指定された前記復号化ピクチャと前記基準ピクチャより後に復号化されたピクチャのうちの少なくとも１つのピクチャから復号化参照ピクチャを選択し、前記基準ピクチャより前に復号化されたピクチャが復号化参照ピクチャとして選択されることを禁止することを特徴とする。
【００２９】
また、本発明に係る動画像復号化方法は、符号化されたピクチャを復号化する動画像復号化方法であって、前記動画像復号化方法では、画面内復号化方法と画面間復号化方法のいずれかでピクチャが復号化され、前記画面間復号化方法でピクチャを復号化する際は、前記画面内復号化方法で復号化された画面内復号化ピクチャ、前記画面内復号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内復号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャから復号化参照ピクチャを選択するものであり、前記動画像復号化方法は、符号化されたピクチャを復号化して復号化ピクチャを取得し、復号化対象ピクチャが、画面内符号化ピクチャとして、他の符号化対象ピクチャを符号化するときに選択できる符号化参照ピクチャを制限するときに基準となる符号化基準ピクチャとして指定された場合には、当該指定情報も共に復号化する復号化ステップと、前記指定情報に基づいて、復号化対象ピクチャを復号化するときに選択できる復号化参照ピクチャを制限するときに基準となる復号化基準ピクチャとして画面内復号化ピクチャである前記復号化ピクチャを指定する指定ステップとを含み、前記復号化ピクチャが前記指定ステップで復号化基準ピクチャとして指定された場合には、前記復号化基準ピクチャより後に前記画面間復号化方法で復号化されるピクチャに対しては、前記復号化基準ピクチャとして指定された前記復号化ピクチャと前記復号化基準ピクチャより後に復号化されたピクチャのうちの少なくとも１つのピクチャから復号化参照ピクチャを選択し、前記復号化基準ピクチャより前に復号化されたピクチャが復号化参照ピクチャとして選択されることを禁止することを特徴とする。
【００３０】
また、前記動画像復号化方法は、さらに、前記復号化基準ピクチャより前に復号化されたピクチャが復号化参照ピクチャとして選択されることを禁止すべく、前記復号化基準ピクチャより前に復号化され、かつ、メモリに格納されているピクチャを削除する削除ステップを含むことを特徴としてもよい。
【００３１】
また、上記目的を達成するために、本発明に係る動画像符号化方法は、動画像をピクチャの単位で符号化する方法であって、メモリに格納された複数のピクチャの中から、画面内符号化されたピクチャ以降に符号化された１つのピクチャを参照ピクチャとして特定する特定ステップと、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャと被符号化ピクチャとの差分である差分画像信号を算出し、得られた差分画像信号を符号化する符号化ステップと、符号化された前記差分画像信号を復号化し、前記参照ピクチャの画像信号と加算し、得られたピクチャを前記メモリに格納する格納ステップとを含むことを特徴とする。
【００３２】
また、本発明に係る動画像符号化方法は、動画像をピクチャの単位で符号化する方法であって、メモリに格納された複数のピクチャであって画面内符号化されたピクチャを、参照ピクチャを制限するときに基準となるピクチャとして指定する指定ステップと、前記指定ステップで指定されたピクチャ以降に符号化されるピクチャは、前記指定ステップで指定されたピクチャ以降に符号化されたピクチャのみを参照し、前記参照ピクチャを制限するときに基準となるピクチャであることを示す信号を符号化する符号化ステップと、を含むことを特徴とする。
【００３３】
また、本発明に係る動画像符号化方法は、動画像をピクチャの単位で符号化する方法であって、メモリに格納された複数のピクチャであって画面内符号化されたピクチャを、参照ピクチャを制限するときに基準となるピクチャとして指定する指定ステップと、前記指定ステップで指定されたピクチャより前に符号化されたピクチャを削除するステップと、前記指定ステップで指定されたピクチャ以降に符号化されるピクチャは、前記指定ステップで指定されたピクチャ以降に符号化されたピクチャのみを参照するように、前記指定ステップで指定されたピクチャより前に符号化されたピクチャを削除することを示す信号を符号化する符号化ステップと、を含むことを特徴とする。
【００３４】
また、本発明に係る動画像復号化方法は、動画像をピクチャの単位で復号化する方法であって、入力された画像符号化信号を復号化する復号化ステップと、メモリに格納された複数のピクチャの中から、画面内復号化されたピクチャ以降に復号化された１つのピクチャを参照ピクチャとして特定する特定ステップと、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャの画像信号を、復号化された被復号化ピクチャの差分画像信号と加算し、得られたピクチャを外部に出力するとともに、前記メモリに格納する格納ステップとを含むことを特徴とする。
【００３５】
また、本発明に係る動画像復号化方法は、動画像をピクチャの単位で復号化する方法であって、復号化対象ピクチャを復号するときに参照する参照ピクチャを制限するときに基準となるピクチャであることを示す信号を復号化する復号化ステップと、前記基準となるピクチャ以降に復号化されるピクチャは、前記基準となるピクチャであって画面内復号化されたピクチャ以降に復号化されたピクチャのみを参照ピクチャとして特定する特定ステップと、を含むことを特徴とする。
【００３６】
また、本発明に係る動画像復号化方法は、動画像をピクチャの単位で復号化する方法であって、復号化対象ピクチャを復号するときに参照する参照ピクチャを制限するときに基準となるピクチャであることを示す信号を復号化する復号化ステップと、前記基準となるピクチャであって画面内復号化されたピクチャより前に復号化されたピクチャを削除するステップと、前記基準となるピクチャ以降に復号化されるピクチャは、前記基準となるピクチャであって画面内復号化されたピクチャ以降に復号化されたピクチャのみを参照ピクチャとして特定する特定ステップと、を含むことを特徴とする。
【００３７】
また、本発明に係る動画像符号化装置は、動画像をピクチャの単位で符号化する動画像符号化装置であって、メモリに格納された複数のピクチャの中から、画面内符号化されたピクチャ以降に符号化された１つのピクチャを参照ピクチャとして特定する特定手段と、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャと被符号化ピクチャとの差分である差分画像信号を算出し、得られた差分画像信号を符号化する符号化手段と、符号化された前記差分画像信号を復号化し、前記参照ピクチャの画像信号と加算し、得られたピクチャを前記メモリに格納する格納手段とを備えたことを特徴とする。
【００３８】
また、本発明に係る動画像復号化装置は、動画像をピクチャの単位で復号化する動画像復号化装置であって、入力された画像符号化信号を復号化する復号化手段と、メモリに格納された複数のピクチャの中から、画面内復号化されたピクチャ以降に復号化された１つのピクチャを参照ピクチャとして特定する特定手段と、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャの画像信号を、復号化された被復号化ピクチャの差分画像信号と加算し、得られたピクチャを外部に出力するとともに、前記メモリに格納する格納手段とを備えたことを特徴とする。
【００３９】
さらに、本発明は、前記動画像符号化方法および動画像復号化方法におけるステップをコンピュータに実行させるプログラムとして、また前記動画像符号化方法により符号化したストリームデータとして実現し、ＣＤ−ＲＯＭや通信ネットワーク等の記録媒体や伝送媒体を介して流通させたりすることもできる。
【００４０】
例えば、ピクチャがピクチャＪ1、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5の順に符号化され、ピクチャＪ2が画面内符号化されたピクチャであり、それ以外のピクチャＪ1、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5が画面間符号化されたピクチャであるとする。すなわち、ビットストリームの順序はピクチャＪ1、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5の順序である。
【００４１】
この場合、本発明に係る動画像符号化方法および動画像復号化方法では、画面間符号化および復号化を行う時に参照画像として選択可能なピクチャは、例えばピクチャＪ5を符号化する時には、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4の参照が可能である。また、ピクチャＪ4を符号化する時には、画面内符号化されたピクチャＪ2より前のピクチャＪ1を参照することは禁止されるため、ピクチャＪ2とピクチャＪ3のみが参照可能となる。
【発明の効果】
【００４２】
以上の説明から明らかなように、本発明に係る動画像符号化方法は、動画像をピクチャの単位で符号化する方法であって、メモリに格納された複数のピクチャの中から、画面内符号化されたピクチャ以降に符号化された１つのピクチャを参照ピクチャとして特定する特定ステップと、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャと被符号化ピクチャとの差分である差分画像信号を算出し、得られた差分画像信号を符号化する符号化ステップと、符号化された前記差分画像信号を復号化し、前記参照ピクチャの画像信号と加算し、得られたピクチャを前記メモリに格納する格納ステップとを含むことを特徴とする。
【００４３】
これによって、画面内符号化されたピクチャより前のピクチャを参照画像として参照した符号化を行わないので、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能なストリームである画像符号化信号が生成できる。このように、蓄積メディアで重要な途中からの再生や、無線・有線伝送時に重要な伝送時の誤り耐性の点での長所が大きく、実際のアプリケーションにおいて優れている。
【００４４】
また、本発明に係る動画像復号化方法は、動画像をピクチャの単位で復号化する方法であって、入力された画像符号化信号を復号化する復号化ステップと、メモリに格納された複数のピクチャの中から、画面内復号化されたピクチャ以降に復号化された１つのピクチャを参照ピクチャとして特定する特定ステップと、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャの画像信号を、復号化された被復号化ピクチャの差分画像信号と加算し、得られたピクチャを外部に出力するとともに、前記メモリに格納する格納ステップとを含むことを特徴とする。
【００４５】
これによって、画面内復号化されたピクチャ以降のピクチャのみを参照画像として参照して符号化した画像符号化信号を正しく復号化して復号画像信号を得ることができ、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能である。
【図面の簡単な説明】
【００４６】
【図１】図１は、本発明に係る動画像符号化装置の一実施の形態の構成を示すブロック図である。
【図２】図２は、上記実施の形態での動き検出ユニットの動作を示すフロー図である。
【図３】図３は、上記実施の形態での画像符号化時に参照画像として選択可能なピクチャを示す説明図である。
【図４】図４は、本発明に係る動画像符号化装置の他の実施の形態の構成を示すブロック図である。
【図５】図５は、本発明に係る動画像復号化装置の一実施の形態の構成を示すブロック図である。
【図６】図６は、上記実施の形態での動き復元ユニットの動作を示すフロー図である。
【図７】図７は、上記実施の形態での復号化に使用する参照画像の方法１〜３による選択について説明する説明図であり、（ａ）復号化に使用する参照画像の説明図、（ｂ）ピクチャの位置関係を示す説明図である。
【図８】図８は、本発明に係る動画像復号化装置の実施の形態２の構成を示すブロック図である。
【図９】図９は、上記実施の形態での動き復元ユニットの動作を示すフロー図である。
【図１０】図１０は、上記実施の形態１および実施の形態２の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。
【図１１】図１１は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図１２】図１２は、携帯電話の一例を示す図である。
【図１３】図１３は、携帯電話の内部構成を示すブロック図である。
【図１４】図１４は、ディジタル放送用システムの全体構成を示すブロック図である。
【図１５】図１５は、従来の動画像符号化方法および動画像復号化方法の概念の説明図である。
【図１６】図１６は、従来の動画像符号化装置の構成を示すブロック図である。
【図１７】図１７は、従来の動画像復号化装置の構成を示すブロック図である。
【発明を実施するための形態】
【００４７】
以下、本発明の実施の形態について、図１から図１４を用いて説明する。
【００４８】
（実施の形態１）
図１は本発明に係る動画像符号化装置の一実施の形態の構成を示すブロック図である。なお、図１６に示す従来の動画像符号化装置４の各ユニットと同じ動作をする機器は同じ記号を付す。
【００４９】
動画像符号化装置１は、入力される画像信号Vinを圧縮符号化して可変長符号化等のビットストリームに変換した画像符号化信号Strを出力する装置であり、動き検出ユニット１０１、選択ユニット４０２、画像信号減算ユニット４０３、符号化ユニット４０４、復号化ユニット４０５、加算ユニット４０６、選択ユニット４０７、メモリ４０８〜４１０、およびカウンタユニット１０２を備えている。
【００５０】
カウンタユニット１０２は、外部から入力される画面内符号化指示信号Resetで画面内符号化が指示されると、画面内符号化されたピクチャからのピクチャ数の計数を開始し、その結果を参照可能ピクチャ数Numとして動き検出ユニット１０１に通知する。
【００５１】
動き検出ユニット１０１は、参照可能ピクチャ数Numに基づいて、メモリ４０８〜４１０に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から画面内符号化以降に符号化および復号化したものだけを対象として、それぞれ画像信号Vinと比較することで画面間差分値の大きさ（誤差エネルギー）が小さい参照画像Refとその画面間差分値の大きさが小さくなる画素位置を示す動き情報MVを決定する。なお、通常は、誤差エネルギーが最小となる参照画像Refおよび画素位置を決定することが多いが、誤差エネルギーが最小となるのではなく、誤差エネルギーが小さく且つ圧縮率が大きくできるように動き情報MVを決定してもよい。参照画像Refを示すために、参照画像指示信号RefFrmを選択ユニット４０２に出力する。
【００５２】
選択ユニット４０２は、切り替え指示信号である参照画像指示信号RefFrmに基づいてメモリ４０８〜４１０に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から選択し、参照画像Refとして出力する。
【００５３】
減算ユニット４０３は、画像信号Vinと参照画像Refの差分画像信号Difを計算する。符号化ユニット４０４は、差分画像信号Difと、参照画像を特定するための情報である動き情報MVとを符号化し、画像符号化信号Strと符号化データCodedを出力する。ここで、符号化データCodedは画像を復元するために必要なデータ（動き情報MVや差分画像信号Difを符号化したデータ）であり、画像符号化信号Strは符号化データCodedを更に可変長符号化等のビットストリームに変換したものである。
【００５４】
復号化ユニット４０５は、符号化データCodedを復号化して復元差分画像信号RecDifを得る。加算ユニット４０６は、参照画像Refと復元差分画像信号RecDifを加算する。選択ユニット４０７は、入力された復号画像信号Reconを後続のピクチャの符号化時に参照画像として参照可能とするため、メモリ４０８〜４１０のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。本実施の形態では、最も古い時刻にメモリに保存した復号画像信号が新しい復号画像信号Reconで上書きされるように選択ユニット４０７で切り替えを行う。
【００５５】
次に、上記のように構成された動画像符号化装置の動作について説明する。
図２は、動き検出ユニット１０１の動作を示すフロー図である。
【００５６】
画像信号Vinは、画像信号減算ユニット４０３および動き検出ユニット１０１に入力される。
【００５７】
動き検出ユニット１０１は、画像信号Vinが入力されると、メモリ４０８に格納されている参照画像Ref1を読み出す（ステップＳ１）。次に、動き検出ユニット１０１は、この参照画像Ref1が画面内符号化されたピクチャ以降のピクチャであるか否かの判断を行う。すなわち、各ピクチャ固有のピクチャ番号とカウンタユニット１０２より通知された参照可能ピクチャ数Numとに基づいて、例えば式（Ａ）を用いて判断を行う（ステップＳ２）。ここでピクチャ番号は符号化されたピクチャにつく識別番号であり、下記の特徴を有する。
【００５８】
つまり、画像信号Vinのピクチャ番号は、メモリ４０８〜４１０に保存されて参照画像となるピクチャで最も最近保存されたピクチャのピクチャ番号より１だけ大きい。
【００５９】
参照画像のピクチャ番号
≧  画像信号Vinのピクチャ番号−参照可能ピクチャ数Num  ……（Ａ）
【００６０】
この結果、上式（Ａ）を満たす場合は参照画像Ref1が画面内符号化されたピクチャ以降のピクチャであるので、動き検出ユニット１０１は、画像信号Vinと参照画像Ref1との差分値を算出する（ステップＳ３）。一方、上式（Ａ）を満たさない場合は、差分の算出を行わない。
【００６１】
次に、動き検出ユニット１０１は、メモリ４０９に格納されている参照画像Ref2およびメモリ４１０に格納されている参照画像Ref3について、上記の参照画像Ref1について行った処理と同様の処理をそれぞれ行う（ステップＳ１〜ステップＳ３）。
【００６２】
次に、動き検出ユニット１０１は、上記のように差分の算出を行った参照画像の中で画面間差分値の大きさが最も小さい参照画像を決定する（ステップＳ４）。そして、動き検出ユニット１０１は、決定した参照画像を特定するための情報である動き情報MVとして出力し、同時に、決定した参照画像を選択ユニット４０２が選択して参照画像Refとして出力できるように、切り替え指示信号である参照画像指示信号RefFrmを出力する（ステップＳ５）。
【００６３】
なお、ステップＳ３における差分値の算出をした後、ステップＳ４において差分の算出を行った参照画像の中で画面間差分値の大きさが小さい参照画像を決定し、ステップＳ１，ステップＳ２，ステップＳ３，ステップＳ４をメモリ４０８から４１０において繰返すようにしてもよい。
【００６４】
一方、画像信号Vinが入力された減算ユニット４０３は、この画像信号Vinと、選択ユニット４０２により選択された参照画像Refとの差分を計算し、差分画像信号Difを符号化ユニット４０４へ出力する。次に、符号化ユニット４０４は、差分画像信号Difと、動き検出ユニット１０１が出力した動き情報MVとを符号化し、画像符号化信号Strと符号化データCodedを出力する。
【００６５】
復号化ユニット４０５は、符号化データCodedを復号化して復元差分画像信号RecDifを加算ユニット４０６へ出力する。加算ユニット４０６は、復元差分画像信号RecDifと、選択ユニット４０２により選択された参照画像Refとを加算し、復号画像信号Reconを選択ユニット４０７へ出力する。選択ユニット４０７は、復号画像信号Reconを後続のピクチャの符号化時に参照画像として参照可能とするため、メモリ４０８〜４１０のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
【００６６】
図３は、画像符号化時に参照画像として選択可能なピクチャを示す説明図である。図１５と同様にピクチャＪ2が画面内符号化されたピクチャであり、それ以外のピクチャＪ1、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5が画面間符号化されたピクチャである。ビットストリームの符号化順序はピクチャＪ1、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4、ピクチャＪ5の順序である。
【００６７】
上記のように動画像符号化装置１が動作することによって、画面間符号化を行う時に参照画像として選択可能なピクチャは、図３に示すように例えばピクチャＪ5を符号化する時には、ピクチャＪ2、ピクチャＪ3、ピクチャＪ4の参照が可能である。また、ピクチャＪ4を符号化する時には、画面内符号化されたピクチャＪ2より前のピクチャＪ1を参照することは禁止されるため、ピクチャＪ2とピクチャＪ3のみが参照可能となる。
【００６８】
以上のように、画面内符号化されたピクチャ以降に符号化したピクチャのみを参照画像として参照した符号化を行っているので、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能なストリームである画像符号化信号Strが生成できる。
【００６９】
また、DVDやハードディスクに記録された画像信号を途中から再生するためには、この途中から復元可能な仕組みが必要であり、途中から再生を開始したいピクチャでResetの指示を行う。このResetの指示は画像を符号化する際に操作者が決定し指示をしても良いし、一定のピクチャ周期もしくは時間が経過する毎にResetの指示を出すようにしてもよい。
【００７０】
なお、各ピクチャが画面内符号化されているか、画面間符号化されているか等の情報は各ピクチャの補助情報として各ピクチャが有している。そこで、さらに上記実施の形態１で説明した画面内符号化されたピクチャが、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号を符号化してもよい（図４）。そして、画面内符号化されたピクチャでありかつ、この画面内符号化指示信号Resetにより特定されたピクチャであることを示されたピクチャであるときに、この特定されたピクチャより前にメモリに記憶されたピクチャを参照しないようにしてもよい。
【００７１】
また、画面内符号化されているピクチャを基準に、画面内符号化されているピクチャより前に記憶されたピクチャを参照しないことを意味したが、画面内符号化されているピクチャによって、画面内符号化されているピクチャを基準に、画面内符号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するようにしてもよい。
【００７２】
また、画面内符号化指示信号Resetは、画面内符号化されているピクチャより前に記憶されたピクチャを参照しないことを意味したが、画面内符号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するために、この画面内符号化指示信号Resetとは別の制御命令を符号化してもよい。
【００７３】
図５は本発明に係る動画像復号化装置の一実施の形態の構成を示すブロック図である。なお、図１７に示す従来の動画像復号化装置５の各ユニットと同じ動作をする機器は同じ記号を付す。
【００７４】
動画像復号化装置２は、上記実施の形態１に示した動画像符号化装置１が符号化した画像符号化信号Strを復号化する装置であり、復号化ユニット２０１、動き復元ユニット２０２、選択ユニット５０３、加算ユニット５０４、選択ユニット５０５、メモリ５０６〜５０８、およびカウンタユニット２０３を備えている。
【００７５】
復号化ユニット２０１は、入力された画像符号化信号Strを復号化し、復元差分画像信号RecDif、動き情報MV、および画面内符号化指示信号Resetを出力する。カウンタユニット２０３は、画面内符号化指示信号Resetで画面内符号化が指示されると、画面内符号化からのピクチャ数の計数を開始し、その結果を参照可能ピクチャ数Numとして動き復元ユニット２０２に通知する。
【００７６】
動き復元ユニット２０２は動き情報MVを復号化し、この動き情報MVに対応する参照画像が、参照可能ピクチャ数Numに基づいて参照可能なピクチャであるか否かの判断を行った上で、参照画像を決定する。
【００７７】
選択ユニット５０３は、切り替え指示信号である参照画像指示信号RefFrmに基づいてメモリ５０６〜５０８に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から選択し、参照画像Refとして出力する。加算ユニット５０４は復元差分画像信号RecDifと参照画像Refを加算して復号画像信号Vout1（これは図１では復号画像信号Reconに相当）を出力する。
【００７８】
選択ユニット５０５は、入力された復号画像信号Vout1を後続のピクチャの復号化時に参照画像として参照可能とするため、メモリ５０６〜５０８のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。本実施の形態では、最も古い時刻にメモリに保存した画像が新しい復号画像信号Reconで上書きされるように選択ユニット５０５で切り替えが行われる。
【００７９】
次に、上記のように構成された動画像復号化装置の動作について説明する。
図６は、動き復元ユニット２０２の動作を示すフロー図である。
【００８０】
画像符号化信号Strは、復号化ユニット２０１に入力される。復号化ユニット２０１は、入力された画像符号化信号Strを復号化し、復元差分画像信号RecDifと動き情報MVとを出力する。また、復号化ユニット２０１は、入力された画像符号化信号Strが画面内符号化されたピクチャである場合、画面内符号化指示信号Resetを出力する。
【００８１】
カウンタユニット２０３は、復号化ユニット２０１より画面内符号化指示信号Resetが入力されると、画面内符号化されたピクチャからのピクチャ数の計算を開始し、参照可能ピクチャ数Numとして動き復元ユニット２０２に通知する。
【００８２】
動き情報MVと参照可能ピクチャ数Numとが入力された動き復元ユニット２０２は、参照画像を特定するための情報である動き情報MVに基づいて符号化時に参照した参照画像を特定する（ステップＳ１１）。次に、動き復元ユニット２０２は、この参照画像が画面内復号化されたピクチャ以降のピクチャであるか否かの判断を行う。すなわち、各ピクチャ固有のピクチャ番号とカウンタユニット２０３より通知された参照可能ピクチャ数Numとに基づいて、例えば以下の式（Ｂ）を用いて判断を行う（ステップＳ１２）。
【００８３】
参照画像のピクチャ番号
≧  画像符号化信号Strのピクチャ番号−参照可能ピクチャ数Num ……（Ｂ）
【００８４】
この結果、上式（Ｂ）を満たす場合は参照画像が画面内復号化されたピクチャ以降のピクチャであるので、動き復元ユニット２０２は、動き情報MVに基づいて特定された参照画像を復号化に使用する参照画像として選択する（ステップＳ１３）。
【００８５】
一方、上式（Ｂ）を満たさない場合は、参照画像が画面内復号化されたピクチャより前のピクチャである。本来、符号化時には画面内符号化されたピクチャ以降のピクチャのみを参照して符号化されているはずである。従って、動き情報MVに基づいて特定された復号化に必要な参照画像は、参照可能ピクチャ数Numから得られる画面内復号化されたピクチャ以降に復号化したピクチャであるはずである。しかしながら、伝送誤り等により画面内復号化されたピクチャより前に復号化したピクチャを参照する、すなわち上式（Ｂ）を満たさない可能性がある。そこで、動き復元ユニット２０２は、上式（Ｂ）を満たさない場合に復号化に使用する参照画像をあらかじめ設定する以下に説明する方法１〜３のいずれかによって選択する（ステップＳ１４）。
【００８６】
図７は復号化に使用する参照画像の方法１〜３による選択について説明する説明図であり、（ａ）復号化に使用する参照画像の説明図、（ｂ）ピクチャの位置関係を示す説明図である。ここでは、ピクチャＰ4の復号化時を示し、ピクチャＰ2が画面内復号化されたピクチャであり、それ以外のピクチャＰ1、ピクチャＰ3、ピクチャＰ4が画面間復号化されたピクチャである。ピクチャの表示時刻の順序およびピクチャの復号開始時刻（ストリーム中の位置）の順序はピクチャＰ1、ピクチャＰ2、ピクチャＰ3、ピクチャＰ4の順序で古い時刻である。
【００８７】
（方法１）
動き情報MVに基づいて特定された参照画像（ピクチャＰ1）を、そのまま復号化に使用する参照画像として選択する。この場合、もし、符号化時に誤って画面内符号化されたピクチャより前のピクチャを参照して符号化されていても、ピクチャＰ1が正しく復号化できていれば正しく復号化できる。
【００８８】
（方法２）
画面内復号化されたピクチャ（ピクチャＰ2）を、復号化に使用する参照画像として選択する。この場合、画面内復号化されたピクチャは参照画像として参照可能なピクチャの中で最も前に復号化されたピクチャであるから、参照可能なピクチャの中で画面内復号化されたピクチャより前のピクチャと最も相関が強く、符号化した際の参照画像が画面内復号化されたピクチャより前に復号化されたピクチャであった場合に画質が損なわれない可能性が高い。
【００８９】
（方法３）
直前に復号化されたピクチャ（ピクチャＰ3）を、復号化に使用する参照画像として選択する。一般的に画像信号は時間間隔が短いほど相関が高く、その結果、直前に復号化されたピクチャが参照画像となる確率が非常に高い。従って、動き情報MVに基づいて特定された参照画像が間違っているとすれば、最も相関が強い直前に復号化されたピクチャが本来の参照画像である可能性が高く、画質が損なわれない可能性が高い。
【００９０】
なお、これらの方法１から方法３はいずれか１つを用いても、複数の方法を組み合わせて用いてもいずれでもよい。組合せの例としては、方法１において動き情報MVに基づいて特定された参照画像（ピクチャＰ1）を、そのまま復号化に使用する参照画像として選択できないときに、例えば方法３に示す直前に復号化されたピクチャを、復号化に使用する参照画像として選択するといったデフォルト処理を行うようにする。
【００９１】
次に、動き復元ユニット２０２は、メモリ５０６〜５０８に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3を順次読み出し、上記のように選択された参照画像であるか否かの判断を行う（図６、ステップＳ１５）。すなわち、選択された参照画像がメモリ５０６〜５０８のどこに格納されているかを特定する。そして、特定した参照画像Ref1、参照画像Ref2、参照画像Ref3のいずれかを選択ユニット５０３が選択して参照画像Refとして出力できるように、切り替え指示信号である参照画像指示信号RefFrmを出力する（図６、ステップＳ１６）。
【００９２】
加算ユニット５０４は、参照画像Refと復号化ユニット２０１の出力した復元差分画像信号RecDifとを加算して、復号画像信号Vout1（これは図１では復号画像信号Reconに相当）を選択ユニット５０５へ出力する。選択ユニット５０５は、入力された復号画像信号Vout1を後続のピクチャの復号化時に参照画像として参照可能とするため、メモリ５０６〜５０８のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
【００９３】
以上のように、画面内復号化されたピクチャ以降のピクチャのみを参照画像として参照して符号化した画像符号化信号Strを正しく復号化して復号画像信号Vout1を得ることができ、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能である。
【００９４】
なお、本実施の形態では、動き復元ユニット２０２が復号化に使用する参照画像を選択する方法１〜３があらかじめ設定されているが、本発明はこれに限られるものではない。例えば、動き情報MVで特定されるピクチャが参照可能なピクチャ数と大きく違っている場合は方法３、動き情報MVで特定されるピクチャがメモリ内に格納されていて参照可能な場合は方法１、それ以外は方法２というように状況に応じて３つの方法を、もしくはその中の２つの方法を動的に切り替えてもよい。
【００９５】
また、各ピクチャが画面内復号化されるか、画面間復号化されるか等の情報は各ピクチャの補助情報として各ピクチャが有している。そこで、さらに上記実施の形態１で説明した画面内符号化されたピクチャが、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号を含む画像符号化信号Strを受信し、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号を復号化してもよい。そして、画面内符号化されたピクチャでありかつ、この画面内符号化指示信号Resetにより特定されたピクチャであることを示されたピクチャであるときに、この特定されたピクチャより前にメモリに記憶された（復号化された）ピクチャを参照しないようにしてもよい。
【００９６】
また、画面内復号化されているピクチャを基準に、画面内復号化されているピクチャより前に記憶されたピクチャを参照しないことを意味したが、画面内復号化されているピクチャによって、画面内復号化されているピクチャを基準に、画面内復号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するようにしてもよい。
【００９７】
さらに、画面内符号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するために、この画面内符号化指示信号Resetとは別の制御命令を含む画像符号化信号Strを受信し、この制御命令を復号し、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号とともに受信しているかを判別し、エラー制御をするようにしてもよい。
【００９８】
（実施の形態２）
次に、本発明の実施の形態２の動画像復号化装置について説明する。
【００９９】
図８は本発明に係る動画像復号化装置の実施の形態２の構成を示すブロック図である。なお、図５に示す動画像復号化装置２の各ユニットと同じ動作をする機器は同じ記号を付し、説明を省略する。
【０１００】
動画像復号化装置３は、図５に示す動画像復号化装置２の構成に選択ユニット３０１を加えて備え、伝送誤り等により動き情報MVにより特定される参照画像が、画面内復号化されたピクチャより前に復号化したピクチャである場合の動作が実施の形態１と異なる。
【０１０１】
選択ユニット３０１は、動き復元ユニット３０２より通知されるエラー通知信号Errに基づいて、加算ユニット５０４より出力される復号画像信号Recon、または選択ユニット５０３より出力される参照画像Refのどちらかを復号画像信号Vout2として出力する。
【０１０２】
次に、上記のように構成された動画像復号化装置の動作について説明するが、上記実施の形態１と同様の部分については説明を省略する。
【０１０３】
図９は、動き復元ユニット３０２の動作を示すフロー図である。
図９に示すステップＳ２１〜Ｓ２２までの動作は、図６に示すステップＳ１１〜Ｓ１２までの動作と同様である。次に、動き復元ユニット３０２は、特定した参照画像が画面内復号化されたピクチャ以降のピクチャであるか否かの判断を行った結果、上式（Ｂ）を満たさない場合、すなわち参照画像が画面内復号化されたピクチャより前に復号化したピクチャである場合、誤りがあるとしてエラー通知信号Errを選択ユニット３０１に対して通知する。また、動き復元ユニット３０２は、直前に復号化した復号化画像を参照画像および復号画像信号として選択する（ステップＳ２３）。すなわち、エラー通知信号Errを通知した場合は選択ユニット３０１は参照画像Refを復号画像信号Vout2として出力するため、直前に復号化した復号化画像を参照画像とすることは、直前に復号化した復号化画像を復号画像信号とすることになる。
【０１０４】
一方、上記判断の結果、上式（Ｂ）を満たす場合は参照画像が画面内復号化されたピクチャ以降のピクチャであるので、上記実施の形態２と同様に動き復元ユニット３０２は、動き情報MVに基づいて特定された参照画像を復号化に使用する参照画像として選択する（ステップＳ２４）。
【０１０５】
次の図９に示すステップＳ２５〜Ｓ２６までの動作は、図６に示すステップＳ１５〜Ｓ１６までの動作と同様である。
【０１０６】
次に、加算ユニット５０４は、参照画像Refと復号化ユニット２０１の出力した復元差分画像信号RecDifとを加算して、復号画像信号Reconを出力する。選択ユニット３０１は、動き復元ユニット３０２よりエラー通知信号Errが通知されていない場合には、加算ユニット５０４より出力される復号画像信号Reconを復号画像信号Vout2として出力し、エラー通知信号Errが通知された場合には、選択ユニット５０３より出力される参照画像Refを復号画像信号Vout2として出力する。すなわち、エラー通知信号Errが通知された場合には、直前に復号化された復号化画像をそのまま復号画像信号Vout2として出力することになる。
【０１０７】
選択ユニット５０５は、入力された復号画像信号Vout2を後続のピクチャの復号化時に参照画像として参照可能とするため、メモリ５０６〜５０８のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
【０１０８】
以上のように、例えば伝送誤り等により画面内復号化されたピクチャより前のピクチャを参照するという誤りが発生した場合に、最も画素の相関が強い直前の復号化画像である参照画像Refを復号画像信号Vout2として出力しているので、誤りによる画像劣化の影響を最小限に抑えることができる。
【０１０９】
なお、上記各実施の形態では、メモリの個数は３としたため最大３ピクチャの符号化画像を参照可能であるが、これに限られるものではなく、メモリの個数を増加すればより多くの符号化画像を参照した符号化および復号化が可能である。
【０１１０】
また、上記各実施の形態では、前記動画像符号化装置１および動画像復号化装置２、３には、図示しない動き補償ユニットがそれぞれ選択ユニット４０２および選択ユニット５０３の出力側に設けられ、画素のピクチャ間の動き量を補正する動き補償を行っている。
【０１１１】
また、上記各実施の形態では、画面間符号化を行う時に、画面内符号化されたピクチャが存在するとそのすべてについて、それより前に符号化されたピクチャを参照画像として参照しないように制限しているが、本発明はこれに限られるものではない。例えば、画面内符号化されたピクチャであっても、それより前に符号化されたピクチャを参照画像として参照しないように制限しない、すなわち従来のようにそれより前に符号化されたピクチャを参照画像として参照することができる種類の画面内符号化されたピクチャを設け、必要に応じて使い分けることも可能である。この場合、２種類の画面内符号化されたピクチャを区別するための情報は、例えば画像符号化信号Str内のヘッダ情報等に格納することができる。
【０１１２】
さらに、上記各実施の形態におけるカウンタユニット１０２、２０３での計数は、ピクチャの符号化および復号化順（Decoding order）でなく、ピクチャの表示順（Display order）であっても構わない。
【０１１３】
（実施の形態３）
更に、上記各実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１１４】
図１０は、上記実施の形態１および実施の形態２の動画像符号化方法または動画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１１５】
図１０（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１０（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化方法および動画像復号化方法が記録されている。
【０１１６】
また、図１０（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法および動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムに転送する。
【０１１７】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１１８】
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
【０１１９】
図１１は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
【０１２０】
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１２１】
しかし、コンテンツ供給システムex１００は図１１のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
【０１２２】
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【０１２３】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【０１２４】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１２５】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
【０１２６】
その一例として携帯電話について説明する。
図１２は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【０１２７】
さらに、携帯電話ex１１５について図１３を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【０１２８】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
【０１２９】
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１３０】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【０１３１】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【０１３２】
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【０１３３】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【０１３４】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
【０１３５】
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【０１３６】
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１３７】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１４に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【０１３８】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１３９】
なお、カーナビゲーションex４１３の構成は例えば図１３に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
【０１４０】
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１４１】
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１４２】
また、上記実施の形態に示した動画像符号化方法および動画像復号化方法は、例えばＤＶＤ、ＳＤカード、メモリ等の記憶メディアに記録したストリームデータを途中再生する場合に有効である。
【産業上の利用可能性】
【０１４３】
本発明の動画像復号化方法および動画像復号化装置は、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができ、また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することができるという効果を奏し、例えばデジタルビデオカメラや携帯電話などに適用することができる。
【符号の説明】
【０１４４】
１、４  動画像符号化装置
２、３、５  動画像復号化装置
１０１  動き検出ユニット
１０２、２０３  カウンタユニット
２０１、４０５  復号化ユニット
２０２、３０２  動き復元ユニット
３０１、４０２、４０７、５０３、５０５  選択ユニット
４０３  画像信号減算ユニット
４０４  符号化ユニット
４０６、５０４  加算ユニット
４０８〜４１０、５０６〜５０８  メモリ
Ｃｓ    コンピュータシステム
ＦＤ    フレキシブルディスク
ＦＤＤ  フレキシブルディスクドライブ
【図１】
2010259094.tif 000003
【図２】
2010259094.tif 000004
【図３】
2010259094.tif 000005
【図４】
2010259094.tif 000006
【図５】
2010259094.tif 000007
【図６】
2010259094.tif 000008
【図７】
2010259094.tif 000009
【図８】
2010259094.tif 000010
【図９】
2010259094.tif 000011
【図１０】
2010259094.tif 000012
【図１１】
2010259094.tif 000013
【図１２】
2010259094.tif 000014
【図１３】
2010259094.tif 000015
【図１４】
2010259094.tif 000016
【図１５】
2010259094.tif 000017
【図１６】
2010259094.tif 000018
【図１７】
2010259094.tif 000019
【手続補正書】
【提出日】平成22年9月2日(2010.9.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声データと、符号化画像データとを受信する受信装置であって、
前記受信装置は、
前記音声データを復号化して音声信号を生成する音声処理部と、
前記符号化画像データを復号化して画像信号を生成する画像処理部と、を有し、
前記画像処理部は、
画面内復号化手段と画面間復号化手段を含み、
前記画面間復号化手段で、前記符号化画像データに含まれる符号化ピクチャを復号化する際は、前記画面内復号化手段で復号化された画面内復号化ピクチャ、前記画面内復号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内復号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャから復号化参照ピクチャを選択するものであり、
符号化ピクチャを復号化して復号化ピクチャを取得し、前記復号化ピクチャが、他の符号化されたピクチャを復号化するときに選択できる復号化参照ピクチャを制限する基準となる基準ピクチャとして指定された画面内復号化ピクチャであることを示す情報が、前記符号化ピクチャに付随している場合に、前記情報を復号化する復号化手段と、
前記情報に基づいて、画面内復号化ピクチャである前記復号化ピクチャを基準ピクチャとして指定する指定手段とを備え、
画面内復号化ピクチャである前記復号化ピクチャが前記指定手段で基準ピクチャとして指定された場合には、前記基準ピクチャより後に前記画面間復号化方法で復号化される符号化ピクチャに対しては、前記基準ピクチャとして指定された前記復号化ピクチャと前記基準ピクチャより後に復号化されたピクチャのうちの少なくとも１つのピクチャから復号化参照ピクチャを選択し、前記基準ピクチャより前に復号化されたピクチャが復号化参照ピクチャとして選択されることを禁止する
ことを特徴とする受信装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
上記目的を達成するために、本発明に係る受信装置は、音声データと、符号化画像データとを受信する受信装置であって、前記受信装置は、前記音声データを復号化して音声信号を生成する音声処理部と、前記符号化画像データを復号化して画像信号を生成する画像処理部と、を有し、前記画像処理部は、画面内復号化手段と画面間復号化手段を含み、前記画面間復号化手段で、前記符号化画像データに含まれる符号化ピクチャを復号化する際は、前記画面内復号化手段で復号化された画面内復号化ピクチャ、前記画面内復号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内復号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャから復号化参照ピクチャを選択するものであり、符号化ピクチャを復号化して復号化ピクチャを取得し、前記復号化ピクチャが、他の符号化されたピクチャを復号化するときに選択できる復号化参照ピクチャを制限する基準となる基準ピクチャとして指定された画面内復号化ピクチャであることを示す情報が、前記符号化ピクチャに付随している場合に、前記情報を復号化する復号化手段と、前記情報に基づいて、画面内復号化ピクチャである前記復号化ピクチャを基準ピクチャとして指定する指定手段とを備え、画面内復号化ピクチャである前記復号化ピクチャが前記指定手段で基準ピクチャとして指定された場合には、前記基準ピクチャより後に前記画面間復号化方法で復号化される符号化ピクチャに対しては、前記基準ピクチャとして指定された前記復号化ピクチャと前記基準ピクチャより後に復号化されたピクチャのうちの少なくとも１つのピクチャから復号化参照ピクチャを選択し、前記基準ピクチャより前に復号化されたピクチャが復号化参照ピクチャとして選択されることを禁止することを特徴とする。
また、上記目的を達成するために、本発明に係る動画像復号化方法は、複数のピクチャで構成される動画像を符号化する動画像符号化方法を用いて生成された符号化信号を復号化する動画像復号化方法であって、前記動画像符号化方法は、前記動画像を構成する各ピクチャを画面内符号化方法あるいは画面間符号化方法により符号化するものであり、前記画面間符号化方法で前記ピクチャを符号化する際は、前記画面内符号化方法で符号化される画面内符号化ピクチャ、前記画面内符号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内符号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャを参照ピクチャとして選択し、前記画面内符号化方法で前記ピクチャを符号化する際は、前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定するか否かを選択し、前記画面内符号化ピクチャを基準ピクチャとして指定した場合は、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前に符号化されたピクチャの参照を禁止すべく、前記基準ピクチャより前に符号化され、かつ、メモリに格納されているピクチャを削除するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャとして指定したことを示す情報を符号化し、前記動画像復号化方法は、画面内復号化方法と画面間復号化方法のいずれかで、前記動画像を構成する各ピクチャを復号化するものであり、前記画面間復号化方法で前記ピクチャを復号化する際は、前記画面内復号化方法で復号化された画面内復号化ピクチャ、前記画面内復号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内復号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも１つのピクチャから参照ピクチャを選択し、前記画面内復号化方法で前記ピクチャを復号化する際は、基準ピクチャとして指定したことを示す情報に基づいて、前記画面内復号化ピクチャを基準ピクチャとして指定するか否かを判断し、前記画面内復号化ピクチャが基準ピクチャとして指定された場合には、前記基準ピクチャより後に前記画面間復号化方法で復号化されるピクチャに対しては、前記基準ピクチャとして指定された前記画面内復号化ピクチャと前記基準ピクチャより後に復号化されたピクチャのうちの少なくとも１つのピクチャから参照ピクチャを選択し、前記基準ピクチャより前に復号化されたピクチャが参照ピクチャとして選択されることを禁止すべく、前記基準ピクチャより前に復号化され、かつ、メモリに格納されているピクチャを削除することを特徴とする。