(57)【要約】【課題】  インター符号化を行った動画像データのフレームを復号する際に、復号対象であるフレームの参照フレームが欠落した場合でも、そのフレームを復号可能とする画像処理装置及び画像処理方法を提供する。【解決手段】  ＤＣＴ器１０３、量子化器１０４、可変長符号化器１０５は、映像データのＩフレームに対してフレーム内符号化処理などを行い、疑似参照符号化データを生成する。これにより、メモリ１００は、その疑似参照符号化データを蓄積する。次に、Ｐフレームに対して上述したＩフレームを利用してフレーム間符号化処理を行い可変長符号化器１０５は、符号化データを出力する。次に、多重化器１０６は、メモリ１００が蓄積する疑似参照符号化データと可変長符号化器１０５が出力する符号化データとを多重化したストリームを出力する。【選択図】  図２
2004350263.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、
画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化手段と、
前記画面内符号化モードで符号化される画像データに対して符号化する周波数成分を制限して符号化する第２の符号化手段と、
前記第１の符号化手段により符号化された画像データに前記第２の符号化手段により符号化された画像データを多重化して出力する多重化手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記第２の符号化手段は、ＤＣ成分のみに制限して符号化することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の符号化手段及び前記第２の符号化手段はＭＰＥＧ−４符号化方式により画像データを符号化することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記多重化手段は、ＶＯＰ内のユーザデータエリアに前記第２の符号化手段により符号化された画像データを配置することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記多重化手段は、前記第１の符号化手段により画面間符号化された画像データのストリーム中に前記第２の符号化手段により符号化された画像データを多重化することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第２の符号化手段により符号化された画像データは前記第１の符号化手段で画面間符号化された画像データを復号する際の参照画像として用いられることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
画像データを入力する入力手段と、
画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化手段と、
前記第１の符号化手段により符号化された画像データをローカルデコードして得られた画像データに対して符号化する周波数成分を制限して符号化する第２の符号化手段と、
前記第１の符号化手段により符号化された画像データに前記第２の符号化手段により符号化された画像データを多重化して出力する多重化手段と
を具備することを特徴とする画像処理装置。
【請求項８】
前記第２の符号化手段は、ＤＣ成分のみに制限して符号化することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第１の符号化手段及び前記第２の符号化手段はＭＰＥＧ−４符号化方式により画像データを符号化することを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記多重化手段は、ＶＯＰ内のユーザデータエリアに前記第２の符号化手段により符号化された画像データを配置することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記多重化手段は、前記第１の符号化手段により画面間符号化された画像データのストリーム中に前記第２の符号化手段により符号化された画像データを多重化することを特徴とする請求項７〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第２の符号化手段により符号化された画像データは前記第１の符号化手段で画面間符号化された画像データを復号する際の参照画像として用いられることを特徴とする請求項７〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
画面内符号化モードと画面間符号化モードとを適応的に用いてブロック単位に周波数成分に符号化された画像データと、前記画面間符号化モードで用いられる参照画像データに対して周波数成分が制限されて符号化された疑似参照符号化データとを入力する入力手段と、
前記入力手段によって入力された前記符号化された画像データを復号化する第１の復号化手段と、
前記入力手段によって入力された前記疑似参照符号化データを復号化する第２の復号化手段と
を具備し、
前記第１の復号化手段は、前記画面間符号化モードにより符号化された画像データを復号化する際に参照する画像が欠落している場合、前記第２の復号化手段によって復号化された画像データを参照画像として用いること
を特徴とする画像処理装置。
【請求項１４】
前記入力手段によって入力された前記符号化された画像データのエラーを検出するエラー検出手段を更に具備し、
前記エラー検出手段がエラーを検出した場合には、エラーフレームをスキップさせること
を特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記疑似参照符号化データは、対応する参照画像データを用いる前記画面間符号化モードにより符号化された画像データのストリーム内に配置されることを特徴する請求項１３または１４に記載の画像処理装置。
【請求項１６】
前記入力手段は、前記画面間符号化モードでの符号化の際に用いられた動きベクトルデータを入力し、
前記第１の復号化手段は、前記画面間符号化モードにより符号化された画像データを復号化する際に参照する画像が欠落している場合、前記動きベクトルデータと前記第２の復号化手段によって復号化された画像データを参照画像として用いて復号すること
を特徴とする請求項１３〜１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記入力手段によって入力される符号化された画像データはＭＰＥＧ−４符号化方式で符号化された画像データであることを特徴とする請求項１３〜１６のいずれか１項に記載の画像処理装置。
【請求項１８】
画像データを入力する入力ステップと、
画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化ステップと、
前記画面内符号化モードで符号化される画像データに対して符号化する周波数成分を制限して符号化する第２の符号化ステップと、
前記第１の符号化ステップで符号化された画像データに前記第２の符号化ステップで符号化された画像データを多重化して出力する多重化ステップと
を有することを特徴とする画像処理方法。
【請求項１９】
画像データを入力する入力ステップと、
画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化ステップと、
前記第１の符号化ステップで符号化された画像データをローカルデコードして得られた画像データに対して符号化する周波数成分を制限して符号化する第２の符号化ステップと、
前記第１の符号化ステップで符号化された画像データに前記第２の符号化ステップで符号化された画像データを多重化して出力する多重化ステップと
を有することを特徴とする画像処理方法。
【請求項２０】
画面内符号化モードと画面間符号化モードとを適応的に用いてブロック単位に周波数成分に符号化された画像データと、前記画面間符号化モードで用いられる参照画像データに対して周波数成分が制限されて符号化された疑似参照符号化データとを入力する入力ステップと、
前記入力ステップで入力された前記符号化された画像データを復号化する第１の復号化ステップと、
前記入力ステップで入力された前記疑似参照符号化データを復号化する第２の復号化ステップと
を有し、
前記第１の復号化ステップでは、前記画面間符号化モードにより符号化された画像データを復号化する際に参照する画像が欠落している場合、前記第２の復号化ステップで復号化された画像データを参照画像として用いること
を特徴とする画像処理方法。
【請求項２１】
画像データを入力する入力ステップと、
画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化ステップと、
前記画面内符号化モードで符号化される画像データに対して符号化する周波数成分を制限して符号化する第２の符号化ステップと、
前記第１の符号化ステップで符号化された画像データに前記第２の符号化ステップで符号化された画像データを多重化して出力する多重化ステップと
をコンピュータに実行させるためのプログラム。
【請求項２２】
画像データを入力する入力ステップと、
画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化ステップと、
前記第１の符号化ステップで符号化された画像データをローカルデコードして得られた画像データに対して符号化する周波数成分を制限して符号化する第２の符号化ステップと、
前記第１の符号化ステップで符号化された画像データに前記第２の符号化ステップで符号化された画像データを多重化して出力する多重化ステップと
をコンピュータに実行させるためのプログラム。
【請求項２３】
画面内符号化モードと画面間符号化モードとを適応的に用いてブロック単位に周波数成分に符号化された画像データと、前記画面間符号化モードで用いられる参照画像データに対して周波数成分が制限されて符号化された疑似参照符号化データとを入力する入力ステップと、
前記入力ステップで入力された前記符号化された画像データを復号化する第１の復号化ステップと、
前記入力ステップで入力された前記疑似参照符号化データを復号化する第２の復号化ステップと
をコンピュータに実行させる際に、
前記第１の復号化ステップでは、前記画面間符号化モードにより符号化された画像データを復号化する際に参照する画像が欠落している場合、前記第２の復号化ステップで復号化された画像データを参照画像として用いること
を特徴とするプログラム。
【請求項２４】
請求項２１〜２３の何れか1項に記載のプログラムを格納したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、具体的には動画像データのフレーム間符号化及びその復号化処理に関するものである。
【背景技術】
【０００２】
従来、画像の符号化方式として、フレーム内符号化方式であるＭｏｔｉｏｎ  ＪＰＥＧやＤｉｇｉｔａｌ  Ｖｉｄｅｏなどの符号化方式や、フレーム間予測符号化を用いたＨ．２６１、Ｈ．２６３、ＭＰＥＧ−１、ＭＰＥＧ−２等の符号化方式が知られている。これらの符号化方式はＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）やＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ）によって国際標準化されている。フレーム内符号化方式はフレーム単位で独立に符号化を行うもので、フレームの管理がしやすいため、動画像の編集や特殊再生が必要な装置に最適である。また、フレーム間予測符号化方式はフレーム間予測を用いるため、符号化効率が高いという特徴を持っている。
【０００３】
さらにコンピュータ・放送・通信など多くの領域で利用できる、汎用的な次世代マルチメディア符号化規格としてＭＰＥＧ−４が新たな符号化方式として標準化されている。
Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−１、ＭＰＥＧ−２の規格では、フレーム毎の符号化の種類を３種類に分けて扱っており、それぞれフレーム内符号化のみを行うＩピクチャ、過去のフレームからのフレーム間予測も行うＰピクチャ、加えて未来のフレームからのフレーム間予測も行うＢピクチャと呼ばれる。
【０００４】
フレーム間符号化では、前フレームを参照するため、全フレームが確実に順序良く伝送される必要がある。例えば電話回線やＩＳＤＮ回線のように相手との通信回線を確立してからデータ伝送を行う場合には、データが途中で欠落することなく順次相手に届くので問題はない。しかし、例えばインターネット網などのＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｔｒａｎｓｆｅｒ  Ｍｏｄｅ）では通信回線を確立せず、小さなデータ単位（パケットやセル）に分割して符号化データを伝送するため、パケットが途中で欠落したり、通信経路の違いからパケットの順序が入れ替わったりすることがある。
【０００５】
パケット順序の入れ替わった場合でも、パケットの受信側でオリジナルのパケット順番が把握できるように、送信側でパケットに通し番号を付加して伝送したり、或いはパケットの到着確認や、届かなかったパケットの再送要求を受信側から送信側に返送したりするプロトコル（例えばＴＣＰ：Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ  等）を用いてネットワークの信頼性を向上させている。
【０００６】
しかしながら、ネットワークの動作が不安定でパケットが頻繁に欠落するような場合には、上記プロトコルを用いて再送処理を行うと遅延が蓄積されるので、動画像のリアルタイム伝送には不適切である。
【０００７】
また、インターネットの普及に伴って、多地点へデータを伝送する際に使用するブロードキャストやマルチキャストは、１回のパケット送信で複数地点へデータを伝送するための仕組みが利用されている。ところが、この仕組みにおいて、１地点へのパケット伝送時に欠落が生じた場合に、上述のプロトコルのような再送処理を行うと、他の地点のネットワークについては、最初のパケットが正常に到着しているにも関わらず、同じパケットを再送しなければならないので、ネットワークの負荷が著しく上昇してしまう。そこで、ブロードキャストやマルチキャストでは再送処理を行わないプロトコル（例えばＵＤＰ：Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌなど）を使用するのが普通である。しかし、上述したプロトコルを使用すると、パケットの欠落が発生する確率が高くなっている。
【０００８】
また、無線ネットワークを利用する場合には、パケット分割して伝送する場合だけでなく、回線を確立して伝送する場合であってもデータの誤り率や欠落率が高くなる傾向にある。特に、受信側で誤りを検出しても、誤り訂正能力以上の誤りが受信信号に含まれている場合は、他の部分を正常に処理するためにある区間のデータを廃棄する方法も採られるため、データ欠落は有線ネットワークと比較して大きい。
【０００９】
ここで、動画像データをパケット通信中におけるデータ欠落の一例として、ＭＰＥＧ−４の場合について具体例を示して説明する。
図１８は、動画像データのパケット通信におけるフレーム欠落の例を示す図である。
図１８において、ａ〜ｅは、ＭＰＥＧ−４形式の動画像データのフレームであって、フレームａは、フレーム内符号化されたＩフレームであり、フレームｂ〜ｅは、フレーム間予測符号化されたＰフレームである。
【００１０】
図１８に示すように、フレームｃが途中で欠落した場合や、フレームｃの復号処理が間に合わずに復号できなかった場合には、次のＩフレームｉ（図示せず）が到着するまでは復号できず、次のIフレームが到着するまでの間に存在するＰフレームであるフレームｄ、ｅ、…は復号することができない。
【００１１】
そこで、従来はこのようなフレームの欠落やコマ落しが頻繁に発生するネットワークにおいて全フレームを確実に伝送するには、フレーム間符号化を用いず、全フレームをフレーム内符号化だけで伝送するＪＰＥＧのような方法を採用していた。例えば、ＪＰＥＧによる符号化方法の場合には、フレームｃが欠落しても、次のフレームから正常に復号が可能である（例えば、特許文献１参照。）。しかしながら、この場合に、フレーム間符号化をしないので、時間的な変化の冗長度が除かれないため、符号化効率が悪く伝送データ量が大きくなるという問題があった。
【００１２】
また、フレーム間符号化（インター符号化）とフレーム内符号化（イントラ符号化）とを用いて動画像データを伝送する場合に、送信側で誤りの影響を受ける可能性のある画像部分を推定して強制的にフレーム内符号化して受信側に伝送するという従来技術（例えば、特許文献１参照。）もあるが、誤りの影響を受ける可能性のある画像部分を推定することが難しく、推定がはずれる場合があり、画質劣化が完全に解消できるものではない。
【００１３】
【特許文献１】特開平０９−３７２４５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上述したことから、フレーム間符号化を行うことで誤りが少ない時の符号化効率の低下を抑えて、誤りが発生した場合でも、後に送られてくるＩフレームを待つことなく、Ｐフレームの復号が可能であり、かつ、画質劣化が少ない画像符号化／復号化処理が要望されている。
【００１５】
本発明は、上述した事情を考慮してなされたもので、インター符号化を行った動画像データのフレームを復号する際に、復号対象であるフレームの参照フレームが欠落した場合でも、そのフレームを復号可能とする画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
この発明は、上述した課題を解決すべくなされたもので、本発明による画像処理装置においては、画像データを入力する入力手段と、画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化手段と、前記画面内符号化モードで符号化される画像データに対して符号化する周波数成分を制限して符号化する第２の符号化手段と、前記第１の符号化手段により符号化された画像データに前記第２の符号化手段により符号化された画像データを多重化して出力する多重化手段とを具備することを特徴とする。
【００１７】
また、本発明による画像処理装置においては、画像データを入力する入力手段と、画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化手段と、前記第１の符号化手段により符号化された画像データをローカルデコードして得られた画像データに対して符号化する周波数成分を制限して符号化する第２の符号化手段と、前記第１の符号化手段により符号化された画像データに前記第２の符号化手段により符号化された画像データを多重化して出力する多重化手段とを具備することを特徴とする。
【００１８】
また、本発明による画像処理装置においては、画面内符号化モードと画面間符号化モードとを適応的に用いてブロック単位に周波数成分に符号化された画像データと、前記画面間符号化モードで用いられる参照画像データに対して周波数成分が制限されて符号化された疑似参照符号化データとを入力する入力手段と、前記入力手段によって入力された前記符号化された画像データを復号化する第１の復号化手段と、前記入力手段によって入力された前記疑似参照符号化データを復号化する第２の復号化手段とを具備し、前記第１の復号化手段は、前記画面間符号化モードにより符号化された画像データを復号化する際に参照する画像が欠落している場合、前記第２の復号化手段によって復号化された画像データを参照画像として用いることを特徴とする。
【００１９】
また、本発明による画像処理方法においては、画像データを入力する入力ステップと、画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化ステップと、前記画面内符号化モードで符号化される画像データに対して符号化する周波数成分を制限して符号化する第２の符号化ステップと、前記第１の符号化ステップで符号化された画像データに前記第２の符号化ステップで符号化された画像データを多重化して出力する多重化ステップとを有することを特徴とする。
【００２０】
また、本発明による画像処理方法においては、画像データを入力する入力ステップと、画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化ステップと、前記第１の符号化ステップで符号化された画像データをローカルデコードして得られた画像データに対して符号化する周波数成分を制限して符号化する第２の符号化ステップと、前記第１の符号化ステップで符号化された画像データに前記第２の符号化ステップで符号化された画像データを多重化して出力する多重化ステップとを有することを特徴とする。
【００２１】
また、本発明による画像処理方法においては、画面内符号化モードと画面間符号化モードとを適応的に用いてブロック単位に周波数成分に符号化された画像データと、前記画面間符号化モードで用いられる参照画像データに対して周波数成分が制限されて符号化された疑似参照符号化データとを入力する入力ステップと、前記入力ステップで入力された前記符号化された画像データを復号化する第１の復号化ステップと、前記入力ステップで入力された前記疑似参照符号化データを復号化する第２の復号化ステップとを有し、前記第１の復号化ステップでは、前記画面間符号化モードにより符号化された画像データを復号化する際に参照する画像が欠落している場合、前記第２の復号化ステップで復号化された画像データを参照画像として用いることを特徴とする。
【００２２】
また、本発明によるプログラムは、画像データを入力する入力ステップと、画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化ステップと、前記画面内符号化モードで符号化される画像データに対して符号化する周波数成分を制限して符号化する第２の符号化ステップと、前記第１の符号化ステップで符号化された画像データに前記第２の符号化ステップで符号化された画像データを多重化して出力する多重化ステップとをコンピュータに実行させるためのプログラムである。
【００２３】
また、本発明によるプログラムは、画像データを入力する入力ステップと、画面内符号化モードと画面間符号化モードとを適応的に用いて、前記画像データをブロック単位で周波数成分に変換して符号化する第１の符号化ステップと、前記第１の符号化ステップで符号化された画像データをローカルデコードして得られた画像データに対して符号化する周波数成分を制限して符号化する第２の符号化ステップと、前記第１の符号化ステップで符号化された画像データに前記第２の符号化ステップで符号化された画像データを多重化して出力する多重化ステップとをコンピュータに実行させるためのプログラムである。
【００２４】
また、本発明によるプログラムは、画面内符号化モードと画面間符号化モードとを適応的に用いてブロック単位に周波数成分に符号化された画像データと、前記画面間符号化モードで用いられる参照画像データに対して周波数成分が制限されて符号化された疑似参照符号化データとを入力する入力ステップと、前記入力ステップで入力された前記符号化された画像データを復号化する第１の復号化ステップと、前記入力ステップで入力された前記疑似参照符号化データを復号化する第２の復号化ステップとをコンピュータに実行させる際に、前記第１の復号化ステップでは、前記画面間符号化モードにより符号化された画像データを復号化する際に参照する画像が欠落している場合、前記第２の復号化ステップで復号化された画像データを参照画像として用いることを特徴とするプログラムである。
【００２５】
また、本発明による記録媒体は、請求項２１〜２３の何れか1項に記載のプログラムを格納したコンピュータが読み取り可能な記録媒体である。
【発明の効果】
【００２６】
本発明による画像処理装置及び画像処理方法は、画面間符号化された画像データを復号する際に参照画像データが欠落しても復号することができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を用いて本発明の実施形態について説明する。
［第１の実施形態］
本実施形態では、フレーム間符号化方式としてＭＰＥＧ−４符号化方式を例にとって説明するが、その符号化方式に限るものではない。
第１の実施形態の画像符号化装置は、Ｉフレーム（フレーム内（イントラ）符号化されるフレーム）をブロック分割してＤＣＴ変換して得られてＤＣＴ係数のＤＣ（直流）成分及び一部のＡＣ（交流）成分を有効成分として（前記一部のＡＣ成分以外のＡＣ成分のＤＣＴ係数をゼロと見なす）符号化することによって得られる１フレーム分の符号化データ（以下、疑似参照符号化データと称する）を生成してメモリに蓄積しておき、ＭＰＥＧ−４方式のストリームにおける前記Ｐフレーム（フレーム間（インター）符号化されるフレーム）のユーザデータエリアに前記疑似参照符号化データを格納する。これにより、画像符号化装置から画像復号装置までのデータ伝送間で何らかの事故が起こり、Ｐフレームの参照フレームが欠落した場合に、Ｐフレームのストリームデータ内に多重化された前記疑似参照符号化データより得られるフレームを参照フレームとして用いて前記Ｐフレームを復号する。
【００２８】
尚、本実施形態では、符号化の処理単位をマクロブロック（以降、ＭＢ）とする。また、一部のＡＣ成分とは、本実施例では図１に示すように８×８画素で構成されたＤＣＴブロック内をジグザグスキャン順序で読み出して九つ目の係数までを指す。つまり、前記疑似参照符号化データとは図１に示すＤＣ成分及び一部のＡＣ成分以外はゼロと見なして符号化して得られて１フレーム分の符号化データとなる。更に詳しく述べると、ＤＣＴブロック内から読み出されたＤＣ成分及び一部のＡＣ成分の係数データを符号化したらＥＯＢ（End OF Block）コードを付加して、前記ＤＣＴブロックの符号化処理を終えることになる。
【００２９】
また、前記有効成分として上記したＤＣ（直流）成分及び一部のＡＣ（交流）成分に限るものではなくＤＣ成分のみ、或いは前記一部のＡＣ成分を９係数以外にしても良い。有効成分をＤＣ成分のみにすると、前記疑似参照符号化データのデータ量を削減できる。
【００３０】
以下、具体的に図を参照しながら本実施形態を説明する。
図２は、本発明の第１の実施形態としての画像符号化装置の構成を示すブロック図である。
図２において、画像符号化装置２は、入力された画素（画像）データを圧縮して伝送可能なデータ列であるＭＰＥＧ−４形式のストリームに変換して出力する。
【００３１】
メモリ１００は、Ｉフレームの前記疑似参照符号化データを記憶する。スイッチ１０１は、後述する多重化器１０６へメモリ１００からの前記疑似参照符号化データを供給するか否かを選択する。
【００３２】
減算器１０２は、Ｉフレームの際は入力ＭＢデータをそのまま出力し、Ｐフレームの際は入力ＭＢデータから予測ＭＢデータを減算して出力する減算器である。
【００３３】
ＤＣＴ器１０３は、減算器１０２の出力するデータに対して離散コサイン変換（ＤＣＴ）を行う。量子化器１０４は、ＤＣＴ器１０３が出力するＤＣＴ係数データを量子化する。
【００３４】
可変長符号化器１０５は、量子化器１０４が出力する量子化代表値を可変長符号化して多重化器１０６に出力する。また、可変長符号化器１０５は、上記した疑似参照符号化データ（ＤＣ成分と一部のＡＣ成分を有効成分とし、それ以外は無効として符号化したデータ）を生成してメモリ１００に出力する。
【００３５】
多重化器１０６は、スイッチ１０１がＯＦＦしている場合（フレーム内符号化処理中の場合）は、可変長符号化器１０５から入力されるストリームをそのまま出力する。また、スイッチ１０１がＯＮすることによりメモリ１００と接続された場合（フレーム間符号化処理中の場合）、多重化器１０６はメモリ１００に記憶された前記疑似参照符号化データ、可変長符号化器１０５から出力された符号化データ及び後述する動き補償器１１０が出力する動きベクトルデータを多重化したストリームを出力する。また、多重化器１０６では、ピクチャタイプ（例えば、Ｉフレーム、Ｐフレーム）を示すタイプコードも多重化している。
【００３６】
逆量子化器１０７は、量子化器１０４からの量子化代表値を逆量子化する。逆ＤＣＴ器１０８は、逆量子化器１０７からのＤＣＴ係数データを逆ＤＣＴ変換する。加算器１０９は、逆ＤＣＴ器１０８からの出力と、後述する動き補償器１１０からの出力とを加算する。尚、逆量子化器１０７、逆ＤＣＴ器１０８による逆量子化処理、逆ＤＣＴ処理をローカルデコード処理と呼ぶ。
【００３７】
動き補償器１１０は、入力ＭＢデータと後述するフレームメモリ１１１に記憶されたフレーム（参照フレーム）とを比較して、動きベクトル検出を行い、その検出結果に応じて動き補償を行い、予測ＭＢデータを出力する。また、動き補償器１１０は、動きベクトル検出を行った際に得られた動きベクトルデータを多重化器１０６へ出力する。フレームメモリ１１１は、動き補償器１１０で動き補償処理を行う際の参照フレームの画像データを記憶する。
【００３８】
上記構成により、本実施形態の画像符号化装置２は、前記疑似参照符号化データをメモリ１００に記憶しておき、Ｐフレームの処理時にスイッチ１０１をオンすることで、多重化器１０６によりＰフレームの符号化データのストリームに前記疑似参照符号化データおよび動きベクトルデータを多重化した多重化ストリームを出力する。
【００３９】
次に、図２に示した画像符号化装置２の動作について詳細に説明する。
まず、画像符号化装置２が参照フレームを用いないＩフレームを符号化する場合の動作について図３のフローチャートを用いて説明する。
【００４０】
図３は、画像符号化装置２が参照フレームを用いないＩフレームを符号化する場合の動作を示すフローチャートである。
図３において、まずステップ２００において、画像符号化装置２に画像データの各フレームを構成するＭＢデータが入力される。次に、ステップ２０１において、入力されたＭＢデータは減算器１０２を経て、ＤＣＴ器１０３、量子化器１０４、可変長符号化器１０５にてそれぞれＤＣＴ処理、量子化処理、可変長符号化処理される。次に、ステップ２０２において、可変長符号化器１０５が出力する可変長符号化後のデータ列をストリームとして多重化器１０６から出力する。
【００４１】
次に、ステップ２０３において、画像符号化装置２は、可変長符号化器１０５において生成された前記疑似参照符号化データをメモリ１００に記憶する。
【００４２】
次に、ステップ２０４において、量子化器１０４が出力する量子化代表値は、逆量子化器１０７、逆ＤＣＴ器１０８を介して、加算器１０９を経て得られて画像データを、次フレームの参照フレームのデータとしてフレームメモリ１１１に記憶する。以上により、画像符号化装置２におけるＩフレームの符号化の処理を終える。
【００４３】
次に、画像符号化装置２が参照フレームを用いてＰフレームを符号化する場合の動作について図４のフローチャートを用いて説明する。
図４は、画像符号化装置２がＰフレームを符号化する場合の動作を示すフローチャートである。
図４において、まず、ステップ３００において、動き補償器１１０は、フレームメモリ１１１に記憶された画像データ（参照フレーム）を参照して予測ＭＢデータを生成する。次に、ステップ３０１において、減算器１０２に符号化対象の入力ＭＢデータが入力されると、ステップ３０２に進む。ステップ３０２において、減算器１０２は、入力ＭＢデータと動き補償器１１０が出力する予測ＭＢデータとの差をとり予測誤差ＭＢデータを生成する。
【００４４】
次に、ステップ３０３において、ステップ３０２で生成した予測誤差ＭＢデータに対してＤＣＴ器１０３、量子化器１０４、可変長符号化器１０５によりそれぞれ処理を行う。次に、ステップ３０４において、多重化器１０６は、可変長符号化器１０５が出力する符号化データと、メモリ１００に記憶された前記疑似参照符号化データ（前記予測ＭＢデータを得るために用いられたＩフレームに対応した疑似参照符号化データ）と動きベクトルデータとを多重化する。次に、ステップ３０５において、多重化器１０６により多重化されたストリームを出力する。
【００４５】
一方、ステップ３０６において、量子化器１０４の量子化代表値は、逆量子化器１０７および逆ＤＣＴ器１０８を介して逆量子化処理および逆ＤＣＴ処理が行われる。
【００４６】
次に、ステップ３０７において、加算器１０９は、ステップ３０６で処理したデータと前述の予測ＭＢデータとを加算して、次フレームの参照フレームの画像データとしてフレームメモリ１１１へ蓄積する。以上により、画像符号化装置２におけるＰフレームのフレーム間符号化の処理を終える。
【００４７】
以上に示したように、本実施形態の画像符号化装置２は、フレーム内符号化したフレーム（Ｉフレーム）の疑似参照符号化データをメモリ１００に蓄積しておき、フレーム間符号化した画像（Ｐフレーム）の処理時に、フレーム間符号化した画像（Ｐフレーム）の符号化データに前記疑似参照符号化データを多重化したストリームを出力することができる。
【００４８】
次に、図２に示した画像符号化装置２に対応する画像復号装置について説明する。
図５は、本発明の第１の実施形態における画像復号装置の概略構成を示すブロック図である。
【００４９】
図５において、画像復号装置５は、ネットワークおよび受信器を介して入力されるストリームを復号して画像データを出力する。分離器４００は、後述する受信器より入力されたストリームから、フレームのタイプコードと、画像符号化データと、動きベクトルデータと、疑似参照符号化データに分離する。
【００５０】
可変長復号器４０１は、分離器４００により分離された画像符号化データを可変長復号し、量子化代表値を出力する。逆量子化器４０２は、可変長復号器４０１から出力された量子化代表値を逆量子化し、ＤＣＴ係数データを出力する。逆ＤＣＴ器４０３は、逆量子化器４０２から出力されたＤＣＴ係数データを、逆ＤＣＴ変換処理して画素データを出力する。
【００５１】
加算器４０４は、逆ＤＣＴ器４０３が出力する画像データと後述する動き補償器４０６が出力する予測画像データとを加算する。動きベクトル復号器４０５は、分離器４００により分離された動きベクトルデータを復号する。動き補償器４０６は、動きベクトル復号器４０５が復号した動きベクトルデータを用いて、後述するフレームメモリ４０８またはフレームメモリ４０９に蓄積された画像データから予測ＭＢデータを生成する。
【００５２】
スイッチ４０７は、入力される制御信号（詳細ついては後述する）に応じて、後述するフレームメモリ４０８と後述するフレームメモリ４０９とのどちらを動き補償器４０６に接続するかを切り替える。前記制御信号とは、Ｐフレームを復号する際に、そのＰフレームの参照フレームが欠落したか否かに応じてスイッチ４０７を制御する信号であり、後述する受信器から入力される。すなわち、画像復号装置５は、通常の参照フレームが欠落していない場合は、動き補償器４０６に対してフレームメモリ４０８に記憶された通常の参照フレームの画像データを参照させ、通常の参照フレームが欠落した場合は、フレームメモリ４０９に記憶された画像データ（疑似参照符号化データを復号することで得られた画像データ）を参照させるように、前記制御信号に応じてスイッチ４０７を制御している。
【００５３】
フレームメモリ４０８は、加算器４０４が出力する画像データを記憶する。フレームメモリ４０９は、後述するブロック歪み除去フィルタ４１４が出力する、前記疑似参照符号化データを復号した画像データを記憶する。
【００５４】
可変長復号器４１０は、分離器４００により分離された前記疑似参照符号化データを可変長復号し、量子化代表値を出力する。量子化器４１１は、可変長復号器４１０が出力する量子化代表値を逆量子化し、ＤＣＴ係数を出力する。
【００５５】
ＤＣＴ器４１２は、量子化器４１１が出力するＤＣＴ係数データを逆ＤＣＴ変換する。フレームメモリ４１３は、逆ＤＣＴ器４１２が出力する画素データを記憶する。ブロック歪み除去フィルタ４１４は、フレームメモリ４１３より読み出された画像データに対し、ブロック歪みを除去するフィルタ処理を行う。
【００５６】
以上に示した構成により、本実施形態における画像復号装置５は、Ｐフレームの符号化データを復号する際に、通常の参照フレームが欠落した場合は、フレームメモリ４０９に記憶された画像データ（前記疑似参照符号化データを復号して得られた画像データ）を参照フレームとして参照してＰフレームの符号化データを復号処理することができる。
【００５７】
次に、図５に示した画像復号装置５の動作について詳細に説明する。
まず、画像復号装置５が参照フレームを用いないＩフレームを復号する場合の動作について説明する。
図６は、図５に示した画像復号装置５が参照フレームを用いないＩフレームを復号する場合の動作を示すフローチャートである。図６において、ステップ５００において、画像復号装置５に上述した画像符号化装置２が出力したＩフレームのストリームが受信器を介して入力する。
【００５８】
次に、ステップ５０１において、分離器４００により入力されたＩフレームのストリームから、フレームのタイプコードと、画像符号化データとを分離する。次に、ステップ５０２において、分離器４００が出力する前記画像符号化データを可変長復号器４０１、逆量子化器４０２、逆ＤＣＴ器４０３にてそれぞれ可変長復号、逆量子化、逆ＤＣＴ処理することで画像データ（画素データ）に復号する。この時、フレームメモリ４０８には、次フレームの参照フレームの画像データとして逆ＤＣＴ器４０３が出力する画像データが加算器４０４を介して記憶される。以上により、ステップ５０３において、画像復号装置５は、復号したＩフレームの画素データを出力する。
【００５９】
次に、画像復号装置５が通常の参照フレームの画素データを用いてＰフレームを復号する場合（受信エラーが発生していない場合）の動作について説明する。
図７は、画像復号装置５がＰフレームを復号する場合の動作を示すフローチャートである。図７において、まず、ステップ６００において、画像復号装置５に上述した画像符号化装置２が出力したＰフレームのストリームが受信器を介して入力される。
【００６０】
次に、ステップ６０１において、分離器４００により入力されたＰフレームのストリームから、フレームのタイプコードと、画像符号化データと、動きベクトルデータと、疑似参照符号化データとを分離する。
【００６１】
次に、ステップ６０２において、動きベクトル復号器４０５は、分離器４００により分離された動きベクトルデータを復号して、動き補償器４０６へ出力する。
次に、ステップ６０３において、分離器４００より分離された画像符号化データに対して可変長復号器４０１、逆量子化器４０２、逆ＤＣＴ器４０３により可変長復号、逆量子化、逆ＤＣＴ変換の処理を行う。
【００６２】
次に、ステップ６０４において、スイッチ４０７は後述する受信器からの制御信号によりフレームメモリ４０８を選択しているため、動き補償器４０６は、動きベクトル復号器４０５が復号した動きベクトルを用いて、フレームメモリ４０８に記憶された通常の参照フレームの画像データを参照して、予測ＭＢデータを出力する。
【００６３】
次に、ステップ６０５において、逆ＤＣＴ器４０３が出力する画像データと動き補償器４０６が出力する予測ＭＢデータとを加算してＰフレームを再生して、フレームメモリ４０８へ次フレームの参照フレームとして再生されたＰフレームの画像データを記憶する。次に、ステップ６０６において画像復号装置５は、再生されたＰフレームの画像データを出力する。
【００６４】
次に、受信器を介して入力されるストリームにおいて参照するＩフレームより先にＰフレームから受信した場合や、直前のストリームに何らかの受信エラーが発生し、参照フレームが不完全な場合の画像復号装置５におけるＰフレームの復号処理について説明する。
図８は、通常の参照フレームが無いまたは不完全な場合の画像復号装置５におけるＰフレームの復号処理を示すフローチャートである。図８において、まず、ステップ７００において、画像復号装置５に上述した画像符号化装置２が出力したＰフレームのストリームが受信器を介して入力される。
【００６５】
次に、ステップ７０１において、分離器４００により入力されたＰフレームのストリームから、フレームのタイプコードと、画像符号化データと、動きベクトルデータと、疑似参照符号化データとを分離する。
【００６６】
次に、ステップ７０２において、分離器４００により分離された疑似参照符号化データに対して可変長復号器４１０、逆量子化器４１１、逆ＤＣＴ器４１２により処理されて復号された画像データをフレームメモリ４１３に格納する。
【００６７】
次に、ステップ７０３において、ブロック歪み除去フィルタ４１４は、フレームメモリ４１３より読み出した画像データのブロック歪みを除去する。
次に、ステップ７０４において、画像復号装置５は、ブロックひずみ除去フィルタが出力する画像データをフレームメモリ４０９に記憶する。
【００６８】
次に、ステップ７０５において、動きベクトル復号器４０５は、分離器４００により分離された動きベクトルデータを復号して、動き補償器４０６へ出力する。次に、ステップ７０６において、分離器４００により分離された画像符号化データに対して可変長復号器４０１、逆量子化器４０２、逆ＤＣＴ器４０３により可変長復号、逆量子化、逆ＤＣＴ変換の処理を行う。
【００６９】
次に、ステップ７０７において、スイッチ４０７は後述する受信器からの制御信号によりフレームメモリ４０９を選択しているため、動き補償器４０６は、ステップ７０５で動きベクトル復号器４０５が復号した動きベクトルを用いて、フレームメモリ４０９に記憶された画像データ（疑似参照符号化データを復号して得られて画像データ）を参照して、予測ＭＢデータを出力する。
【００７０】
次に、ステップ７０８において、逆ＤＣＴ器４０３が出力する画像データと動き補償器４０６が出力する予測ＭＢデータとを加算してＰフレームの画像データを再生して、フレームメモリ４０８に次フレームの参照フレームとして再生されたＰフレームの画像データを記憶する。次に、ステップ７０９において画像復号装置５は、再生されたＰフレームの画像データを出力する。
【００７１】
以上に説明したように、本実施形態における画像復号装置５は、フレーム間符号化画像（Ｐフレーム）のストリームを復号する際に、通常の参照フレームが欠落した場合は、フレームメモリ４０９より疑似参照符号化データを復号した画像データを参照フレームとして参照してフレーム間符号化画像（Ｐフレーム）を復号処理することができる。
【００７２】
次に、上述した画像復号装置５へ制御信号および受信したストリームを出力する受信器について説明する。
図９は、第１の実施形態における受信器の構成を示す図である。図９において、受信器４はネットワークを介してストリームを受信して、上述した画像復号装置５へ受信したストリームを出力する。また、その際に受信器４は受信したストリームに対してエラー検出等を行い画像復号装置５へ制御信号を出力する。
【００７３】
エラー検知器８０１は、ネットワークを介して入力されるストリームのエラーを検知し、エラー検出信号を出力する。また、エラー検知器８０１は、エラーが検出されたストリームを次のフレーム境界までスキップして出力する制御も行う。ピクチャタイプ検出器８０２は、ネットワークを介して外部より入力されるストリームのピクチャタイプ（本実施形態においてはＩフレームやＰフレームを示すコード）を検出しピクチャタイプ信号（検出したコード）を出力する。尚、受信器４に入力されるストリームは、上述した画像符号化装置２が送信器を介してネットワークへ出力したストリームである。
【００７４】
判定器８０３は、エラー検出器８０１が出力するエラー検出信号とピクチャタイプ検出器８０２が出力するピクチャタイプ信号を基に、同時に次フレームの参照フレームが有る場合、参照フレーム有りを意味するオン信号を、次フレームの参照フレームが無い場合、参照フレーム無しを意味するオフ信号を制御信号として出力する。
【００７５】
図１０に、エラー検出の有無とピクチャタイプに応じた制御信号のオン／オフを示す。尚、図１０のピクチャタイプは、次のフレームのピクチャタイプである。
【００７６】
次に、図９に示した受信器４の動作について詳細に説明する。
図１１は、図９に示した受信器４の動作をフローチャートである。図１１において、ステップ９００において、ネットワークを介して受信器４のエラー検知器８０１にストリームが入力される。
【００７７】
次に、ステップ９０１において、エラー検知器８０１により入力されたストリームにエラーがあるか否かを検知する。ここで、ストリームにエラーが有る場合（ステップ９０１のＹＥＳ）には、エラー検知器８０１からエラー検出信号を出力して、ステップ９０２に進む。次に、ステップ９０２において、次のフレーム先頭までスキップする。次に、ステップ９０３において、ピクチャタイプ検出器８０２により次フレームのピクチャタイプを検出し、そのコードを出力する。
【００７８】
次に、ステップ９０４において、判定器８０３によりエラー検出器８０１の出力とピクチャタイプ検出器８０２の出力とに応じてスイッチ４０７をオン／オフ制御する制御信号を出力する（図１０参照）。次に、ステップ９０５において、エラーがあればフレームスキップ処理したストリームを出力し、エラーがなければ入力されたストリームをそのまま出力する。
【００７９】
ここで、本実施形態におけるストリームの構成例について説明する。
図１２は、第１の実施形態におけるストリームの構成例を示す図である。図１２に示すように、ストリームはシーケンススタートコードから始まり、次に、フレーム単位のデータＶＯＰ（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｐｌａｎｅ）が並び、最後にシーケンスエンドコードで終わる。また、ＶＯＰ内はＶＯＰスタートコードで始まり、次に、ユーザデータ、ＶＯＰ制御コード、画像のハフマンデータが並ぶ。本実施形態では、Ｐフレームのユーザデータとして当該Ｐフレームの参照フレームの上記した疑似参照符号化データを有する。つまり、Ｐフレームの伝送ブロック内に参照フレームの疑似参照符号化データが配置される。これにより、当該Ｐフレームの参照フレームがエラー等により欠落していても、前記疑似参照符号化データを復号したフレームを参照フレームとして当該Ｐフレームを復号することができる。
【００８０】
次に、図２に示した画像符号化装置２および図５に示した画像復号装置５および図９に示した受信器４を組み合わせた画像伝送システムの構成例について説明する。
図１３は、図２に示した画像符号化装置２および図５に示した画像復号装置５および図９に示した受信器４を組み合わせた画像伝送システムの構成例を示す図である。図１３において、カメラ１は画像を撮影して画像データを出力する。画像符号化装置２は、カメラ１の出力する画像データを基にストリームを出力する。送信器３は、画像符号化装置２が出力するストリームをネットワークへ送信する。受信器４は、ネットワークを介して送信器３が送信したストリームを受信する。画像復号装置５は、受信器４が受信したストリームから画像データを復号する。モニタ６は、画像復号装置５が復号した画像データを基に画像を表示する。
【００８１】
尚、上述した実施形態では、画像データのフレーム間符号化方式にＭＰＥＧ−４方式を用いているが、この限りではなく、その他のフレーム間符号化方式を用いてもよい。また、上述した実施形態では、受信器４内にエラー検知機能、ピクチャタイプ検出機能を設けたが、画像復号装置５内に配置するなど、その他の構成でもかまわない。また、上述した実施形態では、画像復号装置５において、疑似参照符号化データを復号したフレームに対し、ブロック歪み除去フィルタを施したが、復号画像品質が許容される範囲である場合には、処理の負荷を少なくするために、ブロック歪み除去フィルタを無くした構成でもかまわない。
【００８２】
以上の説明から明らかなように、本実施形態における、画像符号化装置２および画像復号装置５は、フレーム間符号化を行ったフレームのストリームを復号する際に、そのフレームの参照フレームが欠落した場合でも、多重化された疑似参照符号化データを復号して参照フレームとして用いることで復号が可能となり、再現性の高い画像を得ることができる。また、本実施形態のストリーム構成では、ユーザデータにＩフレームの疑似参照符号化データを配置することで、上述した本実施例の復号処理機能をもたない従来の復号装置において従来の復号処理（エラー時に画質劣化が生じる）は可能である。
【００８３】
［第２の実施形態］
次に、本発明の第２の実施形態における画像符号化装置について説明する。
図１４は、本発明の第２の実施形態における画像符号化装置の構成を示すブロック図である。図１４に示す画像符号化装置２ａは、ローカルデコードされてフレームメモリ１１１に記憶された参照フレームのＤＣ成分及び一部のＡＣ成分を有効成分として符号化する点が、上述した画像符号化装置２と異なる。すなわち、第１の実施形態では疑似参照符号化データをＩフレームのみから生成していたが、本実施形態であればＰフレームからも疑似参照符号化データを生成することができる。
【００８４】
以下、異なる点を主に画像符号化装置２ａについて説明する。尚、図１４に示すように、画像符号化装置２ａの符号１０１〜１１１の構成および機能は第１の実施形態の画像符号化装置２と同様であり説明を省略する。図１４において、ＤＣＴ器１０は、フレームメモリ１１１に記憶された参照フレームの画像データをＤＣＴ変換する。発生器１１は、ＤＣＴ器１０により変換された係数データからＤＣ成分と一部のＡＣ成分（図１参照）以外をゼロとした係数データを出力する。尚、上記したＤＣ（直流）成分及び一部のＡＣ（交流）成分に限るものではなくＤＣ成分のみ有効としてそれ以外をゼロとしても良いし、或いは前記一部のＡＣ成分を図１に示す９係数以外にしても良い。
【００８５】
量子化器１２は、発生器１１が出力する係数データを量子化し、量子化代表値を出力する。可変長符号化器１３は、量子化器１２が出力する量子化代表値を可変長符号化する。
【００８６】
以上に示した構成により、本実施形態の画像符号化装置２ａは、ローカルデコードされた参照フレームのＤＣ成分と一部のＡＣ成分の係数データを有効として量子化、可変長符号化の処理行うことで参照フレームの疑似参照符号化データを生成し、Ｐフレームの処理時にスイッチ１０１をオンすることで、多重化器１０６によりＰフレームの符号化データに前記疑似参照符号化データを多重化したストリームを出力する。
【００８７】
次に、図１４に示した画像符号化装置２ａの動作について詳細に説明する。
まず、画像符号化装置２ａが参照フレームを用いないＩフレームを符号化する場合の動作について図１５のフロチャートを用いて説明する。図１５は、図１４に示した画像符号化装置２ａが参照フレームを用いないＩフレームを符号化する場合の動作を示すフローチャートである。尚、図１５に示す画像符号化装置２ａの処理において、図３に示した第１の実施形態における画像符号化装置２の同じ符号が付与された処理は同様の処理であるので、説明を簡略にする。
【００８８】
図１５に示すように、まず、ステップ２００〜２０２において、画像符号化装置２ａは、入力されたＭＢデータの画像符号化処理を行うことでストリームを出力する。次に、ステップ２０４ａにおいて、量子化器１０４が出力する量子化代表値は、逆量子化器１０７、逆ＤＣＴ器１０８を介して、加算器１０９を経て得られた画像データを次フレームの参照画像（参照フレーム）としてフレームメモリ１１１に記憶する。以上により、画像符号化装置２ａにおけるＩフレームの符号化の処理を終える。
【００８９】
次に、画像符号化装置２ａが参照フレームを用いてＰフレームを符号化する場合の動作について図１６のフローチャートを用いて説明する。図１６は、図１４に示した画像符号化装置２ａがＰフレームを符号化する場合の動作を示すフローチャートである。尚、図１６に示す画像符号化装置２ａの処理において、図４に示した第１の実施形態における画像符号化装置２の同じ符号が付与された処理は同様の処理であるので、説明を簡略にする。
【００９０】
図１６に示すように、ステップ３００〜３０３において、画像符号化装置２ａは、Ｐフレームを符号化するため予測ＭＢデータを生成して、生成した予測ＭＢデータを基に予測誤差ＭＢデータを生成して、生成した予測誤差ＭＢデータに対して符号化処理を行う。
【００９１】
次に、ステップ３０４ａにおいて、フレームメモリ１１１に記憶された画像データ（参照フレーム）をＤＣＴ器１１によりＤＣＴ係数データに変換する。次に、発生器１２により前記係数データからＤＣ成分と一部のＡＣ成分を有効成分（それ以外の係数データはゼロとする）とする係数データを発生する。
【００９２】
次に、ステップ３０４ｂにおいて、発生器１２より発生された係数データを量子化器１２、可変長符号化器１３により符号化処理して、参照フレームの疑似参照符号化データを生成する。次に、ステップ３０４ｃにおいて、多重化器１０６により可変長符号化器１３が出力する疑似参照符号化データと、可変長符号化器１０５が出力する予測誤差ＭＢデータの符号化データとを多重化したストリームを出力する。以降における、ステップ３０５〜３０７の処理は図４と同様である。
【００９３】
以上に示したように、本実施形態の画像符号化装置２ａは、フレーム間符号化した画像（Ｐフレーム）の処理時に、フレームメモリ１１１に記憶された参照フレームから疑似参照符号化データを生成し、フレーム間符号化した画像データ（Ｐフレーム）に前記疑似参照符号化データを多重化したストリームを出力することができる。尚、図１４の画像符号化装置２ａにより符号化された画像データの復号処理は第１の実施形態で説明した図５の画像復号装置５を用いて第１の実施形態と同様に処理すればよい。
【００９４】
以上の説明から明らかなように、本実施形態の画像符号化装置２ａが出力するストリームを、上述した画像復号装置５により復号する際、Ｐフレームの参照フレームが欠落した場合でも、多重化された疑似参照符号化データを復号し参照画像とすることで、当該Ｐフレームの復号が可能となり、再現性の高い画像を得ることができる。更に、本実施形態のストリーム構成も図１２に示したものと同様であるので、ユーザデータとして疑似参照符号化データを配置することで、従来の復号装置において従来の復号処理（エラー時に画質劣化が生じる）は可能である。
【００９５】
[その他の実施形態]
また、上述した画像符号化装置および画像復号装置をコンピュータで実現する
場合の実施形態について説明する。
図１７は、コンピュータのハードウェア構成を示すブロック図である。図１７において、１０００は、中央演算装置（ＣＰＵ）であり、コンピュータ全体の制御、及び種々の処理を行う。１００１は、メモリであり、本コンピュータの制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、データ、演算に必要な記憶領域を提供する。また、メモリ１００１は、ＣＰＵ１０００が各種の処理を行う際のワークエリアとしても用いられる。尚、上述したソフトウェアは、図３、図４および図１５、１７に示したフローチャートに従った処理をＣＰＵ１０００に実行させるためのプログラムコードを含む。
【００９６】
１００２は、バスであり、コンピュータ内の種々の装置をつなぎ、データ、制御信号をやりとりする。１００３は、記録メディアであり、各種のソフトウェアを蓄積する記録媒体である。１００４は、記録メディアであり、画像データを蓄積する記憶媒体である。１００５は、モニタであり、画像やコンピュータからのシステムメッセージなどを表示する。１００７は、通信インタフェースであり、通信回線１００８に符号化データ（ストリーム）を送信する。通信回線１００８は、コンピュータ外部のＬＡＮ（ローカルエリアネットワーク）、公衆回線、無線回線、放送電波等と接続されている。１００６は、端末であり、コンピュータを起動したり、ビットレート等の各種条件を設定したりする。また、メモリ１００１には、画像データを符号化のために読み込むエリア、一時的に符号データを格納する符号エリア、各種演算のパラメータ等を格納しておくワーキングエリアが更に存在する。
【００９７】
このような構成において、処理に先立ち、端末１００６から記録メディア１００４に蓄積されている動画像データから符号化する動画像データを選択し、コンピュータの起動が指示される。すると、記録メディア１００３に格納されているソフトウェアがバス１００２を介してメモリ１００１に展開され、ソフトウェアが起動される。そして、ＣＰＵ１０００が、記録メディア１００４に格納されている図３、図４および図１５、１７に示したフローチャートに従ったプログラムコードを実行することで、動画像データの符号化動作を実現する。すなわち、図２や図１４に示した画像符号化装置の各処理ブロックコードをメモリおよびＣＰＵにより構成して、各ブロックの処理の機能を実現する為のプログラムをメモリに読み込んで実行することによりその機能を実現させる。
【００９８】
以上の説明に示すように、図１７に示したコンピュータは、第１、２の実施形態における画像符号化装置を実現する。また、図６〜図８に示したフローチャートに従ったプログラムコードを記録メディア１００４に格納することで、画像復号装置を実現できることは明らかである。すなわち、図５に示した画像復号装置の各処理ブロックをメモリおよびＣＰＵにより構成して、各ブロックの処理の機能を実現する為のプログラムコードをメモリに読み込んで実行することによりその機能を実現させる。
【００９９】
また、図１７に示したコンピュータは、図２、図５、図１４に示した処理ブロックの一部と同様の機能を持つ専用のハードウェアを具備してもよい。また、上記メモリは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されるものとする。
【０１００】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムコードが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムコードを保持しているものも含むものとする。
【０１０１】
また、上記プログラムコードは、このプログラムコードを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０１０２】
また、上記プログラムコードは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムコードとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１０３】
また、上記のプログラムコードを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラムコード、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【０１０４】
【図１】基準成分を説明するための図である。
【図２】本発明の第１の実施形態としての画像符号化装置の構成を示すブロック図である。
【図３】画像符号化装置２が参照フレームを用いないＩフレームを符号化する場合の動作を示すフローチャートである。
【図４】画像符号化装置２がＰフレームを符号化する場合の動作を示すフローチャートである。
【図５】本発明の第１の実施形態における画像復号装置の構成を示すブロック図である。
【図６】画像復号装置５が参照フレームを用いないＩフレームを復号する場合の動作を示すフローチャートである。
【図７】画像復号装置５がＰフレームを復号する場合の動作を示すフローチャートである。
【図８】通常の参照フレームが無いまたは不完全な場合の画像復号装置５におけるＰフレームの復号処理を示すフローチャートである。
【図９】第１の実施形態における受信器の構成を示すブロック図である。
【図１０】エラー検出の有無とピクチャタイプに応じた制御信号のオン／オフを示す図である。
【図１１】図９に示した受信器４の動作をフローチャートである。
【図１２】第１の実施形態におけるストリームの構成例を示す図である。
【図１３】図２に示した画像符号化装置２および図５に示した画像復号装置５および図９に示した受信器４を組み合わせた画像伝送システムの構成例を示す図である。
【図１４】本発明の第２の実施形態における画像符号化装置の構成を示すブロック図である。
【図１５】図１４に示した画像符号化装置２ａが参照フレームを用いないＩフレームを符号化する場合の動作を示すフローチャートである。
【図１６】図１４に示した画像符号化装置２ａがＰフレームを符号化する場合の動作を示すフローチャートである。
【図１７】コンピュータのハードウェア構成を示すブロック図である。
【図１８】動画像データのパケット通信におけるフレーム欠落の例を示す図である。
【符号の説明】
【０１０５】
１      カメラ
２、２ａ  画像符号化装置
３      送信器
４      受信器
５      画像復号装置
６      モニタ
１００  メモリ
１０１  スイッチ
１０２  減算器
１０３  ＤＣＴ器
１０４  量子化器
１０５  可変長符号化器
１０６  多重化器
１０７  逆量子化器
１０８  逆ＤＣＴ器
１０９  加算器
１１０  動き補償器
１１１  フレームメモリ
４００  分離器
４０１  可変長復号器
４０２  逆量子化器
４０３  逆ＤＣＴ器
４０４  加算器
４０５  動きベクトル復号器
４０６  動き補償器
４０７  スイッチ
４０８、４０９、４１３  フレームメモリ
４１０  可変長復号器
４１１  逆量子化器
４１２  逆ＤＣＴ器
４１４  ブロックひずみ除去フィルタ
８０１  エラー検知器
８０２  ピクチャタイプ検出器
８０３  判定器
１０  ＤＣ成分抽出器
１１  ＤＣＴ器
１２  量子化器
１３  可変長符号化器
１０００  ＣＰＵ
１００１  メモリ
１００３、１００４  記憶メディア
１００６  端末
１００７  通信インタフェース
【図１】
2004350263.tif 000003
【図２】
2004350263.tif 000004
【図３】
2004350263.tif 000005
【図４】
2004350263.tif 000006
【図５】
2004350263.tif 000007
【図６】
2004350263.tif 000008
【図７】
2004350263.tif 000009
【図８】
2004350263.tif 000010
【図９】
2004350263.tif 000011
【図１０】
2004350263.tif 000012
【図１１】
2004350263.tif 000013
【図１２】
2004350263.tif 000014
【図１３】
2004350263.tif 000015
【図１４】
2004350263.tif 000016
【図１５】
2004350263.tif 000017
【図１６】
2004350263.tif 000018
【図１７】
2004350263.tif 000019
【図１８】
2004350263.tif 000020