(57)【要約】【課題】符号化対象となる画像データを格納するための記憶手段の容量を削減して価格を低減することができ、かつ、復号装置を限定せずに一般の復号装置において合成画像を復号可能とする合成画像符号化装置を提供すること。【解決手段】本発明の合成画像符号化装置１００は、静止画データを圧縮して符号化した静止画圧縮符号化データを格納する静止画圧縮符号化データメモリ装置１０２と、動画データを符号化する動画符号化装置１０１と、前記動画データにおける前記静止画圧縮符号化データの合成位置を管理し前記静止画圧縮符号化データの合成位置に該当する時には前記動画符号化装置１０１による前記動画データの符号化処理を中断して前記静止画圧縮符号化データメモリ装置１０２に格納された前記静止画圧縮符号化データを合成する静止画合成制御装置１０３と、を具備する。【選択図】　　　図１
2004146885.tif 000002
【特許請求の範囲】
【請求項１】
静止画データを圧縮して符号化した静止画圧縮符号化データを格納する記憶手段と、動画データを符号化する動画符号化手段と、前記動画データにおける前記静止画圧縮符号化データの合成位置を管理し前記静止画圧縮符号化データの合成位置に該当する時には前記動画符号化手段による前記動画データの符号化処理を中断して前記記憶手段に格納された前記静止画圧縮符号化データを合成する静止画合成制御手段と、を具備することを特徴とする合成画像符号化装置。
【請求項２】
前記静止画合成制御手段により合成された前記静止画圧縮符号化データを予測参照画像データとしないために当該静止画圧縮符号化データに対して動きベクトル探索を行わないように前記動画符号化手段を制御する動き検出制御手段を具備することを特徴とする請求項１記載の合成画像符号化装置。
【請求項３】
前記静止画合成制御手段により前記静止画圧縮符号化データを合成する時に前記静止画圧縮符号化データを可変長復号して現フレーム再構成画像データを生成して予測参照画像データとして前記動画符号化手段に与える可変長復号手段を具備することを特徴とする請求項１記載の合成画像符号化装置。
【請求項４】
前記静止画圧縮符号化データの合成が始まる最初のフレームのみで前記静止画圧縮符号化データを合成し、次フレーム以降の静止画圧縮符号化データの部分に非符号化情報の挿入を行う非符号化情報設定手段を具備することを特徴とする請求項１から請求項３のいずれかに記載の合成画像符号化装置。
【請求項５】
前記静止画圧縮符号化データに基づいて前記動画データの部分における圧縮符号化データの符号量を制御する符号量制御手段を具備することを特徴とする請求項１から請求項４のいずれかに記載の合成画像符号化装置。
【請求項６】
静止画データを圧縮して符号化した静止画圧縮符号化データを記憶手段に格納する記憶ステップと、動画データを符号化する動画符号化ステップと、前記動画データにおける前記静止画圧縮符号化データの合成位置を管理し前記静止画圧縮符号化データの合成位置に該当する時には前記動画データの符号化処理を中断して前記記憶手段に格納された前記静止画圧縮符号化データを合成する静止画合成制御ステップと、を具備することを特徴とする合成画像符号化方法。
【請求項７】
前記静止画合成制御ステップにおいて合成された前記静止画圧縮符号化データを予測参照画像データとしないように当該静止画圧縮符号化データに対して動きベクトル探索を行わないように制御する動き検出制御ステップを具備することを特徴とする請求項６記載の合成画像符号化方法。
【請求項８】
前記静止画合成制御ステップにおいて前記静止画圧縮符号化データを合成する時に前記静止画圧縮符号化データを可変長復号して現フレーム再構成画像データを生成して予測参照画像データとする可変長復号ステップを具備することを特徴とする請求項６記載の合成画像符号化方法。
【請求項９】
前記静止画圧縮符号化データの合成が始まる最初のフレームのみで前記静止画圧縮符号化データを合成し、次フレーム以降の静止画圧縮符号化データの部分に非符号化情報の挿入を行う非符号化情報設定ステップを具備することを特徴とする請求項６から請求項８のいずれかに記載の合成画像符号化方法。
【請求項１０】
前記静止画圧縮符号化データに基づいて前記動画データの部分における圧縮符号化データの符号量をに制御する符号量制御ステップを具備することを特徴とする請求項６から請求項９のいずれかに記載の合成画像符号化方法。
【請求項１１】
請求項６から請求項１０のいずれかに記載の合成画像符号化方法を実行することを特徴とする合成画像符号化プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、静止画データと動画データとの合成画像データを符号化する画像符号化装置に関するものである。
【０００２】
【従来の技術】
従来、国際標準化機構（ＩＳＯ）、国際電気標準会議（ＩＥＣ）及び国際電気通信標準化部門（ＩＴＵ−Ｔ）によって、動画像データの符号化アルゴリズムを用いた画像符号化装置及び符号化データを伝送する装置が提案されている。
【０００３】
また、静止画データ又はグラフィックデータと動画データを合成した画像データの符号化を行う装置、及び、複数の動画データを合成した画像データの符号化装置も提案されている。例えば、静止画データと動画データの合成の応用例としては、動画データに対してマークなどの文字又は図形を付与して符号化を行う場合が想定される。テレビ電話機などのアプリケーションの場合には、動画データに対してメッセージ等を合成して相手に画像データを送信することが可能となる。また、静止画データを背景画像とすれば符号化データ量や処理量を削減することも可能となる。
【０００４】
従来、静止画データと動画データを合成した画像データの符号化を行う装置として、静止画データと動画データとを複数の系統に分割して符号化し、又は、時分割で符号化して伝送することなく単一の伝送路のみを使用して復号装置において合成画像を復号して表示することを可能としているものがある（例えば、特許文献１参照）。また、この装置においては、グラフィック（静止画）データに関する描画情報を多重化して伝送し、復号装置において多重化情報を分離し、動画データに対して合成して表示を行うことを可能としている。
【０００５】
図１３は、従来の合成画像符号化装置の構成を示すブロック図である。図１３に示すように、この従来の合成画像符号化装置１３００は、符号化装置１３１０、復号装置１３２０及びシステム制御部１３３０を具備している。
【０００６】
符号化装置１３１０は、入力ゲート１３１１、入力フレームメモリ装置１３１２、符号化器１３１３及び多重化器１３１４を具備している。復号装置１３２０は、分離器１３２１、復号器１３２２、出力ゲート１３２３及び出力フレームメモリ装置１３２４を具備している。
【０００７】
符号化装置１３１０においては、入力ゲート１３１１は、動画データ及び静止画データのいずれかの画像データを選択して入力させて入力フレームメモリ装置１３１２に与える。入力ゲート１３１１は、動画データのみを入力するモード、静止画データのみを入力するモード、又は、動画データのフレームの一部のみを入力するモードのいずれかを選択することができる。入力フレームメモリ装置１３１２は、入力ゲート１３１１からの画像データを受けて記憶する。符号化器１３１３は、入力フレームメモリ装置１３１２の画像データを読み出して符号化を行う。多重化器１３１４は、圧縮符号化した画像データに対し、グラフィック（静止画）データをオーバーレイするための合成情報の多重化を行う。
【０００８】
一方、復号装置１３２０においては、分離器１３２１は多重化された合成情報と圧縮符号化データを分離してこの圧縮符号化データを復号器１３２２に与える。復号器１３２２は、分離器１３２１からの圧縮符号化データを伸張処理して、伸張された画像データを出力ゲート１３２３を介して出力フレームメモリ装置１３２４に与える。
【０００９】
ここで、出力ゲート１３２３は、出力フレームメモリ装置１３２４に対し、画像データの部分的又は全部を出力するように制御することができる。例えば、出力ゲート１３２３は、予め静止画データを全て出力フレームメモリ装置１３２４に出力し、次に動画データの伸張画像データの一部だけ出力フレームメモリ装置１３２４に出力した時には、動画データの部分だけが更新された状態となり、静止画データと動画データの合成画像データが得られる。この静止画データと動画データの合成タイミングは、システム制御部１３３０によって制御され、符号化装置１３１０と復号装置１３２０が協同して実現することができる。また、出力フレームメモリ装置１３２４は、分離器１３２１からの合成情報によって、グラフィックデータを合成することができる。
【００１０】
【特許文献１】
特開平６−１９７３３７号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、従来の合成画像符号化装置においては、符号化対象となる画像データである静止画データを格納するためのメモリ装置の容量が大きくなるから、価格が高くなるという問題がある。また、従来の合成画像符号化装置においては、合成情報を符号化データに多重して送信し、符号化装置と復号装置が協同して合成画像データの圧縮及び伸張処理を実施するため、復号装置側に分離装置が必要となり、かつ、両者に跨る制御装置が必要となるから、構成が複雑になるので、符号化装置に適合する復号装置が限定されるという問題がある。
【００１２】
本発明は、かかる点に鑑みてなされたものであり、符号化対象となる画像データを格納するための記憶手段の容量を削減して価格を低減することができ、かつ、復号装置を限定せずに一般の復号装置において合成画像を復号可能とする合成画像符号化装置及び方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明の合成画像符号化装置は、静止画データを圧縮して符号化した静止画圧縮符号化データを格納する記憶手段と、動画データを符号化する動画符号化手段と、前記動画データにおける前記静止画圧縮符号化データの合成位置を管理し前記静止画圧縮符号化データの合成位置に該当する時には前記動画符号化手段による前記動画データの符号化処理を中断して前記記憶手段に格納された前記静止画圧縮符号化データを合成する静止画合成制御手段と、を具備する構成を採る。
【００１４】
この構成によれば、記憶手段に静止画データを圧縮して符号化した静止画圧縮符号化データを格納するため、記憶手段の容量を削減して価格を低減することができ、かつ、動画データに静止画圧縮符号化データを合成して単一の圧縮符号化データを出力するため、圧縮符号化データを多重化する必要がないから、一般の復号装置によって合成画像データの復号が可能である。
【００１５】
本発明の合成画像符号化装置は、前記構成において、前記静止画合成制御手段により合成された前記静止画圧縮符号化データを予測参照画像データとしないために当該静止画圧縮符号化データに対して動きベクトル探索を行わないように前記動画符号化手段を制御する動き検出制御手段を具備する構成を採る。
【００１６】
この構成によれば、記憶手段に静止画データを圧縮して符号化した静止画圧縮符号化データを格納するため、記憶手段の容量を削減して価格を低減することができ、かつ、動画データに静止画圧縮符号化データを合成して単一の圧縮符号化データを出力するため、圧縮符号化データを多重化する必要がないから一般の復号装置によって合成画像データの復号が可能である。
【００１７】
本発明の合成画像符号化装置は、前記構成において、前記静止画合成制御手段により前記静止画圧縮符号化データを合成する時に前記静止画圧縮符号化データを可変長復号して現フレーム再構成画像データを生成して予測参照画像データとして前記動画符号化手段に与える可変長復号手段を具備する構成を採る。
【００１８】
この構成によれば、記憶手段に静止画データを圧縮して符号化した静止画圧縮符号化データを格納するため、記憶手段の容量を削減して価格を低減することができ、かつ、動画データに静止画圧縮符号化データを合成して単一の圧縮符号化データを出力するため、圧縮符号化データを多重化する必要がないから一般の復号装置によって合成画像データの復号が可能である。また、この構成によれば、静止画圧縮符号化データの部分に関してはローカルデコード処理のみであり、通常の符号化処理よりも負荷を削減することができる。
【００１９】
本発明の合成画像符号化装置は、前記構成において、前記静止画圧縮符号化データの合成が始まる最初のフレームのみで前記静止画圧縮符号化データを合成し、次フレーム以降の静止画圧縮符号化データの部分に非符号化情報の挿入を行う非符号化情報設定手段を具備する構成を採る。
【００２０】
この構成によれば、前記効果に加えて、簡単な制御を加えるだけで、静止画圧縮符号化データの部分として最小限の情報により動画データとの合成符号化が実現でき、また、静止画データに関する情報を小さくすることにより、動画データの部分により符号（情報）を割り当てることができる。
【００２１】
本発明の合成画像符号化装置は、前記構成において、前記静止画圧縮符号化データに基づいて前記動画データの部分における圧縮符号化データの符号量を適切に制御する符号量制御手段を具備する構成をとる。
【００２２】
この構成によれば、前記効果を有し、かつ、動画データの符号量を調整する手段を設けることによって、動画データに静止画圧縮符号化データを合成した場合においても、符号量を適切に制御することが可能である。
【００２３】
本発明の合成画像符号化方法は、静止画データを圧縮して符号化した静止画圧縮符号化データを記憶手段に格納する記憶ステップと、動画データを符号化する動画符号化ステップと、前記動画データにおける前記静止画圧縮符号化データの合成位置を管理し前記静止画圧縮符号化データの合成位置に該当する時には前記動画データの符号化処理を中断して前記記憶手段に格納された前記静止画圧縮符号化データを合成する静止画合成制御ステップと、を具備するようにした。
【００２４】
この方法によれば、記憶手段に静止画データを圧縮して符号化した静止画圧縮符号化データを格納するため、記憶手段の容量を削減して価格を低減することができ、かつ、動画データに静止画圧縮符号化データを合成して単一の圧縮符号化データを出力するため、圧縮符号化データを多重化する必要がないから一般の復号装置によって合成画像データの復号が可能である。
【００２５】
本発明の合成画像符号化方法は、前記静止画合成制御ステップにおいて合成された前記静止画圧縮符号化データを予測参照画像データとしないために当該静止画圧縮符号化データに対して動きベクトル探索を行わないように制御する動き検出制御ステップを具備するようにした。
【００２６】
この方法によれば、記憶手段に静止画データを圧縮して符号化した静止画圧縮符号化データを格納するため、記憶手段の容量を削減して価格を低減することができ、かつ、動画データに静止画圧縮符号化データを合成して単一の圧縮符号化データを出力するため、圧縮符号化データを多重化する必要がないから一般の復号装置によって合成画像データの復号が可能である。
【００２７】
本発明の合成画像符号化方法は、前記静止画合成制御ステップにおいて前記静止画圧縮符号化データを合成する時に前記静止画圧縮符号化データを可変長復号して現フレーム再構成画像データを生成して予測参照画像データとする可変長復号ステップを具備するようにした。
【００２８】
この方法によれば、記憶手段に静止画データを圧縮して符号化した静止画圧縮符号化データを格納するため、記憶手段の容量を削減して価格を低減することができ、かつ、動画データに静止画圧縮符号化データを合成して単一の圧縮符号化データを出力するため、圧縮符号化データを多重化する必要がないから一般の復号装置によって合成画像データの復号が可能である。また、この方法によれば、静止画圧縮符号化データの部分に関してはローカルデコード処理のみであり、通常の符号化処理よりも負荷を削減することができる。
【００２９】
本発明の合成画像符号化方法は、前記静止画圧縮符号化データの合成が始まる最初のフレームのみで前記静止画圧縮符号化データを合成し、次フレーム以降の静止画圧縮符号化データの部分に非符号化情報の挿入を行う非符号化情報設定ステップを具備するようにした。
【００３０】
この方法によれば、前記効果に加えて、簡単な制御を加えるだけで、静止画圧縮符号化データの部分として最小限の情報により動画データとの合成符号化が実現でき、また、静止画データに関する情報を小さくすることにより、動画データの部分により符号（情報）を割り当てることができる。
【００３１】
本発明の合成画像符号化方法は、前記静止画圧縮符号化データに基づいて前記動画データの部分における圧縮符号化データの符号量を制御する符号量制御ステップを具備するようにした。
【００３２】
この方法によれば、前記効果に加えて、動画データの符号量を調整する手段を設けることによって、動画データに静止画圧縮符号化データを合成した場合においても、符号量を適切に制御することが可能である。
【００３３】
本発明の合成画像符号化プログラムは、前記合成画像符号化方法を実行するようにした。
【００３４】
このプログラムによれば、前記効果を有する前記合成画像符号化方法を実行することができる。
【００３５】
【発明の実施の形態】
本発明の骨子は、静止画データを圧縮して符号化した静止画圧縮符号化データを格納する記憶手段と、動画データを符号化する動画符号化手段と、を具備し、前記動画データにおける前記静止画圧縮符号化データの合成位置を管理し前記静止画圧縮符号化データの合成位置に該当する時には前記動画符号化手段による前記動画データの符号化処理を中断して前記記憶手段に格納された前記静止画圧縮符号化データを合成することである。
【００３６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３７】
（実施の形態１）
図１は、本発明の実施の形態１に係る合成画像符号化装置の構成を示すブロック図である。
【００３８】
図１に示すように、本発明の実施の形態１に係る合成画像符号化装置１００は、動画符号化装置１０１、静止画圧縮符号化データメモリ装置１０２、静止画合成制御装置１０３、動き検出制御装置１０４、画像データ選択装置１０５及び圧縮符号化データメモリ装置１０６を具備している。
【００３９】
動画符号化装置１０１の制御端子は、静止画合成制御装置１０３の出力端子に接続されている。静止画圧縮符号化データメモリ装置１０２の制御端子は、静止画合成制御装置１０３の出力端子に接続されている。動き検出制御装置１０４の制御端子は、動画符号化装置１０１に接続されている。画像データ選択装置１０５の入力端子は、動画符号化装置１０１及び静止画圧縮符号化データメモリ装置１０２の出力端子に接続されている。画像データ選択装置１０５の制御端子は、静止画合成制御装置１０３の出力端子に接続されている。画像データ選択装置１０５の出力端子は、圧縮符号化データメモリ装置１０６の入力端子に接続されている。
【００４０】
動画符号化装置１０１は、入力される動画データを符号化するものである。動画符号化装置１０１は、符号化方式として、ＩＴＵ−Ｔ又はＩＳＯの勧告であるＨ．２６１、Ｈ．２６３、ＭＰＥＧ−１、ＭＰＥＧ−２又はＭＰＥＧ−４などの一般的に知られている動画像の符号化方式を用いる。静止画圧縮符号化データメモリ装置１０２は、圧縮符号化された静止画データである静止画圧縮符号化データを格納するためのものである。ただし、静止画圧縮符号化データは、既に符号化方式、すなわち合成対象となる動画データの符号化と同一の方式で圧縮符号化されているものとする。
【００４１】
また、静止画データの圧縮符号化は、ＩＮＴＲＡ（フレーム内）符号化方式で実施されており、フレーム間の差分情報を一切用いていないものとする。なお、符号化方式については、後に詳細に説明する。
【００４２】
静止画合成制御装置１０３は、動画選択信号又は静止画選択信号を画像データ選択装置１０５に与えることにより、画像データ選択装置１０５に動画符号化装置１０１からの動画データ及び静止画圧縮符号化データメモリ装置１０２からの静止画データのいずれかの画像データ（圧縮符号化データ）を選択させる。画像データ選択装置１０５は、選択した圧縮符号化データを圧縮符号化データメモリ装置１０６に与えて格納させる。
【００４３】
より詳細には、静止画合成制御装置１０３は、画像データ選択装置１０５を制御することにより、動画データに対する静止画データの合成位置に該当する処理を行う時に、動画データの部分の圧縮符号化を中止して、静止画圧縮符号化データの圧縮符号化データの合成を行う。すなわち、静止画合成制御装置１０３は、動画データに対する静止画データの合成部分には静止画圧縮符号化データを合成する。
【００４４】
動き検出制御装置１０４は、１つ前のフレームにおいて、静止画圧縮符号化データが合成された場合に、その合成位置に対して動きベクトル探索を行わないように制御を行う。圧縮符号化データメモリ装置１０６は、合成画像データとして圧縮符号化済みのデータである圧縮符号化データを格納し、符号化データ（ビットストリーム）として出力する。
【００４５】
次に、合成画像符号化装置１００の動画符号化装置１０１の符号化処理について、図面を参照して説明する。
【００４６】
図２は、動画符号化装置１０１の構成を示すブロック図である。図３は、合成画像符号化装置１００の動作を説明するための図である。
【００４７】
図３（ａ）に示すように、１フレームは、マクロブロック（ブロック）と呼ばれる小領域に分割され、ブロックを単位として符号化処理を行う。符号化処理は、フレーム間の相関を使用しない（当該フレームで処理が閉じている）ＩＮＴＲＡ符号化処理と、フレーム間の差分情報を基に符号化を行うＩＮＴＥＲ符号化処理とのいずれかによって行われる。例えば、画質及び符号化効率の観点から、動きの激しい部分に相当するブロックではＩＮＴＲＡ符号化処理を用い、動きの少ない部分に相当するブロックではＩＮＴＥＲ符号化処理が用いられる場合が多い｛図３（ｂ）｝。ＩＮＴＲＡ符号化処理及びＩＮＴＥＲ符号化処理のいずれかの符号化処理を用いるかは、勧告に規定されておらず、自由となっている。また、符号化方式によっては、過去と未来の画像データの両方から予測処理を行う（双方向予測）ことが可能であるが、本発明の実施の形態では過去の画像データからの予測（順方向予測）を使用する符号化方式を基に説明を行う。
【００４８】
図２に示すように、動画符号化装置１０１は、入力部２１０、ＤＣＴ（離散コサイン変換）処理部２０１、量子化処理部２０２、可変長符号化処理部２０３、逆量子化処理部２０４、逆ＤＣＴ処理部２０５、加算部２０６、動き検出部２０７、動き補償部２０８、減算部２０９及びスイッチ部２１０、２１１を具備している。
【００４９】
減算部２０９の１つの入力端子は、入力部２００に接続されている。ＤＣＴ処理部２０１の入力端子は、スイッチ部２１０を介して減算部２０９の出力端子に接続されている。また、ＤＣＴ処理部２０１の入力端子は、スイッチ部２１０を介して入力部２００に接続されている。量子化処理部２０２の入力端子は、ＤＣＴ処理部２０１の出力端子に接続されている。可変長符号化処理部２０３の入力端子は、量子化処理部２０２の出力端子に接続されている。
【００５０】
逆量子化処理部２０４の入力端子は、量子化処理部２０２の出力端子に接続されている。逆ＤＣＴ処理部２０５の入力端子は、逆量子化処理部２０４の出力端子に接続されている。加算部２０６の１つの入力端子は、逆ＤＣＴ処理部２０５の出力端子に接続されている。加算部２０６の他の入力端子は、スイッチ部２１１を介して動き補償部２０８の出力端子に接続されている。動き検出部２０７の入力端子は、入力部２００及び加算部２０６の出力端子に接続されている。動き補償部２０８の入力端子は、動き検出部２０７及び加算部２０６の出力端子に接続されている。動き検出部２０７の出力端子は、可変長符号化処理部２０３の入力端子に接続されている。減算部２０９の２つの入力端子は、入力部２００及び動き補償部２０８の出力端子に接続されている。
【００５１】
ＩＮＴＲＡ符号化処理の時には、入力部２００からの画像データに対して、ＤＣＴ（離散コサイン変換）処理部２０１がＤＣＴ処理を行い、量子化処理部２０２が量子化処理を行い、かつ、可変長符号化処理部２０３が圧縮符号化データ（ビットストリーム）の生成を行う。
【００５２】
一方、量子化済みの画像データに対し、逆量子化処理部２０４が逆量子化処理を行い、かつ、逆ＤＣＴ処理部２０５が逆ＤＣＴ処理を行って現フレームの再構成画像データ２２１を生成する。これは、ローカルデコード処理と呼び、圧縮処理内部で伸張処理を同時に行っている。この現フレーム再構成画像データ２２１は、次の処理フレームにおいて、差分画像を作成するための予測参照画像データ（時間的に１つ前のフレームの再構成画像データ）２２２となる。この符号化処理は、非可逆圧縮であり、圧縮後の画像は劣化が生じている。一旦伸張処理を行った画像データを参照画像データとして用いないと、ＩＮＴＥＲ復号処理においてミスマッチが生じる。したがって、次のフレームでＩＮＴＥＲ符号化処理を行うためには、ローカルデコード処理によって現フレーム再構成画像データ２２１を生成する必要がある。
【００５３】
ＩＮＴＥＲ符号化処理の場合は、動き検出処理部２０７は、予測参照画像データ（時間的に１つ前の再構成画像データである前フレーム再構成画像データ）２２２と入力部２００からの画像データとの間での動き検出を行い、予測参照画像データ２２２のフレームの中で相関性の高い部分の検出を行う。ここで検出された動きベクトルも、可変長符号化処理部２０３によって圧縮符号化データとなる。一方、動き補償部２０８は、その動きベクトルに対応する位置に対応する前フレーム再構成画像データ２２２の上のデータ、すなわち、相関性の高い部分（動き補償値と呼ばれる）を切り出し、減算部２０９が動き補償値と入力される画像データとの差分を算出する。そして、その差分値は、ＩＮＴＲＡ符号化処理と同様に圧縮処理をされる。ローカルデコード処理としては、さらに動き補償済みの画像データと逆ＤＣＴ処理の結果を加算部２０６で加算し、現フレーム再構成画像データ２２１とする。
【００５４】
次に、図１の合成画像符号化装置１００の動作を具体的に説明する。図４（ａ）及び図４（ｂ）に示すフレームは、時間的に連続な２フレームとし、図４（ａ）に示すフレームは最初のフレームとし、図４（ｂ）に示すフレームは次のフレームとする。この例においては、図４（ａ）及び図４（ｂ）に示すフレームの画面の右下に静止画圧縮符号化データを合成して符号化するケースを想定する。
【００５５】
図４（ａ）の符号化対象の動画データに対し、動画符号装置１０１が符号化処理を行う。符号化対象となる動画データの入力方法は、任意でよく、カメラから入力される動画データを一時的に動画用のバッファメモリに蓄積するようにしてもよい。動画符号化装置１０１による符号化処理は、前述のような符号化方式によって行う。
【００５６】
ここで、静止画合成制御装置１０３は、動画データに対する静止画圧縮符号化データの合成位置、すなわち、動画データの部分及び静止画データの部分を管理しており、動画データに該当する部分（ブロック）を符号化する時には、画像データ選択装置１０５を制御して、動画符号化装置１０１によって符号化した動画データを圧縮符号化データメモリ装置１０６に蓄積する。また、静止画合成制御装置１０３は、静止画圧縮符号化データに該当する部分（ブロック）を符号化、すなわち図４（ａ）の右下部分を符号化する時には、画像データ選択装置１０５を制御して、動画データを符号化するのではなく、静止画圧縮符号化データメモリ装置１０２に格納された静止画圧縮符号化データをそのまま圧縮符号化データメモリ装置１０４に送る。静止画圧縮符号化データの部分の処理時には、動画データの符号化処理が行われず、静止画圧縮符号化データの転送だけが行われる。図４（ｃ）に圧縮符号化データメモリ装置１０６の内部のイメージを示す。この図４は、動画符号化装置１０１によって生成された動画データの後に、静止画圧縮符号化データメモリ装置１０２からの静止画データが合成されている状態を示している。
【００５７】
次の図４（ｂ）に示す次のフレームの場合にも、図４（ａ）のフレームと同じ位置に静止画圧縮符号化データが合成されるので、前に説明した方法により右下の静止画圧縮符号化データが合成される。ただし、図４（ａ）に示す前（１番目）のフレームにおいて、静止画圧縮符号化データの合成部分の符号化処理は一切行っておらず、図４（ｄ）に示すように当該部分の再構成画像（予測参照画像）が存在しない。したがって、図４（ｂ）に示す２番目のフレームの符号化を行う場合は、図４（ａ）に示す１番目の静止画データの部分を参照して符号化（ＩＮＴＥＲ符号化）を行うことができない。したがって、前のフレームで静止画データの合成を行った場合には、動き検出制御装置１０４は、静止画データの合成部分（ブロック）を参照しないように動き検出処理を行う。
【００５８】
なお、本発明の実施の形態１において、動き検出以外にブロックを跨いで予測を行うツールを使用する場合（ＭＶＤ、イントラＤＣ又はＡＣ予測等）には、動画データと静止画圧縮符号化データの境界を跨いで予測を行わない制御を加えてもよい。また、ＭＰＥＧ−４ではデータパーティショニング（Ｄａｔａ　Ｐａｒｔｉｔｉｏｎｉｎｇ）と呼ばれる圧縮符号化データの伝送順序を入れ替えるエラー耐性技術が用いられている。通常、ブロックの処理順序で符号が伝送されるが、データパーティショニングとは、ＤＣ係数や動きベクトル及びブロック情報などの重要な情報を先に伝送し、重要な情報をエラーで失う確率を低くする技術である。本発明の実施の形態１においてＭＰＥＧ−４を用いる場合においても、データパーティショニングのモードに適合した静止画データの合成の制御を行ってもよい。
【００５９】
本発明の実施の形態１では、予測参照画像データの存在しない位置（静止画圧縮符号化データの合成位置）をＩＮＴＥＲ符号化処理として参照しないように制御するものとして説明したが、予測参照画像データを一切使用しないＩＮＴＲＡ符号化処理のみで符号化するような構成を採ってもよい。また、本発明の実施の形態１では、フレーム間予測を順方向予測によって行う（過去のフレームのみを参照）方法について説明を行ったが、双方向予測又は逆方向予測による処理の場合にも、同様に動き検出を制限することで本発明を適用することができる。
【００６０】
また、静止画圧縮符号化データが符号化シーケンスの先頭から合成されるものとして説明を行ったが、合成される静止画圧縮符号化データはＩＮＴＲＡ符号化処理によって圧縮されているため、前のフレームを一切参照しないから、本発明の実施の形態１において、動画シーケンスの任意のタイミングで静止画圧縮符号化データを合成することが可能であり、任意のタイミングで静止画圧縮符号化データの合成を中止することも可能である。また、本発明の実施の形態１において、静止画合成制御装置１０３によって合成位置を制御することができ、動き検出制御装置１０４によって静止画圧縮符号化データの部分を参照しないで符号化することができるので、静止画圧縮符号化データの合成位置はフレームによって変更することも可能である。
【００６１】
図４（ｅ）に示すように、本発明の実施の形態１において、背景に相当する部分を静止画データとして扱うことも可能である。本発明の実施の形態１では、静止画データの部分は既存の圧縮符号化データを合成するのみなので、処理の大部分を削減することが可能となる。
【００６２】
なお、本発明の実施の形態１では、静止画圧縮符号化データの領域は単一であるものとして説明したが、静止画データの領域すなわち静止画圧縮符号化データは静止画圧縮符号化データメモリ装置１０２の許す限りいくつでもよく、複数の静止画圧縮符号化データを合成して符号化を行う構成としてもよい。また、本発明の実施の形態１では、静止画圧縮符号化データに関しては、合成する動画データと同一の符号化方式で圧縮されていればよく、静止画圧縮符号化データメモリ装置１０２への入力方法は任意である。本発明の実施の形態１では、例えば、システム起動後にファイルから静止画圧縮符号化データメモリ装置１０２にダウンロードする構成を採ってもよく、また、事前にカメラから静止画データを取り込んで、動画符号化装置１０１によって静止画圧縮符号化データを作成し静止画圧縮符号化データメモリ装置１０２に格納しておいてもよい。
【００６３】
このように、本発明の実施の形態１によれば、静止画圧縮符号化データメモリ装置１０２（記憶手段）に静止画データを圧縮して符号化した静止画圧縮符号化データを格納するため、静止画圧縮符号化データメモリ装置１０２の容量を削減して価格を低減することができ、かつ、動画データに静止画圧縮符号化データを合成して単一の圧縮符号化データを出力するため、圧縮符号化データを多重化する必要がないから一般の復号装置によって合成画像データの復号が可能である。
【００６４】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照して詳細に説明する。図５は、本発明の実施の形態２に係る合成画像符号化装置の構成を示すブロック図である。本発明の実施の形態２においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００６５】
図５に示すように、本発明の実施の形態２に係る合成画像符号化装置５００は、本発明の実施の形態１に係る合成画像符号化装置１００において、動き検出制御装置１０４の代わりに可変長復号装置５０１を具備するものである。すなわち、本発明の実施の形態２に係る合成画像符号化装置５００は、動画符号化装置１０１、静止画圧縮符号化データメモリ装置１０２、静止画合成制御装置１０３、画像データ選択装置１０５、圧縮符号化データメモリ装置１０６及び可変復号装置５０１を具備している。可変長復号装置５０１の制御端子は、静止画合成制御装置１０３の出力端子に接続されている。また、可変長復号装置５０１の入出力端子は、動画符号化装置１０１に接続されている。また、可変長復号装置５０１の入力端子は、静止画圧縮符号化データメモリ装置１０２の出力端子に接続されている。
【００６６】
可変長復号装置５０１は、静止画合成制御装置１０２により静止画圧縮符号化データを動画データに合成する時に、静止画圧縮符号化データ（ビットストリーム）の可変長復号を行い（一般にＶＬＤと呼ばれる）、静止画圧縮符号化データの部分に基づいて現フレーム再構成画像データを生成して予測参照画像データとして動画符号化装置１０１に与える。この構成以外における本発明の実施の形態２に係る合成画像符号化装置５００の構成は、本発明の実施の形態１に係る合成画像符号化装置１００と同じである。
【００６７】
次に、本発明の実施の形態２に係る合成画像符号化装置５００の可変長復号装置５０１について図６を参照して説明する。図６は、本発明の実施の形態２に係る合成画像符号化装置５００の可変長復号装置５０１の構成を示すブロック図である。
【００６８】
図６に示すように、可変長復号装置５０１は、可変長復号処理部６００、逆量子化処理部６０１及び逆ＤＣＴ処理部６０２を具備している。可変長復号処理部６００の入力端子は、静止画圧縮符号化データメモリ装置１０２の出力端子に接続されている。また、可変長復号処理部６００の制御端子は、動画符号化装置１０３の出力端子に接続されている。逆量子化処理部６０１の入力端子は、可変長復号処理部６００の出力端子に接続されている。逆ＤＣＴ処理部６０２の入力端子は、逆量子化処理部６０１の出力端子に接続されている。逆ＤＣＴ処理部６０２の入力端子は、動画符号化装置１０１に接続されている。
【００６９】
次に、本発明の実施の形態２に係る合成画像符号化装置５００の可変長復号装置５０１の動作について、図６を参照して説明する。
【００７０】
動画データに対する静止画データの合成位置に対し、静止画圧縮符号化データを合成するまでの動作については、本発明の実施の形態１と同様であるので省略する。
【００７１】
動画データに対し静止画圧縮符号化データを合成した時には、可変長復号処理部６００は静止画圧縮符号化データの復号処理を行う、すなわち、静止画圧縮符号化データのローカルデコード処理を行う。次に、逆量子化処理部６０１は、可変長復号処理部６００からの画像データの逆量子化処理を行う。逆ＤＣＴ処理部６０２は、逆量子化処理部６０１からの画像データの逆ＤＣＴ処理を行う。静止画圧縮符号化データはＩＮＴＲＡ符号化方式により圧縮されているので、逆ＤＣＴ処理後のデータが現フレーム再構成画像データ６０３となる。可変長復号装置６０１は、現フレーム再構成画像データ６０３を予測参照画像データとして動画符号化装置１０１に与える。したがって、この場合における図４（ａ）に示すフレームを符号化した場合の現フレーム再構成画像データは、右下の静止画データの部分を含んだものとなるから、動き検出制御装置１０４の制御が不要となる。
【００７２】
なお、本発明の実施の形態２においては、可変長復号装置５０１を設けたが、予め復号装置が存在する構成の場合には、この復号装置によって可変長復号処理を行う方式を採用してもよい。
【００７３】
このように、本発明の実施の形態２によれば、本発明の実施の形態１と同じ効果を有し、かつ、静止画データの部分に関してはローカルデコード処理のみであり、通常の符号化処理よりも負荷を削減することができる。
【００７４】
（実施の形態３）
次に、本発明の実施の形態３について、図面を参照して詳細に説明する。図７は、本発明の実施の形態３に係る合成画像符号化装置の構成を示すブロック図である。本発明の実施の形態３においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００７５】
図７に示すように、本発明の実施の形態３に係る合成画像符号化装置７００は、本発明の実施の形態１に係る合成画像符号化装置１００において、非符号化情報設定装置７０１を追加してなる。すなわち、本発明の実施の形態３に係る合成画像符号化装置７００は、動画符号化装置１０１、静止画圧縮符号化データメモリ装置１０２、静止画合成制御装置１０３、動き検出制御装置１０４、画像データ選択装置１０５、圧縮符号化データメモリ装置１０６及び非符号化情報設定装置７０１を具備している。非符号化情報設定装置７０１の制御端子は、静止画合成制御装置１０３の出力端子に接続されている。また、非符号化情報設定装置７０１の出力端子は、画像データ選択装置１０５を介して圧縮符号化データメモリ装置１０６に接続されている。
【００７６】
非符号化情報設定装置７０１は、静止画合成制御装置１０３からの制御信号を受けて静止画圧縮符号化データの合成が始まった次のフレーム以降に、圧縮符号化データメモリ装置１０６に対して画像データ選択装置１０５を介して非符号化情報を与える。非符号化情報（Ｎｏｔ　Ｃｏｄｅｄ）とは、ＩＮＴＥＲ符号化処理を用いた場合に、前のフレーム（予測参照画像データ）の同位置のブロックが全く同一（動きベクトルが０である）のデータであった場合に挿入する符号化データである。静止画圧縮符号化データの合成位置に変更がないのであれば、時間的に前の画像データと同じデータを切り出せばよく、非符号化ブロックとすれば最も情報量を小さくすることができる。この構成以外における本発明の実施の形態３に係る合成画像符号化装置７００の構成は、本発明の実施の形態１に係る合成画像符号化装置１００と同じである。
【００７７】
次に、本発明の実施の形態３に係る合成画像符号化装置７００の非符号化情報設定装置７０１の動作について図７と共に図４を参照して説明する。
【００７８】
動画データに対する１枚目のフッレームの静止画データの合成位置に対し、静止画圧縮符号化データを合成するまでの動作に関しては実施の形態１と同様なので省略する。
【００７９】
図４（ｂ）に示すように、もし静止画圧縮符号化データの合成位置及び合成する静止画圧縮符号化データが直前のフレーム｛図４（ａ）｝と変更がない場合には、非符号化情報設定装置７０１によって、非符号化情報（Ｎｏｔ　Ｃｏｄｅｄ）を圧縮符号化データメモリ装置１０６に与える。この時に動画符号化装置１０１及び静止画圧縮符号化データメモリ装置１０２からの画像データの出力はない。注意点として、静止画圧縮符号化データの部分に対する再構成画像データが存在しないが｛図４（ｄ）｝、復号装置はミスマッチすることなく、正しく復号することが可能である。
【００８０】
最初のフレームにおいては、静止画圧縮符号化データの部分はＩＮＴＲＡ符号化で行われているので正しく復号して図４（ａ）の合成画像データを得ることができ、次のフレームにおける静止画圧縮符号化データの部分は非符号化情報となっているので、ＩＮＴＥＲ復号処理によって、予測参照画像データから同じ位置の画像データをそのまま切り出したものが復号結果となるから、正しく図４（ｂ）のような合成画像データを得ることができる。ただし、動画符号化装置１０１の側としては、あくまでも静止画圧縮符号化データの部分に対して再構成画像データがないので、動き検出制御装置１０４によって静止画圧縮符号化データの部分を参照しないような動き検出を行う。
【００８１】
なお、本発明の実施の形態３においては、ローカルデコードを行わないので、再構成画像が存在しないものとして説明したが、実施の形態２に示したように、静止画圧縮符号化データを復号できる手段を加えた構成を採ってもよい。
【００８２】
このように、本発明の実施の形態３によれば、第１の実施の形態と同様の効果を有し、かつ、簡単な制御を加えるだけで、静止画圧縮符号化データの部分として最小限の情報により動画データとの合成符号化が実現できる。また、本発明の実施の形態３によれば、静止画データに関する情報を小さくすることにより、動画データの部分により符号（情報）を割り当てることができる。
【００８３】
（実施の形態４）
次に、本発明の実施の形態４について、図面を参照して詳細に説明する。図８は、本発明の実施の形態４に係る合成画像符号化装置の構成を示すブロック図である。本発明の実施の形態４においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００８４】
本発明の実施の形態４に係る合成画像符号化装置８００は、本発明の実施の形態１に係る合成画像符号化装置１００において、符号量制御装置８０１を追加してなる。すなわち、本発明の実施の形態４に係る合成画像符号化装置８００は、動画符号化装置１０１、静止画圧縮符号化データメモリ装置１０２、静止画合成制御装置１０３、動き検出制御装置１０４、画像データ選択装置１０５、圧縮符号化データメモリ装置１０６及び符号量制御装置８０１を具備している。符号量制御装置８０１は、動画符号化装置１０１と静止画圧縮符号化データメモリ装置１０２との間に接続されている。また、符号量制御装置８０１の制御端子は、静止画合成制御装置１０３の出力端子に接続されている。
【００８５】
符号量制御装置８０１は、静止画圧縮符号化データの符号量に基づいて、動画データの部分に割り当てる符号量を管理し、動画符号化装置１０１の量子化パラメータの制御を行う。量子化パラメータとは、量子化処理部２０２（図２）において割り算に用いるパラメータである。量子化パラメータの大きさで高周波成分の含まれる割合が変化し、結果として情報量を制御することができる。この構成以外における本発明の実施の形態３に係る合成画像符号化装置８００の構成は、本発明の実施の形態１に係る合成画像符号化装置１００と同じである。
【００８６】
次に、本発明の実施の形態４に係る合成画像符号化装置８００の符号量制御装置８０１の動作について図８を参照して説明する。本発明の実施の形態４に係る合成画像符号化装置８００の基本的な動作は、本発明の実施の形態１と同様なので省略し、符号量制御の部分のみを説明する。
【００８７】
ここでは、１フレームごとに目標符号量を設定する方式で説明を行う。フレームの目標符号量をｐビット（ｂｉｔ）とすると、静止画圧縮符号化データの符号量は既に決定しているので、当該フレームに合成する静止画圧縮符号化データの符号量をｓ１ビット、ｓ２ビット、ｓ３ビット、…、ｓｎビットとすると、動画データに割り当てることのできる符号量ｍビットは、次の式（１）で示される値となる。
【００８８】
【数１】
2004146885.tif 000003
したがって、符号量制御装置８０１は、動画データの符号量がｍビットとなるように動画符号化装置１０１の量子化パラメータの制御を行う。
【００８９】
なお、本発明の実施の形態４においては、目標符号量を１フレームごとに設定する方法で示したが、符号量の目標の設定単位は数フレームにわたってもよく、１ブロックライン又は１ブロックごとでもよい。
【００９０】
このように、本発明の実施の形態４によれば、第１の実施の形態と同じ効果を有し、かつ、動画データの符号量を調整する手段を設けることによって、動画データに静止画データを合成した場合においても、符号量を適切に制御することが可能である。例えば、本発明の実施の形態４において、本発明の実施の形態３に示したように静止画圧縮符号化データの符号量を少なくする構成とした場合には、動画データに対する符号量を多く割り当てることができる。
【００９１】
なお、本発明の実施の形態１〜４は、携帯端末装置又は移動体通信システムに適用することも可能である。
【００９２】
（実施の形態５）
次に、本発明の実施の形態５について、図面を参照して詳細に説明する。図１は、本発明の実施の形態５に係る合成画像符号化方法を実施する装置の構成を示すブロック図である。図９は、本発明の実施の形態５に係る合成画像符号化方法を説明するためのフロー図である。
【００９３】
次に、本発明の実施の形態５に係る合成画像符号化方法について、図１と共に図９を参照して説明する。
【００９４】
図９に示すように、まず、静止画合成制御装置１０３は、処理対象となるブロックが静止画データの合成位置であるかを判断し（ステップＳＴ９０１）、合成位置であった時には、当該ブロック部分の静止画圧縮符号化データを合成する（ステップＳＴ９０２）。ステップＳＴ９０１において処理対象となるブロックが静止画圧縮符号化データの合成位置でない時には、動画符号化装置１０１は、符号化対象のブロックのＩＮＴＥＲ符号化処理よる符号化であるかを判断する（ステップＳＴ９０３）。ステップＳＴ９０３においてＩＮＴＥＲ符号化処理による符号化でない時、すなわち、ＩＮＴＲＡ符号化処理による符号化である時には、動画符号化装置１０１は、そのまま当該ブロックをＩＮＴＲＡ符号化によって処理を行う（ステップＳＴ９０４）。
【００９５】
ステップＳＴ９０３において、符号化対象のブロックのＩＮＴＥＲ符号化処理よる符号化である時には、動画符号化装置１０１は、前フレームにおいて動きベクトルの検出（探索）範囲に静止画圧縮符号化データの合成部分があるかを判断する（ステップＳＴ９０５）。ステップＳＴ９０５において、前フレームにおいて動きベクトルの検出（探索）範囲に静止画圧縮符号化データの合成部分がある時には、動画符号化装置１０１は、動き検出制御装置１０４による制限がある状態で、すなわち、前フレームの静止画圧縮符号化データの合成部分を参照しないようにして、ＩＮＴＥＲ符号化処理よる符号化を行う（ステップＳＴ９０６）。ステップＳＴ９０５において、前フレームにおいて動きベクトルの検出（探索）範囲に静止画圧縮符号化データの合成部分がない時には、動画符号化装置１０１は、動き検出制御装置１０４による制限がない状態で通常どおりの動き検出処理を行うＩＮＴＥＲ符号化処理よる符号化を実行する（ステップＳＴ９０７）。
【００９６】
このように、本発明の実施の形態５によれば、静止画圧縮符号化データメモリ装置１０２に静止画データを圧縮して符号化した静止画圧縮符号化データを格納するため、静止画圧縮符号化データメモリ装置１０２の容量を削減して価格を低減することができ、かつ、動画データに静止画圧縮符号化データを合成して単一の圧縮符号化データを出力するため、圧縮符号化データを多重化する必要がないから一般の復号装置によって合成画像の復号が可能である。
【００９７】
（実施の形態６）
次に、本発明の実施の形態６について、図面を参照して詳細に説明する。図５は、本発明の実施の形態６に係る合成画像符号化方法を実施する装置の構成を示すブロック図である。図１０は、本発明の実施の形態６に係る合成画像符号化方法を説明するためのフロー図である。
【００９８】
次に、本発明の実施の形態６に係る合成画像符号化方法について、図５と共に図１０を参照して説明する。
【００９９】
図１０に示すように、まず、静止画合成制御装置１０３は、処理対象となるブロックが静止画圧縮符号化データの合成位置であるかを判断し（ステップＳＴ１００１）、合成位置であった時には、当該ブロック部分の静止画圧縮符号化データを合成する（ステップＳＴ１００２）。次に、可変長復号装置５０１は、次のフレームにおける予測参照画像データを作成するために、合成した静止画圧縮符号化データの可変長復号処理を行って、さらにローカルデコード処理によって再構成画像データの作成を行う（ステップＳＴ１００３）。
【０１００】
ステップＳＴ１００１において対象となるブロックが静止画圧縮符号化データの合成位置でない時には、動画符号化装置１０１は、符号化対象のブロックのＩＮＴＥＲ符号化処理による符号化であるかを判断する（ステップＳＴ１００４）。ステップＳＴ１００４においてＩＮＴＥＲ符号化処理による符号化でない時、すなわち、ＩＮＴＲＡ符号化処理による符号化である時には、動画符号化装置１０１は、そのまま当該ブロックをＩＮＴＲＡ符号化によって処理を行う（ステップＳＴ１００５）。ステップＳＴ１００４において、符号化対象のブロックのＩＮＴＥＲ符号化処理よる符号化である時には、動画符号化装置１０１は、通常どおりのＩＮＴＥＲ符号化処理を行う（ステップＳＴ１００６）。
【０１０１】
このように、本発明の実施の形態６においては、本発明の実施の形態５と同じ効果を有し、かつ、静止画データの部分に関してはローカルデコード処理のみであるから、通常の符号化処理よりも負荷を削減することができる。
【０１０２】
（実施の形態７）
次に、本発明の実施の形態７について、図面を参照して詳細に説明する。図７は、本発明の実施の形態７に係る合成画像符号化方法を実施する装置の構成を示すブロック図である。図１１は、本発明の実施の形態７に係る合成画像符号化方法を説明するためのフロー図である。
【０１０３】
次に、本発明の実施の形態７に係る合成画像符号化方法について、図７と共に図１１を参照して説明する。
【０１０４】
図１１に示すように、まず、静止画合成制御装置１０３は、処理対象となるブロックが静止画圧縮符号化データの合成位置であるかを判断し（ステップＳＴ１１０１）、合成位置であった時には、動画符号化装置１０１は、前フレームの同じ位置で既に同じ静止画圧縮符号化データを合成しているかの判断を行う（ステップＳＴ１１０２）。時間的に連続なフレームにおいて、全く画像が変化していない場合には非符号化ブロック（Ｎｏｔ　Ｃｏｄｅｄ）として、非符号化情報を付与すればよい。したがって、ステップＳＴ１１０２において前フレームの同じ位置で既に同一の静止画圧縮符号化データを合成していた時には、非符号化情報設定装置７０１は、非符号化情報を挿入し（ステップＳＴ１１０３）、ステップＳＴ１１０２において前フレームの同じ位置で既に同一の静止画圧縮符号化データを合成していない時には、静止画合成制御装置１０３は、当該ブロック部分の静止画圧縮符号化データを合成する（ステップＳＴ１１０４）。
【０１０５】
ステップＳＴ１１０１において処理対象となるブロックが静止画圧縮符号化データの合成位置でない時には、動画符号化装置１０１は、符号化対象のブロックのＩＮＴＥＲ符号化処理よる符号化であるかを判断する（ステップＳＴ１１０５）。ステップＳＴ１１０５においてＩＮＴＥＲ符号化処理による符号化でない時、すなわち、ＩＮＴＲＡ符号化処理による符号化である時には、動画符号化装置１０１は、そのまま当該ブロックをＩＮＴＲＡ符号化によって処理を行う（ステップＳＴ１１０６）。
【０１０６】
ステップＳＴ１１０５において、符号化対象のブロックのＩＮＴＥＲ符号化処理よる符号化である時には、動画符号化装置１０１は、前フレームにおいて動きベクトルの検出（探索）範囲に静止画圧縮符号化データの合成部分があるかを判断する（ステップＳＴ１１０７）。ステップＳ１１０７において、前フレームにおいて動きベクトルの検出（探索）範囲に静止画データの合成部分がある時には、動画符号化装置１０１は、動き検出制御装置１０４による制限がある状態で、すなわち、前フレームの静止画圧縮符号化データの合成部分を参照しないようにして、ＩＮＴＥＲ符号化処理よる符号化を行う（ステップＳＴ１１０８）。ステップＳＴ１１０７において、前フレームにおいて動きベクトルの検出（探索）範囲に静止画圧縮符号化データの合成部分がない時には、動画符号化装置１０１は、動き検出制御装置１０４による制限がない状態で通常どおりの動き検出処理を行うＩＮＴＥＲ符号化処理よる符号化を実行する（ステップＳＴ１１０９）。
【０１０７】
なお、本発明の実施の形態７では、ローカルデコードを行わないので、再構成画像データが存在しないものとして説明したが、本発明の実施の形態６に示したように静止画圧縮符号化データを復号する方法を採ってもよい。
【０１０８】
このように、本発明の実施の形態７によれば、本発明の実施の形態５と同じ効果を有し、かつ、簡単な処理を加えるだけで、静止画圧縮符号化データの部分として最小限の情報により動画データとの合成符号化が実現できる。また、本発明の実施の形態７によれば、静止画圧縮符号化データに関する情報を小さくすることにより、動画データの部分により符号（情報）を割り当てることができる。
【０１０９】
（実施の形態８）
次に、本発明の実施の形態８について、図面を参照して詳細に説明する。図８は、本発明の実施の形態８に係る合成画像符号化方法を実施する装置の構成を示すブロック図である。図１２は、本発明の実施の形態８に係る合成画像符号化方法を説明するためのフロー図である。
【０１１０】
次に、本発明の実施の形態８に係る合成画像符号化方法について、図８と共に図１２を参照して説明する。
【０１１１】
図１２に示すように、まず、符号量制御装置８０１は、目標符号量の算出を行うが（ステップＳＴ１２０１）、ここでは１フレームごとに目標符号量を設定するものとして説明する。目量符号量の決定例については、本発明の実施の形態４と同様なので省略する。次に、符号量制御装置８０１は、当該処理フレームの動画部分における発生符号量の初期化を行う（ステップＳＴ１２０２）。次に、１フレームの符号化が完了かを判断する（ステップＳＴ１２０３）。
【０１１２】
次に、ステップＳＴ１２０４において静止画合成制御装置１０３は、処理対象のブロックが静止画圧縮符号化データの合成位置であるかを判断し、処理対象のブロックが静止画圧縮符号化データの合成位置である時には、静止画圧縮符号化データを合成し（ステップＳＴ１２０５）、ステップＳＴ１２０３に戻る。
【０１１３】
ステップＳＴ１２０４において処理対象のブロックが静止画圧縮符号化データの合成位置でない時には、動画符号化装置１０１は動画データの符号化を行う。この時に、符号量制御装置８０１は、当該フレーム内での累積発生符号量に基づいて、量子化パラメータの調整を行う（ステップＳＴ１２０６）。通常、量子化パラメータを大きくすることで発生符号量を減少させることができ、逆に量子化パラメータを小さくすることで発生符号量を増加させることができる。量子化パラメータを調整した後に、実際のブロックの処理を行う。
【０１１４】
まず、ステップＳＴ１２０７において、動画符号化装置１０１は、符号化対象のブロックのＩＮＴＥＲ符号化処理よる符号化であるかを判断する。ステップＳＴ１２０７においてＩＮＴＥＲ符号化処理による符号化でない時、すなわち、ＩＮＴＲＡ符号化処理による符号化である時には、動画符号化装置１０１は、そのまま当該ブロックをＩＮＴＲＡ符号化によって処理を行う（ステップＳＴ１２０８）。
【０１１５】
ステップＳＴ１２０７において、符号化対象のブロックのＩＮＴＥＲ符号化処理よる符号化である時には、動画符号化装置１０１は、前フレームにおいて動きベクトルの検出（探索）範囲に静止画圧縮符号化データの合成部分があるかを判断する（ステップＳＴ１２０９）。ステップＳ１２０９において、前フレームにおいて動きベクトルの検出（探索）範囲に静止画データの合成部分がある時には、動画符号化装置１０１は、動き検出制御装置１０４による制限がある状態で、すなわち、前フレームの静止画圧縮符号化データの合成部分を参照しないようにして、ＩＮＴＥＲ符号化処理よる符号化を行う（ステップＳＴ１２１０）。ステップＳＴ１２０９において、前フレームにおいて動きベクトルの検出（探索）範囲に静止画データの合成部分がない時には、動画符号化装置１０１は、動き検出制御装置１０４による制限がない状態で通常どおりの動き検出処理を行うＩＮＴＥＲ符号化処理よる符号化を実行する（ステップＳＴ１２１１）。最後に、符号量制御装置８０１は、当該ブロックで発生した符号量を加算し、累積発生符号量を算出し（ステップＳＴ１２１２）、ステップＳＴ１２０３に戻る。
【０１１６】
なお、本発明の実施の形態８では、目標符号量を１フレームごとに設定する方法で示したが、符号量の目標の設定単位は数フレームにわたってもよく、１ブロックライン又は１ブロックごとでもよい。また、本発明の実施の形態８では、量子化パラメータの調整は、ブロック単位で行っているが、１フレームごとでもよい。
【０１１７】
このように、本発明の実施の形態８によれば、本発明の実施の形態１と同じの効果を有し、かつ、動画データの符号量を調整することによって、静止画データを合成した場合においても、符号量を適切に制御することが可能である。例えば、本発明の実施の形態８においては、本発明の実施の形態７に示したように静止画データの符号量を少なくする方法を採った場合には、本発明の実施の形態８に示した方法で動画データに対する符号量を多く割り当てることができる。
【０１１８】
なお、本発明は、本発明の実施の形態５から８のいずれかの合成画像符号化方法を実施する合成画像符号化プログラムを含むものである。
【０１１９】
【発明の効果】
以上説明したように、本発明によれば、記憶手段に静止画データを圧縮して符号化した静止画圧縮符号化データを格納するため、記憶手段の容量を削減して価格を低減することができ、かつ、動画データに静止画圧縮符号化データを合成して単一の圧縮符号化データを出力するため、圧縮符号化データを多重化する必要がないから一般の復号装置によって合成画像の復号が可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態１、５に係る合成画像符号化装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る合成画像符号化装置の動画符号化装置の構成を示すブロック図
【図３】本発明の実施の形態１に係る合成画像符号化装置の動作を説明するための図
【図４】本発明の実施の形態１、２、３に係る合成画像符号化装置の動作を説明するための他の図
【図５】本発明の実施の形態２、６に係る合成画像符号化装置の構成を示すブロック図
【図６】本発明の実施の形態２に係る合成画像符号化装置の可変長復号装置の構成を示すブロック図
【図７】本発明の実施の形態３、７に係る合成画像符号化装置の構成を示すブロック図
【図８】本発明の実施の形態４、８に係る合成画像符号化装置の構成を示すブロック図
【図９】本発明の実施の形態５に係る合成画像符号化方法を説明するためのフロー図
【図１０】本発明の実施の形態６に係る合成画像符号化方法を説明するためのフロー図
【図１１】本発明の実施の形態７に係る合成画像符号化方法を説明するためのフロー図
【図１２】本発明の実施の形態８に係る合成画像符号化方法を説明するためのフロー図
【図１３】従来の合成画像符号化装置の構成を示すブロック図
【符号の説明】
１００、５００、７００、８００　合成画像符号化装置
１０１　動画符号化装置
１０２　静止画圧縮符号化データメモリ装置
１０３　静止画合成制御装置
１０４　動き検出制御装置
１０５　画像データ選択装置
１０６　圧縮符号化データメモリ装置
２００　入力部
２０１　ＤＣＴ処理部
２０２　量子化処理部
２０３　可変長符号化処理部
２０４　逆量子化処理部
２０５　逆ＤＣＴ処理部
２０６　加算部
２０７　動き検出部
２０８　動き補償部
２０９　減算部
２１０、２１１　スイッチ部
５０１　可変長復号装置
６００　可変長復号処理部
６０１　逆量子化処理部
６０２　逆ＤＣＴ処理部
７０１　非符号化情報設定装置
８０１　符号量制御装置
【図１】
2004146885.tif 000004
【図２】
2004146885.tif 000005
【図３】
2004146885.tif 000006
【図４】
2004146885.tif 000007
【図５】
2004146885.tif 000008
【図６】
2004146885.tif 000009
【図７】
2004146885.tif 000010
【図８】
2004146885.tif 000011
【図９】
2004146885.tif 000012
【図１０】
2004146885.tif 000013
【図１１】
2004146885.tif 000014
【図１２】
2004146885.tif 000015
【図１３】
2004146885.tif 000016