(57)【特許請求の範囲】
【請求項１】
第１の静止画像と、該第１の静止画像の複雑さを示す第１の難易度と、第２の静止画像と、該第２の静止画像の複雑さを示す第２の難易度とを取り込む取込手段と、
上記取込手段により取り込まれた第１の静止画像と第２の静止画像とを、時間軸方向に合成比率を変化させて合成した合成動画像を生成する合成手段と、
上記合成手段により生成される合成動画像を符号化する符号化手段と、
上記取込手段により取り込まれた第１の難易度と第２の難易度と、上記合成手段により生成される合成動画像の合成比率の時間軸方向の変化とに応じて、該合成動画像の複雑さを示す合成動画像難易度を計算する合成動画像難易度計算手段と、
上記合成手段により生成される合成動画像の合成比率の時間軸方向の変化と、上記合成動画像難易度計算手段により計算される合成動画像難易度とに応じて、上記符号化手段が上記合成動画像を符号化する処理の特性を制御する制御手段とを備える画像処理装置。
【請求項２】
上記取込手段により取り込まれた第１の静止画像に画質補正処理を施す第１の画質補正手段と、
上記第１の画質補正手段が上記第１の静止画像に施した画質補正処理に応じて上記第１の難易度を補正する難易度補正手段とを更に備え、
上記合成手段は、上記取込手段により取り込まれ上記第１の画質補正手段により画質補正処理が施された第１の静止画像と、該取込手段により取り込まれた第２の静止画像とを時間軸方向に合成比率を変化させて合成した合成動画像を生成し、
上記合成動画像難易度計算手段は、上記取込手段により取り込まれ上記難易度補正手段により補正された第１の難易度と、該取込手段により取り込まれた第２の難易度と、上記合成手段により生成される合成動画像の時間軸方向の合成比率の変化とに応じて、上記合成動画像難易度を計算することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記取込手段により取り込まれた第２の静止画像に画質補正処理を施す第２の画質補正処理手段を更に備え、
上記合成手段は、上記取込手段により取り込まれ上記第１の画質補正手段により画質補正処理が施された第１の静止画像と、該取込手段により取り込まれ上記第２の画質補正手段により画質補正処理が施された第２の静止画像とを時間軸方向に合成比率を変化させて合成した合成動画像を生成し、
上記難易度補正手段は、上記第１の画質補正手段が上記第１の静止画像に施した画質補正処理に応じて上記第１の難易度を補正するとともに、上記第２の画質補正手段が上記第２の静止画像に施した画質補正処理に応じて上記第２の難易度を補正し、
上記合成動画像難易度計算手段は、上記取込手段により取り込まれ上記難易度補正手段により補正された第１の難易度と、該取込手段により取り込まれ該難易度補正手段により補正された第２の難易度と、上記合成手段により生成される合成動画像の時間軸方向の合成比率の変化とに応じて、上記合成動画像難易度を計算することを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記符号化手段は、ピクチャタイプを予め決定して時間軸方向に並んだ各ピクチャの符号化を行う符号化方式に従って、上記合成手段により合成された合成動画像を符号化し、
上記制御手段は、上記合成手段により生成される合成動画像の時間軸方向の合成比率の変化と、上記合成動画像難易度計算手段により計算された合成動画像難易度と、上記符号化手段により符号化される各ピクチャのピクチャタイプとに応じて、該符号化手段が上記合成動画像を符号化する処理の特性を制御することを特徴とする請求項１記載の画像処理装置。
【請求項５】
第１の静止画像と、該第１の静止画像の複雑さを示す第１の難易度と、第２の静止画像と、該第２の静止画像の複雑さを示す第２の難易度とを所定の取込手段により取り込む取込ステップと、
上記取込ステップで取込手段により取り込まれた第１の静止画像と第２の静止画像とを、時間軸方向に合成比率を変化させて合成した合成動画像を生成する合成ステップと、
上記取込ステップにより取り込まれた第１の難易度と第２の難易度と、上記合成ステップにより生成される合成動画像の合成比率の時間軸方向の変化とに応じて、該合成動画像の複雑さを示す合成動画像難易度を計算する合成動画像難易度計算ステップと、
上記合成ステップで生成される合成動画像の時間軸方向の合成比率と、上記合成動画像難易度計算ステップで計算された合成動画像難易度とに応じて符号化制御パラメータを設定して、該符号化制御パラメータに応じて上記合成ステップにより合成された動画像を符号化する符号化ステップとからなる画像処理方法。
【請求項６】
第１の静止画像と、該第１の静止画像の複雑さを示す第１の難易度と、第２の静止画像と、該第２の静止画像の複雑さを示す第２の難易度とを所定の取込手段により取り込む取込ステップと、
上記取込ステップで取込手段により取り込まれた第１の静止画像と第２の静止画像とを、時間軸方向に合成比率を変化させて合成した合成動画像を生成する合成ステップと、
上記取込ステップにより取り込まれた第１の難易度と第２の難易度と、上記合成ステップにより生成される合成動画像の合成比率の時間軸方向の変化とに応じて、該合成動画像の複雑さを示す合成動画像難易度を計算する合成動画像難易度計算ステップと、
上記合成ステップで生成される合成動画像の時間軸方向の合成比率と、上記合成動画像難易度計算ステップで計算された合成動画像難易度とに応じて符号化制御パラメータを設定して、該符号化制御パラメータに応じて上記合成ステップにより合成された動画像を符号化する符号化ステップとからなる画像処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の静止画像を合成して合成動画像を生成して符号化処理を施す画像処理装置、画像処理方法、及び、この画像処理をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラなどで撮像された静止画像に対して、次のような特殊な映像効果を付加する処理を行うものがある。特殊な映像効果を施す処理は、次の第１、第２の処理に大きく分けられる。
【０００３】
第１の処理は、静止画像の画質を補正する処理であって、例えば、静止画像をカラーからモノクロ化する処理や、静止画像をセピヤ色化する処理や、静止画像にぼかし効果を施す処理や、静止画像の輪郭を強調してシャープ化する処理や、静止画像にノイズを付加及び除去する処理などである。
【０００４】
第２の処理は、複数の静止画像を合成し、合成比率を時間軸方向に変化させることによって、ある静止画像から他の静止画像へ時間的に遷移させる処理である。具体的に、第２の処理は、ある静止画像から他の静止画像に瞬時に変化するカットシーン効果や、ある静止画像から他の静止画像に時間的に徐々に移り変わるクロスフェードシーン効果などである。
【０００５】
画像処理装置では、以上のような第１、及び第２の処理を組み合わせることによって、複数の静止画像に所望の映像効果を施した動画像として表示することができる。
【０００６】
画像処理装置は、このようにして生成された動画を、記憶容量を有効に利用して所定の記憶媒体に保存するために、例えばＡＶＣなどの符号化方式に従って符号化処理が施される。
【０００７】
ここで、上述した静止画像やコンピュータグラフィックスなど映像素材から生成される動画像は、ビデオ画像などの通常の動画像に比べて画質が高画質であるため、符号化したときの画質の劣化が目立ち易い傾向にある。
【０００８】
特許文献１には、コンピュータグラフィックス素材の動画像を符号化するとき、各ポリゴンの座標変換行列を用いて動きベクトルを精度良く検出することにより、より高画質に動画像を符号化する動画像符号化装置が記載されている。
【０００９】
【特許文献１】特開平８―３０５８９５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したように、特殊な映像効果を施して複数の静止画像から生成される動画像を符号化した画像は、通常の動画像や、上述したコンピュータグラフィックス素材の動画像と異なり元々動き成分が全くない静止画像から生成されるため、さらに通常の動画像に比べて高精細な静止画から作成されるため、通常の動画像を符号化した画像と比較して画質劣化が視覚的に目立ち易いという問題がある。
【００１１】
本発明は、このような実情に鑑みて提案されたものであり、複数の静止画像を合成して生成される合成動画像を、簡易的な手法で画質を良好に保ちつつ符号化処理を施した符号化データを生成する画像処理装置、画像処理方法、及び、この画像処理をコンピュータに実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決するための手段として、本発明に係る画像処理装置は、第１の静止画像と、該第１の静止画像の複雑さを示す第１の難易度と、第２の静止画像と、該第２の静止画像の複雑さを示す第２の難易度とを取り込む取込手段と、上記取込手段により取り込まれた第１の静止画像と第２の静止画像とを、時間軸方向に合成比率を変化させて合成した合成動画像を生成する合成手段と、上記合成手段により生成される合成動画像を符号化する符号化手段と、上記取込手段により取り込まれた第１の難易度と第２の難易度と、上記合成手段により生成される合成動画像の合成比率の時間軸方向の変化とに応じて、該合成動画像の複雑さを示す合成動画像難易度を計算する合成動画像難易度計算手段と、上記合成手段により生成される合成動画像の合成比率の時間軸方向の変化と、上記合成動画像難易度計算手段により計算される合成動画像難易度とに応じて、上記符号化手段が上記合成動画像を符号化する処理の特性を制御する制御手段とを備える。
【００１３】
また、本発明に係る画像処理方法は、第１の静止画像と、該第１の静止画像の複雑さを示す第１の難易度と、第２の静止画像と、該第２の静止画像の複雑さを示す第２の難易度とを所定の取込手段により取り込む取込ステップと、上記取込ステップで取込手段により取り込まれた第１の静止画像と第２の静止画像とを、時間軸方向に合成比率を変化させて合成した合成動画像を生成する合成ステップと、上記取込ステップにより取り込まれた第１の難易度と第２の難易度と、上記合成ステップにより生成される合成動画像の合成比率の時間軸方向の変化とに応じて、該合成動画像の複雑さを示す合成動画像難易度を計算する合成動画像難易度計算ステップと、上記合成ステップで生成される合成動画像の時間軸方向の合成比率と、上記合成動画像難易度計算ステップで計算された合成動画像難易度とに応じて符号化制御パラメータを設定して、該符号化制御パラメータに応じて上記合成ステップにより合成された動画像を符号化する符号化ステップとからなる。
【００１４】
また、本発明に係るプログラムは、第１の静止画像と、該第１の静止画像の複雑さを示す第１の難易度と、第２の静止画像と、該第２の静止画像の複雑さを示す第２の難易度とを所定の取込手段により取り込む取込ステップと、上記取込ステップで取込手段により取り込まれた第１の静止画像と第２の静止画像とを、時間軸方向に合成比率を変化させて合成した合成動画像を生成する合成ステップと、上記取込ステップにより取り込まれた第１の難易度と第２の難易度と、上記合成ステップにより生成される合成動画像の合成比率の時間軸方向の変化とに応じて、該合成動画像の複雑さを示す合成動画像難易度を計算する合成動画像難易度計算ステップと、上記合成ステップで生成される合成動画像の時間軸方向の合成比率と、上記合成動画像難易度計算ステップで計算された合成動画像難易度とに応じて符号化制御パラメータを設定して、該符号化制御パラメータに応じて上記合成ステップにより合成された動画像を符号化する符号化ステップとからなる画像処理をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１５】
本発明は、合成動画像の合成比率の時間軸方向の変化と合成動画像難易度とに応じて、合成動画像を符号化する処理の特性を制御するので、複数の静止画像を合成して生成される動画像から、簡易的な手法で、画質を良好に保ちつつ高符号化効率で符号化処理を施した符号化データを生成することができる。
【発明を実施するための最良の形態】
【００１６】
本発明が適用された画像処理装置は、複数の静止画像を合成して合成動画像を生成して符号化処理を施す画像処理装置である。以下では、この画像処理装置の具体例として、図１に示すような画像処理装置１を用いて、本発明を実施するための最良の形態について説明する。
【００１７】
この画像処理装置１は、図１に示すように、静止画像データベース１０と、画像処理部２０と、動画像データベース３０と、制御部４０と、ユーザインタフェース５０とを備える。
【００１８】
静止画像データベース１０は、ハードディスクなどの記憶媒体に、デジタルカメラなどによって撮像された複数の静止画像データを管理する記憶領域である。具体的に、静止画像データベース１０は、所定の記憶領域に、複数の静止画像データと、各静止画像データの複雑さを示す静止画難易度とを対応付けて管理している。また、静止画像データベース１０は、例えば、後述する制御部４０から供給される静止画選択設定情報に応じた静止画像データＰａと静止画像データＰｂと、それぞれの静止画像データＰａ、Ｐｂに対応付けられた２つの静止画難易度Ｄａ、Ｄｂとを画像処理部２０に供給する。
【００１９】
なお、静止画像データベース１０及び後述する動画像データベース３０は、同一の記憶媒体を共用して、互いに異なる記憶領域に構築されるようにしてもよい。
【００２０】
また、この静止画難易度Ｄａ、Ｄｂは、例えば画像の複雑さを解析した結果や、画像ファイルのサイズなどの情報によって算出されるものである。また、この静止画難易度Ｄａ、Ｄｂは、静止画選択設定情報に応じて静止画像データＰａと静止画像データＰｂが選択されたときに制御部４０によって算出するようにしても良いが、合成動画像を生成する処理を開始する前に、予め算出して静止画像データベース１０で管理するようにしてもよい。特に、画像処理装置１では、この静止画難易度Ｄａ、Ｄｂを予め算出しておくことで、合成動画像の生成処理を開始してからの単位時間当たり処理量を削減することができる。
【００２１】
画像処理部２０は、静止画像データベース１０から読み出された静止画像データＰａ、Ｐｂを取り込み、取り込んだ静止画像データＰａ、Ｐｂを時間軸方向に合成比率を変化させて合成した合成動画像データを生成して、生成した合成動画像データに符号化処理を施した符号化データを動画像データベース３０に供給する。
【００２２】
動画像データベース３０は、ハードディスクなどの記憶媒体に、画像処理部２０によって生成され符号化処理が施された動画像データを管理する記憶領域である。
【００２３】
制御部４０は、ＣＰＵなどの汎用的なプロセッサから構成されるコンピュータであって、後述するユーザインタフェース５０から供給される複数の設定情報に応じて、静止画像データベース１０、画像処理部２０、及び、動画像データベース３０の動作を制御する。
【００２４】
ユーザインタフェース５０は、ユーザによって操作入力された画像処理装置１の動作に係る設定情報を制御部４０に供給する。例えば、ユーザインタフェース５０に操作入力される設定情報は、次のような、静止画選択設定情報と、第１の画質設定情報と、第２の画質設定情報と、シーン切替設定情報とからなる。
【００２５】
静止画選択設定情報は、静止画像データベース１０で管理されている複数の静止画像データから、合成動画像データの基となる静止画像データＰａと静止画像データＰｂとを設定する設定情報である。第１の画質設定情報は、静止画像データＰａに対して施す画質補正処理を設定する設定情報である。第２の画質設定情報は、静止画像データＰｂに対して施す画質補正処理を設定する設定情報である。ここで、第１及び第２の画質設定情報に係る画質補正処理とは、静止画像の画質を補正する処理であって、画像をカラーからモノクロ化する処理や、画像をセピヤ色化する処理や、画像にぼかし効果を施す処理や、画像の輪郭を強調してシャープ化する処理や、画像にノイズを付加及び除去する処理などである。シーン切替設定情報は、合成動画像のカットシーンやフェードシーンを切り替えるタイミングを設定する設定情報である。
【００２６】
以上のような構成からなる画像処理装置１では、ユーザインタフェース５０によって操作入力された設定情報に応じて、制御部４０が、静止画像データベース１０から画像処理部２０へ複数の静止画像データを読み出し、読み出した複数の静止画像データから画像処理部２０に合成動画像データを生成させ、生成された合成動画像データを動画像データベース３０に書き込む処理を行う。
【００２７】
次に、画像処理部２０の構成について、図２を参照して説明する。
【００２８】
画像処理部２０は、第１の画質補正部２１と、第２の画質補正部２２と、静止画難易度補正部２３と、合成処理部２４と、符号化部２５と、合成動画像難易度計算部２６と、符号化制御部２７とを備える。
【００２９】
第１の画質補正部２１は、制御部４０から供給される第１の画質設定情報に基づいて、静止画像データベース１０から取り込んだ静止画像データＰａに対して、例えば次のような画質補正処理を施す。具体的に、第１の画質補正部２１は、上述したモノクロ化、セピア色化、ぼかし効果、ノイズ除去などの静止画像の複雑さを示す難易度を下げる画質補正処理、及び、輪郭強調によるシャープ化、ノイズ付加などの静止画像の複雑さを示す難易度を上げる画質補正処理の中から、第１の画質設定情報が示す種類の画質補正処理を静止画像データＰａに対して施す。そして、第１の画質補正部２１は、画質補正処理を施した静止画像データ（以下、静止画像データＰａ’という。）を合成処理部２４に供給する。
【００３０】
また、第１の画質補正部２１は、静止画像データＰａに対して画質補正処理を施すとともに、画質補正処理の種類や強度から、静止画像データＰａの難易度を静止画像データＰａ’の難易度に補正するための補正パラメータΔＥａを設定して静止画難易度補正部２３に供給する。具体的に、第１の画質補正部２１は、上述した静止画像の難易度を下げる画質補正処理を施したとき補正パラメータΔＥａの値を０＜ΔＥａ＜１にし、静止画像の難易度を上げる画質補正処理を施したとき補正パラメータΔＥａの値をΔＥａ＞１にする。
【００３１】
なお、画像処理装置１は、必ずしも第１の画質補正部２１において静止画像データＰａに画質補正処理を施さなくてもよく、このように画質補正処理を行わない場合、第１の画質補正部２１を備えることなく、静止画像データＰａを合成処理部２４に直接供給する。
【００３２】
第２の画質補正部２２は、制御部４０から供給される第２の画質設定情報に基づいて、静止画像データベース１０から取り込んだ静止画像データＰｂに対して、上述した静止画像の難易度を下げる画質補正処理及び静止画像の難易度を上げる画質補正処理の中から、第２の画質設定情報が示す種類の画質補正処理を静止画像データＰｂに対して施す。そして、第２の画質補正部２２は、画質補正処理を施した静止画像データ（以下、静止画像データＰｂ’という。）を合成処理部２４に供給する。
【００３３】
また、第２の画質補正部２２は、静止画像データＰｂに対して画質補正処理を施すとともに、画質補正処理の種類や強度から、静止画像データＰｂの難易度を静止画像データＰｂ’の難易度に補正するための補正パラメータΔＥｂを設定して静止画難易度補正部２３に供給する。具体的に、第２の画質補正部２２は、上述した静止画像の難易度を下げる画質補正処理を施したとき補正パラメータΔＥｂの値を０＜ΔＥｂ＜１にし、静止画像の難易度を上げる画質補正処理を施したとき補正パラメータΔＥｂの値をΔＥｂ＞１にする。
【００３４】
なお、画像処理装置１は、必ずしも第２の画質補正部２２において静止画像データＰｂに画質補正処理を施さなくてもよく、このように画質補正処理を行わない場合、第２の画質補正部２２を備えることなく、静止画像データＰｂを合成処理部２４に直接供給する。
【００３５】
静止画難易度補正部２３は、静止画像データベース１０から取り込んだ静止画難易度Ｄａ、Ｄｂと、第１の画質補正部２１から供給される補正パラメータΔＥａと、第２の画質補正部２２から供給される補正パラメータΔＥｂとに応じて、次の（１）式及び（２）式より補正静止画難易度Ｄａ’、Ｄｂ’を算出して、それぞれ合成動画像難易度計算部２６に供給する。
Ｄａ’＝ΔＥａ×Ｄａ  ・・・（１）
Ｄｂ’＝ΔＥｂ×Ｄｂ  ・・・（２）
【００３６】
なお、第１の画質補正部２１及び第２の画質補正部２２において、画質補正処理を施さない場合、画像処理装置１は、静止画難易度補正部２３を備えなくてもよく、静止画像データベース１０から取り込んだ静止画難易度Ｄａ、Ｄｂを合成動画像難易度計算部２６に直接供給するようにすればよい。
【００３７】
合成処理部２４は、制御部４０から供給されるシーン切替設定情報に応じて、第１の画質補正部２１から供給される静止画像データＰａ’と、第２の画質補正部２２から供給される静止画像データＰｂ’とを時間軸方向に合成比率を変化させて合成した合成動画像データＰｍｏｖｉｅを生成して、生成した合成動画像データＰｍｏｖｉｅを符号化部２５に供給する。具体的に、合成処理部２４は、次の（３）式より合成動画像データＰｍｏｖｉｅを生成する。
Ｐｍｏｖｉｅ＝（ｒ−１）×Ｐａ’＋ｒ×Ｐｂ’  ・・・（３）
【００３８】
ここで、ｒは、静止画像データＰａ’と静止画像データＰｂ’との合成比率を示す値である。画像が瞬時に切り替わるカットシーンを示すシーン切替設定情報が供給されたとき、合成処理部２４は、合成比率ｒの値を０から１にピクチャ単位で瞬時に切り替える。また、静止画像データＰａ’から静止画像データＰｂ’へ徐々に変化するフェードシーンを示すシーン切替設定情報が供給されたとき、合成処理部２４は、合成比率ｒの値を０から１へ複数のピクチャを経て緩やかに変化させる。また、合成処理部２４は、時間軸方向に変化する合成比率ｒの情報を合成動画像難易度計算部２６及び符号化制御部２７に供給する。
【００３９】
符号化部２５は、合成処理部２４から供給される合成動画像データＰｍｏｖｉｅを、ＭＰＥＧ２やＡＶＣなどの符号化方式に従って符号化処理を施して、符号化処理を施した動画像圧縮データを動画像データベース３０に出力する。また、符号化部２５は、後述する符号化制御部２７から供給される符号化制御パラメータに従って、合成動画像データＰｍｏｖｉｅを符号化する。
【００４０】
ここで、符号化制御パラメータは、例えば、割当ビット量Ｂｉｔａｌｌｏｃと、動画像圧縮データを構成する各ピクチャのピクチャタイプＰｔｙｐｅと、各ピクチャの予測タイプＰｒｅｄとからなる。
【００４１】
割当ビット量Ｂｉｔａｌｌｏｃは、動画像圧縮データに単位時間当たりに割り当てられるビット量である。
【００４２】
また、ピクチャタイプＰｔｙｐｅは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類から構成される。
【００４３】
また、予測タイプＰｒｅｄは、イントラ予測処理と、前方予測処理と、後方予測処理と、重み付き予測処理の４種類から構成される。ここで、イントラ予測処理は、符号化対象ピクチャの画面内の情報のみを用いて符号化を行う予測処理である。前方予測処理は、符号化対象ピクチャに対して時間軸方向の前に位置するピクチャを参照して符号化を行う予測処理である。後方予測処理は、符号化対象ピクチャに対して時間軸方向に後に位置するピクチャを参照して符号化を行う予測処理である。重み付き予測処理は、参照ピクチャの輝度成分に対して適応的に重み係数をかけて符号化対象ピクチャの輝度成分を予測する処理である。
【００４４】
合成動画像難易度計算部２６は、静止画難易度補正部２３から供給される補正静止画難易度Ｄａ’、Ｄｂ’と、合成処理部２４から供給される合成比率ｒの時間軸方向の変化とに応じて、合成動画像難易度Ｄｍｏｖｉｅを計算して符号化制御部２７に供給する。具体的に、合成動画像難易度計算部２６は、次の（４）式より合成動画像難易度Ｄｍｏｖｉｅを計算する。
Ｄｍｏｖｉｅ＝（ｒ−１）×Ｄａ’＋ｒ×Ｄｂ’  ・・・（４）
【００４５】
符号化制御部２７は、合成処理部２４から供給される合成比率ｒの情報と、合成動画像難易度計算部２６から供給される合成動画像難易度Ｄｍｏｖｉｅとに応じて、上述した各符号化制御パラメータを設定して、符号化部２５の動作特性を制御する。
【００４６】
具体的に、符号化制御部２７は、例えば図３に示すようなフローチャートに従って、合成動画像難易度Ｄｍｏｖｉｅと時間軸方向に変化する合成比率ｒとに応じて、符号化制御パラメータを設定する。
【００４７】
図３に示すフローチャートに従った処理工程においては、合成動画像Ｐｍｏｖｉｅの時間軸方向に並んだｔ番目のピクチャをＰｍｏｖｉｅ（ｔ）とする。また、Ｐｍｏｖｉｅ（ｔ）に対応する合成比率ｒおよび合成動画像難易度Ｄｍｏｖｉｅを、それぞれｒ（ｔ）、Ｄｍｏｖｉｅ（ｔ）とする。また、Ｐｍｏｖｉｅ（ｔ）に対応する各符号化制御パラメータ、すなわち割当ビット量、ピクチャタイプ、及び、ピクチャの予測タイプを、それぞれＢｉｔalloc（ｔ）、Ｐｔｙｐｅ（ｔ）、Ｐｒｅｄ（ｔ）とする。なお、合成動画像Ｐｍｏｖｉｅは、０からｎ番目のピクチャによって構成されているものとする。
【００４８】
ステップＳ１において、符号化制御部２７は、合成処理部２４から符号化部２５に供給される合成動画像Ｐｍｏｖｉｅの現在の処理対象のピクチャをＰｍｏｖｉｅ（ｔ）に設定する。
【００４９】
ステップＳ２において、符号化制御部２７は、次の判断処理によって、シーン切替が終了したか否かを判断する。すなわち、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する合成比率ｒ（ｔ）の値が１であり、かつ、直前のピクチャＰｍｏｖｉｅ（ｔ−１）に対応する合成比率ｒ（ｔ−１）の値が１以外である、という条件を満たすか否かを判断する。そして、符号化制御部２７は、この条件を満たすとき、カットシーン又はフェードシーンが完了した直後である、すなわちシーン切替が終了したと判断してステップＳ３に進む。また、符号化制御部２７は、この条件を満たさないときシーン切替が終了していないと判断してステップＳ５に進む。
【００５０】
ステップＳ３において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応するピクチャタイプＰｔｙｐｅ（ｔ）をＩピクチャに設定して、ステップＳ４に進む。
【００５１】
ステップＳ４において、現在のピクチャに対応する合成動画像難易度Ｄｍｏｖｉｅ（ｔ）に応じて割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）を設定してステップＳ１０に進む。
【００５２】
ステップＳ５において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応するピクチャタイプＰｔｙｐｅ（ｔ）をＰピクチャ又はＢピクチャに設定して、ステップＳ６に進む。
【００５３】
ステップＳ６において、符号化制御部２７は、次の判断処理によって、現在のピクチャＰｍｏｖｉｅ（ｔ）がフェードシーンであるか否かを判断する。すなわち、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する合成比率ｒ（ｔ）の値が０又は１のいずれでもないという条件を満たす否かを判断する。そして、符号化制御部２７は、この条件を満たすとき、現在のピクチャＰｍｏｖｉｅ（ｔ）がフェードシーンであると判断してステップＳ７に進む。また、符号化制御部２７は、この条件を満たさないとき、現在のピクチャＰｍｏｖｉｅ（ｔ）がフェードシーンでないと判断してステップＳ８に進む。
【００５４】
ステップＳ７において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する予測タイプＰｒｅｄ（ｔ）を重み付き予測に設定して、ステップＳ９に進む。ここで、重み付き予測処理は、上述したように参照ピクチャの輝度成分に対して適応的に重み係数をかけて符号化対象のピクチャの輝度成分を予測する処理である。よって、重み付き予測処理は、特に、明るさが時間的に変化するフェードシーンなどで符号化画像の画質劣化を低減させるのに有効である。このように、符号化制御部２７は、前段のステップＳ６においてフェードシーンであると判断されたピクチャＰｍｏｖｉｅ（ｔ）に適した予測タイプを容易に設定することができる。
【００５５】
ステップＳ８において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する予測タイプＰｒｅｄ（ｔ）を前方予測処理に設定して、ステップＳ９に進む。ここで、前方予測処理は、上述した重き付き予測処理と異なり参照ピクチャの輝度成分を直接符号化対象のピクチャの輝度成分として予測する処理である。前方予測処理は、上述した重み付き予測処理に比べて演算処理量が少ないため、特に、時間的に輝度成分があまり変化しないシーンにおいて有効である。このようにして、符号化制御部２７は、前段のステップＳ６においてフェードシーンでないと判断されたピクチャＰｍｏｖｉｅ（ｔ）に対して、動きのない静止画像が連続して構成される動画像に適した予測タイプを設定することができる。
【００５６】
ステップＳ９において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）の値を最小に設定してステップＳ１０に進む。
【００５７】
ステップＳ１０において、符号化制御部２７は、合成動画像Ｐｍｏｖｉｅのピクチャ番号を示すｔの値が、合成動画像Ｐｍｏｖｉｅの時間軸方向に並んだ最後の番号であるｎであるか否かを判断する。符号化制御部２７は、ｔの値がｎであるとき処理を終了し、ｔの値がｎでないときステップＳ１１に進む。
【００５８】
ステップＳ１１において、符号化制御部２７は、合成動画像Ｐｍｏｖｉｅのピクチャ番号を示すｔの値をｔ＋１に更新して、ステップＳ１に戻る。
【００５９】
以上のようなフローチャートに従って符号化部２５を制御する符号化制御部２７では、カットシーンを含む合成動画像Ｐｍｏｖｉｅに対して、例えば図４に示すようにして符号化制御パラメータを設定する。
【００６０】
図４は、合成動画像Ｐｍｏｖｉｅのピクチャ番号ｔの値がｋのときに静止画像データＰａから静止画像データＰｂへ瞬時へ切り替わるカットシーンを示している。
【００６１】
このようなカットシーンにおいて、符号化制御部２７には、ピクチャ番号ｔの値がｋより小さいとき、合成処理部２４から値が０である合成比率ｒが供給され、合成動画像難易度計算部２６から値がＤａ’である合成動画像難易度Ｄｍｏｖｉｅが供給される。また、符号化制御部２７には、ピクチャ番号ｔの値がｋ以上のとき、合成処理部２４から値が１である合成比率ｒが供給され、合成動画像難易度計算部２６から値がＤｂ’である合成動画像難易度Ｄｍｏｖｉｅが供給される。
【００６２】
このようにして合成比率ｒ及び合成動画像難易度Ｄｍｏｖｉｅが供給される符号化制御部２７では、次のようにして各ピクチャＰｍｏｖｉｅ（ｔ）に対応する符号化制御パラメータを設定する。
【００６３】
すなわち、符号化制御部２７は、ピクチャ番号ｔの値がｋのピクチャＰｍｏｖｉｅ（ｋ）に対して、ステップＳ２の判断処理からステップＳ３に進んでピクチャタイプＰｔｙｐｅ（ｋ）をＩピクチャに設定し、ステップＳ４によって割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）を合成動画像難易度Ｄｍｏｖｉｅに応じて設定する。
【００６４】
また、符号化制御部２７は、ピクチャ番号ｔの値がｋ以外のピクチャＰｍｏｖｉｅ（ｔ）に対して、ステップＳ２からステップＳ５に進んでピクチャタイプＰｔｙｐｅ（ｔ）をＰピクチャ又はＢピクチャに設定し、ステップＳ６の判断処理からステップＳ８に進んで予測タイプＰｒｅｄ（ｔ）を前方予測処理に設定し、ステップＳ９によって割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）の値を最小に設定する。
【００６５】
また、符号化制御部２７では、フェードシーンを含む合成動画像Ｐｍｏｖｉｅに対して、例えば図５に示すように符号化制御パラメータを設定する。
【００６６】
図５は、合成動画像Ｐｍｏｖｉｅのピクチャ番号ｔの値がｋのとき、静止画像データＰａから静止画像データＰｂへのフェードを開始して、その後、合成動画像Ｐｍｏｖｉｅのピクチャ番号ｔの値がｋ＋４のとき、このフェードを終了するシーンを示している。
【００６７】
このようなフェードシーンにおいて、符号化制御部２７には、ピクチャ番号ｔの値がｋより小さいとき、合成処理部２４から値が０である合成比率ｒが供給され、合成動画像難易度計算部２６から値がＤａ’である合成動画像難易度Ｄｍｏｖｉｅが供給される。また、符号化制御部２７には、ピクチャ番号ｔの値がｋからｋ＋４のとき、合成処理部２４から値がピクチャ単位で０から１に変化する合成比率ｒが供給され、合成動画像難易度計算部２６から値がピクチャ単位でＤａ’からＤｂ’に変化する合成動画像難易度Ｄｍｏｖｉｅが供給される。そして、符号化制御部２７には、ピクチャ番号ｔの値がｋ＋４より大きいとき、合成処理部２４から値が１である合成比率ｒが供給され、合成動画像難易度計算部２６から値がＤｂ’である合成動画像難易度Ｄｍｏｖｉｅが供給される。
【００６８】
このようにして合成比率ｒ及び合成動画像難易度Ｄｍｏｖｉｅが供給される符号化制御部２７では、次のようにして各ピクチャＰｍｏｖｉｅ（ｔ）に対応する符号化制御パラメータを設定する。
【００６９】
すなわち、符号化制御部２７は、ピクチャ番号ｔの値がｋより小さいピクチャＰｍｏｖｉｅ（ｔ）、及び、ピクチャ番号ｔの値がｋ＋６以上のピクチャＰｍｏｖｉｅ（ｔ）に対して、ステップＳ２の判断処理からステップＳ５に進んでピクチャタイプＰｔｙｐｅ（ｔ）をＰピクチャ又はＢピクチャに設定し、ステップＳ６の判断処理からステップＳ８に進んで予測タイプＰｒｅｄ（ｔ）を前方予測処理に設定し、ステップＳ９によって割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）の値を最小に設定する。
【００７０】
また、符号化制御部２７は、ピクチャ番号ｔの値がｋからｋ＋４までのピクチャＰｍｏｖｉｅ（ｔ）に対して、ステップＳ２の判断処理からステップＳ５に進んでピクチャタイプＰｔｙｐｅ（ｔ）をＰピクチャ又はＢピクチャに設定し、ステップＳ６の判断処理からステップＳ７に進んで予測タイプＰｒｅｄ（ｔ）を重み付け予測処理に設定し、ステップＳ９によって割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）の値を最小に設定する。
【００７１】
また、符号化制御部２７は、ピクチャ番号ｔの値がｋ＋５のピクチャＰｍｏｖｉｅ（ｔ＋５）に対して、ステップＳ２の判断処理からステップＳ３に進んでピクチャタイプＰｔｙｐｅ（ｔ）をＩピクチャに設定し、ステップＳ４によって割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）の値を合成動画像難易度Ｄｍｏｖｉｅに応じて設定する。
【００７２】
以上のようにして符号化制御部２７で設定される符号化制御パラメータに従って合成動画像を符号化する以外にも、符号化部２５は、通常の動画像を符号化するように、合成処理部２４から得られた動画像から動きベクトルを検出し、検出した動きベクトルに応じて符号化制御パラメータを設定して符号化することもできる。しかしながら、画質を良好に保つためシーンの切替に対応するピクチャを精度良く検出するには、非常に精度の高い動きベクトルの検出処理と複雑な判断処理が要求されるため、この要求を満たすには符号化処理を行う回路規模が非常に大きくなってしまう。
【００７３】
このような理由により、画像処理部２０では、符号化制御部２７が、動画像の合成比率ｒと合成動画像難易度Ｄｍｏｖｉｅとに応じて、動画像を符号化する処理の特性を制御する符号化制御パラメータを設定するので、静止画像データを合成して生成される合成動画像から、画質を良好に保ちつつ符号化効率がより高くなるように符号化された符号化データを比較的簡易的な手法で生成することができる。換言すれば、画像処理部２０は、回路規模の増大を抑制しつつ、合成動画像の基となる静止画像特有の高い画質をできるだけ低下させることなく高符号化効率で符号化することができる。
【００７４】
ところで、上述した図２に示したフローチャートに従った符号化制御パラメータの設定処理では、任意のピクチャＰｍｏｖｉｅ（ｔ）に対してピクチャタイプＰｔｙｐｅ（ｔ）を自由に決定できることが前提条件となっている。しかし、ＭＰＥＧ２やＡＶＣなどの一般的な符号化方式では、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）構造に基づいて予めピクチャタイプが決められている。以下では、このようなＧＯＰ構造などによって時間軸方向に並んだ各ピクチャのピクチャタイプが予め決められている符号化方式に準拠して符号化処理を行う符号化部２５を制御する符号化制御部２７に係る処理工程について、図６に示すフローチャートを参照して説明する。
【００７５】
図６に示すフローチャートに従った処理工程においては、合成動画像Ｐｍｏｖｉｅの時間軸方向に並んだｔ番目のピクチャをＰｍｏｖｉｅ（ｔ）とする。また、Ｐｍｏｖｉｅ（ｔ）に対応する合成比率ｒおよび合成動画像難易度Ｄｍｏｖｉｅを、それぞれｒ（ｔ）、Ｄｍｏｖｉｅ（ｔ）とする。また、Ｐｍｏｖｉｅ（ｔ）に対応する各符号化制御パラメータ、すなわち割当ビット量、ピクチャタイプ、及び、ピクチャの予測タイプを、それぞれＢｉｔalloc（ｔ）、Ｐｔｙｐｅ（ｔ）、Ｐｒｅｄ（ｔ）とする。上述したようにＰｔｙｐｅ（ｔ）は予めＩピクチャ、Ｐピクチャ、又はＢピクチャの何れかに決められているものとする。また、以下の処理工程で用いられるフラグＰｉｎｔｒａは、ピクチャタイプＰｔｙｐｅ（ｔ）がＰピクチャのときにイントラ予測処理を行うかを示すフラグである。
【００７６】
なお、合成動画像Ｐｍｏｖｉｅは、０からｎ番目のピクチャによって構成されているものとする。
【００７７】
ステップＳ２１において、符号化制御部２７は、合成処理部２４から符号化部２５に供給される合成動画像Ｐｍｏｖｉｅの現在の処理対象のピクチャをＰｍｏｖｉｅ（ｔ）に設定する。
【００７８】
ステップＳ２２において、符号化制御部２７は、次の判定処理によって、シーン切替が終了したか否かを判断する。すなわち、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する合成比率ｒ（ｔ）の値が１であり、かつ、直前のピクチャＰｍｏｖｉｅ（ｔ−１）に対応する合成比率ｒ（ｔ−１）の値が１以外である、という条件を満たすか否かを判断する。そして、符号化制御部２７は、この条件を満たすとき、現在のピクチャＰｍｏｖｉｅ（ｔ）がカットシーン又はフェードシーンが完了した直後のピクチャであると判断してステップＳ２３に進む。また、符号化制御部２７は、この条件を満たさないときステップＳ２４に進む。
【００７９】
ステップＳ２３において、符号化制御部２７は、フラグＰｉｎｔｒａの値を１に設定して、ステップＳ２６に進む。
【００８０】
ステップＳ２４において、符号化制御部２７は、直前のピクチャＰｍｏｖｉｅ（ｔ−１）の予測タイプＰｒｅｄ（ｔ−１）が後方予測であったか否かを判断する。符号化制御部２７は、Ｐｒｅｄ（ｔ−１）が後方予測処理であったときステップＳ２３に進み、Ｐｒｅｄ（ｔ−１）が後方予測処理でなかったときステップＳ２５に進む。
【００８１】
ステップＳ２５において、符号化制御部２７は、フラグＰｉｎｔｒａの値を０に設定してステップＳ２６に進む。
【００８２】
ステップＳ２７において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）のピクチャタイプＰｔｙｐｅ（ｔ）がＩピクチャであるか否かを判断し、ＩピクチャのときステップＳ２６に進み、ＩピクチャではないときステップＳ２９に進む。
【００８３】
ステップＳ２７において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する予測タイプＰｒｅｄ（ｔ）をイントラ予測処理に設定するとともに、フラグＰｉｎｔｒａの値を０に設定してステップＳ２８に進む。
【００８４】
ステップＳ２８において、符号化制御部２７は、現在のピクチャに対応する合成動画像難易度Ｄｍｏｖｉｅ（ｔ）に応じて割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）を設定してステップＳ３７に進む。
【００８５】
ステップＳ２９において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）のピクチャタイプＰｔｙｐｅ（ｔ）がＰピクチャであるか否かを判断し、ＰピクチャのときステップＳ３０に進み、ＰピクチャではないときステップＳ３１に進む。
【００８６】
ステップＳ３０において、符号化制御部２７は、フラグＰｉｎｔｒａの値が１であるか否かを判断してこの値が１のときステップＳ２７に進み、この値が０のときステップＳ３２に進む。
【００８７】
ステップＳ３１において、符号化制御部２７は、フラグＰｉｎｔｒａの値が１であるか否かを判断してこの値が１のときステップＳ３５に進み、この値が０のときステップＳ３２に進む。
【００８８】
ステップＳ３２において、符号化制御部２７は、次の判断処理によって、現在のピクチャＰｍｏｖｉｅ（ｔ）がフェードシーンであるか否かを判断する。すなわち、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する合成比率ｒ（ｔ）の値が０又は１のいずれでもない、という条件を満たすか否かを判断する。そして、符号化制御部２７は、この条件を満たすとき、現在のピクチャＰｍｏｖｉｅ（ｔ）がフェードシーンに含まれると判断してステップＳ３３に進む。また、符号化制御部２７は、この条件を満たさないときステップＳ３４に進む。
【００８９】
ステップＳ３３において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する予測タイプＰｒｅｄ（ｔ）を重み付き予測処理に設定して、ステップＳ３６に進む。
【００９０】
ステップＳ３４において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する予測タイプＰｒｅｄ（ｔ）を前方予測処理に設定してステップＳ３６に進む。
【００９１】
ステップＳ３５において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する予測タイプＰｒｅｄ（ｔ）を後方予測処理に設定してステップＳ３６に進む。このように予測タイプＰｒｅｄ（ｔ）を後方予測処理に設定するのは、前方予測処理に適した参照ピクチャが存在しないからである。
【００９２】
ステップＳ３６において、符号化制御部２７は、現在のピクチャＰｍｏｖｉｅ（ｔ）に対応する割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）の値を最小に設定して、ステップＳ３７に進む。
【００９３】
ステップＳ３７において、符号化制御部２７は、合成動画像Ｐｍｏｖｉｅのピクチャ番号を示すｔの値が、合成動画像Ｐｍｏｖｉｅの時間軸方向に並んだ最後の番号であるｎであるか否かを判断する。符号化制御部２７は、ｔの値がｎであるとき処理を終了し、ｔの値がｎでないときステップＳ３８に進む。
【００９４】
ステップＳ３８において、符号化制御部２７は、合成動画像Ｐｍｏｖｉｅのピクチャ番号を示すｔの値をｔ＋１に更新して、ステップＳ２１に戻る。
【００９５】
以上のようなフローチャートに従って符号化部２５を制御する符号化制御部２７では、カットシーンを含む合成動画像Ｐｍｏｖｉｅに対して、例えば図７に示すようにして符号化制御パラメータを設定する。
【００９６】
このようなカットシーンにおいて、符号化制御部２７には、ピクチャ番号ｔの値がｋより小さいとき、合成処理部２４から値が０である合成比率ｒが供給され、合成動画像難易度計算部２６から値がＤａ’である合成動画像難易度Ｄｍｏｖｉｅが供給される。また、符号化制御部２７には、ピクチャ番号ｔの値がｋ以上のとき、合成処理部２４から値が１である合成比率ｒが供給され、合成動画像難易度計算部２６から値がＤｂ’である合成動画像難易度Ｄｍｏｖｉｅが供給される。
【００９７】
また、ピクチャタイプＰｔｙｐｅ（ｔ）は、時間軸方向にＩピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャの順に並んだ合計９ピクチャを１グループとした配列に予め決められているものとする。図７に示す例では、各グループの先頭に位置するＩピクチャのピクチャ番号ｔは、それぞれｋ−５、ｋ＋４になっているものとする。
【００９８】
以上のような条件からなるカットシーンにおいて、符号化制御部２７は、図６に示したフローチャートに従って、各ピクチャＰｍｏｖｉｅ（ｔ）の割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）と、予測タイプＰｒｅｄ（ｔ）を次のように設定する。
【００９９】
符号化制御部２７は、ピクチャ番号ｔの値がｋ−５、ｋ＋４のピクチャ、すなわちＩピクチャのピクチャＰｍｏｖｉｅ（ｔ）に対して、ステップＳ２７に進んで予測タイプＰｒｅｄ（ｔ）をイントラ予測処理に設定し、ステップＳ２８に進んで割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）を合成動画像難易度Ｄｍｏｖｉｅに応じて設定する。
【０１００】
また、符号化制御部２７は、ピクチャ番号ｔの値がｋ−４からｋ−１までのピクチャ、すなわちカットシーン切替前であってピクチャタイプＰｔｙｐｅ（ｔ）がＰピクチャ及びＢピクチャのピクチャＰｍｏｖｉｅ（ｔ）に対して、ステップＳ２５に進んでフラグＰｉｎｔｒａの値を０に設定し、その後ステップＳ３４に進んで予測タイプＰｒｅｄ（ｔ）を前方予測処理にし、続いてステップＳ３６に進んで割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）を最小に設定する。
【０１０１】
また、符号化制御部２７は、ピクチャ番号ｔの値がｋのピクチャ、すなわちカットシーン切替直後のピクチャＰｍｏｖｉｅ（ｔ）に対して、ステップＳ２３に進んでフラグＰｉｎｔｒａの値を１に設定し、ピクチャタイプＰｔｙｐｅ（ｋ）がＢピクチャであるため、ステップＳ３５に進んで予測タイプＰｒｅｄ（ｋ）を後方予測処理に設定し、続いてステップＳ３６に進んで割当ビット量Ｂｉｔａｌｌｏｃ（ｋ）を最小に設定する。
【０１０２】
また、符号化制御部２７は、ピクチャ番号ｔの値がｋ＋１のピクチャに対して、直前のピクチャＰｍｏｖｉｅ（ｋ）の予測タイプＰｒｅｄ（ｋ）が後方予測処理のためステップＳ２３に進んでフラグＰｉｎｔｒａの値を１に設定し、現在のピクチャＰｍｏｖｉｅのピクチャタイプＰｔｙｐｅ（ｋ＋１）がＰピクチャのためステップＳ２７に進んで予測タイプＰｒｅｄ（ｋ＋１）をイントラ予測処理に設定し、続いてステップＳ２８に進んで割当ビット量Ｂｉｔａｌｌｏｃ（ｋ＋１）を合成動画像難易度Ｄｍｏｖｉｅに応じて設定する。
【０１０３】
また、符号化制御部２７は、カットシーン切替後でピクチャタイプＰｔｙｐｅ（ｔ）がＰピクチャ又はＢピクチャであるピクチャであって、このカットシーン切替後にＩピクチャ又はＰピクチャが過去に存在しているピクチャＰｍｏｖｉｅ（ｋ＋２）、Ｐｍｏｖｉｅ（ｋ＋３）、Ｐｍｏｖｉｅ（ｋ＋５）に対して、ステップＳ２５に進んでフラグＰｉｎｔｒａの値を０に設定し、その後ステップＳ３４に進んで予測タイプＰｒｅｄ（ｔ）を前方予測処理にし、続いてステップＳ３５に進んで割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）を最小に設定する。
【０１０４】
また、符号化制御部２７では、フェードシーンを含む合成動画像Ｐｍｏｖｉｅに対して、例えば図８に示すようにして、符号化制御パラメータを設定する。
【０１０５】
図８は、合成動画像Ｐｍｏｖｉｅのピクチャ番号ｔの値がｋのとき、静止画像データＰａから静止画像データＰｂへのフェードを開始して、その後、合成動画像Ｐｍｏｖｉｅのピクチャ番号ｔの値がｋ＋４のとき、このフェードを終了するシーンを示す図である。
【０１０６】
このようなフェードシーンにおいて、符号化制御部２７には、ピクチャ番号ｔの値がｋ−１以下のとき、合成処理部２４から値が０である合成比率ｒが供給され、合成動画像難易度計算部２６から値がＤａ’である合成動画像難易度Ｄｍｏｖｉｅが供給される。また、符号化制御部２７には、ピクチャ番号ｔの値がｋからｋ＋４のとき、合成処理部２４から値がピクチャ単位で０から１に変化する合成比率ｒが供給され、合成動画像難易度計算部２６から値がピクチャ単位でＤａ’からＤｂ’へ緩やかに変化する合成動画像難易度Ｄｍｏｖｉｅが供給される。そして、符号化制御部２７には、ピクチャ番号ｔの値がｋ＋４より大きいとき、合成処理部２４から値が１である合成比率ｒが供給され、合成動画像難易度計算部２６から値がＤｂ’である合成動画像難易度Ｄｍｏｖｉｅが供給される。
【０１０７】
また、ピクチャタイプＰｔｙｐｅ（ｔ）は、時間軸方向にＩピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャの順に並んだ合計６ピクチャを１グループとした配列に予め決められているものとする。図８に示す例では、各グループの先頭に位置するＩピクチャのピクチャ番号ｔをそれぞれｋ−３、ｋ＋３とする。
【０１０８】
以上のような条件からなるフェードシーンにおいて、符号化制御部２７は、図６に示したフローチャートに従って、各ピクチャＰｍｏｖｉｅ（ｔ）の割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）と、予測タイプＰｒｅｄ（ｔ）を次のように設定する。
【０１０９】
符号化制御部２７は、ピクチャ番号ｔの値がｋ−３、ｋ＋３のピクチャ、すなわちＩピクチャのピクチャＰｍｏｖｉｅ（ｔ）に対して、ステップＳ２７に進んで予測タイプＰｒｅｄ（ｔ）をイントラ予測処理に設定し、ステップＳ２８に進んで割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）を合成動画像難易度Ｄｍｏｖｉｅに応じて設定する。
【０１１０】
また、符号化制御部２７は、フェードシーン開始前のＰピクチャ及びＢピクチャであるＰｍｏｖｉｅ（ｋ−４）、Ｐｍｏｖｉｅ（ｋ−２）、Ｐｍｏｖｉｅ（ｋ−１）に対して、ステップＳ２５に進んでフラグＰｉｎｔｒａの値を０に設定して、その後ステップＳ３４に進んで予測タイプＰｒｅｄ（ｔ）を前方予測処理に設定し、続いてステップＳ３６に進んで割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）を最小に設定する。
【０１１１】
また、符号化制御部２７は、フェードシーン切替中のＰピクチャ及びＢピクチャであるＰｍｏｖｉｅ（ｋ）、Ｐｍｏｖｉｅ（ｋ＋１）、Ｐｍｏｖｉｅ（ｋ＋２）、Ｐｍｏｖｉｅ（ｋ＋４）に対して、ステップＳ２５に進んでフラグＰｉｎｔｒａの値を０に設定して、その後ステップＳ３３により予測タイプＰｒｅｄ（ｔ）を重み付き予測に設定し、続いてステップＳ３６に進んで割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）を最小に設定する。
【０１１２】
また、符号化制御部２７は、フェードシーン切替直後のピクチャＰｍｏｖｉｅ（ｋ＋５）に対して、ステップＳ２３に進んでフラグＰｉｎｔｒａの値を１に設定し、その後ピクチャタイプＰｔｙｐｅ（ｋ）がＢピクチャであるためステップＳ３５に進んで予測タイプＰｒｅｄ（ｋ）を後方予測処理に設定し、続いてステップＳ３６に進んで割当ビット量Ｂｉｔａｌｌｏｃ（ｋ）を最小に設定する。
【０１１３】
また、符号化制御部２７は、ピクチャ番号ｔの値がｋ＋６のピクチャに対して、直前のピクチャＰｍｏｖｉｅ（ｋ＋５）の予測タイプＰｒｅｄ（ｋ＋５）が後方予測処理のためステップＳ２３に進んでフラグＰｉｎｔｒａの値を１に設定し、現在のピクチャＰｍｏｖｉｅのピクチャタイプＰｔｙｐｅ（ｋ＋６）がＰピクチャのためステップＳ２７に進んで予測タイプＰｒｅｄ（ｋ＋６）をイントラ予測処理に設定し、続いてステップＳ２８に進んで割当ビット量Ｂｉｔａｌｌｏｃ（ｋ＋６）を合成動画像難易度Ｄｍｏｖｉｅに応じて設定する。
【０１１４】
また、符号化制御部２７は、フェードシーン切替後で現在のピクチャタイプＰｔｙｐｅ（ｔ）がＰピクチャ又はＢピクチャであるピクチャであって、このフェードシーン切替後においてＩピクチャ又はＰピクチャが過去に存在するピクチャＰｍｏｖｉｅ（ｋ＋７）、Ｐｍｏｖｉｅ（ｋ＋８）に対して、ステップＳ２５に進んでフラグＰｉｎｔｒａの値を０に設定し、続いてステップＳ３６に進んで割当ビット量Ｂｉｔａｌｌｏｃ（ｔ）を最小に設定する。
【０１１５】
以上のようにして、符号化制御部２７では、動画像の合成比率ｒと合成動画像難易度ＤｍｏｖｉｅとピクチャタイプＰｔｙｐｅ（ｔ）に応じて符号化制御パラメータを制御するので、画質補正処理を施した静止画像データＰａ、Ｐｂを合成して生成される合成動画像から、画質を良好に保ちつつ高符号化効率で、予め時間軸方向に並んだ各ピクチャのピクチャタイプが決められた符号化方式に準拠した符号化データを生成することができる。
【０１１６】
なお、画像処理装置１では、上述した画像処理部２０の機能を実現する専用のハードウェアによって構成される以外にも、ハードディスクなどの記憶媒体に、上述した画像処理部２０が備える各処理部の機能を実行するためのプログラムを記憶しておき、このプログラムを制御部４０が読み出して実行することによって画像処理部２０の機能を実現するようにしてもよい。
【図面の簡単な説明】
【０１１７】
【図１】本発明を適用した画像処理装置の全体構成を示す図である。
【図２】画像処理部が備える各処理部の構成を示すブロック図である。
【図３】符号化制御部の処理工程の説明に供するフローチャートである。
【図４】カットシーンを含む合成動画像に対して符号化制御パラメータを設定する符号化制御部の動作説明に供する図である。
【図５】フェードシーンを含む合成動画像に対して符号化制御パラメータを設定する符号化制御部の動作説明に供する図である。
【図６】符号化制御部の処理工程の説明に供するフローチャートである。
【図７】カットシーンを含む合成動画像に対して符号化制御パラメータを設定する符号化制御部の動作説明に供する図である。
【図８】フェードシーンを含む合成動画像に対して符号化制御パラメータを設定する符号化制御部の動作説明に供する図である。
【符号の説明】
【０１１８】
１  画像処理装置、１０  静止画像データベース、２０  画像処理部、２１  第１の画質補正部、２２  第２の画質補正部、２３  静止画難易度補正部、２４  合成処理部、２５  符号化部、２６  合成動画像難易度計算部、２７  符号化制御部、３０  動画像データベース、４０  制御部、５０  ユーザインタフェース
【図１】
0004780053.tif 000002
【図２】
0004780053.tif 000003
【図３】
0004780053.tif 000004
【図４】
0004780053.tif 000005
【図５】
0004780053.tif 000006
【図６】
0004780053.tif 000007
【図７】
0004780053.tif 000008
【図８】
0004780053.tif 000009