(57)【要約】【課題】  事前処理を必要とせず、汎用性の高い高能率符号化・復号化技術を提供することを課題とする。【解決手段】複数のフレームから構成される動画像を入力する動画像入力手段と、入力した動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像分離手段と、背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成手段と、背景画像を矩形画像として符号化する矩形画像符号化手段と、入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化手段とを備える画像処理装置であって、画像分離手段は、画像内の被写体の有無に関わらず、背景画像とするフレームを設定する画像処理装置が提供される。【選択図】        図１
2005167601.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームから構成される動画像を入力する動画像入力手段と、
入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像分離手段と、
前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成手段と、
前記背景画像を矩形画像として符号化する矩形画像符号化手段と、
前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化手段とを備える画像処理装置であって、
前記画像分離手段は、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする画像処理装置。
【請求項２】
前記画像分離手段は、背景画像とするフレーム以外を任意形状画像とするフレームに設定し、
前記形状データ生成手段は、背景画像入力時には、差分処理を行わず、形状データを出力しないことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像分離手段は、背景画像とするフレームも含め、すべての入力画像を任意形状画像とするフレームに設定し、
前記形状データ生成手段は、背景画像入力時に、自身のフレームとの差分処理を行い、形状データを出力することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像分離手段は、一定の周期で背景画像とするフレームを設定することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記画像分離手段は、シーンチェンジ検出時にそのフレームを背景画像とするフレームに設定することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記画像分離手段は、シーンチェンジ検出後から一定周期で背景画像とするフレームを設定することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記形状データ生成手段は、画素精度で２値化した結果を、前記任意形状画像符号化手段における形状データの処理単位に拡張するブロック化手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項８】
複数のフレームから構成される動画像を復号化する画像処理装置であって、
矩形画像を背景画像として復号化する矩形画像復号化手段と、
任意形状画像を形状データと共に復号化する任意形状画像復号化手段と、
前記矩形画像と前記任意形状画像を合成する画像合成手段とを備え、
前記画像合成手段は、画像内の被写体の有無に関わらず、背景画像として設定されたフレームを用いることを特徴とする画像処理装置。
【請求項９】
前記画像合成手段は、背景画像としたフレームと背景画像としなかったフレームから合成画像のフレームを生成し、背景画像としたフレームと合成画像のフレームを切り替えて出力することを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記画像合成手段は、背景画像としたフレームと背景画像としたフレームも含めたすべての任意形状画像のフレームから合成画像のフレームを生成し、出力することを特徴とする請求項８記載の画像処理装置。
【請求項１１】
複数のフレームから構成される動画像を入力する動画像入力手段と、
入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像分離手段と、
前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成手段と、
前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化手段とを備える画像処理装置であって、
前記画像分離手段は、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする画像処理装置。
【請求項１２】
前記画像分離手段は、背景画像とするフレームも含め、すべての入力画像を任意形状画像とするフレームに設定し、
前記形状データ生成手段は、入力画像が背景画像とするフレームである場合は、形状データを全画素オブジェクトとして出力することを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
前記画像分離手段は、一定の周期で背景画像とするフレームを設定することを特徴とする請求項１１記載の画像処理装置。
【請求項１４】
前記画像分離手段は、シーンチェンジ検出時にそのフレームを背景画像とするフレームに設定することを特徴とする請求項１１記載の画像処理装置。
【請求項１５】
前記画像分離手段は、シーンチェンジ検出後から一定周期で背景画像とするフレームを設定することを特徴とする請求項１４記載の画像処理装置。
【請求項１６】
前記形状データ生成手段は、画素精度で２値化した結果を、前記任意形状画像符号化手段における形状データの処理単位に拡張するブロック化手段を備えることを特徴とする請求項１１記載の画像処理装置。
【請求項１７】
複数のフレームから構成される動画像を復号化する画像処理装置であって、
任意形状画像を形状データと共に復号化する任意形状画像復号化手段と、
背景画像としたフレームを検出する検出手段を含み、前記背景画像と任意形状画像を合成する画像合成手段とを備え、
前記画像合成手段は、画像内の被写体の有無に関わらず背景画像と設定されたフレームを用いることを特徴とする画像処理装置。
【請求項１８】
前記画像合成手段は、背景画像としたフレームと背景画像としたフレームも含めたすべての任意形状画像のフレームから合成画像のフレームを生成し、出力することを特徴とする請求項１７記載の画像処理装置。
【請求項１９】
前記検出手段は、復号した形状データが、全画素オブジェクトであった場合に、背景画像のフレームとして検出することを特徴とする請求項１７記載の画像処理装置。
【請求項２０】
複数のフレームから構成される動画像を入力する動画像入力手段と、
入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像選択手段と、
前記フレームの選択状態に基づきフレームの順序を変換する順序変換手段と、
前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成手段と、
前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化手段とを備える画像処理装置であって、
前記任意形状画像符号化手段は、フレーム内符号化とフレーム間符号化の処理を切り替える手段を備え、
前記画像選択手段は、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする画像処理装置。
【請求項２１】
前記画像選択手段は、背景画像とするフレームも含め、すべての入力画像を任意形状画像とするフレームに設定し、
前記形状データ生成手段は、入力画像が背景画像とするフレームである場合は、形状データを全画素オブジェクトとして出力することを特徴とする請求項２０記載の画像処理装置。
【請求項２２】
前記画像選択手段は、最終フレームを背景画像とするフレームに設定することを特徴とする請求項２０記載の画像処理装置。
【請求項２３】
前記画像選択手段は、一定の周期で背景画像とするフレームを設定することを特徴とする請求項２０記載の画像処理装置。
【請求項２４】
前記画像選択手段は、前記任意形状画像符号化手段におけるフレーム内符号化の整数倍もしくは整数分の一の周期で背景画像とするフレームを設定することを特徴とする請求項２３記載の画像処理装置。
【請求項２５】
前記画像選択手段は、シーンチェンジ検出時にそのフレームを背景画像とするフレームに設定することを特徴とする請求項２０記載の画像処理装置。
【請求項２６】
前記画像選択手段は、シーンチェンジ検出後から一定周期で背景画像とするフレームを設定することを特徴とする請求項２５記載の画像処理装置。
【請求項２７】
前記順序変換手段は、背景画像とするフレームを、この背景画像を用いて差分処理する任意形状画像とするフレームより、時間的に後の位置から前の位置へと変換することを特徴とする請求項２０記載の画像処理装置。
【請求項２８】
前記形状データ生成手段は、画素精度で２値化した結果を、前記任意形状画像符号化手段における形状データの処理単位に拡張するブロック化手段を備えることを特徴とする請求項２０記載の画像処理装置。
【請求項２９】
複数のフレームから構成される動画像を復号化する画像処理装置であって、
任意形状画像を形状データと共に復号化する任意形状画像復号化手段と、
背景画像としたフレームを検出する検出手段を含み、前記背景画像と任意形状画像を合成する画像合成手段と、
フレームの選択状態に基づきフレームの順序を表示順に再構成する順序逆変換手段とを備え、
前記任意形状画像復号化手段は、フレーム内復号化とフレーム間復号化の処理を切り替える手段を備え、
前記画像合成手段は、画像内の被写体の有無に関わらず背景画像と設定されたフレームを用いることを特徴とする画像処理装置。
【請求項３０】
前記画像合成手段は、背景画像としたフレームと背景画像としたフレームも含めたすべての任意形状画像のフレームから合成画像のフレームを生成し、出力することを特徴とする請求項２９記載の画像処理装置。
【請求項３１】
前記順序逆変換手段は、背景画像としたフレームを、この背景を用いて差分処理する任意形状画像としたフレームより、時間的に前の位置から後の位置へと逆変換することを特徴とする請求項２９記載の画像処理装置。
【請求項３２】
前記検出手段は、復号した形状データが、全画素オブジェクトであった場合に、背景画像のフレームとして検出することを特徴とする請求項２９記載の画像処理装置。
【請求項３３】
複数のフレームから構成される動画像を入力する動画像入力手段と、
入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像選択手段と、
前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成手段と、
複数の前記形状データから１種類の共通する形状データを生成する形状データ加工手段と、
前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化手段とを備える画像処理装置であって、
前記任意形状画像符号化手段は、フレーム内符号化とフレーム間符号化の処理を切り替える手段を備え、
前記画像選択手段は、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする画像処理装置。
【請求項３４】
前記画像選択手段は、背景画像とするフレームも含め、すべての入力画像を任意形状画像とするフレームに設定し、
前記形状データ生成手段は、入力画像が背景画像とするフレームである場合は、形状データを全画素オブジェクトとして出力することを特徴とする請求項３３記載の画像処理装置。
【請求項３５】
前記画像選択手段は、一定の周期で背景画像とするフレームを設定することを特徴とする請求項３３記載の画像処理装置。
【請求項３６】
前記画像選択手段は、シーンチェンジ検出時にそのフレームを背景画像とするフレームに設定することを特徴とする請求項３３記載の画像処理装置。
【請求項３７】
前記画像選択手段は、シーンチェンジ検出後から一定周期で背景画像とするフレームを設定することを特徴とする請求項３６記載の画像処理装置。
【請求項３８】
前記画像選択手段は、前記任意形状画像符号化手段におけるフレーム内符号化の整数倍もしくは整数分の一の周期で背景画像とするフレームを設定することを特徴とする請求項３３記載の画像処理装置。
【請求項３９】
前記形状データ加工手段は、一つの背景画像に対し、一つの形状データを生成し、これを共通の任意形状データとすることを特徴とする請求項３３記載の画像処理装置。
【請求項４０】
前記形状データ加工手段は、複数の形状データの論理和をとる手段を備えることを特徴とする請求項３３記載の画像処理装置。
【請求項４１】
さらに、画素精度で２値化した結果を、前記任意形状画像符号化手段における形状データの処理単位に拡張するブロック化手段を備えることを特徴とする請求項３３記載の画像処理装置。
【請求項４２】
複数のフレームから構成される動画像を入力する動画像入力ステップと、
入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像分離ステップと、
前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成ステップと、
前記背景画像を矩形画像として符号化する矩形画像符号化ステップと、
前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化ステップとを備える画像処理方法であって、
前記画像分離ステップは、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする画像処理方法。
【請求項４３】
複数のフレームから構成される動画像を復号化する画像処理方法であって、
矩形画像を背景画像として復号化する矩形画像復号化ステップと、
任意形状画像を形状データと共に復号化する任意形状画像復号化ステップと、
前記矩形画像と前記任意形状画像を合成する画像合成ステップとを備え、
前記画像合成ステップは、画像内の被写体の有無に関わらず、背景画像として設定されたフレームを用いることを特徴とする画像処理方法。
【請求項４４】
複数のフレームから構成される動画像を入力する動画像入力ステップと、
入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像分離ステップと、
前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成ステップと、
前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化ステップとを備える画像処理方法であって、
前記画像分離ステップは、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする画像処理方法。
【請求項４５】
複数のフレームから構成される動画像を復号化する画像処理方法であって、
任意形状画像を形状データと共に復号化する任意形状画像復号化ステップと、
背景画像としたフレームを検出する検出ステップと、
前記背景画像と任意形状画像を合成する画像合成ステップとを備え、
前記画像合成ステップは、画像内の被写体の有無に関わらず背景画像と設定されたフレームを用いることを特徴とする画像処理方法。
【請求項４６】
複数のフレームから構成される動画像を入力する動画像入力ステップと、
入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像選択ステップと、
前記フレームの選択状態に基づきフレームの順序を変換する順序変換ステップと、
前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成ステップと、
前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化ステップとを備える画像処理方法であって、
前記任意形状画像符号化ステップは、フレーム内符号化とフレーム間符号化の処理を切り替えるステップを備え、
前記画像選択ステップは、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする画像処理方法。
【請求項４７】
複数のフレームから構成される動画像を復号化する画像処理方法であって、
任意形状画像を形状データと共に復号化する任意形状画像復号化ステップと、
背景画像としたフレームを検出する検出ステップと、
前記背景画像と任意形状画像を合成する画像合成ステップと、
フレームの選択状態に基づきフレームの順序を表示順に再構成する順序逆変換ステップとを備え、
前記任意形状画像復号化ステップは、フレーム内復号化とフレーム間復号化の処理を切り替えるステップを備え、
前記画像合成ステップは、画像内の被写体の有無に関わらず背景画像と設定されたフレームを用いることを特徴とする画像処理方法。
【請求項４８】
複数のフレームから構成される動画像を入力する動画像入力ステップと、
入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像選択ステップと、
前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成ステップと、
複数の前記形状データから１種類の共通する形状データを生成する形状データ加工ステップと、
前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化ステップとを備える画像処理方法であって、
前記任意形状画像符号化ステップは、フレーム内符号化とフレーム間符号化の処理を切り替えるステップを備え、
前記画像選択ステップは、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする画像処理方法。
【請求項４９】
請求項４２〜４８のいずれか１項に記載の画像処理方法のステップをコンピュータに実行させるためのプログラム。
【請求項５０】
請求項４２〜４８のいずれか１項に記載の画像処理方法のステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化又は復号化するための画像処理に関する。
【背景技術】
【０００２】
近年、デジタル技術を利用して画像を対象物（オブジェクト）毎に分離、合成する処理が注目されている。特に、動画像の符号化においては、国際標準としてＭＰＥＧ−４符号化方式が規格化されている。ＭＰＥＧ−４符号化方式では、任意形状の画像データが扱え、オブジェクト毎の符号化／復号化を行うことにより、符号化効率の向上、伝送路に応じたデータ配分、画像の再加工等、従来は困難であったさまざまな応用が期待されている。
【０００３】
また、動画像処理における対象物の抽出方法としては、一般に背景差分方式という手法が知られている。これは、予め撮影した背景画像と実際の入力画像とを比較することにより、変化点を検出する方法である。以下、簡単にその原理について説明する。
【０００４】
まず、画像平面上の座標（ｘ，ｙ）における点の入力画像の画素値をＰｃ（ｘ，ｙ）、背景画像の画素値をＰｂ（ｘ，ｙ）、２値化した値をＳ（ｘ，ｙ）とする。このとき、Ｐｃ（ｘ，ｙ）とＰｂ（ｘ，ｙ）との差分をとり、その絶対値をある閾値Ｔｈと比較する。
【０００５】
判定式の例を示すと次の通りである。
ｉｆ（｜Ｐｃ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜ ≦ Ｔｈ）  Ｓ（ｘ，ｙ）＝０；
ｅｌｓｅ  Ｓ（ｘ，ｙ）＝１；                                    …  （１）
【０００６】
差分絶対値が閾値Ｔｈ以下の場合、この点（ｘ，ｙ）は変化なしということで、Ｐｃ（ｘ，ｙ）は背景と判定され、Ｓ（ｘ，ｙ）＝０となる。一方、差分絶対値が閾値Ｔｈを超えている場合は、値が変化したということで抽出対象とみなされＳ（ｘ、ｙ）＝１となる。画面上のすべての点において上記の判定を行うことで、１フレーム分の抽出が完了する。
【０００７】
図１８は、背景差分方式とＭＰＥＧ−４符号化方式を組み合わせた従来のシステムの構成を示すブロック図である。図１８において、画像入力部２１０１は、例えばカメラの撮像部であり、動画像を入力する部分である。画像分離部２１０２は、背景画像として処理するフレームと任意形状画像として処理するフレームとを切り替えるスイッチ回路である。背景画像に設定したフレームは、矩形画像符号化部２１０４で、１フレーム分符号化される。形状データ生成部２１０３では、先の背景画像と現在入力された画像との比較により、形状データを生成する。一般に形状データは、オブジェクトであるか否かの２値データである。任意形状画像符号化部２１０５では、画像データと形状データを入力し、符号化した結果をビットストリームとして出力する。多重化部２１０６では図示した矩形画像と任意形状画像の２種類のビットストリームの他に、オーディオのビットストリームなどを１本のデータにまとめるべく、多重化処理を行う。
【０００８】
図２０は、図１８のブロック図をより具体的に説明するための図である。２３０１から２３１８は、画像入力部２１０１から入力されたフレームのデータ列であり、先頭の２３０１のフレームは背景のみが映っている画像、２３１１以降は抽出対象も映っている画像である。画像分離部２１０２では、２３０１を背景画像に、２３１１以降を任意形状画像に切り替えている。この切り替えの最も簡単な方法は、入力画像を見ながら、手動で操作するのが確実である。
【０００９】
実際のデータ処理の流れを図２２を用いて説明する。２５００が背景画像２３０１、２５０１が任意形状画像２３１１に対応しているものとする。このとき、差分処理部２３５１では、２５００と２５０１の画像が入力され、先に説明した背景差分法により、対応する画素間の差が閾値以下か否かで２値化したデータを出力する。２５１１は２値化された形状データであり、黒い部分が背景、白い部分がオブジェクトを示している。同様に、２５０２、２５０３がそれぞれ２３１２、２３１３に対応しているとすると、生成される形状データは、背景画像２５００との差分閾値処理をした結果、２５１２、２５１３となる。
【００１０】
図２０では、任意形状画像符号化にＭＰＥＧ−４のＣｏｒｅ  Ｐｒｏｆｉｌｅのエンコーダ２３５３を用いている。以下、この符号化方式について説明する。
【００１１】
オブジェクト（対象物）を符号化する場合には、オブジェクトの形と位置の情報を符号化する必要がある。そのために、まず、オブジェクトを内包する矩形領域を設定し、この矩形の左上位置の座標と矩形領域の大きさを符号化する。この矩形領域はバウンディングボックスと呼ばれる。また、画像データ、形状データにより表現されるオブジェクト内部の領域をＶＯＰ（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｐｌａｎｅ）と呼ぶ。
【００１２】
図２４は、図２０の符号化部２３５３の細部構成を示すブロック図である。尚、入力されるデータは画像の輝度・色差データと形状データであり、それらはマクロブロック単位で処理される。
【００１３】
まず、イントラモードでは、各ブロックをＤＣＴ部２７０１において離散コサイン変換（ＤＣＴ）し、量子化部２７０２で量子化する。量子化されたＤＣＴ係数と量子化幅は、可変長符号化部２７１２で可変長符号化される。また、インターモードで利用する参照画像を生成するため、一旦量子化されたデータは、逆量子化部２７０３、逆ＤＣＴ部２７０４を経て、画像データに戻される。これはローカルデコードの画像とも呼ばれる。この画像はメモリ部２７０５に保存される。
【００１４】
一方、インターモードでは、動き検出部２７０７においてメモリ部２７０５に保存されている時間的に隣接する別のＶＯＰの中からブロックマッチングをはじめとする動き検出方法により動きを検出し、動きベクトル予測部２７０８で対象マクロブロックに対して誤差のもっとも小さい予測マクロブロックを検出する。誤差の最も小さい予測マクロブロックへの動きを示すデータが動きベクトルである。尚、予測マクロブロックを生成するために参照する画像を参照ＶＯＰと呼ぶ。
【００１５】
検出された動きベクトルに基づいて、参照ＶＯＰを動き補償部２７０６において動き補償し、最適な予測マクロブロックを取得する。次に対象となるマクロブロックと対応する予測マクロブロックとの差分を求め、この差分画像に対してＤＣＴ部２７０１でＤＣＴを施し、ＤＣＴ変換係数を量子化部２７０２で量子化する。この時も量子化されたデータは、逆量子化部２７０３、逆ＤＣＴ部２７０４を経て、画像データに戻される。この時の逆ＤＣＴ部２７０４の出力は差分画像となるので、前の画像と合成した後、メモリ部２７０５に保存される。
【００１６】
一方、形状データは、形状符号化ＣＡＥ部２７０９で符号化される。但し、ここで実際にＣＡＥ符号化が行われるのは境界ブロックのみであり、ＶＯＰ内のブロック（ブロック内全てのデータがオブジェクト内）やＶＯＰ外のブロック（ブロック内全てのデータがオブジェクト外）はヘッダ情報のみが可変長符号化部２７１２に送られる。また、ＣＡＥ符号化が施される境界ブロックは、画像データと同様に、インターモードにおいては、動き検出部２７０７による動き検出を行い、動きベクトル予測部２７０８で動きベクトルの予測を行う。そして、動き補償した形状データと前フレームの形状データとの差分値に対しＣＡＥ符号化を行う。
【００１７】
また、図２０では、矩形画像符号化にＭＰＥＧ−４のＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのエンコーダ２３５２を用いている。以下、この符号化方式について説明する。Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅのエンコーダは、Ｃｏｒｅ  Ｐｒｏｆｉｌｅのエンコーダと下位互換がある。図２４において、任意形状に関する処理、すなわち形状符号化ＣＡＥ部２７０９、メモリ部２７１０、動き補償部２７１１を除いたものがＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのエンコーダとなる。画像データの処理手順は、Ｃｏｒｅ  Ｐｒｏｆｉｌｅの画像データの処理と同じである。背景画像は１フレーム分符号化すればよいので、必ずしも動画像の符号化方式を用いなくてもよく、静止画符号化方式でもよい。
【００１８】
次に復号側の処理について説明する。
図１９が、復号側全体の概略構成ブロック図である。符号化側で１本にまとめられたビットストリームは、分離部２２０１で各デコーダが入力できるビットストリームに分離処理される。このうち、符号化された背景画像は、矩形画像復号化部２２０２により１フレームの画像データに復号される。任意形状画像復号化部２２０３では、形状データと形状データに対応した画像データを復号する。画像合成部２２０４では、形状データの値から、背景画像と任意形状画像を画素単位で切り替え、合成画像を生成する。画像出力部２２０５は、一般的にはモニタ等の画像表示装置である。
【００１９】
図２１と図２３を用いて、図１９のブロック図をより具体的に説明する。図１９における分離部２２０１、矩形画像復号化部２２０２、任意形状復号化部２２０３、画像合成部２２０４がそれぞれ、図２１におけるＤＥＭＵＸ処理２４５１、ＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダ２４５２、ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅのデコーダ２４５３、合成処理２４５４に対応している。２４１１から２４１８は、画像出力部２２０５において表示されるフレームのデータ列であり、図２０における入力画像２３１１から２３１８に対応している。
【００２０】
ＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅデコーダ２４５２の出力は図２３における２６００の背景画像となる。背景画像は最初に１フレーム復号するだけなので、デコーダは静止画の復号化方式でもよい。また、背景画像は必ず他の画像と合成処理されるので、背景画像がそのまま出力されることはない。
【００２１】
ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅデコーダ２４５３は、まず形状データとして２６０１、画像データとして２６１１を出力する。合成処理２４５４では、形状データ２６０１で背景と判断されている画素に関しては、２６００の画素を、オブジェクトと判断されている画素に関しては、２６１１の画素を選択し、合成画像２８２１を生成する。この画像は、符号化側における２５０１の画像に対応している。２５０２に対応する復号画像は、形状データ２６０２と画像データ２６１２ならびに復号背景画像２６００から合成され、２６２２となる。同様に２５０３に対応する復号画像は、２６２３となる。
【００２２】
ここで、ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅデコーダ２４５３の詳細を、図２５を用いて説明する。基本的には図２４の逆の動作であり、マクロブロック単位で、画像の輝度・色差データと形状データが復号される。
【００２３】
まず、イントラモードでは、可変長復号化部２８０１が、量子化されたＤＣＴ係数の復号化を行い、それを逆量子化部２８０２に入力する。逆量子化部２８０２の出力は、復号したＤＣＴ係数となり、逆ＤＣＴ部２８０３の入力となる。逆ＤＣＴ部２８０３では、逆ＤＣＴ処理を行うことにより、復号画像を出力する。この時の画像は、インターモードで利用する参照画像とするため、メモリ部２８０４に保存される。
【００２４】
一方、インターモードでは、逆量子化部２８０２、逆ＤＣＴ部２８０３を経て復号される画像は、フレーム間の差分画像である。また、動きベクトル復号化部２８０６においては、動きベクトルを復号する。動き補償部２８０５では、復号した動きベクトルを用いてメモリ部２８０４に保存されている前フレームの画像から動き補償した画像を生成する。この画像と先の差分画像を合成することにより、イントラモードにおける画像の復号が行われる。
【００２５】
また、形状データは、可変長復号化部２８０１から形状復号化ＣＡＥ部２８０７を経て復号される。インターモードの場合は、メモリ部２８０８に保存しておいた前フレームの形状データを動きベクトル復号化部２８０６によって復号した動きベクトルを用いて、動き補償部２８０９で動き補償した後、形状復号化ＣＡＥ部２８０７にて復号される。
【００２６】
図２１では、矩形画像復号化にＭＰＥＧ−４のＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダ２４５２を用いている。以下、この符号化方式について説明する。Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダは、Ｃｏｒｅ  Ｐｒｏｆｉｌｅのデコーダと下位互換がある。図２５において、任意形状に関する処理、すなわち形状復号化ＣＡＥ部２８０７、メモリ部２８０８、動き補償部２８０９を除いたものがＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダとなる。画像データの処理手順は、Ｃｏｒｅ  Ｐｒｏｆｉｌｅの画像データの処理と同じである。背景画像は１フレーム分復号化すればよいので、必ずしも動画像の復号化方式を用いなくてもよく、静止画復号化方式でもよい。
【００２７】
しかしながら、上述したシステムは、あらかじめ背景のみの画像を用意しておかなければならないという欠点があった。また、入力画像と背景画像の間に相対的な位置のずれが生じると、正しくオブジェクトが抽出できない、という問題もある。カメラの動く範囲があらかじめわかっている場合は、下記の特許文献１に開示されているように、スプライトと呼ばれる広範囲の画像を用意しておくことで、ある程度の対策は可能だが、あらかじめ前準備が必要であることには変わりがない。
【００２８】
つまり、上記のシステムは、精度のよい抽出結果を得るにはよい構成であるが、符号化効率の向上を目的としてみた場合、適応範囲が限定されてしまうため、単純に矩形の動画像符号化システムから任意形状の動画像符号化システムへの置き換えることができないという問題があった。
【００２９】
【特許文献１】特開２００２−１１８８４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００３０】
本発明は、このような事情を考慮してなされたものであり、事前処理を必要とせず、矩形の動画像符号化システムとの単純な置き換えが可能である汎用性の高い高能率符号化・復号化技術を提供することを目的とする。
【課題を解決するための手段】
【００３１】
本発明の画像処理装置は、複数のフレームから構成される動画像を入力する動画像入力手段と、入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像分離手段と、前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成手段と、前記背景画像を矩形画像として符号化する矩形画像符号化手段と、前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化手段とを備える画像処理装置であって、前記画像分離手段は、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする。
また、本発明の画像処理装置は、複数のフレームから構成される動画像を復号化する画像処理装置であって、矩形画像を背景画像として復号化する矩形画像復号化手段と、任意形状画像を形状データと共に復号化する任意形状画像復号化手段と、前記矩形画像と前記任意形状画像を合成する画像合成手段とを備え、前記画像合成手段は、画像内の被写体の有無に関わらず、背景画像として設定されたフレームを用いることを特徴とする。
また、本発明の画像処理装置は、複数のフレームから構成される動画像を入力する動画像入力手段と、入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像分離手段と、前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成手段と、前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化手段とを備える画像処理装置であって、前記画像分離手段は、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする。
また、本発明の画像処理装置は、複数のフレームから構成される動画像を復号化する画像処理装置であって、任意形状画像を形状データと共に復号化する任意形状画像復号化手段と、背景画像としたフレームを検出する検出手段を含み、前記背景画像と任意形状画像を合成する画像合成手段とを備え、前記画像合成手段は、画像内の被写体の有無に関わらず背景画像と設定されたフレームを用いることを特徴とする。
また、本発明の画像処理装置は、複数のフレームから構成される動画像を入力する動画像入力手段と、入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像選択手段と、前記フレームの選択状態に基づきフレームの順序を変換する順序変換手段と、前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成手段と、前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化手段とを備える画像処理装置であって、前記任意形状画像符号化手段は、フレーム内符号化とフレーム間符号化の処理を切り替える手段を備え、前記画像選択手段は、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする。
また、本発明の画像処理装置は、複数のフレームから構成される動画像を復号化する画像処理装置であって、任意形状画像を形状データと共に復号化する任意形状画像復号化手段と、背景画像としたフレームを検出する検出手段を含み、前記背景画像と任意形状画像を合成する画像合成手段と、フレームの選択状態に基づきフレームの順序を表示順に再構成する順序逆変換手段とを備え、前記任意形状画像復号化手段は、フレーム内復号化とフレーム間復号化の処理を切り替える手段を備え、前記画像合成手段は、画像内の被写体の有無に関わらず背景画像と設定されたフレームを用いることを特徴とする。
また、本発明の画像処理装置は、複数のフレームから構成される動画像を入力する動画像入力手段と、入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像選択手段と、前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成手段と、複数の前記形状データから１種類の共通する形状データを生成する形状データ加工手段と、前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化手段とを備える画像処理装置であって、前記任意形状画像符号化手段は、フレーム内符号化とフレーム間符号化の処理を切り替える手段を備え、前記画像選択手段は、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする。
また、本発明の画像処理方法は、複数のフレームから構成される動画像を入力する動画像入力ステップと、入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像分離ステップと、前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成ステップと、前記背景画像を矩形画像として符号化する矩形画像符号化ステップと、前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化ステップとを備える画像処理方法であって、前記画像分離ステップは、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする。
また、本発明の画像処理方法は、複数のフレームから構成される動画像を復号化する画像処理方法であって、矩形画像を背景画像として復号化する矩形画像復号化ステップと、任意形状画像を形状データと共に復号化する任意形状画像復号化ステップと、前記矩形画像と前記任意形状画像を合成する画像合成ステップとを備え、前記画像合成ステップは、画像内の被写体の有無に関わらず、背景画像として設定されたフレームを用いることを特徴とする。
また、本発明の画像処理方法は、複数のフレームから構成される動画像を入力する動画像入力ステップと、入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像分離ステップと、前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成ステップと、前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化ステップとを備える画像処理方法であって、前記画像分離ステップは、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする。
また、本発明の画像処理方法は、複数のフレームから構成される動画像を復号化する画像処理方法であって、任意形状画像を形状データと共に復号化する任意形状画像復号化ステップと、背景画像としたフレームを検出する検出ステップと、前記背景画像と任意形状画像を合成する画像合成ステップとを備え、前記画像合成ステップは、画像内の被写体の有無に関わらず背景画像と設定されたフレームを用いることを特徴とする。
また、本発明の画像処理方法は、複数のフレームから構成される動画像を入力する動画像入力ステップと、入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像選択ステップと、前記フレームの選択状態に基づきフレームの順序を変換する順序変換ステップと、前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成ステップと、前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化ステップとを備える画像処理方法であって、前記任意形状画像符号化ステップは、フレーム内符号化とフレーム間符号化の処理を切り替えるステップを備え、前記画像選択ステップは、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする。
また、本発明の画像処理方法は、複数のフレームから構成される動画像を復号化する画像処理方法であって、任意形状画像を形状データと共に復号化する任意形状画像復号化ステップと、背景画像としたフレームを検出する検出ステップと、前記背景画像と任意形状画像を合成する画像合成ステップと、フレームの選択状態に基づきフレームの順序を表示順に再構成する順序逆変換ステップとを備え、前記任意形状画像復号化ステップは、フレーム内復号化とフレーム間復号化の処理を切り替えるステップを備え、前記画像合成ステップは、画像内の被写体の有無に関わらず背景画像と設定されたフレームを用いることを特徴とする。
また、本発明の画像処理方法は、複数のフレームから構成される動画像を入力する動画像入力ステップと、入力した前記動画像の中から背景画像とするフレーム及び任意形状画像とするフレームを選択設定する画像選択ステップと、前記背景画像とするフレームと、入力画像のフレームとを比較し、その差分値から形状データを生成する形状データ生成ステップと、複数の前記形状データから１種類の共通する形状データを生成する形状データ加工ステップと、前記入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化ステップとを備える画像処理方法であって、前記任意形状画像符号化ステップは、フレーム内符号化とフレーム間符号化の処理を切り替えるステップを備え、前記画像選択ステップは、画像内の被写体の有無に関わらず、背景画像とするフレームを設定することを特徴とする。
また、本発明のプログラムは、上記の画像処理方法のステップをコンピュータに実行させるためのプログラムである。
また、本発明の記録媒体は、上記の画像処理方法のステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００３２】
あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像とするフレームと任意形状画像とするフレームを選択することにより、シーンに限定されない汎用的な高能率符号化・復号化を実現することができる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
＜第１の実施形態＞
本発明の第１の実施形態について、図１、図５、図９、図１１〜図１５を用いて説明する。図１は、符号化側の全体構成を示すブロック図であり、特に背景画像と任意形状画像の関連について説明するための図である。［背景技術］で説明した図２０との大きな違いは、背景画像と任意形状画像の選択方法が異なることである。図１における１０１からの動画像のフレーム列は、図２０における２３１１からのフレーム列に対応している。２３０１に相当する背景画像というものをあらかじめ用意しておかないことが、本実施形態の大きな特徴である。本実施形態では、フレーム列の中から背景画像を選択し、それ以外を任意形状画像として別々に符号化する。なお、図１８は、図１に対応するものであり、上記の説明と同様である。
【００３４】
背景画像の選択方法は後に詳しく説明するが、ここではまず、１０１を背景画像に選択し、続く１０２、１０３を任意形状画像として符号化する例を図５および図９を用いて説明する。図５における５０１、５０２、５０３は、それぞれ１０１、１０２、１０３の画面イメージである。図９は、形状データ生成までのフローチャートである。まずステップＳ１００１で、最初の画像５０１を入力する。背景フレームの判定ステップＳ１００２で、このフレームは背景と判定されるので、ステップＳ１００３にて、この背景フレームは一時保存される。一時保存は差分処理を行うためのものであり、このフレームにおける処理はこれで終わる。終了判定Ｓ１００６ではＮＯとなり、ステップＳ１００１に戻り、次のフレームの画像入力に移る。２番目の画像５０２は、背景フレーム判定Ｓ１００２において、ＮＯと判定されるので、ステップＳ１００４に進み、差分処理部１５１が画像５０２と背景フレームとの差分検出を行う。このとき背景となる画像が、先ほど一時保存しておいた５０１のフレームである。ステップＳ１００５にて、差分値の２値化を行い、形状データを生成する。５０１と５０２の差分値となるので、生成される形状データは、５１２に示す形状となる。終了判定Ｓ１００６では再度ＮＯとなり、ステップＳ１００１に戻り、次のフレームの画像入力に移る。３番目の画像５０３は、背景フレーム判定Ｓ１００２において、ＮＯと判定されるので、ステップＳ１００４に進み、画像５０２と同じ処理が行われる。生成された形状データは、５１３に示す形状となる。以上の処理を繰り返し行い、最後のフレームの処理が終わったところで、終了判定Ｓ１００６にてＹＥＳとなり、一連の処理を終える。
【００３５】
図１のＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅ  エンコーダ１５２（矩形画像符号化部）は、背景として選択された画像５０１を入力とし、そのまま符号化する。［背景技術］の説明では、背景画像の符号化は静止画の符号化方式でよいと説明したが、本実施形態では、背景とする画像を繰り返し符号化するため、動画像の符号化方式を用いたほうが、符号化効率を向上させることができる。
【００３６】
ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅ  エンコーダ（任意形状画像符号化部）１５３では、背景として選択された画像以外のデータを入力する。すなわち、まず５１２の形状データと５０２の画像データを入力とし、任意形状符号化を行う。次に５１３の形状データと５０３の画像データを入力する、という処理を繰り返す。なお、エンコーダ１５２及び１５３は、図２４を参照しながら説明した上記の説明と同様である。
【００３７】
ＭＵＸ処理部１５４では、２種類の画像ビットストリームを含む複数のビットストリームを多重化する。背景の選択方法によっては、各エンコーダにおけるフレーム間隔が不規則となるが、これはシステムの持つ時間管理情報を利用することによって解決できる。複数のビデオオブジェクト間や、ビデオとオーディオ間で同期を取る方法に関しては、特に本実施形態固有のものはないため、説明を省略する。
【００３８】
ここで、背景フレームの設定方法について、図１１から図１４を用いて説明する。図１１は、シーンの内容とは無関係に周期的に背景を選択する方法である。周期的に背景を更新することにより、画像の内容が変化しても発生符号量を抑えることができる。まず初期設定としてステップＳ１２０１にてフレーム数をカウントする値ｉを０にセットする。次にステップＳ１２０２にて、現フレームが先頭フレームであるか否かを判定する。カウント値ｉ＝０ならば、先頭フレームなので、ステップＳ１２０４にて背景フレームとして設定する。先頭フレームでない場合は、ステップＳ１２０３にて、現フレームが周期Ｔの倍数か否かを判定する。カウント値ｉを周期Ｔで割った余りが０ならば、周期Ｔの倍数なので、ステップＳ１２０４にて背景フレームとして設定する。現フレームが周期Ｔの倍数（整数倍又は整数分の一、以下同じ）でない場合は、背景フレームの設定をせずに終了判定のステップＳ１２０５に進む。最終フレームでなければ、終了判定Ｓ１２０５はＮＯとなり、ステップＳ１２０６にてフレーム数のカウント値ｉを１つ増やして、次のフレームの処理のステップＳ１２０２に移る。以下同様の処理を繰り返し、最終フレームの処理が終わった段階で、終了判定Ｓ１２０５がＹＥＳとなり、一連の処理を終える。周期Ｔを４とすると、図１における背景フレームは、１０１、１０５、１０９となる。
【００３９】
図１２は、シーンの内容を解析し、シーンチェンジが発生したところで背景フレームを設定する方法であり、図１１とは異なる方法を示している。シーンチェンジ直後の画像は直前の画像との相関が低いため、大きな差分データを発生してしまう。シーンチェンジが発生したフレームを背景フレームとすることで、シーンにまたがっての差分処理を防ぎ、発生符号量を抑えることができる。まずステップＳ１３０１にて、現フレームが先頭フレームか否かの判定を行い、先頭フレームならば、ステップＳ１３０３にて現フレームを背景フレームに設定する。現フレームが先頭フレームでない場合は、ステップＳ１３０２にて、シーンチェンジが発生しているか否かの判定を行う。シーンチェンジ検出法は、本実施形態に特に限定されるものではないが、フレーム間の差分絶対値を閾値処理により２値化し、閾値を超える領域の面積によって判定するのはその一例である。このようにして、現フレームがシーンチェンジを発生したフレームであると判定されると、ステップＳ１３０３にて現フレームを背景フレームに設定する。シーンチェンジがなければ、背景フレームの設定をせずに終了判定のステップＳ１３０４に進む。最終フレームでなければ、終了判定Ｓ１３０４はＮＯとなり、次のフレームの処理のステップＳ１３０１に移る。以下同様の処理を繰り返し、最終フレームの処理が終わった段階で、終了判定Ｓ１３０４がＹＥＳとなり、一連の処理を終える。
【００４０】
図１３は、図１１と図１２を組み合わせた背景フレーム設定法である。毎回周期Ｔ毎に背景を設定するが、それ以外にもシーンチェンジがあるフレームは背景フレームとする。まず、ステップＳ１４０１にて、フレーム数を数えるカウンタ値ｉを０に初期設定する。次にステップＳ１４０２にて、ｉが０かどうかの判定を行う。これは、現フレームが先頭フレームか否かの判定となる。先頭フレームならば、ステップＳ１４０５に進み、現フレームを背景フレームに設定する。先頭フレームでない場合は、ステップＳ１４０３にて現フレームが周期Ｔの倍数か否かの判定を行う。判定は、フレーム値ｉを周期Ｔで割った余りが０ならば、倍数とするのが簡便な方法である。現フレームが周期Ｔの倍数ならば、ステップＳ１４０５にて、現フレームを背景フレームに設定し、そうでなければ、ステップＳ１４０４のシーンチェンジ判定に進む。シーンチェンジがあればステップＳ１４０５にて現フレームを背景フレームに設定し、そうでなければ、終了判定ステップＳ１４０６に進む。終了判定では現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１４０７にてカウンタ値ｉを１つ増やし、ステップＳ１４０２からの処理を繰り返す。最終フレームを処理した段階で終了判定Ｓ１４０６のループを抜け、一連の処理を終了する。
【００４１】
図１４も、図１１と図１２を組み合わせた他の背景フレーム設定法である。図１４の場合は、図１３の場合と異なり、シーンチェンジのない区間の続く場合に周期的に背景を設定する。まず、ステップＳ１５０１にて、現フレームが先頭フレームか否かの判定を行う。先頭フレームの判定方法は先に説明した方法でよい。先頭フレームならば、ステップＳ１５０３にて、現フレームを背景フレームに設定し、ステップＳ１５０４にてフレームのカウンタ値ｉを１にセットする。ここでのカウンタ値ｉは先ほど説明した先頭からのフレーム数ではなく、背景フレームを常に１として、そこからのフレーム数を数えるものである。先頭フレームでなければ、ステップＳ１５０２で、シーンチェンジの判定を行う。シーンチェンジのフレームであれば、ステップＳ１５０３にて、現フレームを背景フレームに設定し、ステップＳ１５０４にてカウンタ値ｉを１に設定する。シーンチェンジのフレームでなければ、ステップＳ１５０５にて、フレームのカウンタ値ｉを１つ増やす。背景フレームの直後であれば、ｉ＝２となる。次にステップＳ１５０６にて現フレームが周期Ｔの倍数か否かを判定する。判定方法としては、背景フレームからのカウント値ｉが周期Ｔと同じ値ならば、Ｔの倍数とするのが簡便である。現フレームが周期Ｔの倍数ならば、ステップＳ１５０３にて、現フレームを背景フレームに設定し、ステップＳ１５０４にてカウンタ値ｉを１に設定する。また、背景フレームからのカウント値ｉが周期Ｔに満たなければ、ステップＳ１５０７の終了判定に進む。終了判定では現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１５０１からの処理を繰り返す。これにより、シーンチェンジの検出時に背景フレーム設定をし、シーンチェンジがない区間が続く場合は、周期Ｔで背景フレーム設定をする、ということが可能となる。最終フレームを処理した段階で終了判定Ｓ１５０７はＹＥＳとなり、一連の処理を終了する。
【００４２】
第１の実施形態に係る他の実施形態を説明する。本実施形態にて説明したように、任意形状符号化では、画像データと形状データを同時に符号化するため、画像データの発生符号量と形状データの発生符号量の和がトータルの発生符号量となる。画像データは、符号化対象面積が小さいほど必要な符号量は少なくなる傾向にあり、形状データは、形状が複雑になるほど発生符号量が増える。発生符号量が最も少なくなる形状は、マクロブロック内がすべてオブジェクトとみなせる場合である。形状データをマクロブロック内で拡大すると、画像の符号化対象領域は増えるが、形状の複雑度は下がるので、トータルとして発生符号量を抑えることができる。差分処理にこの機能を加えた場合の処理の流れを以下に説明する。
【００４３】
図１５は、形状データをブロック化するフローチャートを示している。これはフレーム内のマクロブロック単位の処理である。まず、ステップＳ１６０１にて、マクロブロック内にオブジェクトの画素があるか否かを判定する。マクロブロック内にオブジェクトの画素が存在すれば、ステップＳ１６０２にて、マクロブロック内すべてをオブジェクトの画素に設定する。すなわち、形状データのマクロブロックのサイズが１６×１６であるとすると、１６×１６＝２５６の画素すべてが２５５（ＭＰＥＧ−４の場合のオブジェクトを示す値）となる。すなわち、画素精度で２値化した結果を、エンコーダ（任意形状画像符号化部）１５３における形状データの処理単位（マクロブロック）に拡張する。以下、同じである。
【００４４】
図５において説明した形状データ５１２、５１３に図１５の処理を加えた結果が５２２、５２３である。この図は、マクロブロック単位で任意形状データが正方形形状に拡張されていることを示している。５１２、５１３に比べ、画像の符号化対象領域は若干増えているが、形状の複雑度は下がっているので、トータルとしては発生符号量の削減が図られる。
【００４５】
上述したように、第１の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。特に、背景画像とするフレームは、画像内の被写体の有無に関わらずに設定する。
【００４６】
＜第２の実施形態＞
本発明の第２の実施形態について、図２、図６、図１０を用いて説明する。本実施形態は、第１の実施形態で説明した符号化側の処理に対応する復号化側の処理である。図２は、復号化側の全体構成を示すブロック図であり、特に背景画像と任意形状画像の関連を説明するための図である。［背景技術］で説明した図２１との大きな違いは、所望のタイミングでシーケンスの中に背景画像が挿入されることにある。なお、図１９は、図２に対応するものであり、上記の説明と同様である。
【００４７】
ＤＥＭＵＸ処理部２５１では、複数のビットストリームをデコーダ毎のビットストリームに分離する。ビットストリームの種類としては、ビデオの他にもオーディオなどもあるが、ここでは本実施形態固有の処理である２つのビデオビットストリームの処理についてのみ図示している。
【００４８】
ＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅ  デコーダ２５２では、まずエンコーダ側で背景画像とされたフレームの復号化を行う。エンコーダ側のシーケンスが図５で説明したものであるとすると、デコーダ側で復号される背景画像は、図６の６４１となる。
【００４９】
ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅ  デコーダ２５３では、エンコーダ側で背景画像とされた以外のフレームの復号化を行い、画像データと形状データを復号画像として出力する。図６の６０２と６０３が図５の５１２と５１３に対応した形状データであり、図６の６１２と６１３が図６の６０２と６０３の形状データに対応した画像データである。なお、デコーダ２５２及び２５３は、図２５を参照しながら説明した上記の説明と同様である。
【００５０】
合成処理部２５４では、背景画像のデータと任意形状画像の形状データおよび画像データの３つのデータを入力し、合成画像を生成する。背景画像のフレームと合成画像のフレームは、表示順に順次出力される。
【００５１】
合成処理部２５４の処理手順を、図１０のフローチャートを用いて説明する。まずステップＳ１１０１にて、最初に入力されたフレームが背景フレームかどうかを判定し、背景フレームならばステップＳ１１０２にて、合成のために背景フレームデータを一時保存するとともに、ステップＳ１１０４にて、この画像を出力する。ステップＳ１１０５の終了判定では現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１１０１に戻り、次のフレームの判定を行う。背景フレームでない場合は、ステップＳ１１０３にて先ほど一時保存した背景フレームの画像と現フレームの任意形状画像との合成を形状データを基に行う。合成した画像は、ステップＳ１１０４にて出力し、終了判定ステップＳ１１０５に進む。以上の処理を繰り返し、最終フレームを処理した段階で終了判定Ｓ１１０５のループを抜け、一連の処理を終了する。
【００５２】
図６において、６１２が任意形状の画像データ、６０２がその形状データ、６４１が背景画像データである。６０２の黒い部分はオブジェクトでないので、６４１の画素を当てはめ、白い部分はオブジェクトなので、６１２の画素を当てはめる。各画素単位で６４１もしくは６１２の画素値を当てはめていくことにより、合成画像６４２を得ることができる。同様に、６４１の背景画像データと６１３の任意形状画像データを６０３の形状データに基づいて処理すると、合成画像６４３を得ることができる。
【００５３】
したがって、復号後の画像６４１から６４３が図２の２０１から２０３に対応し、図２の復号側と図１の符号化側の処理とが完全に対応することとなる。
【００５４】
第１の実施形態に係る他の実施形態として説明した、図５の５２２および５２３に対応した処理を図６を用いて説明する。復号側の処理は先に説明した処理内容と何ら変わることはない。復号された形状データ６２２に対応する画像データは、６３２となる。６４１の背景画像データと６３２の任意形状画像データを６２２の形状データに基づいて処理すると、合成画像６４２を得ることができる。同様に、６４１の背景画像データと６３３の任意形状画像データを６２３の形状データに基づいて処理すると、合成画像６４３を得ることができる。
【００５５】
上述したように、第２の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、一連のシーケンスの中から背景画像と任意形状画像を復号・合成することにより、シーンに限定されない汎用的な高能率復号化システムを実現することができる。
【００５６】
＜第３の実施形態＞
本発明の第３の実施形態について、図３、図７、図１６を用いて説明する。図３は、符号化側の全体構成を示すブロック図であり、特に背景画像と任意形状画像の関連について説明するための図である。第１の実施形態で説明した図１との違いは、全フレームを任意形状画像として符号化対象とすることにある。全フレームを対象とすることで、背景フレームの選択に影響を受けずに処理が可能となる。
【００５７】
本実施形態では、１０１を背景画像に選択しているが、同時に任意形状画像にもする。続く１０２、１０３と併せて、任意形状画像として符号化する例を図７および図１６を用いて説明する。図７における５０１、５０２、５０３は、それぞれ図３の１０１、１０２、１０３の画面イメージである。図１６は、形状データ生成までのフローチャートである。まずステップＳ１７０１で、最初の画像５０１を入力する。背景フレームの判定ステップＳ１７０２で、このフレームは背景と判定されるので、ステップＳ１７０３にて、背景フレームは一時保存される。次にステップＳ１７０４にて、現フレームと背景フレームとの差分検出を行う。この場合背景フレームと現フレームは同じものであるので、差分値は発生しない。したがって、次のステップＳ１７０５で形状データを生成した結果も、オブジェクトなし、すなわちすべて背景ということになる。図７の５１１はこの形状データを示している。次の終了判定ステップＳ１７０６では、最終フレームの処理が終わったかどうかの判定を行う。ここでは、ＮＯと判定され、次のフレームに対する処理のステップＳ１７０１が行われる。ステップＳ１７０１により入力された次のフレーム５０２は、ステップＳ１７０２の背景フレーム判定にて、背景フレームではないと判定される。よってステップＳ１７０４にて先ほどの背景フレーム５０１と現フレーム５０２との差分検出処理が行われる。ステップＳ１７０５にて形状データを生成した結果が、図７の５１２である。同様の処理を繰り返し、図７の５０３の画像データから生成した形状データが５１３となる。最終フレームの処理を終えると、終了判定Ｓ１７０６にてループ処理を抜け、一連の処理を終える。なお、図７の５１２と５１３の形状データは、第１の実施形態で説明した形状データと同じ結果となる。
【００５８】
図３のＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅ  エンコーダ１５２は、背景として選択された画像５０１を入力し、そのまま符号化する。これは図１の処理とまったく同じである。
【００５９】
ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅ  エンコーダ１５３では、すべてのフレームを符号化対象として扱う。まず図７の５１１の形状データと５０１の画像データを入力し、任意形状符号化を行う。このときの形状データの発生符号量は、オブジェクトなしという情報のみなので、ごくわずかであり、画像データも発生しない。次に５１２の形状データと５０２の画像データを入力する。このときの処理方法は、第１の実施形態の説明と同様である。ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅ  エンコーダ１５３は、すべてのフレームの形状データと画像データを入力するため、背景画像をどのタイミングで選択しても、符号化のタイミングが直接影響を受けることはない。また、ＭＵＸ処理部１５４の処理も、第１の実施形態で説明したものと同様である。
【００６０】
なお、背景画像の選択方法は、第１の実施形態で説明したものと同じでよい。
【００６１】
第３の実施形態に係る他の実施形態を説明する。第１の実施形態にて説明したように、形状データをマクロブロックと同じ形に拡大にすると、形状の発生符号量を激減することができる。図７の５１１から５１３に対し、図１５で説明した処理を加えた結果が、５２１から５２３である。５１１はもともとオブジェクトがないので、形状のブロック化処理をしてもオブジェクトがないという結果になる。また、５１２、５１３に関しては、第１の実施形態にて説明したものと同じ結果となる。したがって本実施形態においても、トータルとしての発生符号量の削減が図られる。
【００６２】
上述したように、第３の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から任意の背景画像とすべての任意形状画像を選択することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。特に、背景画像とするフレームは、画像内の被写体の有無に関わらずに設定する。
【００６３】
＜第４の実施形態＞
本発明の第４の実施形態について、図４、図８、図１７を用いて説明する。本実施形態は、第３の実施形態で説明した符号化側の処理に対応する復号化側の処理である。第２の実施形態で説明した図２との違いは、全フレームを合成処理後に出力することにある。全フレームを対象とすることで、出力タイミングの制御が容易となる。
【００６４】
図４において、ＤＥＭＵＸ処理部２５１およびＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅ  デコーダ２５２における処理は、第２の実施形態と同様である。エンコーダ側のシーケンスが図７で説明したものであるとすると、デコーダ側で復号される背景画像は、図８の６４１となる。
【００６５】
ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅ  デコーダ２５３では、すべてのフレームを復号対象とし、画像データと形状データを復号画像として出力する。図８の６０１から６０３が図７の５１１から５１３に対応した形状データであり、図８の６１１から６１３が図８の６０１から６０３の形状データに対応した画像データである。
【００６６】
合成処理部２５４の処理手順を、図１７のフローチャートを用いて説明する。
まずステップＳ１８０１にて、最初に入力されたフレームが背景フレームかどうかを判定し、背景フレームならばステップＳ１８０２にて、合成のために背景フレームデータを一時保存する。次にステップ１８０３にて現フレームと背景フレームとを合成した後、ステップＳ１８０４にてこの画像を出力する。終了判定ステップＳ１８０５では、現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１８０１に戻り、次のフレームの判定を行う。背景フレームでない場合は、ステップＳ１８０３にて先ほど一時保存した背景フレームの画像と現フレームの任意形状画像との合成を形状データを基に行う。合成した画像は、ステップＳ１８０４にて出力し、終了判定ステップＳ１８０５に進む。以上の処理を繰り返し、最終フレームを処理した段階で終了判定Ｓ１８０５のループを抜け、一連の処理を終了する。
【００６７】
図８において、６１１が任意形状の画像データ、６０１がその形状データ、６４１が背景画像データである。６０１の形状データはオブジェクト部分を含んでいないので、合成といっても結局は６４１の画像そのものとなる。次のフレームでは、６１２が任意形状の画像データ、６０２がその形状データ、６４１が背景画像データである。各画素単位で背景部分に６４１、オブジェクト部分に６１２の画素値を当てはめていくことにより、合成画像６４２を得ることができる。同様に、６４１の背景画像データと６１３の任意形状画像データを６０３の形状データに基づいて処理すると、合成画像６４３を得ることができる。
【００６８】
したがって、復号後の画像６４１から６４３が図４の２０１から２０３に対応し、図４の復号側と図３の符号化側の処理とが完全に対応することとなる。
【００６９】
第３の実施形態に係る他の実施形態として説明した、図７の５２１から５２３に対応した処理を図８を用いて説明する。復号側の処理は先に説明した処理内容と何ら変わることはない。復号された形状データ６２１に対応する画像データは、６３１となる。６４１の背景画像データと６３１の任意形状画像データを６２１の形状データに基づいて処理することになるが、形状データ６２１がオブジェクトを含んでいないので、合成画像は背景画像そのものの６４１となる。復号された形状データ６２２に対応する画像データは、６３２となる。６４１の背景画像データと６３２の任意形状画像データを６２２の形状データに基づいて処理すると、合成画像６４２を得ることができる。同様に、６４１の背景画像データと６３３の任意形状画像データを６２３の形状データに基づいて処理すると、合成画像６４３を得ることができる。
【００７０】
上述したように、第４の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、一連のシーケンスの中から背景画像と任意形状画像を復号・合成することにより、シーンに限定されない汎用的な高能率復号化システムを実現することができる。
【００７１】
＜第５の実施形態＞
本発明の第５の実施形態について、図２６、図２８、図３０、図１１〜図１５を用いて説明する。図２６は、符号化側の全体構成を示すブロック図であり、特に背景画像と任意形状画像の関連について説明するための図である。［背景技術］で説明した図２０との大きな違いは、背景画像と任意形状画像の選択方法が異なることである。図２６における１０１からのフレーム列は、図２０における２３１１からのフレーム列に対応している。２３０１に相当する背景画像というものをあらかじめ用意しておかないことが、本実施形態の大きな特徴である。本実施形態では、フレーム列の中から背景画像を選択し、それ以外を任意形状画像として別々に符号化する。
【００７２】
背景画像の選択方法は後に詳しく説明するが、ここではまず、１０１を背景画像に選択し、続く１０２、１０３を任意形状画像として符号化する例を図２８および図３０を用いて説明する。図２８における５０１、５０２、５０３は、それぞれ１０１、１０２、１０３の画面イメージである。図３０は、形状データ生成までのフローチャートである。まずステップＳ１００１で、最初の画像５０１を入力する。背景フレームの判定ステップＳ１００２で、このフレームは背景フレームであると判定されるので、ステップＳ１００３にて、一時保存される。一時保存は差分処理を行うためのものである。次にステップＳ１００４にて、このフレームの形状データとして、全画面（全画素）オブジェクトの形状データを生成する。５１１はこの形状データを示している。終了判定Ｓ１００７ではこのフレームが最終フレームか否かの判定を行う。この時点ではＮＯなので、ステップＳ１００１に戻り、次のフレームの画像入力に移る。２番目の画像５０２は、背景フレーム判定Ｓ１００２において、ＮＯと判定されるので、ステップＳ１００５に進み、差分処理部１５１が現画像のフレームと背景フレームとの差分検出を行う。このとき背景フレームとなる画像が、先ほど一時保存しておいた５０１のフレームである。ステップＳ１００６にて、差分値の２値化を行い、形状データを生成する。５０１と５０２の差分値となるので、生成される形状データは、５１２に示す形状となる。終了判定Ｓ１００７では再度ＮＯとなり、ステップＳ１００１に戻り、次のフレームの画像入力に移る。３番目の画像５０３は、背景フレーム判定Ｓ１００２において、ＮＯと判定されるので、ステップＳ１００５に進み、画像５０２と同じ処理が行われる。生成された形状データは、５１３に示す形状となる。以上の処理を繰り返し行い、最後のフレームの処理が終わったところで、終了判定Ｓ１００７にてＹＥＳとなり、一連の処理を終える。
【００７３】
図２６のＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅ  エンコーダ１５３では、まず５１１の形状データと５０１の画像データを入力とし、任意形状符号化を行う。このフレームは画面全体がオブジェクトとみなされているので、矩形形状の符号化を行った場合とほぼ同じ発生符号量となる。次に５１２の形状データと５０２の画像データを入力して任意形状の符号化を行う。以下、５１３の形状データと５０３の画像データを入力し、という処理を繰り返す。
【００７４】
ＭＵＸ処理部１５４は、複数のエンコードしたビットストリームの多重化を行う。ビデオの他にオーディオのビットストリームなども多重化する部分であるが、ここでは特に本実施形態固有の処理がないため、説明を省略する。
【００７５】
ここで、背景フレームの設定方法について、図１１から図１４を用いて説明する。図１１は、シーンの内容とは無関係に周期的に背景を選択する方法である。周期的に背景を更新することにより、画像の内容が変化しても発生符号量を抑えることができる。まず初期設定としてステップＳ１２０１にてフレーム数をカウントする値ｉを０にセットする。次にステップＳ１２０２にて、現フレームが先頭フレームであるか否かを判定する。カウント値ｉ＝０ならば、先頭フレームなので、ステップＳ１２０４にて背景フレームとして設定する。先頭フレームでない場合は、ステップＳ１２０３にて、現フレームが周期Ｔの倍数か否かを判定する。カウント値ｉを周期Ｔで割った余りが０ならば、周期Ｔの倍数なので、ステップＳ１２０４にて背景フレームとして設定する。現フレームが周期Ｔの倍数でない場合は、背景フレーム設定をせずに終了判定のステップＳ１２０５に進む。最終フレームでなければ、終了判定Ｓ１２０５はＮＯとなり、ステップＳ１２０６にてフレーム数のカウント値ｉを１つ増やして、次のフレームの処理のステップＳ１２０２に移る。以下同様の処理を繰り返し、最終フレームの処理が終わった段階で、終了判定Ｓ１２０５がＹＥＳとなり、一連の処理を終える。周期Ｔを４とすると、図２６における背景フレームは、１０１、１０５、１０９となる。
【００７６】
図１２は、シーンの内容を解析し、シーンチェンジが発生したところで背景フレームを設定する方法であり、図１１とは異なる方法を示している。シーンチェンジ直後の画像は直前の画像との相関が低いため、大きな差分データを発生してしまう。シーンチェンジが発生したフレームを背景フレームとすることで、シーンにまたがっての差分処理を防ぎ、発生符号量を抑えることができる。まずステップＳ１３０１にて、現フレームが先頭フレームか否かの判定を行い、先頭フレームならば、ステップＳ１３０３にて背景フレームに設定する。現フレームが先頭フレームでない場合は、ステップＳ１３０２にて、シーンチェンジが発生しているか否かの判定を行う。シーンチェンジ検出法は、本実施形態に特に限定されるものはないが、フレーム間の差分絶対値を閾値処理により２値化し、閾値を超える領域の面積によって判定するのはその一例である。このようにして、現フレームがシーンチェンジを発生したフレームであると判定されると、ステップＳ１３０３にて現フレームを背景フレームに設定する。シーンチェンジがなければ、背景フレーム設定をせずに終了判定のステップＳ１３０４に進む。最終フレームでなければ、終了判定Ｓ１３０４はＮＯとなり、ステップＳ１３０１に戻り、次のフレームの処理に移る。以下同様の処理を繰り返し、最終フレームの処理が終わった段階で、終了判定Ｓ１３０４がＹＥＳとなり、一連の処理を終える。
【００７７】
図１３は、図１１と図１２を組み合わせた背景フレーム設定法である。毎回周期Ｔ毎に背景を設定するが、それ以外にもシーンチェンジがあるフレームは背景フレームとする。まず、ステップＳ１４０１にて、フレーム数を数えるカウンタ値ｉを０に初期設定する。次にステップＳ１４０２にて、ｉが０かどうかの判定を行う。これは、現フレームが先頭フレームか否かの判定となる。先頭フレームならば、ステップＳ１４０５に進み、現フレームを背景フレームに設定する。先頭フレームでない場合は、ステップＳ１４０３にて現フレームが周期Ｔの倍数か否かの判定を行う。判定は、フレーム値ｉを周期Ｔで割った余りが０ならば、倍数とするのが簡便な方法である。現フレームが周期Ｔの倍数ならば、ステップＳ１４０５にて、現フレームを背景フレームに設定し、そうでなければ、ステップＳ１４０４のシーンチェンジ判定に進む。シーンチェンジがあればステップＳ１４０５にて現フレームを背景フレームに設定し、そうでなければ、終了判定ステップＳ１４０６に進む。終了判定では現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１４０７にてカウンタ値ｉを１つ増やし、ステップＳ１４０２からの処理を繰り返す。最終フレームを処理した段階で終了判定Ｓ１４０６のループを抜け、一連の処理を終了する。
【００７８】
図１４も、図１１と図１２を組み合わせた他の背景フレーム設定法である。図１４の場合は、図１３の場合と異なり、シーンチェンジのない区間の続く場合に周期的に背景を設定する。まず、ステップＳ１５０１にて、現フレームが先頭フレームか否かの判定を行う。先頭フレームの判定方法は先に説明した方法でよい。先頭フレームならば、ステップＳ１５０３にて、現フレームを背景フレームに設定し、ステップＳ１５０４にてフレームのカウンタ値ｉを１にセットする。ここでのカウンタ値ｉは先ほど説明した先頭からのフレーム数ではなく、背景フレームを常に１として、そこからのフレーム数を数えるものである。先頭フレームでなければ、ステップＳ１５０２で、シーンチェンジの判定を行う。シーンチェンジのフレームであれば、ステップＳ１５０３にて、現フレームを背景フレームに設定し、ステップＳ１５０４にてカウンタ値ｉを１に設定する。シーンチェンジのフレームでなければ、ステップＳ１５０５にて、フレームのカウンタ値ｉを１つ増やす。背景フレームの直後であれば、ｉ＝２となる。次にステップＳ１５０６にて現フレームが周期Ｔの倍数か否かを判定する。判定方法としては、背景フレームからのカウント値ｉが周期Ｔと同じ値ならば、Ｔの倍数とするが簡便である。現フレームが周期Ｔの倍数ならば、ステップＳ１５０３にて、現フレームを背景フレームに設定し、ステップＳ１５０４にてカウンタ値ｉを１に設定する。また、背景フレームからのカウント値ｉが周期Ｔに満たなければ、ステップＳ１５０７の終了判定に進む。終了判定では現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１５０１からの処理を繰り返す。これにより、シーンチェンジを検出時に背景フレーム設定をし、シーンチェンジがない区間が続く場合は、周期Ｔで背景フレーム設定をする、ということが可能となる。最終フレームを処理した段階で終了判定Ｓ１５０７はＹＥＳとなり、一連の処理を終了する。
【００７９】
第５の実施形態に係る他の実施形態を説明する。本実施形態にて説明したように、任意形状符号化では、画像データと形状データを同時に符号化するため、画像データの発生符号量と形状データの発生符号量の和がトータルの発生符号量となる。画像データは、符号化対象面積が小さいほど必要な符号量は少なくなる傾向にあり、形状データは、形状が複雑になるほど発生符号量が増える。発生符号量が最も少なくなる形状は、マクロブロック内がすべてオブジェクトとみなせる場合である。形状データをマクロブロック内で拡大すると、画像の符号化対象領域は増えるが、形状の複雑度は下がるので、トータルとして発生符号量を抑えることができる。差分処理にこの機能を加えた場合の処理の流れを以下に説明する。
【００８０】
図１５は、形状データをブロック化するフローチャートを示している。これはフレーム内のマクロブロック単位の処理である。まず、ステップＳ１６０１にて、マクロブロック内にオブジェクトの画素があるか否かを判定する。マクロブロック内にオブジェクトの画素が存在すれば、ステップＳ１６０２にて、マクロブロック内すべてをオブジェクトの画素に設定する。すなわち、形状データのマクロブロックのサイズが１６×１６であるとすると、１６×１６＝２５６の画素すべてが２５５（ＭＰＥＧ−４の場合のオブジェクトを示す値）となる。
【００８１】
図２８において説明した形状データ５１１から５１３に図１５の処理を加えた結果が５２１から５２３である。この図は、マクロブロック単位で任意形状データが正方形形状に拡張されていることを示している。５１１は元々全画面がオブジェクトとなっているので、この処理によって形状が変化することはない。５２２、５２３は、５１２、５１３に比べ、形状を拡大したことになるので、画像の符号化対象領域は若干増えているが、形状の複雑度は下がっているので、トータルとしては発生符号量の削減が図られる。
【００８２】
上述したように、第５の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。特に、背景画像とするフレームは、画像内の被写体の有無に関わらずに設定する。
【００８３】
＜第６の実施形態＞
本発明の第６の実施形態について、図２７、図２９、図３１を用いて説明する。本実施形態は、第５の実施形態で説明した符号化側の処理に対応する復号化側の処理である。図２７は、復号化側の全体構成を示すブロック図であり、特に背景画像と任意形状画像の関連を説明するための図である。［背景技術］で説明した図２１との大きな違いは、所望のタイミングでシーケンスの中に背景画像が挿入されることにある。
【００８４】
ＤＥＭＵＸ処理部２５１では、複数のビットストリームをデコーダ毎のビットストリームに分離する。ビットストリームの種類としては、ビデオの他にオーディオなどもあるが、ここでは本実施形態固有の処理であるビデオのビットストリームについてのみ図示している。
【００８５】
ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅ  デコーダ２５３では、画像データと形状データを復号画像として出力する。図２９の６０１から６０３が図２８の５１１から５１３に対応した形状データであり、図２９の６１１から６１３が図２９の６０１から６０３の形状データに対応した画像データである。
【００８６】
合成処理部２５４では、背景フレーム画像が入力された場合は、これを保持し、任意形状画像の形状データおよび画像データの入力から合成画像を生成する。
【００８７】
合成処理部２５４の処理手順を、図３１のフローチャートを用いて説明する。まずステップＳ１８０１にて、最初に入力されたフレームが背景フレームかどうかの判定を行う。形状データが全画素オブジェクトであれば、その画像は背景フレームであると判定できる。入力されたフレームが背景フレームならば、ステップＳ１８０２にて、合成のために背景フレームデータを一時保存する。ステップＳ１８０３では、背景フレームと現フレームとの合成を行うが、この時点では現フレームが背景フレームなので、ステップＳ１８０４にて現フレームをそのまま出力する。ステップＳ１８０５の終了判定では現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１８０１に戻り、次のフレームの判定を行う。背景フレームでない場合は、ステップＳ１８０３にて先ほど一時保存した背景フレーム画像と現フレームの任意形状画像との合成を形状データを基にして行う。合成した画像は、ステップＳ１８０４にて出力し、終了判定ステップＳ１８０５に進む。以上の処理を繰り返し、最終フレームを処理した段階で終了判定Ｓ１８０５のループを抜け、一連の処理を終了する。
【００８８】
図２９において最初のフレームでは、６１１が任意形状の画像データ、６０１がその形状データ、６４１が合成画像データである。６０１がすべてオブジェクトを示しているので、６１１がそのまま合成後の出力画像になっている。次のフレームでは、６１２が任意形状の画像データ、６０２がその形状データ、６４１が背景画像データである。６０２の黒い部分はオブジェクトでないので、６４１の画素を当てはめ、白い部分はオブジェクトなので、６１２の画素を当てはめる。各画素単位で６４１もしくは６１２の画素値を当てはめていくことにより、合成画像６４２を得ることができる。同様に、６４１の背景画像データと６１３の任意形状画像データを６０３の形状データに基づいて処理すると、合成画像６４３を得ることができる。
【００８９】
したがって、復号後の画像６４１から６４３が図２７の２０１から２０３に対応し、図２７の復号側と図２６の符号化側の処理とが完全に対応することとなる。
【００９０】
第５の実施形態に係る他の実施形態として説明した、図２８の５２１から５２３に対応した処理を図２９を用いて説明する。復号側の処理は先に説明した処理内容と何ら変わることはない。復号された形状データ６２１に対応する画像データは、６３１となる。当然のことながら、６２１の形状データは、６０１の形状データと同じであり、６３１の任意形状画像データと６４１の背景画像データもまた同じであるので、合成後の画像データも６４１となる。復号された形状データ６２２に対応する画像データは、６３２となる。６４１の背景画像データと６３２の任意形状画像データを６２２の形状データに基づいて処理すると、合成画像６４２を得ることができる。同様に、６４１の背景画像データと６３３の任意形状画像データを６２３の形状データに基づいて処理すると、合成画像６４３を得ることができる。
【００９１】
上述したように、第６の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、一連のシーケンスの中から背景画像と任意形状画像を復号・合成することにより、シーンに限定されない汎用的な高能率復号化システムを実現することができる。
【００９２】
＜第７の実施形態＞
本発明の第７の実施形態について、図３２、図３４、図３７、図３９、図４１〜図４４、図１５を用いて説明する。図３２は、符号化側の全体構成を示すブロック図である。［背景技術］で説明した図１８との大きな違いは、背景画像と任意形状画像の選択方法が異なる（画像選択部１０１）ことと、順序変換部１０２を設けていること、矩形形状符号化部２１０４が不要であること、などである。図２０における２３０１に相当する背景画像というものをあらかじめ用意しておかないことが、本実施形態の大きな特徴である。本実施形態では、フレーム列の中から背景画像を選択し、符号化する。
【００９３】
画像入力部２１０１から入力されたフレーム列は、画像選択部１０１によって、背景とするフレームとそれ以外のフレームに選択される。順序変換部１０２では、後の任意形状画像符号化部２１０５に入力する画像データおよび形状データが効率よく符号化されるように、フレームの処理順序を変更する。形状データ生成部１０３では、順序変換されたフレームを入力し、背景とのフレーム差分により生成したデータを二値化して任意形状符号化用の形状データを生成する。任意形状画像符号化部２１０５では、先に生成した形状データと順序変換部１０２からの出力である画像データを同じフレームのタイミングで入力し、符号化を行う。画像データの符号化および形状データの符号化の詳細は、［背景技術］で説明したとおりである。多重化部２１０６は、複数のエンコードしたビットストリームの多重化を行う。ビデオの他にオーディオのビットストリームなども多重化する部分であるが、ここでは特に本実施形態固有の処理がないため、説明を省略する。
【００９４】
背景画像の選択方法は後に詳しく説明するが、ここではまず、その後の処理である、順序変換と形状データの生成について、図３４、図３７、図３９を用いて説明する。図３９は形状データ生成までのフローチャートである。
【００９５】
まずステップＳ１００１で、初期設定として、フレーム数を数えるカウンタ値ｉを１にセットする。次にステップＳ１００２で、画像を入力し、ステップＳ１００３にて、このフレームが背景フレームかどうかの判定を行う。背景フレームでなければ、ステップＳ１００４にてこのフレームを一時保存し、次のフレームの処理に移る。ステップＳ１００５にて、カウンタ値ｉを１つ増やし、再度画像入力（Ｓ１００２）を行う。ステップＳ１００３にて背景フレームと判定されるフレームが現れるまでこの処理を繰り返し、各フレームを一時保存しておく。背景フレームを検出した時点で、ステップＳ１００６にて、背景フレームデータの出力を行う。この時のデータは、画像データと全画素をオブジェクトとする形状データである。ステップＳ１００７で設定するＮは、背景フレームが現れるまでのフレーム数ｉで、ステップＳ１００８以降、ｉ＝１からＮまでの繰り返し処理を行う。この繰り返し処理は、背景フレームを検出した時点で、それまで一時保存しておいたフレームとの差分処理を行うものである。まずステップＳ１０１０にて、背景フレームと１番目のフレームとの差分を検出し、ステップＳ１０１１にて、このフレームの形状データを生成する。さらにステップＳ１０１２にて、このフレームの画像データと形状データを出力する。これらの出力は、任意形状画像符号化部２１０５の入力となる。このフレームの処理はこれで終わり、ステップＳ１０１３にて、カウンタｉを１つ増やし、２番目のフレームの処理を１番目と同様に行う。この処理をＮ−１番目まで行った段階で、繰り返し処理Ｓ１００９を抜け、終了判定ステップＳ１０１４に移る。このとき最終フレームの処理まで終わっていない場合は、ステップＳ１００１に戻り、前述の処理を繰り返す。このフローチャートでは、入力画像の最終フレームは背景となる前提で説明したが、最終フレームが背景でない場合は、終了判定ステップＳ１０１４以降、最後の背景フレームから最終フレームまでの処理を行う必要がある。このときは、最終フレームを背景フレームと設定し、同じ処理を行えばよい。
【００９６】
図３４は、図３９のフローチャートに従って処理した場合の画面の説明である。入力したフレーム列が５０１、５０２、５０３の順であり、５０３が背景フレームであるとする。５０１および５０２の画像は５０３の背景フレームが入力されるまで、一時保存される。５０３が入力されると、５０３、５０１、５０２の順に順序変換される。背景フレーム５０３の形状データは全画素がオブジェクトであるとするので、５１１のようになる。５０１の形状データは、５０３との差分より求めるので、５１２のようになる。同様に５０２の形状データは、５０３との差分により、５１３のようになる。順序変換を行ったことにより、５１２のオブジェクトと判定された画素数は、５１３のそれよりも多くなっている。一般にフレーム間差分を行う場合には、フレーム間の時間間隔が広くなればなるほど、オブジェクトと判定される領域は増える。したがって、背景フレームを先頭に順序変換すると、直後の形状データのオブジェクト領域が最も大きくなり、その後徐々に領域は小さくなり、最後のフレーム（すなわち元々背景の直前にあったフレーム）が最も小さくなる、という傾向を持ち、これは符号化効率の向上に役立つ。
【００９７】
先に説明したように、ＭＰＥＧ−４任意形状画像符号化方式では、フレーム内の処理を行うイントラモード（フレーム内符号化又は復号化）と、フレーム間の処理を行うインターモード（フレーム間符号化又は復号化）がある。符号化の処理モードをどう選ぶかという問題は、背景に設定するフレームをどう決めるかという問題と直接の関連はなく、自由に設定可能である。ただし、背景に設定したフレームをイントラモードにすると、効率のよい符号化が可能となる。５１１のフレームをイントラモードとして、５１２、５１３のフレームをインターモードとすると、５１２のオブジェクト画像は、５１１の画像の中からサーチして、差分を符号化することになる。また、５１３のオブジェクト画像は、５１２のオブジェクト画像の中からサーチして、差分を符号化する。このように前フレームとのマッチングを取る符号化方式では、前フレームのオブジェクト領域が大きいほうがサーチしたときのマッチングが取れやすくなる。対応するブロックが見つかりやすければそれだけ差分値は小さくなり、符号化効率は向上することになる。
【００９８】
ここで、背景フレームの設定方法について、図４１から図４４を用いて説明する。図４１は、シーンの内容とは無関係に周期的に背景を選択する方法である。周期的に背景を更新することにより、画像の内容が変化しても発生符号量を抑えることができる。まずステップＳ１２０１にて現フレームが周期Ｔの倍数かどうかの判定を行う。周期Ｔの倍数ならば、ステップＳ１２０２にて現フレームを背景フレームに設定する。周期Ｔの倍数でなければ、ステップＳ１２０３にて現フレームが最終フレームかどうかの判定を行う。最終フレームでなければ、ステップＳ１２０１からの処理を繰り返す。最終フレームの場合は、ステップＳ１２０４にて、このフレームを背景フレームに設定する。
【００９９】
図３７は、周期Ｔ＝３の場合の例である。１番目のフレームと２番目のフレームは一時保存し、３番目のフレームが入力された時点で、このフレームをイントラモード（Ｉ）で最初に符号化する。次に、３番目のフレームと１番目のフレームの背景差分データをインターモード（Ｐ）で符号化する。さらに３番目のフレームと２番目のフレームの背景差分データをインターモード（Ｐ）で符号化する。以下この処理の繰り返しとなる。
【０１００】
図４２は、シーンの内容を解析し、シーンチェンジが発生したところで背景フレームを設定する方法であり、図４１とは異なる方法を示している。シーンチェンジ直後の画像は直前の画像との相関が低いため、シーンチェンジ直前のフレームを背景フレームとすることで、シーンにまたがっての差分処理を防ぎ、発生符号量を抑えることができる。まずステップＳ１３０１にて、シーンチェンジが発生しているか否かの判定を行う。シーンチェンジ検出法は、本実施形態に特に限定されるものはないが、フレーム間の差分絶対値を閾値処理により２値化し、閾値を超える領域の面積によって判定するのはその一例である。このようにして、現フレームがシーンチェンジを発生したフレームであると判定されると、ステップＳ１３０２にて直前のフレームを背景フレームに設定する。シーンチェンジがなければ、背景フレーム設定をせずにステップＳ１３０３に進む。ここで現フレームが最終フレームか否かの判定を行い、最終フレームでなければ、ステップＳ１３０１に戻り、次のフレームの処理に移り、以下同様の処理を繰り返す。最終フレームであれば、ステップＳ１３０４にて、このフレームを背景フレームに設定し、一連の処理を終える。
【０１０１】
図４３は、図４１と図４２を組み合わせた背景フレーム設定法である。毎回周期Ｔ毎に背景を設定するが、それ以外にもシーンチェンジがあるフレームは背景フレームとする。まず、ステップＳ１４０１にて、現フレームが周期Ｔの倍数かどうかの判定を行う。周期Ｔの倍数ならば、ステップＳ１４０３に進み、直前のフレームを背景フレームに設定し、そうでなければ、ステップＳ１４０２のシーンチェンジ判定に進む。シーンチェンジがあればステップＳ１４０３にて直前のフレームを背景フレームに設定し、そうでなければ、ステップＳ１４０４の判定に進む。この判定では現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１４０１からの処理を繰り返す。最終フレームであれば、ステップＳ１４０５にて、このフレームを背景フレームに設定し、一連の処理を終える。
【０１０２】
図４４も、図４１と図４２を組み合わせた他の背景フレーム設定法である。図４４の場合は、図４３の場合と異なり、シーンチェンジのない区間の続く場合に周期的に背景フレームを設定する。まず、ステップＳ１５０１にて、フレーム数のカウンタとして、ｉを１にセットする。次にステップＳ１５０２で、シーンチェンジの判定を行う。シーンチェンジのフレームであれば、ステップＳ１５０３にて、直前のフレームを背景フレームに設定し、ステップＳ１５０４にてカウンタ値ｉを１に設定する。シーンチェンジのフレームでなければ、ステップＳ１５０５にて、現フレームが周期Ｔの倍数か否かを判定する。判定方法としては、背景フレームからのカウント値ｉが周期Ｔと同じ値ならば、Ｔの倍数とするが簡便である。現フレームが周期Ｔの倍数ならば、ステップＳ１５０６にて、現フレームを背景フレームに設定し、ステップＳ１５０７にてカウンタ値ｉを０にリセットする。また、背景フレームからのカウント値ｉが周期Ｔに満たなければ、ステップＳ１５０８の判定に進む。この判定では現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１５０９でカウント値ｉを１つ増やし、ステップＳ１５０２からの処理を繰り返す。最終フレームでは、ステップＳ１５１０にて、このフレームを背景フレームに設定し、一連の処理を終える。これにより、シーンチェンジ検出時には、直前のフレームを背景に設定し、シーンチェンジがない区間が続く場合は、周期Ｔで背景フレーム設定をする、ということが可能となる。
【０１０３】
第７の実施形態に係る他の実施形態を説明する。本実施形態にて説明したように、任意形状符号化では、画像データと形状データを同時に符号化するため、画像データの発生符号量と形状データの発生符号量の和がトータルの発生符号量となる。画像データは、符号化対象面積が小さいほど必要な符号量は少なくなる傾向にあり、形状データは、形状が複雑になるほど発生符号量が増える。発生符号量が最も少なくなる形状は、マクロブロック内がすべてオブジェクトとみなせる場合である。形状データをマクロブロック内で拡大すると、画像の符号化対象領域は増えるが、形状の複雑度は下がるので、トータルとして発生符号量を抑えることができる。差分処理にこの機能を加えた場合の処理の流れを以下に説明する。
【０１０４】
図１５は、形状データをブロック化するフローチャートを示している。これはフレーム内のマクロブロック単位の処理である。まず、ステップＳ１６０１にて、マクロブロック内にオブジェクトの画素があるか否かを判定する。マクロブロック内にオブジェクトの画素が存在すれば、ステップＳ１６０２にて、マクロブロック内すべてをオブジェクトの画素に設定する。すなわち、形状データのマクロブロックのサイズが１６×１６であるとすると、１６×１６＝２５６の画素すべてが２５５（ＭＰＥＧ−４の場合のオブジェクトを示す値）となる。
【０１０５】
図３４において説明した形状データ５１１から５１３に図１５の処理を加えた結果が５２１から５２３である。この図は、マクロブロック単位で任意形状データが正方形形状に拡張されていることを示している。５１１は元々全画面がオブジェクトとなっているので、この処理によって形状が変化することはない。５２２、５２３は、５１２、５１３に比べ、形状を拡大したことになるので、画像の符号化対象領域は若干増えているが、形状の複雑度は下がっているので、トータルとしては発生符号量の削減が図られる。
【０１０６】
上述したように、第７の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。特に、背景画像とするフレームは、画像内の被写体の有無に関わらずに設定する。
【０１０７】
＜第８の実施形態＞
本発明の第８の実施形態について、図３３、図３５、図３６、図３８、図４０を用いて説明する。本実施形態は、第７の実施形態で説明した符号化側の処理に対応する復号化側の処理である。
【０１０８】
図３３は、復号化側の全体構成を示すブロック図である。［背景技術］で説明した図１９との大きな違いは、所望のタイミングでシーケンスの中に背景画像が挿入されることにある。分離部２２０１では、複数のビットストリームをデコーダ毎のビットストリームに分離する。ビットストリームの種類としては、ビデオの他にオーディオなどもあるが、ここでは本実施形態固有の処理であるビデオのビットストリームについてのみ図示している。任意形状画像復号化部２２０３では、分離されたビデオのビットストリームを入力し、画像データと形状データを復号画像として出力する。これは、［背景技術］で説明したＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅのデコーダを用いるのがよい。画像合成部２０１では、入力した背景画像と現フレームの画像データおよび形状データから合成画像を生成し、順序逆変換部２０２へ出力する。順序逆変換部２０２では、符号化時に順序変換したフレームを元の順序に戻す処理を行う。画像出力部２２０５は、ディスプレイのような画像表示装置が代表的なものであり、入力したフレームを所望のタイミングで順次表示する。
【０１０９】
画像合成部２０１と順序逆変換部２０２の処理手順を、図４０のフローチャートを用いて説明する。まずステップＳ１１０１にて、デコードデータの入力を行う。そしてステップＳ１１０２にて、このフレームが背景フレームかどうかの判定を行う。先頭フレームの場合は、背景フレームに設定されているので、ＹＥＳとなる。ステップＳ１１０６では、最初の背景フレームかどうかの判定を行う。最初の背景フレームなら、ステップＳ１１０８に進み、ステップＳ１１０９にて、現背景フレームを一時保存する。次に入力したデコードデータが背景フレームでなかった場合は、ステップＳ１１０３にて、先に保存しておいた背景フレームと、現フレームの画像データおよび形状データから合成画像を生成する。次にステップＳ１１０４にて、合成画像フレームを出力する。ステップＳ１１０５の終了判定にて、現フレームが最終フレームか否かの判定を行い、ＮＯならば次の背景フレームが見つかるまで、ステップＳ１１０１からの処理を繰り返す。次の背景フレームが見つかると、ステップＳ１１０７にて、それまでの合成処理に用いていた前背景フレームを出力し、現フレームを背景フレームとして新たに保存する。また終了判定にて、最終フレームが背景フレームであった場合は、ステップＳ１１１０にて、この背景フレームを出力し、一連の処理を終える。
【０１１０】
図３５を用いて、図４０の処理の流れをさらに詳しく説明する。ここでは周期Ｔ＝３であるとする。ステップＳ１１０１では、最初のデコードデータ６０１および６１１を入力する。形状データが全画素オブジェクトであるので、このフレームは背景フレームと判定される。ステップＳ１１０２はＹＥＳとなり、ステップＳ１１０６に進む。これは最初のフレームなので、ステップＳ１１０６はＹＥＳとなり、ステップＳ１１０８に進む。このフレームは最終フレームではないので、ステップＳ１１０９にて６１１を一時保存する。次にステップＳ１１０１でデコードデータ６０２および６１２を入力する。このフレームは背景フレームではないので、ステップＳ１１０２はＮＯとなり、ステップＳ１１０３に進む。ここで、背景画像６１１と任意形状画像６１２を形状データ６０２に基づいて合成する。ステップＳ１１０４にて生成した合成画像フレーム６４２を出力する。このフレームは最終フレームではないので、ステップＳ１１０１に戻り、次のデコードデータ６０３および６１３を入力する。このフレームは背景ではないので、ステップＳ１１０２はＮＯとなり、ステップＳ１１０３に進む。ここで、背景画像６１１と任意形状画像６１３を形状データ６０３に基づいて合成する。ステップＳ１１０４にて生成した合成画像フレーム６４３を出力する。このフレームは最終フレームではないので、ステップＳ１１０１に戻り、次のデコードデータを入力する。背景の周期Ｔ＝３であると、次のフレームは背景フレームであるのでステップＳ１１０２はＹＥＳとなり、ステップＳ１１０６に進む。このフレームは２回目の背景フレームなので、ステップＳ１１０６の判定はＮＯとなり、ステップＳ１１０７により前背景フレーム６１１を出力する。ステップＳ１１０８の終了判定はＮＯであり、ステップＳ１１０９にて新たな背景フレームを一時保存し、次のデコードデータの入力に移る。このように、順序逆変換後の出力は、６４２、６４３、６４１の順になり、正しい出力順序に戻ることになる。
【０１１１】
この関係をさらに図３８で説明する。図３８は図３７の逆の処理となる。図３７で説明したように、背景に設定したフレームをイントラモードとし、背景の周期Ｔ＝３とする。１番目にイントラモード（Ｉ）でデコードし、これを背景画像として一時保存する。２番目にインターモード（Ｐ）でデコードし、デコードした任意形状画像と先の背景画像からこのフレームの合成画像を生成・出力する。３番目も同様に、インターモード（Ｐ）でデコードし、デコードした任意形状画像と先の背景画像からこのフレームの合成画像を生成・出力する。４番目がイントラモードであるために、このときに先の背景フレームを出力する。以下この繰り返しとなる。この順序逆変換により、正しい出力順序が得られることになる。
【０１１２】
したがって、復号後の画像６４２、６４３、６４１が図３４の５０１、５０２、５０３に対応し、図３３の復号側と図３２の符号化側の処理とが完全に対応することとなる。
【０１１３】
第７の実施形態に係る他の実施形態として説明した、図３４の５２１から５２３に対応した処理を図３６を用いて説明する。復号側の処理は先に説明した処理内容と何ら変わることはない。復号された形状データ６２１に対応する画像データは、６３１となる。当然のことながら、６２１の形状データは、図３５の６０１の形状データと同じであり、６３１の画像データと６４１の背景画像データもまた同じであるので、合成後の画像データも６４１となる。復号された形状データ６２２に対応する画像データは、６３２となる。６４１の背景画像データと６３２の任意形状画像データを６２２の形状データに基づいて処理すると、合成画像６４２を得ることができる。同様に、６４１の背景画像データと６３３の任意形状画像データを６２３の形状データに基づいて処理すると、合成画像６４３を得ることができる。
【０１１４】
上述したように、第８の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、一連のシーケンスの中から背景画像と任意形状画像を復号・合成することにより、シーンに限定されない汎用的な高能率復号化システムを実現することができる。
【０１１５】
＜第９の実施形態＞
本発明の第９の実施形態について説明する。図４５（ａ）は、符号化側の全体構成を示すブロック図である。［背景技術］で説明した図１８との大きな違いは、背景画像と任意形状画像の選択方法が異なる（画像選択部１０１）こと、形状データ生成後にそれの加工部１０４を設けていること、画像データ用のメモリ部１０５を設けていること、矩形形状符号化部２１０４が不要であること、などである。図２０における２３０１に相当する背景画像というものをあらかじめ用意しておかないことが、本実施形態の大きな特徴である。本実施形態では、フレーム列の中から背景画像を選択し、符号化する。
【０１１６】
画像入力部２１０１から入力されたフレーム列は、画像選択部１０１によって、背景とするフレームとそれ以外のフレームに選択される。形状データ生成部１０３では、フレーム画像を入力し、背景とのフレーム差分により生成したデータを二値化して任意形状符号化用の形状データを生成する。形状加工部１０４では、複数の任意形状データをまとめて１つの形状に加工する。メモリ部１０５では、形状加工部１０４の出力タイミングの同期に合わせて画像データを出力するためのものである。任意形状画像符号化部２１０５では、先に生成した形状データとメモリ部１０５からの出力である画像データを同じフレームのタイミングで入力し、符号化を行う。画像データの符号化および形状データの符号化の詳細は、［背景技術］で説明したとおりである。多重化部２１０６は、複数のエンコードしたビットストリームの多重化を行う。ビデオの他にオーディオのビットストリームなども多重化する部分であるが、ここでは特に本実施形態固有の処理がないため、説明を省略する。
【０１１７】
背景画像の選択方法は後に詳しく説明するが、ここではまず、その後の処理である、形状データの生成と形状加工について、図４７、図４９を用いて説明する。図４９はそのフローチャートである。
【０１１８】
まずステップＳ１００１で、初期設定として、フレーム数を数えるカウンタ値ｉを０にセットする。次にステップＳ１００２で、画像を入力し、ステップＳ１００３にて、このフレームが背景フレームかどうかの判定を行う。背景フレームでなければ、ステップＳ１００４にてカウンタ値ｉを１つ増やす。ステップＳ１００５にてこのフレームと背景フレームとの間で差分検出処理を行い、ステップＳ１００６にて、このフレームの形状データを生成する。ステップＳ１００７にて、このフレームが１番目かどうかの判定を行い、１番目でない場合は、ステップＳ１００８にて、一つ前のフレームの形状データと現フレームの形状データとのＯＲ（論理和）をとる処理を行い、ステップＳ１００９にて、このフレームのデータを一時保存する。このフレームが１番目の場合は、そのままステップＳ１００９の処理を行う。ここまでで、このフレームの処理を一旦終え、ステップＳ１００２へ戻り、次のフレームの処理に移る。次の背景フレームが来るまでこの処理を繰り返し、次の背景フレームがきた時点で、ステップＳ１０１０に進み、背景フレームのデータ出力を行う。このとき背景フレームの形状データは、全画素がオブジェクトであるとする。ステップＳ１０１１は、背景フレームが先頭フレームであるか否かを判定する処理である。ｉ＝０ならば、先頭フレームであるので、ステップＳ１０１７の終了判定を経てステップＳ１００１へ戻り、次のフレームの処理に移る。ｉ＝０でなければ、ステップＳ１０１２にて、これまでに差分処理して一時保存したフレーム数ｉをＮとして設定する。以降ステップＳ１０１３より１からＮまでのデータを出力する。ステップＳ１０１３は、カウンタｉを１に初期設定し、ステップＳ１０１４がｉフレームのデータ出力処理、ステップＳ１０１５が終了判定で、ステップＳ１０１６がカウンタｉのインクリメントである。Ｎフレームの処理が終わった段階で、ステップＳ１０１７の終了判定を行う。現フレームが最終フレームでない場合は、ステップＳ１００１に戻りこれまでの処理を繰り返し、最終フレームならば、一連の処理を終了する。
【０１１９】
図４７は、図４９のフローチャートに従って処理した場合の画面の説明である。入力したフレーム列が５０１、５０２、５０３の順であり、５０１が背景フレームであるとする。まずカウンタ値ｉ＝０（Ｓ１００１）で、５０１のフレームが入力（Ｓ１００２）される。５０１は背景フレームなので、背景フレーム判定（Ｓ１００３）はＹＥＳとなり、画像データ５０１と形状データ５１１を出力する（Ｓ１０１０）。ｉ＝０なので（Ｓ１０１１）このフレームの処理を終え、フローの最初に戻る。カウンタ値ｉ＝０（Ｓ１００１）で、５０２のフレームが入力（Ｓ１００２）される。５０２は背景フレームでないので、背景フレーム判定（Ｓ１００３）はＮＯとなり、カウンタ値ｉを１とする（Ｓ１００４）。背景フレーム５０１と現フレーム５０２の差分を検出し（Ｓ１００５）、形状データ５１２を生成する（Ｓ１００６）。ｉ＝１なので（Ｓ１００７）、画像データ５０２と形状データ５１２を一時保存し、次のフレームの処理に移る。３番目の画像として５０３を入力し（Ｓ１００２）、背景フレームでない（Ｓ１００３）ので、カウンタ値ｉを１つ増やす（Ｓ１００４）。背景フレーム５０１と現フレーム５０３の差分を検出し（Ｓ１００５）、形状データ５１３を生成する（Ｓ１００６）。ｉ＝２なので（Ｓ１００７）、現フレームの形状データ５１３と前フレームの形状データ５１２のＯＲ処理を行う（Ｓ１００８）。この結果得られた形状データが５２３である。このフレームの画像データ５０３と形状データ５１３を一時保存し、次のフレームの処理に移る。次に入力したフレームが背景であるとすると、一時保存したフレーム数Ｎ＝２となる（Ｓ１０１２）。ｉ＝１（Ｓ１０１３）で画像データ５０２と形状データ５２２を出力し（Ｓ１０１４）、ｉ＝２（Ｓ１０１６）で画像データ５０３と形状データ５２３を出力する（Ｓ１０１４）。ｉ＝２でループを抜け（Ｓ１０１５）、次のフレームの処理に移る。
【０１２０】
ここで出力する形状データは、１からＮまですべて１種類の共通の同じものである。したがって、最新の形状データが得られた段階で、それ以前の形状データを最新の形状データに置き換えるか、最新の形状データのみ残し、これを利用することで、他を廃棄してもよい。また、ここでの説明では、新たな形状データを得る毎にＯＲ処理を行ったが、各形状データをそのまま保存しておき、まとめてＯＲ処理をしてもよい。
【０１２１】
また、簡易的な処理手段として、すべてのフレームの形状データを求める代わりに、１つのフレームの形状データで代表することもできる。図４７の例では、５０１と５０３から求めた形状データ５１３を５２２、５２３の代わりとすればよい。５１３と５２３では若干形状が異なるが、５１２の形状のほとんどの領域を包含することができている。５１２の形状データの生成や、生成した形状データ同士のOR処理が省略できるため、簡便で同等の効果が期待できる。どのフレームの形状データを求めて代表とするかは、任意であるが、一般的には背景画像から時間的に一番遠いフレームを選択すると、多くの領域を包含することができると考えられる。
【０１２２】
また、データの出力では、画像データと形状データを同時に出力すると説明したが、これは図４５の形状加工部１０４とメモリ部１０５の出力タイミングを揃えることを意味する。画像データの保持を形状データ生成部１０３や形状加工部１０４に含められる場合は、図４５（ｂ）のようなブロック図となる。この場合、形状データ生成部１０３の出力が、画像データと形状データのペアとなり、以降この組み合わせを保持したまま処理を行うこととなる。
【０１２３】
先に説明したように、ＭＰＥＧ−４任意形状画像符号化方式では、フレーム内の処理を行うイントラモードと、フレーム間の処理を行うインターモードがある。符号化の処理モードをどう選ぶかという問題は、背景に設定するフレームをどう決めるかという問題と直接の関連はなく、自由に設定可能である。ただし、背景に設定したフレームをイントラモードにすると、効率のよい符号化が可能となる。インターモードでは、形状データもフレーム間のマッチングを取るため、各フレームが同じ形状であると、形状データにおける発生符号量を極めて小さくすることができる。５１１のフレームをイントラモードとして、５１２、５１３のフレームをインターモードとすると、５１３の発生符号量は、５１２と同じという情報のみでよいため、各マクロブロックで数ビットで済むことになる。イントラモードの間隔が長くなればなるほどこの効果は大きくなり、符号化効率は向上することになる。
【０１２４】
ここで、背景フレームの設定方法について、図１１から図１４を用いて説明する。図１１は、シーンの内容とは無関係に周期的に背景を選択する方法である。周期的に背景を更新することにより、画像の内容が変化しても発生符号量を抑えることができる。まず初期設定としてステップＳ１２０１にてフレーム数をカウントする値ｉを０にセットする。次にステップＳ１２０２にて、現フレームが先頭フレームであるか否かを判定する。カウント値ｉ＝０ならば、先頭フレームなので、ステップＳ１２０４にて背景フレームとして設定する。先頭フレームでない場合は、ステップＳ１２０３にて、現フレームが周期Ｔの倍数か否かを判定する。カウント値ｉを周期Ｔで割った余りが０ならば、周期Ｔの倍数なので、ステップＳ１２０４にて背景フレームとして設定する。現フレームが周期Ｔの倍数でない場合は、背景フレーム設定をせずに終了判定のステップＳ１２０５に進む。最終フレームでなければ、終了判定Ｓ１２０５はＮＯとなり、ステップＳ１２０６にてフレーム数のカウント値ｉを１つ増やして、次のフレームの処理のステップＳ１２０２に移る。以下同様の処理を繰り返し、最終フレームの処理が終わった段階で、終了判定Ｓ１２０５がＹＥＳとなり、一連の処理を終える。
【０１２５】
図１２は、シーンの内容を解析し、シーンチェンジが発生したところで背景フレームを設定する方法であり、図１１とは異なる方法を示している。シーンチェンジ直後の画像は直前の画像との相関が低いため、大きな差分データを発生してしまう。シーンチェンジが発生したフレームを背景フレームとすることで、シーンにまたがっての差分処理を防ぎ、発生符号量を抑えることができる。まずステップＳ１３０１にて、現フレームが先頭フレームか否かの判定を行い、先頭フレームならば、ステップＳ１３０３にて背景フレームに設定する。現フレームが先頭フレームでない場合は、ステップＳ１３０２にて、シーンチェンジが発生しているか否かの判定を行う。シーンチェンジ検出法は、本実施形態に特に限定されるものはないが、フレーム間の差分絶対値を閾値処理により２値化し、閾値を超える領域の面積によって判定するのはその一例である。このようにして、現フレームがシーンチェンジを発生したフレームであると判定されると、ステップＳ１３０３にて現フレームを背景フレームに設定する。シーンチェンジがなければ、背景フレーム設定をせずに終了判定のステップＳ１３０４に進む。最終フレームでなければ、終了判定Ｓ１３０４はＮＯとなり、ステップＳ１３０１に戻り、次のフレームの処理に移る。以下同様の処理を繰り返し、最終フレームの処理が終わった段階で、終了判定Ｓ１３０４がＹＥＳとなり、一連の処理を終える。
【０１２６】
図１３は、図１１と図１２を組み合わせた背景フレーム設定法である。毎回周期Ｔ毎に背景を設定するが、それ以外にもシーンチェンジがあるフレームは背景フレームとする。まず、ステップＳ１４０１にて、フレーム数を数えるカウンタ値ｉを０に初期設定する。次にステップＳ１４０２にて、ｉが０かどうかの判定を行う。これは、現フレームが先頭フレームか否かの判定となる。先頭フレームならば、ステップＳ１４０５に進み、現フレームを背景フレームに設定する。先頭フレームでない場合は、ステップＳ１４０３にて現フレームが周期Ｔの倍数か否かの判定を行う。判定は、フレーム値ｉを周期Ｔで割った余りが０ならば、倍数とするのが簡便な方法である。現フレームが周期Ｔの倍数ならば、ステップＳ１４０５にて、現フレームを背景フレームに設定し、そうでなければ、ステップＳ１４０４のシーンチェンジ判定に進む。シーンチェンジがあればステップＳ１４０５にて現フレームを背景フレームに設定し、そうでなければ、終了判定ステップＳ１４０６に進む。終了判定では現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１４０７にてカウンタ値ｉを１つ増やし、ステップＳ１４０２からの処理を繰り返す。最終フレームを処理した段階で終了判定Ｓ１４０６のループを抜け、一連の処理を終了する。
【０１２７】
図１４も、図１１と図１２を組み合わせた他の背景フレーム設定法である。図１４の場合は、図１３の場合と異なり、シーンチェンジのない区間の続く場合に周期的に背景を設定する。まず、ステップＳ１５０１にて、現フレームが先頭フレームか否かの判定を行う。先頭フレームの判定方法は先に説明した方法でよい。先頭フレームならば、ステップＳ１５０３にて、現フレームを背景フレームに設定し、ステップＳ１５０４にてフレームのカウンタ値ｉを１にセットする。ここでのカウンタ値ｉは先ほど説明した先頭からのフレーム数ではなく、背景フレームを常に１として、そこからのフレーム数を数えるものである。先頭フレームでなければ、ステップＳ１５０２で、シーンチェンジの判定を行う。シーンチェンジのフレームであれば、ステップＳ１５０３にて、現フレームを背景フレームに設定し、ステップＳ１５０４にてカウンタ値ｉを１に設定する。シーンチェンジのフレームでなければ、ステップＳ１５０５にて、フレームのカウンタ値ｉを１つ増やす。背景フレームの直後であれば、ｉ＝２となる。次にステップＳ１５０６にて現フレームが周期Ｔの倍数か否かを判定する。判定方法としては、背景フレームからのカウント値ｉが周期Ｔと同じ値ならば、Ｔの倍数とするが簡便である。現フレームが周期Ｔの倍数ならば、ステップＳ１５０３にて、現フレームを背景フレームに設定し、ステップＳ１５０４にてカウンタ値ｉを１に設定する。また、背景フレームからのカウント値ｉが周期Ｔに満たなければ、ステップＳ１５０７の終了判定に進む。終了判定では現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１５０１からの処理を繰り返す。これにより、シーンチェンジを検出時に背景フレーム設定をし、シーンチェンジがない区間が続く場合は、周期Ｔで背景フレーム設定をする、ということが可能となる。最終フレームを処理した段階で終了判定Ｓ１５０７はＹＥＳとなり、一連の処理を終了する。
【０１２８】
第９の実施形態に係る他の実施形態を説明する。本実施形態にて説明したように、任意形状符号化では、画像データと形状データを同時に符号化するため、画像データの発生符号量と形状データの発生符号量の和がトータルの発生符号量となる。画像データは、符号化対象面積が小さいほど必要な符号量は少なくなる傾向にあり、形状データは、形状が複雑になるほど発生符号量が増える。発生符号量が最も少なくなる形状は、マクロブロック内がすべてオブジェクトとみなせる場合である。形状データをマクロブロック内で拡大すると、画像の符号化対象領域は増えるが、形状の複雑度は下がるので、トータルとして発生符号量を抑えることができる。差分処理にこの機能を加えた場合の処理の流れを以下に説明する。
【０１２９】
図１５は、形状データをブロック化するフローチャートを示している。これはフレーム内のマクロブロック単位の処理である。まず、ステップＳ１６０１にて、マクロブロック内にオブジェクトの画素があるか否かを判定する。マクロブロック内にオブジェクトの画素が存在すれば、ステップＳ１６０２にて、マクロブロック内すべてをオブジェクトの画素に設定する。すなわち、形状データのマクロブロックのサイズが１６×１６であるとすると、１６×１６＝２５６の画素すべてが２５５（ＭＰＥＧ−４の場合のオブジェクトを示す値）となる。
【０１３０】
図４７において説明した形状データ５２１から５２３に図１５の処理を加えた結果が５３１から５３３である。この図は、マクロブロック単位で任意形状データが正方形形状に拡張されていることを示している。５２１は元々全画面がオブジェクトとなっているので、この処理によって形状が変化することはない。５３２は、５２２に比べ、形状を拡大したことになるので、画像の符号化対象領域は若干増えているが、形状の複雑度は下がっており、５３３は５３２と同じ形状である。よってトータルとして、発生符号量の削減が図られる。
【０１３１】
上述したように、第９の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。特に、背景画像とするフレームは、画像内の被写体の有無に関わらずに設定する。
【０１３２】
＜第１０の実施形態＞
本発明の第１０の実施形態について説明する。本実施形態は、第９の実施形態で説明した符号化側の処理に対応する復号化側の処理であり、図４６、図４８、図１０を用いて説明する。
【０１３３】
図４６は、復号化側の全体構成を示すブロック図である。分離部２２０１では、複数のビットストリームをデコーダ毎のビットストリームに分離する。ビットストリームの種類としては、ビデオの他にオーディオなどもあるが、ここでは本実施形態固有の処理であるビデオのビットストリームについてのみ図示している。任意形状画像復号化部２２０３では、分離されたビデオのビットストリームを入力し、画像データと形状データを復号画像として出力する。これは、［背景技術］で説明したＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅのデコーダを用いるのがよい。画像合成部２０１では、入力した背景画像と現フレームの画像データおよび形状データから合成画像を生成し、画像出力部２２０５へ出力する。画像出力部２２０５は、ディスプレイのような画像表示装置が代表的なものであり、入力したフレームを所望のタイミングで順次表示する。
【０１３４】
画像合成部２０１の処理手順を、図１０のフローチャートを用いて説明する。まずステップＳ１１０１にて、最初に入力されたフレームが背景フレームかどうか判定し、背景フレームならばステップＳ１１０２にて、合成のために背景フレームデータを一時保存するとともに、ステップＳ１１０４にて、この画像を出力する。ステップＳ１１０５の終了判定では現フレームが最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１１０１に戻り、次のフレームの判定を行う。背景フレームでない場合は、ステップＳ１１０３にて先ほど一時保存した背景フレームの画像と現フレームの任意形状画像との合成を形状データを基に行う。合成した画像は、ステップＳ１１０４にて出力し、終了判定ステップＳ１１０５に進む。以上の処理を繰り返し、最終フレームを処理した段階で終了判定Ｓ１１０５のループを抜け、一連の処理を終了する。
【０１３５】
図４８において最初のフレームでは、６１１が任意形状の画像データ、６０１がその形状データ、６４１が合成画像データである。６０１がすべてオブジェクトを示しているので、６１１がそのまま合成後の出力画像になっている。次のフレームでは、６１２が任意形状の画像データ、６０２がその形状データ、６４１が背景画像データである。６０２の黒い部分はオブジェクトでないので、６４１の画素を当てはめ、白い部分はオブジェクトなので、６１２の画素を当てはめる。各画素単位で６４１もしくは６１２の画素値を当てはめていくことにより、合成画像６４２を得ることができる。同様に、６４１の背景画像データと６１３の任意形状画像データを６０３の形状データに基づいて処理すると、合成画像６４３を得ることができる。
【０１３６】
したがって、復号後の画像６４１から６４３が図４７の５０１から５０３に対応し、図４６の復号側と図４５の符号化側の処理とが完全に対応することとなる。
【０１３７】
第９の実施形態に係る他の実施形態として説明した、図４７の５２１から５２３に対応した処理を図４８を用いて説明する。復号側の処理は先に説明した処理内容と何ら変わることはない。復号された形状データ６２１に対応する画像データは、６３１となる。当然のことながら、６２１の形状データは、６０１の形状データと同じであり、６３１の任意形状画像データと６４１の背景画像データもまた同じであるので、合成後の画像データも６４１となる。復号された形状データ６２２に対応する画像データは、６３２となる。６４１の背景画像データと６３２の任意形状画像データを６２２の形状データに基づいて処理すると、合成画像６４２を得ることができる。同様に、６４１の背景画像データと６３３の任意形状画像データを６２３の形状データに基づいて処理すると、合成画像６４３を得ることができる。
【０１３８】
上述したように、第１０の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、一連のシーケンスの中から背景画像と任意形状画像を復号・合成することにより、シーンに限定されない汎用的な高能率復号化システムを実現することができる。
【０１３９】
＜第１１の実施形態＞
図５０は、第１〜第１０の実施形態をコンピュータプログラムで実現する第１１の実施形態のハードウエア構成例を示す。バス５００１には、中央処理装置（ＣＰＵ）５００２、ＲＯＭ５００３、ＲＡＭ５００４、ネットワークインタフェース５００５、入力装置５００６、出力装置５００７及び外部記憶装置５００８が接続されている。
【０１４０】
ＲＯＭ５００３には、予めＣＰＵ５００２の制御手順（コンピュータプログラム）を記憶させておき、このコンピュータプログラムをＣＰＵ５００２が実行することにより、起動する。外部記憶装置５００８にコンピュータプログラムが記憶されており、そのコンピュータプログラムがＲＡＭ５００４にコピーされてＣＰＵ５００２により実行される。外部記憶装置５００８は、例えばハードディスク記憶装置やＣＤ−ＲＯＭ等であり、電源を切っても記憶内容が消えない。ＲＡＭ５００４は、データの入出力、送受信のためのワークメモリ、各構成要素の制御のための一時記憶として用いられる。
【０１４１】
ＣＰＵ５００２は、コンピュータプログラムを実行することにより、データの処理又は演算を行うと共に、バス５００１を介して接続された各種構成要素を制御するものである。ＣＰＵ５００２は、コンピュータプログラムの実行により、上記のフローチャートの処理を行うことができる。
【０１４２】
ネットワークインタフェース５００５は、ネットワークに接続するためのインタフェースである。入力装置５００６は、例えばキーボード、マウス等であり、各種指定又は入力等を行うことができる。出力装置５００７は、ディスプレイ、スピーカー等である。
【０１４３】
また、本実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４４】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４５】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１４６】
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【０１４７】
以上説明したように、第１〜第１１の実施形態によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択し、分離・合成することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。
【０１４８】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【０１４９】
【図１】本発明の第１の実施形態における画像処理装置の構成を示すブロック図である。
【図２】本発明の第２の実施形態における画像処理装置の構成を示すブロック図である。
【図３】本発明の第３の実施形態における画像処理装置の構成を示すブロック図である。
【図４】本発明の第４の実施形態における画像処理装置の構成を示すブロック図である。
【図５】本発明の第１の実施形態における形状データと画像データの処理について説明するための図である。
【図６】本発明の第２の実施形態における形状データと画像データの処理について説明するための図である。
【図７】本発明の第３の実施形態における形状データと画像データの処理について説明するための図である。
【図８】本発明の第４の実施形態における形状データと画像データの処理について説明するための図である。
【図９】本発明の第１の実施形態に係る形状データの生成手順を説明するためのフローチャートである。
【図１０】本発明の第２の実施形態に係る画像データの合成手順を説明するためのフローチャートである。
【図１１】本発明の実施形態に係る背景フレームの設定手順を説明するためのフローチャートである。
【図１２】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図１３】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図１４】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図１５】本発明の実施形態に係る形状データの修正手順を説明するためのフローチャートである。
【図１６】本発明の第３の実施形態に係る形状データの生成手順を説明するためのフローチャートである。
【図１７】本発明の第４の実施形態に係る画像データの合成手順を説明するためのフローチャートである。
【図１８】従来例に係る符号化側の画像処理装置の構成を示すブロック図である。
【図１９】従来例に係る復号化側の画像処理装置の構成を示すブロック図である。
【図２０】従来例に係る符号化側の画像処理装置の構成を示すブロック図であり、特に画像分離部の処理について説明するための図である。
【図２１】従来例に係る復号化側の画像処理装置の構成を示すブロック図であり、特に画像表示部の処理について説明するための図である。
【図２２】従来例に係る符号化側の形状データと画像データの処理について説明するための図である。
【図２３】従来例に係る復号化側の形状データと画像データの処理について説明するための図である。
【図２４】任意形状符号化部の構成を示すブロック図である。
【図２５】任意形状復号化部の構成を示すブロック図である。
【図２６】本発明の第５の実施形態における画像処理装置の構成を示すブロック図である。
【図２７】本発明の第６の実施形態における画像処理装置の構成を示すブロック図である。
【図２８】本発明の第５の実施形態における形状データと画像データの処理について説明するための図である。
【図２９】本発明の第６の実施形態における形状データと画像データの処理について説明するための図である。
【図３０】本発明の第５の実施形態に係る形状データの生成手順を説明するためのフローチャートである。
【図３１】本発明の第６の実施形態に係る画像データの合成手順を説明するためのフローチャートである。
【図３２】本発明の第７の実施形態における画像処理装置の構成を示すブロック図である。
【図３３】本発明の第８の実施形態における画像処理装置の構成を示すブロック図である。
【図３４】本発明の第７の実施形態における形状データと画像データの処理について説明するための図である。
【図３５】本発明の第８の実施形態における形状データと画像データの処理について説明するための図である。
【図３６】本発明の第８の実施形態における形状データと画像データの処理について説明するための図である。
【図３７】本発明の第７の実施形態における順序変換処理について説明するための図である。
【図３８】本発明の第８の実施形態における順序逆変換処理について説明するための図である。
【図３９】本発明の第７の実施形態に係る形状データの生成手順を説明するためのフローチャートである。
【図４０】本発明の第８の実施形態に係る画像データの合成手順を説明するためのフローチャートである。
【図４１】本発明の実施形態に係る背景フレームの設定手順を説明するためのフローチャートである。
【図４２】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図４３】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図４４】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図４５】本発明の第９の実施形態における画像処理装置の構成を示すブロック図である。
【図４６】本発明の第１０の実施形態における復号化システムの構成を示すブロック図である。
【図４７】本発明の第９の実施形態における形状データと画像データの処理について説明するための図である。
【図４８】本発明の第１０の実施形態の復号化システムにおける形状データと画像データの処理について説明するための図である。
【図４９】本発明の第９の実施形態に係る形状データの生成・加工手順を説明するためのフローチャートである。
【図５０】本発明の第１〜第１０の実施形態をコンピュータプログラムで実現する第１１の実施形態のハードウエア構成例を示すブロック図である。
【符号の説明】
【０１５０】
１５１  差分処理部
１５２，１５３  エンコーダ
１５４  ＭＵＸ処理部
２５１  ＤＥＭＵＸ処理部
２５２，２５３  デコーダ
２５４  合成処理部
５００１  バス
５００２  ＣＰＵ
５００３  ＲＯＭ
５００４  ＲＡＭ
５００５  ネットワークインタフェース
５００６  入力装置
５００７  出力装置
５００８  外部記憶装置
【図１】
2005167601.tif 000003
【図２】
2005167601.tif 000004
【図３】
2005167601.tif 000005
【図４】
2005167601.tif 000006
【図５】
2005167601.tif 000007
【図６】
2005167601.tif 000008
【図７】
2005167601.tif 000009
【図８】
2005167601.tif 000010
【図９】
2005167601.tif 000011
【図１０】
2005167601.tif 000012
【図１１】
2005167601.tif 000013
【図１２】
2005167601.tif 000014
【図１３】
2005167601.tif 000015
【図１４】
2005167601.tif 000016
【図１５】
2005167601.tif 000017
【図１６】
2005167601.tif 000018
【図１７】
2005167601.tif 000019
【図１８】
2005167601.tif 000020
【図１９】
2005167601.tif 000021
【図２０】
2005167601.tif 000022
【図２１】
2005167601.tif 000023
【図２２】
2005167601.tif 000024
【図２３】
2005167601.tif 000025
【図２４】
2005167601.tif 000026
【図２５】
2005167601.tif 000027
【図２６】
2005167601.tif 000028
【図２７】
2005167601.tif 000029
【図２８】
2005167601.tif 000030
【図２９】
2005167601.tif 000031
【図３０】
2005167601.tif 000032
【図３１】
2005167601.tif 000033
【図３２】
2005167601.tif 000034
【図３３】
2005167601.tif 000035
【図３４】
2005167601.tif 000036
【図３５】
2005167601.tif 000037
【図３６】
2005167601.tif 000038
【図３７】
2005167601.tif 000039
【図３８】
2005167601.tif 000040
【図３９】
2005167601.tif 000041
【図４０】
2005167601.tif 000042
【図４１】
2005167601.tif 000043
【図４２】
2005167601.tif 000044
【図４３】
2005167601.tif 000045
【図４４】
2005167601.tif 000046
【図４５】
2005167601.tif 000047
【図４６】
2005167601.tif 000048
【図４７】
2005167601.tif 000049
【図４８】
2005167601.tif 000050
【図４９】
2005167601.tif 000051
【図５０】
2005167601.tif 000052