(57)【特許請求の範囲】
【請求項１】
原画像から、当該原画像上に存在するオブジェクトを含む領域を切り出し、その切出画像を符号化側に対して出力する画像処理装置であって、
上記切出画像において、上記オブジェクト部分を除く部分領域内の画素値を、上記符号化側からの符号化モードの情報に基づいて置換する置換手段と、
少なくとも上記置換手段での置換処理後の切出画像を、上記符号化側に対して出力する出力手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記出力手段は、上記置換手段において使用した符号化モードの情報を、上記符号化側に対して出力することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記置換手段は、上記オブジェクト部分と、上記オブジェクト部分を除く部分との境界を認識するための形状情報を取得し、
上記出力手段は、上記置換手段にて得られた形状情報を、上記符号化側に対して出力することを特徴とする請求項１記載の画像処理装置。
【請求項４】
画像編集側にて得られた原画像の切出画像を符号化する画像処理装置であって、
上記切出画像を含む符号化フレーム又は符号化フィールドの符号化モードを判定する判定手段と、
上記判定手段により判定された符号化モードを、上記画像編集側に対して出力する出力手段と、
上記画像編集側において上記出力手段により与えられた過去の符号化モードに基づいて得られた画素値で上記切出画像におけるオブジェクト部分を除く部分領域内の画素値が置換された後の上記切出画像、及び上記過去の符号化モードを少なくとも記憶する記憶手段と、
上記判定手段により判定された現在の符号化モードと、上記記憶手段に記憶された過去の符号化モードとが一致しない場合に、上記記憶手段に記憶された切出画像におけるオブジェクト部分を除く部分領域内の画素値を、上記判定手段により判定された現在の符号化モードに基づいて得られた画素値で置換する置換手段と、
上記判定手段により判定された現在の符号化モードと、上記記憶手段に記憶された過去の符号化モードとが一致しない場合に、上記置換手段での置換処理後の切出画像を符号化し、上記判定手段により判定された現在の符号化モードと、上記記憶手段に記憶された過去の符号化モードとが一致する場合には、上記記憶手段に記憶された切出画像を符号化する符号化手段とを備えることを特徴とする画像処理装置。
【請求項５】
上記記憶手段は、上記画像編集側から供給された、上記切出画像におけるオブジェクト部分と当該オブジェクト部分を除く部分の境界を認識するための形状情報を記憶し、
上記置換手段は、上記記憶手段に記憶された形状情報に基づいて、上記置換処理を実行することを特徴とする請求項４記載の画像処理装置。
【請求項６】
記憶装置に記憶された複数のディジタル動画像信号又は静止画像信号から任意に選択した画像信号を原画像とし、当該原画像に対して編集処理を施して符号化側へと供給する画像処理装置であって、
上記原画像上に存在するオブジェクト部分を含む任意のサイズの矩形領域を切り出す切出手段と、
上記切出手段によって切り出された切出画像を上記原画像とは独立に記憶する記憶手段と、
上記記憶手段に記憶された複数の切出画像から任意に選択した切出画像において、上記オブジェクト部分の画像領域と、当該画像領域を除く余白部分の画像領域とに分離する分離手段と、
上記分離手段により得られた余白部分の画像領域内の画素値を、上記符号化側からの符号化モードの情報に基づいて置換する置換手段とを備えることを特徴とする画像処理装置。
【請求項７】
編集側が、複数の原画像から任意に選択した原画像において、当該原画像上に存在するオブジェクトを含む任意のサイズの領域を切り出して符号化側に対して出力し、当該符号化側が、上記編集側からの切出画像を符号化するための画像処理方法であって、
上記編集側が、上記切出画像において、上記オブジェクト部分を除く部分領域内の画素値を、上記符号化側からの符号化モードの情報に基づいて置換する編集側置換ステップと、
上記編集側が、少なくとも上記置換ステップでの置換処理後の切出画像を、上記符号化側に対して出力する編集側出力ステップとを含むことを特徴とする画像処理方法。
【請求項８】
上記符号化側が、上記符号化の際の符号化モードを判定する符号化モード判定ステップと、
上記符号化側が、上記符号化モード判定ステップにより判定された符号化モードを上記編集側に対して出力する符号化側出力ステップとを含み、
上記編集側置換ステップは、上記編集側が、上記符号化側出力ステップにより上記符号化側から与えられた符号化モードの情報に基づいて、上記任意の画素値を取得するステップを含むことを特徴とする請求項７記載の画像処理方法。
【請求項９】
上記編集側出力ステップは、上記編集側が、上記編集側置換ステップにて用いられた符号化モードの情報を、上記編集側置換ステップでの置換処理後の切出画像と共に、上記符号化側に対して出力するステップを含むことを特徴とする請求項８記載の画像処理方法。
【請求項１０】
上記符号化側が、上記符号化モード判定ステップにより判定された現在の符号化モードと、上記編集側出力ステップにより上記編集側から与えられた過去の符号化モードとが一致しない場合に、上記編集側出力ステップにより上記編集側から与えられた切出画像におけるオブジェクト部分を除く部分領域内の画素値を、上記符号化モード判定ステップにより判定された現在の符号化モードに基づいて得られた画素値で置換する符号化側置換ステップと、
上記符号化モード判定ステップにより判定された現在の符号化モードと、上記編集側出力ステップにより上記編集側から与えられた過去の符号化モードとが一致しない場合に、上記符号化側置換ステップにより置換処理された後の切出画像を符号化し、上記符号化モード判定ステップにより判定された現在の符号化モードと、上記編集側出力ステップにより上記編集側から与えられた過去の符号化モードとが一致する場合に、上記編集側出力ステップにより上記編集側から与えられた切出画像を符号化する符号化ステップとを含むことを特徴とする請求項９記載の画像処理方法。
【請求項１１】
請求項１〜６の何れか１項に記載の画像処理装置の機能をコンピュータに実現させるための処理プログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１２】
請求項７〜１０の何れか１項に記載の画像処理方法の処理ステップをコンピュータに実行させるための処理プログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、ディジタル化された原画像に対して、当該原画像の任意の画像領域を切り出す編集処理を施した後、当該編集処理により得られた切出画像を符号化する装置或いはシステムに用いられる、画像処理装置、画像処理方法、及びそれを実施するための処理ステップをコンピュータに実行されるためのプログラム等を記憶した記憶媒体に関するものである。
【０００２】
【従来の技術】
従来より例えば、原画像から任意の画像領域を切り出し、その切出画像を符号化する画像処理装置として、図５に示すような、画像編集処理部４００（１）及び符号化処理部４００（２）から構成された画像処理装置４００がある。
この画像処理装置４００は、次のように動作する。
【０００３】
先ず、画像編集処理部４００（１）において、原画像は、フレームメモリ４０１に記憶される。
フレームメモリ４０１に記憶された原画像は、コントローラ４０６よって、画像切出部４０２に対して適宜読み出される。
【０００４】
画像切出部４０２は、コントローラ４０６からの制御に従って、フレームメモリ４０１からの原画像内の任意の領域を切り出し、その切出画像をセレクタスイッチ４０３、画像処理部４０４、及びセレクタスイッチ４０５を順次介して、符号化処理部４００（２）へ供給する。
【０００５】
このとき、セレクタスイッチ４０３及び４０５は、画像切出部４０２から出力された切出画像が、画像処理部４０４内に設けられた複数の画像処理機能（エフェクト１，２，３，・・・，ｎ）の中の該当するエフェクトにて画像処理されて、符号化処理部４００（２）へ供給されるように、コントローラ４０６から制御されている。
【０００６】
画像編集処理部４００（１）により画像処理された切出画像（編集済み画像）が供給される符号化処理部４００（２）は、図６に示すフローチャートに従って、次のように動作する。
【０００７】
先ず、符号化処理部４００（２）には、画像編集処理部４００（１）からの切出画像（編集済み画像）が入力され（ステップＳ５０１）、当該切出画像は、バッファ４０７内に一旦記憶される（ステップＳ５０２）。
バッファ４０７に記憶された切出画像は、符号化コントローラ４１１よって、符号化前処理部（シェイプ＆パディング）４０８に対して読み出される。
【０００８】
符号化前処理部４０８は、バッファ４０７からの切出画像に対して、次のような処理を施す。
処理１．切出画像を構成する対象画像（任意の形状をしたオブジェクト）の部分と、当該対象画像の部分を除く背景画像（矩形領域全体）の部分との境界情報を与える形状情報の生成処理（ステップＳ５０６）。
処理２．任意の演算式により画素値を算出し（ステップＳ５０４）、当該画素値で切出画像の背景画像部分の画素を置換するパディング処理（ステップＳ５０５）。
処理３．符号化モード判定部４１０による、切出画像に対するマクロブロック単位での符号化モードの判定処理（ステップＳ５０３）。
処理１及び処理２の結果（形状情報、パディング処理後の切出画像）は、圧縮処理部４０９へ供給され、処理３の結果（符号化モードの判定処理の結果）は、符号化コントローラ４１１へ供給される。
【０００９】
符号化コントローラ４１１は、処理３の結果（符号化モードの判定処理の結果）に基づいて、圧縮処理部４０９での圧縮率等を制御する。
【００１０】
圧縮処理部４０９は、符号化コントローラ４１１からの制御に従って、符号化前処理部４０８からの形状情報及びパディング処理後の切出画像（背景画像部分をパディングされた切出画像）を、所定の圧縮／符号化方式に従って圧縮／符号化処理し、ビットストリームとして出力する（ステップＳ５０７）。
【００１１】
上述のような符号化処理部４００（２）でのステップＳ５０１〜Ｓ５０７の一連の処理は、符号化処理部４００（２）に対して入力される切出画像全てに対して一律に実行される処理であり、同一の切出画像を複数回処理する場合も例外なく、その都度、ステップＳ５０１〜Ｓ５０７の一連の処理が繰り返し実行される。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述したように、従来の画像処理装置４００では、画像編集処理部４００（１）において、原画像から、任意の形状をしたオブジェクト部分の領域（所望の画像領域）と、当該オブジェクト部分を除く背景部分の領域とから構成される矩形の切出画像を取得し、符号化処理部４００（２）において、当該切出画像における背景部分の各画素を、任意の演算式により算出した画素値（又は、予め指定された画素値）で置換するパディング処理を実行するように構成されていた。
すなわち、符号化処理部４００（２）でのパディング処理は、対象となる切出画像が前回対象であった切出画像と同一のものであっても、それにかかわらず切出画像の入力の度に、繰り返し実行されるように構成されていた。これは、符号化処理部４００（２）にとって処理負荷が非常に大きく、また、処理速度の高速化の妨げにもなり、効率的ではない。
【００１３】
そこで、本発明は、上記の欠点を除去するために成されたもので、効率的な画像処理を行えるようにすることで、装置或いはシステム全体の処理速度の高速化を図った、画像処理装置、画像処理方法、及びそれを実施するための処理ステップをコンピュータに実行されるためのプログラム等を記憶した記憶媒体を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像処理装置は、原画像から、当該原画像上に存在するオブジェクトを含む領域を切り出し、その切出画像を符号化側に対して出力する画像処理装置であって、上記切出画像において、上記オブジェクト部分を除く部分領域内の画素値を、上記符号化側からの符号化モードの情報に基づいて置換する置換手段と、少なくとも上記置換手段での置換処理後の切出画像を、上記符号化側に対して出力する出力手段とを備えることを特徴とする。
【００１５】
本発明の画像処理装置における他の態様では、画像編集側にて得られた原画像の切出画像を符号化する画像処理装置であって、上記切出画像を含む符号化フレーム又は符号化フィールドの符号化モードを判定する判定手段と、上記判定手段により判定された符号化モードを、上記画像編集側に対して出力する出力手段と、上記画像編集側において上記出力手段により与えられた過去の符号化モードに基づいて得られた画素値で上記切出画像におけるオブジェクト部分を除く部分領域内の画素値が置換された後の上記切出画像、及び上記過去の符号化モードを少なくとも記憶する記憶手段と、上記判定手段により判定された現在の符号化モードと、上記記憶手段に記憶された過去の符号化モードとが一致しない場合に、上記記憶手段に記憶された切出画像におけるオブジェクト部分を除く部分領域内の画素値を、上記判定手段により判定された現在の符号化モードに基づいて得られた画素値で置換する置換手段と、上記判定手段により判定された現在の符号化モードと、上記記憶手段に記憶された過去の符号化モードとが一致しない場合に、上記置換手段での置換処理後の切出画像を符号化し、上記判定手段により判定された現在の符号化モードと、上記記憶手段に記憶された過去の符号化モードとが一致する場合には、上記記憶手段に記憶された切出画像を符号化する符号化手段とを備えることを特徴とする。
【００１６】
また、本発明の画像処理装置におけるその他の態様では、記憶装置に記憶された複数のディジタル動画像信号又は静止画像信号から任意に選択した画像信号を原画像とし、当該原画像に対して編集処理を施して符号化側へと供給する画像処理装置であって、上記原画像上に存在するオブジェクト部分を含む任意のサイズの矩形領域を切り出す切出手段と、上記切出手段によって切り出された切出画像を上記原画像とは独立に記憶する記憶手段と、上記記憶手段に記憶された複数の切出画像から任意に選択した切出画像において、上記オブジェクト部分の画像領域と、当該画像領域を除く余白部分の画像領域とに分離する分離手段と、上記分離手段により得られた余白部分の画像領域内の画素値を、上記符号化側からの符号化モードの情報に基づいて置換する置換手段とを備えることを特徴とする。
【００１７】
本発明の画像処理方法は、編集側が、複数の原画像から任意に選択した原画像において、当該原画像上に存在するオブジェクトを含む任意のサイズの領域を切り出して符号化側に対して出力し、当該符号化側が、上記編集側からの切出画像を符号化するための画像処理方法であって、上記編集側が、上記切出画像において、上記オブジェクト部分を除く部分領域内の画素値を、上記符号化側からの符号化モードの情報に基づいて置換する編集側置換ステップと、上記編集側が、少なくとも上記置換ステップでの置換処理後の切出画像を、上記符号化側に対して出力する編集側出力ステップとを含むことを特徴とする。
【００１８】
本発明のコンピュータ読み取り可能な記憶媒体は、上記画像処理装置の機能をコンピュータに実現させるための処理プログラムを記憶したことを特徴とする。
【００１９】
本発明のコンピュータ読み取り可能な記憶媒体における他の態様では、上記画像処理方法の処理ステップをコンピュータに実行させるための処理プログラムを記憶したことを特徴とする。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３３】
本発明は、例えば、図１に示すような画像処理装置１００に適用される。
この画像処理装置１００は、原画像から任意の画像領域を切り出し、その切出画像を符号化する機能を有し、上記図１に示すように、原画像から任意の画像領域を切り出す画像編集処理部１００（１）と、画像編集処理部１００（１）にて得られた切出画像を符号化（予測符号化等）して出力する符号化処理部１００（２）とを備えている。
【００３４】
画像編集処理部１００（１）は、入力された原画像を記憶するフレームメモリ１０１と、フレームメモリ１０１に記憶された原画像から任意の画像領域を切り出す画像切出処理部１０２と、画像切出処理部１０２にて得られた切出画像に対して任意の画像処理を施す画像処理部１０４とを備えている。
【００３５】
画像処理部１０４は、複数の画像処理機能（エフェクト）１，２，３，・・・，ｎを有し、これらのエフェクト１，２，３，・・・，ｎの何れかにより、画像切出処理部１０２からの切出画像に対して画像処理を施す。
【００３６】
このため、画像編集処理部１００（１）は、画像処理部１０４のエフェクト１，２，３，・・・，ｎの何れかを選択して画像切出処理部１０２から出力される切出画像を与えるためのセレクタスイッチ１０３と、セレクタスイッチ１０３によって切出画像が与えられたエフェクトｘの出力を後段の処理部へ与えるためのセレクタスイッチ１０５とを備えている。
また、画像編集処理部１００（１）は、セレクタスイッチ１０３及び１０５での切換動作を含む、画像編集処理部１００（１）全体の動作制御を司るコントローラを備えている。
【００３７】
本実施の形態では特に、画像編集処理部１００（１）は、上記処理部１０１〜１０６に加えて、さらに、符号化前処理部１０７及びフレームメモリ１０８を備えた構成としている。
【００３８】
符号化前処理部１０７は、詳細は後述するが、主に、次のような処理を実行する。
処理１．切出画像を構成する対象画像（任意の形状をしたオブジェクト）の部分と、当該対象画像の部分を除く背景画像（矩形領域全体）の部分との境界情報を与える形状情報の生成処理。
処理２．任意の演算式により画素値を算出し、当該画素値で切出画像の背景画像部分の画素を置換するパディング処理。
【００３９】
フレームメモリ１０８は、符号化前処理部１０７での処理後の切出画像等を一旦記憶するためのメモリである。
【００４０】
一方、符号化処理部１００（２）は、画像編集処理部１００（１）からの切出画像等を記憶するバッファ１１４と、バッファ１１４に記憶された切出画像に対してマクロブロック単位で符号化モードを判定する符号化モード判定部１０９と、画像編集処理部１００（１）の符号化前処理部１０７でのパディング処理と同様の処理を実行するパディング処理部１１１と、パディング処理部１１１での処理後の切出画像を圧縮／符号化する圧縮処理部１１３と、符号化モード判定部１０９での判定結果等に基づき符号化処理部１００（２）全体の動作制御を司る符号化コントローラ１１５とを備えている。
【００４１】
本実施の形態では特に、符号化処理部１００（２）は、上記処理部１０９，１１１，１１３〜１１５に加えて、さらに、セレクタスイッチ１１０及び１１２を備えた構成としている。
【００４２】
セレクタスイッチ１１０及び１１２での切換動作は、符号化コントローラ１１５によって制御される。
セレクタスイッチ１１０は、バッファ１１４から出力される切出画像を、パディング処理部１１１を介してセレクタスイッチ１１２へ与える、又は直接セレクタスイッチ１１２へ与えるためのスイッチである。
セレクタスイッチ１１２は、パディング処理部１１１を介した切出画像、またはセレクタスイッチ１１０から直接与えられた切出画像を後段の処理部へ与えるためのスイッチである。
【００４３】
ここで、画像処理装置１００でのパディング処理について説明する。
パディング処理は、圧縮／符号化処理において、切出画像の背景部分を平坦化することにより、当該背景部分に割かれる符号量を削減し、切出画像の対象画像（オブジェクト）部分への符号量配分を増大させることを主な目的とした処理である。
【００４４】
例えば、図２（ａ）に示すような原画像２００から、同図（ｂ）に示すような、切出対象画像ＶＯＰを含む切出画像２１０を取得する場合、マクロブロックＭ（８×８×４画素）を最小単位として、対象画像ＶＯＰ（オブジェクト）の全てを含む最小面積の画像領域（斜線部）を、切出画像２１０を取得する。
ここでは、切出画像２１０において、対象画像ＶＯＰを除く部分を背景部分の画像と定義する。
【００４５】
上記図２（ｂ）に示すような切出画像２１０に対してパディング処理を行う場合、先ず、切出画像２１０を、対象画像ＶＯＰと、その背景画像とに分離する。
そして、背景画像の部分に存在する各画素の値を、任意の演算式によって求めた画素値、又は予め指定された画素値で一律置換する。
【００４６】
このとき、例えば、背景画像の部分において、垂直方向と水平方向で独立に、置換する画素値（パディング用画素値）を任意の演算式によって求めるが、上記図２（ｃ）に示すように、背景画像の部分を水平（又は垂直）方向に見たとき、対象画像ＶＯＰで挟まれる部分Ｓに関しては、他の部分のパディング用画素値を求めるのに使用した演算式とは異なる演算式によって求めたパディング用画素値で置換する。
【００４７】
以下、上述のような本実施の形態における画像処理装置１００の動作について具体的に説明する。
【００４８】
画像編集処理部１００（１）は、例えば、図３に示すようなフローチャートに従って動作する。
【００４９】
ステップＳ３０１：
先ず、入力された原画像は、フレームメモリ１０１に一旦記憶（保持）される。
フレームメモリ１０１に記憶された原画像は、コントローラ１０６の制御によって適宜読み出される。
【００５０】
コントローラ１０６は、上述したように、画像編集処理部１００（１）全体の動作制御を司るものであるが、例えば、当該動作制御を、ＰＣやＥＷＳをプラットホームとするディジタル画像編集機能によって実施するようになされている。
【００５１】
このようなコントローラ１０６の制御によりフレームメモリ１０１から読み出された原画像（ディジタル画像）は、画像切出処理部１０２ヘ供給される。
これと同時にコントローラ１０６は、画像切出処理部１０２に対して、当該原画像から切り出す領域（原画像内の任意の一部分領域）を指定する。
【００５２】
画像切出処理部１０２は、フレームメモリ１０１からの原画像から、コントローラ１０６によって指定された領域部分を切り出し、その切出画像をセレクタスイッチ１０３、画像処理部１０４、及びセレクタスイッチ１０５を介して、符号化前処理部１０７へ供給する。
【００５３】
このとき、セレクタスイッチ１０３及び１０５は、画像切出部１０２から出力された切出画像が、画像処理部１０４が有する複数の画像処理機能（エフェクト）１，２，３，・・・，ｎの中の該当するエフェクトにて画像処理されて、符号化前処理部１０７へ供給されるように、コントローラ１０６から制御されている。
【００５４】
ステップＳ３０２〜Ｓ３０７：
符号化前処理部１０７は、セレクタスイッチ１０５から出力された切出画像（編集済み画像）に対して、次のような処理を実行する。
処理１．切出画像を構成する対象画像（任意の形状をしたオブジェクト）の部分と、当該対象画像の部分を除く背景画像（矩形領域全体）の部分との境界を取得する処理。
処理２．上記処理１にて得られた境界情報から、オブジェクト部分と背景画像部分を認識するための形状情報を生成する処理。
処理３．符号化処理部１００（２）の符号化コントローラ１１５からフィードバックされる現状の符号化モード情報に対応する演算式を選定し（ステップＳ３０２）、パディング処理に用いる画素値（パディング用画素値）を取得するための演算処理（ステップＳ３０３〜Ｓ３０５）。
処理４．上記処理３にて得られたパディング用画素値で、切出画像の背景画像部分の画素を置換するパディング処理（ステップＳ３０６）。
処理５．上記処理２にて得られた形状情報、上記処理４でのパディング処理後の切出画像、及び上記処理３においてパディング用画素値を求める際に使用した符号化モード情報をフレームメモリ１０８に記憶する処理（ステップＳ３０７）。
【００５５】
ステップＳ３０８：
フレームメモリ１０８に記憶された各種情報は、コントローラ１０６の制御により適宜読み出されて、符号化処理部１００（２）へ供給される。
【００５６】
符号化処理部１００（２）は、例えば、図４に示すようなフローチャートに従って動作する。
【００５７】
ステップＳ４０１：
画像編集処理部１００（１）からの各種情報（形状情報、パディング処理後の切出画像、当該パディング処理でのパディング用画素値を求める際に使用した符号化モード情報）は、バッファ１１４に記憶される。
そして、符号化コントローラ１１５の制御によって、バッファ１１４に記憶された切出画像及び形状情報は、セレクタスイッチ１１０へ供給され、バッファ１１４に記憶された符号化モード情報は、符号化コントローラ１１５へ供給される。
【００５８】
符号化コントローラ１１５は、上述したように、符号化処理部１００（２）全体の動作制御を司るものであるが、特に、バッファ１１４の空き容量や、符号化モード判定等の情報を管理し、当該管理情報に基づいて、圧縮処理部１１３での圧縮率や符号化モードの制御等を行う。
このような符号化コントローラ１１５によって、符号化処理部１００（２）を構成する各処理部は、それぞれが破錠しないように動作する。
【００５９】
このとき、符号化モード判定部１０９は、符号化コントローラ１１５から提供される情報と、任意に設定された閾値とを比較することで、符号化効率が最大となる符号化モード（Ｉ（インドラ）モード、Ｐ，Ｂ（インター）モード）を判定する。
【００６０】
ステップＳ４０２：
符号化コントローラ１１５は、符号化モード判定部１０９での判定結果と、バッファ１１４からの符号化モード情報とを比較し、それらが一致したか否かを判別する。
この判別の結果、一致した場合には、そのまま後述するステップＳ４０５へと進み、一致しない場合には、次のステップＳ４０３及びＳ４０４を介してステップＳ４０５へと進む。
【００６１】
ステップＳ４０３：
ステップＳ４０３での判別の結果、符号化モード判定部１０９での判定結果と、バッファ１１４からの符号化モード情報とが一致しなかった場合、符号化コントローラ１１５は、セレクタスイッチ１１０の切換動作を制御することで、バッファ１１４から出力される切出画像及び形状情報がパディング処理部１１１へ供給されるようにする。また、符号化コントローラ１１５は、符号化モード判定部１０９での判定結果をもパディング処理部１１１へ供給されるようにする。
【００６２】
ステップＳ４０４：
パディング処理部１１１は、符号化モード判定部１０９での判定結果（現在の符号化モード）に適合したパディング用画素値を取得し、当該パディング用画素値を用いたパディング処理を、バッファ１１４からセレクタスイッチ１１０を介して供給された切出画像に対して実行する。
このとき、切出画像におけるオブジェクト部分と背景画像部分を認識するための形状情報としては、バッファ１１４からセレクタスイッチ１１０を介して供給された形状情報を用いるようにする。すなわち、当該形状情報を取得するための処理を実行する必要はない。
【００６３】
ステップＳ４０４にて得られたパディング処理後の切出画像は、その形状情報と共に、セレクタスイッチ１１２を介して圧縮処理部１１３へ供給される。
このときのセレクタスイッチ１１２の切換動作は、符号化コントローラ１１５によって制御される。
【００６４】
一方、ステップＳ４０３での判別の結果、符号化モード判定部１０９での判定結果と、バッファ１１４からの符号化モード情報とが一致した場合、符号化コントローラ１１５は、セレクタスイッチ１１０及び１１２の切換動作を制御することで、バッファ１１４から出力される切出画像及び形状情報がそのまま圧縮処理部１１３へ供給されるようにする。
【００６５】
ステップＳ４０５：
符号化コントローラ１１５は、符号化モード判定部１０９での判定結果に基づいて、圧縮処理部１１３での圧縮率等を制御する。
【００６６】
圧縮処理部１１３は、符号化コントローラ１１５からの制御に従って、セレクタスイッチ１１２からの切出画像及び形状情報を、所定の圧縮／符号化方式に従って圧縮／符号化処理し、ビットストリームとして出力する。
【００６７】
尚、本発明の目的は、上述した実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が本実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、本実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００６８】
【発明の効果】
以上説明したように本発明では、切出画像において、オブジェクト部分を除いた部分の画像領域（背景領域等）内の画素値を任意の画素値で置換する処理を、編集の時点、すなわち原画像からの任意の領域の切り出し処理時に、当該切出処理に引き続き実行するように構成したので、上記置換処理の負荷を編集側に分散させることができる。また、複数回利用される切出画像に対する置換処理の冗長性を低減することができる。
【００６９】
また、符号化側から得られる過去の符号化モードに関する情報を編集側へフィードバックするように構成した場合、上記置換処理に用いる置換データを、符号化側からの過去の符号化モードに関する情報に基づき取得することができ、編集側にてある程度符号化モードを予測して予め、上記置換処理を実行することもできる。
【００７０】
よって、本発明によれば、効率的な画像処理を行うことができ、装置或いはシステム全体の処理速度の高速化を図ることができる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置でのパディング処理を説明するための図である。
【図３】上記画像処理装置の画像編集処理部の動作を説明するためのフローチャートである。
【図４】上記画像処理装置の符号化処理部の動作を説明するためのフローチャートである。
【図５】従来の画像処理装置の構成を示すブロック図である。
【図６】上記画像処理装置の符号化処理部の動作を説明するためのフローチャートである。
【符号の説明】
１００  画像処理装置
１００（１）  画像編集処理部
１００（２）  符号化処理部
１０１  フレームメモリ
１０２  画像切出処理部
１０３，１０５  セレクタスイッチ
１０４  画像処理部
１０６  コントローラ
１０７  符号化前処理部
１０８  フレームメモリ
１０９  符号化モード判定部
１１０，１１２  セレクタスイッチ
１１１  パディング処理部
１１３  圧縮処理部
１１４  バッファ
１１５  符号化コントローラ
【図１】
0004174157.tif 000002
【図２】
0004174157.tif 000003
【図３】
0004174157.tif 000004
【図４】
0004174157.tif 000005
【図５】
0004174157.tif 000006
【図６】
0004174157.tif 000007