(57)【特許請求の範囲】
【請求項１】
動画像中から背景を利用するフレームを指定するフレーム指定処理部と、
指定されたフレームの画像から背景領域を指定する背景領域指定部と、
指定された背景領域から全体の背景を合成して背景データを出力する背景合成部と、
合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定して非背景領域データを出力する非背景領域設定部とを備え、
該背景データ及び該非背景領域データは、背景オブジェクト画像を構成することを特徴とする、画像処理装置。
【請求項２】
背景オブジェクト画像のうち、背景の画像中に背景が存在しない領域に対しては非背景領域フラグが設定された非背景領域データに基づいて、背景中の非背景領域を認識して非背景領域情報を求める非背景領域認識部と、
該非背景領域認識部により認識された非背景領域情報と、該背景オブジェクト画像と合成する動画像オブジェクト画像の動画像データ内の位置情報とに基づいて、背景の穴を覆い隠すことのできる物体の位置を算出して、位置情報を決定する合成位置自動決定部と、
該合成位置自動決定部により決定された位置情報に従って、背景オブジェクト画像の背景データと、動画像オブジェクト画像の動画像データとを１つの合成画像に合成する画像合成部とを備えたことを特徴とする、画像処理装置。
【請求項３】
コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、
該コンピュータプログラムは、
コンピュータに、動画像中から背景を利用するフレームを指定させ、
コンピュータに、指定されたフレームの画像から背景領域を指定させ、
コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、
コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、
該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【請求項４】
コンピュータに、合成画像を作成させるコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、
該コンピュータプログラムは、
コンピュータに、背景オブジェクト画像のうち、背景の画像中に背景が存在しない領域に対しては非背景領域フラグが設定された非背景領域データに基づいて、背景中の非背景領域を認識させて非背景領域情報を求めさせ、
コンピュータに、認識された非背景領域情報と、該背景オブジェクト画像と合成する動画像オブジェクト画像の動画像データ内の位置情報とに基づいて、背景の穴を覆い隠すことのできる物体の位置を算出させて、位置情報を決定させ、
コンピュータに、決定された位置情報に従って、背景オブジェクト画像の背景データと、動画像オブジェクト画像の動画像データとを１つの合成画像に合成させることを特徴とする、コンピュータ読み取り可能な記憶媒体。
【請求項５】
コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、
該コンピュータプログラムは、
コンピュータに、背景を利用する複数の画像を指定させ、
コンピュータに、指定された複数の画像から背景領域を指定させ、
コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、
コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、
該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【請求項６】
コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムであって、
コンピュータに、動画像中から背景を利用するフレームを指定させ、
コンピュータに、指定されたフレームの画像から背景領域を指定させ、
コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、
コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、
該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とする、コンピュータプログラム。
【請求項７】
コンピュータに、合成画像を作成させるコンピュータプログラムであって、
コンピュータに、背景オブジェクト画像のうち、背景の画像中に背景が存在しない領域に対しては非背景領域フラグが設定された非背景領域データに基づいて、背景中の非背景領域を認識させて非背景領域情報を求めさせ、
コンピュータに、認識された非背景領域情報と、該背景オブジェクト画像と合成する動画像オブジェクト画像の動画像データ内の位置情報とに基づいて、背景の穴を覆い隠すことのできる物体の位置を算出させて、位置情報を決定させ、
コンピュータに、決定された位置情報に従って、背景オブジェクト画像の背景データと、動画像オブジェクト画像の動画像データとを１つの合成画像に合成させることを特徴とする、コンピュータプログラム。
【請求項８】
コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムであって、
コンピュータに、背景を利用する複数の画像を指定させ、
コンピュータに、指定された複数の画像から背景領域を指定させ、
コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、
コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、
該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とする、コンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、記憶媒体及びコンピュータプログラムに関し、特に背景画像を動画像から作成して他の画像と合成する画像処理装置、コンピュータにこのような画像の合成を行わせるコンピュータプログラム、及びこのようなコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体に関する。
【０００２】
近年、動画像に関する情報処理技術の進歩に伴い、動画像中の物体及び背景を夫々個別のオブジェクト画像として扱う技術が注目されている。ＩＳＯにおいて標準化作業が進められている動画像圧縮符号化の国際標準であるＭＰＥＧ−４では、個々の動画オブジェクト画像を合成して１つのシーンを生成するといったオブジェクト化画像に関する技術が検討されている。
【０００３】
こうした中で、動画像中から指定した物体のみを抜き出してオブジェクト画像化する技術について、様々な研究がなされている。又、画像の背景についても同様に、画像から物体を取り除いた背景画像のみを背景オブジェクト画像として扱うことが行われている。このようにして作成された背景オブジェクト画像を、別の動画像オブジェクト画像と合成することで、新たな動画像を作成することができる。
【０００４】
【従来の技術】
背景が静止している動画像からの背景オブジェクト画像の作成方法としては、各フレームの物体の映っていない領域を重ね合わせて１枚の背景画像を合成する方法が知られている。この方法では、背景が静止している場合は、動画像を見ながら各フレームの背景領域を指定して寄せ集めることで、１枚の静止画像で構成される背景オブジェクト画像を得ることができる。
【０００５】
又、背景が移動している動画像から背景オブジェクト画像を作成する方法としては、例えば特開平９−１３０８０３号公報にて提案されている方法がある。この提案方法では、背景領域の動きベクトルを利用して、背景の無い部分の背景を推定することで、背景画像を合成する。
【０００６】
他方、例えば特開平６−３３８１３６号公報では、背景領域の動きを検出して、背景の動きが領域毎に異なる場合でも、大きなゆがみの無い背景画像を合成する方法が提案されている。
【０００７】
更に、例えば特開平８−３０５８３０号公報では、背景画像と物体画像とを合成する際に、背景画像を元の画像の一部としてとらえ、画像合成時に背景画像の存在しない領域を隠すように物体画像を合成する方法が提案されている。この提案方法では、元々の動画像を構造化して、その動画像と対応する構造化データ及び合成表示したい画像の情報に基づいて、背景領域に穴の無い状態で背景画像と物体画像を合成する。
【０００８】
【発明が解決しようとする課題】
しかし、上記の如き従来の画像処理方法では、次のような問題があった。
【０００９】
背景オブジェクト画像を作成する方法では、背景オブジェクト画像を作成できる条件として、背景領域が全て見えていることが前提であった。即ち、動画像中の物体画像が常に背景のある領域を隠す位置にあるような、背景を完全に作成できないような場合には、背景オブジェクト画像としての条件から外れてしまうので、不完全な背景オブジェクト画像しか得られない。このような不完全な背景オブジェクト画像に対しては、背景の無い穴の部分を埋めるようにユーザが手動で背景を描いたり、穴の部分の近くの画素から穴の部分の画素を推定することで、見た目に穴の無い完全な背景オブジェクト画像を作成する必要がある。ところが、手動で穴の部分の背景を描くには、時間と手間がかかり、ユーザへの負担が増大してしまう。又、穴の部分の背景はユーザにより人工的に作成されるので、画像のオリジナリティが失われてしまう。他方、穴の部分の画素を推定するには、複雑で時間のかかる演算処理を行う必要があり、画像処理装置内のプロセッサへの負荷が増大してしまう。
【００１０】
これに対し、背景の無い穴の部分を埋めるのに、例えば特開平８−３０５８３０号公報に提案されている方法を用いることもできるが、この提案方法では、背景を元の画像の一部とみなしているので、背景のみを分離することができない。従って、背景のみが部品として必要な場合であっても、背景を含む元の画像全てが１つの部品として取り出されてしまい、画像処理の効率が悪くなってしまう。
このように、従来の画像処理方法では、部分的に背景が見えない領域がある動画像についても、動画像中から背景オブジェクト画像を生成して、背景オブジェクト画像を独立した画像部品として画像処理を行うことができないという問題があった。
【００１１】
そこで、本発明は、部分的に背景が見えない領域がある動画像についても、動画像中から背景オブジェクト画像を生成して、背景オブジェクト画像を独立した画像部品として画像処理を行うことのできる画像処理装置、記憶媒体及びコンピュータプログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記課題は、動画像中から背景を利用するフレームを指定するフレーム指定処理部と、指定されたフレームの画像から背景領域を指定する背景領域指定部と指定された背景領域から全体の背景を合成して背景データを出力する背景合成部と、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定して非背景領域データを出力する非背景領域設定部とを備え、該背景データ及び該非背景領域データは、背景オブジェクト画像を構成することを特徴とする画像処理装置により達成できる。
【００１３】
上記の課題は、背景オブジェクト画像のうち、背景の画像中に背景が存在しない領域に対しては非背景領域フラグが設定された非背景領域データに基づいて、背景中の非背景領域を認識して非背景領域情報を求める非背景領域認識部と、該非背景領域認識部により認識された非背景領域情報と、該背景オブジェクト画像と合成する動画像オブジェクト画像の動画像データ内の位置情報とに基づいて、背景の穴を覆い隠すことのできる物体の位置を算出して、位置情報を決定する合成位置自動決定部と、該合成位置自動決定部により決定された位置情報に従って、背景オブジェクト画像の背景データと、動画像オブジェクト画像の動画像データとを１つの合成画像に合成する画像合成部とを備えたことを特徴とする画像処理装置によっても達成できる。
【００１４】
上記の課題は、背景を利用する複数の画像を指定する画像指定処理部と、指定された複数の画像から背景領域を指定する背景領域指定部と、指定された背景領域から全体の背景を合成して背景データを出力する背景合成部と、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定して非背景領域データを出力する非背景領域設定部とを備え、該背景データ及び該非背景領域データは、背景オブジェクト画像を構成することを特徴とする画像処理装置によっても達成できる。
【００１５】
上記の課題は、コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、該コンピュータプログラムは、コンピュータに、動画像中から背景を利用するフレームを指定させ、コンピュータに、指定されたフレームの画像から背景領域を指定させ、コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とするコンピュータ読み取り可能な記憶媒体によっても達成できる。
【００１６】
上記の課題は、コンピュータに、合成画像を作成させるコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、該コンピュータプログラムは、コンピュータに、背景オブジェクト画像のうち、背景の画像中に背景が存在しない領域に対しては非背景領域フラグが設定された非背景領域データに基づいて、背景中の非背景領域を認識させて非背景領域情報を求めさせ、コンピュータに、認識された非背景領域情報と、該背景オブジェクト画像と合成する動画像オブジェクト画像の動画像データ内の位置情報とに基づいて、背景の穴を覆い隠すことのできる物体の位置を算出させて、位置情報を決定させ、コンピュータに、決定された位置情報に従って、背景オブジェクト画像の背景データと、動画像オブジェクト画像の動画像データとを１つの合成画像に合成させることを特徴とするコンピュータ読み取り可能な記憶媒体によっても達成できる。
【００１７】
上記の課題は、コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、該コンピュータプログラムは、コンピュータに、背景を利用する複数の画像を指定させ、コンピュータに、指定された複数の画像から背景領域を指定させ、コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とするコンピュータ読み取り可能な記憶媒体によっても達成できる。
【００１８】
上記の課題は、コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムであって、コンピュータに、動画像中から背景を利用するフレームを指定させ、コンピュータに、指定されたフレームの画像から背景領域を指定させ、コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とするコンピュータプログラムによっても達成できる。
【００１９】
上記の課題は、コンピュータに、合成画像を作成させるコンピュータプログラムであって、コンピュータに、背景オブジェクト画像のうち、背景の画像中に背景が存在しない領域に対しては非背景領域フラグが設定された非背景領域データに基づいて、背景中の非背景領域を認識させて非背景領域情報を求めさせ、コンピュータに、認識された非背景領域情報と、該背景オブジェクト画像と合成する動画像オブジェクト画像の動画像データ内の位置情報とに基づいて、背景の穴を覆い隠すことのできる物体の位置を算出させて、位置情報を決定させ、コンピュータに、決定された位置情報に従って、背景オブジェクト画像の背景データと、動画像オブジェクト画像の動画像データとを１つの合成画像に合成させることを特徴とするコンピュータプログラムによっても達成できる。
【００２０】
上記の課題は、コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムであって、コンピュータに、背景を利用する複数の画像を指定させ、コンピュータに、指定された複数の画像から背景領域を指定させ、コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とするコンピュータプログラムによっても達成できる。
【００２１】
従って、本発明によれば、部分的に背景が見えない領域がある動画像についても、動画像中から背景オブジェクト画像を生成して、背景オブジェクト画像を独立した画像部品として画像処理を行うことが可能となる。
【００２２】
又、上記の如き背景オブジェクト画像と動画像オブジェクト画像を合成する際に、背景の無い部分を覆い隠すように物体を自動的に配置することで、背景に穴の無い合成動画像を簡単に作成することが可能となる。
【００２３】
【発明の実施の形態】
本発明では、背景オブジェクト画像を作成する際に、背景が存在しない部分があると、背景の存在しない領域に対応する非背景領域フラグを設定したデータを同時に作成する。これにより、画像合成時に非背景領域フラグを読むことで、背景の存在しない領域を簡単に認識することができる。又、物体画像のサイズ等の領域データと、背景の無い領域のデータとから、どこに物体画像を配置すれば背景の穴が見えなくなるかを自動的に計算する。これにより、背景の存在しない領域を含む背景画像についても、通常の背景画像と同程度の部品化を行うことができる。
【００２４】
他方、背景画像が動いている場合には、上記と同様にして各フレーム毎に非背景領域フラグを設定したデータを作成して、背景オブジェクト画像として利用することができる。この場合、背景オブジェクト画像は動画形式になるが、背景の重なっている部分を繋げて背景を表す１枚の静止画を構成することもできる。これにより、背景が動いている場合には、背景オブジェクト画像を動画としても、１枚の静止画としても使用することができ、背景オブジェクト画像の部品としての利用価値を高めることができる。
【００２５】
本発明になる画像処理装置、記憶媒体及びコンピュータプログラムの各実施例を、以下に図面と共に説明する。
【００２６】
【実施例】
先ず、本発明になる画像処理装置の第１実施例を説明する。画像処理装置の第１実施例は、本発明になるコンピュータプログラムの第１実施例及び本発明になるコンピュータ読み取り可能な記憶媒体の第１実施例を用いる。第１実施例では、本発明がコンピュータシステムに適用されている。図１は、第１実施例において本発明が適用されるコンピュータシステムを示す斜視図である。
【００２７】
図１に示すコンピュータシステム１００は、大略ＣＰＵやディスクドライブ等を内臓した本体部１０１、本体部１０１からの指示により表示画面１０２ａ上に画像を表示するディスプレイ１０２、コンピュータシステム１００に種々の情報を入力するためのキーボード１０３、ディスプレイの表示画面１０２ａ上の任意の位置を指定するマウス１０４、外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているコンピュータプログラム等をダウンロードするモデム１０５、ＣＣＤカメラ等からなる撮像部１２０、及び音声を再生するスピーカ１２１を有する。
【００２８】
ディスク１１０等の可搬型記録媒体に格納されるか、モデム１０５等の通信装置を使って他のコンピュータシステムの記録媒体１０６からダウンロードされる、コンピュータシステム１００に画像処理機能を持たせるコンピュータプログラム（画像処理ソフトウェア）は、コンピュータシステム１００に入力されて実行される。本発明になる記憶媒体は、本発明になるコンピュータプログラムを格納した、例えばディスク１１０等の記録媒体からなる。本発明になる記憶媒体を構成する記録媒体は、ディスク１１０、ＩＣカードメモリ、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の可搬型記録媒体に限定されるものではなく、モデム１０５やＬＡＮ等の通信装置や通信手段を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。
【００２９】
図２は、コンピュータシステム１００の本体部１０１内の要部の構成を説明するブロック図である。同図中、本体部１０１は、大略バス２００により接続されたＣＰＵ２０１、ＲＡＭやＲＯＭ等からなるメモリ部２０２、ディスク１１０用のディスクドライブ２０３及びハードディスクドライブ２０４からなる。本実施例では、ディスプレイ１０２、キーボード１０３、マウス１０４、撮像部１２０等は、図示の如くバス２００を介してＣＰＵ２０１に接続されているが、直接ＣＰＵ２０１に接続されていても良い。又、ディスプレイ１０２及び撮像部１２０は、入出力画像データの処理を行う周知のグラフィックインタフェース（図示せず）を介してＣＰＵ２０１に接続されていても良い。
【００３０】
尚、コンピュータシステム１００の構成は図１及び図２に示す構成に限定されるものではなく、代わりに各種周知の構成を使用しても良い。
【００３１】
図３は、第１実施例におけるＣＰＵ２０１の処理を説明するための図である。同図中、ユーザ入力１及び入力データ２を入力され、背景画像作成処理を行って出力データ４を出力する処理部３は、ＣＰＵ２０１により実現される。処理部３は、フレーム指定処理部３１、背景領域指定部３２、全体移動情報算出部３３、背景合成部３４及び非背景領域設定部３５からなる。同図では、処理部３の構成は、機能的に示してある。
【００３２】
ユーザ入力１は、キーボード１０３、マウス１０４等の入力デバイスからユーザにより入力され、フレーム指定処理部３１に供給される。入力データ２は、背景を作成するための元となる動画像データ２−１を含み、メモリ部２０２、ディスクドライブ２０３又はハードディスクドライブ２０４から入力されるか、或いは、他のコンピュータシステムからモデム１０５を介して入力される。入力データ２は、背景領域指定部３２及び全体移動情報算出部３３に供給される。他方、出力データ４は、背景合成部３４から出力される背景データ４−１と、非背景領域設定部３５から出力される非背景領域データ４−２を含む。本実施例では、説明の便宜上、入力データ２及び出力データ４は、夫々ディスプレイ１０２に供給されて表示画面１０２ａ上に表示されるものとする。
【００３３】
（１−１）背景画像の作成
図３において、フレーム指定処理部３１は、表示画面１０２ａ上に表示されている入力データ２の動画像データ２−１中の各フレーム画像から、入力デバイスからのユーザ入力１に基づいて背景として選択される画像を含むフレームを指定する。フレーム指定処理部３１は、このようにして指定されたフレームのフレーム番号を、例えばメモリ部２０２に格納する。
【００３４】
背景領域指定部３２は、フレーム指定処理部３１により指定されたフレーム番号に対応するフレーム画像を、入力データ２の動画像データ２−１から取得して例えばメモリ部２０２に格納する。又、背景領域指定部３２は、格納されたフレーム画像データから、背景として設定したい領域をユーザ入力１に基づいて指定し、背景領域情報として例えばメモリ部２０２に格納する。本実施例では、説明の便宜上、背景領域の指定は、ユーザが表示された画像データを見ながら直接入力デバイスを用いて指定するものとするが、周知の画像認識技術を用いて自動的に指定するようにしても良い。
【００３５】
全体移動情報算出部３３は、入力データの動画像データ２−１から、各フレーム間における背景領域の動きを算出し、移動情報として例えばメモリ部２０２に格納する。背景領域の動きの算出は、各種周知の方法により行え、例えば画像をブロック単位に分割して各ブロックがフレーム間でどこに移動するかを探すことでも算出できる。これにより、動画撮像時にカメラが移動しているために、背景画像が移動したり、変形したりする動画像に対しても、背景画像を良好に作成することができる。
【００３６】
背景合成部３４は、背景領域指定部３２により指定された背景領域情報と、全体移動情報算出部３３により算出された移動情報とに基づいて、全体の背景を合成し、背景データ４−１として出力する。又、背景合成部３４は、背景画像の重なり部分を繋げて、１枚の静止画を合成するようにしても良い。
【００３７】
非背景領域設定部３５は、背景合成部３４で合成された背景画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定した非背景領域データ４−２を作成して出力する。
【００３８】
（１−２）出力データのデータ構造
図４は、処理部３から出力される出力データ４のデータ構造を示す図である。同図に示すように、出力データ４は、Ｎを１以上の整数とすると、Ｎ枚の背景Ｂ１〜ＢＮからなる。背景Ｂ１について示すように、各背景は、背景データの先頭を示すヘッダ部と、実際の背景データ４−１が格納されている背景データ部と、非背景領域データ４−２が格納されている非背景領域データ部とからなる。尚、各背景データ中のデータの順番は、同図に示す順番に限定されるものではない。
【００３９】
背景データ４−１は、各画素毎の生データ値であっても、ＪＰＥＧ等の画像圧縮フォーマットで圧縮されているデータであっても良い。非背景領域データ４−２は、非背景領域に対応する座標点を示すデータ列であり、その形式は特に限定されない。従って、非背景領域データ４−２は、非背景領域の輪郭点の座標のみからなるデータであっても、圧縮されたデータであっても良く、非背景画像領域が特定できるデータであればどのようなデータやデータ形式であっても良い。
【００４０】
（１−３）背景画像作成処理
図５は、本実施例におけるＣＰＵ２０１の処理を説明するフローチャートである。同図中、ステップＳ１はフレーム指定処理部３１、ステップＳ２，Ｓ３は背景領域指定部３２、ステップＳ４，Ｓ５は全体移動情報算出部３３、ステップＳ６は背景合成部３４、ステップＳ７は非背景領域設定部３５の処理に夫々対応している。記憶媒体の第１実施例は、ＣＰＵ２０１に図５に示す処理を行わせるコンピュータプログラムが格納された記録媒体により構成される。
【００４１】
図５において、背景画像作成処理が開始されると、ステップＳ１は、表示画面１０２ａ上に表示されている入力データ２の動画像データ２−１中の各フレーム画像から、背景の作成に十分な数のフレームを取り出し、入力デバイスからのユーザ入力１に基づいて背景として選択される画像を含むフレームを指定する。又、ステップＳ１は、このようにして指定されたフレームのフレーム番号を、例えばメモリ部２０２に格納する。尚、入力データ２は、撮像部１２０により撮像されたものを一旦メモリ部２０２等に格納して読み出すようにしても良い。
【００４２】
ステップＳ２は、指定されたフレーム番号に対応するフレーム画像を、入力データ２の動画像データ２−１から取得して例えばメモリ部２０２に格納する。又、ステップＳ２は、格納されたフレーム画像データから、背景として設定したい領域をユーザ入力１に基づいて指定し、背景領域情報として例えばメモリ部２０２に格納する。背景領域の指定は、ユーザが表示された画像データを見ながら直接入力デバイスを用いて指定しても、周知の画像認識技術を用いて自動的に指定しても良い。ステップＳ３は、入力データの動画像データ２−１から、背景の作成に十分な希望枚数のフレームが指定されたか否かを判定し、判定結果がＮＯであると、処理はステップＳ１へ戻る。
【００４３】
他方、ステップＳ３の判定結果がＹＥＳであると、ステップＳ４は、入力データの動画像データ２−１から、背景が動いているか否かを判定する。ステップＳ４の判定結果がＹＥＳであると、ステップＳ５は、各フレーム間における背景領域の動きを算出し、移動情報として例えばメモリ部２０２に格納する。背景領域の動きの算出は、各種周知の方法により行え、例えば画像をブロック単位に分割して書くブロックがフレーム間でどこに移動するかを探すことでも算出できる。
ステップＳ４の判定結果がＮＯであると、或いは、ステップＳ５の後、ステップＳ６は、指定された背景領域情報と、全体移動情報算出部３３により算出された移動情報とに基づいて、全体の背景を合成し、背景データ４−１として出力する。背景を合成する際に、同じ座標点が複数枚の背景領域に含まれる場合には、その点での背景の画素値の平均値や最頻値、最大値や最小値等を求めて代表値を１つ決定する。又、ステップＳ６は、背景画像の重なり部分を繋げて、１枚の静止画を合成するようにしても良い。
【００４４】
ステップＳ７は、合成された背景画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定した非背景領域データ４−２を作成して出力し、処理は終了する。
【００４５】
このようにして出力された背景データ４−１及び非背景領域データ４−２は、図４と共に説明したデータ構造での形式で例えばメモリ部２０２に格納される。
図６は、本実施例により得られる背景オブジェクト画像を説明する図である。同図では、動画像データ２−１から、救急車２０２を除いた建物２０１だけの背景を作成するものとする。同図に示す背景オブジェクト画像４は、図３に示す出力データ４に対応する。
【００４６】
この場合、先ず動画像データ２−１から、同図中左側に示す如き背景の作成に十分なＮ枚のフレーム２−１１〜２−１Ｎを取り出し、同図中真中に示すようなＮ枚の背景指定画像２−３１〜２−３Ｎを作成する。ここでは、網掛けの領域が背景領域として設定されているものとする。次に、各背景指定画像２−３１〜２−３Ｎで指定された背景を例えばメモリ部２０２に順次格納して行き、重なりのある点については、それらの値の平均値や最頻値、最大値や最小値等を求めて代表値を１つ決定する。この画像の場合、穴２０３の存在のために背景が全て見えていないので、最終的に作成される背景には穴が残る。この穴は、同図中右側に示す、背景データ４−１と非背景領域データ４−２で構成される背景オブジェクト画像４中、黒い領域２０４である。ここでは、穴の領域内に位置する点の値は、黒とされているが、黒以外の色で穴の領域を埋めるようにしたり、他の背景からコピーしてきても良いことは、言うまでもない。
【００４７】
次に、本発明になる画像処理装置の第２実施例を説明する。画像処理装置の第２実施例は、本発明になるコンピュータプログラムの第２実施例及び本発明になるコンピュータ読み取り可能な記憶媒体の第２実施例を用いる。第２実施例でも、本発明がコンピュータシステムに適用されている。第２実施例において本発明が適用されるコンピュータシステムは、上記第１実施例の場合と同様に図１及び図２に示すもので良いため、その図示及び説明は省略する。
【００４８】
図７は、第２実施例におけるＣＰＵ２０１の処理を説明するための図である。同図中、上記第１実施例により作成された背景オブジェクト画像４及び動画像オブジェクト画像１２を入力され、画像合成処理を行って出力合成画像１５を出力する処理部３０は、ＣＰＵ２０１により実現される。処理部３０は、非背景領域認識部３６、合成位置自動決定部３７、画像合成部３８及び合成画像出力部３９からなる。同図では、処理部３０の構成は、機能的に示してある。
【００４９】
背景オブジェクト画像４は、実際の背景画像に関する背景データ４−１と、背景の存在しない領域を示す非背景領域データ４−２とからなり、例えばメモリ部２０２から読み出されて入力される。背景データ４−１は、合成位置自動決定部３７及び画像合成部３８に供給される。又、非背景領域データ４−２は、非背景領域認識部３６に供給される。動画像オブジェクト画像１２は、背景画像と合成したい動画像に関する動画像データ１２−１からなり、例えばメモリ部２０２から読み出されて入力される。動画像データ１２−１は、合成位置自動決定部３７及び画像合成部３８に供給される。出力合成画像１５は、合成結果である合成動画像データ１５−１からなる。本実施例では、説明の便宜上、背景オブジェクト画像４、動画像オブジェクト画像１２及び出力合成画像１５は、夫々ディスプレイ１０２に供給されて表示画面１０２ａ上に表示されるものとする。
【００５０】
（２−１）合成画像の作成
図７において、非背景領域認識部３６は、背景オブジェクト画像４の非背景領域データ４−２に基づいて、背景中の非背景領域を認識し、非背景領域情報として例えばメモリ部２０２に格納する。
【００５１】
合成位置自動決定部３７は、非背景領域認識部３６により認識された非背景領域情報と、動画像オブジェクト画像１２の動画像データ１２−１内の位置情報とに基づいて、背景の穴を覆い隠すことのできる物体の位置を自動的に算出して決定し、位置情報として例えばメモリ部２０２に格納する。
【００５２】
画像合成部３８は、合成位置自動決定部３７により決定された位置情報に従って、背景オブジェクト画像４の背景データ４−１と、動画像オブジェクト画像１２の動画像データ１２−１とを１つの合成画像に合成する。
【００５３】
合成画像出力部３９は、画像合成部３８により合成された合成画像を、合成動画像データ１５−１からなる１つの出力合成画像１５として出力し、ディスプレイ１０２の表示画面１０２ａ上に表示する。
【００５４】
（２−２）画像合成処理
図８は、本実施例におけるＣＰＵ２０１の処理を説明するフローチャートである。同図中、ステップＳ１１は画像合成部３８、ステップＳ１２は非背景領域認識部３６、ステップＳ１３は合成位置自動決定部３７及び画像合成部３８、ステップＳ１４，Ｓ１５は合成位置自動決定部３７、ステップＳ１６は画像合成部３８、ステップＳ１７，Ｓ１８は合成画像出力部３９の処理に夫々対応している。記憶媒体の第２実施例は、ＣＰＵ２０１に図８に示す処理を行わせるコンピュータプログラムが格納された記録媒体により構成される。
【００５５】
図８において、画像合成処理が開始されると、ステップＳ１１は、背景オブジェクト画像４から背景データ４−１を読み込み、ステップＳ１２は、背景オブジェクト画像４から非背景領域データ４−２を読み込む。ステップＳ１３は、背景オブジェクト画像４に合成したい動画像オブジェクト画像１２から動画像データ１２−１を読み込み、ステップＳ１４は、動画像データ１２−１のデータサイズを計算する。読み込まれた背景データ４−１、非背景領域データ４−２及び動画像データ１２−１と、計算された動画像データ１２−１のデータサイズは、例えばメモリ部２０２に格納される。尚、動画像オブジェクト画像１２は、撮像部１２０により撮像されたものを一旦メモリ部２０２等に格納して読み出すようにしても良い。
【００５６】
ステップＳ１５は、非背景領域データ４−２と、動画像データ１２−１のデータサイズから、背景オブジェクト画像４と動画像オブジェクト画像１２の合成時の合成位置を算出して決定する。合成位置は、背景の穴を埋めるように、自動的に決定される。尚、背景が完全なデータからなり、非背景領域データの無い背景オブジェクト画像の場合には、合成位置はどこであっても穴は見えないので、合成位置の算出は省略できる。
【００５７】
合成位置の算出方法としては、各種周知の算出方法を採用し得る。例えば、非背景領域と画像領域の各々の外接矩形を求めて、画像領域の外接矩形が穴領域の外接矩形を常に囲むような合成位置を算出する方法を採用することもできる。又、動画像オブジェクト画像の動く領域を予め求めておき、この動く領域の端を穴の外接矩形の端に合わせて、各フレーム毎に動画像オブジェクト画像の動きによって穴が覆いきれなくなったか否かに応じて合成位置を算出する方法を採用することも可能である。このように、合成位置の算出方法は、非背景領域データと、動画像オブジェクトデータの位置に関するデータとに基づいて合成位置を算出できる方法を採用すれば良い。
【００５８】
尚、背景の穴の方が動画像オブジェクト領域よりも大きいために、穴を覆いきれない場合には、元の動画像オブジェクト画像のサイズはそのままで、できる限り穴を覆う合成位置を求めて覆いきれない穴はそのままにしておく方法や、動画像オブジェクト画像に拡大等の変形処理を施し、穴を完全に覆うようにする方法等を採用することも可能である。
【００５９】
図８の説明に戻ると、ステップＳ１６は、背景オブジェクト画像４と動画像オブジェクト画像１２をステップＳ１５で算出された合成位置に従って合成して出力合成画像１５を生成し、ステップＳ１７は、出力合成画像１５を出力するか否かを判定する。ステップＳ１７の判定結果がＹＥＳであると、ステップＳ１８は、出力合成画像１５をディスプレイ１０２に出力して表示画面１０２ａ上に表示し、処理は終了する。他方、ステップＳ１７の判定結果がＮＯであると、例えば出力合成画像１５をメモリ部２０２等に格納し、処理は終了する。尚、出力合成画像１５に対応する音声データが存在する場合には、周知の方法により出力合成画像１５をディスプレイ１０２の表示画面１０２ａ上に表示すると同時に、スピーカ１２１から音声データを再生すれば良い。
【００６０】
図９は、第２実施例により得られる合成動画像を説明する図である。同図中、図６と同一部分には同一符号を付し、その説明は省略する。同図では、背景オブジェクト画像４及び動画像オブジェクト画像１２から、合成動画像１５−１１〜１５−１Ｍを合成するものとする。又、動画像オブジェクト画像１２は、救急車２０２とは異なる車３０２に関する画像であるものとする。同図に示す合成動画像１５−１１〜１５−１Ｍは、図７に示す出力合成画像１５に対応する。
【００６１】
上記の如く、本実施例では、背景オブジェクト画像４の非背景領域データ４−１から背景の穴２０４の領域を認識する。次に、背景オブジェクト画像４に重ね合わせる車３０２の動画像オブジェクト画像１２のサイズを求め、合成する時に背景の穴２０４の領域を覆い隠すような位置に車３０２の動画像オブジェクト画像１２を配置する。
【００６２】
この配置の算出方法としては、上記の如く、例えば穴の領域（非背景領域）と画像領域の各々の外接矩形を求めて、画像領域の外接矩形が穴領域の外接矩形を常に囲むような合成位置を算出する方法を採用することもできる。又、動画像オブジェクト画像の動く領域を予め求めておき、この動く領域の端を穴の外接矩形の端に合わせて、各フレーム毎に動画像オブジェクト画像の動きによって穴が覆いきれなくなったか否かに応じて合成位置を算出する方法を採用することも可能である。合成位置の算出方法は、非背景領域データと、動画像オブジェクトデータの位置に関するデータとに基づいて合成位置を算出できる方法を採用すれば良い。
【００６３】
図９の場合、動画像オブジェクト画像１２の車３０２のサイズが、背景オブジェクト画像４の非背景領域データ４−２、即ち、穴２０４の領域のサイズよりも大きいので、穴２０４の領域は車３０２により覆い隠すことができる。しかし、背景の穴の方が動画像オブジェクト領域よりも大きいために、穴を覆いきれない場合には、元の動画像オブジェクト画像のサイズはそのままで、できる限り穴を覆う合成位置を求めて覆いきれない穴はそのままにしておく方法や、動画像オブジェクト画像に拡大等の変形処理を施し、穴を完全に覆うようにする方法等を採用することも可能である。このようにして、合成動画像１５には、背景の穴２０４ができるだけ見えないようにすることができる。
【００６４】
図１０は、第２実施例の変形例におけるＣＰＵ２０１の処理を説明するフローチャートである。同図中、図８と同一ステップには同一符号を付し、その説明は省略する。ステップＳ２１，２２は合成位置自動決定部３７の処理に対応している。記憶媒体の第２実施例の変形例は、ＣＰＵ２０１に図１０に示す処理を行わせるコンピュータプログラムが格納された記録媒体により構成される。
【００６５】
図１０において、ステップＳ１４の後、ステップＳ２１は、動画像データ１２−１のデータサイズが、非背景領域データ４−２のデータサイズより大きいか否かを判定し、判定結果がＹＥＳであると、処理はステップＳ１５へ進む。他方、ステップＳ２１の判定結果がＮＯであると、そのままでは画像合成を行えないので、ステップＳ２２は、動画像データ１２−１のデータサイズを非背景領域データ４−２のデータサイズおり大きくなるように拡大し、処理はステップＳ１５へ進む。その他の処理は、上記第２実施例の場合と同様である。
【００６６】
尚、上記第１実施例、第２実施例及びその変形例は、適宜組み合わせた構成としても良い。
【００６７】
又、本発明は、以下に付記する発明をも包含するものである。
【００６８】
（付記１）  動画像中から背景を利用するフレームを指定するフレーム指定処理部と、
指定されたフレームの画像から背景領域を指定する背景領域指定部と、
指定された背景領域から全体の背景を合成して背景データを出力する背景合成部と、
合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定して非背景領域データを出力する非背景領域設定部とを備え、
該背景データ及び該非背景領域データは、背景オブジェクト画像を構成することを特徴とする、画像処理装置。
【００６９】
（付記２）  動画像から各フレーム間における背景領域の動きを算出し、移動情報を求める全体移動情報算出部を更に備え、
前記背景合成部は、前記背景領域を指定する背景領域情報と前記移動情報とに基づいて、全体の背景を合成して背景データとして出力することを特徴とする、（付記１）記載の画像処理装置。
【００７０】
（付記３）  前記背景合成部は、背景画像の重なり部分を繋げて１枚の静止画を合成することを特徴とする、（付記２）記載の画像処理装置。
【００７１】
（付記４）  前記背景オブジェクト画像の非背景領域データに基づいて、背景中の非背景領域を認識して非背景領域情報を求める非背景領域認識部と、
該非背景領域認識部により認識された非背景領域情報と、動画像オブジェクト画像の動画像データ内の位置情報とに基づいて、背景の穴を覆い隠すことのできる物体の位置を算出して、位置情報を決定する合成位置自動決定部と、
該合成位置自動決定部により決定された位置情報に従って、背景オブジェクト画像の背景データと、動画像オブジェクト画像の動画像データとを１つの合成画像に合成する画像合成部とを更に備えたことを特徴とする、（付記１）〜（付記３）のいずれか１項記載の画像処理装置。
【００７２】
（付記５）  背景を利用する複数の画像を指定する画像指定処理部と、
指定された複数の画像から背景領域を指定する背景領域指定部と、
指定された背景領域から全体の背景を合成して背景データを出力する背景合成部と、
合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定して非背景領域データを出力する非背景領域設定部とを備え、
該背景データ及び該非背景領域データは、背景オブジェクト画像を構成することを特徴とする、画像処理装置。
【００７３】
（付記６）  背景オブジェクト画像のうち、背景の画像中に背景が存在しない領域に対しては非背景領域フラグが設定された非背景領域データに基づいて、背景中の非背景領域を認識して非背景領域情報を求める非背景領域認識部と、
該非背景領域認識部により認識された非背景領域情報と、該背景オブジェクト画像と合成する動画像オブジェクト画像の動画像データ内の位置情報とに基づいて、背景の穴を覆い隠すことのできる物体の位置を算出して、位置情報を決定する合成位置自動決定部と、
該合成位置自動決定部により決定された位置情報に従って、背景オブジェクト画像の背景データと、動画像オブジェクト画像の動画像データとを１つの合成画像に合成する画像合成部とを備えたことを特徴とする、画像処理装置。
【００７４】
（付記７）  コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、
該コンピュータプログラムは、
コンピュータに、動画像中から背景を利用するフレームを指定させ、
コンピュータに、指定されたフレームの画像から背景領域を指定させ、
コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、
コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、
該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【００７５】
（付記８）  コンピュータに、合成画像を作成させるコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、
該コンピュータプログラムは、
コンピュータに、背景オブジェクト画像のうち、背景の画像中に背景が存在しない領域に対しては非背景領域フラグが設定された非背景領域データに基づいて、背景中の非背景領域を認識させて非背景領域情報を求めさせ、
コンピュータに、認識された非背景領域情報と、該背景オブジェクト画像と合成する動画像オブジェクト画像の動画像データ内の位置情報とに基づいて、背景の穴を覆い隠すことのできる物体の位置を算出させて、位置情報を決定させ、
コンピュータに、決定された位置情報に従って、背景オブジェクト画像の背景データと、動画像オブジェクト画像の動画像データとを１つの合成画像に合成させることを特徴とする、コンピュータ読み取り可能な記憶媒体。
【００７６】
（付記９）  コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、
該コンピュータプログラムは、
コンピュータに、背景を利用する複数の画像を指定させ、
コンピュータに、指定された複数の画像から背景領域を指定させ、
コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、
コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、
該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【００７７】
（付記１０）  コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムであって、
コンピュータに、動画像中から背景を利用するフレームを指定させ、
コンピュータに、指定されたフレームの画像から背景領域を指定させ、
コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、
コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、
該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とする、コンピュータプログラム。
【００７８】
（付記１１）  コンピュータに、合成画像を作成させるコンピュータプログラムであって、
コンピュータに、背景オブジェクト画像のうち、背景の画像中に背景が存在しない領域に対しては非背景領域フラグが設定された非背景領域データに基づいて、背景中の非背景領域を認識させて非背景領域情報を求めさせ、
コンピュータに、認識された非背景領域情報と、該背景オブジェクト画像と合成する動画像オブジェクト画像の動画像データ内の位置情報とに基づいて、背景の穴を覆い隠すことのできる物体の位置を算出させて、位置情報を決定させ、
コンピュータに、決定された位置情報に従って、背景オブジェクト画像の背景データと、動画像オブジェクト画像の動画像データとを１つの合成画像に合成させることを特徴とする、コンピュータプログラム。
【００７９】
（付記１２）  コンピュータに、背景オブジェクト画像を作成させるコンピュータプログラムであって、
コンピュータに、背景を利用する複数の画像を指定させ、
コンピュータに、指定された複数の画像から背景領域を指定させ、
コンピュータに、指定された背景領域から全体の背景を合成して背景データを出力させ、
コンピュータに、合成された背景の画像中に背景が存在しない領域があると、その領域に背景が存在しないことを示す非背景領域フラグを設定させて非背景領域データを出力させ、
該背景データ及び該非背景領域データは、前記背景オブジェクト画像を構成することを特徴とする、コンピュータプログラム。
【００８０】
以上、本発明を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは、言うまでもない。
【００８１】
【発明の効果】
本発明によれば、部分的に背景が見えない領域がある動画像についても、動画像中から背景オブジェクト画像を生成して、背景オブジェクト画像を独立した画像部品として画像処理を行うことが可能となる。
【００８２】
又、上記の如き背景オブジェクト画像と動画像オブジェクト画像を合成する際に、背景の無い部分を覆い隠すように物体を自動的に配置することで、背景に穴の無い合成動画像を簡単に作成することが可能となる。
【図面の簡単な説明】
【図１】第１実施例において本発明が適用されるコンピュータシステムを示す斜視図である。
【図２】コンピュータシステムの本体部内の要部の構成を説明するブロック図である。
【図３】第１実施例におけるＣＰＵの処理を説明するための図である。
【図４】背景データのデータ構造を示す図である。
【図５】第１実施例におけるＣＰＵの処理を説明するフローチャートである。
【図６】第１実施例により得られる背景オブジェクト画像を説明する図である。
【図７】第２実施例におけるＣＰＵの処理を説明するための図である。
【図８】第２実施例におけるＣＰＵの処理を説明するためのフローチャートである。
【図９】第２実施例により得られる合成動画像を説明する図である。
【図１０】第２実施例の変形例におけるＣＰＵの処理を説明するための図である。
【符号の説明】
３      処理部
１００      コンピュータシステム
１０２      ディスプレイ
１０３      キーボード
１０４      マウス
１０５      モデム
２０２      メモリ部
【図１】
0004226232.tif 000002
【図２】
0004226232.tif 000003
【図３】
0004226232.tif 000004
【図４】
0004226232.tif 000005
【図５】
0004226232.tif 000006
【図６】
0004226232.tif 000007
【図７】
0004226232.tif 000008
【図８】
0004226232.tif 000009
【図９】
0004226232.tif 000010
【図１０】
0004226232.tif 000011