(57)【特許請求の範囲】
【請求項１】
被写体画像と背景画像とを合成して出力する画像合成装置であって、
被写体を撮影するカメラと、複数組の背景画像を記憶した背景画像記憶手段と、前記各組の背景画像を複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを前記各組の背景画像別に記憶した領域別明度・彩度記憶手段と、
前記背景画像記憶手段に記憶されている背景画像の中から任意の背景画像を選択する背景画像選択手段と、前記カメラにより撮影された被写体画像を、前記背景画像選択手段により選択された背景画像中に合成するための位置、角度、大きさの指標のうち少なくとも位置の指標を指示する指示手段と、
前記指示手段で指示された位置に対応する領域別の明度および彩度のデータを前記領域別明度・彩度記憶手段から読み出し、その明度および彩度のデータにより前記カメラで撮影された被写体画像の明度および彩度を補正し、前記背景画像選択手段で選択された背景画像中の前記指示手段で指示された位置に、所定の角度と大きさまたは前記指示手段で指示された指標に従って合成する画像合成処理手段と、
この画像合成処理手段の合成処理結果を予め定めた出力媒体に出力する出力手段とを備えたことを特徴とする画像合成装置。
【請求項２】
前記背景画像記憶手段に記憶される各組の背景画像は、該背景画像中に存在する背景構成要素を奥行方向の位置に応じて分離した複数の背景画像群から構成されていることを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記指示手段は、被写体画像を合成するための背景画像中の２次元平面位置と奥行方向の位置とを指示するものであることを特徴とする請求項２記載の画像合成装置。
【請求項４】
前記領域別明度・彩度記憶手段は、各組の背景画像を構成する複数の背景画像群のそれぞれを更に複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを記憶したものであることを特徴とする請求項２記載の画像合成装置。
【請求項５】
被写体画像と背景画像とを合成して出力する画像合成方法であって、被写体を撮影するカメラと、複数組の背景画像を記憶した背景画像記憶手段と、前記各組の背景画像を複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを前記各組の背景画像別に記憶した領域別明度・彩度記憶手段と、前記背景画像記憶手段に記憶されている背景画像の中から任意の背景画像を選択する背景画像選択手段と、前記カメラにより撮影された被写体画像を、前記背景画像選択手段により選択された背景画像中に合成するための位置、角度、大きさの指標のうち少なくとも位置の指標を指示する指示手段と、被写体画像と背景画像とを合成する画像合成処理手段と、この画像合成処理手段の合成処理結果を予め定めた出力媒体に出力する出力手段とを備え、前記カメラで撮影された被写体画像を前記背景画像選択手段で選択された背景画像中に前記指示手段で指示された指標に従って前記画像合成処理手段により合成するに際し、前記指示手段で指示された位置に対応する領域別の明度および彩度のデータを前記領域別明度・彩度記憶手段から読み出し、その明度および彩度のデータにより前記カメラで撮影された被写体画像の明度および彩度を補正し、前記背景画像選択手段で選択された背景画像中に前記指示手段で指示された指標に従って合成することを特徴とする画像合成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体のデジタル画像と、別のデジタル画像を合成してシールや葉書き、あるいはフロッピーディスクなどの出力媒体に出力する画像合成方法および装置に関するものである。
【０００２】
【従来の技術】
従来、街頭、店先、ゲームセンタ等に設置されている画像プリント装置では、あらかじめ用意した複数のフレーム画像（ハートマーク、キャラクタや風景画等）の中から利用者が選択したフレーム画像に、カメラ（ディジタルカメラ）で撮影した被写体画像を合成し、プリントアウトして利用者に提供している。
この画像プリント装置を使用する際は、利用者は先ず用意された複数のフレーム画像の中から好みのフレーム画像を選択する。フレーム画像が選択されると、モニタ画面に、選択されたフレーム画像とカメラで撮影された被写体である利用者が同時に写し出される。利用者はモニタ画面を見ながら移動して、フレーム画像中の自分の位置を決定する。位置決定後、被写体が撮影され、被写体画像とフレーム画像が合成されてプリントアウトされる。
特開平１０−１８６４７３号公報に記載のものは、奥行きがあって面白味のある合成画像を作成する為に、複数の異なる前景フレームと背景フレームを用意し、利用者の選択した任意の前景フレーム画像と背景フレーム画像の間に被写体画像を挟み込んで画像合成するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の画像プリント装置では、被写体画像は選択したフレーム画像の前方或いは後方にしか表示できない。また、特開平１０−１８６４７３号公報に記載のものは、用意する前景フレームと背景フレームは異なるパターンの画像である。従って、１枚の背景画の中の任意の奥行の位置に被写体画像を合成することはできないという問題があった。
また、従来の画像プリント装置では、モニタ画像を見ながら被写体である利用者が移動することにより、フレーム画像中の被写体画像の配置を決めていた。
【０００４】
従って、フレーム画像中の被写体画像の位置は限られた範囲でしか移動させることができず、被写体画像の大きさもあらかじめ定められた大きさでしか合成することができなかった。
更に、従来の画像プリント装置では、被写体画像は選択したフレーム画像によらず一定の明度と彩度で合成される。従って、合成された画像では、被写体が背景から浮かび上がったようになり、背景に溶け込んだ自然な合成画像を得ることができなかった。
【０００５】
本発明の目的は、利用者が選択した背景画の中の奥行を含む任意の位置に、利用者の選択に応じた任意の角度や大きさで背景画像に馴染ませて被写体画像を合成することで、自然で面白味のある合成画像が得られる画像合成画像装置および方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明は、被写体を撮影するカメラと、複数組の背景画像を記憶した背景画像記憶手段と、前記各組の背景画像を複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを前記各組の背景画像別に記憶した領域別明度・彩度記憶手段と、前記背景画像記憶手段に記憶されている背景画像の中から任意の背景画像を選択する背景画像選択手段と、前記カメラにより撮影された被写体画像を、前記背景画像選択手段により選択された背景画像中に合成するための位置、角度、大きさの指標のうち少なくとも位置の指標を指示する指示手段と、前記指示手段で指示された位置に対応する領域別の明度および彩度のデータを前記領域別明度・彩度記憶手段から読み出し、その明度および彩度のデータにより前記カメラで撮影された被写体画像の明度および彩度を補正し、前記背景画像選択手段で選択された背景画像中の前記指示手段で指示された位置に、所定の角度と大きさまたは前記指示手段で指示された指標に従って合成する画像合成処理手段と、この画像合成処理手段の合成処理結果を予め定めた出力媒体に出力する出力手段とを備えたことを特徴とする．
【０００７】
また、前記背景画像記憶手段に記憶される各組の背景画像は、該背景画像中に存在する背景構成要素を奥行方向の位置に応じて分離した複数の背景画像群から構成されていることを特徴とする。
【０００８】
また、前記指示手段は、被写体画像を合成するための背景画像中の２次元平面位置と奥行方向の位置とを指示するものであることを特徴とする。
【０００９】
また、前記領域別明度・彩度記憶手段は、各組の背景画像を構成する複数の背景画像群のそれぞれを更に複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを記憶したものであることを特徴とする。
【００１０】
また、本発明の画像合成方法は、被写体を撮影するカメラと、複数組の背景画像を記憶した背景画像記憶手段と、前記各組の背景画像を複数の領域に分割した各分割領域別に、被写体画像との合成のための明度、彩度のデータを前記各組の背景画像別に記憶した領域別明度・彩度記憶手段と、前記背景画像記憶手段に記憶されている背景画像の中から任意の背景画像を選択する背景画像選択手段と、前記カメラにより撮影された被写体画像を、前記背景画像選択手段により選択された背景画像中に合成するための位置、角度、大きさの指標のうち少なくとも位置の指標を指示する指示手段と、被写体画像と背景画像とを合成する画像合成処理手段と、この画像合成処理手段の合成処理結果を予め定めた出力媒体に出力する出力手段とを備え、前記カメラで撮影された被写体画像を前記背景画像選択手段で選択された背景画像中に前記指示手段で指示された指標に従って前記画像合成処理手段により合成するに際し、前記指示手段で指示された位置に対応する領域別の明度および彩度のデータを前記領域別明度・彩度記憶手段から読み出し、その明度および彩度のデータにより前記カメラで撮影された被写体画像の明度および彩度を補正し、前記背景画像選択手段で選択された背景画像中に前記指示手段で指示された指標に従って合成することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明を実施する場合の一形態を図面を参照して具体的に説明する。
図１は、本発明の画像合成装置の一実施形態を示す機能構成図であり、図１に示すように、被写体１を撮影する為のカメラ（ディジタルカメラ）２と、あらかじめ用意された複数組の背景画像を記憶した背景画像記憶手段３と、前記各組の背景画像中に違和感なく被写体画像を合成するのに最適な明度と彩度のデータを背景画像の領域別に記憶した領域別明度・彩度記憶手段４と、前記背景画像記憶手段３に記憶されている背景画像の中から任意の背景画像を利用者が選択する際に操作される背景画像選択手段５と、前記カメラ２により撮影された被写体画像を、前記背景画像選択手段５により選択された背景画像中の任意の位置、角度、大きさで合成する為に、利用者が被写体画像合成位置、角度、大きさの指標のうち少なくとも位置の指標を指定する被写体画像位置・角度・大きさ指示手段６と、前記カメラ２で撮影された被写体画像を、前記背景画像選択手段５で選択された背景画像中に前記被写体画像位置・角度・大きさ指示手段（以下、指示手段と略記）６により指示された位置、角度、大きさで前記領域別明度・彩度記憶手段４に記憶された明度、彩度のデータで補正して合成して出力手段７から出力する画像処理制御手段８を備えている。
【００１２】
背景画像記憶手段３中の各組の背景画像は、各組の背景画像中に存在する背景構成要素を奥行方向の位置に応じて分離した複数の背景画像群で構成し、前記指示手段６では背景画像の２次元平面上の位置だけでなく奥行方向の被写体画像合成位置も選択可能になっている。
更に、前記背景画像群を更に複数の領域に分割し、その分割領域別に被写体画像を配置した時に被写体画像が背景画像に違和感なく馴染むような明度・彩度のデータを前記領域別明度・彩度記憶手段４に予め記憶しておき、利用者に指定された被写体画像の配置位置により前記領域別明度・彩度記憶手段４に記憶された明度・彩度のデータによって被写体画像の明度と彩度を補正して背景画像に合成するようになっている。
ここで、背景画像記憶手段３に記憶される背景画像と、領域別明度・彩度記憶手段４に記憶される明度・彩度のデータは、これらを１セットにして記憶する記憶媒体で用意しておき、この記憶媒体から取得することも可能であるし、背景画像と明度・彩度のデータとを本装置に付属する入力装置から直接入力することも可能である。記録媒体を用いる構成にすることにより、本装置の設置場所あるいは使用環境に応じた背景画像を極めて容易に使用可能になると共に、更新も容易になる。なお、記録媒体に代えてインタネット等の通信回線を使用してサーバコンピュータから取得する構成にすることもできる。
【００１３】
図２は、画像合成装置の一実施形態を示す側面図であり、筐体２１の内部は被写体２２が複数人収容可能な空間が用意されている。そして、被写体２２の正面側には、被写体２２を撮影するカメラ２３と、図１の背景画像選択手段５及び指示手段６に相当するモニタ兼タッチパネル２４と、図１の画像処理制御手段８、背景画像記憶手段３および領域別明度・彩度記憶手段４を含む制御装置２５、出力手段７に相当するビデオプリンタ２６が配置されている。カメラ２３は、例えばＣＣＤカメラが使用され、その視野は、筐体内部に入室した１人又は複数人の被写体２２の頭部から足元までの全身の画像を撮影可能に設定されている。
【００１４】
図３は、図２の画像合成装置の機能部分の構成を示すブロック図であり、制御装置２５には、ＣＰＵ２５１、メモリ２５２、Ｉ／Ｏ制御部２５３、画像入力部２５４、パターンメモリ２５５、画像処理部２５６、画像出力部２５７が設けられ、Ｉ／Ｏ制御部２５３にはタッチパネル２４２が接続されている。また、画像出力部２５７には、ビデオプリンタ２６とモニタ（ディスプレイ）２４１が接続されている。タッチパネル２４２は、モニタ２４１の画面表面上に配置され、表示画面上の任意の位置に接触または押圧すると、その位置を示す位置信号を出力するものであり、この実施形態では、各種操作メニューの選択、背景画像の選択、被写体画像の合成位置、角度、大きさを指定するために使用される。また、カメラ２３としては、例えばＣＣＤカメラが使用される。
画像入力部２５４は、カメラ２３で撮影した画像データをＡ／Ｄ変換装置（図示しない）によりアナログ信号からデジタル信号に変換する。
ＣＰＵ２５１は、カメラ２３からの撮影画像から被写体画像の輪郭部を抽出し、パターンメモリ２５５に格納してある背景画像と合成し、ビデオプリンタ２６へプリント出力処理を行う。
メモリ２５２には画像入力部２５４から取り込んだ被写体画像データが記憶されるほか、ＣＰＵ２５１に発する命令と本合成画像作成装置の制御手段となる命令群がプログラムとして記憶されている。また、ＣＰＵ２５１の処理データもワークメモリとして一時的に記憶する。
パターンメモリ２５５には、被写体画像と重ね合わせる背景画像データと、被写体の明度と彩度を補正する為の領域別明度・彩度データ及びモニタ２４１に表示する操作メニュー等のガイドデータが記憶されている。前記背景画像データ及び領域別明度・彩度データについては後述する。
【００１５】
画像処理部２５６は、ＣＰＵ２５１の制御により、画像入力部２５４から取り込んだ被写体画像データから、被写体画像の輪郭抽出処理を実行する。そして、パターンメモリ２５５に記憶されている背景画像のうち利用者（被写体）がタッチパネル操作で選択した選択済み背景画像と前記輪郭抽出した被写体画像とを、利用者（被写体）がタッチパネル操作で選択した背景画像中の指定位置に指定の角度および指定の大きさで重ね合わせ合成する。
【００１６】
画像出力部２５７は、画像処理部２５６が合成した画像をモニタ画面に表示すると共に、ビデオプリンタ２６からプリント出力させる。
【００１７】
図４は、パターンメモリ２５５に記憶する１組の背景画像データの構成を示す図であり、図５及び図６は１組の背景画像に対して記憶される領域別明度・彩度データの構成を示す図であり、パターンメモリ２５５にはこのようにして構成された複数組の背景画像データと対応する領域別明度・彩度データが予め記憶されている。
図４に示すような１枚の背景画像４０１があった場合、本発明では、図４に示すように、１枚の背景画像中の背景構成要素を、前方から奥行方向の距離に応じて人間が判断しながら複数枚の画像に分割(分離)する。すなわち、図４の例では、１番手前側の背景構成要素４０２と４０３を１枚目の分離背景画像４１１として分離し、さらにそのすぐ奥に位置する背景構成要素４０４を２枚目の分離背景画像４１２として分離し、以降、同様にして、背景構成要素４０５を３枚目の分離背景画像４１３、背景構成要素４０６を４枚目の分離背景画像４１４、背景構成要素４０７を５枚目の分離背景画像４１５として分離する。この場合、分離数は任意である。パターンメモリ２５５には、１枚の背景画像４０１のデータを分離背景画像４１１〜４１５からなる背景画像群として記憶させる。
被写体画像４１０を背景画像に合成する際には、被写体２２である利用者のタッチパネル指示操作により前記複数枚の分離背景画像中の連続した任意の２枚の分離背景画像の間に被写体画像を挟み込むことにより、奥行方向の任意の位置に被写体画像を合成する。
このように、背景画像の奥行き方向の任意の位置に被写体画像を合成する場合、合成位置における背景に馴染んだ自然な合成画像を作成する場合、合成位置における背景に合うように被写体画像の明度と彩度を補正する必要がある。領域別明度・彩度データはそのために必要になるものであり、図５、図６に示すように、図４で示した分離背景画像の各々を、更に複数の領域(図６の例では９領域)に人間が分割する。以降、分割された各々の領域を分割領域という。分割数は任意であり、分割する領域の大きさも均等でなくてもよい。
【００１８】
図６では、分離背景画像の各々を均等に９つの矩形領域に分割した例を示す。
【００１９】
分割領域毎に、分割領域に被写体画像を置いた時に最適となる明度・彩度のデータを人間があらかじめ決めて、図６に示すように何枚目の分離背景画像であるかを示す奥行方向の位置ごとに各分割領域（ａ〜ｉ）の明度６０１、彩度６０２として記憶しておく。なお、記憶しておく各分割領域の明度６０１、彩度６０２は以下のようにして決める。
分離背景画像のある分割領域にモデル画像を配置してモデル画像の明度・彩度を人間が調整しながら背景画像と合成し、モデル画像が背景画像になじむと判断したモデル画像の明度・彩度を当該分割領域の明度・彩度とする。これを全分離背景画像の全分割領域について行うことにより、全分離背景画像の全分割領域の明度６０１、彩度６０２を決める。
あらかじめ用意した複数の背景画像すべてについて、当該背景画像の分離背景画像を分割領域に分割し、前記のように分割領域ごとに明度・彩度を決定してパターンメモリ２５５に記憶しておく。
被写体画像の配置位置が利用者により指定されたら、その配置位置における前記明度６０１、彩度６０２のデータを参照し、被写体画像の明度と彩度として適用する。
【００２０】
図７は、本実施形態の動作を示すフローチャートである。図２を参照して説明する。
被写体（利用者）２２は、モニタ兼タッチパネル２４に表示された複数の背景画の中から希望する背景画を選択する（ステップ７０１）。
次に、カメラ２３により被写体２２をビデオ撮影する（ステップ７０２）。
【００２１】
ビデオ撮影は次のステップ７０３で被写体画像の配置位置が決まるまでモニタ画像として撮影を続ける。
次に、ステップ７０１で選択された背景画像とステップ７０２で撮影された被写体のモニタ画像を重ねてモニタ兼タッチパネル２４に画面表示する。被写体（利用者）２２はモニタ表示された画像を見ながら、タッチパネル２４により被写体画像の位置（奥行も含む）、回転角度、大きさを指示する（ステップ７０３）。
【００２２】
この被写体画像の位置（奥行も含む）、回転角度、大きさの指示方法の詳細は図８及び図９で後述する。
次に、被写体（利用者）２２はポーズを決め、被写体（利用者）２２が直接指定したシャッタタイミングまたは装置が決定したシャッタタイミングでカメラ２３により被写体２２の撮影を行う（ステップ７０４）。
撮影した画像から被写体２２の輪郭を抽出し（ステップ７０５）、抽出した被写体画像をステップ７０３の被写体（利用者）２２の指示に応じて補正する（ステップ７０６）。
この被写体画像の補正の詳細については図１１で後述する。
補正した被写体画像と背景画像を合成し（ステップ７０７）、ビデオプリンタ２６で印刷し出力する（ステップ７０８）。
【００２３】
図８は、前記ステップ７０３の被写体画像の位置、角度、大きさを指示する手順を示すフローチャートであり、被写体モニタ画像がモニタ兼タッチパネル２４に表示されたならば（ステップ８０１）、背景画像中に重ね合わせる２次元平面上の位置、被写体画像の回転角度、大きさ、奥行き方向の位置を順次指定する（ステップ８０２〜８０５）。なお、ステップ８０２からステップ８０５までの順序は任意である。
【００２４】
図９は、背景画像における平面上の位置指定から被写体画像の奥行方向の挿入位置指定までの操作の流れ及びモニタ兼タッチパネル２４の表示内容を示したものである。以下、図８のステップ順序に従って図９および図１０を用いて位置、角度、大きさの指示方法の詳細を説明する。
ここでは、モニタ兼タッチパネル２４には選択した背景画像と、カメラ２３で撮影した被写体モニタ画像を被写体（利用者）２２の指定に従い、移動、回転、拡大（または縮小）して合成して表示する例を説明する。
始めに、制御装置２５は、被写体（利用者）２２が選択した背景画像上の最前面にカメラ２３で撮影した被写体モニタ画像をあらかじめ定めた矩形領域で表示する（ステップ９０１）。
次に、制御装置２５は、モニタ兼タッチパネル２４のモニタ画面上に、被写体画像の２次元平面上の位置を指定するようガイダンスを表示し、被写体（利用者）２２が被写体画像の位置を移動するように促す（ステップ９０２）。
そこで、被写体（利用者）２２はタッチパネル操作により被写体モニタ画像を指で触れながら画面上で移動させ、２次元平面上の位置を指定する（ステップ９０３）。すなわち、破線で示す被写体モニタ画像９０３１を画面上で矢印方向に移動させ、好みの合成位置で停止させる。９０３２は好みの合成位置で停止された被写体モニタ画像である。
次に、２次元平面上の位置を指定し終わったならば、被写体（利用者）２２はモニタ兼タッチパネル２４上に表示された「位置決定ボタン」を押す（ステップ９０４）。
次に、制御装置２５は、被写体モニタ画像の回転角度を指定するようガイダンスを表示する（ステップ９０５）。
被写体（利用者）２２はモニタ兼タッチパネル２４で被写体モニタ画像９０３２に触れながら指を回転させることにより、あらかじめ定めた被写体モニタ画像の中心点等の支点を中心に指の移動量に合わせて被写体モニタ画像９０３２を回転させることにより、被写体モニタ画像９０３２の回転角度を指定する（ステップ９０６）。制御装置２５は、被写体（利用者）２２からの指定に応じて被写体モニタ画像９０３２を回転させる。９０３３は、回転角度が指定された被写体モニタ画像である。
【００２５】
被写体画像の回転角度を指定し終わったならば、被写体（利用者）２２はモニタ兼タッチパネル２４上に表示された「角度決定ボタン」を押す（ステップ９０７）。
次に、制御装置２５は、被写体画像の大きさを指定するようガイダンスを表示する（ステップ９０８）。
被写体（利用者）２２は、被写体モニタ画像９０３３に触れ、矩形領域として表示されている被写体モニタ画像領域の中心線から遠ざかる方向または近づく方向に指を移動する。指が中心線から遠ざかる方向に移動することで拡大、指が中心線に近づく方向に移動することで縮小と判断する。被写体（利用者）２２は指を移動させることにより、被写体モニタ画像の大きさを指定する（ステップ９０９）。制御装置２５は、被写体（利用者）２２からの指定に従って被写体モニタ画像９０３３の大きさを変化させる。９０３４は、拡大されたモニタ画像を表している。
【００２６】
被写体画像の大きさを指定し終わったならば、被写体（利用者）２２はモニタ兼タッチパネル２４上に表示された「大きさ決定ボタン」を押す（ステップ９１０）。
次に、制御装置２５は、被写体モニタ画像の奥行方向の挿入位置を指定するようガイダンスを表示する（ステップ９１１）。
被写体（利用者）２２はモニタ兼タッチパネル２４上で奥行方向の挿入位置を指定する（ステップ９１２）。制御装置２５は、被写体（利用者）２２からの指定に従って被写体モニタ画像９０３４の奥行方向の挿入位置を変化させる。詳細は図１１を用いて後述する。９０３５は奥行方向の挿入位置が決定された被写体モニタ画像である。
奥行き方向の挿入位置を指定し終わったならば、モニタ兼タッチパネル２４上に表示された「奥行挿入位置決定ボタン」を押す（ステップ９１３）。
【００２７】
図１１は、奥行方向の被写体画像挿入位置の指定方法とモニタ兼タッチパネル２４の表示を示したものである。
まず、被写体（利用者）２２が選択した背景画像上の最前面である１枚目分離背景画像４１１の前面に、被写体（利用者）２２がステップ９０３からステップ９１０で指定した平面上の位置、角度、大きさに変形した被写体モニタ画像９０３４を表示する。
モニタ上には前記被写体モニタ画像９０３４と合わせて奥行方向の挿入位置を指定する為のボタンを表示する。
後方向（奥に向かう方向）を示すボタン１１０１を被写体（利用者）２２が押すと、あらかじめ奥行方向の要素別に分離してある分離背景画像４１１〜４１５の１枚後方へ被写体モニタ画像９０３４を移動する。後方向ボタン１１０１を押す前に被写体モニタ画像９０３４がｎ枚目分離背景画像の前面にあった場合、後方向ボタン１１０１を押すことにより、被写体画像はｎ枚目分離背景画像とｎ＋１枚目分離背景画像との間に位置することになる。すなわち、ｎ枚目分離背景画像の前面にあった被写体画像が、ｎ＋１枚目分離背景画像の前面に存在することになる。
【００２８】
この状態で、制御装置２５は、全分離背景画像と被写体画像とを合成、すなわち挟み込み合成してモニタ画面に表示する。更に、後方向ボタン１１０１が押されれば、更に１枚後方へ被写体モニタ画像９０３４を移動して合成してモニタ表示し、前方向ボタン１１０２が押されれば、１枚手前方向へ被写体モニタ画像９０３４を移動して合成し、モニタ表示する。このようにして、被写体モニタ画像の挿入位置を順次ずらして合成してモニタ表示することにより、被写体（利用者）２２は分離背景画像４１１〜４１５に対して被写体モニタ画像９０３４の挿入位置を選択できる。
【００２９】
図１２は、被写体画像の補正手順を示すものである。
まず、図７のステップ７０３により被写体（利用者）２２が指定した被写体画像の背景画像平面上の位置（▲１▼）、回転角度（▲２▼）、拡大／縮小倍率（▲３▼）、奥行方向挿入位置（▲４▼）の４つの情報を取り出す（ステップ１２０１）。
次に、図７のステップ７０５により抽出した被写体輪郭画像を上記▲１▼、▲２▼、▲３▼の情報をもとに変形、移動する（ステップ１２０２）。
次に、変形、移動した被写体画像が、何枚目の分離背景画像にあり、該分離背景画像の領域中のどの分割領域を占めるかを取り出す。ここで被写体画像が複数の分割領域にまたがる場合は、最も大きな面積を占める分割領域を採用する（ステップ１２０３）。
次に、前記▲４▼の奥行方向挿入位置及び取出した被写体画像が占める分割領域に対応する分割領域別明度・彩度データを図３のパターンメモリ２５５から取り出し、取り出した分割領域別明度・彩度データを被写体画像の明度・彩度として被写体画像を補正する（ステップ１２０４）。
例えば、ｎ−１枚目分離背景画像とｎ枚目分離背景画像との間に被写体画像があって、ｎ枚目分離背景画像における被写体画像が占める分割領域がｉである場合は、分割領域別明度・彩度データ中の「奥行方向挿入位置」がｎ枚目の分割領域ｉの明度・彩度データによって被写体画像の明度・彩度が補正される。
なお、明度と彩度の補正方法については、本願出願人が先に出願している特願平１０−２４５８７９号の図１５〜図１８で示されている方法で実現可能であるので、ここでの詳細な説明は省略する。
以上のようにして補正した被写体画像を背景画像と合成して印刷出力する。
【００３０】
なお、上記実施形態において、被写体画像と背景画像の合成後、モニタ兼タッチパネル２４に合成後の画像を表示し、被写体（利用者）２２が被写体画像の配置位置を再度微調整可能なように構成することができる。
図１３にそのフローチャートを示す。
ステップ１３０１からステップ１３０７およびステップ１３０９、１３１０は、図７のステップ７０１からステップ７０８と同じであり、ステップ１３０８を挿入した点が異なる。この手順では、ステップ１３０７で合成した画像をモニタ兼タッチパネル２４に表示し、被写体（利用者）２２が被写体画像の位置、角度、大きさを微調整する（ステップ１３０８）。微調整については、位置、角度、大きさの微調整範囲をステップ１３０３と同じ範囲としてもよいし、調整できる範囲に制限を設けてもよい。なお、ステップ１３０８でモニタ兼タッチパネル２４に表示する被写体モニタ画像は、ステップ１３０６で補正された被写体輪郭画像を使用する。
【００３１】
また、モニタ兼タッチパネル２４に表示する被写体モニタ画像はカメラ２３で撮影したビデオ画像をあらかじめ定めた大きさの矩形領域に表示しているが、ビデオ画像をあらかじめ定めた大きさの矩形領域に表示するのではなく、撮影した被写体モニタ画像から輪郭を抽出したものを表示してもよい。図１４にそのフローチャートを示す。図７と異なるのは、被写体の位置や角度、大きさを指定する前に、被写体の輪郭を抽出するステップ１４０３を挿入したことであり、その他のステップは図７と同じである。
ステップ１４０３に示すように、撮影した被写体画像から輪郭を抽出し、ステップ１４０４でモニタ兼タッチパネル２４に表示する被写体モニタ画像にはここで抽出した輪郭画像を使用する。このようにすることにより、矩形枠で隠されていた好みの位置に被写体画像を配置することができる。
【００３２】
また、被写体（利用者）２２が被写体画像の背景画像平面上の位置を指定する時は、被写体モニタ画像と背景画像をその都度合成してモニタ兼タッチパネル２４に表示しているが、被写体（利用者）２２が平面上の位置を決める際は、被写体画像と背景画像をその場で合成してモニタ兼タッチパネル２４に表示するのではなく、被写体画像と背景画像を一定間隔で交互にモニタ兼タッチパネル２４に表示し、残像効果を利用してあたかも背景画像上に被写体画像が合成されたように見えるようにしてもよい。このようにすれば、画像合成にかかる時間が少なくなり、処理の高速化を図れる。
【００３３】
また、被写体画像の位置、角度、大きさの３つの指標を全て指示する場合を説明したが、少なくとも位置の指標を指示し、その他の指標は必要に応じて指示する構成にすることも可能である。
【００３４】
【発明の効果】
以上のように、本発明によれば、背景画像をあらかじめ奥行方向の要素別に分離しておき、被写体画像を背景画像中の任意の位置に任意の角度、大きさに変形、移動して合成するように構成したため、背景画像上の奥行を含む任意の位置に任意の角度、大きさで被写体画像を合成し、あたかも背景画像に中に存在するような自然な合成画像を得ることができる。
【００３５】
更に、背景画像上の奥行を含む位置に応じてあらかじめ明度、彩度を決めておき、画像合成時に、被写体画像の配置位置に応じて被写体画像の明度、彩度を補正して合成することにより、被写体画像を背景画像に馴染ませて合成することができる。
【００３６】
以上により、面白味があり、なおかつ背景画に溶け込んだ自然な合成画像を作成することができる。
【図面の簡単な説明】
【図１】本発明の画像合成装置の一実施形態を示す機能構成図である。
【図２】本発明の画像合成装置の一実施形態を示す側面図である。
【図３】図２の画像合成装置の機能部分の一実施形態をブロック構成図である。
【図４】背景画像の構成と記憶方法を示す説明図である。
【図５】明度・彩度補正用のデータの構成と記憶方法を示す説明図である。
【図６】図５の続きを示す説明図である。
【図７】画像合成処理手順を示すフローチャートである。
【図８】被写体画像の位置、角度、大きさの指定手順を示すフローチャートである。
【図９】被写体画像の位置、角度、大きさの指定手順とモニタ画面の表示例を示す説明図である。
【図１０】図９の続きを示す説明図である。
【図１１】被写体画像の奥行方向挿入位置の指定手順とモニタ画像の表示例を示す説明図である。
【図１２】被写体画像の補正手順を示すフローチャートである。
【図１３】画像合成処理手順の別の実施形態を示すフローチャートである。
【図１４】画像合成処理手順の別の実施形態を示すフローチャートである。
【符号の説明】
１，２２…被写体、２，２３…カメラ、３…背景画像記憶手段、４…領域別明度・彩度記憶手段、５…背景画像選択手段、６…被写体画像位置・角度・大きさ指示手段、７…出力手段、２４…モニタ兼タッチパネル、２５…制御装置、２６…ビデオプリンタ、２５１…ＣＰＵ、２５２…メモリ、２５５…パターンメモリ、２５６…画像処理部、２５７…画像出力部、２４２…タッチパネル、４０１…背景画像、４０２〜４０７…背景構成要素、４１１〜４１５…分離背景画像。
【図１】
0003591575.tif 000002
【図２】
0003591575.tif 000003
【図３】
0003591575.tif 000004
【図４】
0003591575.tif 000005
【図５】
0003591575.tif 000006
【図６】
0003591575.tif 000007
【図７】
0003591575.tif 000008
【図８】
0003591575.tif 000009
【図９】
0003591575.tif 000010
【図１０】
0003591575.tif 000011
【図１１】
0003591575.tif 000012
【図１２】
0003591575.tif 000013
【図１３】
0003591575.tif 000014
【図１４】
0003591575.tif 000015