(57)【要約】【課題】  撮影環境や被写体の特徴に関わらず被写体の抽出条件を自動的に設定する。【解決手段】  色情報保存メモリ１２には被写体のみの輝度信号及び色差信号を格納し、抽出条件設定手段１３は被写体のみの輝度信号及び色差信号に基づき被写体を抽出するための抽出条件を設定する。２値化手段１４は設定された抽出条件に基づき被写体を撮影した撮影画像に対応して２値信号を出力し、選択手段１５は２値信号に基づき被写体の撮影画像又は背景画像メモリ１１に格納されている合成画像に使用する背景画像を選択する。【選択図】        図１
2006270234.tif 000002
【特許請求の範囲】
【請求項１】
合成画像の背景として使用される背景画像の輝度信号及び色差信号を格納する背景画像メモリと、
背景画像に合成される被写体のみの輝度信号及び色差信号を格納する色情報保存メモリと、
該色情報保存メモリに格納されている被写体のみの輝度信号及び色差信号に基づき、被写体を含む撮影画像から被写体のみを抽出するための輝度範囲及び色差範囲を抽出条件として設定する第１の抽出条件設定手段と、
上記撮影画像の輝度信号及び色差信号と、上記第１の抽出条件設定手段により設定された輝度範囲及び色差範囲を比較し、上記撮影画像の輝度信号が輝度範囲に含まれ、かつ、上記撮影画像の色差信号が色差範囲に含まれる上記撮影画像の第１の信号部分で第１のレベルを出力し、上記撮影画像の第１の信号部分以外の第２の信号部分で第２のレベルを出力する第１の２値化手段と、
上記撮影画像の輝度信号及び色差信号を入力し、上記２値化手段より出力された第１のレベルに基づき、入力された上記撮影画像の輝度信号及び色差信号を出力し、上記２値化手段より出力された第２のレベルに基づき、上記背景画像メモリに格納されている背景画像の輝度信号及び色差信号を出力する選択手段とを備えた画像合成装置。
【請求項２】
被写体を配置する前の任意の背景色を撮影した背景色画像の輝度信号及び色差信号を格納する背景色メモリと、
該背景色メモリに格納されている背景色画像の輝度信号及び色差信号に基づき、被写体を配置して撮影した撮影画像から被写体を抽出するための輝度範囲及び色差範囲を抽出条件として設定する第２の抽出条件設定手段と、
上記撮影画像の輝度信号及び色差信号と、上記第２の抽出条件設定手段により設定された輝度範囲及び色差範囲を比較し、上記撮影画像の輝度信号が輝度範囲に含まれ、かつ、上記撮影画像の色差信号が色差範囲に含まれる上記撮影画像の第１の信号部分で第１のレベルを出力し、上記撮影画像の第１の信号部分以外の第２の信号部分で第２のレベルを出力する第２の２値化手段とを備え、
色情報保存メモリは、上記第２の２値化手段より出力された第２のレベルに基づき、上記撮影画像の輝度信号及び色差信号を被写体のみの輝度信号及び色差信号として格納することを特徴とする請求項１記載の画像合成装置。
【請求項３】
被写体を配置する前の任意の背景色を撮影した背景色画像の輝度信号及び色差信号を格納する背景色メモリと、
被写体を配置して撮影した撮影画像の輝度信号及び色差信号と、上記背景色メモリに格納されている背景色画像の輝度信号及び色差信号を同位置の画素毎に比較し、輝度信号の差及び色差信号の差が所定値以内の場合に第１のレベルを出力し、上記以外の場合に第２のレベルを出力する差分位置比較手段とを備え、
色情報保存メモリは、上記差分位置比較手段により出力された第２のレベルに基づき、上記撮影画像の輝度信号及び色差信号を被写体のみの輝度信号及び色差信号として格納することを特徴とする請求項１記載の画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像画像から特定の被写体を抽出し、抽出した被写体を背景に合成する画像合成装置に関するものである。
【背景技術】
【０００２】
従来の画像合成装置は、例えば特許文献１に示すように、入力映像信号に互いに異なる信号処理を加える複数の加工手段と、予め抽出条件が設定され入力映像信号の抽出条件を満たす信号部分とそれ以外の部分とでレベルが異なる２値信号を生成する複数の２値化手段と、これら２値化手段の出力信号を合成して映像信号の被写体部分全体の領域を示すキー信号を生成する手段と、該キー信号に応じて加工手段の出力信号を選択的に出力する手段とを備えることにより、被写体の背景等の撮影環境にかかわらず、簡単に映像信号の被写体部分を抽出している。
【０００３】
【特許文献１】特開平６−２２５３２８号公報（段落０００５，０００７、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の画像合成装置は以上のように構成されているので、被写体を抽出するためには被写体を構成する各部の色に対応するだけの２値化手段が複数必要であり、かつ各２値化手段に被写体の抽出条件を予め設定しておかなければならず、ユーザが撮影環境や抽出する被写体の特徴等を把握し、被写体の抽出条件を求めなければならないという課題があった。また、用紙に手書きで描いた文字や図形を抽出して合成する場合も、設定されている被写体の抽出条件に合わせた用紙やペン等を使用しなければならないという課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、撮影環境や被写体の特徴に関わらず被写体の抽出条件を自動的に設定できる画像合成装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る画像合成装置は、合成画像の背景として使用される背景画像の輝度信号及び色差信号を格納する背景画像メモリと、背景画像に合成される被写体のみの輝度信号及び色差信号を格納する色情報保存メモリと、該色情報保存メモリに格納されている被写体のみの輝度信号及び色差信号に基づき、被写体を含む撮影画像から被写体のみを抽出するための輝度範囲及び色差範囲を抽出条件として設定する第１の抽出条件設定手段と、上記撮影画像の輝度信号及び色差信号と、上記第１の抽出条件設定手段により設定された輝度範囲及び色差範囲を比較し、上記撮影画像の輝度信号が輝度範囲に含まれ、かつ、上記撮影画像の色差信号が色差範囲に含まれる上記撮影画像の第１の信号部分で第１のレベルを出力し、上記撮影画像の第１の信号部分以外の第２の信号部分で第２のレベルを出力する第１の２値化手段と、上記撮影画像の輝度信号及び色差信号を入力し、上記２値化手段より出力された第１のレベルに基づき、入力された上記撮影画像の輝度信号及び色差信号を出力し、上記２値化手段より出力された第２のレベルに基づき、上記背景画像メモリに格納されている背景画像の輝度信号及び色差信号を出力する選択手段とを備えたものである。
【発明の効果】
【０００７】
この発明により、ユーザがペンの色や用紙の色や撮影環境や被写体の特徴を意識することなく、それぞれを自由に選択して、最適な被写体の抽出条件を自動的に設定できるという効果が得られる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１はこの発明の実施の形態１による画像合成装置の構成を示すブロック図である。この画像合成装置は、レンズ１、撮像手段２、Ａ／Ｄ変換手段３、Ｙ／Ｃ信号生成手段４、被写体抽出手段５、色空間変換手段６、フレームメモリ７、表示制御手段８、表示手段９及びマイクロコンピュータ（以下、マイコン）１０を備えている。また、被写体抽出手段５は、背景画像メモリ１１、色情報保存メモリ１２、抽出条件設定手段（第１の抽出条件設定手段）１３、２値化手段（第１の２値化手段）１４及び選択手段１５を備えている。
【０００９】
図１において、レンズ１を介して入力された撮影画像は撮像手段２で光電変換され電気信号として出力され、Ａ／Ｄ変換手段３でディジタル信号に変換された後、Ｙ／Ｃ信号生成手段４に供給されディジタルの上記撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎとして出力される。なお、色差信号Ｃｉｎは２つの色差信号Ｒ−Ｙ（以下、Ｃｒと記す），Ｂ−Ｙ（以下、Ｃｂと記す）の順次信号である。輝度信号Ｙｉｎ及び色差信号Ｃｉｎは、マイコン１０の制御に基づき、背景画像メモリ１１、色情報保存メモリ１２、２値化手段１４、選択手段１５に入力される。背景画像メモリ１１の出力は選択手段１５に接続されている。
【００１０】
また、図１の被写体抽出手段５において、背景画像メモリ１１には合成画像の背景として使用される背景画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが格納され、色情報保存メモリ１２には背景画像に合成される被写体のみの輝度信号Ｙｉｎ及び色差信号Ｃｉｎが格納される。抽出条件設定手段１３は、色情報保存メモリ１２に格納されている被写体のみの輝度信号Ｙｉｎ及び色差信号Ｃｉｎに基づき、被写体を含む撮像画像から被写体のみを抽出するための輝度範囲及び色差範囲を抽出条件として設定し２値化手段１４に出力する。
【００１１】
２値化手段１４は、Ｙ／Ｃ信号生成手段４から出力される被写体を含む撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎと、抽出条件設定手段１３により設定された輝度範囲及び色差範囲を比較し、上記撮影画像の輝度信号が輝度範囲に含まれ、かつ、上記撮影画像の色差信号が色差範囲に含まれる上記撮影画像の信号部分（第１の信号部分）でレベル“Ｈ”（第１のレベル）を出力し、上記撮影画像のそれ以外の信号部分（第２の信号部分）でレベル“Ｌ”（第２のレベル）を出力する。このように、２値化手段１４はレベル“Ｈ”とレベル“Ｌ”の２値信号を選択手段１５に出力する。
【００１２】
選択手段１５は、被写体を含む撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを入力し、２値化手段１４より出力されたレベル“Ｈ”に基づき、入力された上記撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを出力し、２値化手段１４より出力されたレベル“Ｌ”に基づき、背景画像メモリ１１に格納されている背景画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを出力する。被写体抽出手段５はマイコン１０により制御される。
【００１３】
さらに、図１において、選択手段１５により選択された被写体を含む撮影画像と背景画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎは、色空間変換手段６でＲｅｄ（赤）／Ｇｒｅｅｎ（緑）／Ｂｌｕｅ（青）の３原色からなるＲＧＢ信号に変換されてフレームメモリ７に格納され、表示制御手段８によってＬＣＤ等の表示手段９に表示される。
【００１４】
次に動作について説明する。
ここでは、図１に示すように構成されている画像合成装置において、用紙にペン等で描いた単色の手書き図形や文字等の被写体を撮影し、撮影画像から被写体を抽出して指定した背景画像に合成して表示手段９に表示する動作について説明する。
【００１５】
まず、合成画像の背景として使用する背景画像を画像合成装置に取り込む動作ついて説明する。最終的に表示手段９に表示する合成画像におけるの背景画像は背景画像メモリ１１に格納される。
【００１６】
レンズ１を介して背景を撮影した背景画像は撮像手段２で光電変換され、Ａ／Ｄ変換手段３でディジタル信号に変換され、Ｙ／Ｃ信号生成手段４で上記背景画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが生成されて選択手段１５に入力される。選択手段１５では、マイコン１０の制御に基づき、Ｙ／Ｃ信号生成手段４からの背景画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが選択されて色空間変換手段６に出力される。選択手段１５により出力された背景画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎは色空間変換手段６でＲＧＢ信号に変換された後、フレームメモリ７に格納され、表示制御手段８により表示手段９に表示される。以上により、ユーザは表示手段９の表示画面で背景画像を確認できる。
【００１７】
背景画像を背景画像メモリ１１に格納する場合には、ユーザが表示手段９の表示画面で背景画像を確認し、ユーザからの指示によるマイコン１０の制御に基づき、Ｙ／Ｃ信号生成手段４から出力される背景画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが背景画像メモリ１１に格納される。
【００１８】
次に被写体の抽出条件を２値化手段１４に出力する動作について説明する。
図２は被写体の抽出条件を設定するために用紙１０１に描いた被写体１０２を表示手段９の特定領域１０３に表示しているイメージ図である。被写体１０２の抽出条件の設定は被写体１０２の一部を撮像することにより行う。
【００１９】
レンズ１を介して撮影された被写体１０２の撮影画像は、撮像手段２で光電変換され、Ａ／Ｄ変換手段３でディジタル信号に変換され、Ｙ／Ｃ信号生成手段４で上記撮影した被写体１０２の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが生成されて選択手段１５に入力される。選択手段１５では、マイコン１０の制御に基づき、Ｙ／Ｃ信号生成手段４からの撮影した被写体１０２の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが選択され、色空間変換手段６でＲＧＢ信号に変換された後にフレームメモリ７に格納され、表示制御手段８により表示手段９に表示される。
【００２０】
被写体１０２の抽出条件を設定する場合、ユーザが表示手段９の表示画面を確認しながら表示手段９の特定領域１０３の全域に被写体１０２が表示されるように撮影位置を調整し、ユーザからの指示によるマイコン１０の制御に基づき、Ｙ／Ｃ信号生成手段４から出力される被写体１０２のみの輝度信号Ｙｉｎ及び色差信号Ｃｉｎが色情報保存メモリ１２に格納される。表示手段９の特定領域１０３は予め領域が決められており、色情報保存メモリ１２には特定領域１０３に表示された被写体１０２のみの輝度信号Ｙｉｎ及び色差信号Ｃｉｎが格納される。
【００２１】
図３は輝度信号及び色差信号の抽出条件範囲を示す図であり、ｙ軸が輝度信号Ｙを、ｘ軸が色差信号Ｃｂを、ｚ軸が色差信号Ｃｒをそれぞれ示し、空間に被写体１０２の抽出条件範囲を示している。図３を用いて抽出条件設定手段１３で設定する被写体１０２の抽出条件を説明する。
抽出条件設定手段１３では色情報保存メモリ１２に格納されている被写体１０２のみの輝度信号Ｙｉｎ及び色差信号Ｃｉｎを読み出し、読み出した輝度信号Ｙｉｎ及び色差信号Ｃｉｎそれぞれを平均化し、輝度信号平均値Ｙ０及び色差信号平均値Ｃｂ０，Ｃｒ０を求め、輝度信号抽出範囲ｘ、色差信号抽出範囲ｙを加味した輝度範囲の下限値Ｙ１（＝Ｙ０−ｘ）と上限値Ｙ２（＝Ｙ０＋ｘ）、及び色差範囲の下限値Ｃｂ１（＝Ｃｂ０−ｙ）、Ｃｒ１（＝Ｃｒ０−ｙ）と上限値Ｃｂ２（＝Ｃｂ０＋ｙ）、Ｃｒ２（＝Ｃｒ０＋ｙ）を２値化手段１４で使用する被写体１０２の抽出条件として設定して出力する。
【００２２】
次に合成するために被写体１０２を含む撮影画像から被写体１０２を抽出する動作について説明する。
レンズ１を介して合成するために撮影された被写体１０２を含む撮影画像は撮像手段２で光電変換され、Ａ／Ｄ変換手段３でディジタル信号に変換され、Ｙ／Ｃ信号生成手段４で上記撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが生成されて、マイコン１０の制御に基づき２値化手段１４に入力される。
【００２３】
２値化手段１４は、次の式（１）から式（３）に示すように、輝度信号と輝度範囲の下限値、上限値との比較回路であり、色差信号と色差範囲の下限値、上限値との比較回路である。
Ｙ１＜Ｙｉｎ＜Ｙ２                                    （１）
Ｃｒ１＜Ｃｒｉｎ＜Ｃｒ２                              （２）
Ｃｂ１＜Ｃｂｉｎ＜Ｃｂ２                              （３）
２値化手段１４は、上記式（１）から式（３）に示す比較を行い、輝度信号Ｙｉｎ及び色差信号Ｃｒｉｎ，Ｃｂｉｎの全てが範囲内に含まれる場合にはレベル“Ｈ”を選択手段１５に出力し、少なくともどちらかが範囲外の場合にはレベル“Ｌ”を出力する。このレベル“Ｈ”を出力している部分が抽出する被写体１０２の部分となる。
【００２４】
次に抽出した被写体１０２と背景画像を合成する動作について説明する。
選択手段１５では、被写体１０２を含む撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを入力し、２値化手段１４からの出力がレベル“Ｈ”の期間は入力された上記撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを選択して出力し、２値化手段１４からの出力がレベル“Ｌ”の期間は背景画像メモリ１１から読み出した背景画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを選択して出力する。選択された被写体１０２の撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎと背景画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎは、それぞれ色空間変換手段６によりＲＧＢ信号に変換された後にフレームメモリ７に格納されることにより、抽出された被写体１０２を背景画像に合成した合成信号を生成する。フレームメモリ７に格納された合成信号は、表示制御手段８により合成画像として表示手段９に表示される。
【００２５】
以上のように、この実施の形態１によれば、抽出する被写体１０２の一部を実際に撮影して出力される被写体１０２のみの輝度信号Ｙｉｎ及び色差信号Ｃｉｎから、抽出条件設定手段１３が２値化手段１４で使用する被写体１０２の抽出条件を設定することにより、ユーザがペンの色や用紙の色や撮影環境や被写体１０２の特徴を意識することなく、それぞれを自由に選択して、最適な被写体１０２の抽出条件を自動的に設定できるという効果が得られる。
【００２６】
実施の形態２．
図４はこの発明の実施の形態２による画像合成装置の構成を示すブロック図である。この画像合成装置は、上記実施の形態１の図１に示す被写体抽出手段５に、背景色メモリ２１、抽出条件設定手段（第２の抽出条件設定手段）２２及び２値化手段（第２の２値化手段）２３を追加したもので、その他の構成は同じであり、図１と同一番号を付した部分は同一部分を示し、これらの説明は省略する。
【００２７】
図４の被写体抽出手段５において、背景色メモリ２１は被写体を配置する前の任意の用紙（背景色）を撮影しＹ／Ｃ信号生成手段４から出力される背景色画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを格納する。抽出条件設定手段２２は、背景色メモリ２１に格納されている背景色画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎに基づき、被写体が描かれた用紙を撮影した撮影画像（被写体を配置して撮影した撮影画像）から被写体を抽出するための輝度範囲及び色差範囲を抽出条件として設定する。
【００２８】
２値化手段２３は、被写体が描かれた用紙を撮影した撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎと、抽出条件設定手段２２により設定された輝度範囲及び色差範囲を比較し、上記撮影画像の輝度信号が輝度範囲に含まれ、かつ、上記撮影画像の色差信号が色差範囲に含まれる上記撮影画像の信号部分（第１の信号部分）でレベル“Ｈ”（第１のレベル）を出力し、上記撮影画像のそれ以外の信号部分（第２の信号部分）でレベル“Ｌ”（第２のレベル）を出力する。色情報保存メモリ１２は、２値化手段２３より出力されたレベル“Ｌ”に基づき、入力した上記撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを被写体のみの輝度信号Ｙｉｎ及び色差信号Ｃｉｎとして格納する。
【００２９】
上記実施の形態１では、被写体のみの輝度信号Ｙｉｎ及び色差信号Ｃｉｎを色情報保存メモリ１２に格納するために、ユーザが表示手段９の特定領域の全域に被写体が表示されるように撮影位置を調整しているが、この実施の形態２では、被写体を描く単色の用紙のみを撮影して得られた信号と被写体を描いた後に撮影して得られる信号との差分を抽出し、差分となる被写体のみの輝度信号及び色差信号を色情報保存メモリ１２へ格納することにより、上記実施の形態１におけるユーザによる撮影位置の調整を不要にするものである。
【００３０】
次に動作について説明する。
まず、色情報保存メモリ１２への被写体のみの輝度信号及び色差信号の格納動作について説明する。
レンズ１を介して被写体を描く前の用紙を撮影した背景色画像は撮像手段２で光電変換され、Ａ／Ｄ変換手段３でディジタル信号に変換され、Ｙ／Ｃ信号生成手段４で上記背景色画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが生成されて、マイコン１０の制御に基づき背景色メモリ２１に格納される。
【００３１】
抽出条件設定手段２２では、抽出条件設定手段１３と同様に、背景色メモリ２１の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを読み出し、読み出した輝度信号Ｙｉｎ及び色差信号Ｃｉｎそれぞれを平均化し、輝度信号平均値Ｙａ０及び色差信号平均値Ｃｂａ０，Ｃｒａ０を求め、輝度信号抽出範囲ｘ、色差信号抽出範囲ｙを加味した輝度範囲の下限値Ｙａ１（＝Ｙａ０−ｘ）と上限値Ｙａ２（＝Ｙａ０＋ｘ）、及び色差範囲の下限値Ｃｂａ１（＝Ｃｂａ０−ｙ）、Ｃｒａ１（＝Ｃｒａ０−ｙ）と上限値Ｃｂａ２（＝Ｃｂａ０＋ｙ）、Ｃｒａ２（＝Ｃｒａ０＋ｙ）を２値化手段２３で使用する被写体１０２の抽出条件として設定して出力する。
【００３２】
次に被写体を含む撮影画像から被写体である差分を抽出する動作について説明する。
レンズ１を介して被写体が描かれた用紙を撮影した撮影画像は撮像手段２で光電変換され、Ａ／Ｄ変換手段３でディジタル信号に変換され、Ｙ／Ｃ信号生成手段４で上記被写体を含む撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが生成されて、マイコン１０の制御に基づき２値化手段２３に入力される。
【００３３】
２値化手段２３は、２値化手段１４と同様に、次の式（４）から式（６）に示すように、輝度信号と輝度範囲の下限値、上限値との比較回路であり、色差信号と色差範囲の下限値、上限値との比較回路である。
Ｙａ１＜Ｙｉｎ＜Ｙａ２                                  （４）
Ｃｒａ１＜Ｃｒｉｎ＜Ｃｒａ２                            （５）
Ｃｂａ１＜Ｃｂｉｎ＜Ｃｂａ２                            （６）
２値化手段２３は、上記式（４）から式（６）に示す比較を行い、輝度信号Ｙｉｎと色差信号Ｃｒｉｎ、Ｃｂｉｎの全てが範囲内に含まれる場合にはレベル“Ｈ”を色情報保存メモリ１２に出力し、少なくともどちらかが範囲外の場合にはレベル“Ｌ”を出力する。レベル“Ｌ”を出力している部分が背景色画像との差分であり被写体の部分となる。
【００３４】
２値化手段２３からの出力は色情報保存メモリ１２の格納イネーブル信号として使用され、色情報保存メモリ１２ではレベル“Ｌ”期間のみＹ／Ｃ信号生成回路４から出力される被写体を含む撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを格納するため、被写体のみの輝度信号Ｙｉｎ及び色差信号Ｃｉｎが色情報保存メモリ１２に格納される。その他の動作は実施の形態１と同様である。
【００３５】
以上のように、この実施の形態２によれば、上記実施の形態１と同様の効果が得られると共に、単色の用紙のみを撮影して得られた信号と用紙に被写体を描いた後に撮影して得られる信号との差分を抽出し、差分である被写体のみの輝度信号と色差信号を色情報保存メモリ１２へ格納するため、ユーザが表示手段９の特定領域の全域に被写体が表示されるように撮影位置を調整する必要がなく、かつ、表示手段９の特定領域の全域に被写体を表示することが困難なようなサイズの被写体に対しても、抽出条件設定手段１３は実際に撮影して得られる被写体のみの輝度信号Ｙｉｎ及び色差信号Ｃｉｎから２値化手段１４で使用する抽出条件を生成することができるという効果が得られる。
【００３６】
実施の形態３．
図５はこの発明の実施の形態３による画像合成装置の構成を示すブロック図である。この画像合成装置は、上記実施の形態１の図１に示す被写体抽出手段５に、背景色メモリ２１及び差分位置比較手段３１を追加すると共に、図１に示す色空間変換手段６の代りに、色空間変換手段３２、データ変換手段３３、色空間変換手段３４、データ変換手段３５、ブレンド手段３６及びスイッチ３７を備えている。その他の構成は同じであり、図１及び図４と同一番号を付した部分は同一部分を示し、これらの説明は省略する。
【００３７】
この実施の形態３では、模様付きの用紙のみを撮影して得られた画像を半透過で表示し、上記用紙に単色の被写体を描画後に上記半透過で表示している用紙のみの画像の模様とを重ね合わせて撮影して得られた画像と、上記用紙のみを撮影して得られた画像とを同位置の画素毎に輝度信号と色差信号を比較し、一定範囲以上の差がある輝度と色差を持った信号部分を抽出し、抽出した被写体のみの輝度信号及び色差信号を色情報保存メモリ１２へ格納するものである。
【００３８】
図５の被写体抽出手段５において、差分位置比較手段３１は、被写体が描かれた用紙を撮影した撮影画像（被写体を配置して撮影した撮影画像）の輝度信号Ｙｉｎ及び色差信号Ｃｉｎと、背景色メモリ２１に格納されている背景色画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを同位置の画素毎に比較し、輝度信号の差及び色差信号の差が所定値以内の場合にレベル“Ｈ”（第１のレベル）を出力し、上記以外の場合にレベル“Ｌ”（第２のレベル）を出力する。色情報保存メモリ１２は、差分位置比較手段３１により出力されたレベル“Ｌ”に基づき、上記撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎを被写体のみの輝度信号Ｙｉｎ及び色差信号Ｃｉｎとして格納する。
【００３９】
色空間変換手段３２は背景色メモリ２１から読み出される背景色画像の輝度信号Ｙｉｎ及び色差信号ＣｉｎをＲｅｄ（赤）／Ｇｒｅｅｎ（緑）／Ｂｌｕｅ（青）からなるＲＧＢ信号に変換する。データ変換手段３３は色空間変換手段３２から出力されるＲＧＢ信号に画素毎に透過度情報であるアルファ値を付加してブレンド手段３６に出力する。同様に、色空間変換手段３４は、選択手段１５により選択された被写体の撮影画像及び背景画像の輝度信号Ｙｉｎ及び色差信号ＣｉｎをＲｅｄ（赤）／Ｇｒｅｅｎ（緑）／Ｂｌｕｅ（青）からなるＲＧＢ信号に変換し、データ変換手段３５は色空間変換手段３４から出力されるＲＧＢ信号に画素毎に透過度情報であるアルファ値を付加してブレンド手段３６に出力する。
【００４０】
ブレンド手段３６ではデータ変換手段３３及びデータ変換手段３５から入力されるＲＧＢ信号を画素毎にアルファ値に従って合成し、スイッチ３７を経由してフレームメモリ７に格納する。スイッチ３７は、マイコン１０の制御により、フレームメモリ７への接続をブレンド手段３６からの出力と色空間変換手段３４からの出力とで切り替える。
【００４１】
次に動作について説明する。
まず、色情報保存メモリ１２への被写体のみの輝度信号及び色差信号の格納動作について説明する。
レンズ１を介して被写体を描画する前の用紙を撮影した背景色画像は撮像手段２で光電変換され、Ａ／Ｄ変換手段３でディジタル信号に変換され、Ｙ／Ｃ信号生成手段４で上記背景色画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが生成されて、マイコン１０の制御により背景色メモリ２１に格納される。
【００４２】
レンズ１を介して被写体が描かれた用紙を撮影した撮影画像は撮像手段２で光電変換され、Ａ／Ｄ変換手段３でディジタル信号に変換され、Ｙ／Ｃ信号生成手段４で上記撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが生成され、マイコン１０の制御により選択手段１５に入力される。選択手段１５ではマイコン１０の制御によりＹ／Ｃ信号生成手段４からの上記撮影画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが選択され、色空間変換手段３４でＲＧＢ信号に変換された後、データ変換手段３５で全ての画素に対してアルファ値５０％が設定されブレンド手段３６に入力される。
【００４３】
一方、背景色メモリ２１から読み出された背景色画像の輝度信号Ｙｉｎ及び色差信号Ｃｉｎは色空間変換手段３２でＲＧＢ信号に変換された後、データ変換手段３３で全ての画素に対してアルファ値５０％が設定されブレンド手段３６に入力される。ブレンド手段３６ではデータ変換手段３３及びデータ変換手段３５から出力されたＲＧＢ信号を画素毎にアルファ値に従って合成し、マイコン１０によりスイッチ３７がブレンド手段３６側に切り替えられて、アルファ値に従って合成された画像データがフレームメモリ７に格納され、表示制御手段８により表示手段９に表示される。
【００４４】
図６は模様付きの用紙を使用したときのイメージ図であり、用紙１０１に模様１０４が印刷されている。図７は模様付きの用紙に被写体を描画したときのイメージ図であり、被写体１０２が描画されている。図８は表示手段の表示イメージを示す図であり、表示手段９には背景色メモリ２１に格納された用紙１０１の模様１０４ａが表示された背景色画像と、被写体１０２を描画した後に撮影した被写体の１０２と用紙の模様１０４ｂが表示された撮影画像とが重ね合わされて両方の画像が表示されている。図９も表示手段の表示イメージを示す図であり、表示手段９には両方の画像が表示されているが、用紙１０１の模様１０４ａ，１０４ｂが重なった状態で表示されている状態を示している。
【００４５】
色情報保存メモリ１２への被写体のみの輝度信号及び色差信号の格納動作について図６から図９を使用して説明する。
背景色メモリ２１には図６に示す画像データが格納されており、Ｙ／Ｃ信号生成手段４からは図７に示す画像データが出力されている。表示手段９には、図８及び図９に示すとおり、背景色メモリ２１に格納された背景色画像と、同じ用紙１０１に被写体１０２を描画した撮影画像が５０％の透過率で半透明合成され、その合成された画像が表示されている。
【００４６】
ユーザは、表示手段９の表示画面を確認しながら、図８に示す表示状態から、図９に示すとおり背景色メモリ２１に格納された背景色画像の模様１０４ａと、被写体１０２を描画した撮影画像の模様１０４ｂが重なるように撮影位置を調整する。模様１０４ａと模様１０４ｂが重なったときに、ユーザからの指示によるマイコン１０の制御により、差分位置比較手段３１で背景色メモリ２１に格納された背景色画像の輝度信号Ｙｉ及び色差信号Ｃｉと、被写体１０２を描画した撮影画像の輝度信号Ｙｊ及び色差信号Ｃｊとを同位置の画素毎に比較を行い、輝度信号の差が一定範囲（ｏ）以内であるか、また、色差信号の差が一定範囲（ｐ）以内であるかの判定を行う。
【００４７】
差分位置比較手段３１は、次の式（７）から式（９）に示すように、背景色画像と被写体１０２を描画した撮影画像の同位置の画素毎の輝度信号の比較回路であり、背景色画像と被写体１０２を描画した撮影画像の同位置の画素毎の色差信号の比較回路である。
｜Ｙｊ−Ｙｉ｜＜ｏ                                    （７）
｜Ｃｒｊ−Ｃｒｉ｜＜ｐ                                （８）
｜Ｃｂｊ−Ｃｂｉ｜＜ｐ                                （９）
差分位置比較手段３１は、上記式（７）から式（９）に示す比較を行い、輝度信号の差が一定範囲（ｏ）以内であり、かつ、色差信号の差が判定値（ｐ）以内にある場合にはレベル“Ｈ”（第１のレベル）を色情報保存メモリ１２に出力し、少なくともどちらかが判定値以外の場合にはレベル“Ｌ”（第２のレベル）を色情報保存メモリ１２に出力する。レベル“Ｌ”を出力している部分が被写体１０２を描画する前の背景色画像との差分となり被写体１０２の部分となる。
【００４８】
差分位置比較手段３１からの出力は色情報保存メモリ１２の格納イネーブル信号として使用され、色情報保存メモリ１２ではレベル“Ｌ”期間のみＹ／Ｃ信号生成手段４から出力される輝度信号Ｙｉｎ及び色差信号Ｃｉｎを格納するため、被写体１０２のみの部分の輝度信号Ｙｉｎ及び色差信号Ｃｉｎが色情報保存メモリ１２に格納されることとなる。その他の動作は上記実施の形態１と同様である。
【００４９】
以上のように、この実施の形態３によれば、上記実施の形態２と同様の効果が得られると共に、用紙のみを撮影して得られた信号と単色の被写体１０２を描画後に撮影して得られる信号との差分を抽出し、差分である被写体１０２のみの輝度信号及び色差信号を色情報保存メモリ１２へ格納するため、例えば、用紙１０１を使用する場合でも単色かつ平面である必要がなく、さまざまなものに描画した被写体１０２を実際に撮影して出力される輝度信号Ｙｉｎ及び色差信号Ｃｉｎから、抽出条件設定手段１３は２値化手段１４に設定する抽出条件を生成することができるという効果が得られる。
【図面の簡単な説明】
【００５０】
【図１】この発明の実施の形態１による画像合成装置の構成を示すブロック図である。
【図２】この発明の実施の形態１による画像合成装置において被写体の抽出条件を設定するために用紙に描いた被写体を表示手段の特定領域に表示しているイメージ図である。
【図３】この発明の実施の形態１による画像合成装置において輝度信号及び色差信号の抽出条件範囲を示す図である。
【図４】この発明の実施の形態２による画像合成装置の構成を示すブロック図である。
【図５】この発明の実施の形態３による画像合成装置の構成を示すブロック図である。
【図６】この発明の実施の形態３による画像合成装置において模様付きの用紙を使用したときのイメージ図である。
【図７】この発明の実施の形態３による画像合成装置において模様付きの用紙に被写体を描画したときのイメージ図である。
【図８】この発明の実施の形態３による画像合成装置における表示手段の表示イメージを示す図である。
【図９】この発明の実施の形態３による画像合成装置における表示手段の表示イメージを示す図である。
【符号の説明】
【００５１】
１  レンズ、２  撮像手段、３  Ａ／Ｄ変換手段、４  Ｙ／Ｃ信号生成手段、５  被写体抽出手段、６  色空間変換手段、７  フレームメモリ、８  表示制御手段、９  表示手段、１０  マイコン、１１  背景画像メモリ、１２  色情報保存メモリ、１３  抽出条件設定手段、１４  ２値化手段、１５  選択手段、２１  背景色メモリ、２２  抽出条件設定手段、２３  ２値化手段、３１  差分位置比較手段、３２  色空間変換手段、３３  データ変換手段、３４  色空間変換手段、３５  データ変換手段、３６  ブレンド手段、３７  スイッチ、１０１  用紙、１０２  被写体、１０３  特定領域、１０４，１０４ａ，１０４ｂ  模様。
【図１】
2006270234.tif 000003
【図２】
2006270234.tif 000004
【図３】
2006270234.tif 000005
【図４】
2006270234.tif 000006
【図５】
2006270234.tif 000007
【図６】
2006270234.tif 000008
【図７】
2006270234.tif 000009
【図８】
2006270234.tif 000010
【図９】
2006270234.tif 000011