(57)【要約】【課題】運用性に優れた背景置換装置、背景置換プログラム、背景置換プログラム記憶媒体、および、背景置換方法を提供する。【解決手段】複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部７１０と、被写体色と背景色との混合比を決定する、互いに決定時間が異なる複数の決定方法のうちいずれか１つの決定方法を選択する決定方法選択部７３０と、画像取得部７１０によって取得された複数の撮影画像のうち順光の下で撮影された順光撮影画像に基づいて、決定方法選択部７３０で選択された決定方法で混合比を決定し、決定した混合比を用いてこの順光撮影画像の背景を別の背景に置換する置換処理部７４０とを備えた。【選択図】        図５
2006279206.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
被写体色と背景色との混合比を決定する、互いに決定時間が異なる複数の決定方法のうちいずれか１つの決定方法を選択する決定方法選択部と、
前記画像取得部によって取得された複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像に対して、前記決定方法選択部で選択された決定方法で混合比を決定し、決定した混合比を用いて撮影画像の背景を別の背景に置換する背景置換部とを備えたことを特徴とする背景置換装置。
【請求項２】
前記所定の撮影条件下で撮影された撮影画像に、前記決定方法選択部で選択された決定方法を示す決定情報と、その決定方法で決定された混合比とを付加して保存する画像保存部を備え、
前記背景置換部が、前記画像保存部によって保存された撮影画像についての再度の背景の置換処理も実行するものであり、その再度の背景の置換処理の際には、該撮影画像に付加されている決定情報が示す決定方法における混合比の決定時間以下の決定時間の決定方法が前記決定方法選択部で選択された場合には、該撮影画像に付加されている混合比を用いて背景の置換処理を実行し、該撮影画像に付加されている決定情報が示す決定方法における混合比の決定時間よりも長い決定時間の決定方法が前記決定方法選択部で選択された場合には、その選択された決定方法で混合比を決定し、決定した混合比を用いて背景の置換処理を実行するものであることを特徴とする請求項１記載の背景置換装置。
【請求項３】
前記複数の決定方法のうちの１つの決定方法が、撮影画像中の色は真の被写体色と背景色が前記混合比で混合した混合色であるという前提で真の被写体色と混合比とを決定する決定方法であることをことを特徴とする請求項１記載の背景置換装置。
【請求項４】
前記複数の決定方法のうちの１つの決定方法が、前記画像取得部で取得された撮影画像を縮小した縮小画像を用いて前記混合比を決定する決定方法であることを特徴とする請求項１記載の背景置換装置。
【請求項５】
前記画像取得部で取得された撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別する領域区別部を備え、
前記複数の決定方法のうちの１つの決定方法が、前記背景領域、前記被写体領域、および前記境界領域に対し、それぞれ、純粋な背景色を表わす混合比、純粋な被写体色を表わす混合比、および一定の混合比を割り当てるという混合比の決定方法であることを特徴とする請求項１記載の背景置換装置。
【請求項６】
コンピュータに組み込まれ、該コンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
被写体色と背景色との混合比を決定する、互いに決定時間が異なる複数の決定方法のうちいずれか１つの決定方法を選択する決定方法選択部と、
前記画像取得部によって取得された複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像に対して、前記決定方法選択部で選択された決定方法で混合比を決定し、決定した混合比を用いて撮影画像の背景を別の背景に置換する背景置換部とを構築することを特徴とする背景置換プログラム。
【請求項７】
コンピュータに組み込まれ、該コンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
被写体色と背景色との混合比を決定する、互いに決定時間が異なる複数の決定方法のうちいずれか１つの決定方法を選択する決定方法選択部と、
前記画像取得部によって取得された複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像に対して、前記決定方法選択部で選択された決定方法で混合比を決定し、決定した混合比を用いて撮影画像の背景を別の背景に置換する背景置換部とを構築する背景置換プログラムが記憶されてなることを特徴とする背景置換プログラム記憶媒体。
【請求項８】
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得過程と、
被写体色と背景色との混合比を決定する、互いに決定時間が異なる複数の決定方法のうちいずれか１つの決定方法を選択する決定方法選択過程と、
前記画像取得過程によって取得された複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像に対して、前記決定方法選択過程で選択された決定方法で混合比を決定し、決定した混合比を用いて撮影画像の背景を別の背景に置換する背景置換過程とを備えたことを特徴とする背景置換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像中の背景を別の背景に置換して背景置換画像を作成する背景置換装置、コンピュータをその背景置換装置として動作させる背景置換プログラム、その背景置換プログラムが記憶されてなる背景置換プログラム記憶媒体、および、撮影画像中の背景を別の背景に置換して背景置換画像を作成する背景置換方法に関する。
【背景技術】
【０００２】
従来、写真館等では、背景幕を使った撮影が行なわれている。しかし、このような撮影は、十分に背景を作り出すために大きな背景幕が使われ、広い撮影スペースを必要とする。また、背景幕の交換等にも手間がかかり、結果的に撮影コストが高くなる。
【０００３】
そこで、もっと手軽に撮影を楽しむことができるように、従来のような大きな背景幕や広い撮影スペースが不要な、小型の撮影システムの開発が望まれている。このような小型の撮影システムでは、上記のような背景幕の替りに、何らかの仮の背景の前で撮影が行なわれることとなるため、撮影で得られた撮影画像に対して、撮影画像中の背景を、顧客が所望する背景と差替えるという背景置換処理を適用することが考えられる。
【０００４】
このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行ない、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景領域と被写体領域として区別し、撮影画像中の背景領域に区別された部分を所望の背景に置換するクロマキー処理と呼ばれる処理が知られている。
【０００５】
このクロマキー処理では、撮影画像中の背景パネル上に被写体の影が写っていると、この影が、被写体領域と背景領域との区別を妨げてしまうことがある。そこで、クロマキー処理の対象となる撮影画像を撮影する際には、背景として、面発光する背景パネルを用い、背景パネル上の被写体の影が、この背景パネルが発する光で打ち消された状態で撮影を行なうという技術が提案されている（例えば、特許文献１参照。）。また、この特許文献１では、クロマキー処理において、被写体領域として区別された部分と所望の背景とを合成する際には、被写体領域として区別された部分の色調を、その所望の背景の色調に応じた色調に調整することで、その所望の背景の中に被写体が自然に溶け込んで見える合成画像を作成するという処理も提案されている。
【０００６】
また、例えば、屋外等といった、被写体の背後が開けた場所で、被写体に向けた照明を点灯した状態と、その照明を消灯した状態との２つの照明条件それぞれの下で撮影を行なって２つの撮影画像を取得し、これら２つの撮影画像において、互いに輝度が異なっている部分と輝度が同等な部分とを、それぞれ撮影画像中の被写体領域と背景領域として区別し、撮影画像中の背景領域に区別された部分を所望の背景に置換するという技術も知られている（例えば、特許文献２参照。）。
【特許文献１】特開２０００−２２４４１０号公報（第３−１０頁、図３）
【特許文献２】特開平１０−２１０３４０号公報（第２−３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、写真館等において、上記の特許文献１や特許文献２や一般的なクロマキー処理等による背景置換処理が行なわれる際には、多くの場合、その処理によって作成される背景置換画像をプリントする前に、背景置換画像をモニター画面等に表示して顧客に提示するということが行なわれる。そして、顧客の要望によっては、置換用の背景を変えながら何度か背景置換処理を行ない、最終的に、顧客が最も気に入った背景置換画像をプリントするといった運用も行なわれる。このような運用においては、あまり顧客を待たせることなく、背景置換画像を素早く提示できることが望ましいが、一方で、この提示を素早くした分、プリント等といった手段によって顧客に最終的に提供される背景置換画像の画質が低下してしまっては本末転倒である。このように、背景置換処理については、背景置換画像の顧客への提示を素早く行なうことができ、かつ、最終的には、画質の良好な背景置換画像を顧客に提供できるという優れた運用性が望まれている。
【０００８】
本発明は、上記事情に鑑み、運用性に優れた背景置換装置、コンピュータをそのような背景置換装置として動作させる背景置換プログラム、その背景置換プログラムが記憶されてなる背景置換プログラム記憶媒体、および、運用性に優れた背景置換方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成する本発明の背景置換装置は、複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
被写体色と背景色との混合比を決定する、互いに決定時間が異なる複数の決定方法のうちいずれか１つの決定方法を選択する決定方法選択部と、
上記画像取得部によって取得された複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像に対して、上記決定方法選択部で選択された決定方法で混合比を決定し、決定した混合比を用いて撮影画像の背景を別の背景に置換する背景置換部とを備えたことを特徴とする。
【００１０】
ここで、「決定方法を選択する」とは、ユーザによる選択操作に応じた選択であってもよいし、選択ルールに従った自動選択であっても良い。
【００１１】
モニター画面上等で顧客に背景置換画像を何度か提示し、最終的に顧客が気に入った背景置換画像をプリント等といった手段によって顧客に提供するという運用では、提示のための背景置換画像については即時性が求められ、最終的に顧客に提供される背景置換画像については高画質が求められる。このように、上記のような運用において作成される背景置換画像は、求められる特性が使用目的に応じて異なる。ここで、上記混合比は置換後の画質に大きな影響を与えるものであり、また、その混合比の決定時間は、背景の置換処理の処理時間のかなりの部分を占める。上記の本発明の背景置換装置によれば、混合比の決定時間が互いに異なる複数の決定方法のうちから１つの決定方法が選択され、その選択された決定方法を用いた背景の置換処理が行なわれる。これにより、例えば、顧客への提示用の背景置換画像を作成するときには、混合比の決定時間が短い決定方法を上記決定方法選択部で選択することで背景置換処理の処理時間の短縮を図り、顧客に背景置換処理を素早く提示することができる。また、最終的に顧客に提供される背景置換画像を作成するときには、上記混合比の決定時間が長い決定方法を上記決定方法選択部で選択することで、背景置換処理において高画質を得るための混合比を時間を掛けて決定し、顧客に高画質の背景置換処理を提供することができる。つまり、本発明の背景置換装置によれば、背景置換画像の顧客への提示を素早く行なうことができ、かつ、最終的には、画質の良好な背景置換画像を顧客に提供することができ、運用性に優れている。
【００１２】
また、本発明の背景置換装置において、「上記所定の撮影条件下で撮影された撮影画像に、上記決定方法選択部で選択された決定方法を示す決定情報と、その決定方法で決定された混合比とを付加して保存する画像保存部を備え、
上記背景置換部が、上記画像保存部によって保存された撮影画像についての再度の背景の置換処理も実行するものであり、その再度の背景の置換処理の際には、その撮影画像に付加されている決定情報が示す決定方法における混合比の決定時間以下の決定時間の決定方法が上記決定方法選択部で選択された場合には、その撮影画像に付加されている混合比を用いて背景の置換処理を実行し、その撮影画像に付加されている決定情報が示す決定方法における混合比の決定時間よりも長い決定時間の決定方法が上記決定方法選択部で選択された場合には、その選択された決定方法で混合比を決定し、決定した混合比を用いて背景の置換処理を実行するものである」という形態は好ましい形態である。
【００１３】
上述したように、背景置換処理は、顧客の要望によって、置換用の背景を変えながら何度か繰り返されることがある。また、過去に顧客に提供した背景置換画像についての再注文において、顧客の要望によって、背景置換画像中の背景をさらに別の背景に置換するという再置換処理が行なわれることもある。上記の好ましい形態の背景置換処理によれば、上記のような背景置換処理の繰返しや再置換処理の際には、上記画像保存部によって保存された撮影画像とその撮影画像に付加された混合比が再利用され、処理の効率化が図られる。また、混合比の再利用について、その混合比が決定されたときの決定時間以下の決定時間に対応する決定方法が上記決定方法選択部で選択された場合に限り、その混合比を再利用するという制限を設けることにより、再度の背景の置換処理で得られる背景置換画像の画質が、過去に得られた背景置換画像の画質よりも低下してしまうことが回避される。
【００１４】
また、本発明の背景置換装置において、「上記複数の決定方法のうちの１つの決定方法が、撮影画像中の色は真の被写体色と背景色が上記混合比で混合した混合色であるという前提で真の被写体色と混合比とを決定する決定方法である」という形態も好ましい形態である。
【００１５】
この好ましい形態の背景置換装置によれば、上記決定方法選択部で、上記のような前提で真の被写体色と混合比とを決定する決定方法を選択し、その選択された決定方法を用いて背景の置換処理を行なうことにより画質の良好な背景置換画像を作成することができる。
【００１６】
また、本発明の背景置換装置において、「上記複数の決定方法のうちの１つの決定方法が、上記画像取得部で取得された撮影画像を縮小した縮小画像を用いて上記混合比を決定する決定方法である」という形態や、
「上記画像取得部で取得された撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別する領域区別部を備え、
上記複数の決定方法のうちの１つの決定方法が、上記背景領域、上記被写体領域、および上記境界領域に対し、それぞれ、純粋な背景色を表わす混合比、純粋な被写体色を表わす混合比、および一定の混合比を割り当てるという混合比の決定方法である」という形態も好ましい形態である。
【００１７】
これらの好ましい形態の背景置換装置によれば、上記決定方法選択部で、上記のような各方法を選択し、その選択された決定方法を用いて背景の置換処理を行なうことにより、背景置換処理の処理時間の短縮を図り、顧客に背景置換処理を素早く提示することができる。上記縮小画像を用いる決定方法では、上記混合比を決定する際に扱う画像データの量が少なくてすむので、混合比の決定時間の短縮、延いては背景置換処理の処理時間の短縮が図られる。また、領域に混合比を割り当てる決定方法では、混合比の決定が、上記領域区別部で区別された各領域に、予め用意された混合比を割り当てるという単純な処理となるので、混合比の決定時間の短縮、延いては背景置換処理の処理時間の短縮が図られる。
【００１８】
また、上記目的を達成する本発明の背景置換プログラムは、コンピュータに組み込まれ、そのコンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
被写体色と背景色との混合比を決定する、互いに決定時間が異なる複数の決定方法のうちいずれか１つの決定方法を選択する決定方法選択部と、
上記画像取得部によって取得された複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像に対して、上記決定方法選択部で選択された決定方法で混合比を決定し、決定した混合比を用いて撮影画像の背景を別の背景に置換する背景置換部とを構築することを特徴とする。
【００１９】
この本発明の背景置換プログラムによれば、上述した、運用性に優れた背景置換装置を容易に実現することができる。
【００２０】
また、上記目的を達成する本発明の背景置換プログラム記憶媒体は、コンピュータに組み込まれ、そのコンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
被写体色と背景色との混合比を決定する、互いに決定時間が異なる複数の決定方法のうちいずれか１つの決定方法を選択する決定方法選択部と、
上記画像取得部によって取得された複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像に対して、上記決定方法選択部で選択された決定方法で混合比を決定し、決定した混合比を用いて撮影画像の背景を別の背景に置換する背景置換部とを構築する背景置換プログラムが記憶されてなることを特徴とする。
【００２１】
本発明の記録媒体は、ＦＤ（フレキシブルディスク）、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＤＶＤ等といった記憶媒体の他、ハードディスクやメモリチップ等であっても良い。
【００２２】
また、上記目的を達成する本発明の背景置換方法は、複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得過程と、
被写体色と背景色との混合比を決定する、互いに決定時間が異なる複数の決定方法のうちいずれか１つの決定方法を選択する決定方法選択過程と、
上記画像取得過程によって取得された複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像に対して、上記決定方法選択過程で選択された決定方法で混合比を決定し、決定した混合比を用いて撮影画像の背景を別の背景に置換する背景置換過程とを備えたことを特徴とする。
【００２３】
この本発明の背景置換方法によれば、背景置換画像の顧客への提示を素早く行なうことができ、かつ、最終的には、画質の良好な背景置換画像を顧客に提供することができ、運用性に優れている。
【００２４】
なお、上記の本発明の背景置換プログラム、本発明の背景置換プログラム記憶媒体、および本発明の背景置換方法については、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう背景置換プログラム、背景置換プログラム記憶媒体、および背景置換方法には、前述した背景置換装置の各形態に対応する各種の形態が含まれる。
【発明の効果】
【００２５】
以上、説明したように、本発明によれば、運用性に優れた背景置換装置、コンピュータをそのような背景置換装置として動作させる背景置換プログラム、その背景置換プログラムが記憶されてなる背景置換プログラム記憶媒体、および、運用性に優れた背景置換方法を提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下図面を参照して本発明の実施の形態を説明する。
【００２７】
図１は、本発明の背景置換装置の一実施形態が適用された撮影システムを示す図である。
【００２８】
この図１に示す撮影システム１は、被写体を撮影して撮影画像を取得する撮影スタジオ１０と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成する、本発明の背景置換装置の一実施形態として動作するパーソナルコンピュータ２０と、プリンタ３０と、サーバ４０とを備えている。また、撮影スタジオ１０は、デジタルカメラ１１と、閃光発光装置１２と、ＥＬ（エレクトロルミネセンス）パネル１３０と、このＥＬパネル用の電源１４を備えている。
【００２９】
デジタルカメラ１１は、連写機能を有しており、カメラマンがシャッタボタンを１回押すと、短時間の間に自動で被写体Ｐを２回撮影する。１回毎の撮影によって得られた撮影画像はデジタルカメラ１１内のメモリに一時的に保存されるが、撮影システム１では、デジタルカメラ１１がパーソナルコンピュータ２０に接続されており、２回の撮影が終了した時点で、この２回の撮影で得られた撮影画像は、このパーソナルコンピュータ２０に直ちに送られる。また、デジタルカメラ１１は閃光発光装置１２にも接続されており、デジタルカメラ１１は、閃光発光装置１２に対して閃光を発するように指示する指示信号を、その閃光発光装置１２に撮影の度に発信する。
【００３０】
ここで、本実施形態では、撮影スタジオ１０について省スペース化が図られており、デジタルカメラ１１は被写体を近距離から若干見下ろし気味に撮影することとなる。その結果、デジタルカメラ１１で撮影される撮影画像には、画像の幅が、下に向かうほど狭まる、いわゆる台形歪みが生じている可能性が高い。本実施形態では、この台形歪みは、パーソナルコンピュータ２０において補正される。
【００３１】
閃光発光装置１２は、デジタルカメラ１１から指示信号を受けて被写体Ｐに向かって閃光を発する。ここで、この閃光発光装置１２は、１回発光する度に充電される必要があり、１回発光すると、次に発光できるようになるまで時間がかかる。デジタルカメラ１１からは、上記の２回の撮影の際、撮影の度に上記の指示信号が発信されるが、閃光発光装置１２は１回目の撮影の時だけ閃光を発し、２回目の撮影時には、充電が間に合わないために、閃光発光装置１２は消灯したままでいることとなる。また、この閃光発光装置１２が発する閃光は、発光の輝度がおよそ２０００ｃｄ／ｍ2という高輝度の光である。
【００３２】
ＥＬパネル１３０は、被写体Ｐが載る載置面１３１ａと被写体Ｐの背後の面１３１ｂとが透明な筐体１３１、および、その筐体１３１内に収納された分散型ＥＬ素子１３２からなる。また、電源１４は、この分散型ＥＬ素子１３２に駆動電圧を印加する電源である。また、筐体１３１の、被写体Ｐの背後の面１３１ｂの四隅にはこの面１３１ｂの範囲を示す４つのマーカ１３１ｃが配置されている。これら４つのマーカ１３１ｃは、撮影の際に被写体Ｐとともに撮影画像に写り、その撮影画像に対する、上記の台形歪みの補正等に利用されるものである。
【００３３】
分散型ＥＬ素子１３２は、蛍光体粉末が高誘電率のバインダー中に分散されたものが、可撓性のプラスチックを基板とした２枚のシート形状の電極の間に挟み込まれて構成されたシート状の面発光光源である。この分散型ＥＬ素子１３２は、それら２枚の電極間に、電源１４から交流電圧が印加されることにより発光する。
【００３４】
この分散型ＥＬ素子１３２は、厚みが数百μｍ〜１ｍｍという非常に薄くて軽い光源であり、筐体１３１の内部のように、厚みに余裕のない場所に容易に設置することができる。この他、分散型ＥＬ素子１３２には、発光時の発熱が２℃程度と軽微である、発光開始から最高輝度に達するまでの応答速度が速い、発光の寿命がほぼ一定しており計画的な交換が可能、局所発光が可能、衝撃や振動に強い、消費電力が５０Ｗ／ｍ2（周波数が５０Ｈｚの交流電力印加時）と小さい等、性能面での様々な利点がある。さらに、分散型ＥＬ素子１３２には、簡単な製造工程で製造することができるため製造コストが安いという経済面での利点もある。
【００３５】
また、一般的な分散型ＥＬ素子は、製造時に発光色の異なる複数の蛍光体粉末をさらに混合することで発光色を白色を含む様々な色に調整することが可能であるが、本実施形態における分散型ＥＬ素子１３２では、このような色調整のための蛍光体粉末は未混合である。この結果、この分散型ＥＬ素子１３２は、発光波長が４００ｎｍ〜５３０ｎｍの間に２つ以上の発光ピークを有することとなる。この光は、分散型ＥＬ素子本来の、青から緑の間の色の光であり、本実施形態における分散型ＥＬ素子１３２は、上記の２つ以上の発光ピークからなる青緑色の光を発光する。ここで、青緑色は、人物の肌の色の補色であるため、本実施形態の撮影システム１によれば、人物を被写体として撮影した際等に、撮影画像中の被写体と背景とを高い確度で区別することができる、背景が青緑色の撮影画像が得られる。また、上記の色調整のための蛍光体粉末は発光色の輝度を低下させる傾向があるが、本実施形態における分散型ＥＬ素子１３２は、このような蛍光体粉末が未混合であるので分散型ＥＬ素子本来の輝度で発光することとなる。
【００３６】
電源１４は、分散型ＥＬ素子１３２に印加する交流電圧を、周波数について５０Ｈｚ〜１０ｋＨｚの間、大きさについて４０Ｖ〜３００Ｖの間で調整することができる。分散型ＥＬ素子１３２の発光の輝度は、印加される交流電圧の大きさにほぼ比例する。本実施形態の撮影スタジオ１０では、電源１４において、交流電圧が、周波数については１．２ｋＨｚ〜１．５ｋＨｚのうちのいずれかの周波数、大きさについては１３０Ｖ〜２００Ｖのうちのいずれかの大きさに調整されており、その結果、分散型ＥＬ素子１３２の発光の輝度が、５００ｃｄ／ｍ2〜６００ｃｄ／ｍ2のうちのいずれかの輝度に調整されている。
【００３７】
ここで、本実施形態の撮影スタジオ１０では、デジタルカメラ１１による撮影は、ＥＬパネル１３０が常時点灯した状態で行なわれる。また、上述したように、１回目の撮影は閃光発光装置１２が閃光を発した状態で行なわれ、２回目の撮影は閃光発光装置１２が消えた状態で行なわれる。さらに、この撮影スタジオ１０では、閃光発光装置１２が発する閃光の輝度は、ＥＬパネル１３０が点灯したときの輝度よりもかなり高い。この結果、１回目の撮影では、ＥＬパネル１３０の輝度よりも高い輝度の閃光が、デジタルカメラ１１側から被写体Ｐを照らすという順光状態での撮影による、被写体Ｐがきれいに写った順光撮影画像が取得される。また、この１回目の撮影に連続して行なわれる２回目の撮影では、ＥＬパネル１３０からの光のみが被写体Ｐを後方から照らすという逆光状態での撮影による、被写体Ｐの像がシャドウ側に偏り、背景パネル１３０の像がハイライト側に偏った逆光撮影画像が取得される。
【００３８】
パーソナルコンピュータ２０は、上述したように本発明の背景置換装置の一実施形態として動作するものである。このパーソナルコンピュータ２０は、デジタルカメラ１１から渡された上記の２つの撮影画像に対して、上記の台形歪みについての補正を含む画像補正処理を施す。この画像補正処理については後述する。
【００３９】
さらに、パーソナルコンピュータ２０において、この補正済みの撮影画像に基づいて、背景が、顧客が所望する別の背景に置換された背景置換画像が作成されるが、本実施形態では、この補正済みの撮影画像について、次のような３種類の背景置換画像が作成される。
【００４０】
まず、画質は他の背景置換画像よりも劣るものの、最短で作成可能で、撮影後、直ぐに顧客に提示される表示用置換画像が作成される。この表示用置換画像は、顧客が気に入った置換用の背景を見つけるまで繰返し作成され顧客に提示される。
【００４１】
置換用の背景が決定されると、顧客にあまり違和感を与えない程度の画質を有し、顧客にあまり負担を与えることのない程度の時間で作成できる、最終的な確認のために顧客に提示される確認用背景置換画像が作成される。
【００４２】
ここまでの処理で、顧客とのやり取りが終了し、その後、このやり取りで決定された背景が使われて、作成には最も時間を要するが、画質が最も優れている出力用置換画像が作成される。そして、この出力用置換画像が出力され、顧客に提供される。
【００４３】
ここで、表示用置換画像の作成から出力用置換画像の作成に至る一連の背景置換処理については後述する。
【００４４】
このパーソナルコンピュータ２０は、外観構成上、フレキシブルディスク（以降、ＦＤと呼ぶ）やＣＤ−ＲＯＭの装填口を有し、その装填口に装填されたＦＤやＣＤ−ＲＯＭへのアクセス機能を有する本体装置２１０、その本体装置２１０からの指示に応じて表示画面２２０ａ上に画像を表示する画像表示装置２２０、本体装置２１０にキー操作に応じた各種の情報を入力するキーボード２３０、表示画面２２０ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス２４０、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ２５０を備えている。
【００４５】
プリンタ３０は、パーソナルコンピュータ２０から送られてくる画像をプリントするものであり、撮影システム１では、パーソナルコンピュータ２０が背景置換処理によって作成した背景置換画像をプリントする役割を担っている。
【００４６】
サーバ４０には、パーソナルコンピュータ２０で実行される背景置換処理で使用される複数種類の背景が格納されている。このサーバ４０内の背景は、表示画面２２０ａ上に表示されることによって顧客に提示される。また、この撮影システム１では、サーバ４０内に格納されている背景以外にも、上記のＣＤ−ＲＯＭや上記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面２２０ａを通じて顧客に提示される。顧客は、表示画面２２０ａ上に表示されたそれらの背景の中から所望の背景を選ぶ。
【００４７】
次に、この図１に示す撮影システム１で実行される、本発明の背景置換方法の一実施形態が適用された作業の流れについて説明する。尚、以下の説明では、図１に示す要素については特に図番を断らずに図１中の符号を使って参照する。
【００４８】
図２は、図１の撮影システムで実行される、本発明の背景置換方法の一実施形態が適用された作業の流れを示すフローチャートである。
【００４９】
この図２のフローチャートが示す作業は、撮影スタジオ１０において、被写体Ｐ、デジタルカメラ１１、および閃光発光装置１２がそれぞれ適当な位置に配置されていることを前提として行なわれる。
【００５０】
まず、電源１４から分散型ＥＬ素子１３２に電圧が印加され、ＥＬパネル１３０が点灯する（ステップＳ１０１）。次に、カメラマンが、ピントや露光の調節等を行なった後にデジタルカメラ１１のシャッタボタンを押すと、被写体Ｐに対する撮影が２回連続して行なわれる。まず１回目の撮影では、デジタルカメラ１１から発信される指示信号に応じて閃光発光装置１２がＥＬパネル１３０の照明よりも高輝度の閃光を発し、この閃光による順光状態で被写体Ｐが撮影される（ステップＳ１０２）。続いて、２回目の撮影が、閃光発光装置１２が消灯した状態、即ち、ＥＬパネル１３０のみの照明による逆光状態で行なわれる（ステップＳ１０３）。ステップＳ１０２およびステップＳ１０３の処理でそれぞれ得られた、順光撮影画像と逆光撮影画像との２つの撮影画像は、デジタルカメラ１１内のメモリに一時的に保存される。
【００５１】
以上に説明したステップＳ１０１〜ステップＳ１０３の処理は、撮影スタジオ１０において行なわれる、写真館の店員等といった人手による撮影処理である。
【００５２】
次に、このフローチャートにおけるステップＳ１０４以降の処理について説明するが、この以下に説明する処理のうち、ステップＳ１０４からステップＳ１１０に至る処理が、本発明の背景置換方法の一実施形態に相当する。
【００５３】
上記の撮影処理で得られた２つの撮影画像は、その撮影処理が終了すると直ちにパーソナルコンピュータ２０に渡される。さらに、サーバ４０に保存されている複数の背景の中から、顧客が所望する背景が読み出される（ステップＳ１０４）。このステップＳ１０４の処理が、本発明の背景置換方法における画像取得過程の一例に相当する。
【００５４】
続いて、２つの撮影画像に、上記の台形歪みについての補正を含む後述の画像補正処理が施される（ステップＳ１０５）。
【００５５】
次に、被写体色と背景色との合成比を決定する決定方法が、決定時間が互いに異なる３種類の決定方法のうちから１つ選択される（ステップＳ１０６）。尚、ここでいう合成比は、本発明にいう「混合比」の一例に相当する。また、このステップＳ１０６の処理が、本発明の背景置換方法における決定方法選択過程の一例に相当する。
【００５６】
３種類の決定方法それぞれで決定される合成比による各背景置換画像は、決定時間が長いものほど画質が高い。そこで、本実施形態では、背景置換画像の使用目的に応じた決定方法が選択される。即ち、上記の表示用置換画像を作成する際には、３種類の決定方法のうちで最短で合成比を決定する第１の決定方法が選択され、上記の確認用背景置換画像を作成する際には、この第１の決定方法よりも若干合成比の決定に時間を要する第２の決定方法が選択され、上記の出力用置換画像を作成する際には、合成比を精密に決定するために、３種類の決定方法のうち決定時間が最長となる第３の決定方法が選択される。
【００５７】
ここで、上記のステップＳ１０６の処理では、上記のステップＳ１０５の画像補正処理に続いて決定方法の選択が実行される場合には、上記の３種類の決定方法のうち第１の決定方法が選択される。
【００５８】
そして、このステップＳ１０６の処理で選択された決定方法を用いて合成比を決定し、その合成比を使って背景を置換する背景置換処理が、２つの補正済みの撮影画像のうち、補正済みの順光撮影画像に施される（ステップＳ１０７）。このステップＳ１０７の処理が、本発明の背景置換方法における背景置換過程の一例に相当する。
【００５９】
さらに、作成された背景置換画像を表わす画像データが画像表示装置２２０に転送され（ステップＳ１０８）、表示画面２２０ａ上に表示される（ステップＳ１０９）。
【００６０】
また、ステップＳ１０７の処理で、背景置換処理の対象となった補正済みの順光撮影画像に、その背景置換処理で用いられた合成比の決定方法を示す決定情報と、その背景置換処理において決定された合成比とが付加されて保存用データが作成され、その保存用データが保存される（ステップＳ１１０）。
【００６１】
ステップＳ１１０までの処理が終了すると、オペレータに対して背景置換処理を終了するか否かが問われる（ステップＳ１１１）。このとき、例えば、顧客が、現在、表示されている背景置換画像の背景が気に入らなかった等といった理由により、再度の背景置換処理が必要となった場合には、オペレータが、背景置換処理を続行する旨を伝える（ステップＳ１１１におけるＮｏ判定）。この場合には、顧客の要望に応じて、現在の背景置換画像における背景とは別の背景が、サーバ４０から読み出される（ステップＳ１１２）。そして、上述した、ステップＳ１０７〜ステップＳ１１０に至る処理が、再度実行される。ただし、この再度の処理では、初回の処理時に保存された順光撮影画像に付加されている合成比が、ステップＳ１０７での背景置換処理において使われ、この背景置換処理における合成比の決定処理が省略される。また、この再度の処理においては、上記の決定情報、合成比、および背景置換の元となる補正済みの順光撮影画像は、初回の処理の際に保存された保存用データをなす決定情報、合成比、および補正済みの順光撮影画像と同じであるので、ステップＳ１１０における保存処理が省略される。
【００６２】
このステップＳ１０７〜ステップＳ１１２の処理は、顧客が、表示用置換画像の背景を気に入り、オペレータが、背景置換処理を終了する旨を伝える（ステップＳ１１１におけるＹｅｓ判定）まで繰り返される。
【００６３】
オペレータが、背景置換処理を終了する旨を伝えると、上記の確認用背景置換画像が既に作成済みであるか否かが判定される（ステップＳ１１３）。ここで、表示用置換画像の作成と表示による、置換用の背景の決定が終了した段階では、未だ確認用背景置換画像が作成されていないので、この段階ではステップＳ１１３において、確認用背景置換画像は作成済みではないと判定される（ステップＳ１１３におけるＮｏ判定）。そして、この場合には、ステップＳ１０６まで処理が戻り、決定方法の選択が再度実行される。ただし、ステップＳ１１３からステップＳ１０６に処理が戻って決定方法の選択が実行される場合には、このステップＳ１０６では、上記の第２の決定方法が選択される。そして、ステップＳ１０７において、この第２の決定方法を用いた背景置換処理が実行され、確認用背景置換画像が作成され、ステップＳ１０９において表示画面２２０ａに表示される。さらに、ステップＳ１１０における保存用データの保存処理では、初回の処理の際に保存された保存用データをなす決定情報、合成比、および補正済みの順光撮影画像のうち、決定情報と合成比とのそれぞれが、第２の決定方法を示す決定情報と、その決定方法で決定された合成比とに書き換えられる。
【００６４】
また、確認用背景置換画像の作成が終了した段階では、ステップＳ１１１において、オペレータによって過去になされた操作に応じて置換処理の終了が判定され（ステップＳ１１１におけるＹｅｓ判定）、さらに、ステップＳ１１３において確認用背景置換画像が有ると判定される（ステップＳ１１３におけるＹｅｓ判定）。すると、次には、最終的に顧客に提供するための上記の出力用置換画像が有るか否かが判定される（ステップＳ１１４）。ここで、確認用背景置換画像の作成が終了した段階では、未だ出力用置換画像が作成されていないので、この段階ではステップＳ１１４において、出力用置換画像は無いと判定される（ステップＳ１１４におけるＮｏ判定）。そして、この場合には、ステップＳ１０６まで処理が戻り、決定方法の選択が再度実行される。ただし、ステップＳ１１４からステップＳ１０６に処理が戻って決定方法の選択が実行される場合には、上記の第３の決定方法が選択され、ステップＳ１０７において、第３の決定方法を用いた背景置換処理が実行されて出力用置換画像が作成される。そして、ステップＳ１０９においてその出力用置換画像が表示画面２２０ａに表示された後、ステップＳ１１０において、既に保存されている決定情報が、第３の決定方法を示す決定情報に書き換えられ、さらに、出力用置換画像の作成時に決定された最終的な合成比が追加保存される。
【００６５】
以上説明した出力用置換画像の作成処理までが終了すると、ステップＳ１１１では置換処理の終了が判定され（ステップＳ１１１におけるＹｅｓ判定）、ステップＳ１１３では確認用背景置換画像が有ると判定され（ステップＳ１１３におけるＹｅｓ判定）、さらに、ステップＳ１１４では出力用置換画像が有ると判定される（ステップＳ１１４におけるＹｅｓ判定）。
【００６６】
そして、作成された出力用置換画像を表わす画像データが、プリンタ３０と、顧客が希望する出力用記憶媒体とのうちの少なくとも１つに転送される（ステップＳ１１５）。そして、出力用置換画像を表わす画像データがプリンタ３０に転送された場合に、プリンタ３０において、その画像データに基づいて出力用置換画像がプリントされる（ステップＳ１１６）。
【００６７】
ここで、上記のステップＳ１０６の決定方法選択処理が、本発明の背景置換方法における決定方法選択過程の一例に相当し、上記のステップＳ１０７の背景置換処理が、本発明の背景置換方法における背景置換過程の一例に相当する。
【００６８】
本発明の背景置換方法の一実施形態を含むステップＳ１０４〜ステップＳ１１５の処理は、パーソナルコンピュータ２０において実行される処理であり、以下では、これらの処理を実行するパーソナルコンピュータ２０と、それらの処理の詳細に注目して説明する。
【００６９】
まず、このパーソナルコンピュータ２０の内部構成について説明する。
【００７０】
図３は、図１に示すパーソナルコンピュータのハードウェア構成図である。
【００７１】
この図３に示すように、本体装置２１０の内部には、各種プログラムを実行するＣＰＵ２１１、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開される主メモリ２１２、各種プログラムやデータ等が保存されたハードディスク装置２１３、ＦＤ５２０が装填され、その装填されたＦＤ５２０をアクセスするＦＤドライブ２１４、ＣＤ−ＲＯＭ５１０をアクセスするＣＤ−ＲＯＭドライブ２１５、図１のサーバ４０やデジタルカメラ１１と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース２１６、および、図１のプリンタ３０と接続され、背景置換画像等を出力する出力インタフェース２１７が内蔵されており、これらの各種要素と、さらに図１にも示す画像表示装置２２０、キーボード２３０、マウス２４０、および、小型記憶メディア５３０をアクセスするメディアドライブ２５０は、バス２６０を介して相互に接続されている。
【００７２】
ここで、上記のＣＤ−ＲＯＭ５１０は、パーソナルコンピュータ２０を、本発明の背景置換装置の一実施形態として動作させるための、本発明の背景置換プログラムの一実施形態が記憶されてなる、本発明の背景置換プログラム記憶媒体の一実施形態に相当する。
【００７３】
そして、そのＣＤ−ＲＯＭ５１０がＣＤ−ＲＯＭドライブ２１５に装填されると、そのＣＤ−ＲＯＭ５１０に記憶されたプログラムがこのパーソナルコンピュータ２０にアップロードされてハードディスク装置２１３に書き込まれる。これにより、パーソナルコンピュータ２０は背景置換装置として動作する。
【００７４】
次に、本発明の背景置換プログラムの一実施形態、および、本発明の背景置換プログラム記憶媒体の一実施形態について説明する。
【００７５】
図４は、本発明の背景置換プログラムの一実施形態が記憶された、本発明の背景置換プログラム記憶媒体の一実施形態を示す概念図である。
【００７６】
図４に示すＣＤ−ＲＯＭ５１０は、本発明の背景置換プログラムの一実施形態である背景置換プログラム６００が記憶されたものであり、本発明の背景置換プログラム記憶媒体の一実施形態に相当する。
【００７７】
この背景置換プログラム６００は、画像取得部６１０、画像補正部６２０、決定方法選択部６３０、置換処理部６４０、画像保存部６５０、画像データ転送部６６０、および画像表示部６７０で構成されている。
【００７８】
この背景置換プログラム６００の各部の詳細については、本発明の背景置換装置の一実施形態の各部の作用と併せて説明する。尚、以下の説明では、図１、図３、および図４に示す要素については特に図番を断らずに各図中の符号を使って参照する。
【００７９】
図５は、図４に示す背景置換プログラムが図１および図３に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明の背景置換装置の一実施形態として動作するときの機能を表わす機能ブロック図である。また、この図５には、図１にも示す、デジタルカメラ１１、閃光発光装置１２、およびＥＬパネル１３０からなる撮影スタジオ１０と、プリンタ３０と、サーバ４０と、図３にも示すハードディスク装置２１３も示されている。
【００８０】
この図５に示す背景置換装置７００は、上述したように、撮影スタジオ１０のデジタルカメラ１１によって順光および逆光それぞれの下で撮影された順光撮影画像と逆光撮影画像とを取得して、これらの２つの撮影画像のうち、逆光撮影画像に基づいて、順光撮影画像における被写体と背景とを区別して、その背景を所望の背景に置換するという背景置換処理を実行するものであり、画像取得部７１０、画像補正部７２０、決定方法選択部７３０、置換処理部７４０、画像保存部７５０、画像データ転送部７６０、および画像表示部７７０を備えている。
【００８１】
画像取得部７１０は、まず、デジタルカメラ１１で撮影され、そのデジタルカメラ１１から渡される２つの撮影画像を受け取る。また、この画像取得部７１０は、顧客が所望する背景を、サーバ４０から、あるいは、ＣＤ−ＲＯＭや小型記憶メディア等といった入力用記憶媒体５４０から読み出す。この画像取得部７１０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像取得部６１０に従って、入力インタフェース２１６、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。この画像取得部７１０は、本発明の背景置換装置における画像取得部の一例に相当し、また、この画像取得部７１０によって、本発明の背景置換方法における画像取得過程の一例である、図２のフローチャートにおけるステップＳ１０４の画像取得処理が実行される。
【００８２】
画像補正部７２０は、画像取得部７１０で受け取られた２つの撮影画像それぞれに、台形歪みについての補正を含む後述の画像補正処理を施すものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像補正部６２０に従って動作することによって構成される。また、この画像補正部７２０によって、図２のフローチャートにおけるステップＳ１０５の画像補正処理が実行される。この画像補正部７２０の詳細については、画像補正処理の詳細とともに別図を参照して後述する。
【００８３】
決定方法選択部７３０は、上記の表示用置換画像を作成するための第１の決定方法と、上記の確認用背景置換画像を作成するための第２の決定方法と、上記の出力用置換画像を作成するための第３の決定方法との３つの決定方法のうちから、いずれか１つの決定方法を選択するものである。ここで、決定方法選択部７３０が３つの決定方法のうちからどの決定方法を選択するかは、図２のフローチャートを参照して説明した処理の進行によって決まり、処理の進行応じて、第１の決定方法と第２の決定方法と第３の決定方法とが順次に選択される。決定方法選択部７３０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の決定方法選択部６３０に従って動作することによって構成されるものであり、本発明の背景置換装置における決定方法選択部の一例に相当する。また、この決定方法選択部７３０によって、本発明の背景置換方法における決定方法選択過程の一例である、図２のフローチャートにおけるステップＳ１０６の決定方法選択処理が実行される。
【００８４】
置換処理部７４０は、画像補正部７２０での画像補正処理を経た２つの撮影画像のうち、補正済みの順光撮影画像に対して、決定方法選択部７３０で選択された決定方法を用いた背景の置換処理を施すものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の置換処理部６４０に従って動作することによって構成される。この置換処理部７４０は、本発明の背景置換装置における背景置換部の一例に相当し、また、この置換処理部７４０によって、本発明の背景置換方法における背景置換過程の一例に相当である、図２のフローチャートにおけるステップＳ１０７の背景置換処理が実行される。この置換処理部７４０の詳細については、上記の３つの決定方法の詳細とともに別図を参照して後述する。
【００８５】
画像保存部７５０は、補正済みの順光撮影画像に、決定方法選択部７３０で選択された決定方法を示す決定情報と、背景置換処理において決定された合成比とを付加して保存用データを作成し、その保存用データをハードディスク装置２１３に保存する。この画像保存部７５０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像保存部６５０に従って動作することによって構成され、本発明の背景置換装置における画像保存部の一例に相当する。また、この画像保存部７５０によって、図２のフローチャートにおけるステップＳ１１０の画像保存処理が実行される。この画像保存処理部７５０の詳細については、別図を参照して後述する。
【００８６】
画像データ転送部７６０は、上記の置換処理部７４０で作成される背景置換画像を表わす画像データを画像表示部７７０に転送し、この背景置換画像のうち、上記の出力用置換画像については、その画像を表わす画像データをプリンタ３０および顧客が希望する出力用記憶媒体５５０のうちの少なくとも一方に転送する。この画像データ転送部７６０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像データ転送部６４０に従って、出力インタフェース２１７、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。また、この画像データ転送部７６０によって、図２のフローチャートにおけるステップＳ１１５の画像データ転送処理が実行される。
【００８７】
画像表示部７７０は、画像データ転送部７６０から転送されて来る画像データに基づいて各画像データが表わす画像を表示するものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像表示部６５０に従って画像表示装置２２０を制御することによって構成される。また、この画像表示部７７０によって、図２のフローチャートにおけるステップＳ１０９の画像表示処理が実行される。
【００８８】
また、上記の画像データ転送部７６０からプリンタ３０に、再置換画像を表わす画像データが出力された場合には、プリンタ３０において、この画像データに基づく再置換画像がプリントされ、上記の画像データ転送部７６０から何らかの出力用記憶媒体５５０に再置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体５５０に書き込まれる。そして、再置換画像がプリントされたプリント紙と、再置換画像を表わす画像データが書き込まれた出力用記憶媒体５５０との両方、あるいは一方が、顧客の希望に応じて提供される。
【００８９】
次に、図５において、それぞれ１つのブロックで示されている画像補正部７２０および置換処理部７４０の詳細について以下に説明する。
【００９０】
図６は、図５に１つのブロックで示す画像補正部の詳細を示す図である。尚、以下の説明では、図５に示す要素については特に図番を断らずに図中の符号を使って参照する。
【００９１】
この図６に示す画像補正部７２０は、上述したように、画像取得部７１０で受け取られた順光撮影画像と逆光撮影画像とに、台形歪みについての補正を含む画像補正処理を実行するものであり、マーカ検出部７２１、台形補正処理部７２２、有効画像切出部７２３、および色補正部７２４を備えている。
【００９２】
以下では、この画像補正部７２０の各要素の作用について、上記の台形歪みが生じた順光撮影画像を例として参照しながら説明する。
【００９３】
図７は、台形歪みが生じた順光撮影画像の一例を示す模式図である。
【００９４】
この図７には、画像の幅が、下に向かうほど狭まる台形歪みが生じた撮影画像が模式的に示されている。
【００９５】
まず、マーカ検出部７２１が、撮影画像に写っている４つのマーカ１３１ｃを検出する。本来、これら４つのマーカ１３１ｂを結ぶと長方形が形成されるはずであるが、図７の例では台形歪みのために、４つのマーカ１３１ｂを結ぶと台形になってしまう。
【００９６】
台形補正処理部７２２は、マーカ検出部７２１が検出した４つのマーカ１３１ｃを結んでできる図形が本来の長方形となるように、撮影画像全体に適当な変形を施すことで台形歪みを補正する。
【００９７】
図８は、図７の順光撮影画像における台形歪みが補正された状態を示す模式図である。
【００９８】
背景置換処理に供する撮影画像としては、被写体と背景との区別の容易さ等の点から、背景がＥＬパネル１３０における発光面のみであることが望ましい。しかしながら、本実施形態では、撮影スタジオ１０について省スペース化が図られていることから、ＥＬパネル１３０の大きさに限界があり、撮影画像には、図７や図８に示すように、ＥＬパネル１３０の発光面以外の不要な部分が背景として写ってしまう。
【００９９】
有効画像作成部７２３は、台形補正処理部７２２による補正処理を経た撮影画像から、４つのマーカ１３１ｃで決まる有効範囲Ｅ１の外側の画像が削除された有効画像を作成する。
【０１００】
図９は、図８に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効画像を示す模式図である。
【０１０１】
有効画像作成部７２３によって、この図９に示すような、被写体Ｐの背景が、ＥＬパネル１３０の発光面のみである有効画像が作成されると、次に、色補正部７２４が、この有効画像に対して、例えば人物の目についての赤目補正や、画像全体の色合いを好ましい色合いに補正する等といった色補正処理を施す。
【０１０２】
以上、図７〜図９の順光撮影画像を参照して、画像補正部７２０で行なわれる画像補正処理について説明したが、本実施形態では、順光撮影画像とともに撮影された逆光撮影画像にも、順光撮影画像に施された画像補正処理と全く同じ処理が施される。ただし、この逆光撮影画像では、被写体は黒くつぶれて写ることとなるので、上記の色補正部７２４での処理は、この逆光撮影画像に対しては除外される。
【０１０３】
図１０は、図６の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画像を示す模式図である。
【０１０４】
この図１０に示すように、補正済みの逆光撮影画像は、被写体Ｐの領域がシャドウ側に偏り、背景としてＥＬパネル１３０が写っている領域がハイライト側に偏った画像となっている。ここで、上記の図７〜図９の順光撮影画像では、ＥＬパネル１３０の発光の輝度が閃光発光装置１２が発する閃光の輝度よりも低いため、ＥＬパネル１３０の発光面は実際の発光色よりも白っぽく写るのに対し、この図１０に示す逆光撮影画像では、ＥＬパネル１３０の実際の発光色である青緑色に写る。
【０１０５】
このように、図１０に示す補正済みの逆光撮影画像では、被写体Ｐの領域と、背景領域とでは、明るさが大きく異なるので両者を容易に区別することができる。また、補正済みの逆光撮影画像では、画像中の被写体Ｐの位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。そこで、本実施形態では、図５の置換処理部７４０において、まず、補正済みの逆光撮影画像について被写体Ｐと背景との区別を行ない、その区別を補正済みの順光撮影画像にそのまま適用することで、この順光撮影画像における被写体Ｐと背景とを区別する。そして、この置換処理部７４０では、順光撮影画像における背景を、顧客が所望する背景と置換して背景置換画像を作成する。
【０１０６】
次に、この置換処理部７４０の詳細について、補正済みの逆光撮影画像における被写体と背景との区別から、背景置換画像の作成に至る背景置換処理に注目して説明する。
【０１０７】
ここで、この置換処理部７４０では、上述したように、上記の表示用置換画像を作成するための第１の決定方法と、上記の確認用背景置換画像を作成するための第２の決定方法と、上記の出力用置換画像を作成するための第３の決定方法との３つの決定方法それぞれを用いた３つの背景置換処理が順次に実行される。以下では、これら３つの背景置換処理のうち、まず、上記の合成比を時間をかけて精密に決定することにより画質の高い上記の出力用置換画像を作成する第３の決定方法を用いた背景置換処理について説明する。第１の決定方法および第２の決定方法は、いずれもこの第３の決定方法を簡略化することによって処理時間の短縮が図られたものであるので、これらの決定方法を用いた背景置換処理については、第３の決定方法を用いた背景置換処理の説明の後に説明する。
【０１０８】
以下の説明では、上記の補正済みの順光撮影画像および補正済みの逆光撮影画像それぞれの一例として、次の画像を参照する。
【０１０９】
図１１は、補正済みの順光撮影画像の一例を示す図であり、図１２は、補正済みの逆光撮影画像の一例を示す図である。
【０１１０】
これら図１１および図１２には、人物の被写体Ｐ’が写っている。ただし、図１２に示す撮影画像は、逆光で撮影されたものであるために、被写体Ｐ’の領域がシャドウ側に偏り、背景としてＥＬパネル１３０が写っている領域がハイライト側に偏った画像となっている。ここで、被写体Ｐ’と背景との境界周辺の様子を、図１１中のエリアＡ１と、この図１１中のエリアＡ１に対応する図１２中のエリアＡ２とについて別図に示す。
【０１１１】
図１３は、図１１中のエリアＡ１の拡大図であり、図１４は、図１２中のエリアＡ２の拡大図である。
【０１１２】
これら図１３および図１４には、被写体Ｐ’の頭髪越しに背景のＥＬパネル１３０が見えている様子が示されている。一般に、撮影画像中には、被写体の一部越しに背景が見えている部分がしばしば見られるが、このような部分は、図１１〜図１４の例に示すように、撮影画像中の被写体と背景との境界周辺に存在する。
【０１１３】
ここで、図１３および図１４は、説明の便宜上、人物の頭髪の一本に至るまで詳細に見える理想的な状態で示されている。しかし、実際の撮影画像では、解像度の制約により、画像を構成する画素が一本の頭髪等といった微細な被写体よりも大きくなる。そのため、例えば、図１３および図１４に示す、頭髪越しに背景のＥＬパネル１３０が見えている部分の画像等は、頭髪という微細な被写体の色と、その背後に見える背景の色とが合成された合成色を有する画素が集まって構成されることとなる。そのため、このような部分では、被写体と背景との単純な区別は不可能となっている。
【０１１４】
図５の置換処理部７４０は、例えば図１１に示すような、補正済みの順光撮影画像の背景を、顧客が所望する背景に置換する際には、まず、この補正済みの順光撮影画像を、被写体領域と、背景領域と、これら２つの領域に挟まれた境界領域とに区別する。置換処理部７４０は、この補正済みの順光撮影画像における被写体領域についてはそのまま残し、背景領域を、顧客が所望する別の背景と置換する。
【０１１５】
このとき、図１３に示すように被写体の一部越しに背景が見えていている部分、即ち、微細な被写体色と背景色とが合成された合成色を有する画素によって構成される部分は、上記のように被写体と背景とに単純に区別することが不可能であることから、置換処理部７４０によって上記の境界領域に区別される。
【０１１６】
置換処理部７４０は、補正済みの順光撮影画像における上記の境界領域内の全ての画素が、上記のような合成色を有しているという前提のもとに、各画素の色の合成の元となった被写体色と、背景色とを推定し、さらに両者の合成比を推定する。ただし、実際の境界領域には、合成色を有する画素の他にも、背景色のみを有する画素や、被写体色のみを有する画素も含まれる。置換処理部７４０では、処理対象の画素が、背景色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「０」となる合成比が推定され、処理対象の画素が、被写体色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「１」となる合成比が推定される。
【０１１７】
そして、置換処理部７４０は、上記の境界領域内の各画素の色を、推定された被写体色と、上記の顧客が所望する別の背景色とが、推定された合成比で合成されてなる合成色に置き換える。この処理では、境界領域中の、背景色のみを有する画素の色は上記の別の背景色に置換され、被写体色のみを有する画素の色はそのまま維持され、さらに、被写体の一部越しに背景が見えていている部分の画素の色は上記の合成色に置換される。この処理の結果、境界領域中に、被写体の一部越しに背景が見えていている部分が含まれていたとしても、その被写体の一部越しに、上記の顧客が所望する別の背景が見えているという自然な背景置換画像が作成される。
【０１１８】
以下、この置換処理部７４０の詳細について説明する。
【０１１９】
図１５は、図５に１つのブロックで示す置換処理部の詳細を示す図である。尚、以下の説明でも、図５に示す要素については特に図番を断らずに図５中の符号を使って参照する。
【０１２０】
この置換処理部７４０は、上述した背景置換処理を実行するものであり、マスク作成部７４１、色推定部７４２、および背景置換画像作成部７４３を備えている。
【０１２１】
まず、これら各構成要素の概要について説明する。
【０１２２】
マスク作成部７４１は、上記の補正済みの逆光撮影画像において、この逆光撮影画像中で、被写体色の画素のみが存在する範囲を定義する被写体マスクと、背景色の画素のみが存在する範囲を定義する背景マスクとを作成する。ここで、これら２つのマスクは、それぞれのマスクが定義する範囲内に、例えば図１４に示すような、被写体越しに背景が見えている部分の画素が含まれないように、互いに隙間を開けて作成される。
【０１２３】
色推定部７４２は、マスク作成部７４１が作成した被写体マスクと背景マスクとを、上記の補正済みの順光撮影画像に適用して、まず、この順光撮影画像において、これら２つのマスク間に開いた隙間、即ち、境界領域を認識する。そして、この境界領域内の全ての画素が合成色を有しているという前提のもとに、各画素の色の合成の元となった被写体色と、背景色とを推定し、さらに両者の合成比を推定する。
【０１２４】
背景置換画像作成部７４３は、まず、上記の補正済みの順光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。次に、境界領域内の各画素について、顧客が所望する背景の色と、上記の色推定部７４２で推定された被写体色とを、色推定部７４２で推定された合成比で合成して合成色を求め、各画素の色をその合成色に置換する。これにより、上記の補正済みの順光撮影画像の背景が、顧客が所望する別の背景に自然に置換された背景置換画像が作成される。
【０１２５】
このように作成された背景置換画像を表わす画像データが、図５の画像データ転送部７４０から、各出力デバイスや出力用記憶媒体５５０（図５参照）に転送される。
【０１２６】
次に、置換処理部７４０の各構成要素の詳細について説明する。
【０１２７】
まず、マスク作成部７４１の詳細について説明する。
【０１２８】
図１６は、図１５に１つのブロックで示すマスク作成部の詳細を示す図である。
【０１２９】
このマスク作成部７４１は、ヒストグラム作成部７４１ａ、閾値計算部７４１ｂ、背景マスク設定部７４１ｃ、被写体マスク設定部７４１ｄ、背景マスク縮小部７４１ｅ、および被写体マスク縮小部７４１ｆを備えている。
【０１３０】
ヒストグラム作成部７４１ａは、上記の補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムを作成する。
【０１３１】
図１７は、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムの様々な例を示す図である。
【０１３２】
この図１７のパート（ａ）には、逆光撮影画像を構成する各画素の輝度を、多数の輝度範囲に振り分け、各輝度範囲についてどれだけの画素が振り分けられたかを頻度で示した輝度ヒストグラムＨ１が示されており、この輝度ヒストグラムＨ１では、横軸Ｈ１＿１に輝度がとられ、縦軸Ｈ１＿２に頻度がとられている。
【０１３３】
ここで、本実施形態では上記の順光撮影画像および逆光撮影画像は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３色で色を定義するＲＧＢ色空間上の座標、即ち、このＲＧＢ色空間におけるＲ値、Ｇ値、およびＢ値で各画素の色が表わされている。各画素の色を表わすＲ値、Ｇ値、およびＢ値それぞれには、その画素の明るさが反映されているので、逆光撮影画像を構成する各画素の明るさについてのヒストグラムを、これらＲ値、Ｇ値、およびＢ値のうちのいずれかを用いて作成することもできる。
【０１３４】
図１７のパート（ｂ）には、逆光撮影画像を構成する各画素のＲ値を、Ｒ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＲ値ヒストグラムＨ２が示されており、図１７のパート（ｃ）には、逆光撮影画像を構成する各画素のＧ値を、Ｇ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＧ値ヒストグラムＨ３が示されており、図１７のパート（ｄ）には、逆光撮影画像を構成する各画素のＢ値を、Ｂ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＢ値ヒストグラムＨ４が示されている。図１７のパート（ｂ）に示すＲ値ヒストグラムＨ２では、横軸Ｈ２＿１にＲ値がとられ、図１７のパート（ｃ）に示すＧ値ヒストグラムＨ３では、横軸Ｈ３＿１にＧ値がとられ、図１７のパート（ｄ）に示すＢ値ヒストグラムＨ４では、横軸Ｈ４＿１にＢ値がとられている。また、これら３つのヒストグラムの縦軸Ｈ２＿２，Ｈ３＿２，Ｈ４＿２には、頻度がとられている。
【０１３５】
本実施形態では、逆光撮影画像では、被写体の背景が、ＥＬパネル１３０の発光色である青緑色に写ることから、この逆光撮影画像の各画素の明るさは、Ｒ値、Ｇ値、およびＢ値のうち、Ｇ値に最も良く反映される。そこで、図１６のヒストグラム作成部７４１ａは、図１７に示す４つのヒストグラムのうち、図１７のパート（ｃ）に示すＧ値ヒストグラムＨ３を作成するように構成されている。
【０１３６】
ここで、このＧ値ヒストグラムＨ３には、他の３つのヒストグラムと同様に、シャドウ側と、ハイライト側とに２つのピークＰｋ１，Ｐｋ２が現れる。シャドウ側のピークＰｋ１は、補正済みの逆光撮影画像における被写体領域の画素が振り分けられて現れるものであり、ハイライト側のピークＰｋ２は、この逆光撮影画像における背景領域の画素が振り分けられて現れるものである。
【０１３７】
図１６に示す閾値計算部７４１ｂは、このヒストグラム作成部７４１ａが作成したＧ値ヒストグラムにおける２つのピークＰｋ１，Ｐｋ２それぞれに基づいて、次の２つの閾値を計算する。図１７のパート（ｃ）に示すようにシャドウ側のピークＰｋ１からは、このピークＰｋ１において、頻度が所定頻度以上となるＧ値の上限である第１の閾値Ｓｒ１が計算される。また、ハイライト側のピークＰｋ２からは、このピークＰｋ２において、頻度が所定頻度以上となるＧ値の下限である第２の閾値Ｓｒ２が計算される。
【０１３８】
そして、図１６に示す被写体マスク設定部７４１ｃは、上記の補正済みの逆光撮影画像を構成する複数の画素のうち、Ｇ値が第１の閾値Ｓｒ１以下となる画素からなる領域を初期被写体マスクに設定し、背景マスク設定部７４１ｄは、Ｇ値が第２の閾値Ｓｒ２以上となる画素からなる領域を初期背景マスクに設定する。
【０１３９】
図１８は、図１４に示す逆光撮影画像の拡大図において、初期被写体マスクに設定された領域と初期背景マスクに設定された領域を示す図である。
【０１４０】
この図１８における右側のハッチング部分は、図１４の拡大図において被写体Ｐ’の頭髪が、背景が見えないほどに集まっていて、逆光撮影によってシャドウ側に大きく偏って写っている部分であり、その部分の画素のＧ値が上記の第１の閾値Ｓｒ１を下回っている。その結果、この図１８における右側のハッチング部分は、被写体マスク設定部７４１ｃによって初期被写体マスクＭ１に設定される。
【０１４１】
また、図１８における左側のハッチング部分は、図１４の拡大図において背景のＥＬパネル１３０のみが写っている、ハイライト側に大きく偏った部分であり、その部分の画素のＧ値は上記の第２の閾値Ｓｒ２を上回っている。その結果、この図１８における左側のハッチング部分は、背景マスク設定部７４１ｄによって初期背景マスクＭ２に設定される。
【０１４２】
一方、図１８において左右いずれのハッチング部分にも属していない部分は、頭髪越しに背景が見えている部分であり、その部分のＧ値は、上記の第１の閾値Ｓｒ１を上回り、上記の第２の閾値Ｓｒ２を下回る。その結果、この図１８において左右いずれのハッチング部分にも属していない部分は、初期被写体マスクＭ１と初期背景マスクＭ２との間にあって、両方のマスクの外側となる境界領域Ｍ３として残される。
【０１４３】
図１９は、図１８に示す初期被写体マスクと初期背景マスクとを示す図であり、図２０は、初期被写体マスクと初期背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。
【０１４４】
図１９および図２０に示すように、初期被写体マスクＭ１と初期背景マスクＭ２とはかなり接近しており、境界領域Ｍ３が非常に狭くなっている。ここで、上述したように、補正済みの逆光撮影画像では、画像中の被写体の位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。しかし、撮影のタイミングが若干ずれているため、２つの撮影画像の間で、被写体の位置や輪郭が若干ずれる可能性もある。そのような場合には、境界領域Ｍ３が狭いと、補正済みの順光撮影画像において、図１３に示すような、被写体の一部を透かして背景が見えている部分が境界領域Ｍ３に完全には含まれず、２つのマスクのいずれか一方に含まれてしまう恐れが生じる。このような初期被写体マスクＭ１と、初期背景マスクＭ２とに基づいて、背景の置換が行なわれると、被写体の一部を透かして背景が見えている部分に、古い背景が残ってしまったり、あるいは、そのような部分が全て新しい背景に置換されて、被写体の一部が欠けてしまったりするという問題が発生してしまう恐れがある。
【０１４５】
このような問題を回避するために、本実施形態では、図１６に示す被写体マスク縮小部７４１ｅによって初期被写体マスクＭ１を境界領域Ｍ３から離れる方向に縮小し、背景マスク縮小部７４１ｆによって初期背景マスクＭ２を境界領域Ｍ３から離れる方向に縮小する。これにより、境界領域Ｍ３が広げられ、被写体の一部を透かして背景が見えている部分が境界領域Ｍ３に完全に含まれるようになる。
【０１４６】
図２１は、図１９に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域から離れる方向に縮小される様子を示す図である。
【０１４７】
この図２１に示すように、初期被写体マスクＭ１の輪郭Ｌ１が所定数の画素分だけ、境界領域Ｍ３から離れる方向に移動されることによって初期被写体マスクＭ１が縮小され、同様に、初期背景マスクＭ２の輪郭Ｌ２が所定数の画素分だけ、境界領域Ｍ３から離れる方向に移動されることによって初期背景マスクＭ２が縮小される。ここで、本実施形態では、２つのマスクの輪郭の移動量として５画素が採用されている。このようなマスクの縮小を経て、最終的な被写体マスクＭ１’および背景マスクＭ２’が完成される。
【０１４８】
図２２は、最終的に完成された被写体マスクと背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。
【０１４９】
最終的に完成された被写体マスクＭ１’と背景マスクＭ２’との間、即ち、最終的な境界領域Ｍ３’は、図２０に示す境界領域Ｍ３に比べて１０画素分広くなっており、図２２に示すように、この最終的な境界領域Ｍ３’に、被写体の一部を透かして背景が見えている部分が十分に含まれることとなる。
【０１５０】
以上で、図１５の置換処理部７４０が備えるマスク作成部７４１についての説明を終了し、次に、この置換処理部７４０が備える色推定部７４２の詳細について説明する。
【０１５１】
図２３は、図１５に１つのブロックで示す色推定部の詳細を示す図である。
【０１５２】
この色推定部７４２は、背景色推定部７４２ａ、被写体色推定部７４２ｂ、および合成比推定部７４２ｃを備えている。
【０１５３】
まず、背景色推定部７４２ａについて説明する。
【０１５４】
図２４は、図２３に１つのブロックで示す背景色推定部の詳細を示す図である。
【０１５５】
この背景色推定部７４２ａは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している背景色を推定するものであり、探索範囲設定部７４２ａ＿１、背景領域確認部７４２ａ＿２、および背景色計算部７４２ａ＿３を備えている。
【０１５６】
この背景色推定部７４２ａは、境界領域内のある画素について背景色を推定する際には、背景マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の平均色を、その画素についての背景色として求める。
【０１５７】
探索範囲設定部７４２ａ＿１は、背景色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。
【０１５８】
図２５は、ある画素について背景色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
【０１５９】
境界領域内のある画素Ｇについて探索範囲を設定するに当たり、探索範囲設定部７４２ａ＿１は、まず、この画素Ｇを中心とした正方形状の所定の初期範囲Ｔ１から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部７４２ａ＿１は、背景マスクＭ２’で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張を止め、そのときの探索範囲Ｔ１’を、背景色推定のための探索範囲として設定する。
【０１６０】
探索範囲が設定されると、図２４に示す背景領域確認部７４２ａ＿２が、画素Ｇについて背景色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。
【０１６１】
図２６は、ある画素について背景色を推定するために用いられる領域の一例を示す図である。
【０１６２】
この図２６に示すように、画素Ｇについて背景色を推定するために用いられる領域として、補正済みの順光撮影画像において、背景マスクで定義される領域であり、かつ探索範囲設定部７４２ａ＿１によって設定された探索範囲Ｔ１’内となる領域Ｂ１が確認される。
【０１６３】
このように、画素Ｇについて背景色を推定するために用いられる領域Ｂ１が確認されると、図２４に示す背景色計算部７４２ａ＿３が、この領域Ｂ１内の複数の画素の平均色、即ち、複数の画素のＲ値、Ｇ値、およびＢ値それぞれの平均値を計算する。そして、その計算結果が表わす色を、その画素Ｇについての背景色として採用する。
【０１６４】
以上に説明した背景色推定部７４２ａは、上記の探索範囲の設定から平均色の計算に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
【０１６５】
次に、図２３に示す被写体色推定部７４２ｂについて説明する。
【０１６６】
図２７は、図２３に１つのブロックで示す被写体色推定部の詳細を示す図である。
【０１６７】
この被写体色推定部７４２ｂは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している被写体色を推定するものであり、探索範囲設定部７４２ｂ＿１、被写体領域確認部７４２ｂ＿２、画素色確認部７４２ｂ＿３、および被写体色探索部７４２ｂ＿４を備えている。
【０１６８】
この被写体色推定部７４２ｂは、境界領域内のある画素について被写体色を推定する際には、被写体マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の中から、後述の探索方法によって、その画素についての被写体色を探索する。
【０１６９】
探索範囲設定部７４２ｂ＿１は、被写体色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。
【０１７０】
図２８は、ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
【０１７１】
境界領域内のある画素Ｇについて探索範囲を設定するに当たり、探索範囲設定部７４２ｂ＿１は、まず、この画素Ｇを中心とした正方形状の所定の初期範囲Ｔ２から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部７４２ｂ＿１は、被写体マスクＭ１’で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張を止め、そのときの探索範囲Ｔ２’を、被写体色推定のための探索範囲として設定する。
【０１７２】
探索範囲が設定されると、図２７に示す被写体領域確認部７４２ｂ＿２が、画素Ｇについて被写体色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。
【０１７３】
図２９は、ある画素について被写体色を推定するために用いられる領域の一例を示す図である。
【０１７４】
この図２９に示すように、画素Ｇについて被写体色を推定するために用いられる領域として、補正済みの順光撮影画像において、被写体マスクで定義される領域であり、かつ探索範囲設定部７４２ｂ＿１によって設定された探索範囲Ｔ２’内となる領域Ｂ２が確認される。
【０１７５】
このように、画素Ｇについて被写体色を推定するために用いられる領域Ｂ２が確認されると、まず、図２７に示す画素色確認部７４２ｂ＿３が、その画素Ｇの色を確認し、次に、図２７に示す被写体色探索部７４２ｂ＿４が、上記の領域Ｂ２内の複数の画素の色の中から、以下のような探索方法によって、その画素Ｇについての被写体色を探索する。
【０１７６】
図３０は、補正済みの順光撮影画像における境界領域内のある画素について被写体色を探索する際の探索方法を示す図である。
【０１７７】
図３０には、補正済みの順光撮影画像における境界領域内のある画素について、図２３の背景色推定部７４２ａで推定された背景色Ｃ１と、図２７の画素色確認部７４２ｂ＿３で確認されたその画素の色Ｃ２とを、ＲＧＢ色空間上で結ぶ直線ＣＬ１が示されている。
【０１７８】
上述したように、補正済みの順光撮影画像における境界領域内の画素の色は、撮影時に被写体の一部越しに背景が見えて、背景色と被写体色とが合成された合成色となっている可能性がある。仮に、今、被写体色を探索しようとしている画素の色がこのような合成色となっている場合には、合成色である画素の色Ｃ２と、その色Ｃ２の元となった背景色Ｃ１と被写体色とはＲＧＢ色空間上の直線上に並ぶ。
【０１７９】
そこで、図２７に示す被写体色探索部７４２ｂ＿４は、まず、上記の領域Ｂ２内の複数の画素の色の中から、上記の直線ＣＬ１の延長線上に並ぶ色Ｃ３を探索する。
【０１８０】
このような色Ｃ３が複数存在する場合には、この直線ＣＬ１の延長線上で、画素の色Ｃ２に最も近い色が、背景色Ｃ１とともにその画素の色Ｃ２の元となった可能性が最も高い。そこで、被写体色探索部７４２ｂ＿４は、上記の直線ＣＬ１の延長線上に並ぶ色Ｃ３が複数存在する場合には、これらの色Ｃ３の中から、画素の色Ｃ２に最も近い色を、この画素についての被写体色Ｃ４として採用する。
【０１８１】
以上に説明した被写体色推定部７４２ｂは、上記の探索範囲の設定から被写体色の探索に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
【０１８２】
以上で、図２３に示す被写体色推定部７４２ｂについての説明を終了し、次に、この図２３に示す合成比推定部７４２ｃについて説明する。尚、この合成比推定部７４２ｃについての説明では上記の図３０を参照する。
【０１８３】
この合成比推定部７４２ｃは、図３０に示すように、背景色推定部７４２ａで推定された背景色Ｃ１と、被写体色推定部７４２ｂで推定された被写体色Ｃ４とを、ＲＧＢ色空間上で結ぶ線分の長さに対する、背景色Ｃ１と、その画素の色Ｃ２とを結ぶ線分の長さの割合を、背景色Ｃ１と被写体色Ｃ４とで画素の色Ｃ２を合成するときの合成比αとして算出する。また、この合成比推定部７４２ｃは、このような合成比αの算出を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
【０１８４】
ここで、補正済みの順光撮影画像における境界領域内には、図２２等からもわかるように、被写体の一部越しに背景が見えている部分以外にも、被写体のみで占められた部分や、背景のみで占められた部分も含まれる。被写体のみで占められた部分の画素の色は被写体そのものの色であり、背景が別の背景に置換されたとしても、その画素の色は維持される必要がある。また、背景のみで占められた部分の画素の色は背景そのものの色であり、背景が別の背景に置換されたときには、その画素の色は、その別の背景色に完全に置換される必要がある。
【０１８５】
この合成比推定部７４２ｃは、合成比の推定対象の画素が、被写体のみで占められた部分の画素であった場合には、その画素の色が被写体と同じ色となるので、合成比αを「１」と推定する。一方、背景色や被写体色や合成比の推定対象の画素が、背景のみで占められた部分の画素であった場合には、その画素の色が背景色と同じ色となるので、合成比αを「０」と推定する。
【０１８６】
このように補正済みの順光撮影画像における境界領域内の全画素について合成比が推定されると、本実施形態では、この合成比推定部７４２ｃは、まず、この順光撮影画像において上記の被写体マスクＭ１’で定義される領域内の全画素に「１」の合成比αを割り当て、さらに、この順光撮影画像において上記の背景マスクＭ２’で定義される領域内の全画素に「０」の合成比αを割り当てる。そして、これら２つの領域内の全画素についての合成比αと、境界領域内の全画素についての合成比αとを合わせて、補正済みの順光撮影画像全画素についての合成比αからなる合成比群が作成される。この合成比群は、以下に説明する背景置換画像作成部７４３での処理に用いられる。
【０１８７】
以上で、図１５の置換処理部７４０が備える色推定部７４２の詳細についての説明を終了し、次に、この置換処理部７４０が備える背景置換画像作成部７４３の詳細について説明する。
【０１８８】
この背景置換画像作成部７４３は、補正済みの順光撮影画像を構成する全画素について、上記の合成比群に基づく次のような合成処理を行なう。
【０１８９】
まず、これらの全画素のうち、合成比群において「１」の合成比αが割り当てられている画素については、その画素の色がそのまま維持される。これにより、上記の被写体マスクＭ１’で定義される領域、および、境界領域内で被写体のみで占められた部分の画像がそのまま残される。また、上記の全画素のうち、合成比群において「０」の合成比αが割り当てられている画素については、その画素の色が、置換用の背景を表わす画像において対応する位置の画素の色に完全に置換される。これにより、上記の背景マスクＭ２’で定義される領域、および、境界領域内で背景のみで占められた部分の画像が置換用の背景を表わす画像に置換される。
【０１９０】
次に、上記の全画素のうち、合成比群において「０」と「１」以外の合成比αが割り当てられている画素、即ち、上記の境界領域内で「０」と「１」以外の合成比αが推定された画素については、上記の色推定部７４２で推定された被写体色と、置換用の背景を表わす画像において対応する位置の画素の色とが、色推定部７４２で推定された合成比で合成されて合成色が求められる。
【０１９１】
図３１は、補正済みの順光撮影画像における境界領域内のある画素について合成色が求められる様子を示す図である。
【０１９２】
この図３１には、ＲＧＢ色空間上で、推定された背景色Ｃ１と、その画素の色Ｃ２と、推定された被写体色Ｃ４とを結ぶ、図３０にも示した直線ＣＬ１が示されている。ここで、画素の色Ｃ２は、背景色Ｃ１と被写体色Ｃ４とを結ぶ直線を、合成比α：（１−合成比α）で分割する点であるといえる。そこで、背景置換画像作成部７４３は、この図３１に示すように、別の背景色Ｃ５と、推定された被写体色Ｃ４とを結ぶ直線ＣＬ２を、合成比α：（１−合成比α）で分割する点を合成色Ｃ６として採用する。
【０１９３】
この図３１を参照して説明した方法で、上記の全画素のうち、合成比群において「０」と「１」以外の合成比αが割り当てられている全ての画素について合成色が求められると、背景置換画像作成部７４３は、これらの画素の色を、各画素について求められた合成色に置換することにより、補正済みの順光撮影画像の背景が、顧客が所望する別の背景に置換された背景置換画像を完成させる。
【０１９４】
図３２は、背景置換画像の一例を示す図である。
【０１９５】
この図３２には、図１１に示す補正済みの順光撮影画像の背景を別の背景に置換して作成された背景置換画像における、図１１中のエリアＡ１と同じ部分が拡大された拡大図が示されている。
【０１９６】
背景置換画像作成部７４３で作成される背景置換画像は、境界領域内の画素の色が上記の合成色に置換された画像であり、この背景置換画像から、観賞者は、この図３２に示すような、被写体Ｐ’の頭髪越しに、置換された別の背景ＴＢが透けている状態を認識することとなる。
【０１９７】
以上に説明した背景置換処理は、補正済みの順光撮影画像を構成する全ての画素について合成比を精密に決定するという上記の第３の決定方法を用いた背景置換処理である。本実施形態では、この第３の決定方法を用いた背景置換処理で作成される画質の高い背景置換画像が、顧客に提供される上記の出力用置換画像として採用されている。
【０１９８】
次に、この第３の決定方法が簡略化されて処理時間の短縮が図られた第１の決定方法および第２の決定方法を用いた背景置換処理ついて説明する。
【０１９９】
まず、第１の決定方法を用いた背景置換処理ついて説明する。
【０２００】
この背景置換処理では、まず、上記の補正済みの順光撮影画像が所定の表示用サイズまで縮小されて縮小画像が作成され、その縮小画像に対して次のような処理が施される。始めに、上記の被写体マスクＭ１’と背景マスクＭ２’とを作成し、前者のマスクで定義される領域内の全画素に「１」の合成比を割り当て、後者のマスクで定義される領域内の全画素に「０」の合成比を割り当てるところまでは、第３の決定方法を用いた背景置換処理と同様に行なわれる。その後、この第１の決定方法を用いた背景置換処理では、境界領域内の画素についての上記の被写体色や合成比の推定処理が省略され、この領域内の全画素に「０．５」という値の合成比が一律に割り当てられる。
【０２０１】
上記の第３の決定方法を用いた背景置換処理では、被写体色や合成比の推定処理に要する時間が、背景置換処理全体の処理時間の大部分を占める。そして、この第３の決定方法を用いた背景置換処理では、この推定処理を精密に行なうために背景置換処理全体の処理時間が長いものとなっている。第１の決定方法を用いた背景置換処理は、まず、補正済みの順光撮影画像を縮小することで、取り扱う画像データのデータ量を削減し、さらに、上記の推定処理を省略することにより処理時間が大幅に短縮された処理である。反面、上記の境界領域内の画素の色が、「０．５」という値の合成比に基づく合成色に一律に置換されるので、背景置換画像は、見る者に多少の違和感を与える画質の低い画像となる。本実施形態では、図２を参照して説明したように、撮影後、直ぐに顧客に提示され、画質よりも即時性が要求される表示用置換画像を作成するための処理として、この第１の決定方法を用いた背景置換処理が採用されている。
【０２０２】
次に、第２の決定方法を用いた背景置換処理ついて説明する。
【０２０３】
この背景置換処理では、上記の第１の決定方法を用いた背景置換処理と同様に、まず、上記の補正済みの順光撮影画像が、所定の表示用サイズまで縮小される。そして、この第２の決定方法を用いた背景置換処理では、縮小画像に対して、上記の第３の決定方法を用いた背景置換処理と同じ処理が施される。つまり、この第２の決定方法を用いた背景置換処理は、取り扱う画像データのデータ量を削減することで、上記の第３の決定方法を用いた背景置換処理よりも処理時間が短縮された処理である。また、この処理で作成される背景置換画像の画質は、表示用サイズで見る分には特に違和感のない画質となる。そこで、本実施形態では、背景置換画像を最終的にプリンタ３０等で出力する前に、顧客に画像の出来具合を表示画面２２０ａ（図１参照）上で確認してもらうための上記の確認用置換画像を作成するための処理として、この第２の決定方法を用いた背景置換処理が採用されている。
【０２０４】
以上に説明した３つの決定方法それぞれに従った背景置換処理が行なわれると、上述したように、図５に示す画像保存部７５０による保存処理が実行される。この保存処理では、まず、背景置換処理の処理対象となった補正済みの順光撮影画像に、その背景置換処理おける合成比の決定方法を示す決定情報と、その置換処理において決定された合成比とを付加して保存用データが作成され、その保存用データがハードディスク装置２１３に保存される。以下では、この画像保存部７５０で作成される保存用データについて説明する。
【０２０５】
図３３は、図５に示す画像保存部で作成される保存用データを示す模式図である。
【０２０６】
この図３３に示す保存用データＤは、ヘッダ部Ｄ１と、表示用／確認用合成比群格納部Ｄ２と、出力用合成比群格納部Ｄ３と、撮影画像格納部Ｄ４とからなる。
【０２０７】
ヘッダ部Ｄ１には、まず、作成された背景置換画像の画像サイズを示すサイズ情報が記載される。即ち、表示用置換画像や確認用置換画像が作成された際には、表示用サイズを示すサイズ情報が記載され、出力用置換画像が作成された際には、出力用サイズを示すサイズ情報が記載される。ところで、上記では、この出力用サイズについては特に触れなかったが、本実施形態では、撮影画像のサイズがそのまま出力用サイズとして採用されている。また、このヘッダ部Ｄ１には、合成比の決定方法を示す決定情報として、表示用置換画像が作成された際には第１の決定方法を示す情報が記載され、確認用置換画像が作成された際には第２の決定方法を示す情報が記載され、出力用置換画像が作成された際には第３の決定方法を示す情報が記載される。
【０２０８】
表示用／確認用合成比群格納部Ｄ２には、表示用置換画像あるいは確認用置換画像が作成された際に決定された、上記の合成比群が格納される。
【０２０９】
また、出力用合成比群格納部Ｄ３には、出力用置換画像が作成された際に決定された、上記の合成比群が格納される。
【０２１０】
撮影画像格納部Ｄ４には、背景置換画像の元となった補正済みの順光撮影画像が格納される。
【０２１１】
本実施形態では、図５に示したように、このような保存データがハードディスク装置２１３に保存される。そして、例えば、表示用置換画像の作成が、置換用の背景を変更しながら繰り返される場合には、初回の処理時に作成され保存された保存データが、２回目以降の処理時に利用される。
【０２１２】
また、背景置換に関する再注文があった場合には、まず、過去に保存された保存データにおける決定情報が確認され、決定情報が第３の決定方法を示す情報となっているか否かが判定される。そして、決定情報が第３の決定方法を示す情報となっている場合には、その保存データ中の出力用合成比群と順光撮影画像とが利用される。また、決定情報が第１あるいは第２の決定方法を示す情報となっている場合には、過去の処理が、表示用置換画像あるいは確認用置換画像の作成までで中断していたものと判断され、出力用合成比群の決定から処理が行なわれる。
【０２１３】
以上、図１〜図３３を用いて説明した背景置換装置７００によれば、背景置換画像の顧客への提示を素早く行ない、かつ、最終的には、画質の良好な背景置換画像を顧客に提供でき、運用性に優れている。
【０２１４】
尚、上記では、本発明にいう背景置換部の一例として、表示用置換画像を作成する第１の決定方法を用いた背景置換処理と、確認用置換画像を作成する第２の決定方法を用いた背景置換処理と、出力用置換画像を作成する第３の決定方法を用いた背景置換処理との３つの背景置換処理を実行する置換処理部７４０を挙げて説明したが、本発明はこれに限るものではない。本発明の背景置換部は、例えば、上記の第３の決定方法を用いた背景置換処理のような高画質の背景置換画像を作成する背景置換処理と、その背景置換処理よりも決定時間が短い合成比の決定方法を用いる背景置換処理との２つの背景置換処理と実行するものであっても良い。
【０２１５】
また、上記では、本発明にいう背景置換部の一例として、顧客への提示用の背景置換画像を、補正済みの順光撮影画像を縮小して作成する置換処理部７４０を挙げて説明したが、本発明はこれに限るものではない。本発明の背景置換部は、例えば、顧客への提示用の背景置換画像のうち、上記の表示用置換画像については、もとのままのサイズの順光撮影画像を使って作成するものであっても良い。
【図面の簡単な説明】
【０２１６】
【図１】本発明の背景置換装置の一実施形態が適用された撮影システムを示す図である。
【図２】図１の撮影システムで実行される、本発明の背景置換方法の一実施形態が適用された作業の流れを示すフローチャートである。
【図３】図１に示すパーソナルコンピュータのハードウェア構成図である。
【図４】本発明の背景置換プログラムの一実施形態が記憶された、本発明の背景置換プログラム記憶媒体の一実施形態を示す概念図である。
【図５】図４に示す背景置換プログラムが図１および図３に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装置の一実施形態として動作するときの機能を表わす機能ブロック図である。
【図６】図５に１つのブロックで示す画像補正部の詳細を示す図である。
【図７】台形歪みが生じた順光撮影画像の一例を示す模式図である。
【図８】図７の順光撮影画像における台形歪みが補正された状態を示す模式図である。
【図９】図８に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効画像を示す模式図である。
【図１０】図６の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画像を示す模式図である。
【図１１】補正済みの順光撮影画像の一例を示す図である。
【図１２】補正済みの逆光撮影画像の一例を示す図である。
【図１３】図１１中のエリアＡ１の拡大図である。
【図１４】図１２中のエリアＡ２の拡大図である。
【図１５】図５に１つのブロックで示す置換処理部の詳細を示す図である。
【図１６】図１５に１つのブロックで示すマスク作成部の詳細を示す図である。
【図１７】補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムの様々な例を示す図である。
【図１８】図１４に示す逆光撮影画像の拡大図において、初期被写体マスクに設定された領域と初期背景マスクに設定された領域を示す図である。
【図１９】図１８に示す初期被写体マスクと初期背景マスクとを示す図である。
【図２０】初期被写体マスクと初期背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。
【図２１】図１９に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域から離れる方向に縮小される様子を示す図である。
【図２２】最終的に完成された被写体マスクと背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。
【図２３】図１５に１つのブロックで示す色推定部の詳細を示す図である。
【図２４】図２３に１つのブロックで示す背景色推定部の詳細を示す図である。
【図２５】ある画素について背景色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
【図２６】ある画素について背景色を推定するために用いられる領域の一例を示す図である。
【図２７】図２３に１つのブロックで示す被写体色推定部の詳細を示す図である。
【図２８】ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
【図２９】ある画素について被写体色を推定するために用いられる領域の一例を示す図である。
【図３０】補正済みの順光撮影画像における境界領域内のある画素について被写体色を探索する際の探索方法を示す図である。
【図３１】補正済みの順光撮影画像における境界領域内のある画素について合成色が求められる様子を示す図である。
【図３２】背景置換画像の一例を示す図である。
【図３３】図５に示す画像保存部で作成される保存用データを示す模式図である。
【符号の説明】
【０２１７】
１    撮影システム
１０    撮影スタジオ
１１    デジタルカメラ
１２    閃光発光装置
１３０    ＥＬパネル
１３１    筐体
１３１ａ    載置面
１３１ｂ    背後の面
１３１ｃ    マーカ
１３２    分散型ＥＬ素子
１４    電源
２０    パーソナルコンピュータ
２１０    本体装置
２１１    ＣＰＵ
２１２    主メモリ
２１３    ハードディスク装置
２１３ａ    背景置換画像保管フォルダ
２１３ｂ    撮影画像保管フォルダ
２１３ｂ＿１，２１３ｂ＿２，２１３ｂ＿３    サブフォルダ
２１４    ＦＤドライブ
２１５    ＣＤ−ＲＯＭドライブ
２１６    入力インタフェース
２１７    出力インタフェース
２２０    画像表示装置
２２０ａ    表示画面
２２０ａ＿１    スクロールボタン
２２０ａ＿２    置換開始指示ボタン
２２０ａ＿３    承認ボタン
２３０    キーボード
２４０    マウス
２５０    メディアドライブ
２６０    バス
３０    プリンタ
４０    サーバ
５１０    ＣＤ−ＲＯＭ
５２０    ＦＤ
５３０    小型記憶メディア
５４０    入力用記憶媒体
５５０    出力用記憶媒体
６００    背景置換プログラム
６１０    画像取得部
６２０    画像補正部
６３０    決定方法選択部
６４０    置換処理部
６５０    画像保存部
６６０    画像データ転送部
６７０    画像表示部
７００    背景置換装置
７１０    画像取得部
７２０    画像補正部
７２１    マーカ検出部
７２２    台形補正処理部
７２３    有効画像切出部
７２４    色補正部
７３０    決定方法選択部
７４０    置換処理部
７４１    マスク作成部
７４１ａ    ヒストグラム作成部
７４１ｂ    閾値計算部
７４１ｃ    背景マスク設定部
７４１ｄ    被写体マスク設定部
７４１ｅ    背景マスク縮小部
７４１ｆ    被写体マスク縮小部
７４２    色推定部
７４２ａ    背景色推定部
７４２ａ＿１    探索範囲設定部
７４２ａ＿２    背景領域確認部
７４２ａ＿３    背景色計算部
７４２ｂ    被写体色推定部
７４２ｂ＿１    探索範囲設定部
７４２ｂ＿２    被写体領域確認部
７４２ｂ＿３    画素色確認部
７４２ｂ＿４    被写体色探索部
７４２ｃ    合成比推定部
７４３    背景置換画像作成部
７５０    画像保管部
７６０    画像データ転送部
７７０    画像表示部
【図１】
2006279206.tif 000003
【図２】
2006279206.tif 000004
【図３】
2006279206.tif 000005
【図４】
2006279206.tif 000006
【図５】
2006279206.tif 000007
【図６】
2006279206.tif 000008
【図７】
2006279206.tif 000009
【図８】
2006279206.tif 000010
【図９】
2006279206.tif 000011
【図１０】
2006279206.tif 000012
【図１１】
2006279206.tif 000013
【図１２】
2006279206.tif 000014
【図１３】
2006279206.tif 000015
【図１４】
2006279206.tif 000016
【図１５】
2006279206.tif 000017
【図１６】
2006279206.tif 000018
【図１７】
2006279206.tif 000019
【図１８】
2006279206.tif 000020
【図１９】
2006279206.tif 000021
【図２０】
2006279206.tif 000022
【図２１】
2006279206.tif 000023
【図２２】
2006279206.tif 000024
【図２３】
2006279206.tif 000025
【図２４】
2006279206.tif 000026
【図２５】
2006279206.tif 000027
【図２６】
2006279206.tif 000028
【図２７】
2006279206.tif 000029
【図２８】
2006279206.tif 000030
【図２９】
2006279206.tif 000031
【図３０】
2006279206.tif 000032
【図３１】
2006279206.tif 000033
【図３２】
2006279206.tif 000034
【図３３】
2006279206.tif 000035