(57)【要約】【課題】顧客への提示には不向きな画像が顧客の目に触れることを抑制しつつ、背景置換を実行することができる背景置換装置、背景置換プログラム、背景置換プログラム記憶媒体、および背景置換方法を提供する。【解決手段】複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部７１０と、画像取得部７１０によって取得された複数の撮影画像をハードディスク装置２１３内に保管する画像保管部７４０と、それら複数の撮影画像に基づいて順光撮影画像の背景を別の背景に置換して背景置換画像を作成する背景置換部７３０とを備え、上記の順光撮影画像の背景がデフォルトの背景に置換されたデフォルト置換画像を表示用画像として上記の複数の撮影画像と対応付けて上記の画像保管部７４０によってハードディスク装置２１３内に保管させ、さらに、そのデフォルト置換画像を表示する画像表示部７７０とを備えた。【選択図】        図５
2006261828.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
前記画像取得部によって取得された複数の撮影画像を、撮影条件を区別する区別情報を付して第１の保管場所に保管する撮影画像保管部と、
前記第１の保管場所に保管されている複数の撮影画像に基づいて、該複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成する背景置換部と、
前記第１の保管場所に保管されている複数の撮影画像のうち前記所定の撮影条件下で撮影された撮影画像に基づいた表示用画像を前記複数の撮影画像と対応付けて第２の保管場所に保管する表示用画像保管部と、
前記第２の保管場所に保管されている表示用画像を表示する表示部とを備えたことを特徴とする背景置換装置。
【請求項２】
前記表示用画像が、前記背景置換部によって撮影画像の背景が置換されてなる背景置換画像であることを特徴とする請求項１記載の背景置換装置。
【請求項３】
置換用の背景を選択する背景選択部と、
前記表示部によって表示された表示用画像に対応する背景置換画像の要求を受けて、前記背景選択部で選択された背景を有する背景置換画像を作成する置換画像作成部とを備えたことを特徴とする請求項１記載の背景置換装置。
【請求項４】
前記表示用画像が、前記背景置換部によって撮影画像の背景が置換されてなるものであり、
前記背景置換部が、前記複数の撮影画像に基づいて置換パラメータを作成し、その置換パラメータを使って、該複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成するものであり、
前記置換パラメータを、前記第１の保管場所に保管されている複数の撮影画像と対応付けて保管する置換パラメータ保管部と、
置換用の背景を選択する背景選択部とを備え、
前記背景置換部が、前記表示部によって表示された表示用画像に対応する背景置換画像の要求を受けて、前記背景選択部で選択された背景を有する背景置換画像を、前記置換パラメータ保管部によって保管された置換パラメータで作成するものであることを特徴とする請求項１記載の背景置換装置。
【請求項５】
コンピュータに組み込まれ、該コンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
前記画像取得部によって取得された複数の撮影画像を、撮影条件を区別する区別情報を付して第１の保管場所に保管する撮影画像保管部と、
前記第１の保管場所に保管されている複数の撮影画像に基づいて、該複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成する背景置換部と、
前記第１の保管場所に保管されている複数の撮影画像のうち前記所定の撮影条件下で撮影された撮影画像に基づいた表示用画像を前記複数の撮影画像と対応付けて第２の保管場所に保管する表示用画像保管部と、
前記第２の保管場所に保管されている表示用画像を表示する表示部とを構築することを特徴とする背景置換プログラム。
【請求項６】
コンピュータに組み込まれ、該コンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
前記画像取得部によって取得された複数の撮影画像を、撮影条件を区別する区別情報を付して第１の保管場所に保管する撮影画像保管部と、
前記第１の保管場所に保管されている複数の撮影画像に基づいて、該複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成する背景置換部と、
前記第１の保管場所に保管されている複数の撮影画像のうち前記所定の撮影条件下で撮影された撮影画像に基づいた表示用画像を前記複数の撮影画像と対応付けて第２の保管場所に保管する表示用画像保管部と、
前記第２の保管場所に保管されている表示用画像を表示する表示部とを構築する背景置換プログラムが記憶されてなることを特徴とする背景置換プログラム記憶媒体。
【請求項７】
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得過程と、
前記画像取得過程によって取得された複数の撮影画像を、撮影条件を区別する区別情報を付して第１の保管場所に保管する撮影画像保管過程と、
前記第１の保管場所に保管されている複数の撮影画像に基づいて、該複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成する背景置換過程と、
前記第１の保管場所に保管されている複数の撮影画像のうち前記所定の撮影条件下で撮影された撮影画像に基づいた表示用画像を前記複数の撮影画像と対応付けて第２の保管場所に保管する表示用画像保管過程と、
前記第２の保管場所に保管されている表示用画像を表示する表示過程とを備えたことを特徴とする背景置換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像中の背景を別の背景に置換して背景置換画像を作成する背景置換装置、コンピュータをその背景置換装置として動作させる背景置換プログラム、その背景置換プログラムが記憶されてなる背景置換プログラム記憶媒体、および、撮影画像中の背景を別の背景に置換して背景置換画像を作成する背景置換方法に関する。
【背景技術】
【０００２】
従来、写真館等では、背景幕を使った撮影が行なわれている。しかし、このような撮影は、十分に背景を作り出すために大きな背景幕が使われ、広い撮影スペースを必要とする。また、背景幕の交換等にも手間がかかり、結果的に撮影コストが高くなる。
【０００３】
そこで、もっと手軽に撮影を楽しむことができるように、従来のような大きな背景幕や広い撮影スペースが不要な、小型の撮影システムの開発が望まれている。このような小型の撮影システムでは、上記のような背景幕の替りに、何らかの仮の背景の前で撮影が行なわれることとなるため、撮影で得られた撮影画像に対して、撮影画像中の背景を、顧客が所望する背景と差替えるという背景置換処理を適用することが考えられる。
【０００４】
このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行ない、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景領域と被写体領域として区別し、撮影画像中の背景領域に区別された部分を所望の背景に置換するクロマキー処理と呼ばれる処理が知られている。
【０００５】
このクロマキー処理では、撮影画像中の背景パネル上に被写体の影が写っていると、この影が、被写体領域と背景領域との区別を妨げてしまうことがある。そこで、クロマキー処理の対象となる撮影画像を撮影する際には、背景として、面発光する背景パネルを用い、背景パネル上の被写体の影が、この背景パネルが発する光で打ち消された状態で撮影を行なうという技術が提案されている（例えば、特許文献１参照。）。また、この特許文献１では、クロマキー処理において、被写体領域として区別された部分と所望の背景とを合成する際には、被写体領域として区別された部分の色調を、その所望の背景の色調に応じた色調に調整することで、その所望の背景の中に被写体が自然に溶け込んで見える合成画像を作成するという処理も提案されている。
【０００６】
また、例えば、屋外等といった、被写体の背後が開けた場所で、被写体に向けた照明を点灯した状態と、その照明を消灯した状態との２つの照明条件それぞれの下で撮影を行なって２つの撮影画像を取得し、これら２つの撮影画像において、互いに輝度が異なっている部分と輝度が同等な部分とを、それぞれ撮影画像中の被写体領域と背景領域として区別し、撮影画像中の背景領域に区別された部分を所望の背景に置換するという技術も知られている（例えば、特許文献２参照。）。
【特許文献１】特開２０００−２２４４１０号公報（第３−１０頁、図３）
【特許文献２】特開平１０−２１０３４０号公報（第２−３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、写真館等において、上記の特許文献１や特許文献２や一般的なクロマキー処理による背景置換を利用した撮影が行なわれるに当たっては、撮影が何回か行なわれた後に、撮影で得られた複数の撮影画像の中から、顧客が気に入った撮影画像を選んで、その撮影画像について背景置換を施すというような運用が行なわれることが考えられる。このとき、顧客に提示される画像は背景置換前の撮影画像であるが、このような撮影画像は、撮影時の撮影条件によっては、背景置換には有効であっても顧客への提示には不向きな画像となっていることも十分にありうる。
【０００８】
本発明は、上記事情に鑑み、運用性に優れた背景置換装置、コンピュータをそのような背景置換装置として動作させる背景置換プログラム、その背景置換プログラムが記憶されてなる背景置換プログラム記憶媒体、および、運用性に優れた背景置換方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成する本発明の背景置換装置は、複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
上記画像取得部によって取得された複数の撮影画像を、撮影条件を区別する区別情報を付して第１の保管場所に保管する撮影画像保管部と、
上記第１の保管場所に保管されている複数の撮影画像に基づいて、その複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成する背景置換部と、
上記第１の保管場所に保管されている複数の撮影画像のうち上記所定の撮影条件下で撮影された撮影画像に基づいた表示用画像を上記複数の撮影画像と対応付けて第２の保管場所に保管する表示用画像保管部と、
上記第２の保管場所に保管されている表示用画像を表示する表示部とを備えたことを特徴とする。
【００１０】
ここで、上記にいう表示用画像とは、例えば、上記所定の撮影条件下で撮影された撮影画像のコピーであっても良く、あるいは、例えば、上記背景置換部によって、上記所定の撮影条件下で撮影された撮影画像の背景がデフォルトの背景に置換されたデフォルト置換画像であっても良い。上記所定の撮影条件下で撮影された撮影画像のコピーは、上記背景置換画像の作成に用いられる、被写体がきれいに写った、顧客への提示に適した画像である。また、上記のデフォルト置換画像は、被写体がきれいに写っていることに加えて、背景が、顧客への提示用等に用意されたデフォルトの背景に置換された、顧客への提示に適した画像である。
【００１１】
本発明の背景置換装置によれば、顧客への提示に適したこのような画像が表示用画像として上記表示部によって表示される。また、本発明の背景置換装置によれば、上記表示用画像は、上記第１の保管場所に保管されている、背景置換画像の作成の基となる複数の撮影画像と対応付けられている。これにより、例えば、顧客が、上記表示用画像の背景を別の背景に置換する処理を希望した場合には、置換に必要な撮影画像を上記第１の保管場所から容易に入手して処理に用いることができる。つまり、本発明の背景置換装置によれば、顧客への提示には不向きな画像が顧客の目に触れることを抑制しつつ、背景置換を実行することができ、運用性に優れている。
【００１２】
また、本発明の背景置換装置において、「上記表示用画像が、上記背景置換部によって撮影画像の背景が置換されてなる背景置換画像である」という形態は好ましい形態である。
【００１３】
ここで、上記表示画像は、上記所定の撮影条件下で撮影された撮影画像のコピーであっても良く、あるいは、上記背景置換画像であっても良い。しかし、上記背景置換画像は、置換用の背景として顧客への提示用のデフォルトの背景等を用意しておくことにより、上述のデフォルト置換画像のような、上記表示画像として一層適した画像にすることができる。つまり、上記の好ましい形態の背景置換装置によれば、一層提示に適した表示画像を顧客に提示することができる。
【００１４】
また、本発明の背景置換装置において、「置換用の背景を選択する背景選択部と、
上記表示部によって表示された表示用画像に対応する背景置換画像の要求を受けて、上記背景選択部で選択された背景を有する背景置換画像を作成する置換画像作成部とを備えた」という形態も好ましい形態である。
【００１５】
この好ましい形態の背景置換装置によれば、顧客の好みに合った置換用の背景が選択され、そのような好ましい背景を有する背景置換画像が作成される。ここで、このような好ましい背景を有する背景置換画像は、何らかのベースの画像の背景が、好ましい背景と置換されることによって作成される。このベースの画像は、上記の表示用画像であっても良く、あるいは、表示画像の元となった撮影画像であっても良い。ここで、表示画像の元となった撮影画像とは、表示用画像が上記のようなコピーである場合のそのコピーの元となった撮影画像や、表示用画像が上記のようなデフォルト置換画像である場合のそのデフォルト置換画像の元となった撮影画像等のことである。
【００１６】
また、本発明の背景置換装置において、「上記表示用画像が、上記背景置換部によって撮影画像の背景が置換されてなるものであり、
上記背景置換部が、上記複数の撮影画像に基づいて置換パラメータを作成し、その置換パラメータを使って、その複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成するものであり、
上記置換パラメータを、上記第１の保管場所に保管されている複数の撮影画像と対応付けて保管する置換パラメータ保管部と、
置換用の背景を選択する背景選択部とを備え、
上記背景置換部が、上記表示部によって表示された表示用画像に対応する背景置換画像の要求を受けて、上記背景選択部で選択された背景を有する背景置換画像を、上記置換パラメータ保管部によって保管された置換パラメータで作成するものである」という形態も好ましい。
【００１７】
上記表示用画像に対応する背景置換画像は、上記背景選択部で選択された背景を用いて、上記置換パラメータの作成を含む、背景置換画像の作成の全工程を繰返すことによって作成することもできるが、上記の好ましい形態の背景置換装置によれば、上記表示用画像として扱われている背景置換画像の作成に使われた置換パラメータが保管され、表示用画像に対応する背景置換画像が、この保管された置換パラメータを使って作成工程の一部が省略されて作成される。つまり、この好ましい形態の背景置換装置によれば、表示用画像に対応する背景置換画像を効率的に作成することができる。
【００１８】
また、上記目的を達成する本発明の背景置換プログラムは、コンピュータに組み込まれ、そのコンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
上記画像取得部によって取得された複数の撮影画像を、撮影条件を区別する区別情報を付して第１の保管場所に保管する撮影画像保管部と、
上記第１の保管場所に保管されている複数の撮影画像に基づいて、その複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成する背景置換部と、
上記第１の保管場所に保管されている複数の撮影画像のうち上記所定の撮影条件下で撮影された撮影画像に基づいた表示用画像を上記複数の撮影画像と対応付けて第２の保管場所に保管する表示用画像保管部と、
上記第２の保管場所に保管されている表示用画像を表示する表示部とを構築することを特徴とする。
【００１９】
この本発明の背景置換プログラムによれば、上述した、顧客への提示には不向きな画像が顧客の目に触れることを抑制しつつ、背景置換を実行することができる背景置換装置を容易に実現することができる。
【００２０】
また、上記目的を達成する本発明の背景置換プログラム記憶媒体は、コンピュータに組み込まれ、そのコンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
上記画像取得部によって取得された複数の撮影画像を、撮影条件を区別する区別情報を付して第１の保管場所に保管する撮影画像保管部と、
上記第１の保管場所に保管されている複数の撮影画像に基づいて、その複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成する背景置換部と、
上記第１の保管場所に保管されている複数の撮影画像のうち上記所定の撮影条件下で撮影された撮影画像に基づいた表示用画像を上記複数の撮影画像と対応付けて第２の保管場所に保管する表示用画像保管部と、
上記第２の保管場所に保管されている表示用画像を表示する表示部とを構築する背景置換プログラムが記憶されてなることを特徴とする。
【００２１】
本発明の記録媒体は、ＦＤ（フレキシブルディスク）、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＤＶＤ等といった記憶媒体の他、ハードディスクやメモリチップ等であっても良い。
【００２２】
また、上記目的を達成する本発明の背景置換方法は、複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得過程と、
上記画像取得過程によって取得された複数の撮影画像を、撮影条件を区別する区別情報を付して第１の保管場所に保管する撮影画像保管過程と、
上記第１の保管場所に保管されている複数の撮影画像に基づいて、その複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成する背景置換過程と、
上記第１の保管場所に保管されている複数の撮影画像のうち上記所定の撮影条件下で撮影された撮影画像に基づいた表示用画像を上記複数の撮影画像と対応付けて第２の保管場所に保管する表示用画像保管過程と、
上記第２の保管場所に保管されている表示用画像を表示する表示過程とを備えたことを特徴とする。
【００２３】
この本発明の背景置換方法によれば、撮影画像における背景が所望の背景に自然に置換された背景置換画像を容易に作成することができる。
【００２４】
なお、上記の本発明の背景置換プログラム、本発明の背景置換プログラム記憶媒体、および本発明の背景置換方法については、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう背景置換プログラム、背景置換プログラム記憶媒体、および背景置換方法には、前述した背景置換装置の各形態に対応する各種の形態が含まれる。
【発明の効果】
【００２５】
以上、説明したように、本発明によれば、顧客への提示には不向きな画像が顧客の目に触れることを抑制しつつ、背景置換を実行することができる。
【発明を実施するための最良の形態】
【００２６】
以下図面を参照して本発明の実施の形態を説明する。
【００２７】
図１は、本発明の背景置換装置の一実施形態が適用された撮影システムを示す図である。
【００２８】
この図１に示す撮影システム１は、被写体を撮影して撮影画像を取得する撮影スタジオ１０と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成する、本発明の背景置換装置の一実施形態として動作するパーソナルコンピュータ２０と、プリンタ３０と、サーバ４０とを備えている。また、撮影スタジオ１０は、デジタルカメラ１１と、閃光発光装置１２と、ＥＬ（エレクトロルミネセンス）パネル１３０と、このＥＬパネル用の電源１４を備えている。
【００２９】
デジタルカメラ１１は、連写機能を有しており、カメラマンがシャッタボタンを１回押すと、短時間の間に自動で被写体Ｐを２回撮影する。１回毎の撮影によって得られた撮影画像はデジタルカメラ１１内のメモリに一時的に保管されるが、撮影システム１では、デジタルカメラ１１がパーソナルコンピュータ２０に接続されており、２回の撮影が終了した時点で、この２回の撮影で得られた撮影画像は、このパーソナルコンピュータ２０に直ちに送られる。また、デジタルカメラ１１は閃光発光装置１２にも接続されており、デジタルカメラ１１は、閃光発光装置１２に対して閃光を発するように指示する指示信号を、その閃光発光装置１２に撮影の度に発信する。
【００３０】
ここで、本実施形態では、撮影スタジオ１０について省スペース化が図られており、デジタルカメラ１１は被写体を近距離から若干見下ろし気味に撮影することとなる。その結果、デジタルカメラ１１で撮影される撮影画像には、画像の幅が、下に向かうほど狭まる、いわゆる台形歪みが生じている可能性が高い。本実施形態では、この台形歪みは、パーソナルコンピュータ２０において補正される。
【００３１】
閃光発光装置１２は、デジタルカメラ１１から指示信号を受けて被写体Ｐに向かって閃光を発する。ここで、この閃光発光装置１２は、１回発光する度に充電される必要があり、１回発光すると、次に発光できるようになるまで時間がかかる。デジタルカメラ１１からは、上記の２回の撮影の際、撮影の度に上記の指示信号が発信されるが、閃光発光装置１２は１回目の撮影の時だけ閃光を発し、２回目の撮影時には、充電が間に合わないために、閃光発光装置１２は消灯したままでいることとなる。また、この閃光発光装置１２が発する閃光は、発光の輝度がおよそ２０００ｃｄ／ｍ2という高輝度の光である。
【００３２】
ＥＬパネル１３０は、被写体Ｐが載る載置面１３１ａと被写体Ｐの背後の面１３１ｂとが透明な筐体１３１、および、その筐体１３１内に収納された分散型ＥＬ素子１３２からなる。また、電源１４は、この分散型ＥＬ素子１３２に駆動電圧を印加する電源である。また、筐体１３１の、被写体Ｐの背後の面１３１ｂの四隅にはこの面１３１ｂの範囲を示す４つのマーカ１３１ｃが配置されている。これら４つのマーカ１３１ｃは、撮影の際に被写体Ｐとともに撮影画像に写り、その撮影画像に対する、上記の台形歪みの補正等に利用されるものである。
【００３３】
分散型ＥＬ素子１３２は、蛍光体粉末が高誘電率のバインダー中に分散されたものが、可撓性のプラスチックを基板とした２枚のシート形状の電極の間に挟み込まれて構成されたシート状の面発光光源である。この分散型ＥＬ素子１３２は、それら２枚の電極間に、電源１４から交流電圧が印加されることにより発光する。
【００３４】
この分散型ＥＬ素子１３２は、厚みが数百μｍ〜１ｍｍという非常に薄くて軽い光源であり、筐体１３１の内部のように、厚みに余裕のない場所に容易に設置することができる。この他、分散型ＥＬ素子１３２には、発光時の発熱が２℃程度と軽微である、発光開始から最高輝度に達するまでの応答速度が速い、発光の寿命がほぼ一定しており計画的な交換が可能、局所発光が可能、衝撃や振動に強い、消費電力が５０Ｗ／ｍ2（周波数が５０Ｈｚの交流電力印加時）と小さい等、性能面での様々な利点がある。さらに、分散型ＥＬ素子１３２には、簡単な製造工程で製造することができるため製造コストが安いという経済面での利点もある。
【００３５】
また、一般的な分散型ＥＬ素子は、製造時に発光色の異なる複数の蛍光体粉末をさらに混合することで発光色を白色を含む様々な色に調整することが可能であるが、本実施形態における分散型ＥＬ素子１３２では、このような色調整のための蛍光体粉末は未混合である。この結果、この分散型ＥＬ素子１３２は、発光波長が４００ｎｍ〜５３０ｎｍの間に２つ以上の発光ピークを有することとなる。この光は、分散型ＥＬ素子本来の、青から緑の間の色の光であり、本実施形態における分散型ＥＬ素子１３２は、上記の２つ以上の発光ピークからなる青緑色の光を発光する。ここで、青緑色は、人物の肌の色の補色であるため、本実施形態の撮影システム１によれば、人物を被写体として撮影した際等に、撮影画像中の被写体と背景とを高い確度で区別することができる、背景が青緑色の撮影画像が得られる。また、上記の色調整のための蛍光体粉末は発光色の輝度を低下させる傾向があるが、本実施形態における分散型ＥＬ素子１３２は、このような蛍光体粉末が未混合であるので分散型ＥＬ素子本来の輝度で発光することとなる。
【００３６】
電源１４は、分散型ＥＬ素子１３２に印加する交流電圧を、周波数について５０Ｈｚ〜１０ｋＨｚの間、大きさについて４０Ｖ〜３００Ｖの間で調整することができる。分散型ＥＬ素子１３２の発光の輝度は、印加される交流電圧の大きさにほぼ比例する。本実施形態の撮影スタジオ１０では、電源１４において、交流電圧が、周波数については１．２ｋＨｚ〜１．５ｋＨｚのうちのいずれかの周波数、大きさについては１３０Ｖ〜２００Ｖのうちのいずれかの大きさに調整されており、その結果、分散型ＥＬ素子１３２の発光の輝度が、５００ｃｄ／ｍ2〜６００ｃｄ／ｍ2のうちのいずれかの輝度に調整されている。
【００３７】
ここで、本実施形態の撮影スタジオ１０では、デジタルカメラ１１による撮影は、ＥＬパネル１３０が常時点灯した状態で行なわれる。また、上述したように、１回目の撮影は閃光発光装置１２が閃光を発した状態で行なわれ、２回目の撮影は閃光発光装置１２が消えた状態で行なわれる。さらに、この撮影スタジオ１０では、閃光発光装置１２が発する閃光の輝度は、ＥＬパネル１３０が点灯したときの輝度よりもかなり高い。この結果、１回目の撮影では、ＥＬパネル１３０の輝度よりも高い輝度の閃光が、デジタルカメラ１１側から被写体Ｐを照らすという順光状態での撮影による、被写体Ｐがきれいに写った順光撮影画像が取得される。また、この１回目の撮影に連続して行なわれる２回目の撮影では、ＥＬパネル１３０からの光のみが被写体Ｐを後方から照らすという逆光状態での撮影による、被写体Ｐの像がシャドウ側に偏り、背景パネル１３０の像がハイライト側に偏った逆光撮影画像が取得される。
【００３８】
パーソナルコンピュータ２０は、上述したように本発明の背景置換装置の一実施形態として動作するものである。このパーソナルコンピュータ２０は、デジタルカメラ１１から渡された上記の２つの撮影画像に対して、上記の台形歪みについての補正を含む画像補正処理を施し、さらに、この補正済みの撮影画像に基づいて、まず、背景がデフォルトの背景に置換された表示用の背景置換画像を作成して顧客に提示する。さらに、その表示用の背景置換画像を見た顧客の要望に応じて、背景が顧客が所望する背景に置換された背景置換画像を作成するという一連の背景置換処理を行なう。この画像補正処理と背景置換処理とについては後述する。
【００３９】
このパーソナルコンピュータ２０は、外観構成上、フレキシブルディスク（以降、ＦＤと呼ぶ）やＣＤ−ＲＯＭの装填口を有し、その装填口に装填されたＦＤやＣＤ−ＲＯＭへのアクセス機能を有する本体装置２１０、その本体装置２１０からの指示に応じて表示画面２２０ａ上に画像を表示する画像表示装置２２０、本体装置２１０にキー操作に応じた各種の情報を入力するキーボード２３０、表示画面２２０ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス２４０、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ２５０を備えている。
【００４０】
プリンタ３０は、パーソナルコンピュータ２０から送られてくる画像をプリントするものであり、撮影システム１では、パーソナルコンピュータ２０が背景置換処理によって作成した背景置換画像をプリントする役割を担っている。
【００４１】
サーバ４０には、パーソナルコンピュータ２０で実行される背景置換処理で使用される複数種類の背景が格納されている。このサーバ４０内の背景は、表示画面２２０ａ上に表示されることによって顧客に提示される。また、この撮影システム１では、サーバ４０内に格納されている背景以外にも、上記のＣＤ−ＲＯＭや上記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面２２０ａを通じて顧客に提示される。顧客は、表示画面２２０ａ上に表示されたそれらの背景の中から所望の背景を選ぶ。
【００４２】
次に、この図１に示す撮影システム１で実行される、本発明の背景置換方法の一実施形態が適用された作業の流れについて説明する。尚、以下の説明では、図１に示す要素については特に図番を断らずに図１中の符号を使って参照する。
【００４３】
図２は、図１の撮影システムで実行される、本発明の背景置換方法の一実施形態が適用された作業の流れを示すフローチャートである。
【００４４】
この図２のフローチャートが示す作業は、撮影スタジオ１０において、被写体Ｐ、デジタルカメラ１１、および閃光発光装置１２がそれぞれ適当な位置に配置されていることを前提として行なわれる。
【００４５】
まず、電源１４から分散型ＥＬ素子１３２に電圧が印加され、ＥＬパネル１３０が点灯する（ステップＳ１０１）。次に、カメラマンが、ピントや露光の調節等を行なった後にデジタルカメラ１１のシャッタボタンを押すと、被写体Ｐに対する撮影が２回連続して行なわれる。まず１回目の撮影では、デジタルカメラ１１から発信される指示信号に応じて閃光発光装置１２がＥＬパネル１３０の照明よりも高輝度の閃光を発し、この閃光による順光状態で被写体Ｐが撮影される（ステップＳ１０２）。続いて、２回目の撮影が、閃光発光装置１２が消灯した状態、即ち、ＥＬパネル１３０のみの照明による逆光状態で行なわれる（ステップＳ１０３）。ステップＳ１０２およびステップＳ１０３の処理でそれぞれ得られた、順光撮影画像と逆光撮影画像との２つの撮影画像は、デジタルカメラ１１内のメモリに一時的に保管される。
【００４６】
以上に説明したステップＳ１０１〜ステップＳ１０３の処理は、撮影スタジオ１０において行なわれる、写真館の店員等といった人手による撮影処理である。また、ステップＳ１０２〜ステップＳ１０３の撮影処理は、顧客やカメラマンの要望に応じた回数だけ繰り返され、上記の２つの撮影画像からなる画像ペアが撮影処理の回数だけ得られる。
【００４７】
以下では、この撮影処理が複数回繰り返され、画像ペアが複数得られたことを前提として説明を続ける。
【００４８】
次に、このフローチャートにおけるステップＳ１０４以降の処理について説明するが、この以下に説明する処理のうち、ステップＳ１０４からステップＳ１１５に至る処理が、本発明の背景置換方法の一実施形態に相当する。
【００４９】
上記の撮影処理で得られた複数の画像ペアは、その撮影処理が終了すると直ちにパーソナルコンピュータ２０に渡される。さらに、サーバ４０に保管されている複数の背景の中から、背景が、所定の優先順位に従って、各画像ペアにつき１つずつ後述のデフォルト置換処理で用いられるデフォルトの背景として読み出される（ステップＳ１０４）。このステップＳ１０４の処理が、本発明の画像置換方法における画像取得過程の一例に相当する。
【００５０】
続いて、各画像ペアをなす撮影画像に、上記の台形歪みについての補正を含む後述の画像補正処理が施され（ステップＳ１０５）、さらに、それら補正済みの撮影画像からなる補正済みの画像ペアを所定の保管場所に保管するという撮影画像保管処理が実行される（ステップＳ１０６）。このステップＳ１０６の撮影画像保管処理が、本発明の画像置換方法における撮影画像保管過程の一例に相当する。
【００５１】
次に、ステップＳ１０６の撮影画像保管処理で保管された補正済みの画像ペアそれぞれについて、各画像ペアに基づいて置換パラメータを作成し、その置換パラメータを使ってその画像ペアの順光撮影画像の背景をデフォルトの背景に置換してデフォルト置換画像を作成するというデフォルト置換処理が実行される（ステップＳ１０７）。
【００５２】
そして、各画像ペアについて作成されたデフォルト置換画像を、その画像ペアについての表示用画像としてその画像ペアに対応付けて所定の保管場所に保管するという表示用画像保管処理と、そのデフォルト置換画像の作成に使われた置換パラメータを、その画像ペアに対応付けて所定の保管場所に保管するという置換パラメータ保管処理とが実行される（ステップＳ１０８）。
【００５３】
続いて、全ての画像ペアについて作成されたデフォルト置換画像が、表示画面２２０ａ上に表示される（ステップＳ１０９）。
【００５４】
そして、表示画面２２０ａ上のデフォルト置換画像の中から、顧客が所望するデフォルト置換画像が所定の選択操作を受けて選択され、その選択を受けて、選択されたデフォルト置換画像に対応した画像ペアの順光撮影画像と、そのデフォルト置換画像の作成に使われた置換パラメータとをそれぞれの保管場所から読み出すという表示用画像選択処理が実行される（ステップＳ１１０）。さらに、上記のサーバ４０内の複数種類の背景が、表示画面２２０ａ上に表示され、それら表示画面２２０ａ上の背景の中から、顧客が所望する背景が所定の選択操作を受けて選択され、その選択を受けて、選択された所望の背景をサーバ４０から読み出すという背景選択処理が実行される（ステップＳ１１１）。
【００５５】
次に、ステップＳ１１０の表示用画像選択処理で読み出された順光撮影画像の背景を、ステップＳ１１１の背景選択処理で読み出された所望の背景に、表示用画像選択処理で読み出された背景置換パラメータを使って再置換して再置換画像を作成するという再置換処理が実行される（ステップＳ１１２）。そして、このステップＳ１１２の再置換処理で作成された再置換画像を、ステップＳ１０８における表示用画像保管処理で表示用画像として保管されたデフォルト置換画像に替えて保管するという置換画像保管処理が実行される（ステップＳ１１３）。さらに、上記の再置換画像が、表示画面２２０ａ上に表示される（ステップＳ１１４）。
【００５６】
続いて、上記の再置換画像を表わす画像データが、プリンタ３０と、顧客が希望する出力用記憶媒体とのうちの少なくとも１つに転送される（ステップＳ１１５）。そして、再置換画像を表わす画像データがプリンタ３０に転送された場合に、プリンタ３０において、その画像データに基づいて再置換画像がプリントされる（ステップＳ１１６）。
【００５７】
ここで、上記のステップＳ１０７のデフォルト置換処理と、上記のステップＳ１１２の再置換処理とのそれぞれの処理において、本発明の背景置換方法における背景置換過程の一例が実行される。また、上記のステップＳ１０８における表示用画像保管処理が、本発明の背景置換方法における表示用画像保管過程の一例に相当する。また、上記のステップＳ１０９のデフォルト置換画像の表示処理が、本発明の背景置換方法における表示過程の一例に相当する。
【００５８】
ここで、以上のステップＳ１０４からステップＳ１１５に至る本発明の背景置換方法の一実施形態の各処理の詳細については、本発明の背景置換装置の一実施形態の各部の作用と併せて説明する。
【００５９】
本発明の背景置換方法の一実施形態であるステップＳ１０４〜ステップＳ１１５の処理は、パーソナルコンピュータ２０において実行される処理であり、以下では、これらの処理を実行するパーソナルコンピュータ２０と、それらの処理の詳細に注目して説明する。
【００６０】
まず、このパーソナルコンピュータ２０の内部構成について説明する。
【００６１】
図３は、図１に示すパーソナルコンピュータのハードウェア構成図である。
【００６２】
この図３に示すように、本体装置２１０の内部には、各種プログラムを実行するＣＰＵ２１１、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開される主メモリ２１２、各種プログラムやデータ等が保存されたハードディスク装置２１３、ＦＤ５２０が装填され、その装填されたＦＤ５２０をアクセスするＦＤドライブ２１４、ＣＤ−ＲＯＭ５１０をアクセスするＣＤ−ＲＯＭドライブ２１５、図１のサーバ４０やデジタルカメラ１１と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース２１６、および、図１のプリンタ３０と接続され、背景置換画像等を出力する出力インタフェース２１７が内蔵されており、これらの各種要素と、さらに図１にも示す画像表示装置２２０、キーボード２３０、マウス２４０、および、小型記憶メディア５３０をアクセスするメディアドライブ２５０は、バス２６０を介して相互に接続されている。
【００６３】
ここで、上記のＣＤ−ＲＯＭ５１０は、パーソナルコンピュータ２０を、本発明の背景置換装置の一実施形態として動作させるための、本発明の背景置換プログラムの一実施形態が記憶されてなる、本発明の背景置換プログラム記憶媒体の一実施形態に相当する。
【００６４】
そして、そのＣＤ−ＲＯＭ５１０がＣＤ−ＲＯＭドライブ２１５に装填されると、そのＣＤ−ＲＯＭ５１０に記憶されたプログラムがこのパーソナルコンピュータ２０にアップロードされてハードディスク装置２１３に書き込まれる。これにより、パーソナルコンピュータ２０は背景置換装置として動作する。
【００６５】
次に、本発明の背景置換プログラムの一実施形態、および、本発明の背景置換プログラム記憶媒体の一実施形態について説明する。
【００６６】
図４は、本発明の背景置換プログラムの一実施形態が記憶された、本発明の背景置換プログラム記憶媒体の一実施形態を示す概念図である。
【００６７】
図４に示すＣＤ−ＲＯＭ５１０は、本発明の背景置換プログラムの一実施形態である背景置換プログラム６００が記憶されたものであり、本発明の背景置換プログラム記憶媒体の一実施形態に相当する。
【００６８】
この背景置換プログラム６００は、画像取得部６１０、画像補正部６２０、置換処理部６３０、画像保管部６４０、画像選択部６５０、画像データ転送部６６０、および画像表示部６７０で構成されている。
【００６９】
この背景置換プログラム６００の各部の詳細については、本発明の背景置換装置の一実施形態の各部の作用と併せて説明する。尚、以下の説明では、図１、図３、および図４に示す要素については特に図番を断らずに各図中の符号を使って参照する。
【００７０】
図５は、図４に示す背景置換プログラムが図１および図３に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明の背景置換装置の一実施形態として動作するときの機能を表わす機能ブロック図である。また、この図５には、図１にも示す、デジタルカメラ１１、閃光発光装置１２、およびＥＬパネル１３０からなる撮影スタジオ１０と、プリンタ３０と、サーバ４０と、図３にも示すハードディスク装置２１３も示されている。
【００７１】
この図５に示す背景置換装置７００は、上述したように、撮影スタジオ１０のデジタルカメラ１１によって順光および逆光それぞれの下で撮影された順光撮影画像と逆光撮影画像との画像ペアについて撮影されたもの全て取得して、まず各画像ペアの順光撮影画像の背景をデフォルトの背景に置換して表示し、その後に、背景を所望の背景に置換するという背景置換処理を実行するものであり、画像取得部７１０、画像補正部７２０、置換処理部７３０、画像保管部７４０、画像選択部７５０、画像データ転送部７６０、および画像表示部７７０を備えている。
【００７２】
画像取得部７１０は、まず、上記の画像ペアを、撮影されたもの全てについて、デジタルカメラ１１から受け取る。また、この画像取得部７１０は、サーバ４０に保管されている複数の背景の中から、所定の優先順位に従って、背景を、各画像ペアにつき１つずつデフォルトの背景として読み出す。この画像取得部７１０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像取得部６１０に従って、入力インタフェース２１６、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。この画像取得部７１０が、本発明の背景置換装置における画像取得部の一例に相当する。また、この画像取得部７１０によって、本発明の背景置換方法における画像取得過程の一例である、図２のフローチャートにおけるステップＳ１０４の画像取得処理が実行される。
【００７３】
画像補正部７２０は、画像取得部７１０で受け取られた各画像ペアの撮影画像に、台形歪みについての補正を含む後述の画像補正処理を施すものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像補正部６２０に従って動作することによって構成される。また、この画像補正部７２０によって、図２のフローチャートにおけるステップＳ１０５の画像補正処理が実行される。この画像補正部７２０の詳細については、画像補正処理の詳細とともに別図を参照して後述する。
【００７４】
置換処理部７３０は、上記の各画像ペアに基づいて置換パラメータを作成し、その置換パラメータを使って、その画像ペアの順光撮影画像の背景を別の背景に置換する後述の背景置換処理を実行する。ここで、この置換処理部７３０は、基本的には、各画像ペアの順光撮影画像の背景を上記のデフォルトの背景に置換するデフォルト置換処理を実行する。ただし、画像選択部７５０から、後述するように、一度作成されたデフォルト置換画像に対応する順光撮影画像と、そのデフォルト置換画像の作成時に作られた置換パラメータと、置換用の背景とが、後述の再置換開始命令とともに送られてくると、この置換処理部７３０は、送られてきた順光撮影画像の背景を、送られてきた背景に置換する再置換処理を実行する。また、この再置換処理では、背景置換処理における置換パラメータの作成が省略され、画像選択部７５０から送られてきた置換パラメータを使って上記のような背景の置換が行なわれる。この置換処理部７３０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の置換処理部６３０に従って動作することによって構成される。この置換処理部７３０の詳細については、背景置換処理の詳細とともに別図を参照して後述する。この置換処理部７３０が、本発明の背景置換装置における背景置換部と置換画像作成部とを兼ねた一例に相当する。また、この置換処理部７３０によって、本発明の背景置換方法における背景置換過程の一例を含む、図２のフローチャートにおけるステップＳ１０７のデフォルト置換処理や、ステップＳ１１２の再置換処理が実行される。
【００７５】
画像保管部７４０は、以下に説明するような各種の画像をハードディスク装置２１３に保管するものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像保管部６４０に従って動作することによって構成される。この画像保管部７４０は、まず、画像補正部７２０での画像補正処理を経た各画像ペアや、各画像ペアについて置換処理部７３０で作成されたデフォルト置換画像や、そのデフォルト置換画像の作成時に使われた置換パラメータを互いに対応付けてハードディスク装置２１３内に保管する。また、上記の置換処理部７３０が再置換画像を作成した場合には、その再置換画像の保管も行なう。この画像保管部７４０の詳細については、各種画像の保管処理の詳細とともに別図を参照して後述する。この画像保管部７４０が、本発明の背景置換装置における撮影画像保管部と表示用画像保管部と置換パラメータ保管部とを兼ねた一例に相当する。また、この画像保管部７４０によって、本発明の背景置換方法における撮影画像保管過程の一例である、図２のフローチャートのステップＳ１０６の撮影画像保管処理と、本発明の背景置換方法における表示用画像保管過程の一例である、図２のフローチャートのステップＳ１０８における表示用画像保管処理と、そのステップＳ１０８における置換パラメータ保管処理と、この図２のフローチャートにおけるステップＳ１１３の再置換画像保管処理とが実行される。
【００７６】
画像選択部７５０は、まず、各画像ペアに対応したデフォルト置換画像を画像表示部７７０に表示させる。そして、表示されたデフォルト置換画像の中から顧客が所望するデフォルト置換画像が所定の選択操作を受けて選択されると、選択されたデフォルト置換画像に対応した画像ペアの順光撮影画像と、そのデフォルト置換画像の作成に使われた置換パラメータとをハードディスク装置２１３から読み出す。また、画像選択部７５０は、上記のサーバ４０内の複数種類の背景も、画像表示部７７０に表示させる。そして、画像表示部７７０に表示させた背景の中から顧客が所望する背景が所定の選択操作を受けて選択されると、選択された所望の背景をサーバ４０から読み出す。そして、この画像選択部７５０は、読み出した順光撮影画像、置換パラメータ、および所望の背景を、再置換処理の開始命令とともに置換処理部７３０に渡す。そして、この置換処理部７３０で再置換処理によって作成され、上記の画像保管部７４０によってハードディスク装置２１３内に保管された再置換画像を読み出し、その再置換画像を画像表示部７７０に表示させるとともに、画像データ転送部７６０に渡す。この画像選択部７５０の詳細については、画像選択処理および背景選択処理の詳細とともに別図を参照して後述する。この画像選択部７５０が、本発明の背景置換装置における背景選択部の一例を含んでいる。また、この画像選択部７５０によって、図２のフローチャートにおけるステップＳ１１０の表示用画像選択処理と、ステップＳ１１１の背景選択処理とが実行される。
【００７７】
画像データ転送部７６０は、画像選択部７６０から渡される再置換画像を表わす画像データを、プリンタ３０および顧客が希望する出力用記憶媒体５５０のうちの少なくとも一方に転送する。この画像データ転送部７６０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像データ転送部６４０に従って、出力インタフェース２１７、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。
【００７８】
画像表示部７７０は、画像選択部７５０から渡されるデフォルト置換画像や背景、および、画像選択部７５０から渡される再置換画像を表示画面２２０ａに表示するものである。この画像表示部７７０には、画像を表示画面２２０ａに表示する機能を担うものとして画像表示装置２２０が含まれており、この画像表示部７７０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像表示部６５０に従って画像表示装置２２０を制御することによって構成される。この画像表示部７７０が、本発明の背景置換装置における表示部の一例に相当する。また、この画像表示部７７０によって、本発明の背景置換方法における表示過程の一例に相当する、図２のフォローチャートにおけるステップＳ１０９のデフォルト置換画像の表示処理が実行される。
【００７９】
また、上記の画像データ転送部７６０からプリンタ３０に、再置換画像を表わす画像データが出力された場合には、プリンタ３０において、この画像データに基づく再置換画像がプリントされ、上記の画像データ転送部７６０から何らかの出力用記憶媒体５５０に再置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体５５０に書き込まれる。そして、再置換画像がプリントされたプリント紙と、再置換画像を表わす画像データが書き込まれた出力用記憶媒体５５０との両方、あるいは一方が、顧客の希望に応じて提供される。
【００８０】
次に、図５において、それぞれ１つのブロックで示されている画像補正部７２０および置換処理部７３０の詳細について以下に説明する。
【００８１】
先ず、画像補正部７２０について説明する。
【００８２】
図６は、図５に１つのブロックで示す画像補正部の詳細を示す図である。尚、以下の説明では、図５に示す要素については特に図番を断らずに図中の符号を使って参照する。
【００８３】
この図６に示す画像補正部７２０は、上述したように、画像取得部７１０で受け取られた順光撮影画像と逆光撮影画像とに、台形歪みについての補正を含む画像補正処理を実行するものであり、マーカ検出部７２１、台形補正処理部７２２、有効画像切出部７２３、および色補正部７２４を備えている。
【００８４】
以下では、この画像補正部７２０の各要素の作用について、上記の台形歪みが生じた順光撮影画像を例として参照しながら説明する。
【００８５】
図７は、台形歪みが生じた順光撮影画像の一例を示す模式図である。
【００８６】
この図７には、画像の幅が、下に向かうほど狭まる台形歪みが生じた撮影画像が模式的に示されている。
【００８７】
まず、マーカ検出部７２１が、撮影画像に写っている４つのマーカ１３１ｃを検出する。本来、これら４つのマーカ１３１ｂを結ぶと長方形が形成されるはずであるが、図７の例では台形歪みのために、４つのマーカ１３１ｂを結ぶと台形になってしまう。
【００８８】
台形補正処理部７２２は、マーカ検出部７２１が検出した４つのマーカ１３１ｃを結んでできる図形が本来の長方形となるように、撮影画像全体に適当な変形を施すことで台形歪みを補正する。
【００８９】
図８は、図７の順光撮影画像における台形歪みが補正された状態を示す模式図である。
【００９０】
背景置換処理に供する撮影画像としては、被写体と背景との区別の容易さ等の点から、背景がＥＬパネル１３０における発光面のみであることが望ましい。しかしながら、本実施形態では、撮影スタジオ１０について省スペース化が図られていることから、ＥＬパネル１３０の大きさに限界があり、撮影画像には、図７や図８に示すように、ＥＬパネル１３０の発光面以外の不要な部分が背景として写ってしまう。
【００９１】
有効画像作成部７２３は、台形補正処理部７２２による補正処理を経た撮影画像から、４つのマーカ１３１ｃで決まる有効範囲Ｅ１の外側の画像が削除された有効画像を作成する。
【００９２】
図９は、図８に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効画像を示す模式図である。
【００９３】
有効画像作成部７２３によって、この図９に示すような、被写体Ｐの背景が、ＥＬパネル１３０の発光面のみである有効画像が作成されると、次に、色補正部７２４が、この有効画像に対して、例えば人物の目についての赤目補正や、画像全体の色合いを好ましい色合いに補正する等といった色補正処理を施す。
【００９４】
以上、図７〜図９の順光撮影画像を参照して、画像補正部７２０で行なわれる画像補正処理について説明したが、本実施形態では、順光撮影画像とともに撮影された逆光撮影画像にも、順光撮影画像に施された画像補正処理と全く同じ処理が施される。ただし、この逆光撮影画像では、被写体は黒くつぶれて写ることとなるので、上記の色補正部７２４での処理は、この逆光撮影画像に対しては除外される。
【００９５】
図１０は、図６の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画像を示す模式図である。
【００９６】
この図１０に示すように、補正済みの逆光撮影画像は、被写体Ｐの領域がシャドウ側に偏り、背景としてＥＬパネル１３０が写っている領域がハイライト側に偏った画像となっている。ここで、上記の図７〜図９の順光撮影画像では、ＥＬパネル１３０の発光の輝度が閃光発光装置１２が発する閃光の輝度よりも低いため、ＥＬパネル１３０の発光面は実際の発光色よりも白っぽく写るのに対し、この図１０に示す逆光撮影画像では、ＥＬパネル１３０の実際の発光色である青緑色に写る。
【００９７】
このように、図１０に示す補正済みの逆光撮影画像では、被写体Ｐの領域と、背景領域とでは、明るさが大きく異なるので両者を容易に区別することができる。また、補正済みの逆光撮影画像では、画像中の被写体Ｐの位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。そこで、本実施形態では、図５の置換処理部７３０において、まず、補正済みの逆光撮影画像について被写体Ｐと背景との区別を行ない、その区別を補正済みの順光撮影画像にそのまま適用することで、この順光撮影画像における被写体Ｐと背景とを区別する。そして、この置換処理部７３０では、順光撮影画像における背景を、顧客が所望する背景と置換して背景置換画像を作成する。
【００９８】
次に、この置換処理部７３０の詳細について、補正済みの逆光撮影画像における被写体と背景との区別から、背景置換画像の作成に至る背景置換処理に注目して説明する。
【００９９】
ここで、以下の説明では、上記の補正済みの順光撮影画像および補正済みの逆光撮影画像それぞれの一例として、次の画像を参照する。
【０１００】
図１１は、補正済みの順光撮影画像の一例を示す図であり、図１２は、補正済みの逆光撮影画像の一例を示す図である。
【０１０１】
これら図１１および図１２には、人物の被写体Ｐ’が写っている。ただし、図１２に示す撮影画像は、逆光で撮影されたものであるために、被写体Ｐ’の領域がシャドウ側に偏り、背景としてＥＬパネル１３０が写っている領域がハイライト側に偏った画像となっている。ここで、被写体Ｐ’と背景との境界周辺の様子を、図１１中のエリアＡ１と、この図１１中のエリアＡ１に対応する図１２中のエリアＡ２とについて別図に示す。
【０１０２】
図１３は、図１１中のエリアＡ１の拡大図であり、図１４は、図１２中のエリアＡ２の拡大図である。
【０１０３】
これら図１３および図１４には、被写体Ｐ’の頭髪越しに背景のＥＬパネル１３０が見えている様子が示されている。一般に、撮影画像中には、被写体の一部越しに背景が見えている部分がしばしば見られるが、このような部分は、図１１〜図１４の例に示すように、撮影画像中の被写体と背景との境界周辺に存在する。
【０１０４】
ここで、図１３および図１４は、説明の便宜上、人物の頭髪の一本に至るまで詳細に見える理想的な状態で示されている。しかし、実際の撮影画像では、解像度の制約により、画像を構成する画素が一本の頭髪等といった微細な被写体よりも大きくなる。そのため、例えば、図１３および図１４に示す、頭髪越しに背景のＥＬパネル１３０が見えている部分の画像等は、頭髪という微細な被写体の色と、その背後に見える背景の色とが合成された合成色を有する画素が集まって構成されることとなる。そのため、このような部分では、被写体と背景との単純な区別は不可能となっている。
【０１０５】
図５の置換処理部７３０は、例えば図１１に示すような、補正済みの順光撮影画像の背景を、顧客が所望する背景に置換する際には、まず、この補正済みの順光撮影画像を、被写体領域と、背景領域と、これら２つの領域に挟まれた境界領域とに区別する。置換処理部７３０は、この補正済みの順光撮影画像における被写体領域についてはそのまま残し、背景領域を、顧客が所望する別の背景と置換する。
【０１０６】
このとき、図１３に示すように被写体の一部越しに背景が見えていている部分、即ち、微細な被写体色と背景色とが合成された合成色を有する画素によって構成される部分は、上記のように被写体と背景とに単純に区別することが不可能であることから、置換処理部７３０によって上記の境界領域に区別される。
【０１０７】
置換処理部７３０は、補正済みの順光撮影画像における上記の境界領域内の全ての画素が、上記のような合成色を有しているという前提のもとに、各画素の色の合成の元となった被写体色と、背景色とを推定し、さらに両者の合成比を推定する。ただし、実際の境界領域には、合成色を有する画素の他にも、背景色のみを有する画素や、被写体色のみを有する画素も含まれる。置換処理部７３０では、処理対象の画素が、背景色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「０」となる合成比が推定され、処理対象の画素が、被写体色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「１」となる合成比が推定される。
【０１０８】
そして、置換処理部７３０は、上記の境界領域内の各画素の色を、推定された被写体色と、上記の顧客が所望する別の背景色とが、推定された合成比で合成されてなる合成色に置き換える。この処理では、境界領域中の、背景色のみを有する画素の色は上記の別の背景色に置換され、被写体色のみを有する画素の色はそのまま維持され、さらに、被写体の一部越しに背景が見えていている部分の画素の色は上記の合成色に置換される。この処理の結果、境界領域中に、被写体の一部越しに背景が見えていている部分が含まれていたとしても、その被写体の一部越しに、上記の顧客が所望する別の背景が見えているという自然な背景置換画像が作成される。
【０１０９】
以下、この置換処理部７３０の詳細について説明する。
【０１１０】
図１５は、図５に１つのブロックで示す置換処理部の詳細を示す図である。尚、以下の説明でも、図５に示す要素については特に図番を断らずに図５中の符号を使って参照する。
【０１１１】
この置換処理部７３０は、上述した背景置換処理を実行するものであり、マスク作成部７３１、色推定部７３２、および背景置換画像作成部７３３を備えている。
【０１１２】
まず、これら各構成要素の概要について説明する。
【０１１３】
マスク作成部７３１は、上記の補正済みの逆光撮影画像において、この逆光撮影画像中で、被写体色の画素のみが存在する範囲を定義する被写体マスクと、背景色の画素のみが存在する範囲を定義する背景マスクとを作成する。ここで、これら２つのマスクは、それぞれのマスクが定義する範囲内に、例えば図１４に示すような、被写体越しに背景が見えている部分の画素が含まれないように、互いに隙間を開けて作成される。
【０１１４】
色推定部７３２は、マスク作成部７３１が作成した被写体マスクと背景マスクとを、上記の補正済みの順光撮影画像に適用して、まず、この順光撮影画像において、これら２つのマスク間に開いた隙間、即ち、境界領域を認識する。そして、この境界領域内の全ての画素の色が真の被写体色と背景色との混合色であるという前提のもとに、各画素の色を構成している被写体色と、背景色とを推定し、さらに両者の合成比を推定する。
【０１１５】
背景置換画像作成部７３３は、まず、上記の補正済みの順光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。次に、境界領域内の各画素について、顧客が所望する背景の色と、上記の色推定部７３２で推定された被写体色とを、色推定部７３２で推定された合成比で合成して合成色を求め、各画素の色をその合成色に置換する。これにより、上記の補正済みの順光撮影画像の背景が、顧客が所望する別の背景に自然に置換された背景置換画像が作成される。
【０１１６】
このように作成された背景置換画像を表わす画像データが、図５の画像データ転送部７６０から、各出力デバイスや出力用記憶媒体５５０（図５参照）に転送される。
【０１１７】
次に、置換処理部７３０の各構成要素の詳細について説明する。
【０１１８】
まず、マスク作成部７３１の詳細について説明する。
【０１１９】
図１６は、図１５に１つのブロックで示すマスク作成部の詳細を示す図である。
【０１２０】
このマスク作成部７３１は、ヒストグラム作成部７３１ａ、閾値計算部７３１ｂ、背景マスク設定部７３１ｃ、被写体マスク設定部７３１ｄ、背景マスク縮小部７３１ｅ、および被写体マスク縮小部７３１ｆを備えている。
【０１２１】
ヒストグラム作成部７３１ａは、上記の補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムを作成する。
【０１２２】
図１７は、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムの様々な例を示す図である。
【０１２３】
この図１７のパート（ａ）には、逆光撮影画像を構成する各画素の輝度を、多数の輝度範囲に振り分け、各輝度範囲についてどれだけの画素が振り分けられたかを頻度で示した輝度ヒストグラムＨ１が示されており、この輝度ヒストグラムＨ１では、横軸Ｈ１＿１に輝度がとられ、縦軸Ｈ１＿２に頻度がとられている。
【０１２４】
ここで、本実施形態では上記の順光撮影画像および逆光撮影画像は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３色で色を定義するＲＧＢ色空間上の座標、即ち、このＲＧＢ色空間におけるＲ値、Ｇ値、およびＢ値で各画素の色が表わされている。各画素の色を表わすＲ値、Ｇ値、およびＢ値それぞれには、その画素の明るさが反映されているので、逆光撮影画像を構成する各画素の明るさについてのヒストグラムを、これらＲ値、Ｇ値、およびＢ値のうちのいずれかを用いて作成することもできる。
【０１２５】
図１７のパート（ｂ）には、逆光撮影画像を構成する各画素のＲ値を、Ｒ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＲ値ヒストグラムＨ２が示されており、図１７のパート（ｃ）には、逆光撮影画像を構成する各画素のＧ値を、Ｇ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＧ値ヒストグラムＨ３が示されており、図１７のパート（ｄ）には、逆光撮影画像を構成する各画素のＢ値を、Ｂ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＢ値ヒストグラムＨ４が示されている。図１７のパート（ｂ）に示すＲ値ヒストグラムＨ２では、横軸Ｈ２＿１にＲ値がとられ、図１７のパート（ｃ）に示すＧ値ヒストグラムＨ３では、横軸Ｈ３＿１にＧ値がとられ、図１７のパート（ｄ）に示すＢ値ヒストグラムＨ４では、横軸Ｈ４＿１にＢ値がとられている。また、これら３つのヒストグラムの縦軸Ｈ２＿２，Ｈ３＿２，Ｈ４＿２には、頻度がとられている。
【０１２６】
本実施形態では、逆光撮影画像では、被写体の背景が、ＥＬパネル１３０の発光色である青緑色に写ることから、この逆光撮影画像の各画素の明るさは、Ｒ値、Ｇ値、およびＢ値のうち、Ｇ値に最も良く反映される。そこで、図１６のヒストグラム作成部７３１ａは、図１７に示す４つのヒストグラムのうち、図１７のパート（ｃ）に示すＧ値ヒストグラムＨ３を作成するように構成されている。
【０１２７】
ここで、このＧ値ヒストグラムＨ３には、他の３つのヒストグラムと同様に、シャドウ側と、ハイライト側とに２つのピークＰｋ１，Ｐｋ２が現れる。シャドウ側のピークＰｋ１は、補正済みの逆光撮影画像における被写体領域の画素が振り分けられて現れるものであり、ハイライト側のピークＰｋ２は、この逆光撮影画像における背景領域の画素が振り分けられて現れるものである。
【０１２８】
図１６に示す閾値計算部７３１ｂは、このヒストグラム作成部７３１ａが作成したＧ値ヒストグラムにおける２つのピークＰｋ１，Ｐｋ２それぞれに基づいて、次の２つの閾値を計算する。図１７のパート（ｃ）に示すようにシャドウ側のピークＰｋ１からは、このピークＰｋ１において、頻度が所定頻度以上となるＧ値の上限である第１の閾値Ｓｒ１が計算される。また、ハイライト側のピークＰｋ２からは、このピークＰｋ２において、頻度が所定頻度以上となるＧ値の下限である第２の閾値Ｓｒ２が計算される。
【０１２９】
そして、図１６に示す被写体マスク設定部７３１ｃは、上記の補正済みの逆光撮影画像を構成する複数の画素のうち、Ｇ値が第１の閾値Ｓｒ１以下となる画素からなる領域を初期被写体マスクに設定し、背景マスク設定部７３１ｄは、Ｇ値が第２の閾値Ｓｒ２以上となる画素からなる領域を初期背景マスクに設定する。
【０１３０】
図１８は、図１４に示す逆光撮影画像の拡大図において、初期被写体マスクに設定された領域と初期背景マスクに設定された領域を示す図である。
【０１３１】
この図１８における右側のハッチング部分は、図１４の拡大図において被写体Ｐ’の頭髪が、背景が見えないほどに集まっていて、逆光撮影によってシャドウ側に大きく偏って写っている部分であり、その部分の画素のＧ値が上記の第１の閾値Ｓｒ１を下回っている。その結果、この図１８における右側のハッチング部分は、被写体マスク設定部７３１ｃによって初期被写体マスクＭ１に設定される。
【０１３２】
また、図１８における左側のハッチング部分は、図１４の拡大図において背景のＥＬパネル１３０のみが写っている、ハイライト側に大きく偏った部分であり、その部分の画素のＧ値は上記の第２の閾値Ｓｒ２を上回っている。その結果、この図１８における左側のハッチング部分は、背景マスク設定部７３１ｄによって初期背景マスクＭ２に設定される。
【０１３３】
一方、図１８において左右いずれのハッチング部分にも属していない部分は、頭髪越しに背景が見えている部分であり、その部分のＧ値は、上記の第１の閾値Ｓｒ１を上回り、上記の第２の閾値Ｓｒ２を下回る。その結果、この図１８において左右いずれのハッチング部分にも属していない部分は、初期被写体マスクＭ１と初期背景マスクＭ２との間にあって、両方のマスクの外側となる境界領域Ｍ３として残される。
【０１３４】
図１９は、図１８に示す初期被写体マスクと初期背景マスクとを示す図であり、図２０は、初期被写体マスクと初期背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。
【０１３５】
図１９および図２０に示すように、初期被写体マスクＭ１と初期背景マスクＭ２とはかなり接近しており、境界領域Ｍ３が非常に狭くなっている。ここで、上述したように、補正済みの逆光撮影画像では、画像中の被写体の位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。しかし、撮影のタイミングが若干ずれているため、２つの撮影画像の間で、被写体の位置や輪郭が若干ずれる可能性もある。そのような場合には、境界領域Ｍ３が狭いと、補正済みの順光撮影画像において、図１３に示すような、被写体の一部を透かして背景が見えている部分が境界領域Ｍ３に完全には含まれず、２つのマスクのいずれか一方に含まれてしまう恐れが生じる。このような初期被写体マスクＭ１と、初期背景マスクＭ２とに基づいて、背景の置換が行なわれると、被写体の一部を透かして背景が見えている部分に、古い背景が残ってしまったり、あるいは、そのような部分が全て新しい背景に置換されて、被写体の一部が欠けてしまったりするという問題が発生してしまう恐れがある。
【０１３６】
このような問題を回避するために、本実施形態では、図１６に示す被写体マスク縮小部７３１ｅによって初期被写体マスクＭ１を境界領域Ｍ３から離れる方向に縮小し、背景マスク縮小部７３１ｆによって初期背景マスクＭ２を境界領域Ｍ３から離れる方向に縮小する。これにより、境界領域Ｍ３が広げられ、被写体の一部を透かして背景が見えている部分が境界領域Ｍ３により多く含まれるようになる。
【０１３７】
図２１は、図１９に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域から離れる方向に縮小される様子を示す図である。
【０１３８】
この図２１に示すように、初期被写体マスクＭ１の輪郭Ｌ１が所定数の画素分だけ、境界領域Ｍ３から離れる方向に移動されることによって初期被写体マスクＭ１が縮小され、同様に、初期背景マスクＭ２の輪郭Ｌ２が所定数の画素分だけ、境界領域Ｍ３から離れる方向に移動されることによって初期背景マスクＭ２が縮小される。ここで、本実施形態では、２つのマスクの輪郭の移動量として５画素が採用されている。このようなマスクの縮小を経て、最終的な被写体マスクＭ１’および背景マスクＭ２’が完成される。
【０１３９】
図２２は、最終的に完成された被写体マスクと背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。
【０１４０】
最終的に完成された被写体マスクＭ１’と背景マスクＭ２’との間、即ち、最終的な境界領域Ｍ３’は、図２０に示す境界領域Ｍ３に比べて１０画素分広くなっており、図２２に示すように、この最終的な境界領域Ｍ３’に、被写体の一部を透かして背景が見えている部分がかなり含まれることとなる。
【０１４１】
以上で、図１５の置換処理部７３０が備えるマスク作成部７３１についての説明を終了し、次に、この置換処理部７３０が備える色推定部７３２の詳細について説明する。
【０１４２】
図２３は、図１５に１つのブロックで示す色推定部の詳細を示す図である。
【０１４３】
この色推定部７３２は、背景色推定部７３２ａ、被写体色推定部７３２ｂ、および合成比推定部７３２ｃを備えている。
【０１４４】
まず、背景色推定部７３２ａについて説明する。
【０１４５】
図２４は、図２３に１つのブロックで示す背景色推定部の詳細を示す図である。
【０１４６】
この背景色推定部７３２ａは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している背景色を推定するものであり、探索範囲設定部７３２ａ＿１、背景領域確認部７３２ａ＿２、および背景色計算部７３２ａ＿３を備えている。
【０１４７】
この背景色推定部７３２ａは、境界領域内のある画素について背景色を推定する際には、背景マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の平均色を、その画素についての背景色として求める。
【０１４８】
探索範囲設定部７３２ａ＿１は、背景色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。
【０１４９】
図２５は、ある画素について背景色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
【０１５０】
境界領域内のある画素Ｇについて探索範囲を設定するに当たり、探索範囲設定部７３２ａ＿１は、まず、この画素Ｇを中心とした正方形状の所定の初期範囲Ｔ１から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部７３２ａ＿１は、背景マスクＭ２’で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張を止め、そのときの探索範囲Ｔ１’を、背景色推定のための探索範囲として設定する。
【０１５１】
探索範囲が設定されると、図２４に示す背景領域確認部７３２ａ＿２が、画素Ｇについて背景色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。
【０１５２】
図２６は、ある画素について背景色を推定するために用いられる領域の一例を示す図である。
【０１５３】
この図２６に示すように、画素Ｇについて背景色を推定するために用いられる領域として、補正済みの順光撮影画像において、背景マスクで定義される領域であり、かつ探索範囲設定部７３２ａ＿１によって設定された探索範囲Ｔ１’内となる領域Ｂ１が確認される。
【０１５４】
このように、画素Ｇについて背景色を推定するために用いられる領域Ｂ１が確認されると、図２４に示す背景色計算部７３２ａ＿３が、この領域Ｂ１内の複数の画素の平均色、即ち、複数の画素のＲ値、Ｇ値、およびＢ値それぞれの平均値を計算する。そして、その計算結果が表わす色を、その画素Ｇについての背景色として採用する。
【０１５５】
以上に説明した背景色推定部７３２ａは、上記の探索範囲の設定から平均色の計算に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
【０１５６】
次に、図２３に示す被写体色推定部７３２ｂについて説明する。
【０１５７】
図２７は、図２３に１つのブロックで示す被写体色推定部の詳細を示す図である。
【０１５８】
この被写体色推定部７３２ｂは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している被写体色を推定するものであり、探索範囲設定部７３２ｂ＿１、被写体領域確認部７３２ｂ＿２、画素色確認部７３２ｂ＿３、および被写体色探索部７３２ｂ＿４を備えている。
【０１５９】
この被写体色推定部７３２ｂは、境界領域内のある画素について被写体色を推定する際には、被写体マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の中から、後述の探索方法によって、その画素についての被写体色を探索する。
【０１６０】
探索範囲設定部７３２ｂ＿１は、被写体色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。
【０１６１】
図２８は、ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
【０１６２】
境界領域内のある画素Ｇについて探索範囲を設定するに当たり、探索範囲設定部７３２ｂ＿１は、まず、この画素Ｇを中心とした正方形状の所定の初期範囲Ｔ２から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部７３２ｂ＿１は、被写体マスクＭ１’で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張を止め、そのときの探索範囲Ｔ２’を、被写体色推定のための探索範囲として設定する。
【０１６３】
探索範囲が設定されると、図２７に示す被写体領域確認部７３２ｂ＿２が、画素Ｇについて被写体色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。
【０１６４】
図２９は、ある画素について被写体色を推定するために用いられる領域の一例を示す図である。
【０１６５】
この図２９に示すように、画素Ｇについて被写体色を推定するために用いられる領域として、補正済みの順光撮影画像において、被写体マスクで定義される領域であり、かつ探索範囲設定部７３２ｂ＿１によって設定された探索範囲Ｔ２’内となる領域Ｂ２が確認される。
【０１６６】
このように、画素Ｇについて被写体色を推定するために用いられる領域Ｂ２が確認されると、まず、図２７に示す画素色確認部７３２ｂ＿３が、その画素Ｇの色を確認し、次に、図２７に示す被写体色探索部７３２ｂ＿４が、上記の領域Ｂ２内の複数の画素の色の中から、以下のような探索方法によって、その画素Ｇについての被写体色を探索する。
【０１６７】
図３０は、補正済みの順光撮影画像における境界領域内のある画素について被写体色を探索する際の探索方法を示す図である。
【０１６８】
図３０には、補正済みの順光撮影画像における境界領域内のある画素について、図２３の背景色推定部７３２ａで推定された背景色Ｃ１と、図２７の画素色確認部７３２ｂ＿３で確認されたその画素の色Ｃ２とを、ＲＧＢ色空間上で結ぶ直線ＣＬ１が示されている。
【０１６９】
上述したように、補正済みの順光撮影画像における境界領域内の画素の色は、撮影時に被写体の一部越しに背景が見えて、背景色と被写体色とが合成された合成色となっている可能性がある。仮に、今、被写体色を探索しようとしている画素の色がこのような合成色となっている場合には、合成色である画素の色Ｃ２と、その色Ｃ２の元となった背景色Ｃ１と被写体色とはＲＧＢ色空間上の直線上に並ぶ。
【０１７０】
そこで、図２７に示す被写体色探索部７３２ｂ＿４は、まず、上記の領域Ｂ２内の複数の画素の色の中から、上記の直線ＣＬ１の延長線上に並ぶ色Ｃ３を探索する。
【０１７１】
このような色Ｃ３が複数存在する場合には、この直線ＣＬ１の延長線上で、画素の色Ｃ２に最も近い色が、背景色Ｃ１とともにその画素の色Ｃ２の元となった可能性が最も高い。そこで、被写体色探索部７３２ｂ＿４は、上記の直線ＣＬ１の延長線上に並ぶ色Ｃ３が複数存在する場合には、これらの色Ｃ３の中から、画素の色Ｃ２に最も近い色を、この画素についての被写体色Ｃ４として採用する。
【０１７２】
以上に説明した被写体色推定部７３２ｂは、上記の探索範囲の設定から被写体色の探索に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
【０１７３】
以上で、図２３に示す被写体色推定部７３２ｂについての説明を終了し、次に、この図２３に示す合成比推定部７３２ｃについて説明する。尚、この合成比推定部７３２ｃについての説明では上記の図３０を参照する。
【０１７４】
この合成比推定部７３２ｃは、図３０に示すように、背景色推定部７３２ａで推定された背景色Ｃ１と、被写体色推定部７３２ｂで推定された被写体色Ｃ４とを、ＲＧＢ色空間上で結ぶ線分の長さに対する、背景色Ｃ１と、その画素の色Ｃ２とを結ぶ線分の長さの割合を、背景色Ｃ１と被写体色Ｃ４とで画素の色Ｃ２を合成するときの合成比αとして算出する。また、この合成比推定部７３２ｃは、このような合成比αの算出を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
【０１７５】
以上で、図１５の置換処理部７３０が備える色推定部７３２の詳細についての説明を終了し、次に、この置換処理部７３０が備える背景置換画像作成部７３３の詳細について説明する。
【０１７６】
この背景置換画像作成部７３３は、上述したように、まず、上記の補正済みの順光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。
【０１７７】
そして、この背景置換画像作成部７３３は、境界領域内の各画素については、顧客が所望する背景の色と、色推定部７３２で推定された被写体色とを、色推定部７３２で推定された合成比で合成して合成色を求める。
【０１７８】
図３１は、補正済みの順光撮影画像における境界領域内のある画素について合成色が求められる様子を示す図である。
【０１７９】
この図３１には、ＲＧＢ色空間上で、推定された背景色Ｃ１と、その画素の色Ｃ２と、推定された被写体色Ｃ４とを結ぶ、図３０にも示した直線ＣＬ１が示されている。ここで、画素の色Ｃ２は、背景色Ｃ１と被写体色Ｃ４とを結ぶ直線を、合成比α：（１−合成比α）で分割する点であるといえる。そこで、背景置換画像作成部７３３は、この図３１に示すように、別の背景色Ｃ５と、推定された被写体色Ｃ４とを結ぶ直線ＣＬ２を、合成比α：（１−合成比α）で分割する点を合成色Ｃ６として採用する。
【０１８０】
この図３１を参照して説明した方法で、境界領域内の全ての画素について合成色が求められると、背景置換画像作成部７３３は、この全ての画素の色を、各画素について求められた合成色に置換することにより、補正済みの順光撮影画像の背景が、顧客が所望する別の背景に置換された背景置換画像を完成させる。
【０１８１】
ここで、補正済みの順光撮影画像における境界領域内には、図２２等からもわかるように、被写体の一部越しに背景が見えている部分以外にも、被写体のみで占められた部分や、背景のみで占められた部分も含まれる。被写体のみで占められた部分の画素の色は被写体そのものの色であり、背景が別の背景に置換されたとしても、その画素の色は維持される必要がある。また、背景のみで占められた部分の画素の色は背景そのものの色であり、背景が別の背景に置換されたときには、その画素の色は、その別の背景色に完全に置換される必要がある。
【０１８２】
本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写体のみで占められた部分の画素であった場合には、図２９に示す領域Ｂ２のような、その画素について被写体色を推定するために用いられる領域内のほとんどの画素の色が、推定対象の画素の色と同じ被写体そのものの色となる。その結果、このような画素については、合成比αがほぼ「１」となり、背景が置換される際には、この合成比αに基づいて合成色が求められるので、その画素の色である被写体そのものの色が維持される。
【０１８３】
一方、背景色や被写体色や合成比の推定対象の画素が、背景のみで占められた部分の画素であった場合には、その画素の色が、その画素について推定される背景色と同じ背景そのものの色となる。その結果、このような画素については、合成比αがほぼ「０」となり、背景が置換される際には、この合成比αに基づいて、その画素の色は、別の背景色に完全に置換されることとなる。
【０１８４】
結局、本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写体の一部越しに背景が見えている部分の画素であった場合に、合成比αが「０」と「１」との間の値を持つこととなり、背景が置換される際に、被写体色と、別の背景色との合成が行なわれて背景置換画像が作成される。
【０１８５】
図３２は、背景置換画像の一例を示す図である。
【０１８６】
この図３２には、図１１に示す補正済みの順光撮影画像の背景を別の背景に置換して作成された背景置換画像における、図１１中のエリアＡ１と同じ部分が拡大された拡大図が示されている。
【０１８７】
背景置換画像作成部７３３で作成される背景置換画像は、境界領域内の画素の色が上記の合成色に置換された画像であり、この背景置換画像から、観賞者は、この図３２に示すような、被写体Ｐ’の頭髪越しに、置換された別の背景ＴＢが透けている状態を認識することとなる。
【０１８８】
ここで、本実施形態では、上述したように、まず、撮影で得られた全ての画像ペアについて、各画像ペアの順光撮影画像の背景をデフォルトの背景に置換してデフォルト置換画像を作成するというデフォルト置換処理が行なわれる。そして、各デフォルト置換画像とともに、置換パラメータが保管されるが、ここでいう置換パラメータとは、各デフォルト置換画像の作成時に設定された上記の被写体マスクＭ１’および背景マスクＭ２’と、さらにこれら２つのマスクによって決まる境界領域Ｍ３’中の各画素について求められた被写体色および合成比とを意味する。そして、上記の再置換処理は、これらの置換パラメータが、図５の背景置換部７３０、延いては、図１５の背景置換画像作成部７３３に与えられることにより、マスクの作成から被写体色や合成比の推定に至る各種の処理が省略された簡易な処理となる。
【０１８９】
次に、図５の画像保管部７４０が、撮影で得られ、上記の画像補正処理を施された画像ペアと、デフォルト置換画像と、上記の置換パラメータとを保管する、ハードディスク装置２１３内の保管エリアについて説明する。
【０１９０】
図３３は、ハードディスク装置内の保管エリアを示す概念図である。
【０１９１】
この図３３に示すように、ハードディスク装置２１３内には、上記のデフォルト置換画像や再置換画像が保管される背景置換画像保管フォルダ２１３ａと、上記の画像ペアや置換パラメータが保管される撮影画像保管フォルダ２１３ｂとが設けられている。ここで、上記の撮影画像保管フォルダ２１３ｂが、本発明にいう第１の保管場所の一例に相当し、上記の背景置換画像保管フォルダ２１３ａが、本発明にいう第２の保管場所の一例に相当する。
【０１９２】
ここで、図５の画像保管部７４０は、例えば、１回目の連写で得られた順光撮影画像および逆光撮影画像を上記の撮影画像保管フォルダ２１３ｂに保管する際には、まず、その撮影画像保管フォルダ２１３ｂ内に、この１回目の連写による画像ペアが保管されるサブフォルダ２１３ｂ＿１を、「１」というフォルダ名で作成する。そして、そのサブフォルダ２１３ｂ＿１内に、１回目の連写で得られた順光撮影画像および逆光撮影画像が、それぞれの撮影条件を示す名称が付されて保管される。この各撮影画像に付される名称が、本発明にいう「撮影条件を区別する区別情報」の一例に相当する。このような処理により、複数回の連写が行なわれた際には、撮影画像保管フォルダ２１３ｂ内に複数のサブフォルダ２１３ｂ＿１，２１３ｂ＿２，…，２１３ｂ＿Ｎが作成されることとなる。
【０１９３】
次に、例えば、１回目の連写による画像ペアに基づいてデフォルト置換画像が作成されると、図５の画像保管部７４０は、そのデフォルト置換画像を、その１回目の連写による画像ペアが保管されるサブフォルダ２１３ｂ＿１の名称に所定の拡張子が付された「１．拡張子」という名称で、上記の背景置換画像保管フォルダ２１３ａ内に保管する。これにより、デフォルト置換画像は、サブフォルダ２１３ｂ＿１内の画像ペアと対応付けられる。さらに、そのデフォルト置換画像の作成時に使われた上記の置換パラメータが、１回目の連写による画像ペアが保管されるサブフォルダ２１３ｂ＿１に保管される。これにより、置換パラメータが、１回目の連写による画像ペアと対応付けられる。
【０１９４】
図５の画像保管部７４０が、画像ペア、デフォルト置換画像、置換パラメータをこのように保管することにより、例えば、表示画面２２０ａ上に表示された複数のデフォルト置換画像の中から１つのデフォルト画像が選択操作をうけて選択されたときに、図５の画像選択部７５０が、そのデフォルト画像に対応する、順光撮影画像と置換パラメータとを容易にハードディスク装置２１３から読み出すことができる。
【０１９５】
また、本実施形態では、いずれかのデフォルト置換画像が、顧客によって選ばれ、再置換画像が作成された場合には、その再置換画像は、対応するデフォルト置換画像と同じ名称で、背景置換画像保管フォルダ２１３ａ内に保管される。即ち、再置換画像は、対応するデフォルト置換画像に上書きされる。
【０１９６】
次に、図５に１つの１つのブロックで示されている画像選択部７５０の詳細について以下に説明する。
【０１９７】
図３４は、図５に１つの１つのブロックで示されている画像選択部の詳細を示す図である。尚、以下の説明では、図５に示す要素については特に図番を断らずに図中の符号を使って参照する。
【０１９８】
この図３４に示す画像選択部７５０は、上述したように、所定の選択操作を受けてデフォルト置換画像が選択されると、そのデフォルト置換画像に対応する順光撮影画像と置換パラメータとをハードディスク装置２１３から読み出し、所定の選択操作を受けて選択された背景をサーバ４０から読み出し、さらに、それらの順光撮影画像と置換パラメータと選択された背景とを再置換開始命令とともに置換処理部７３０に送るものであり、表示用画像選択部７５１と、背景選択部７５２と、再置換指示部７５３とを備えている。
【０１９９】
表示用画像選択部７５１は、まず、図３３に示すハードディスク装置２１３内の背景置換画像保管フォルダ２１３ａ内に表示用画像として保管されている複数のデフォルト置換画像を、次のように、画像表示部７７０によって表示画面２２０ａ上に表示させる。
【０２００】
図３５は、複数のデフォルト置換画像が表示画面上に表示された様子を示す図である。
【０２０１】
この図３５には、６つのデフォルト置換画像が表示された様子が示されている。
【０２０２】
本実施形態では、この図３５に示すように、顧客の目に触れる画像は、表示用に作成されたデフォルト置換画像のみであり、顧客への提示には不向きな画像が顧客の目に触れることが回避されている。
【０２０３】
この表示画面において、顧客が所望するデフォルト置換画像が、図１に示すマウス２４０の操作によって所望のデフォルト置換画像の上にカーソルを移動させて選択するという選択操作によって選択される。さらに、このようなマウス操作によってデフォルト置換画像が選択されると、背景選択部７５２が、サーバ４０内に格納されている複数の背景を、次のように、画像表示部７７０によって表示画面２２０ａ上に表示させる。例えば、図３５中の下段中央のデフォルト置換画像ＤＧが選択された場合を例にとって説明する。
【０２０４】
図３６は、複数の背景が表示画面上に表示された様子を示す図である。
【０２０５】
この図３６に示すように、表示画面２２０ａの右側に、選択されたデフォルト置換画像ＤＧが表示され、左側に３つの背景が表示される。また、３つの背景ＢＧの右下には、上下のスクロールボタン２２０ａ＿１が設けられており、サーバ４０内に、現在表示されている３つの背景以外にも背景が格納されている場合には、このスクロールボタン２２０ａ＿１をクリックすることで、他の背景を表示させることができる。本実施形態では、顧客が所望する背景が、図１に示すマウス２４０の操作によって所望の背景の上にカーソルを移動させて選択するという選択操作によって選択される。
【０２０６】
また、デフォルト置換画像ＤＧの下側には、置換開始指示ボタン２２０ａ＿２が設けられている。この置換開始指示ボタン２２０ａ＿２がクリックされると、表示用画像選択部７５１が、選択されたデフォルト置換画像に対応する順光撮影画像と置換パラメータとを、上述したようにハードディスク装置２１３から読み出す。さらに、背景選択部７５２が、選択された背景をサーバ４０から読み出す。そして、再置換指示部７５３が、これらの順光撮影画像と置換パラメータと選択された背景とを、これらを用いた再置換処理の開始を命令する再置換開始命令とともに置換処理部７３０に送る。そして、この置換処理部７３０で上記の再置換処理が実行されて再置換画像が作成されると、再置換指示部７５３は、その再置換画像をハードディスク装置２１３経由で取得して画像表示部７７０に送る。これにより、再置換画像が、図３６の画面において、デフォルト置換画像ＤＧに替えて表示される。また、この画面には、表示されたデフォルト置換画像や再置換画像を承認する承認ボタン２２０ａ＿３も設けられており、再置換処理後に、この承認ボタン２２０ａ＿３がクリックされると、再置換指示部７５３は、その再置換画像を画像データ転送部７６０に送る。そして画像データ転送部７６０が、その再置換画像を表わす画像データをプリンタ３０や出力用記憶媒体５５０に転送し、プリントや、出力用記憶媒体５５０への画像データの書き込みが実行される。
【０２０７】
また、ここまで、選択されたデフォルト置換画像について再置換処理を実行する場合について説明したが、デフォルト置換画像が選択された段階で、承認ボタン２２０ａ＿３がクリックされると、再置換処理は省略され、表示されたデフォルト置換画像が承認され、プリントや、出力用記憶媒体への画像データの書き込みが実行される。
【０２０８】
以上、図１〜図３６を参照して説明したように、本実施形態の背景置換装置７００によれば、顧客への提示には不向きな画像が顧客の目に触れることを抑制しつつ、背景置換を実行することができ、運用性に優れている。
【０２０９】
尚、上記では、本発明にいう表示用画像の一例として、背景がデフォルトの背景に置換されたデフォルト置換画像を例示して説明したが、本発明はこれに限るものではない。本発明の表示用画像は、例えば、撮影で得られた画像ペアのうちの順光撮影画像のコピー等であっても良い。
【０２１０】
また、上記では、本発明にいう表示用画像の一例として、上記のサーバ４０から所定の優先順位で読みだされた背景をデフォルトの背景として、背景がそのデフォルトの背景に置換された、撮影で得られる画像ペア毎にデフォルトの背景が異なるデフォルト置換画像を例示して説明したが、本発明はこれに限るものではない。本発明の表示用画像は、上記のサーバ４０中の所定の１つの背景をデフォルトの背景として、背景がそのデフォルトの背景に置換された、撮影で得られる全ての画像ペアについてデフォルトの背景が同じデフォルト置換画像等であっても良い。
【０２１１】
また、上記では、本発明にいう置換画像作成部の一例として、再置換処理の際には、その再置換処理のベースとなる画像として、顧客が表示画面上で選択したデフォルト置換画像に対応する順光撮影画像を用いる置換処理部７３０を例示して説明したが、本発明はこれに限るものではない。本発明の置換画像作成部は、例えば、顧客が表示画面上で選択したデフォルト置換画像を、再置換処理のベースとなる画像として用いるもの等であっても良い。
【０２１２】
また、上記では、本発明にいう背景置換部の一例として、再置換処理の際には、上記の置換パラメータを使って工程の一部が省略された背景置換処理を実行する置換処理部７３０を例示したが、本発明はこれに限るものではない。本発明の背景置換部は、再置換処理の際にも、再度、背景置換処理の全工程を実行するものであっても良い。
【図面の簡単な説明】
【０２１３】
【図１】本発明の背景置換装置の一実施形態が適用された撮影システムを示す図である。
【図２】図１の撮影システムで実行される、本発明の背景置換方法の一実施形態が適用された作業の流れを示すフローチャートである。
【図３】図１に示すパーソナルコンピュータのハードウェア構成図である。
【図４】本発明の背景置換プログラムの一実施形態が記憶された、本発明の背景置換プログラム記憶媒体の一実施形態を示す概念図である。
【図５】図４に示す背景置換プログラムが図１および図３に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装置の一実施形態として動作するときの機能を表わす機能ブロック図である。
【図６】図５に１つのブロックで示す画像補正部の詳細を示す図である。
【図７】台形歪みが生じた順光撮影画像の一例を示す模式図である。
【図８】図７の順光撮影画像における台形歪みが補正された状態を示す模式図である。
【図９】図８に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効画像を示す模式図である。
【図１０】図６の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画像を示す模式図である。
【図１１】補正済みの順光撮影画像の一例を示す図である。
【図１２】補正済みの逆光撮影画像の一例を示す図である。
【図１３】図１１中のエリアＡ１の拡大図である。
【図１４】図１２中のエリアＡ２の拡大図である。
【図１５】図５に１つのブロックで示す置換処理部の詳細を示す図である。
【図１６】図１５に１つのブロックで示すマスク作成部の詳細を示す図である。
【図１７】補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムの様々な例を示す図である。
【図１８】図１４に示す逆光撮影画像の拡大図において、初期被写体マスクに設定された領域と初期背景マスクに設定された領域を示す図である。
【図１９】図１８に示す初期被写体マスクと初期背景マスクとを示す図である。
【図２０】初期被写体マスクと初期背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。
【図２１】図１９に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域から離れる方向に縮小される様子を示す図である。
【図２２】最終的に完成された被写体マスクと背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。
【図２３】図１５に１つのブロックで示す色推定部の詳細を示す図である。
【図２４】図２３に１つのブロックで示す背景色推定部の詳細を示す図である。
【図２５】ある画素について背景色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
【図２６】ある画素について背景色を推定するために用いられる領域の一例を示す図である。
【図２７】図２３に１つのブロックで示す被写体色推定部の詳細を示す図である。
【図２８】ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
【図２９】ある画素について被写体色を推定するために用いられる領域の一例を示す図である。
【図３０】補正済みの順光撮影画像における境界領域内のある画素について被写体色を探索する際の探索方法を示す図である。
【図３１】補正済みの順光撮影画像における境界領域内のある画素について合成色が求められる様子を示す図である。
【図３２】背景置換画像の一例を示す図である。
【図３３】ハードディスク装置内の保管エリアを示す概念図である。
【図３４】図５に１つの１つのブロックで示されている画像選択部の詳細を示す図である。
【図３５】複数のデフォルト置換画像が表示画面上に表示された様子を示す図である。
【図３６】複数の背景が表示画面上に表示された様子を示す図である。
【符号の説明】
【０２１４】
１    撮影システム
１０    撮影スタジオ
１１    デジタルカメラ
１２    閃光発光装置
１３０    ＥＬパネル
１３１    筐体
１３１ａ    載置面
１３１ｂ    背後の面
１３１ｃ    マーカ
１３２    分散型ＥＬ素子
１４    電源
２０    パーソナルコンピュータ
２１０    本体装置
２１１    ＣＰＵ
２１２    主メモリ
２１３    ハードディスク装置
２１３ａ    背景置換画像保管フォルダ
２１３ｂ    撮影画像保管フォルダ
２１３ｂ＿１，２１３ｂ＿２，２１３ｂ＿３    サブフォルダ
２１４    ＦＤドライブ
２１５    ＣＤ−ＲＯＭドライブ
２１６    入力インタフェース
２１７    出力インタフェース
２２０    画像表示装置
２２０ａ    表示画面
２２０ａ＿１    スクロールボタン
２２０ａ＿２    置換開始指示ボタン
２２０ａ＿３    承認ボタン
２３０    キーボード
２４０    マウス
２５０    メディアドライブ
２６０    バス
３０    プリンタ
４０    サーバ
５１０    ＣＤ−ＲＯＭ
５２０    ＦＤ
５３０    小型記憶メディア
５４０    入力用記憶媒体
５５０    出力用記憶媒体
６００    背景置換プログラム
６１０    画像取得部
６２０    画像補正部
６３０    置換処理部
６４０    画像保管部
６５０    画像選択部
６６０    再置換指示部
６７０    画像データ転送部
６８０    画像表示部
７００    背景置換装置
７１０    画像取得部
７２０    画像補正部
７２１    マーカ検出部
７２２    台形補正処理部
７２３    有効画像切出部
７２４    色補正部
７３０    置換処理部
７３１    マスク作成部
７３１ａ    ヒストグラム作成部
７３１ｂ    閾値計算部
７３１ｃ    背景マスク設定部
７３１ｄ    被写体マスク設定部
７３１ｅ    背景マスク縮小部
７３１ｆ    被写体マスク縮小部
７３２    色推定部
７３２ａ    背景色推定部
７３２ａ＿１    探索範囲設定部
７３２ａ＿２    背景領域確認部
７３２ａ＿３    背景色計算部
７３２ｂ    被写体色推定部
７３２ｂ＿１    探索範囲設定部
７３２ｂ＿２    被写体領域確認部
７３２ｂ＿３    画素色確認部
７３２ｂ＿４    被写体色探索部
７３２ｃ    合成比推定部
７３３    背景置換画像作成部
７４０    画像保管部
７５０    画像選択部
７５１    表示用画像選択部
７５２    背景選択部
７６０    再置換指示部
７７０    画像データ転送部
７８０    画像表示部
【図１】
2006261828.tif 000003
【図２】
2006261828.tif 000004
【図３】
2006261828.tif 000005
【図４】
2006261828.tif 000006
【図５】
2006261828.tif 000007
【図６】
2006261828.tif 000008
【図７】
2006261828.tif 000009
【図８】
2006261828.tif 000010
【図９】
2006261828.tif 000011
【図１０】
2006261828.tif 000012
【図１１】
2006261828.tif 000013
【図１２】
2006261828.tif 000014
【図１３】
2006261828.tif 000015
【図１４】
2006261828.tif 000016
【図１５】
2006261828.tif 000017
【図１６】
2006261828.tif 000018
【図１７】
2006261828.tif 000019
【図１８】
2006261828.tif 000020
【図１９】
2006261828.tif 000021
【図２０】
2006261828.tif 000022
【図２１】
2006261828.tif 000023
【図２２】
2006261828.tif 000024
【図２３】
2006261828.tif 000025
【図２４】
2006261828.tif 000026
【図２５】
2006261828.tif 000027
【図２６】
2006261828.tif 000028
【図２７】
2006261828.tif 000029
【図２８】
2006261828.tif 000030
【図２９】
2006261828.tif 000031
【図３０】
2006261828.tif 000032
【図３１】
2006261828.tif 000033
【図３２】
2006261828.tif 000034
【図３３】
2006261828.tif 000035
【図３４】
2006261828.tif 000036
【図３５】
2006261828.tif 000037
【図３６】
2006261828.tif 000038