(57)【要約】【課題】  背景置換が良好に行われる背景置換装置、背景置換プログラム、背景置換方法、および撮影システムを提供する。【解決手段】  被写体を撮影して得られた、画素の集合として表現された撮影画像を取得する画像取得部と、画像取得部で取得された撮影画像の央部から各縁へと向かう各探索方向に存在する画素のうち、各探索方向内で最も明るい各最明画素を探索方向毎に探索する最明画素探索部と、探索方向内で最明画素を境にして縁側に存在する画素のうち、所定の暗さを有した画素であって該最明画素に最近接の画素を通り縁側に沿った枠線よりも内側の画像領域を用いて、被写体が写っている被写体領域と、該被写体領域を除いた背景領域とを区別する区別部と、区別部による領域の区別に基づいて、被写体と同じ被写体が撮影されて得られた撮影画像中の該被写体に対する背景を別の背景に置換する背景置換部とを備えた。【選択図】        図７
2010102507.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して得られた、画素の集合として表現された撮影画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像の央部から各縁へと向かう各探索方向に存在する画素のうち、各探索方向内で最も明るい各最明画素を探索方向毎に探索する最明画素探索部と、
前記探索方向内で前記最明画素を境にして前記縁側に存在する画素のうち、所定の暗さを有した画素であって該最明画素に最近接の画素を通り前記縁側に沿った枠線よりも内側の画像領域を用いて、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とを区別する区別部と、
前記区別部による領域の区別に基づいて、前記被写体と同じ被写体が撮影されて得られた撮影画像中の該被写体に対する背景を別の背景に置換する背景置換部とを備えたことを特徴とする背景置換装置。
【請求項２】
前記最明画素探索部が、前記央部から上下左右の各縁へと向かう各探索方向毎に前記最明画素を探索するものであることを特徴とする請求項１記載の背景置換装置。
【請求項３】
前記区別部が、
前記画像領域では前記被写体に対する背景が所定の一様さを有しているとの前提で、該背景の画素値を該被写体の背後に隠れた背後も含めて推定する背景推定部と、
前記画像領域における各画素値から、前記背景推定部で推定された画素値を差し引く背景差し引き部と、
前記背景差し引き部による差し引き結果に基づいて、前記被写体領域と前記背景領域とを区別する領域区別部とを備えたものであることを特徴とする請求項１又は２記載の背景置換装置。
【請求項４】
情報処理装置に組み込まれて実行されることで該情報処理装置を、
被写体を撮影して得られた、画素の集合として表現された撮影画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像の央部から各縁へと向かう各探索方向に存在する画素のうち、各探索方向内で最も明るい各最明画素を探索方向毎に探索する最明画素探索部と、
前記探索方向内で前記最明画素を境にして前記縁側に存在する画素のうち、所定の暗さを有した画素であって該最明画素に最近接の画素を通り前記縁側に沿った枠線よりも内側の画像領域を用いて、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とを区別する区別部と、
前記区別部による領域の区別に基づいて、前記被写体と同じ被写体が撮影されて得られた撮影画像中の該被写体に対する背景を別の背景に置換する背景置換部とを備えた背景置換装置として動作させることを特徴とする背景置換プログラム。
【請求項５】
情報処理装置で実行される背景置換方法であって、
被写体を撮影して得られた、画素の集合として表現された撮影画像を取得する画像取得過程と、
前記画像取得過程で取得された撮影画像の央部から各縁へと向かう各探索方向に存在する画素のうち、各探索方向内で最も明るい各最明画素を探索方向毎に探索する最明画素探索過程と、
前記探索方向内で前記最明画素を境にして前記縁側に存在する画素のうち、所定の暗さを有した画素であって該最明画素に最近接の画素を通り前記縁側に沿った枠線よりも内側の画像領域を用いて、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とを区別する区別過程と、
前記区別過程による領域の区別に基づいて、前記被写体と同じ被写体が撮影されて得られた撮影画像中の該被写体に対する背景を別の背景に置換する背景置換過程とを有することを特徴とする背景置換方法。
【請求項６】
被写体を撮影し、画素の集合で画像を表現した形式で撮影画像を得る撮影装置；および
上記撮影装置で得られた、画素の集合として表現された撮影画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像の央部から各縁へと向かう各探索方向に存在する画素のうち、各探索方向内で最も明るい各最明画素を探索方向毎に探索する最明画素探索部と、
前記探索方向内で前記最明画素を境にして前記縁側に存在する画素のうち、所定の暗さを有した画素であって該最明画素に最近接の画素を通り前記縁側に沿った枠線よりも内側の画像領域を用いて、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とを区別する区別部と、
前記区別部による領域の区別に基づいて、前記被写体と同じ被写体が撮影されて得られた撮影画像中の該被写体に対する背景を別の背景に置換する背景置換部とを備えた背景置換装置；
を備えたことを特徴とする撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影して撮影画像を取得し、その撮影画像中の背景を別の背景に置換して背景置換画像を作成する背景置換装置、背景置換プログラム、背景置換方法、および、この背景置換画像の作成に好適な撮影システムに関する。
【背景技術】
【０００２】
従来、写真館等では、背景幕を使った撮影が行なわれていることが多い。しかし、このような撮影は、背景を確実に作り出すための大きな背景幕や広い撮影スペースを必要とする。また、背景幕の交換等には手間がかかり、結果的に撮影コストが高くなる。
【０００３】
そこで、従来のような大きな背景幕や広い撮影スペースがなくても、従来と遜色ない雰囲気の写真が撮れる、小型で簡易の撮影システムが提案されている。
【０００４】
この撮影システムでは、適当な背景をバックに撮影が行なわれ、撮影で得られた撮影画像に対して、撮影画像中の背景を顧客が所望する背景に差替えるという背景置換処理が行われている。
【０００５】
このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行ない、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景と被写体として区別し、撮影画像中の背景に区別された部分を所望の背景に置換するクロマキー処理と呼ばれる処理が知られている。
【０００６】
しかしながら、このクロマキー処理では、撮影画像中の背景パネル上に被写体の影が写っていると、この影が被写体と背景との区別を妨げてしまうことがある。そこで、クロマキー処理の対象となる撮影画像を撮影する際、面発光する背景パネルを背景として用いることで、背景パネル上の被写体の影を背景パネルが発する光で打ち消すという技術が提案されている（例えば、特許文献１参照。）
【特許文献１】特開２０００−２２４４１０号公報（第３−１０頁、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上記クロマキー処理を含めて、従来の背景置換処理では、被写体がきれいに写ることに主眼が置かれた撮影条件の下で撮影された撮影画像が用いられて、その撮影画像中の被写体と背景との区別を行うことが多い。しかしながら、そのような撮影条件下で得られた撮影画像の、被写体がきれいに写った画像部分は背景置換画像の作成に不可欠であるものの、その撮影画像自体は、被写体と背景との区別がし難い画像であることが多い。
【０００８】
また、その撮影画像に被写体とその背景以外の不要なものが写っていると、被写体と背景との区別を一層困難にする。
【０００９】
本発明は、上記事情に鑑み、背景置換が良好に行われる背景置換装置、背景置換プログラム、背景置換方法、および撮影システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための本発明の背景置換装置は、
被写体を撮影して得られた、画素の集合として表現された撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像の央部から各縁へと向かう各探索方向に存在する画素のうち、各探索方向内で最も明るい各最明画素を探索方向毎に探索する最明画素探索部と、
上記探索方向内で上記最明画素を境にして上記縁側に存在する画素のうち、所定の暗さを有した画素であってこの最明画素に最近接の画素を通り上記縁側に沿った枠線よりも内側の画像領域を用いて、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とを区別する区別部と、
上記区別部による領域の区別に基づいて、上記被写体と同じ被写体が撮影されて得られた撮影画像中のこの被写体に対する背景を別の背景に置換する背景置換部とを備えたことを特徴とする。
【００１１】
撮影画像の央部から縁にかけて存在する画素のうち最も明るい画素よりも縁側に存在する暗い画素は、被写体とその背景以外の不要な画像部分に属する画素である可能性が高い。そこで、本発明の背景置換装置では、央部から各縁へと向かう各探索方向に存在する画素のうち所定の暗さを有した画素であって、各探索方向において最も明るい画素に最近接の画素を通る、縁側に沿った枠線の外側の領域は不要な画像部分であるとし、枠線の内側の画像部分を対象に被写体領域と背景領域との区別が行われる。これにより、この背景置換装置では、撮影画像から背景置換にとって不要な部分が除去されることから、良好な背景置換が実施される。
【００１２】
尚、上記区別部による区別に基づいて背景置換が行われる撮影画像とは、上述の画像取得部で取得された撮影画像とは、被写体および構図が共通であるものの撮影条件が異なる撮影画像や上述の画像取得部で取得された撮影画像そのものをも含む概念である。
【００１３】
ここで、上記最明画素探索部が、上記央部から上下左右の各縁へと向かう各探索方向毎に上記最明画素を探索するものであってもよい。
【００１４】
また、上記区別部が、
上記画像領域では上記被写体に対する背景が所定の一様さを有しているとの前提で、この背景の画素値をこの被写体の背後に隠れた背後も含めて推定する背景推定部と、
上記画像領域における各画素値から、上記背景推定部で推定された画素値を差し引く背景差し引き部と、
上記背景差し引き部による差し引き結果に基づいて、上記被写体領域と上記背景領域とを区別する領域区別部とを備えたものであることが好ましい。
【００１５】
この様にすると、撮影画像上の被写体の画素値とその被写体に隠れた背後の推定画素値とに僅かでも差があれば被写体領域と背景領域とを区別できる。
【００１６】
上記目的を達成するための本発明の背景置換プログラムは、
情報処理装置に組み込まれて実行されることでこの情報処理装置を、
被写体を撮影して得られた、画素の集合として表現された撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像の央部から各縁へと向かう各探索方向に存在する画素のうち、各探索方向内で最も明るい各最明画素を探索方向毎に探索する最明画素探索部と、
上記探索方向内で上記最明画素を境にして上記縁側に存在する画素のうち、所定の暗さを有した画素であってこの最明画素に最近接の画素を通り上記縁側に沿った枠線よりも内側の画像領域を用いて、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とを区別する区別部と、
上記区別部による領域の区別に基づいて、上記被写体と同じ被写体が撮影されて得られた撮影画像中のこの被写体に対する背景を別の背景に置換する背景置換部として動作させることを特徴とする。
【００１７】
本発明の背景置換プログラムによれば、情報処理装置を、背景置換が良好に行われる背景置換装置として動作させることができる。
【００１８】
上記目的を達成するための本発明の背景置換方法は、
情報処理装置で実行される背景置換方法であって、
被写体を撮影して得られた、画素の集合として表現された撮影画像を取得する画像取得過程と、
上記画像取得過程で取得された撮影画像の央部から各縁へと向かう各探索方向に存在する画素のうち、各探索方向内で最も明るい各最明画素を探索方向毎に探索する最明画素探索過程と、
上記探索方向内で上記最明画素を境にして上記縁側に存在する画素のうち、所定の暗さを有した画素であってこの最明画素に最近接の画素を通り上記縁側に沿った枠線よりも内側の画像領域を用いて、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とを区別する区別過程と、
上記区別過程による領域の区別に基づいて、上記被写体と同じ被写体が撮影されて得られた撮影画像中のこの被写体に対する背景を別の背景に置換する背景置換過程とを有することを特徴とする。
【００１９】
本発明の背景置換方法によれば、背景置換を良好に行うことができる。
【００２０】
上記目的を達成するための本発明の撮影システムは、
被写体を撮影し、画素の集合で画像を表現した形式で撮影画像を得る撮影装置；および
上記撮影装置で得られた、画素の集合として表現された撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像の央部から各縁へと向かう各探索方向に存在する画素のうち、各探索方向内で最も明るい各最明画素を探索方向毎に探索する最明画素探索部と、
上記探索方向内で上記最明画素を境にして上記縁側に存在する画素のうち、所定の暗さを有した画素であってこの最明画素に最近接の画素を通り上記縁側に沿った枠線よりも内側の画像領域を用いて、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とを区別する区別部と、
上記区別部による領域の区別に基づいて、上記被写体と同じ被写体が撮影されて得られた撮影画像中のこの被写体に対する背景を別の背景に置換する背景置換部とを備えた背景置換装置；
を備えたことを特徴とする。
【００２１】
本発明の撮影システムによれば、背景置換が良好に行われる撮影システムを実現することができる。
【発明の効果】
【００２２】
本発明によれば、背景置換が良好に行われる背景置換装置、背景置換プログラム、背景置換方法、および撮影システムを提供することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施形態について説明する。
【００２４】
図１は、背景置換画像を作成するための撮影システムの概要を示す図である。
【００２５】
この図１に示す撮影システム１は、被写体を撮影して撮影画像を取得する撮影セット１０と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成するパーソナルコンピュータ２０と、パーソナルコンピュータ２０で作成された背景置換画像を出力するプリンタ３０と、置換用の背景画像がストックされているサーバ４０とを備えている。この撮影システム１が、本発明の撮影システムの一実施形態である。
【００２６】
撮影セット１０は、デジタルカメラ１１と、第１閃光発光装置１２と、撮影台１３とを備えており、撮影台１３の内部には、第２閃光発光装置１３０が備えられている。
【００２７】
デジタルカメラ１１は、撮影者がシャッタボタンを１回押す毎に順光状態と逆光状態との２種類の撮影条件下で被写体を１枚ずつ撮影する。順光状態の撮影の際には第１閃光発光装置１２に対してのみ閃光発光の指示が出され、逆光状態の撮影の際には第２閃光発光装置１３０に対してのみ閃光発光の指示が出される。撮影によって得られた撮影画像は、デジタルカメラ１１内のメモリに一時的に保管された後、デジタルカメラ１１が接続されているパーソナルコンピュータ２０に送られる。
【００２８】
撮影台１３は、被写体が載せられる、厚みの薄い乳白色のプラスティック板１３１、このプラスティック板１３１を保持する筐体１３２、および、その筐体１３２内に内蔵された第２閃光発光装置１３０を備えている。
【００２９】
上述の順光状態の撮影では、デジタルカメラ１１側から被写体Ｐに向けて閃光が発光されることで、被写体Ｐがきれいに写った撮影画像が得られる。また、上述の逆光状態の撮影では、図１に示すように湾曲した乳白色のプラスティック板１３１の背面側から閃光が発光されることで、このプラスティック板１３１からは図１における奥行き方向および上下方向に均一な明るさの光が出射されるが、湾曲したプラスティック板１３１上の各箇所の向きとデジタルカメラ１１の向きとの関係により、撮影画像上では、被写体はシャドウ側に偏ったものとなるのに対し、背景は左右方向には均一で上方から下方にかけてハイライト側から一様にシャドウ側に変化するものとなる。
【００３０】
パーソナルコンピュータ２０では、デジタルカメラ１１から送信されてきた上述の２つの撮影画像を基に背景置換画像が作成される。
【００３１】
図２は、図１に示すパーソナルコンピュータの外観斜視図である。
【００３２】
図２に示すパーソナルコンピュータ２０は、外観構成上、フレキシブルディスク（以降、ＦＤと呼ぶ）やＣＤ−ＲＯＭの装填口を有し、その装填口に装填されたＦＤやＣＤ−ＲＯＭへのアクセス機能を有する本体装置２１０、その本体装置２１０からの指示に応じて表示画面２２０ａ上に画像を表示する画像表示装置２２０、本体装置２１０にキー操作に応じた各種の情報を入力するキーボード２３０、表示画面２２０ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス２４０、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ２５０を備えている。
【００３３】
図１に示すプリンタ３０は、パーソナルコンピュータ２０から送られてくる画像をプリントするものであり、撮影システム１では、パーソナルコンピュータ２０によって作成された背景置換画像をプリントする役割を担っている。
【００３４】
図１に示すサーバ４０には、パーソナルコンピュータ２０で実行される背景置換における、置換背景となる複数の背景候補が格納されている。これら背景候補は、表示画面２２０ａ上に表示されることによって提示される。また、この撮影システム１では、サーバ４０内に格納されている背景以外にも、前記のＣＤ−ＲＯＭや前記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面２２０ａを通じて提示される。
【００３５】
次に、この図１に示す撮影システム１で実行される、背景置換画像の作成の大まかな流れについて説明する。尚、以下の説明では、図１に示す要素については特に図番を断らずに図１中の符号を使って参照する。
【００３６】
図３は、図１の撮影システムにおける背景置換作業の流れを示す図である。
【００３７】
まず、撮影者が、プラスティック板１３１上に載せられた被写体Ｐに対するピントや露光の調節等を行なった後にデジタルカメラ１１のシャッタボタンを押すと、第１閃光発光装置１２のみ閃光発光させての順光撮影（ステップＳ１）と、第２閃光発光装置１３０のみ閃光発光させての逆光撮影（ステップＳ２）とが行われる。
【００３８】
これら２回の撮影で得られた２つの撮影画像は、デジタルカメラ１１内のメモリに一旦保管された後、パーソナルコンピュータ２０に送信される。また、パーソナルコンピュータ２０に対する操作により、顧客が所望する背景がサーバ４０あるいは何らかの入力用記憶媒体から読み出される（ステップＳ３）。続いて、これら２つの撮影画像を基に、詳しくは後述する背景置換処理が実行される（ステップＳ４）。そして、この背景置換処理で作成された背景置換画像を表わす画像データが、まず画像表示装置２２０に転送され、さらに、プリンタ３０と、顧客が希望する出力用記憶媒体とのうちの少なくとも１つに転送される（ステップＳ５）。続いて、背景置換画像が表示画面２２０ａ上に表示される（ステップＳ６）。
【００３９】
さらに、画像データがプリンタ３０に転送された場合には、プリンタ３０において、その画像データに基づいて背景置換画像がプリントされる（ステップＳ７）。
【００４０】
以下では、これらの処理を実行するパーソナルコンピュータ２０と、パーソナルコンピュータ２０における背景置換処理の詳細について説明する。
【００４１】
まず、このパーソナルコンピュータ２０の内部構成について説明する。
【００４２】
図４は、図１に示すパーソナルコンピュータのハードウェア構成図である。
【００４３】
この図４に示すように、本体装置２１０の内部には、各種プログラムを実行するＣＰＵ２１１、各種プログラムやデータ等が保存されたハードディスク装置２１３、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開される主メモリ２１２、ＦＤ５２０が装填され、その装填されたＦＤ５２０をアクセスするＦＤドライブ２１４、ＣＤ−ＲＯＭ５１０をアクセスするＣＤ−ＲＯＭドライブ２１５、図１のサーバ４０やデジタルカメラ１１と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース２１６、および、図１のプリンタ３０と接続され、背景置換画像等を出力する出力インタフェース２１７が内蔵されている。これらの各種要素と、さらに図１にも示す画像表示装置２２０、キーボード２３０、マウス２４０、および、小型記憶メディア５３０をアクセスするメディアドライブ２５０は、バス２６０を介して相互に接続されている。
【００４４】
ここで、ＣＤ−ＲＯＭ５１０には、背景置換プログラムが記憶されている。そして、その背景置換プログラムが記憶されたＣＤ−ＲＯＭ５１０がＣＤ−ＲＯＭドライブ２１５に装填されると、そのＣＤ−ＲＯＭ５１０に記憶された背景置換プログラムがこのパーソナルコンピュータ２０にアップロードされてハードディスク装置２１３に書き込まれる。これにより、パーソナルコンピュータ２０は背景置換装置として動作する。
【００４５】
次に、この背景置換プログラムについて説明する。
【００４６】
図５は、ＣＤ−ＲＯＭの概念図である。
【００４７】
図５に示すＣＤ−ＲＯＭ５１０には、図１等に示すパーソナルコンピュータ２０を背景置換装置として動作させるための背景置換プログラムが記憶されている。
【００４８】
図５に示すＣＤ−ＲＯＭ５１０には背景置換プログラム６００が記憶されており、この背景置換プログラム６００は、画像取得部６１０、背景置換処理部６２０、画像データ転送部６３０、および画像表示部６４０で構成されている。この背景置換プログラム６００が、本発明の背景置換プログラムの一実施形態である。
【００４９】
この背景置換プログラム６００の各部の詳細については、背景置換装置の各部の作用と併せて説明する。尚、以下の説明では、図１、図４、および図５に示す要素については特に図番を断らずに各図中の符号を使って参照する。
【００５０】
図６は、背景置換装置の機能ブロック図である。尚、図５に示す背景置換プログラムが図１等に示すパーソナルコンピュータにインストールされることで、パーソナルコンピュータは、背景置換装置として動作する。
【００５１】
図６には、図１にも示す、デジタルカメラ１１、第１閃光発光装置１２および第２閃光発光装置１３０を備えた撮影セット１０や、プリンタ３０、サーバ４０も示されている。
【００５２】
図６に示される背景置換装置７００は、画像取得部７１０、背景置換処理部７２０、画像データ転送部７３０、および画像表示部７４０で構成されている。この背景置換装置７００では、上述したように、撮影セット１０のデジタルカメラ１１によって撮影された順光撮影画像と逆光撮影画像との２種類の撮影画像を取得し、これらのうち、逆光撮影画像に基づいて順光撮影画像を被写体領域と背景領域とに区別し、そのうちの背景領域については所望の背景に置換するという背景置換処理が実行される。この背景置換装置７００が、本発明の背景置換装置の一実施形態である。
【００５３】
画像取得部７１０では、まず、デジタルカメラ１１から、２種類の撮影画像をそれぞれ表すＲＧＢ値を取得する。また、この画像取得部７１０では、顧客が所望する背景を、サーバ４０から、あるいは、ＣＤ−ＲＯＭや小型記憶メディア等といった入力用記憶媒体５４０から取得する。この画像取得部７１０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像取得部６１０に従って、入力インタフェース２１６、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。
【００５４】
背景置換処理部７２０では、画像取得部７１０により取得された２種類の撮影画像をそれぞれ表すＲＧＢ値群に基づいて背景置換画像が作成される。また、背景置換処理部７２０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の置換処理部６２０に従って動作することによって構成される。
【００５５】
画像データ転送部７３０では、背景置換処理部７２０で作成された背景置換画像を表わす画像データを、プリンタ３０および顧客が希望する出力用記憶媒体５５０のうちの少なくとも一方と、この背景置換装置７００の画像表示部７４０とに転送する。また、この画像データ転送部７３０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像データ転送部６３０に従って、出力インタフェース２１７、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。
【００５６】
画像表示部７４０では、画像データ転送部７３０から転送されてくる画像データが表す背景置換画像を表示画面２２０ａに表示する。また、画像表示部７４０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像表示部６４０に従って画像表示装置２２０を制御することによって構成される。
【００５７】
また、上記画像データ転送部７３０からプリンタ３０に背景置換画像を表わす画像データが出力された場合には、プリンタ３０では、この画像データによって表される背景置換画像がプリントされ、また、画像データ転送部７３０から、何らかの出力用記憶媒体５５０に背景置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体５５０に書き込まれる。そして、背景置換画像がプリントされたプリント紙と、背景置換画像を表わす画像データが書き込まれた出力用記憶媒体５５０との両方、あるいは一方が、顧客の希望に応じて提供される。
【００５８】
次に、背景置換処理部７２０の詳細について説明する。
【００５９】
図７は、背景置換処理部の詳細を示す図である。
【００６０】
図７は、図６に１つのブロックで示される背景置換処理部の詳細を示す図である。尚、以下では、画像取得部７１０が取得した２種類の撮影画像のＲＧＢ値群のうち、順光撮影画像のＲＧＢ値群を第１ＲＧＢ値群と称し、逆光撮影画像のＲＧＢ値群を第２ＲＧＢ値群と称する。また、顧客が所望した背景のＲＧＢ値を背景ＲＧＢ値群と称する。
【００６１】
背景置換処理部７２０は、最明画素探索部７２１、領域区画部７２２、背景推定部７２３、差し引き部７２４、２値化部７２５、および背景置換画像作成部７２６を備えている。
【００６２】
図７に示される最明画素探索部７２１には、図６に示される画像取得部７１０で取得された逆光撮影画像を表す第２ＲＧＢ値群が入力されている。
【００６３】
ここで、図８は、第２ＲＧＢ値群で表される逆光撮影画像を示す図である。尚、実際には、背景部分には一様なグラデーションが存在するが、ここでは、図示の煩雑さを避けるためにこのグラデーションの図示は省略されている。図８に示される逆光撮影画像上、被写体Ｐは央部に位置している。
【００６４】
図８に示される逆光撮影画像は、被写体と撮影セット１１のプラスティック板１３１のほかに撮影台１３の周囲の部材が写り込んでしまった画像である。このため、この逆光撮影画像には、暗い被写体を取り囲む明るい背景領域の外側に暗い領域が存在する。こうなると、背景領域の外側の領域も被写体と判断された背景置換が行われてしまうおそれがある。そこで、この背景置換装置７００では、背景領域よりも外側の暗い領域は、背景置換において不要な領域として、以下に説明する手法により削除する。
【００６５】
図７に示される最明画素探索部７２１では、図８に示されるように、逆光撮影画像の中心Ｘから垂直上方に存在する画素群Ｕ、垂直下方に存在する画素群Ｄ、水平右側に存在する画素群Ｒ、および水平左側に存在する画素群Ｌに属する各画素の画素値から輝度を画素毎に換算し、最も明るい最明画素を画素群毎に探索する。
【００６６】
以下では、最明画素として、垂直上方の画素群Ｕでは画素Ｕ０が検出され、垂直下方の画素群Ｄでは画素Ｄ０が、水平右側の画素群Ｒでは画素Ｒ０が、水平左側の画素群Ｌでは画素Ｌ０が検出されたとして話を進める。
【００６７】
図７に示される領域区画部７２２では、まず、これら４つの画素群Ｕ、Ｄ、Ｒ、Ｌそれぞれについて、最明画素よりも中央側の互いに隣り合う画素のうち明るさの変化が最大のとなる画素のペアが検出される。以下では、この様な画素ペアとして、画素群Ｕでは画素Ｕ６と画素Ｕ７が検出され、画素群Ｄでは画素Ｄ４と画素Ｄ５が、画素群Ｒでは画素Ｒ４と画素Ｒ５が、画素群Ｌでは画素Ｌ５と画素Ｌ６が検出されたとして話を進める。
【００６８】
領域区画部７２２では、次に、４つの画素群毎に検出された画素のペアのうちの中央側の画素、すなわち、画素群Ｕでは画素Ｕ６、画素群Ｄでは画素Ｄ４、画素群Ｒでは画素Ｒ４、画素群Ｌでは画素Ｌ５が検出され、これら画素を含め、これらの画素よりも中央側に並ぶ画素で最も明るい画素（以下では、この画素を画素Ｙと称す。）が唯一検出される。領域区画部７２２では、さらに、この唯一検出された画素Ｙの明るさよりも暗い画素で、画素群毎の最明画素である画素Ｕ０、画素Ｄ０、画素Ｒ０、画素Ｌ０よりも縁側に位置する画素の検出が画素群毎に行われる。この唯一検出された画素Ｙの明るさよりも暗い画素で、最明画素である画素Ｕ０、画素Ｄ０、画素Ｒ０、画素Ｌ０よりも縁側に位置する画素として、以下では、垂直上方の画素群Ｕでは画素Ｕ１〜Ｕ５が検出され、垂直下方の画素群Ｄでは画素Ｄ１〜Ｄ３が、水平右側の画素群Ｒでは画素Ｒ１〜Ｒ３が、水平左側の画素群Ｌでは画素Ｌ１〜Ｌ４が検出されたものとして話を進める。
【００６９】
また、領域区画部７２２では、これら検出した画素、すなわち、画素群Ｕでは画素Ｕ１〜Ｕ５画素群Ｄでは画素Ｄ１、Ｄ２、画素群Ｒでは画素Ｒ１、Ｒ２、画素群Ｌでは画素Ｌ１〜Ｌ４のうち、最明画素である画素Ｕ０、Ｄ０、Ｒ０、Ｌ０に最も位置的に近い画素、すなわち、画素群Ｕでは画素Ｕ１、画素群Ｄでは画素Ｄ１、画素群Ｒでは画素Ｒ１、画素群Ｌでは画素Ｌ１を通過する矩形枠１００が決定される。
【００７０】
図８（ｂ）には、これら画素Ｕ１、画素Ｄ１、画素Ｒ１、および画素Ｌ１を通過する矩形枠として決定された矩形枠１００が示されている。
【００７１】
ここで、図９は、図７に示される各部で生成される画像を観念的に示す図である。
【００７２】
図９（ａ）には、図８に示されている図と同じ、第２ＲＧＢ値群によって表される逆光撮影画像が示されている。
【００７３】
図９（ｂ）には、図９（ａ）に示される逆光撮影画像のうち、図７に示される最明画素探索部７２１と領域区画部７２２との協働により決定された矩形枠１００よりも内側に相当する画像が示されている。
【００７４】
このように、この背景置換装置７００では、以下に説明する背景置換を良好に行うために、逆光撮影画像上の、背景置換にとって不要と判定された画像部分が削除される。
【００７５】
図７に示される背景推定部７２３には、図９（ｂ）に示される撮影画像を表す第２ＲＧＢ値群が入力され、この背景推定部７２３では、第２ＲＧＢ値群に基づいて、お椀Ｐに隠れた背後の領域のＲＧＢ値の推定が行われる。
【００７６】
図９（ｃ）には、図７中に示される背景推定部７２３において、第２ＲＧＢ値群に基づいて被写体の背後については背景面の一様さを頼りに推定がされて作成された第３ＲＧＢ値群が表す背景画像が示されている。
【００７７】
図１０は、お椀に隠れた背後の領域のＲＧＢ値の推定の手法を概念的に示す図である。尚、図１０に示されている画像は、明暗の図示が省略されているが、図９（ｂ）と同じ図であるとして話を進める。
【００７８】
背景推定部７２３では、入力されてきた第２ＲＧＢ値群から、まず、図１０に示される画像の左側の１列目の上端に位置する画素から下端に位置する画素までの各画素の画素値を読み出して換算した輝度（以下、この換算した輝度を換算輝度と称す。）と、最初の数画素についての換算輝度に基づいてそれ以降の画素については外挿法により推定した輝度（以下、この推定した輝度を推定輝度と称す。）との間に所定値以上のズレがあるか否かを判定し、これら画素値の読み出し、輝度の換算と推定、および判定を、図１０に示す撮影画像の左端から右端にかけて行う。その結果、換算輝度と推定輝度との差が全て所定値未満の画素からなる列は、背景領域のみを通過する列として認識される。一方、列の中に、換算輝度と推定輝度との差が所定値以上である画素が存在する列は被写体領域を通過する列として認識され、その列上の、被写体領域に属する画素の画素値は、被写体領域を通過する列の直前の、背景領域を通過する列の対応する画素の画素値に置き換えられる。この様にしてお椀Ｐの背後の領域の画素値が推定により決定される。
【００７９】
図１１は、撮影画像上の上下方向の位置と換算輝度との関係を示す図である。
【００８０】
図１１（ａ）には、横軸に図１０に示す逆光撮影画像上の上下方向の位置、縦軸に輝度（０〜２５５）をとった場合の、この画像の背景領域に属する列の上下位置と換算輝度との関係が示されており、ここには、列の上端では、２５５に近い‘明’側の換算輝度が、列の下端に近づくにつれて０に近い‘暗’側へなだらかに変化していく様子が示されている。また、図１０に示される、背景領域を通過する列のうち代表的な列Ａ、Ｂ、Ｃ、Ｅ、Ｆ、およびＧにおける上下位置と換算輝度との関係がほぼ同じであることで、図１１（ａ）には、プロットがほぼ同じ位置に重ねて行われている様子が示されている。このことは、つまり、図９（ｃ）に示される撮影画像の背景が左右方向に均一であることを表している。
【００８１】
図１１（ｂ）には、被写体領域を通過する列の中から代表的に抽出した列Ｄについて得られた、列Ｄにおける上下位置と換算輝度との関係が示されている。この列Ｄについては、位置ａ手前までの画素は背景領域に属しているものの、位置ａから位置ｂまでの間の画素が被写体領域に属していることで、位置ａから位置ｂまでの間では、点線で示される外挿法による推定輝度と、実線で示される換算輝度との間に大きなズレが生じている。このため、この範囲内の画素値は、背景領域のみを通過する列のうち最も近い列である列Ｃの対応する範囲の画素値に置き換えられる。以上説明したようにして、背景推定部７２３では、被写体Ｐに隠れた背後の画素の輝度推定を行った上で、背景全体のＲＧＢ値群である第３ＲＧＢ値群を作成する。
【００８２】
図７に示す差し引き部７２４では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれる。
【００８３】
図９（ｄ）には、差し引き部７２４において、第２ＲＧＢ値群から第３ＲＧＢ値群の各値が差し引かれた結果のＲＧＢ値群で表された画像が示されており、ここには、ベタ黒の背景にお椀Ｐがうっすら浮かび上がっている様子が示されている。
【００８４】
図９（ｅ）には、差し引かれた結果のＲＧＢ値群が２値化部７２５において２値化処理された、その処理済みのＲＧＢ値群が表す画像が示されている。
【００８５】
図７に示される２値化部７２５では、差し引き部７２４から送られてきたＲＧＢ値群から輝度を換算し、閾値１００未満の輝度については輝度を‘０’とし、閾値１００以上の輝度については輝度を‘２５５’としている。２値化部７２５により２値化処理された後の輝度に基づくＲＧＢ値群により表される画像は、図９（ｅ）に示されるように、輝度が‘０’とされた画素部分は‘ベタ黒’で表され、輝度が‘２５５’とされた画素部分は‘白’で表される。
【００８６】
図７に示す背景置換画像作成部７２６では、２値化部７２５により‘白’とされた画素部分の画素値は、第１ＲＧＢ値群の対応するＲＧＢ値に置き換えられ、２値化部７２５により‘ベタ黒’とされた画素部分の画素値は、顧客が所望した背景ＲＧＢ値群の対応するＲＧＢ値に置き換えられる。これにより、順光できれいに撮影された被写体と、顧客が所望する背景とが組み合わさった背景置換画像が作成される。
【００８７】
このようにして作成された背景置換画像を表わすＲＧＢ値群が、図６に示される画像データ転送部７３０に送信され、各出力デバイスや出力用記憶媒体５５０（図６参照）に転送される。
【００８８】
以上説明したように、この背景置換処理装置７００では、被写体を逆光で撮影して得られた逆光撮影画像のうち、矩形枠１００の内側に対応する画像を表す第２ＲＧＢ値群から、被写体に隠れた背後については推定を用いた背景画像を表す第３ＲＧＢ値群を差し引くことで得られた差分に基づいて被写体領域と背景領域とを区別する。つまり、逆光撮影画像の央部から縁にかけて存在する画素のうち最も明るい画素よりも縁側に存在する暗い画素は、被写体とその背景以外の不要な画像部分に属する画素である可能性が高い。そこで、本実施形態の背景置換装置７００では、中央部から上下左右の各縁へと向かう各探索方向に存在する画素であって、各画素群で最も明るい画素（画素Ｕ０、画素Ｄ０、画素Ｒ０、画素Ｌ０）よりも内側で最も明るい画素（画素Ｙ）よりも暗い画素で、これら最も明るい画素（画素Ｕ０、画素Ｄ０、画素Ｒ０、画素Ｌ０）よりも縁側の画素を検出し、さらに、これら縁側の画素のうち、これら最も明るい画素（画素Ｕ０、画素Ｄ０、画素Ｒ０、画素Ｌ０）に最近接の画素（画素Ｕ１、画素Ｄ１、画素Ｒ１、画素Ｌ１）を通る、縁側に沿った矩形枠１００を決定し、この矩形枠１００の外側の領域は背景置換に不要な画像部分であるとして区別する。これにより、被写体領域のＲＧＢ値群と、その被写体領域に隠れた背後の領域について背景の一様さに基づいて推定されたＲＧＢ値群との僅かな差によって被写体領域と背景領域とを区別するこの背景置換装置７００においては好ましくない、背景の一様さの乱れが防止される。
【００８９】
尚、以上に説明した実施形態では、枠が作成されて背景置換の対象となる画像部分が確定した後の区別部による被写体領域と背景領域との区別が被写体の背後の画素の輝度を推定し、差し引く例を挙げて説明したが、本発明では、区別部による被写体領域と背景領域との区別がクロマキー処理により行われても良い。また、以上の実施形態では、逆光撮影画像の央部から上下左右の各縁へと向かう各探索方向毎に最明画素を探索する例を挙げて説明したが、本発明は、探索方向を上下左右に限るものではなく、央部を中心に上下左右からそれぞれ所定角度だけ傾いた方向を探索方向とするものであってよい。さらには、上下左右からそれぞれ互いに異なる角度だけ傾いた方向を探索方向とするものであってもよい。
【図面の簡単な説明】
【００９０】
【図１】背景置換画像を作成するための撮影システムの概要を示す図である。
【図２】図１に示すパーソナルコンピュータの外観斜視図である。
【図３】図１の撮影システムにおける背景置換画像の作成の流れを示す図である。
【図４】図１に示すパーソナルコンピュータのハードウェア構成図である。
【図５】ＣＤ−ＲＯＭの概念図である。
【図６】背景置換装置の機能ブロック図である。
【図７】背景置換処理部の詳細を示す図である。
【図８】第２ＲＧＢ値群で表される逆光撮影画像を示す図である。
【図９】図７に示される各部で生成される画像を観念的に示す図である。
【図１０】お椀に隠れた背後の領域のＲＧＢ値の推定の手法を概念的に示す図である。
【図１１】撮影画像上の上下方向の位置と換算輝度との関係を示す図である。
【符号の説明】
【００９１】
１  撮影システム
１０  撮影セット
１１  デジタルカメラ
１２  第１閃光発光装置
１３  撮影台
１３０  第２閃光発光装置
１３１  プラスティック板
１３２  筐体
２０  パーソナルコンピュータ
６００  背景置換プログラム
６１０、７１０  画像取得部
６２０、７２０  背景置換処理部
６３０、７３０  画像データ転送部
６４０、７４０  画像表示部
７００  背景置換装置
７２１  最明画素探索部
７２２  領域区画部
７２３  背景推定部
７２４  差し引き部
７２５  ２値化部
７２６  背景置換画像作成部
【図１】
2010102507.tif 000003
【図２】
2010102507.tif 000004
【図３】
2010102507.tif 000005
【図４】
2010102507.tif 000006
【図５】
2010102507.tif 000007
【図６】
2010102507.tif 000008
【図７】
2010102507.tif 000009
【図９】
2010102507.tif 000010
【図１０】
2010102507.tif 000011
【図１１】
2010102507.tif 000012
【図８】
2010102507.tif 000013