(57)【要約】【課題】  背景置換が良好に行われる背景置換装置、背景置換プログラム、背景置換方法、および撮影システムを提供する。【解決手段】  撮影画像を取得する画像取得部で取得された撮影画像を２値化した２値画像中で、２種類の領域のうちの第１種領域が第２種領域に取り囲まれて孤立してなる孤立領域を検出し、第２種領域中を通ってこの孤立領域を矩形状に取り囲む枠を作成し、枠の各辺が孤立領域以外の第１種領域に接するまで拡大し、撮影画像中の、この拡大された枠の内部に相当する画像部分を用いて、被写体が写っている被写体領域と、該被写体領域を除いた背景領域とを区別し、この区別に基づいて、被写体と同じ被写体が撮影されて得られた撮影画像中の該被写体に対する背景を別の背景に置換する。【選択図】        図７
2010098678.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して得られた撮影画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像を２値化して、２種類の領域の集合からなる２値画像を得る２値化処理部と、
前記２値画像中で、前記２種類の領域のうちの第１種領域が、該第１種領域に対する第２種領域に取り囲まれて孤立してなる孤立領域を検出する孤立領域検出部と、
前記第２種領域中を通って前記孤立領域を矩形状に取り囲んだ枠を作成する枠作成部と、
前記枠作成部で作成された枠を拡大し、枠の各辺が前記孤立領域以外の第１種領域に接するまで拡大する枠拡大部と、
前記撮影画像中の、前記枠拡大部で拡大された枠の内部に相当する画像部分を用いて、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とを区別する区別部と、
前記区別部による領域の区別に基づいて、前記被写体と同じ被写体が撮影されて得られた撮影画像中の該被写体に対する背景を別の背景に置換する背景置換部とを備えたことを特徴とする背景置換装置。
【請求項２】
前記画像取得部が、前記撮影画像として、画素値の集合で表現された撮影画像を取得するものであり、
前記区別部が、
前記画像部分では前記被写体に対する背景が所定の一様さを有しているとの前提で、該背景の画素値を該被写体の背後に隠れた背後も含めて推定する背景推定部と、
前記画像部分における各画素値から、前記背景推定部で推定された画素値を差し引く背景差し引き部と、
前記背景差し引き部による差し引き結果に基づいて、前記被写体領域と前記背景領域とを区別する領域区別部とを備えたものであることを特徴とする請求項１記載の背景置換装置。
【請求項３】
前記２値画像に対し、前記第１種領域と前記第２種領域との境界を該第１種領域に所定量だけ移動させ、その移動後の境界を該第２種領域側に該所定量と同じ量だけ再移動させる境界移動部を備え、
前記孤立領域検出部が、前記境界移動部による境界の移動を経た２値画像を用いて前記孤立領域を検出するものであることを特徴とする請求項１または２記載の背景置換装置。
【請求項４】
前記枠作成部が、前記２値画像に対して枠の作成を試みて作成に失敗した場合には、該２値画像に対して枠の辺が延びる方向を変更して枠の作成を再度試みるものであることを特徴とする請求項１から３のうちいずれか１項記載の背景置換装置。
【請求項５】
情報処理装置に組み込まれて実行されることで該情報処理装置を、
被写体を撮影して得られた撮影画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像を２値化して、２種類の領域の集合からなる２値画像を得る２値化処理部と、
前記２値画像中で、前記２種類の領域のうちの第１種領域が、該第１種領域に対する第２種領域に取り囲まれて孤立してなる孤立領域を検出する孤立領域検出部と、
前記第２種領域中を通って前記孤立領域を矩形状に取り囲んだ枠を作成する枠作成部と、
前記枠作成部で作成された枠を拡大し、枠の各辺が前記孤立領域以外の第１種領域に接するまで拡大する枠拡大部と、
前記撮影画像中の、前記枠拡大部で拡大された枠の内部に相当する画像部分を用いて、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とを区別する区別部と、
前記区別部による領域の区別に基づいて、前記被写体と同じ被写体が撮影されて得られた撮影画像中の該被写体に対する背景を別の背景に置換する背景置換部とを備えた背景置換装置として動作させることを特徴とする背景置換プログラム。
【請求項６】
情報処理装置で実行される背景置換方法であって、
被写体を撮影して得られた撮影画像を取得する画像取得過程と、
前記画像取得過程で取得された撮影画像を２値化して、２種類の領域の集合からなる２値画像を得る２値化処理過程と、
前記２値画像中で、前記２種類の領域のうちの第１種領域が、該第１種領域に対する第２種領域に取り囲まれて孤立してなる孤立領域を検出する孤立領域検出過程と、
前記第２種領域中を通って前記孤立領域を矩形状に取り囲んだ枠を作成する枠作成過程と、
前記枠作成過程で作成された枠を拡大し、枠の各辺が前記孤立領域以外の第１種領域に接するまで拡大する枠拡大過程と、
前記撮影画像中の、前記枠拡大過程で拡大された枠の内部に相当する画像部分を用いて、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とを区別する区別過程と、
前記区別過程による領域の区別に基づいて、前記被写体と同じ被写体が撮影されて得られた撮影画像中の該被写体に対する背景を別の背景に置換する背景置換過程とを有することを特徴とする背景置換方法。
【請求項７】
被写体を撮影し撮影画像を得る撮影装置；および
前記撮影装置で得られた撮影画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像を２値化して、２種類の領域の集合からなる２値画像を得る２値化処理部と、
前記２値画像中で、前記２種類の領域のうちの第１種領域が、該第１種領域に対する第２種領域に取り囲まれて孤立してなる孤立領域を検出する孤立領域検出部と、
前記第２種領域中を通って前記孤立領域を矩形状に取り囲んだ枠を作成する枠作成部と、
前記枠作成部で作成された枠を拡大し、枠の各辺が前記孤立領域以外の第１種領域に接するまで拡大する枠拡大部と、
前記撮影画像中の、前記枠拡大部で拡大された枠の内部に相当する画像部分を用いて、前記被写体が写っている被写体領域と、該被写体領域を除いた背景領域とを区別する区別部と、
前記区別部による領域の区別に基づいて、前記被写体と同じ被写体が撮影されて得られた撮影画像中の該被写体に対する背景を別の背景に置換する背景置換部とを備えた背景置換装置；
を備えたことを特徴とする撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影して撮影画像を取得し、その撮影画像中の背景を別の背景に置換して背景置換画像を作成する背景置換装置、背景置換プログラム、背景置換方法、および、この背景置換画像の作成に好適な撮影システムに関する。
【背景技術】
【０００２】
従来、写真館等では、背景幕を使った撮影が行なわれていることが多い。しかし、このような撮影は、背景を確実に作り出すための大きな背景幕や広い撮影スペースを必要とする。また、背景幕の交換等には手間がかかり、結果的に撮影コストが高くなる。
【０００３】
そこで、従来のような大きな背景幕や広い撮影スペースがなくても、従来と遜色ない雰囲気の写真が撮れる、小型で簡易の撮影システムが提案されている。
【０００４】
この撮影システムでは、適当な背景をバックに撮影が行なわれ、撮影で得られた撮影画像に対して、撮影画像中の背景を顧客が所望する背景に差し替えるという背景置換処理が行われている。
【０００５】
このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行ない、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景と被写体として区別し、撮影画像中の背景に区別された部分を所望の背景に置換するクロマキー処理と呼ばれる処理が知られている。
【０００６】
しかしながら、このクロマキー処理では、撮影画像中の背景パネル上に被写体の影が写っていると、この影が被写体と背景との区別を妨げてしまうことがある。そこで、クロマキー処理の対象となる撮影画像を撮影する際、面発光する背景パネルを背景として用いることで、背景パネル上の被写体の影を背景パネルが発する光で打ち消すという技術が提案されている（例えば、特許文献１参照。）
【特許文献１】特開２０００−２２４４１０号公報（第３−１０頁、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上記クロマキー処理を含めて、従来の背景置換処理では、被写体がきれいに写ることに主眼が置かれた撮影条件の下で撮影された撮影画像が用いられて、その撮影画像中の被写体と背景との区別を行うことが多い。しかしながら、そのような撮影条件下で得られた撮影画像の、被写体がきれいに写った画像部分は背景置換画像の作成に不可欠であるものの、その撮影画像自体は、被写体と背景との区別がし難い画像であることが多い。
【０００８】
また、その撮影画像に被写体とその背景以外の不要なものが写っていると、被写体と背景との区別を一層困難にする。
【０００９】
本発明は、上記事情に鑑み、背景置換が良好に行われる背景置換装置、背景置換プログラム、背景置換方法、および撮影システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための本発明の背景置換装置は、
被写体を撮影して得られた撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像を２値化して、２種類の領域の集合からなる２値画像を得る２値化処理部と、
上記２値画像中で、上記２種類の領域のうちの第１種領域が、この第１種領域に対する第２種領域に取り囲まれて孤立してなる孤立領域を検出する孤立領域検出部と、
上記第２種領域中を通って上記孤立領域を矩形状に取り囲んだ枠を作成する枠作成部と、
上記枠作成部で作成された枠を拡大し、枠の各辺が上記孤立領域以外の第１種領域に接するまで拡大する枠拡大部と、
上記撮影画像中の、上記枠拡大部で拡大された枠の内部に相当する画像部分を用いて、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とを区別する区別部と、
上記区別部による領域の区別に基づいて、上記被写体と同じ被写体が撮影されて得られた撮影画像中のこの被写体に対する背景を別の背景に置換する背景置換部とを備えたことを特徴とする。
【００１１】
撮影画像においては、被写体領域が央部に存在し、この被写体領域の回りを背景領域が取り囲むといった構図がほとんどであり、撮影画像において被写体領域は背景領域に取り囲まれた孤立した領域となる傾向がある。このため、央部の被写体領域と、この被写体領域を取り囲むことでこの被写体領域を孤立させる背景領域という関係に関わらないその他の領域は、背景置換にとって不要な領域である可能性が高い。そこで、本発明の背景置換装置では、撮影画像を、被写体領域とその被写体領域を孤立させる背景領域という関係にある領域と、これに関わらない他の領域とに分けた上で、被写体領域とその被写体領域を孤立させる背景領域という関係にある領域を対象に被写体領域と背景領域との区別が行われる。これにより、本発明の背景置換装置では、撮影画像から背景置換にとって不要な部分が除去されることから、良好な背景置換が実施される。
【００１２】
尚、上記区別部による区別に基づいて背景置換が行われる撮影画像とは、上述の画像取得部で取得された撮影画像とは、被写体および構図が共通であるものの撮影条件が異なる撮影画像や上述の画像取得部で取得された撮影画像そのものをも含む概念である。
【００１３】
ここで、上記画像取得部が、上記撮影画像として、画素値の集合で表現された撮影画像を取得するものであり、
上記区別部が、
上記画像部分では上記被写体に対する背景が所定の一様さを有しているとの前提で、この背景の画素値をこの被写体の背後に隠れた背後も含めて推定する背景推定部と、
上記画像部分における各画素値から、上記背景推定部で推定された画素値を差し引く背景差し引き部と、
上記背景差し引き部による差し引き結果に基づいて、上記被写体領域と上記背景領域とを区別する領域区別部とを備えたものであることが好ましい。
【００１４】
この様にすると、撮影画像上の被写体の画素値とその被写体に隠れた背後の推定画素値とに僅かでも差があれば被写体領域と背景領域とを区別できる。
【００１５】
また、本発明の背景置換装置が、上記２値画像に対し、上記第１種領域と上記第２種領域との境界をこの第１種領域に所定量だけ移動させ、その移動後の境界をこの第２種領域側にこの所定量と同じ量だけ再移動させる境界移動部を備え、
上記孤立領域検出部が、上記境界移動部による境界の移動を経た２値画像を用いて上記孤立領域を検出するものであることも好ましい態様である。
【００１６】
この様にすると、撮影画像において意味をなさないにもかかわらず被写体領域の孤立を妨げる画像部分を撮影画像から排除することができる。
【００１７】
また、上記枠作成部が、上記２値画像に対して枠の作成を試みて作成に失敗した場合には、この２値画像に対して枠の辺が延びる方向を変更して枠の作成を再度試みるものであることが好ましい。
【００１８】
この様にすると、孤立領域を有するあらゆる撮影画像に対して枠の作成を行うことができる。
【００１９】
上記目的を達成するための本発明の背景置換プログラムは、
情報処理装置に組み込まれて実行されることでこの情報処理装置を、
被写体を撮影して得られた撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像を２値化して、２種類の領域の集合からなる２値画像を得る２値化処理部と、
上記２値画像中で、上記２種類の領域のうちの第１種領域が、この第１種領域に対する第２種領域に取り囲まれて孤立してなる孤立領域を検出する孤立領域検出部と、
上記第２種領域中を通って上記孤立領域を矩形状に取り囲んだ枠を作成する枠作成部と、
上記枠作成部で作成された枠を拡大し、枠の各辺が上記孤立領域以外の第１種領域に接するまで拡大する枠拡大部と、
上記撮影画像中の、上記枠拡大部で拡大された枠の内部に相当する画像部分を用いて、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とを区別する区別部と、
上記区別部による領域の区別に基づいて、上記被写体と同じ被写体が撮影されて得られた撮影画像中のこの被写体に対する背景を別の背景に置換する背景置換部とを備えた背景置換装置として動作させることを特徴とする。
【００２０】
本発明の背景置換プログラムによれば、情報処理装置を、背景置換が良好に行われる背景置換装置として動作させることができる。
【００２１】
上記目的を達成するための本発明の背景置換方法は、
情報処理装置で実行される背景置換方法であって、
被写体を撮影して得られた撮影画像を取得する画像取得過程と、
上記画像取得過程で取得された撮影画像を２値化して、２種類の領域の集合からなる２値画像を得る２値化処理過程と、
上記２値画像中で、上記２種類の領域のうちの第１種領域が、この第１種領域に対する第２種領域に取り囲まれて孤立してなる孤立領域を検出する孤立領域検出過程と、
上記第２種領域中を通って上記孤立領域を矩形状に取り囲んだ枠を作成する枠作成過程と、
上記枠作成過程で作成された枠を拡大し、枠の各辺が上記孤立領域以外の第１種領域に接するまで拡大する枠拡大過程と、
上記撮影画像中の、上記枠拡大過程で拡大された枠の内部に相当する画像部分を用いて、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とを区別する区別過程と、
上記区別過程による領域の区別に基づいて、上記被写体と同じ被写体が撮影されて得られた撮影画像中のこの被写体に対する背景を別の背景に置換する背景置換過程とを有することを特徴とする。
【００２２】
本発明の背景置換方法によれば、背景置換を良好に行うことができる。
【００２３】
上記目的を達成するための本発明の撮影システムは、
被写体を撮影し撮影画像を得る撮影装置；および
被写体を撮影して得られた撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像を２値化して、２種類の領域の集合からなる２値画像を得る２値化処理部と、
上記２値画像中で、上記２種類の領域のうちの第１種領域が、この第１種領域に対する第２種領域に取り囲まれて孤立してなる孤立領域を検出する孤立領域検出部と、
上記第２種領域中を通って上記孤立領域を矩形状に取り囲んだ枠を作成する枠作成部と、
上記枠作成部で作成された枠を拡大し、枠の各辺が上記孤立領域以外の第１種領域に接するまで拡大する枠拡大部と、
上記撮影画像中の、上記枠拡大部で拡大された枠の内部に相当する画像部分を用いて、上記被写体が写っている被写体領域と、この被写体領域を除いた背景領域とを区別する区別部と、
上記区別部による領域の区別に基づいて、上記被写体と同じ被写体が撮影されて得られた撮影画像中のこの被写体に対する背景を別の背景に置換する背景置換部とを備えた背景置換装置；
を備えたことを特徴とする。
【００２４】
本発明の撮影システムによれば、背景置換が良好に行われる撮影システムを実現することができる。
【発明の効果】
【００２５】
本発明によれば、背景置換が良好に行われる背景置換装置、背景置換プログラム、背景置換方法、および撮影システムを提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施形態について説明する。
【００２７】
図１は、背景置換画像を作成するための撮影システムの概要を示す図である。
【００２８】
この図１に示す撮影システム１は、被写体を撮影して撮影画像を取得する撮影セット１０と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成するパーソナルコンピュータ２０と、パーソナルコンピュータ２０で作成された背景置換画像を出力するプリンタ３０と、置換用の背景画像がストックされているサーバ４０とを備えている。この撮影システム１が、本発明の撮影システムの一実施形態である。
【００２９】
撮影セット１０は、デジタルカメラ１１と第１閃光発光装置１２と撮影台１３とを備えており、撮影台１３の内部には、第２閃光発光装置１３０が備えられている。
【００３０】
デジタルカメラ１１は、撮影者がシャッタボタンを１回押す毎に順光状態と逆光状態との２種類の撮影条件下で被写体を１枚ずつ撮影する。順光状態の撮影の際には第１閃光発光装置１２に対してのみ閃光発光の指示が出され、逆光状態の撮影の際には第２閃光発光装置１３０に対してのみ閃光発光の指示が出される。撮影によって得られた撮影画像は、デジタルカメラ１１内のメモリに一時的に保管された後、デジタルカメラ１１が接続されているパーソナルコンピュータ２０に送られる。
【００３１】
撮影台１３は、被写体が載せられる、厚みの薄い乳白色のプラスティック板１３１、このプラスティック板１３１を保持する筐体１３２、および、その筐体１３２内に内蔵された第２閃光発光装置１３０を備えている。
【００３２】
上述の順光状態の撮影では、デジタルカメラ１１側から被写体に向けて閃光が発光されることで、被写体がきれいに写った撮影画像が得られる。また、上述の逆光状態の撮影では、図１に示すように湾曲した乳白色のプラスティック板１３１の背面側から閃光が発光されることで、このプラスティック板１３１からは図１における奥行き方向および上下方向に均一な明るさの光が出射されるが、湾曲したプラスティック板１３１上の各箇所の向きとデジタルカメラ１１の向きとの関係により、撮影画像上では、被写体はシャドウ側に偏ったものとなるのに対し、背景は左右方向には均一で上方から下方にかけてハイライト側から一様にシャドウ側に変化するものとなる。
【００３３】
パーソナルコンピュータ２０では、デジタルカメラ１１から送信されてきた上述の２つの撮影画像を基に背景置換画像が作成される。
【００３４】
図２は、図１に示すパーソナルコンピュータの外観斜視図である。
【００３５】
図２に示すパーソナルコンピュータ２０は、外観構成上、フレキシブルディスク（以降、ＦＤと呼ぶ）やＣＤ−ＲＯＭの装填口を有し、その装填口に装填されたＦＤやＣＤ−ＲＯＭへのアクセス機能を有する本体装置２１０、その本体装置２１０からの指示に応じて表示画面２２０ａ上に画像を表示する画像表示装置２２０、本体装置２１０にキー操作に応じた各種の情報を入力するキーボード２３０、表示画面２２０ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス２４０、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ２５０を備えている。
【００３６】
図１に示すプリンタ３０は、パーソナルコンピュータ２０から送られてくる画像をプリントするものであり、撮影システム１では、パーソナルコンピュータ２０によって作成された背景置換画像をプリントする役割を担っている。
【００３７】
図１に示すサーバ４０には、パーソナルコンピュータ２０で実行される背景置換における、置換背景となる複数の背景候補が格納されている。これら背景候補は、表示画面２２０ａ上に表示されることによって提示される。また、この撮影システム１では、サーバ４０内に格納されている背景以外にも、前記のＣＤ−ＲＯＭや前記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面２２０ａを通じて提示される。
【００３８】
次に、この図１に示す撮影システム１で実行される、背景置換画像の作成の大まかな流れについて説明する。尚、以下の説明では、図１に示す要素については特に図番を断らずに図１中の符号を使って参照する。
【００３９】
図３は、図１の撮影システムにおける背景置換画像の作成の流れを示す図である。
【００４０】
まず、撮影者が、プラスティック板１３１上に載せられた被写体に対するピントや露光の調節等を行なった後にデジタルカメラ１１のシャッタボタンを押すと、第１閃光発光装置１２のみ閃光発光させての順光撮影（ステップＳ１）と、第２閃光発光装置１３０のみ閃光発光させての逆光撮影（ステップＳ２）とが行われる。
【００４１】
これら２回の撮影で得られた２つの撮影画像は、デジタルカメラ１１内のメモリに一旦保管された後、パーソナルコンピュータ２０に送信される。また、パーソナルコンピュータ２０に対する操作により、顧客が所望する背景がサーバ４０あるいは何らかの入力用記憶媒体から読み出される（ステップＳ３）。続いて、これら２つの撮影画像を基に、詳しくは後述する背景置換処理が実行される（ステップＳ４）。そして、この背景置換処理で作成された背景置換画像を表わす画像データが、まず画像表示装置２２０に転送され、さらに、プリンタ３０と、顧客が希望する出力用記憶媒体とのうちの少なくとも１つに転送される（ステップＳ５）。続いて、背景置換画像が表示画面２２０ａ上に表示される（ステップＳ６）。
【００４２】
さらに、画像データがプリンタ３０に転送された場合には、プリンタ３０において、その画像データに基づいて背景置換画像がプリントされる（ステップＳ７）。
【００４３】
以下では、これらの処理を実行するパーソナルコンピュータ２０と、パーソナルコンピュータ２０における背景置換処理の詳細について説明する。
【００４４】
まず、このパーソナルコンピュータ２０の内部構成について説明する。
【００４５】
図４は、図１に示すパーソナルコンピュータのハードウェア構成図である。
【００４６】
この図４に示すように、本体装置２１０の内部には、各種プログラムを実行するＣＰＵ２１１、各種プログラムやデータ等が保存されたハードディスク装置２１３、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開される主メモリ２１２、ＦＤ５２０が装填され、その装填されたＦＤ５２０をアクセスするＦＤドライブ２１４、ＣＤ−ＲＯＭ５１０をアクセスするＣＤ−ＲＯＭドライブ２１５、図１のサーバ４０やデジタルカメラ１１と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース２１６、および、図１のプリンタ３０と接続され、背景置換画像等を出力する出力インタフェース２１７が内蔵されている。これらの各種要素と、さらに図１にも示す画像表示装置２２０、キーボード２３０、マウス２４０、および、小型記憶メディア５３０をアクセスするメディアドライブ２５０は、バス２６０を介して相互に接続されている。
【００４７】
ここで、ＣＤ−ＲＯＭ５１０には、背景置換プログラムが記憶されている。そして、その背景置換プログラムが記憶されたＣＤ−ＲＯＭ５１０がＣＤ−ＲＯＭドライブ２１５に装填されると、そのＣＤ−ＲＯＭ５１０に記憶された背景置換プログラムがこのパーソナルコンピュータ２０にアップロードされてハードディスク装置２１３に書き込まれる。これにより、パーソナルコンピュータ２０は背景置換装置として動作する。
【００４８】
次に、この背景置換プログラムについて説明する。
【００４９】
図５は、ＣＤ−ＲＯＭの概念図である。
【００５０】
図５に示すＣＤ−ＲＯＭ５１０には、図１等に示すパーソナルコンピュータ２０を背景置換装置として動作させるための背景置換プログラムが記憶されている。
【００５１】
図５に示すＣＤ−ＲＯＭ５１０には背景置換プログラム６００が記憶されており、この背景置換プログラム６００は、画像取得部６１０、背景置換処理部６２０、画像データ転送部６３０、および画像表示部６４０で構成されている。この背景置換プログラム６００が、本発明の背景置換プログラムの一実施形態である。
【００５２】
この背景置換プログラム６００の各部の詳細については、背景置換装置の各部の作用と併せて説明する。尚、以下の説明では、図１、図４、および図５に示す要素については特に図番を断らずに各図中の符号を使って参照する。
【００５３】
図６は、背景置換装置の機能ブロック図である。尚、図５に示す背景置換プログラムが図１等に示すパーソナルコンピュータにインストールされることで、パーソナルコンピュータは背景置換装置として動作する。
【００５４】
図６には、図１にも示す、デジタルカメラ１１、第１閃光発光装置１２および第２閃光発光装置１３０を備えた撮影セット１０や、プリンタ３０、サーバ４０も示されている。
【００５５】
図６に示される背景置換装置７００は、画像取得部７１０、背景置換処理部７２０、画像データ転送部７３０、および画像表示部７４０で構成されている。この背景置換装置７００では、上述したように、撮影セット１０のデジタルカメラ１１によって撮影された順光撮影画像と逆光撮影画像との２種類の撮影画像を取得し、これらのうち、逆光撮影画像に基づいて、順光撮影画像を被写体領域と背景領域とに区別し、そのうちの背景領域については所望の背景に置換するという背景置換処理が実行される。この背景置換装置７００が、本発明の背景置換装置の一実施形態である。
【００５６】
画像取得部７１０では、まず、デジタルカメラ１１から、２種類の撮影画像をそれぞれ表すＲＧＢ値を取得する。また、この画像取得部７１０では、顧客が所望する背景を、サーバ４０から、あるいは、ＣＤ−ＲＯＭや小型記憶メディア等といった入力用記憶媒体５４０から取得する。この画像取得部７１０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像取得部６１０に従って、入力インタフェース２１６、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。
【００５７】
背景置換処理部７２０では、画像取得部７１０により取得された２種類の撮影画像をそれぞれ表すＲＧＢ値群に基づいて背景置換画像が作成される。また、背景置換処理部７２０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の背景置換処理部６２０に従って動作することによって構成される。
【００５８】
画像データ転送部７３０では、背景置換処理部７２０で作成された背景置換画像を表わす画像データを、プリンタ３０および顧客が希望する出力用記憶媒体５５０のうちの少なくとも一方と、この背景置換装置７００の画像表示部７４０とに転送する。また、この画像データ転送部７３０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像データ転送部６３０に従って、出力インタフェース２１７、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。
【００５９】
画像表示部７４０では、画像データ転送部７３０から転送されてくる画像データが表す背景置換画像を表示画面２２０ａに表示する。また、画像表示部７４０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像表示部６４０に従って画像表示装置２２０を制御することによって構成される。
【００６０】
また、上記画像データ転送部７３０からプリンタ３０に背景置換画像を表わす画像データが出力された場合には、プリンタ３０では、この画像データによって表される背景置換画像がプリントされ、また、画像データ転送部７３０から、何らかの出力用記憶媒体５５０に背景置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体５５０に書き込まれる。そして、背景置換画像がプリントされたプリント紙と、背景置換画像を表わす画像データが書き込まれた出力用記憶媒体５５０との両方、あるいは一方が、顧客の希望に応じて提供される。
【００６１】
次に、背景置換処理部７２０の詳細について説明する。
【００６２】
図７は、背景置換処理部の詳細を示す図である。
【００６３】
図７は、図６に１つのブロックで示される背景置換処理部の詳細を示す図である。尚、以下では、画像取得部７１０が取得した２種類の撮影画像のＲＧＢ値群のうち、順光撮影画像のＲＧＢ値群を第１ＲＧＢ値群と称し、逆光撮影画像のＲＧＢ値群を第２ＲＧＢ値群と称する。また、顧客が所望した背景のＲＧＢ値を背景ＲＧＢ値群と称する。
【００６４】
背景置換処理部７２０は、第１の２値化部７２１、収縮・膨張処理部７２２、孤立領域検出部７２３、枠作成・拡大部７２４、背景推定部７２５、差し引き部７２６、第２の２値化部７２７、および背景置換画像作成部７２８を備えている。この背景置換処理部７２０における処理を含む、図３に示される処理が、本発明の背景置換方法の一実施形態である。
【００６５】
第１の２値化部７２１には、図６に示される画像取得部７１０で取得された逆光撮影画像を表す第２ＲＧＢ値群が入力される。この第１の２値化部７２１では、この第２ＲＧＢ値群から輝度を各画素について換算し、輝度が所定の閾値以上か否かでこの逆光撮影画像を第１の領域と第２の領域とに分類した２値画像が生成される。
【００６６】
ここで、図８は、第２ＲＧＢ値群で表される逆光撮影画像を示す図である。
【００６７】
図８に示される逆光撮影画像は、転び防止のために紐で吊され、順光撮影画像上での光の写り込み防止のために周囲に門柱の様に黒紙が配備された楕円球状の被写体を逆光で撮影したものである。このため、この逆光撮影画像には、被写体のシルエットの上端から黒い紐が上方に延び、被写体のシルエットが黒い門柱状の物体に囲まれている様子が示されている。つまり、図８に示される逆光撮影画像には、被写体領域とこの被写体領域を孤立させる背景領域という関係に関わらない領域が存在する。そこで、この背景置換装置７００では、撮影画像を、被写体領域とその被写体領域を孤立させる背景領域という関係にある領域と、これに関わらない他の領域とに分けた上で、被写体領域とその被写体領域を孤立させる背景領域という関係にない領域を、以下に説明する手法により削除する。
【００６８】
図９は、２値画像を示す図である。
【００６９】
図９には、図８に示される逆光撮影画像が第１の２値化部７２１における２値化処理によって輝度が閾値未満と判定された被写体と紐と門柱状の物体に対応する各画素のＲＧＢ各値が全て‘２５５’とされたために‘白’で表される第１領域と、輝度が閾値以上と判定された、被写体や紐や門柱状の物体以外の背景に対応する各画素のＲＧＢ各値が全て‘０’とされたために‘黒’で表される第２領域とからなる２値画像が示されている。図７に戻って説明を続ける。
【００７０】
図７に示される収縮・膨張処理部７２２では、図９に示される２値画像上の‘黒’の領域に接する‘白’の画素を‘黒’にする操作、すなわち第１領域を１画素幅だけ収縮させる操作が所定の回数だけ行われ、その後、２値画像上の‘白’の領域に接する‘黒’の画素を‘白’にする操作、すなわち第１領域を１画素幅だけ膨張させる操作が、収縮させた所定の回数と同じ回数だけ行われる。これら収縮処理および膨張処理を行うことで、吊糸等の背景置換にとってノイズとなる画像部分が２値画像から消去される。
【００７１】
図１０は、収縮・膨張処理部による処理を終えた２値画像を示す図である。
【００７２】
図１０（ａ）には、図９に示される２値画像から、吊糸に対応する‘白’の領域が削除された２値画像が示されている。尚、図１０（ｂ）および図１０（ｃ）についての説明は後に譲る。再び、図７に戻って説明を続ける。
【００７３】
図７に示される孤立領域検出部７２３では、収縮・膨張処理部７２２による処理を終えた２値画像上の‘白’で表される第１領域であって、この２値画像上で‘黒’で表される第２領域に取り囲まれて孤立した孤立領域が検出される。
【００７４】
図７に示される枠作成・拡大部７２４では、孤立領域検出部７２３で検出された孤立領域Ａを第２領域を通って矩形状に取り囲む矩形枠が検出され、その矩形枠は、矩形枠の各辺が孤立領域Ａ以外の第１種領域に接するまで拡大される。
【００７５】
図１０（ｂ）には、２値画像上で‘黒’で表される第２領域に取り囲まれて孤立した孤立領域Ａが、枠作成・拡大部７２４で検出された矩形枠１００で取り囲まれている様子が示されている。また、図１０（ｃ）には、その矩形枠１００の各辺が孤立領域Ａ以外の第１領域に接するまで拡大されている様子が示されている。
【００７６】
このように、この背景置換装置７００では、以下に説明する背景置換を良好に行うために、逆光撮影画像上の、背景置換にとって必要な画像部分と不要な画像部分とが区別される。再び、図７に戻って説明を続ける。
【００７７】
図７に示される背景推定部７２５では、図８に示される逆光撮影画像のうちの、枠作成・拡大部７２４で作成され拡大された矩形枠１００で取り囲まれている範囲内に対応する画像部分を対象に、被写体に隠れた背後の領域に属する各画素のＲＧＢ各値の推定が行われる。
【００７８】
図１１は、図８に示される逆光撮影画像のうち背景置換に使用される画像部分とその画像部分における背景置換の様子を観念的に示す図である。
【００７９】
図１１（ａ）には、図８に示される逆光撮影画像のうち、図１０（ｃ）に示される矩形枠１００よりも内側に相当する部分が示されており、ここには、上から下にかけて一様なグラデーションを有する背景と、この背景よりもシャドウ側に寄った被写体とが示されている。図１１（ｂ）には、図７に示される背景推定部７２５において、第２ＲＧＢ値群のうちの図１１（ａ）に示される画像を表す第２ＲＧＢ値に基づいて、被写体の背後については背景推定がされて作成された第３ＲＧＢ値群が表す背景画像が示されている。
【００８０】
図１２は、被写体に隠れた背後の領域に属する各画素のＲＧＢ各値の推定の手法を概念的に示す図である。尚、図１２に示されている画像は、明暗の図示が省略されているが、図１１（ａ）と同じ図であるとして話を進める。
【００８１】
背景推定部７２５では、図１２に示される画像をあらわす第２ＲＧＢ値群から、まず、図１２に示される画像の左側の１列目の上端に位置する画素から下端に位置する画素までの各画素の画素値を読み出して換算した輝度（以下、この換算した輝度を換算輝度と称す。）と、最初の数画素についての換算輝度に基づいてそれ以降の画素については外挿法により推定した輝度（以下、この推定した輝度を推定輝度と称す。）との間に所定値以上のズレがあるか否かを判定し、これら画素値の読み出し、輝度の換算と推定、および判定を、図１２に示す撮影画像の左端から右端にかけて行う。その結果、換算輝度と推定輝度との差が全て所定値未満の画素からなる列は、背景領域のみを通過する列として認識される。一方、列の中に、換算輝度と推定輝度との差が所定値以上である画素が存在する列は被写体領域を通過する列として認識され、その列上の、被写体領域に属する画素の画素値は、被写体領域を通過する列の直前の、背景領域を通過する列の対応する画素の画素値に置き換えられる。この様にして被写体Ｐの背後の領域の画素値が推定により決定される。
【００８２】
図１３は、撮影画像上の上下方向の位置と換算輝度との関係を示す図である。
【００８３】
図１３（ａ）には、横軸に図１２に示す逆光撮影画像上の上下方向の位置、縦軸に輝度（０〜２５５）をとった場合の、この画像の背景領域に属する列の上下位置と換算輝度との関係が示されており、ここには、列の上端では、２５５に近い‘明’側の換算輝度が、列の下端に近づくにつれて０に近い‘暗’側へなだらかに変化していく様子が示されている。また、図１２に示される、背景領域を通過する列のうち代表的な列Ａ、Ｂ、Ｃ、Ｅ、Ｆ、およびＧにおける上下位置と換算輝度との関係がほぼ同じであることで、図１３（ａ）には、プロットがほぼ同じ位置に重ねて行われている様子が示されている。このことは、つまり、図１２に示される撮影画像の背景が左右方向に均一であることを表している。
【００８４】
図１３（ｂ）には、被写体領域を通過する列の中から代表的に抽出した列Ｄについて得られた、列Ｄにおける上下位置と換算輝度との関係が示されている。この列Ｄについては、位置ａ手前までの画素は背景領域に属しているものの、位置ａから位置ｂまでの間の画素が被写体領域に属していることで、位置ａから位置ｂまでの間では、点線で示される外挿法による推定輝度と、実線で示される換算輝度との間に大きなズレが生じている。このため、この範囲内の画素値は、背景領域のみを通過する列のうち最も近い列である列Ｃの対応する範囲の画素値に置き換えられる。以上説明したようにして、背景推定部７２５では、被写体Ｐに隠れた背後の画素の輝度推定を行った上で、背景全体のＲＧＢ値群である第３ＲＧＢ値群を作成する。再び、図７に戻って説明する。
【００８５】
図７に示す差し引き部７２６では、第２ＲＧＢ値群から第３ＲＧＢ値群が差し引かれる。
【００８６】
図１１（ｃ）には、差し引き部７２６において、第２ＲＧＢ値群から第３ＲＧＢ値群の各値が差し引かれた結果のＲＧＢ値群で表された画像が示されており、ここには、ベタ黒の背景に被写体Ｐがうっすら浮かび上がっている様子が示されている。
【００８７】
図７に示される第２の２値化部７２７では、差し引き部７２６から送られてきたＲＧＢ値群から輝度を換算し、閾値１００未満の輝度については輝度を‘０’とし、閾値１００以上の輝度については輝度を‘２５５’としている。第２の２値化部７２７により２値化処理された後の輝度に基づくＲＧＢ値群により表される画像は、図１１（ｄ）に示されるように、輝度が‘０’とされた画素部分は‘ベタ黒’で表され、輝度が‘２５５’とされた画素部分は‘白’で表される。
【００８８】
図７に示される背景置換画像作成部７２８では、第２の２値化部７２７により‘白’とされた画素部分の画素値は、第１ＲＧＢ値群の対応するＲＧＢ値に置き換えられ、一方‘ベタ黒’とされた画素部分の画素値は、顧客が所望した背景ＲＧＢ値群の対応するＲＧＢ値に置き換えられる。これにより、順光できれいに撮影された被写体と、顧客が所望する背景とが組み合わさった背景置換画像が作成される。
【００８９】
このようにして作成された背景置換画像を表わすＲＧＢ値群が、図６に示される画像データ転送部７３０に送信され、各出力デバイスや出力用記憶媒体５５０（図６参照）に転送される。
【００９０】
以上説明したように、この背景置換装置７００では、被写体を逆光で撮影して得られた逆光撮影画像のうち矩形枠１００の内側に対応する画像を表す第２ＲＧＢ値群から、被写体に隠れた背後については推定を用いた背景画像を表す第３ＲＧＢ値群を差し引くことで得られた差分に基づいて被写体領域と背景領域とを区別する。つまり、逆光撮影画像の央部の被写体領域と、この被写体領域を取り囲むことでこの被写体領域を孤立させる背景領域という関係に関わらないその他の領域は、背景置換にとって不要な領域である可能性が高い。そこで、本実施形態の背景置換装置７００では、撮影画像を矩形枠１００によって、被写体領域とその被写体領域を孤立させる背景領域という関係にある領域と、これに関わらない他の領域とに分けた上で、この矩形枠１００の外側の領域は不要な画像部分であるとして除去する。これにより、被写体領域のＲＧＢ値群と、その被写体領域に隠れた背後の領域について背景の一様さに基づいて推定されたＲＧＢ値群との僅かな差によって被写体領域と背景領域とを区別するこの背景置換装置７００においては致命的となる、背景の一様さの乱れが防止される。
【００９１】
最後に、図１０に示されるような矩形枠１００では、孤立領域検出部７２３で検出された孤立領域を取り囲めない場合について説明する。
【００９２】
図１０では、図１０（ａ）に示される２値画像上の孤立領域Ａを、垂直方向に延びる辺と水平方向に延びる辺とで囲まれた矩形枠１００で取り囲むことができた場合を例に挙げて説明したが、撮影画像によっては、図１０に示されるような、垂直方向に延びる辺と水平方向に延びる辺とからなる矩形枠では孤立領域を取り囲めない場合がありうる。
【００９３】
図１４は、撮影装置を傾けて被写体を撮影して得られた逆光撮影画像を示す図である。
【００９４】
図１４（ａ）には、被写体Ｐがほぼ垂直に立った状態で撮影されている図８（ａ）に対して、被写体Ｐが斜めに写った逆光撮影画像が示されている。
【００９５】
図１４（ｂ）には、図１４（ａ）に示された逆光撮影画像に対して、第１の２値化部７２１による２値化処理、収縮・膨張処理部７２２による処理、および、孤立領域検出部７２３による孤立領域の検出がなされた後、枠作成・拡大部７２４による、垂直方向に延びる辺と水平方向に延びる辺とからなる矩形枠１００の検出が試みられている様子が示されている。
【００９６】
しかしながら、図１４（ｂ）に示される２値画像については、第２領域を通ると共に垂直方向に延びる辺と水平方向に延びる辺とからなる矩形枠１００は検出できない。そのような場合、枠作成・拡大部７２４では、図１４（ｃ）および図１４（ｄ）に示すように、矩形枠１００の辺の延びる方向を、垂直および水平に対して所定角度だけ傾いた矩形枠での孤立領域の取り囲みを試み、矩形枠が検出できるまで、矩形枠の傾きを変化させながらこの試みを繰り返す。図１４（ｃ）には、垂直および水平に対して角度αだけ傾いた矩形枠での孤立領域Ａの取り囲みが試みられた様子が示されており、図１４（ｄ）には、その角度αがより大きな角度βでもって試みられた様子が示されている。その結果、図１４（ｄ）には、第２領域を通り孤立領域Ａを取り囲む矩形枠が検出された様子が示されている。さらに図１４（ｅ）には、図１４（ｄ）に示された矩形枠が拡大された様子が示されている。このように、背景置換装置７００では、被写体が斜めに撮影されていると共に、被写体領域とこの被写体領域を孤立させる背景領域という関係に関わらない不要な領域が写った逆光撮影画像であっても、この逆光撮影画像からこの不要な領域を削除することができる。
【００９７】
尚、以上に説明した実施形態では、枠が作成されて背景置換の対象となる画像部分が確定した後の区別部による被写体領域と背景領域との区別が被写体の背後の画素の輝度を推定し、差し引く例を挙げて説明したが、本発明では、区別部による被写体領域と背景領域との区別がクロマキー処理により行われても良い。
【００９８】
また、以上に説明した実施形態では、枠が作成される前にノイズを除去するための収縮・膨張処理が実施されると共に、垂直方向に延びる辺と水平方向に延びる辺とからなる矩形枠が検出できない場合には、矩形枠が検出されるまで各辺の延びる方向を変化させる例を挙げて説明したが、本発明では、これら収縮・膨張処理を行わなくても、さらには、垂直方向に延びる辺と水平方向に延びる辺とからなる矩形枠のみの検出を行うものであってもよい。
【図面の簡単な説明】
【００９９】
【図１】背景置換画像を作成するための撮影システムの概要を示す図である。
【図２】図１に示すパーソナルコンピュータの外観斜視図である。
【図３】図１の撮影システムにおける背景置換画像の作成の流れを示す図である。
【図４】図１に示すパーソナルコンピュータのハードウェア構成図である。
【図５】ＣＤ−ＲＯＭの概念図である。
【図６】背景置換装置の機能ブロック図である。
【図７】背景置換処理部の詳細を示す図である。
【図８】第２ＲＧＢ値群で表される逆光撮影画像を示す図である。
【図９】２値画像を示す図である。
【図１０】収縮・膨張処理部による処理を終えた２値画像を示す図である。
【図１１】図８に示される逆光撮影画像のうち背景置換に使用される画像部分とその画像部分における背景置換の様子を観念的に示す図である。
【図１２】被写体に隠れた背後の領域に属する各画素のＲＧＢ各値の推定の手法を概念的に示す図である。
【図１３】撮影画像上の上下方向の位置と換算輝度との関係を示す図である。
【図１４】撮影装置を傾けて被写体を撮影して得られた逆光撮影画像を示す図である。
【符号の説明】
【０１００】
１  撮影システム
１０  撮影セット
１１  デジタルカメラ
１２  第１閃光発光装置
１３  撮影台
１３０  第２閃光発光装置
１３１  プラスティック板
１３２  筐体
２０  パーソナルコンピュータ
６００  背景置換プログラム
６１０、７１０  画像取得部
６２０、７２０  背景置換処理部
６３０、７３０  画像データ転送部
６４０、７４０  画像表示部
７００  背景置換装置
７２１  第１の２値化部
７２２  収縮・膨張処理部
７２３  孤立領域検出部
７２４  枠作成・拡大部
７２５  背景推定部
７２６  差し引き部
７２７  第２の２値化部
７２８  背景置換画像作成部
【図１】
2010098678.tif 000003
【図２】
2010098678.tif 000004
【図３】
2010098678.tif 000005
【図４】
2010098678.tif 000006
【図５】
2010098678.tif 000007
【図６】
2010098678.tif 000008
【図７】
2010098678.tif 000009
【図８】
2010098678.tif 000010
【図９】
2010098678.tif 000011
【図１０】
2010098678.tif 000012
【図１１】
2010098678.tif 000013
【図１２】
2010098678.tif 000014
【図１３】
2010098678.tif 000015
【図１４】
2010098678.tif 000016