(57)【要約】【課題】被写体と背景を撮影する撮影システムにおいて、背景と被写体がともに好ましい仕上がりとなるようにする。【解決手段】被写体と背景とを所定の時間以内に撮影し、被写体を撮影した被写体画像から被写体を抽出した抽出画像Ｆを作成し、この抽出画像Ｆと背景を撮影した背景画像Ｄとを合成する。このとき、被写体と背景が好ましい特性で合成されるように少なくとも一方の画像を補正して合成する。【選択図】          図５
2004297143.tif 000002
【特許請求の範囲】
【請求項１】
同一の撮影場所で被写体を撮影して得た被写体画像と背景を撮影して得た背景画像とを所定の時間以内に撮影して得る撮影手段と、
前記被写体画像から被写体を抽出した抽出画像を作成する画像抽出手段と、
該画像抽出手段で抽出した前記抽出画像と前記背景画像とを合成する合成手段とを備えたことを特徴とする撮影システム。
【請求項２】
前記画像合成手段が、前記抽出画像から求めた第１のＡＥ値と前記背景画像から求めた第２のＡＥ値とに基づいて、前記抽出画像と前記背景画像のＡＥ値が略一致するように補正して合成するものであることを特徴とする請求項１記載の撮影システム。
【請求項３】
前記撮影手段が、前記被写体画像を得るための被写体撮影部と、前記背景画像を得るための背景撮影部とを備えたものであり、
前記画像合成手段が、前記被写体撮影部の特性と前記背景撮影部の特性との違いにより発生する前記抽出画像と前記背景画像との違いを補正して合成するものであることを特徴とする請求項１または２記載の撮影システム。
【請求項４】
前記背景画像が、前記背景を前記被写体とともに撮影したものであり、
前記画像合成手段が、該背景画像に撮影されている被写体の領域を覆う位置に前記抽出画像を重ね合わせて合成するものであることを特徴とする請求項１から３いずれか記載の撮影システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影して得た背景の画像と被写体の画像とを合成する撮影システムに関するものである。
【０００２】
【従来の技術】
近年、テーマパーク等にあるアトラクションの要所に自動撮影装置が設置され、乗り物が通過するときや人がいるのを検知して撮影を行うシステムが知られている。この種の自動撮影装置としては、撮影に好適な場所に設置され、利用者がアトラクションの出口で撮影内容をモニタ等で確認し、気に入った場合にプリント注文して購入するというものがある（例えば、特許文献１参照）。
【０００３】
一方、観光地において山等の遠景を背景に自動撮影するものがあるが、山等の遠景を背景にする場合には、撮影するときのタイミングによって霧や雲にさえぎられて好ましい状態の背景が得られない場合がある。そのため、好ましい状態の背景が得られるように、予め撮影された背景画像に人物像を合成して合成画像を作成することが提案されている（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開２００１−１７５５５０号公報
【０００５】
【特許文献２】
特開平１１−２２３８８６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記のようなアトラクションの要所におかれる自動撮影装置では、写したい人物の位置やその人物の大きさとの関係で、背景と人物が１つの画像にうまく入らない場合がある。例えば、ディズニーランドのシンデレラ城の前で小さい子供を撮影すると、シンデレラ城の上部が写らなかったり、背景のシンデレラ城に焦点が合って人物がぼやけて撮影されたり、人物はきれいに写っていても背景のシンデレラ城がぼやけて写ってしまうというような場合がある。
【０００７】
また、予め撮影した背景画像と人物像とを合成すれば、背景も人物も鮮明な画像を得ることが可能であるが、撮影時の雰囲気や天候による明るさ等が背景と人物とで異なり、一緒に写したものと違って不自然な写真となる。
【０００８】
そこで本発明は、この課題に鑑みて、人物像等の被写体と背景が、ともに好ましい仕上がりとなるように撮影する撮影システムを提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明の撮影システムは、同一の撮影場所で被写体を撮影して得た被写体画像と背景を撮影して得た背景画像とを所定の時間以内に撮影して得る撮影手段と、
前記被写体画像から被写体を抽出した抽出画像を作成する画像抽出手段と、
該画像抽出手段で抽出した前記抽出画像と前記背景画像とを合成する合成手段とを備えたことを特徴とするものである。
【００１０】
ここで、「撮影手段」とは、被写体や背景を撮影して、被写体画像や背景画像を得るカメラ等の撮影装置を備えたもので、例えば、カメラの撮影タイミングや撮影装置の位置や方向等を制御する制御装置や、複数のカメラを備えた装置の場合には、複数のカメラの撮影タイミングを制御するための制御装置を含むものである。
【００１１】
また、「被写体画像」は、撮影装置で背景とともに被写体を撮影したものであり、「抽出画像」は、被写体画像に写っている背景画像を取り除いて被写体の部分のみを抽出した画像である。また、「背景画像」は、被写体の背景となる画像を撮影したもので、背景と一緒に被写体を撮影したものも含む。
【００１２】
さらに、被写体画像と背景画像とは同じ画像であってもよく、その場合は、その画像から抽出した被写体を拡大してその画像の上に合成することも可能である。
【００１３】
ここで、画像とは、デジタルカメラ等で撮影したデジタル画像や、写真フィルム（銀塩フィルム）に撮影したものをスキャナー等で読み取ってデジタル画像に変換したものを含むものである。
【００１４】
「被写体画像と背景画像とを所定の時間以内に撮影する」とは、被写体画像を撮影した時間と背景画像を撮影した時間での周囲の状況が大きく変わらないと思われる時間内に撮影することであり、例えば、背景画像を周期的に撮影しておき、「合成手段」が、被写体画像と被写体を撮影した時間と近い時間に撮影した背景画像とを合成するようにしてもよい。これにより、合成した画像に不自然さがないように合成することが可能となる。
【００１５】
また、ＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ  ）値は、被写体や背景の明るさを表すＥＶ値に対応する値で、被写体や背景までの距離、明るさ、フラッシュの有無等の撮影条件によって異なる。このため被写体画像と背景画像のＡＥ値が一致しない場合が発生する。そこで、前記画像合成手段は、前記抽出画像から求めた第１のＡＥ値と前記背景画像から求めた第２のＡＥ値とに基づいて、前記抽出画像と前記背景画像の明るさが略一致するように、少なくとも一方の画像の明るさや色調等を補正して合成するものであるのが望ましい。
【００１６】
これにより、合成したときに抽出画像と背景画像の明るさを略一致させて自然な合成画像にすることが可能となる。
【００１７】
また、被写体画像を撮影する撮影装置と背景画像を撮影する撮影装置とは別に設けるようにしてもよい。このときは、前記画像合成手段は、被写体を撮影する撮影装置の特性と背景を撮影する撮影装置の特性との違いにより発生する前記抽出画像と前記背景画像との違いを補正して合成するものであることが望ましい。
【００１８】
「撮影部の特性」にはカメラ等のレンズの特性等があり、この特性に依存して、撮影された画像に鮮鋭度等の違いが発生する。したがって、合成したときに撮影装置の違いによって発生した鮮鋭度等の違いを補正して一致させてから合成することにより、自然な合成画像にすることが可能となる。
【００１９】
また、背景画像に背景とともに被写体が撮影されている場合には、これを被写体画像と合成するときに背景画像に写っている被写体が見えないようにすることが望まれるので、前記画像合成手段は、背景画像に撮影されている被写体の領域を覆う位置に被写体の抽出画像を重ね合わせて合成するものとすることが望ましい。
【００２０】
【発明の効果】
本願発明の撮影システムは、同一の場所で被写体を撮影した被写体画像と背景を撮影した背景画像とを所定の時間以内に撮影し、被写体画像から抽出した被写体と背景画像とを合成するものであるから、同じ場所で撮影した被写体と背景とを所望の構図となるようにし、さらに、被写体と背景とがともに好ましい仕上がりになるような合成画像を得ることが可能となる。
【００２１】
また、被写体のＡＥ値と背景画像のＡＥ値とが略一致するように補正して合成した場合には、不自然さがないように被写体と背景を合成することが可能となる。
【００２２】
また、被写体画像を得るための被写体の撮影装置と背景画像を得るための背景の撮影装置とを別に設け、両撮影装置の特性の違いにより発生する画像の違いを補正して合成するようにしたときには、不自然さがないように被写体と背景を合成することが可能となる。
【００２３】
さらに、背景画像に被写体が撮影されているときには、背景画像に撮影されている被写体の領域を覆う位置に、被写体画像から抽出した被写体を重ね合わせて合成すれば、不自然さがないように被写体と背景を合成することが可能となる。
【００２４】
【発明の実施の形態】
以下、本発明の撮影システムの第１の実施の形態について、図面を参照して詳細に説明する。図１は、本発明の撮影システムの構成を表すブロック図である。
【００２５】
撮影システム１は、被写体を撮影して得た被写体画像Ｅと背景を撮影して得た背景画像Ｄとを所定の時間以内に撮影する撮影手段２と、被写体画像Ｅから被写体を抽出した抽出画像Ｆを作成する画像抽出手段３と、画像抽出手段で抽出した抽出画像Ｆと背景画像Ｄとを合成する合成手段４から概略構成される。
【００２６】
撮影手段２は、被写体画像Ｅや背景画像Ｄを撮影するためのカメラ等の撮影装置を備えている。被写体画像Ｅを撮影する撮影装置と、背景画像Ｄを撮影する撮影装置とは別の撮影装置を設けるようにしてもよいが、同じ撮影装置を用いるようにしてもよい。また、撮影手段２には、撮影する対象に応じて各撮影装置の位置や方向、撮影するタイミング等を制御する制御装置を備えるよう構成する（不図示）。
【００２７】
本実施の形態では、被写体画像Ｅを撮影する撮影装置と背景画像Ｄを撮影する撮影装置とは別の撮影装置が設けられる場合について以下説明する。また、撮影装置はカメラとして以下説明する。
【００２８】
図２に示すように、背景画像Ｄを撮影するカメラ２２（以下、背景用カメラという）は、例えば、広角撮影が可能なカメラ等で撮影スポットの周辺を広く撮影するように設置し、被写体画像Ｅを撮影するカメラ２１（以下、被写体用カメラという）には、例えば、人物等の撮影に向いたカメラを、制御装置で被写体の位置に応じて高さや方向が変えられるように設置する（図２（ａ）参照）。また、背景用カメラ２２では、被写体カメラ２１の高さや方向を変えて撮影可能な範囲全体を撮影する方が好ましい。
【００２９】
被写体用カメラ２１は、撮影した被写体画像Ｅが背景画像Ｄ上のどこの領域であるかがわかるように、被写体用カメラの高さや向き（パン（左右の回転）・チルト（上下の回転）等を含む）の情報が得られるように構成し、例えば、図２に示すように、被写体用カメラの高さＨと回転（ここでは、左右とする）させた方向θを取得して、被写体画像Ｅの中心Ｃが背景画像Ｄ上のどの位置にあるかの検出ができるように構成する（図２（ｂ）参照）。また、ズームの情報から背景画像Ｄ上で占める領域の大きさを得ることも可能である。
【００３０】
被写体用カメラ２１では、例えば、被写体がカメラの前にいることを感知して被写体用カメラが被写体の方向に向くように制御装置で制御して撮影する。具体的には、被写体を感知する感知部２１１を設け、感知部２１１では被写体が所持しているＩＣタグ等を感知し、その方向に被写体用カメラを向けるようにする。ＩＣタグに限らず、携帯電話、ＧＰＳ、赤外線センサー等を利用して感知することも可能である。
【００３１】
一方、背景用カメラ２２では、なるべく短い時間間隔で背景画像Ｄを撮影するが、図３に示すように、カメラ２の設置位置から所定の範囲の撮影領域Ｒ内に人物等がいるか否かを検出して被写体のいない時に撮影する方が好ましい。
【００３２】
画像抽出手段３では、被写体画像Ｅから被写体を抽出した抽出画像Ｆを作成する。具体的には、例えば、図４に示すように、背景画像Ｄから被写体画像Ｅが撮影されている領域Ｄ１を取り出し、被写体画像Ｅと取り出した領域Ｄ１の画像の差分を求めるようにすれば、被写体が映っていない部分ｄ（斜線部）の画像は略消えた状態（画素の情報が略０になった状態）になり、画像が残る部分を被写体の部分として抽出して抽出画像Ｆを作成することができる。
【００３３】
また、背景画像Ｄはなるべく短時間で更新され、被写体を撮影した時間になるべく近い状態で撮影したものが好ましいが、時間がある程度経過している場合には背景画像Ｄを取り除くことができない場合もある。そこで、背景が変化した状態を被写体画像Ｅの背景（被写体が入っていない部分）から求めて（例えば、写体画像Ｅの背景の画素の平均値から求める）、背景画像Ｄを撮影時点に近い状態に加工し、加工した背景画像Ｄと被写体画像Ｅとの差分から抽出画像Ｆを作成する。
【００３４】
合成手段４では、背景画像Ｄと抽出画像Ｆとが好ましい構図となるように、抽出画像Ｆの位置や大きさを調整して合成する。例えば、図５に示すように、背景画像Ｄの領域Ｄ２を切り出し、高さＨ１・回転方向θ１の位置に、抽出画像Ｆを拡大して合成する。また、撮影した時の状況によって合成する背景画像Ｄと抽出画像ＦのＡＥ値が違ってくる場合がある（例えば、被写体を撮影するときにフラッシュをたいて撮影すると、被写体画像と背景画像との露出が違ってくる。）。
【００３５】
そこで、合成したときに背景と被写体との間にＡＥ値の差に基づく違いが生じないように背景画像Ｄと抽出画像Ｆの濃度（明るさ）を調節して合成する方が望ましい。具体的には、ＡＥ値は画像の平均の明るさが所定の露出度になるものとみなして、背景画像Ｄと抽出画像ＦのＡＥ値を求め、ＡＥ値による違いを調整するために、求めたＡＥ値に基づいて背景画像Ｄと抽出画像Ｆの明るさを算出し、このＬＡＴＤ値が略一致するように調節する。
【００３６】
あるいは、背景用カメラ２２と被写体用カメラ２１に用いられるレンズ等の特性によって、被写体画像Ｅと背景画像Ｄの鮮鋭度に違いが現れる場合がある。そこで、使用されているレンズ等の各カメラの特性に関する特性情報を予め記憶し、記憶している特性情報に基づいて鮮鋭度を調整するようにしてもよい。その他、カメラの特性による色バランス調整，コントラスト補正（階調処理）、明るさ補正、彩度補正等の画像処理をカメラに応じて施すようにしてもよい。具体的には、これらの処理は、演算式による演算処理、ＬＵＴ（ルックアップテーブル）による演算処理、マトリクス（ＭＴＸ）演算、フィルタによる処理などを適宜組み合わせて行うようことが可能である。
【００３７】
また、合成する背景画像Ｄの領域と抽出画像Ｆを合成する位置は、被写体の位置や抽出した被写体の大きさとによって合成する位置を決めておくようにしてもよいし、被写体を撮影した位置や被写体の大きさとから合成する位置を適宜算出するようにしてもよい。
【００３８】
また、合成する背景画像は、被写体を撮影する前のものに限らず、被写体を撮影した後のものでもよく、被写体を撮影した時間に近いものであればよい。
【００３９】
次に、撮影システム１の動作について、図６のフローチャートを用いて説明する。
【００４０】
背景用カメラ２２では、背景画像Ｄを所定の周期で繰り返し（Ｓ１０１）、撮影して背景画像Ｄを更新する（Ｓ１００）。このとき、撮影領域Ｒ内に人物等の被写体がいない間に撮影する方がよい。
【００４１】
一方、被写体用カメラ２１では、撮影領域Ｒ内に被写体が入ってきたことを感知部２１１で感知し（Ｓ２００）、最も好適な状態で被写体を撮影するように高さＨや方向θ等を調節し（Ｓ２０１）、被写体が所定位置に所定時間以上停止したことや、被写体の顔が所定の方向に向いていることを検出して自動的に撮影して被写体画像Ｅを得る（Ｓ２０２）。あるいは、アトラクション等の場合には、乗り物が所定の領域を通過すると撮影するようにしてもよい。
【００４２】
そこで、抽出手段３で、図４に示すように被写体画像Ｅと背景画像Ｄから被写体のみを抽出した抽出画像Ｆを作成する（Ｓ２０３）。次に合成手段４で、図５に示すように、被写体を撮影した位置から、背景に最も好適な領域Ｄ２を背景画像Ｄから取り出す。例えば、シンデレラ城の上部や全体の形がよく分かるところで、被写体を合成したときに不自然にならないところを抽出する。また、背景画像Ｄと抽出画像ＦのＡＥ値や、背景用カメラと被写体用カメラの特性による画像の違いを調整して、背景画像の領域Ｄ２に抽出画像Ｆを合成する位置と抽出画像Ｆの大きさ等を調節して合成する（Ｓ２０４）。
【００４３】
以上詳細に説明したように、被写体と背景画像の両方を好適な撮影条件で撮影したものを好適な構図で合成することが可能である。また、被写体の撮影時間と背景の撮影時間とが近いものを合成するので、撮影時の雰囲気が感じられる状態で合成することができる。
【００４４】
次に、撮影システムの第２の実施の形態として、背景画像に被写体が撮影されている場合の合成する場合について説明する。
【００４５】
本実施の形態の構成は、前述の実施の形態と略同じであるので詳細な説明は省略し、相違する点についてのみ説明する。
【００４６】
撮影手段２の背景用カメラ２２で、前述の実施の形態と同様に撮影領域Ｒに被写体がいないときに背景画像Ｄを撮影して随時更新するが、本実施の形態では、被写体と合成する背景用画像は被写体用カメラ２１で被写体を撮影したときと略同時に背景用カメラで撮影した背景画像Ｄ３を用いて合成する。
【００４７】
画像抽出手段３では、前述の実施形態と同様に、被写体の入っていない背景画像Ｄを用いて被写体画像Ｅから被写体を抽出した抽出画像Ｆを作成する。
【００４８】
そこで、合成手段４で合成する際に、図７に示すように、背景画像Ｄ３から背景画像を切り出した領域Ｄ４上の被写体の領域ｆ１（例えば、背景画像Ｄ３と背景画像Ｄとから被写体の領域ｆ１を抽出する。）を、抽出画像Ｆの被写体の領域ｆ２で覆い隠すように合成する。
【００４９】
また、本実施の形態では、背景に被写体が写っている場合にも合成することができる。これによって、被写体と背景とを同時に撮影したものを合成することもできるので、合成した画像が自然な仕上がりとなる。
【図面の簡単な説明】
【図１】撮影システムの構成を表すブロック図
【図２】背景用カメラが撮影した背景画像と被写体用カメラが撮影した被写体画像の関係を説明するための図
【図３】被写体用カメラの撮影領域を説明するための図
【図４】被写体画像から被写体の抽出する方法を説明するための図
【図５】背景画像と被写体画像の合成を説明するための図（その１）
【図６】背景画像と被写体画像の合成を説明するためフローチャート
【図７】背景画像と被写体画像の合成を説明するための図（その２）
【符号の説明】
１      撮影システム
２      撮影手段
３      画像抽出手段
４      合成手段
２１    被写体用カメラ
２２    背景用カメラ
２１１  感知部
Ｄ      背景画像
Ｅ      被写体画像
Ｆ      抽出画像
【図１】
2004297143.tif 000003
【図２】
2004297143.tif 000004
【図３】
2004297143.tif 000005
【図４】
2004297143.tif 000006
【図５】
2004297143.tif 000007
【図６】
2004297143.tif 000008
【図７】
2004297143.tif 000009