(57)【特許請求の範囲】
【請求項１】
記録媒体に格納しておいた背景画像に輝度又は／及び色情報を参照するための参照エリアを設定すると共に、実際に合成開始時刻の撮影画像にも同じ参照エリアを設定するステップと、
前記背景画像の前記参照エリア内及び前記合成開始時刻の前記撮影画像の前記参照エリア内での輝度又は／及び色情報を計測し、前記背景画像が前記合成開始時刻の前記撮影画像と同等になるように、計測された輝度又は／及び色情報に基く補正を前記背景画像全体に加えるステップと、
補正後の前記背景画像を合成背景画像とし、合成が開始された時点以降の撮影画像と前記合成背景画像との間に差分演算を行い、それにより切り出された差分画像を前記合成背景画像に次々と重ね合せることによりストロボ写真状の合成画像を生成するステップと、
を有することを特徴とする画像合成方法。
【請求項２】
記録媒体に格納しておいた背景画像に輝度又は／及び色情報を参照するための参照エリアを設定すると共に、実際に合成開始時刻の撮影画像にも同じ参照エリアを設定する手段と、
前記背景画像の前記参照エリア内及び前記合成開始時刻の前記撮影画像の前記参照エリア内での輝度又は／及び色情報を計測し、前記背景画像が前記合成開始時刻の前記撮影画像と同等になるように、計測された輝度又は／及び色情報に基く補正を前記背景画像全体に加える手段と、
補正後の前記背景画像を合成背景画像とし、合成が開始された時点以降の撮影画像と前記合成背景画像との間に差分演算を行い、それにより切り出された差分画像を前記合成背景画像に次々と重ね合せることによりストロボ写真状の合成画像を生成する手段と、
を備えてなる画像合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はテレビジョン番組制作や映画制作などに使用される画像合成方法及び画像合成装置に関し、更に詳しくは、特にスポーツ中継などの場合において、被写体である選手の動作をわかりやすく表現するのに好適な画像合成方法及び画像合成装置に関する。
【０００２】
【従来の技術】
従来、スポーツ中継などの番組制作の分野では、被写体である選手の動作をわかりやすく表現するには、スローモーション再生という手法が多用されている。また、他の方法として、例えば、選手の動作をストロボ写真のように表現し、背景画像に合成していくマルチモーションという技術も過去に開発され、実際の番組制作に使用されたことがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来のスローモーション再生手法は、スポーツ中継などにおいて、被写体である選手の速い動きをゆっくりと表現するのに、非常に分かり易くて効果的ものであるが、一方、その動きがゆっくりになることで動いた軌跡やフォームの移行がとらえにくいという問題点があった。
【０００４】
一方、上述した従来のマルチモーション技術は、被写体である選手のみを写した静止画像を背景画像に次々に合成していくため、残像効果で動きの経緯が非常に分かり易く評価が高い。ところが、このマルチモーションでは、背景に対して被写体を切り出すのに、背景差分や動きベクトルなどの画像処理技術を用いなければならない。このような画像処理技術の難易度が高いので、上手に合成するために、屋内のみでの使用や照明条件の固定などの制約があるという問題点があった。
【０００５】
本発明は上述のような事情よりなされたものであり、本発明の目的は、視聴者にとって分かり易い番組制作が実現できる画像合成方法及び画像合成装置を提供し、さらに、屋外で行われることの多いスポーツ中継などのような照明条件の不安定な環境下でも、安定で信頼性の高いストロボ合成を可能にする画像合成方法及び画像合成装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は、被写体の動作をわかりやすく表現するのに好適な画像合成方法及び画像合成装置に関し、本発明の上記目的は、記録媒体に格納しておいた背景画像に輝度又は／及び色情報を参照するための参照エリアを設定すると共に、実際に合成開始時刻の撮影画像にも同じ参照エリアを設定するステップ又は手段と、前記背景画像の前記参照エリア内及び前記合成開始時刻の撮影画像の前記参照エリア内での輝度又は／及び色情報を計測し、前記背景画像が前記合成開始時刻の撮影画像と同等になるように、計測された輝度又は／及び色情報に基く補正を前記背景画像全体に加えるステップ又は手段と、補正後の前記背景画像を合成背景画像とし、合成が開始された時点以降の撮影画像と前記合成背景画像との間に差分演算を行い、それにより切り出された差分画像を前記合成背景画像に次々と重ね合せることによりストロボ写真状の合成画像を生成するステップ又は手段とを有することによって達成される。
【０００７】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態について詳細に説明する。なお、本実施形態では、記録媒体として画像メモリを、色情報として色温度を用いることにより、ゴルフの中継番組の撮影を行う場合を例として説明する。本例の被写体はゴルフのプレイをしているゴルフ選手で、背景画像は例えばゴルフ場である。
【０００８】
本実施形態では、画像メモリに予め取り込んでおいた、背景画像（ゴルフ選手のいないゴルフ場）に輝度及び色温度を参照するための参照エリアを設定すると共に、実際に合成開始時刻の撮影画像（ゴルフ選手のいるゴルフ場）にも同じ参照エリアを設定し、前記背景画像の前記参照エリア内及び前記合成開始時刻の前記撮影画像の前記参照エリア内での輝度及び色温度を計測し、前記背景画像が前記合成開始時刻の撮影画像と同等になるように、計測された輝度及び色温度に基く補正を前記背景画像全体に加えてから、補正後の前記背景画像を合成背景画像とし、合成が開始された時点以降の撮影画像と前記合成背景画像との間に差分演算を行い、それにより切り出された差分画像（ゴルフ選手のみが写った画像）を前記合成背景画像に次々と重ね合せることによりストロボ写真状の合成画像を生成するような画像合成方法を採用している。
【０００９】
図１は背景画像を撮影するための実施形態の構成を示す模式図である。図１に示すように、撮影用カメラ１０を用いて、背景となる風景（合成したい被写体であるゴルフ選手がいないゴルフ場）を撮影し、撮影した画像を撮影用カメラ１０に接続されている画像メモリ１１に保存しておく。
【００１０】
図２はこのように画像メモリ１１に保存された背景画像２０の一例を示す模式図である。図２に示すように、背景画像２０内にある適当な目標物２１（例えば本例では白い看板）が映っているエリアを、輝度及び色温度を参照するための参照エリア２２と設定しておく。
【００１１】
図３は合成したい被写体２３が撮影エリアに入ってきた場合の画像撮影の構成を示す模式図である。図３に示すように、被写体２３であるゴルフ選手が撮影エリアに入ってきてプレイをし、合成をしたいプレイシーンが現れたら或は合成を行いたい時刻になったら、図１の背景画像２０を撮影する際の撮影条件と全く同様な条件で、つまり同じ位置、同じ画角に設置された撮影用カメラ１０を用いて、画像を撮影する。
【００１２】
図４は、図３に示される構成で、撮影された合成開始時刻の撮影画像２４の一例を示す模式図である。図４に示すように、合成開始時刻の撮影画像２４内において、図２で設定したのと同様な参照エリア２２を設定する。
【００１３】
図５は背景画像２０を補正する補正処理の手順を示すブロック図である。図５に示すように、まず、画像メモリ１１上の背景画像２０の参照エリア画像２２１と合成開始時刻の撮影画像２４の参照エリア画像２２２とを輝度／色温度比較器３０に取り込む。次に、輝度／色温度比較器３０で求められた輝度及び色温度の各変化量に基いて補正量を演算器３１での演算によって算出する。最後に、画像メモリ１１上の背景画像２０の全画像に対し、算出された補正量を用いて補正処理を施す。このような補正処理によって、合成開始時刻の背景画像に近い画像（補正後の背景画像２５）を生成することができる。
【００１４】
図６は合成画像２７の生成手順を説明するための模式図である。図６に示すように、画像メモリ１１上の補正後の背景画像２５（合成背景画像）と現在の撮影画像２８の間で差分演算を行うことにより、被写体２３を切り出した差分画像２６を作成する。所定の合成間隔でこのように切り出した差分画像２６を合成背景画像２５に次々と重ね合せて合成していくことにより、ストロボ写真状の合成画像２７を生成する。
【００１５】
図７は合成された合成画像２７の一例を示す図である。図７は２フレーム毎に差分画像２６を切り出し、それらの差分画像２６を合成背景画像２５に合成した例である。図示されるように、被写体２３であるゴルフ選手のフォームが分かり易く得られている。
【００１６】
なお、上述した本発明の実施形態においては、ゴルフ中継番組の撮影を例として説明したが、本発明はこれに限られるものではなく、他の色々な番組制作などに適用することができる。
【００１７】
【発明の効果】
以上のように、本発明に係る画像合成方法及び画像合成装置によれば、屋外で行われることの多いスポーツ中継などのような照明条件の不安定な環境下でも、安定で信頼性の高いストロボ合成が可能になる。視聴者がスポーツ選手の動きを容易に理解できるような分かり易い番組制作に貢献することができる。
【００１８】
つまり、本発明によって、スポーツ中継などの場合において、合成開始直前に被写体もいない背景画像を取り込むことが難しい条件下でも、その合成開始時刻に近い背景画像を生成することが可能であるため、精度の高い差分画像を切り出すことが可能になる。よって、屋外や不安定な照明条件などの悪い環境下でも、安定した高信頼性の合成を容易に実現することができる。マルチモーションと同等の優れた効果が様々なスポーツ中継で得られるようになり、視聴者にとって分かり易い番組制作を実現することができる。
【図面の簡単な説明】
【図１】背景画像を撮影するための実施形態の構成を示す模式図である。
【図２】保存された背景画像の一例を示す模式図である。
【図３】合成したい被写体がいる場合での画像撮影の構成を示す模式図である。
【図４】撮影された合成開始時刻の撮影画像の一例を示す模式図である。
【図５】背景画像を補正する補正処理の手順を示すブロック図である。
【図６】合成画像の生成手順を説明するための模式図である。
【図７】合成された合成画像の一例を示す図である。
【符号の説明】
１０    撮影用カメラ
１１    画像メモリ
２０    背景画像
２１    目標物
２２    参照エリア
２２１    画像メモリ１１上の背景画像２０の参照エリア画像
２２２    合成開始時刻の撮影画像２４の参照エリア画像
２３    被写体
２４    合成開始時刻の撮影画像
２５    補正後の背景画像（合成背景画像）
２６    差分画像
２７    合成画像
２８    現在の撮影画像
３０    輝度／色温度比較器
３１    演算器
【図１】
0004608139.tif 000002
【図２】
0004608139.tif 000003
【図３】
0004608139.tif 000004
【図４】
0004608139.tif 000005
【図５】
0004608139.tif 000006
【図６】
0004608139.tif 000007
【図７】
0004608139.tif 000008