(57)【特許請求の範囲】
【請求項１】
奥行方向への動きを伴う被写体の画像合成を行なう画像合成装置であって、
画像データを記憶する画像メモリと、
前記画像メモリより画像データを読み出し、被写体の画像を抽出する画像抽出手段と、
前記画像メモリに記憶された画像データ及び／又は前記画像抽出手段により抽出された抽出画像に基づき画像合成を行なう画像合成手段と、
基準画像を決定する基準画像決定手段とを備え、
前記画像合成手段は、基準画像決定手段によって決定された基準画像の前の画像に対しては順次上方に抽出画像が重ねられる上重ね処理を行い、前記基準画像の後の画像に対しては順次下方に抽出画像が重ねられる下重ね処理を行なう画像合成装置。
【請求項２】
前記下重ね処理は、上重ね処理によって生成された第１の合成画像と前記基準画像の後の画像を合成するとともに、この合成画像に対して、第１の合成画像の被写体を抽出した合成画像を上書きにすることにより実現することを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記下重ね処理は、前記基準画像の後の画像の被写体を抽出した画像から上重ね処理によって生成された第１の合成画像の被写体を抽出した画像の部分を取り除くことにより生成した第２の合成画像を前記第１の合成画像に合成することにより実現することを特徴とする請求項１記載の画像合成装置。
【請求項４】
前記下重ね処理は、上重ね処理によって生成された第１の合成画像の被写体の抽出範囲を抽出しないように、前記画像抽出手段によって基準画像の後の画像の被写体を抽出した抽出画像を前記第１の合成画像に合成することにより実現することを特徴とする請求項１記載の画像合成装置。
【請求項５】
前記基準画像決定手段は、入力手段によって入力された基準画像を特定するための情報に基づいて基準画像を決定することを特徴とする請求項１、２、３又は４記載の画像合成装置。
【請求項６】
前記基準画像決定手段は、音声検出手段によって検出された音声情報に基づいて基準画像を決定することを特徴とする請求項１、２、３又は４記載の画像合成装置。
【請求項７】
前記基準画像決定手段は、位置検出手段によって検出された被写体の全部又は一部の位置情報に基づいて基準画像を決定することを特徴とする請求項１、２、３又は４記載の画像合成装置。
【請求項８】
前記基準画像決定手段は、奥行検出手段によって検出された被写体の全部又は一部の位置情報に基づいて基準画像を決定することを特徴とする請求項１、２、３又は４記載の画像合成装置。
【請求項９】
前記基準画像決定手段は、被写体の全部又は一部が最も撮影位置に近い状態を特定する画像を基準画像として選択することを特徴とする請求項１、２、３又は４記載の画像合成装置。
【請求項１０】
奥行方向への動きを伴う被写体の画像合成を行なう画像合成装置であって、
画像データを記憶する画像メモリと、
前記画像メモリより画像データを読み出し、被写体の画像を抽出する画像抽出手段と、
前記画像メモリに記憶された画像データ及び／又は前記画像抽出手段により抽出された抽出画像に基づき画像合成を行なう画像合成手段と、
基準画像を決定する基準画像決定手段とを備え、
前記画像合成手段は、基準画像決定手段によって決定された基準画像の前の画像に対しては順次下方に抽出画像が重ねられる下重ね処理を行い、前記基準画像の後の画像に対しては、順次上方に抽出画像が重ねられる上重ね処理を行なう画像合成装置。
【請求項１１】
奥行方向への動きを伴う被写体の画像合成を行なう画像合成方法であって、
基準画像を決定するステップと、
決定された基準画像の前の画像に対して、順次上方に抽出画像が重ねられる上重ね処理を行なうステップと、
前記基準画像の後の画像に対して、順次下方に抽出画像が重ねられる下重ね処理を行なうステップを有する画像合成方法。
【請求項１２】
奥行方向への動きを伴う被写体の画像合成を行なう画像合成方法であって、
基準画像を決定するステップと、
前記基準画像の前の画像に対して、順次下方に抽出画像が重ねられる下重ね処理を行なうステップと、
決定された基準画像の後の画像に対して、順次上方に抽出画像が重ねられる上重ね処理を行なうステップとを有する画像合成方法。
【請求項１３】
奥行方向への動きを伴う被写体の画像合成を行なう画像合成プログラムであって、この画像合成プログラムは、コンピュータに対して、
基準画像を決定するステップと、
決定された基準画像の前の画像に対して、順次上方に抽出画像が重ねられる上重ね処理を行なうステップと、
前記基準画像の後の画像に対して、順次下方に抽出画像が重ねられる下重ね処理を行なうステップを実行させる画像合成プログラム。
【請求項１４】
奥行方向への動きを伴う被写体の画像合成を行なう画像合成プログラムであって、この画像合成プログラムは、コンピュータに対して、
基準画像を決定するステップと、
前記基準画像の前の画像に対して、順次下方に抽出画像が重ねられる下重ね処理を行なうステップと、
決定された基準画像の後の画像に対して、順次上方に抽出画像が重ねられる上重ね処理を行なうステップを実行させる画像合成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像合成を行なう画像合成装置及び画像合成方法に関するものであり、例えば、テレビジョン番組制作、映画制作等において用いられる画像合成に関するものである。
【０００２】
【従来の技術】
従来より、スポーツ中継放送等では、被写体である選手の動きを視聴者に分かりやすく表現するため、スローモーション再生が多用されている。また、選手の動きをストロボ写真のように表現し、その静止画像を背景画像上で順次上書きすることにより合成していくマルチモーションと呼ばれる技術も利用されている。
【０００３】
【発明が解決しようとする課題】
スポーツ中継において、速い選手の動きをゆっくりと表現するスローモーション再生は、視聴者にとって分かりやすく効果的である。その一方で、動きが遅くなることで、選手が動いた軌跡やフォームの移行が捉えにくいという欠点があった。
【０００４】
マルチモーションは、静止した選手の画像を次々に重ね合わせて合成していくため、残像効果で動きの経緯が分かりやすいという利点がある。しかしながら、時間経緯に従って順次画像を重ね合わせているため、野球やゴルフのスイング等を表示する場合、被写体の位置に大きな移動がないため、ヒッティングポイント等の注目シーンがあっても上書きされてしまい、この注目シーンが見えなくなってしまうという欠点があった。また、マルチモーションによる表示は、平面的で立体感を視聴者に与えることができないといった視覚表現上の欠点もあった。
【０００５】
本発明は、このような問題点を解決するためになされたもので、奥行方向への動作を伴う被写体の動きを効果的に表現することができる画像合成装置及び画像合成方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明にかかる画像合成装置は、奥行方向への動きを伴う被写体の画像合成を行なう画像合成装置であって、画像データを記憶する画像メモリと、前記画像メモリより画像データを読み出し、被写体の画像を抽出する画像抽出手段と、前記画像メモリに記憶された画像データ及び／又は前記画像抽出手段により抽出された抽出画像に基づき画像合成を行なう画像合成手段と、基準画像を決定する基準画像決定手段とを備え、前記画像合成手段は、基準画像決定手段によって決定された基準画像の前の画像に対しては順次上方に抽出画像が重ねられる上重ね処理を行い、前記基準画像の後の画像に対しては順次下方に抽出画像が重ねられる下重ね処理を行なうものである。このような構成により、基準画像が一番上に表示されるため、注目シーンを基準画像に選択すれば、注目シーンが上書きされずに最後まで残るとともに、その経過を効果的に確認することができる。
【０００７】
好ましい実施の形態では、前記下重ね処理は、上重ね処理によって生成された第１の合成画像と前記基準画像の後の画像を合成するとともに、この合成画像に対して、第１の合成画像の被写体を抽出した合成画像を上書きにすることにより実現するものである。
【０００８】
また、前記下重ね処理は、前記基準画像の後の画像の被写体を抽出した画像から上重ね処理によって生成された第１の合成画像の被写体を抽出した画像の部分を取り除くことにより生成した第２の合成画像を前記第１の合成画像に合成することにより実現するようにしてもよい。
【０００９】
さらに、また、前記下重ね処理は、上重ね処理によって生成された第１の合成画像の被写体の抽出範囲を抽出しないように、前記画像抽出手段によって基準画像の後の画像の被写体を抽出した抽出画像を前記第１の合成画像に合成することにより実現するようにしてもよい。
【００１０】
また、前記基準画像決定手段は、入力手段によって入力された基準画像を特定するための情報に基づいて基準画像を決定するようにしてもよい。
【００１１】
前記基準画像決定手段は、音声検出手段によって検出された音声情報に基づいて基準画像を決定するようにしてもよい。このような構成により基準画像を自動的に決定することができ、合成処理が容易に行なうことができる。
【００１２】
また、前記基準画像決定手段は、位置検出手段によって検出された被写体の全部又は一部の位置情報に基づいて基準画像を決定するようにしてもよい。このような構成により基準画像を自動的に決定することができ、合成処理が容易に行なうことができる。また、このような手段によれば、被写体の全部又は一部が最も撮影位置に近い状態を特定する画像を基準画像として選択することも自動的にできる。
【００１３】
さらに、基準画像決定手段は、奥行検出手段によって検出された被写体の全部又は一部の位置情報に基づいて基準画像を決定するようにしてもよい。このような構成により基準画像を自動的に決定することができ、合成処理が容易に行なうことができる。また、このような手段によれば、被写体の全部又は一部が最も撮影位置に近い状態を特定する画像を基準画像として選択することも自動的にできる。
【００１４】
特に、前記基準画像決定手段は、被写体の全部又は一部が最も撮影位置に近い状態を特定する画像を基準画像として選択することが望ましい。このような構成によって、表示される画像が視覚的に立体になるため、迫力のある表現効果が得られる。
【００１５】
本発明にかかる他の画像合成装置は、奥行方向への動きを伴う被写体の画像合成を行なう画像合成装置であって、画像データを記憶する画像メモリと、前記画像メモリより画像データを読み出し、被写体の画像を抽出する画像抽出手段と、前記画像メモリに記憶された画像データ及び／又は前記画像抽出手段により抽出された抽出画像に基づき画像合成を行なう画像合成手段と、基準画像を決定する基準画像決定手段とを備え、前記画像合成手段は、基準画像決定手段によって決定された基準画像の前の画像に対しては順次下方に抽出画像が重ねられる下重ね処理を行い、前記基準画像の後の画像に対しては、順次上方に抽出画像が重ねられる上重ね処理を行なうものである。このような構成により、基準画像が一番上に表示されるため、注目シーンを基準画像に選択すれば、注目シーンが上書きされずに最後まで残るとともに、その経過を効果的に確認することができる。特に、注目シーンが奥にある場合には、有効な処理である。
【００１６】
他方、本発明にかかる画像合成方法は、奥行方向への動きを伴う被写体の画像合成を行なう画像合成方法であって、基準画像を決定するステップと、決定された基準画像の前の画像に対して、順次上方に抽出画像が重ねられる上重ね処理を行なうステップと、前記基準画像の後の画像に対して、順次下方に抽出画像が重ねられる下重ね処理を行なうステップを有するものである。このような方法により、基準画像が一番上に表示されるため、注目シーンを基準画像に選択すれば、注目シーンが上書きされずに最後まで残るとともに、その経過を効果的に確認することができる。
【００１７】
本発明にかかる他の画像合成方法は、奥行方向への動きを伴う被写体の画像合成を行なう画像合成方法であって、基準画像を決定するステップと、前記基準画像の前の画像に対して、順次下方に抽出画像が重ねられる下重ね処理を行なうステップと、決定された基準画像の後の画像に対して、順次上方に抽出画像が重ねられる上重ね処理を行なうステップとを有するものである。このような方法により、基準画像が一番上に表示されるため、注目シーンを基準画像に選択すれば、注目シーンが上書きされずに最後まで残るとともに、その経過を効果的に確認することができる。特に、注目シーンが奥にある場合には、有効な処理である。
【００１８】
本発明にかかる画像合成プログラムは、奥行方向への動きを伴う被写体の画像合成を行なう画像合成プログラムであって、コンピュータに対して、基準画像を決定するステップと、決定された基準画像の前の画像に対して、順次上方に抽出画像が重ねられる上重ね処理を行なうステップと、前記基準画像の後の画像に対して、順次下方に抽出画像が重ねられる下重ね処理を行なうステップを実行させるものである。このようなプログラムをコンピュータにより実行することにより、基準画像が一番上に表示されるため、注目シーンを基準画像に選択すれば、注目シーンが上書きされずに最後まで残るとともに、その経過を効果的に確認することができる。
【００１９】
本発明にかかる他の画像合成プログラムは、奥行方向への動きを伴う被写体の画像合成を行なう画像合成プログラムであって、コンピュータに対して、基準画像を決定するステップと、前記基準画像の前の画像に対して、順次下方に抽出画像が重ねられる下重ね処理を行なうステップと、決定された基準画像の後の画像に対して、順次上方に抽出画像が重ねられる上重ね処理を行なうステップを実行させるものである。このようなプログラムをコンピュータにより実行することにより、基準画像が一番上に表示されるため、注目シーンを基準画像に選択すれば、注目シーンが上書きされずに最後まで残るとともに、その経過を効果的に確認することができる。特に、注目シーンが奥にある場合には、有効な処理である。
【００２０】
【発明の実施の形態】
発明の実施の形態１．
図１に、本発明の実施の形態１にかかる画像合成装置の構成を示す。この画像合成装置１００は、撮影用カメラ１とケーブルや無線回線によって接続されている。
【００２１】
撮影用カメラ１は、動きのある被写体を撮影し、画像データ信号を生成する。この例では、主として奥行方向、即ち撮影用カメラ１から被写体を結ぶ線上であって両者が離れる方向への動きがある被写体の撮影に用いられる。例えば、野球の打者のスイング動作、投手の投球動作、ゴルフのスイング動作、サッカーのシュート動作、フィギュアスケートの回転動作、柔道の投げ技の動作、カーレースでの車のコーナリング動作である。撮影用カメラ１は、生成した画像データ信号をケーブルを介して画像合成装置１００に入力する。尚、撮影用カメラ１から画像データ信号を一旦磁気テープ等の記憶媒体に格納し、画像合成装置１００においてこの記憶媒体より画像データ信号を読み出すようにしてもよい。
【００２２】
画像合成装置１００は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク、ディスプレイ、キーボード等を有する専用コンピュータによってハードウエア上構成される。また、いわゆる汎用コンピュータに応用プログラムをインストールすることによってこの画像合成装置１００を構成することも可能である。さらに、画像合成装置１００は、バッファメモリを備え、適宜、背景あり合成画像５、背景なし合成画像６、抽出画像７を格納する。
【００２３】
画像合成装置１００は、図１に示されるように、画像メモリ２、画像抽出部３、画像合成部４を備えている。
【００２４】
画像メモリ２は、撮影用カメラ１より入力された画像データ信号を蓄積する記憶手段である。この画像メモリ２には、本発明にかかる画像合成処理の対象となる画像データがフレーム毎に時刻情報と関連付けられて蓄積される。この画像データのフレーム数は、画像合成処理を行なう被写体の動作の速さ、動作時間に応じて適宜選択される。
【００２５】
画像抽出部３は、画像メモリ２より画像データを入力し、被写体の画像を抽出し、背景画像と分離する処理を行なう。例えば、野球の打者のスイング動作に関する画像であれば、被写体となる打者の部分のみが抽出される。画像抽出部３による画像情報の抽出は、画面上でオペレータが抽出画像を指定することによって実現でき、また、次の方法によって自動的に生成することも可能である。
【００２６】
（１）背景との差分をとり、画像処理を施す。
【００２７】
（２）検出器を用いて抽出対象の位置を検出して映像内の特定部分を抽出する。
【００２８】
（３）色情報を用いて、特定の色以外の部分を抽出する。
【００２９】
画像抽出部３によって抽出された画像は、抽出画像７としてバッファメモリに格納される。
【００３０】
画像合成部４は、画像メモリ２に格納された画像データや、画像抽出部３によって生成された抽出画像データを入力し、画像合成処理を行なう。例えば、画像合成部４は、画像メモリ２より入力された画像に対して、画像抽出部３より入力された抽出画像７を重ね合わせる処理を行い、背景のある合成画像５を生成する。また、画像合成部４は、画像抽出部３より入力された複数の抽出画像を重ね合わせる処理を行い、背景のない合成画像６を生成することも可能である。
【００３１】
ここで、合成された画像Ａよりも後ろにある画像Ｂを合成する方法の一例について説明する。まず、背景がある合成画像Ａに画像Ｂの抽出画像を重ね合わせる。その後、重ね合わせた合成画像に対して、さらに背景のない合成画像Ａを重ね合わせる。このような合成処理によって、画像Ｂが画像Ａの下に位置するように表示させることができる。
【００３２】
図２に本発明の実施の形態１にかかる画像合成装置の画像合成処理を説明するために、合成前の画像と合成後の画像を示す。画像２ａ〜２ｆが合成前の画像であり、画像２０が合成後の画像である。
【００３３】
画像２ａ〜２ｆは、野球の打者のスイング動作を一定時間おきに撮影した画像を簡略的に表示したものである。画像２ａを最初として時系列的に並べてあり、最後が画像２ｆである。各画像の背景は斜線で示す。本発明においては、基準となる画像を決定し、その基準画像よりも時間的に前の画像及び基準画像に対する合成処理と、基準画像よりも時間的に後の画像に対する合成処理を変えている点に特徴を有する。この発明の実施の形態１では、基準画像よりも時間的に前の画像及び基準画像に関しては、被写体について上重ね処理を行い、基準画像よりも時間的に後の画像に関しては、被写体について下重ね処理を行なう。基準画像の決定については、さまざまな方法があり、発明の実施の形態４以降において詳述する。
【００３４】
図２に示す例では、ヒッティングポイントを示す注目シーンである画像２ｃを基準画像としている。尚、基準画像を選択するにあたっては、このように他の画像により上書きされることを防止したい画像を優先的に選択する場合、最も撮影カメラ１に近い、手前に被写体或いは被写体に一部（バット等）が位置する画像を選択する場合等、種々の場合がある。
【００３５】
この発明の実施の形態１では、基準画像２ｃよりも前の画像２ａ、画像２ｂ及び基準画像２ｃの被写体については上重ね処理を行なう。さらに具体的には、画像２ａの打者（バットを含む、以下同じ）の画像に対して、画像２ｂの打者の画像が上になるように重ねられる。さらに、この合成画像に対して画像２ｃの打者の画像が上になるように重ねられる。その後、基準画像２ｃよりも後の画像２ｄ、画像２ｅ、画像２ｆの被写体については下重ね処理を行なう。さらに具体的には、画像２ａ〜２ｃが上重ねされた合成画像に対して、画像２ｄの打者の画像が下になるように重ねられる。さらに、その合成画像に対して、画像２ｅの打者の画像が下になるように重ねられる。最後に、その合成画像に対して、画像２ｆの打者の画像が下になるように重ねられる。このようにして生成された合成画像が画像２０である。
【００３６】
画像２０は、注目シーンがある基準画像が一番上に表示されるため、注目シーンが上書きされずに最後まで残るとともに、その経過を確認することができる。この注目シーンが、撮影用カメラ側である場合には、表示される画像が視覚的に立体になるため、迫力のある表現効果が得られる。
【００３７】
続いて、図３を用いて、画像の合成処理について具体的に説明する。画像例は、図２に示すものと同じである。
【００３８】
まず、画像メモリ２より画像２ａ、２ｂ、２ｃを読み出し、画像合成部４によって、画像２ａ、２ｂ、２ｃが順に上重ねされるように合成し、画像２１を生成する。この合成方法については、従来のマルチモーションにおいて行っていた周知の手法であるため説明を省略する。次に、画像抽出部３によって画像メモリ２から画像２ｄを読み出し、被写体の画像のみ抽出し、抽出画像２２を生成する。この抽出画像２２は、背景のない画像となる。
【００３９】
次に、合成画像２１と画像２２とを合成処理２３を行い、画像２４を得る。また、画像抽出部３は、合成画像２１より被写体の画像のみを抽出し抽出画像２５を生成する。この抽出画像２５は、背景のない画像となる。そして、合成画像２４と抽出画像２５とを合成処理することによって、合成画像２７を生成する。同様にして、この合成画像２７に対して画像２ｅ、画像２ｆを合成処理することによって、図２に示す合成画像２０を得ることができる。
【００４０】
発明の実施の形態２．
図４に、本発明の実施の形態２にかかる画像合成装置の構成を示す。撮影用カメラ３１は、図１に示す撮影用カメラ１と、画像メモリ３２は、図１に示す画像メモリ２と、画像抽出部３３は、図１に示す画像抽出部３と、画像合成部３４は、図１に示す画像合成部４とそれぞれ同等の機能を有するものである。
【００４１】
この発明の実施の形態２にかかる画像合成装置１００は、図４に示されるように、抽出領域メモリ３６を備えている。
【００４２】
この発明の実施の形態２にかかる画像合成部３４は、特に画像抽出部３３によって抽出された抽出画像３７を、画像メモリ３２に格納された画像データに重ね合わせて、背景のある合成画像３５を生成する。また、画像合成部３４は、抽出領域メモリ３６に、画像抽出部３３によって抽出された画像の範囲を示す情報を適宜取り込んで保存する。
【００４３】
ここで、合成された画像Ａよりも後ろにある画像Ｂを合成する方法の一例について説明する。まず、画像Ｂの抽出画像３７より、抽出領域メモリ３６に格納された合成画像Ａの抽出画像の範囲部分を取り除く。そして、この画像に対して、合成画像Ａを重ね合わせる。このような合成処理によって、画像Ｂが画像Ａの下に位置するように表示させることができる。
【００４４】
続いて、図５を用いて、本発明の実施の形態２にかかる画像の合成処理について具体的に説明する。画像例は、図２に示すものと同じである。
【００４５】
まず、画像メモリ３２より画像２ａ、２ｂ、２ｃを読み出し、画像合成部３４によって、画像２ａ、２ｂ、２ｃが順に上重ねされるように合成し、画像４１を生成する。次に、画像抽出部３３によってこの画像４１より、被写体の画像のみ抽出し、抽出画像４４を生成し、抽出領域メモリ３６に格納する。この抽出画像４４は、背景のない画像となる。
【００４６】
また、画像メモリ３２より画像２ｄを読み出し、画像抽出部３３によって被写体の画像のみ抽出し、抽出画像４３を生成し、抽出領域メモリ３６に格納する。この抽出画像４３は、背景のない画像となる。
【００４７】
次に、抽出領域メモリ３６から、抽出画像４３及び抽出画像４４を読み出し、画像合成部３４によって、抽出画像４３から抽出画像４４を取り除く処理を行なう。この処理によって、画像４６を得る。続いて、この画像４６と、画像４１を合成することによって、合成画像４２を得る。同様にして、この合成画像４２に対して画像２ｅ、画像２ｆを合成処理することによって、図２に示す合成画像２０を得ることができる。
【００４８】
発明の実施の形態３．
図６に、本発明の実施の形態３にかかる画像合成装置の構成を示す。撮影用カメラ５１は、図１に示す撮影用カメラ１と、画像メモリ５２は、図１に示す画像メモリ２と、画像抽出部５３は、図１に示す画像抽出部３と、画像合成部５４は、図１に示す画像合成部４と同等の機能を有するものである。
【００４９】
この発明の実施の形態３にかかる画像合成装置１００は、図６に示されるように、抽出領域メモリ５６を備えている。
【００５０】
この発明の実施の形態３にかかる画像合成部５４は、特に画像抽出部５３によって抽出された抽出画像５７を、画像メモリ５２に格納された画像データに重ね合わせて、背景のある合成画像５５を生成する。また、画像合成部５４は、抽出領域メモリ５６に、画像抽出部５３によって抽出された画像の範囲を示す情報を適宜取り込んで保存する。
【００５１】
ここで、合成された画像Ａよりも後ろにある画像Ｂを合成する方法の一例について説明する。まず、画像抽出部５３により画像Ｂの抽出画像を生成するに際して、抽出領域メモリ５６に格納された合成画像Ａの抽出範囲は、抽出しないように処理する。そして、この画像に対して、合成画像Ａを重ね合わせる。このような合成処理によって、画像Ｂが画像Ａの下に位置するように表示させることができる。
【００５２】
続いて、図７を用いて、本発明の実施の形態３にかかる画像の合成処理について具体的に説明する。画像例は、図２に示すものと同じである。
【００５３】
まず、画像メモリ５２より画像２ａ、２ｂ、２ｃを読み出し、画像合成部５４によって、画像２ａ、２ｂ、２ｃが順に上重ねされるように合成し、画像６１を生成する。次に、画像抽出部５３によってこの画像６１より、被写体の画像のみ抽出し、抽出画像６２を生成し、その抽出範囲の情報を抽出領域メモリ５６に格納する。
【００５４】
また、画像メモリ５２より画像２ｄを読み出し、画像抽出部５３によって被写体の画像のみ抽出するが、このとき抽出領域メモリ５６に格納された抽出画像６２の抽出範囲の情報に基づき、この範囲の画像は抽出しないように処理する。このようにして、抽出画像６５を生成する。この抽出画像６５は、背景のない画像となる。
【００５５】
次に、画像合成部５４によって、抽出画像６５と合成画像６１を合成６６することによって、合成画像６７を得る。同様にして、この合成画像６７に対して画像２ｅ、画像２ｆを合成処理することによって、図２に示す合成画像２０を得ることができる。
【００５６】
発明の実施の形態４．
発明の実施の形態４は、基準画像の決定の処理に関するものである。図８に示されるように、発明の実施の形態４では、画像合成装置７２に基準画像決定装置７３が接続されている。この基準画像決定装置７３は、画像合成装置７２内に組み込まれる構成であってもよい。即ち、基準画像決定装置７３は、画像合成装置７２の一機能として実現することができる。
【００５７】
ここで、撮影用カメラ７１は、図１に示す撮影用カメラ１に相当するものであり、画像合成装置７２は、図１に示す画像合成装置１００に相当する。
【００５８】
基準画像決定装置７３には、キーボード７４、マイク７５及びカメラ７６を接続することができる。この発明の実施の形態４における基準画像決定装置７３は、さまざまな態様により基準画像を決定することができるものとして説明するが、これに限らず、態様のうちの一つ又は任意の組み合わせにより基準画像を決定することができるものとしてもよい。
【００５９】
基準画像決定装置７３は、画像合成装置７２と別体で構成される場合にあっては、ＣＰＵ、ＲＯＭ、ＲＡＭ等の制御回路、メモリ、ディスプレイ等によって構成される。そのメモリには、基準画像を決定するためのアルゴリズム、処理を行なうためのソフトウェアプログラムがインストールされる。
【００６０】
キーボード７４は、基準画像の決定をオペレータが直接画面上の画像を確認しながら入力するための入力手段として用いられる。この入力手段としては、キーボード７４以外にも、例えば、マウスやタッチパッド等のポインティングデバイスが含まれる。このとき、基準画像決定装置７３は、キーボード７４等の入力手段からの入力信号に基づき、基準画像を特定する情報を抽出し、画像合成装置７２に対して出力する。
【００６１】
マイク７５は、被写体の動作に伴って発生する音声を検出する音声検出手段として用いられる。例えば、野球の打者のスイングの動作であれば、ボールがバットに衝突する際に生じる打球音を検出する。このとき、基準画像決定装置７３は、マイク７５により検出された音声情報を入力し、まず、音声情報より特定すべき音、例えば打球音を抽出する。この音の抽出にあたっては、例えば、予め特定すべき音の強度や周波数のデータを設定しておき、そのデータと入力した音声情報を比較することによって実現可能である。音声情報より特定すべき音が抽出された場合には、この音が検出された時刻情報を生成する。この時刻情報に基づき、画像合成装置７２の画像メモリから音が検出された時刻又はそれよりも一定時間前又は後に撮影された画像を基準画像として決定する。時刻情報に基づいて基準画像を特定するためのアルゴリズムは、オペレータによって予め設定することができるよう構成されている。
【００６２】
カメラ７６は、撮影用カメラ８１とは別の位置に設けられたカメラであって、被写体の動作を撮影することによって、基準画像の時刻情報を導出するためのカメラである。例えば、野球の打者のスイング動作の場合、ドーム球場の天井に取り付けられたカメラが該当する。このカメラは、上方から打者を撮影することができるため、バットの位置を明確に撮影することができる。そして、バットがヒッティングポイントの領域を通過する時刻情報を検出する。この時刻情報に基づき、基準画像を決定する。時刻情報に基づいて基準画像を特定するためのアルゴリズムは、オペレータによって予め設定することができるよう構成されている。
【００６３】
発明の実施の形態５．
本発明の実施の形態５では、図９に示されるように、画像合成装置８２に位置検出センサ８３が接続されている。ここで、撮影用カメラ８１は、図１に示す撮影用カメラ１に相当するものであり、画像合成装置８２は、図１に示す画像合成装置１００に相当する。
【００６４】
この位置検出センサ８３は、動作する被写体の位置情報を取得する。画像合成装置８２は、当該位置検出センサ８３より被写体の位置情報を取得し、被写体の位置と合成画像が矛盾しないように抽出画像を重ね合わせる順序を決定する。位置検出センサ８３は、例えば光センサであり、予め定められた位置に設置される。例えば、ゴルフのスイング動作を撮影する場合には、ゴルフクラブがボールに当たる位置に設置される。位置検出センサ８３の検出信号に基づき、ゴルフクラブがボールに当たる位置を通過する時刻情報を得ることができる。この時刻情報に基づき、基準画像を決定する。時刻情報に基づいて基準画像を特定するためのアルゴリズムは、オペレータによって予め設定することができるよう構成されている。
【００６５】
発明の実施の形態６．
本発明の実施の形態６では、図１０に示されるように、画像合成装置９２に奥行検出装置９３が接続されている。この奥行検出装置９３は、画像合成装置９２内に設けてもよい。ここで、撮影用カメラ９１は、図１に示す撮影用カメラ１に相当するものであり、画像合成装置９２は、図１に示す画像合成装置１００に相当する。
【００６６】
この奥行検出装置９３は、動作する被写体の特定箇所の奥行方向、即ち撮影用カメラ９１と当該被写体を結ぶ線方向の位置情報を取得する。例えば、野球の打者のスイング動作の場合には、バットの先端部分の位置情報である。この位置情報の検出は、例えば、Color Digiclops（ポイントグレイ社製）の３次元画像撮影装置を利用することができる。
【００６７】
画像合成装置９２は、奥行検出装置９３により検出された奥行方向の位置情報に基づいて、特定箇所と撮影用カメラ９１が最も近くに位置する時刻情報を検出し、この位置に特定箇所が位置した状態を撮影した画像を基準画像とする。そして、この基準画像が一番上に表示されるように上記各発明の実施の形態で述べたような手法により画像合成する。
【００６８】
尚、被写体の一部が奥行方向に動作するのではなく、被写体の全部が奥行方向に動作する場合には、その被写体の全部の奥行方向の位置情報を検出し、この位置情報に基づき、基準画像を決定してもよい。具体的には、被写体の全部が撮影用カメラ９１に最も近い状態を撮影した画像を基準画像とする。そして、この基準画像が一番上に表示されるように上記各発明の実施の形態で述べたような手法により画像合成する。
【００６９】
このようにして、被写体の特定箇所又は全体が最も撮影用カメラに近い場所に位置した状態を撮影した画像を基準画像とし、この基準画像が一番上に表示されるように画像合成することによって、被写体を立体的に表示することが可能となる。
【００７０】
尚、撮影用カメラ９１と奥行検出装置９３を単一のカメラによって実現してもよい。
【００７１】
発明の実施の形態７．
本発明の実施の形態７にかかる画像合成装置には、発明の実施の形態６と同様に、図１０で示されるような奥行検出装置９３が画像合成装置９２に接続されている。この奥行検出装置９３は、画像合成装置９２内に設けてもよい。本発明の実施の形態７では、特に、奥行検出装置９３によって検出された被写体の動作をさらに分析し、動作開始時及び動作終了時の特定箇所の位置と基準時の特定箇所の位置を比較することによって、合成処理を変更するようにしている。
【００７２】
図１１に本発明の実施の形態７にかかる画像合成装置の処理フローを示す。まず、被写体を撮影用カメラ９１によって撮影する（Ｓ１０１）。次に、画像合成装置は、撮影用カメラ９１から画像データを入力し、画像メモリに格納する（Ｓ１０２）。この画像メモリに格納された画像データに基づき、基準画像を決定する（Ｓ１０３）。基準画像の決定は、発明の実施の形態６において説明したような奥行検出装置９３を用いて自動決定してもよく、発明の実施の形態４、５において説明したような手法によって決定してもよい。
【００７３】
次に動作開始時及び動作終了時における特定箇所の位置は、基準画像を撮像した基準時における特定箇所の位置よりも奥かどうか、即ち撮影用カメラ９１よりも離れた位置にあるかどうかを、奥行検出装置９３の出力信号に基づき判定する（Ｓ１０４）。
【００７４】
判定の結果、動作開始時及び動作終了時における特定箇所の位置は、基準画像を撮像した基準時における特定箇所の位置よりも奥にあると判断された場合には、基準画像までは、上重ね処理をし、基準画像の後は下重ね処理を行なう（Ｓ１０５）。
【００７５】
判定の結果、動作開始時及び動作終了時における特定箇所の位置は、基準画像を撮像した基準時における特定箇所の位置よりも奥でないと判断された場合には、基準画像までは、下重ね処理をし、基準画像の後は上重ね処理を行なう（Ｓ１０６）。
【００７６】
例えば、野球の打者のスイング動作の場合、図２に示した場合のように正面から撮影した場合には、特定箇所をバットとすると、ステップＳ１０５を行なうことになる。他方、打者の背後から撮影した場合には、ステップＳ１０６を行なうことになる。
【００７７】
尚、この例では、奥行検出装置９３によって、自動的に判別する場合を説明したが、ステップＳ１０５の処理かステップＳ１０６の処理のいずれかをキーボード等に用いてオペレータが設定することができるようにしてもよい。
【００７８】
その他の実施の形態．
尚、上述の画像合成装置は、必ずしも単一のコンピュータによって構成される必要はなく、複数のコンピュータによって構成されてもよい。また、画像合成装置と撮影用カメラ、さらには基準画像決定装置を単一の機器により構成してもよい。例えば、動画を撮影する、家庭用又は業務用のカメラ中に画像合成装置や基準画像決定装置を組み込んでもよい。また、家庭用のデジタルビデオ再生装置やゲーム機器に画像合成装置を組み込んでもよい。いわゆるバッティングセンタ、ゴルフ練習場、ゲームセンタ等に、この画像合成装置を撮影用カメラとともに設置するとよい。
【００７９】
また、画像合成装置をインタネットサーバ上に備え、インターネットを介してクライアントコンピュータから画像データを送信し、この画像合成装置によって、本発明にかかる画像合成処理を行い、合成画像をクライアントコンピュータに送信するようにしてもよい。このとき、基準画像はクライアントコンピュータによって指定するとよい。
【００８０】
基準画像を決定する例をいくつか説明したが、必ずしも基準画像自体でなくとも、基準画像と関連性のある情報を決定してもよい。例えば、基準時刻を決定することによって間接的に基準画像を決定することもできる。
【００８１】
上述の例では、最終的に得られる画像上では、背景画像が組み込まれていたが、組み込む必要は必ずしもない。また、撮影時の背景画像でなくとも他の画像を組み込んでもよい。
【００８２】
一旦、本発明にかかる画像合成装置によって作成した合成画像を表示させ、その画面上の被写体のうち基準画像としたい被写体をポインタなどによって指定することによって基準画像を容易に変更するものであってもよい。
【００８３】
上述の例において、画像合成装置を汎用のコンピュータで構成した場合には、汎用コンピュータを画像合成装置として機能させるための応用プログラムがインストールされる。この応用プログラムは、様々な種類の記憶媒体に格納することが可能であり、また、通信媒体を介して伝達されることが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等を含み、インターネットも含まれる。
【００８４】
【発明の効果】
本発明によれば、奥行方向への動作を伴う被写体の動きを効果的に表現することができる画像合成装置及び画像合成方法を提供することができる。
【図面の簡単な説明】
【図１】本発明にかかる画像合成装置の構成を示すブロック図である。
【図２】合成前の画像と合成後の画像を示す図である。
【図３】本発明にかかる画像合成装置による合成処理を示す図である。
【図４】本発明にかかる画像合成装置の構成を示すブロック図である。
【図５】本発明にかかる画像合成装置による合成処理を示す図である。
【図６】本発明にかかる画像合成装置の構成を示すブロック図である。
【図７】本発明にかかる画像合成装置による合成処理を示す図である。
【図８】本発明にかかる画像合成装置の構成を示すブロック図である。
【図９】本発明にかかる画像合成装置の構成を示すブロック図である。
【図１０】本発明にかかる画像合成装置の構成を示すブロック図である。
【図１１】本発明にかかる画像合成装置による合成処理を示すフローチャートである。
【符号の説明】
１  撮影用カメラ  １００  画像合成装置
２  画像メモリ  ３  画像抽出部  ４  画像合成部
７３  基準画像決定装置
【図１】
0003929811.tif 000002
【図２】
0003929811.tif 000003
【図３】
0003929811.tif 000004
【図４】
0003929811.tif 000005
【図５】
0003929811.tif 000006
【図６】
0003929811.tif 000007
【図７】
0003929811.tif 000008
【図８】
0003929811.tif 000009
【図９】
0003929811.tif 000010
【図１０】
0003929811.tif 000011
【図１１】
0003929811.tif 000012