(57)【要約】【課題】  被写体の早く動く速度に追従し、被写体の撮り損ないが少ない多視点カメラ映像表現システム、装置及びプログラムを提供する。【解決手段】  多視点カメラ映像表現システム１の射影変換部５０は、ユーザーが選択したカメラ１０−１の番号、ユーザーが指定した注視点の画像座標、及び当該カメラ１０−１による元映像から、当該カメラ１０−１のカメラパラメータに基づいて、前記注視点を中心とした映像に射影変換する。また、切り替え後のカメラ１０−２の番号、当該元映像、及び切り替え前の注視点の画像座標（世界座標）を用いて、切り替え後のカメラ１０−２のカメラパラメータに基づいて、切り替え前のカメラ１０−１による元映像の注視点から切り替え後のカメラ１０−２による元映像の注視点へ投影を行い、前記と同様の映像変換を行う。【選択図】  図１
2006115298.tif 000002
【特許請求の範囲】
【請求項１】
所定の視点から被写体を撮影し、該被写体の元映像をそれぞれ出力する複数のカメラと、該元映像を用いて、ユーザーが指定する注視点を中心とした部分映像を表現する映像装置とを備えた多視点カメラ映像表現システムにおいて、
映像装置は、複数のカメラから入力したそれぞれの元映像の中から、ユーザーが選択したカメラによる元映像を出力するセレクター部と、
カメラが撮影する被写体の映像の座標を、全てのカメラに共通する映像の世界座標に変換するためのカメラパラメータをカメラ毎に保持する手段、
及び、前記ユーザーが選択したカメラのカメラパラメータに基づいて、前記セレクター部から入力した前記ユーザーが選択したカメラによる元映像を、ユーザーが指定した注視点を中心とした映像に変換する手段を有する射影変換部とを備え、
該射影変換部により変換された映像の部分映像を表現している状態で、ユーザーが新たな注視点を指定した場合には、前記射影変換部は、ユーザーが以前から選択していた同じカメラによる元映像を、前記新たな注視点を中心とした映像に変換し、該変換した映像の部分映像を表現するための仮想パン・チルト映像表現を実現することを特徴とする多視点カメラ映像表現システム。
【請求項２】
請求項１に記載の多視点カメラ映像表現システムにおいて、
前記射影変換部は、さらに、ユーザーが選択したカメラのカメラパラメータに基づいて、ユーザーが以前に選択した注視点を、前記ユーザーが選択したカメラによる元映像の注視点に投影する手段を有し、
該射影変換部により変換された映像の部分映像を表現している状態で、ユーザーが新たなカメラを選択した場合には、前記射影変換部は、該ユーザーが選択した新たなカメラによる元映像の注視点に投影し、該新たなカメラのカメラパラメータに基づいて、前記セレクター部から入力した新たなカメラによる元映像を、前記新たな注視点を中心とした映像に変換し、該変換した映像の部分映像を新たに表現するための多視点映像表現を実現することを特徴とする多視点カメラ映像表現システム。
【請求項３】
前記複数のカメラと、前記セレクター部を有する装置と、請求項１または２に記載の射影変換部を有する装置とを備えて構成することを特徴とする多視点カメラ映像表現システム。
【請求項４】
請求項１から３までのいずれか一項に記載の多視点カメラ映像表現システムにおいて、
前記カメラを、高解像度カメラまたは全天周カメラとすることを特徴とする多視点カメラ映像表現システム。
【請求項５】
所定の視点から被写体を撮影して該被写体の元映像をそれぞれ出力する複数のカメラから該元映像を入力し、ユーザーが指定する注視点を中心とした部分映像を表現する多視点カメラ映像表現装置において、
複数のカメラから入力したそれぞれの元映像の中から、ユーザーが選択したカメラによる元映像を出力するセレクター部と、
カメラが撮影する被写体の映像の座標を、全てのカメラに共通する映像の世界座標に変換するためのカメラパラメータをカメラ毎に保持する手段、
前記ユーザーが選択したカメラのカメラパラメータに基づいて、前記セレクター部から入力した前記ユーザーが選択したカメラによる元映像を、ユーザーが指定した注視点を中心とした映像に変換する手段、
及び、ユーザーが選択したカメラのカメラパラメータに基づいて、ユーザーが以前に選択した注視点を、前記ユーザーが選択したカメラによる元映像の注視点に投影する手段を有する射影変換部とを備えたことを特徴とする多視点カメラ映像表現装置。
【請求項６】
所定の視点から被写体を撮影して該被写体の元映像をそれぞれ出力する複数のカメラから該元映像をそれぞれ入力し、ユーザーが指定する注視点を中心とした部分映像を表現する多視点カメラ映像表現装置を構成するコンピュータに実行させるプログラムであって、
複数のカメラから入力したそれぞれの元映像の中から、ユーザーが選択したカメラによる元映像を出力するセレクター処理と、
カメラが撮影する被写体の映像の座標を、全てのカメラに共通する映像の世界座標に変換するためのカメラパラメータをカメラ毎に保持する処理と、
前記ユーザーが選択したカメラのカメラパラメータに基づいて、前記セレクター部から入力した前記ユーザーが選択したカメラによる元映像を、ユーザーが指定した注視点を中心とした映像に変換する処理と、
及び、ユーザーが選択したカメラのカメラパラメータに基づいて、ユーザーが以前に選択した注視点を、前記ユーザーが選択したカメラによる元映像の注視点に投影する処理とを実行させる多視点カメラ映像表現プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台のカメラを用いた映像表現手法に関し、特に、ユーザーにより指定された注視点が映像の中心になるように射影変換映像を生成する仮想パン・チルト映像表現、及び／またはカメラを切り替えながら射影変換映像を生成する多視点映像表現を実現する手法に関する。
【背景技術】
【０００２】
映画「マトリックス」では、被写体である俳優の周りに多数のカメラを設置し、各カメラの視線を俳優の立ち位置に輻輳させ、同期撮影を行うことにより、その俳優の映像を撮影し再生を実現する手法を用いていた。例えば、俳優が飛び上がった瞬間を多数のカメラで同時に撮影し、カメラの並び順に従って撮影した映像を切り替えることにより映像を再現する。これにより、あたかも１台のカメラがその空中に浮いた俳優の周りを移動しながら撮影したかのような映像を再現することができる。このような映像表現を多視点映像表現という。最近、この多視点映像表現がテレビコマーシャル等において頻繁に使われるようになったが、俳優等の被写体を、複数のカメラの視線が輻輳する場所に配置する必要がある点で制限がある。
【０００３】
このような制限を克服するために、“ＥｙｅＶｉｓｉｏｎ（登録商標）”と呼ばれるシステムが、カーネギーメロン大学により開発された。このシステムは、複数のテレビカメラをそれぞれ電動雲台に乗せて配置し、機械的なパンやチルトの制御により、スポーツの試合のような被写体が動き回る場合においても、前述の多視点映像再現と同様な再現を準リアルタイムで実現するものである。具体的には、カメラマンが１台のマスターカメラを操作し、注視する被写体が常にカメラ映像の中央に映るように撮影する。そして、システムは、このカメラワークに応じて他の複数のスレーブカメラの視線が注視点で輻輳するように電動雲台を自動制御する。これにより、多視点映像表現を実現することができる（非特許文献１を参照。）。米国の放送会社であるＣＢＳは、このシステムを用いて「スーパーボール」のテレビ中継を行った。
【０００４】
【非特許文献１】伊佐憲一、他４名、「最新スポーツ中継技術  世界初！  プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、“ＥｙｅＶｉｓｉｏｎ（登録商標）”のシステムを用いた多視点映像表現手法では、以下の（１）〜（４）に示す実用的な問題があった。
（１）電動雲台の機械的な動作速度には限界があるため、スポーツ選手等の早く動く被写体に追従することが困難である。
（２）マスターカメラが被写体を画像の中央に正確に捉えることができない場合は、カメラの並び順に従って映像を切り替える過程において、注視している被写体が映像からアウトしていき、所望の映像効果を得ることができない。
（３）カメラマンは特定の被写体をカメラ映像の中央に映るように撮影するから、たとえ複数のカメラの映像を収録しても、注視する被写体を変更する等のポスプロ処理を行うことができない。例えば、サッカーの映像において、ある選手に対して多視点映像表現を行った場合には、映像編集時に、その周りの選手に対する多視点映像表現を行うことができない。
（４）多視点映像表現だけでは単調な映像になってしまい、視聴者は飽きてしまう。
【０００６】
そこで、本発明は、かかる問題を解決するためになされたものであり、その目的は、被写体の早く動く速度に追従し、被写体の撮り損ないが少ない多視点カメラ映像表現システム、装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の多視点カメラ映像表現システムは、所定の視点から被写体を撮影し、該被写体の元映像をそれぞれ出力する複数のカメラと、該元映像を用いて、ユーザーが指定する注視点を中心とした部分映像を表現する映像装置とを備えた多視点カメラ映像表現システムにおいて、映像装置が、複数のカメラから入力したそれぞれの元映像の中から、ユーザーが選択したカメラによる元映像を出力するセレクター部と、カメラが撮影する被写体の映像の座標を、全てのカメラに共通する映像の世界座標に変換するためのカメラパラメータをカメラ毎に保持する手段、及び、前記ユーザーが選択したカメラのカメラパラメータに基づいて、前記セレクター部から入力した前記ユーザーが選択したカメラによる元映像を、ユーザーが指定した注視点を中心とした映像に変換する手段を有する射影変換部とを備え、該射影変換部により変換された映像の部分映像を表現している状態で、ユーザーが新たな注視点を指定した場合には、前記射影変換部が、ユーザーが以前から選択していた同じカメラによる元映像を、前記新たな注視点を中心とした映像に変換し、該変換した映像の部分映像を表現するための仮想パン・チルト映像表現を実現することを特徴とする。
【０００８】
また、本発明の多視点カメラ映像表現システムは、前記射影変換部が、さらに、ユーザーが選択したカメラのカメラパラメータに基づいて、ユーザーが以前に選択した注視点を、前記ユーザーが選択したカメラによる元映像の注視点に投影する手段を有し、該射影変換部により変換された映像の部分映像を表現している状態で、ユーザーが新たなカメラを選択した場合には、前記射影変換部が、該ユーザーが選択した新たなカメラによる元映像の注視点に投影し、該新たなカメラのカメラパラメータに基づいて、前記セレクター部から入力した新たなカメラによる元映像を、前記新たな注視点を中心とした映像に変換し、該変換した映像の部分映像を新たに表現するための多視点映像表現を実現することを特徴とする。
【０００９】
また、本発明の多視点カメラ映像表現システムは、前記複数のカメラと、前記セレクター部を有する装置と、前記射影変換部を有する装置とを備えて構成することを特徴とする。
【００１０】
本発明の多視点カメラ映像表現システムは、前記カメラを、高解像度カメラまたは全天周カメラとすることを特徴とする。
【００１１】
また、本発明の多視点カメラ映像表現装置は、所定の視点から被写体を撮影して該被写体の元映像をそれぞれ出力する複数のカメラから該元映像を入力し、ユーザーが指定する注視点を中心とした部分映像を表現する多視点カメラ映像表現装置において、複数のカメラから入力したそれぞれの元映像の中から、ユーザーが選択したカメラによる元映像を出力するセレクター部と、カメラが撮影する被写体の映像の座標を、全てのカメラに共通する映像の世界座標に変換するためのカメラパラメータをカメラ毎に保持する手段、前記ユーザーが選択したカメラのカメラパラメータに基づいて、前記セレクター部から入力した前記ユーザーが選択したカメラによる元映像を、ユーザーが指定した注視点を中心とした映像に変換する手段、及び、ユーザーが選択したカメラのカメラパラメータに基づいて、ユーザーが以前に選択した注視点を、前記ユーザーが選択したカメラによる元映像の注視点に投影する手段を有する射影変換部とを備えたことを特徴とする。
【００１２】
また、本発明の多視点カメラ映像表現プログラムは、所定の視点から被写体を撮影して該被写体の元映像をそれぞれ出力する複数のカメラから該元映像を入力し、ユーザーが指定する注視点を中心とした部分映像を表現する多視点カメラ映像表現装置を構成するコンピュータに実行させるプログラムであって、複数のカメラから入力したそれぞれの元映像の中から、ユーザーが選択したカメラによる元映像を出力するセレクター処理と、カメラが撮影する被写体の映像の座標を、全てのカメラに共通する映像の世界座標に変換するためのカメラパラメータをカメラ毎に保持する処理と、前記ユーザーが選択したカメラのカメラパラメータに基づいて、前記セレクター部から入力した前記ユーザーが選択したカメラによる元映像を、ユーザーが指定した注視点を中心とした映像に変換する処理と、及び、ユーザーが選択したカメラのカメラパラメータに基づいて、ユーザーが以前に選択した注視点を、前記ユーザーが選択したカメラによる元映像の注視点に投影する処理とを実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、カメラの撮影方向等を機械的に操作することなく仮想パン・チルト映像表現を実現し、さらに多視点映像表現を実現するから、被写体の早く動く速度に追従することができると共に、被写体の撮り損ないが少なくなる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
〔構成〕
図１は、本発明の実施の形態に係る多視点カメラ映像表現システム１のブロック構成図である。この多視点カメラ映像表現システム１は、ｎ台のカメラ１０（１０−１〜１０−ｎ）、ユーザーインターフェース２０、セレクター部３０、注視点指定部４０、射影変換部５０、部分切り出し部６０、及びカメラパラメータ事前計測部７０を備えている。この多視点カメラ映像表現システム１は、カメラ１０が撮影する被写体に対し、ユーザーによるパン・チルト（カメラを機械的に位置制御することなくパン・チルトの操作を行うことから、以下、「仮想パン・チルト」という。）操作及び多視点映像（カメラを切り替えることにより、様々な視点から得ることができる映像）操作により、多様な映像表現を実現するものである。
【００１５】
カメラ１０（１０−１〜１０−ｎ）は、それぞれ固定設置され、被写体の映像（元映像）を撮影し、その元映像をセレクター部３０へ出力する。ユーザーインターフェース２０は、ユーザーがカメラを選択し、被写体の注視点を指定するためのマウス、ジョイスティック、キーボード等と、被写体の映像、注視点等を表示するための操作用モニターとから構成される。このユーザーインターフェース２０は、ユーザーの操作により、カメラ１０のカメラ番号を含む切り替え情報、被写体の注視点情報、及び、カメラ１０のカメラ番号をそれぞれ出力する。セレクター部３０は、カメラ１０から元映像を、ユーザーインターフェース２０から切り替え情報をそれぞれ入力し、当該切り替え情報に基づいてカメラ１０を切り替え、当該カメラ１０が撮影した元映像を出力する。例えば、ユーザーインターフェース２０から切り替え情報としてカメラ１０−１のカメラ番号を入力した場合には、カメラ１０−１から入力した元映像を出力する。注視点指定部４０は、ユーザーインターフェース２０から注視点情報を、セレクター部３０から元映像をそれぞれ入力し、被写体の注視点における画像座標を指定（特定）し、当該注視点の画像座標を射影変換部５０へ出力する。
【００１６】
射影変換部５０は、ユーザーインターフェース２０からカメラ１０のカメラ番号を、注視点指定部４０から注視点の画像座標を、セレクター部３０から元映像をそれぞれ入力し、後述するカメラパラメータ事前計測部７０により予め設定されたカメラパラメータに基づいて、前記元映像を、注視点を中心とした映像に射影変換し、射影変換した映像を出力する。具体的には、仮想パン・チルト映像表現を実現する場合（カメラ１０を切り替えないで注視点を変える場合）には、カメラ番号、注視点の画像座標及び元映像から、当該カメラのカメラパラメータに基づいて、前記元映像を、注視点を中心とした映像に射影変換し、射影変換した映像を出力する。一方、多視点映像表現を実現する場合（注視点を変えないでカメラ１０を切り替える場合）には、切り替え後のカメラ番号Ｂ、当該カメラＢの元映像、及び切り替え前の注視点の画像座標（世界座標）から、切り替え後のカメラＢのカメラパラメータに基づいて、切り替え前のカメラＡによる元映像の注視点から切り替え後のカメラＢによる元映像の注視点へ投影を行う。そして、切り替え後のカメラ番号Ｂ、投影した注視点の画像座標、及び切り替え後のカメラＢによる元映像から、当該カメラＢのカメラパラメータに基づいて、前記元映像を、注視点を中心とした映像に射影変換し、射影変換した映像を出力する。
【００１７】
部分切り出し部６０は、射影変換部５０から注視点を中心とした映像を入力し、ユーザーにより予め設定された範囲の映像に切り出し、部分切り出し映像を出力する。カメラパラメータ事前計測部７０は、セレクター部３０から元映像を入力して、カメラ１０（１０−１〜１０−ｎ）毎に事前にカメラパラメータを計測し、計測したカメラパラメータを射影変換行列として射影変換部５０へ設定する。つまり、射影変換部５０は、カメラパラメータ事前計測部７０により計測されたカメラパラメータをカメラ１０（１０−１〜１０−ｎ）毎に保持する。ここで、カメラパラメータは、カメラ１０の位置や焦点距離等を含み、キャリブレーションパターン等の大きさや位置の既知のパターンを事前にカメラ１０により撮影し、その撮影映像に基づいて計測されるパラメータである。
【００１８】
〔仮想パン・チルト映像表現〕
次に、仮想パン・チルト映像表現を実現するための動作について説明する。
図２は、仮想パン・チルト映像表現について説明するための図である。まず、ユーザーが、ｎ台のカメラ１０の中から、マウス操作により一つのカメラ１０−１を選択し、注視点（黒四角）を指定する。これにより、カメラ１０−１の視線方向が指定されたことになる。そして、図１に示した多視点カメラ映像表現システム１の部分切り出し部６０は、図２の下部に示すように、カメラ１０−１による元映像２０１から切り出し映像２０２を切り出して出力する。この切り出し映像２０２は、ユーザーが指定した注視点（黒四角）を中心とした映像である。そして、ユーザーが、他の注視点（黒丸）を指定すると、部分切り出し部６０は、図２の下部に示すように、カメラ１０−１による元映像２０１から切り出し映像２０３を切り出して出力する。この切り出し映像２０３は、ユーザーが指定した注視点（黒丸）を中心とした映像である。これにより、多視点カメラ映像表現システム１は、ユーザーのマウス操作に従って、切り出し映像２０２から切り出し映像２０３に出力を変えることができるから、機械的な制御を伴うことなく仮想パン・チルト映像表現を実現することがきる。
【００１９】
図６は、仮想パン・チルト映像表現の処理フロー図である。ユーザーが、ｎ台のカメラ１０の中から、マウス操作により一つのカメラ１０−１を選択すると、ユーザーインターフェース２０は、カメラ１０−１の番号を含む切り替え情報をセレクター部３０へ、カメラ１０−１のカメラ番号を射影変換部５０へそれぞれ出力する（ステップＳ６０１）。また、セレクター部３０は、ユーザーインターフェース２０から切り替え情報を入力し、カメラ１０−１が撮影した元映像を注視点指定部４０及び射影変換部５０へ出力する。そして、ユーザーがマウス操作により被写体の注視点を指定すると、ユーザーインターフェース２０は、注視点情報を注視点指定部４０へ出力する。注視点指定部４０は、ユーザーインターフェース２０から注視点情報を、セレクター部３０からカメラ１０−１による元映像をそれぞれ入力し、注視点の画像座標を指定して射影変換部５０へ出力する（ステップＳ６０２）。
【００２０】
射影変換部５０は、ユーザーインターフェース２０からカメラ１０−１のカメラ番号を、セレクター部３０からカメラ１０−１による元映像を、注視点指定部４０から注視点の画像座標をそれぞれ入力する。また、射影変換部５０は、前記カメラ番号を用いて、カメラパラメータ事前計測部７０により予め設定されたカメラパラメータの中からカメラ１０−１のカメラパラメータを特定する。そして、射影変換部５０は、特定したカメラ１０−１のカメラパラメータに基づいて、前記注視点が映像の中心となるように、前記元映像に対して射影変換を施す（ステップＳ６０３）。具体的には、ユーザーにより予め設定された世界座標のｚ軸座標値及び前記カメラ１０−１のカメラパラメータに基づいて、カメラ１０−１における注視点の画像座標を、全てのカメラ１０に共通する世界座標に変換する。これにより、注視点の画像座標を、被写体が存在する実空間上の位置情報（世界座標）として表現することができる。また、カメラ１０−１が撮影する被写体の元映像の中心とユーザーが指定した注視点との違いに伴う、注視点を中心とした映像のゆがみを補正するための処理も行う。そして、射影変換部５０は、注視点を中心とした映像を部分切り出し部６０へ出力する。部分切り出し部６０は、注視点を中心とした映像を入力し、ユーザーにより予め設定された範囲の映像に切り出し、当該部分切り出し映像を出力する（ステップＳ６０４）。
【００２１】
同様にして、ユーザーが、マウス操作により他の注視点を指定すると、ユーザーインターフェース２０は、新たな注視点情報を注視点指定部４０へ出力する（ステップＳ６０２）。そして、射影変換部５０は、新たな注視点の画像座標を入力し、その注視点が映像の中心となるように、元映像に対して射影変換を施す（ステップＳ６０３）。部分切り出し部６０は、新たな注視点を中心とした映像を入力し、ユーザーにより予め設定された範囲の映像に切り出し、新たな部分切り出し映像を出力する（ステップＳ６０４）。
【００２２】
このように、多視点カメラ映像表現システム１は、ユーザーによる注視点の指定操作により、カメラ１０−１を機械的に制御することなく、仮想パン・チルト映像表現を実現することができる。
【００２３】
〔多視点映像表現〕
次に、多視点映像表現を実現するための動作について説明する。図３は、多視点映像表現について説明するための図である。まず、ユーザーが、ｎ台のカメラ１０の中から、マウス操作により一つのカメラ１０−１を選択し注視点（黒丸）を指定する。そうすると、図１に示した多視点カメラ映像表現システム１の部分切り出し部６０は、図３の下部に示すように、カメラ１０−１による元映像３０１から注視点（黒丸）を中心とした切り出し映像３０２を切り出して出力する。そして、ユーザーが、マウス操作により他の一つのカメラ１０−２を選択する。そうすると、部分切り出し部６０は、図３の下部に示すように、カメラ１０−２による元映像３０３から前記同じ注視点（黒丸）を中心とした切り出し映像３０４を切り出して出力する。これにより、多視点カメラ映像表現システム１は、ユーザーのマウス操作に従って、注視点（黒丸）を変えることなく、カメラ１０−１による切り出し映像３０２をカメラ１０−２により切り出し映像３０４に切り替えることができる。したがって、機械的な制御を伴うことなく多視点映像表現を実現することがきる。
【００２４】
図７は、多視点映像表現の処理フロー図である。ユーザーが、ｎ台のカメラ１０の中から、マウス操作により一つのカメラ１０−１を選択すると、ユーザーインターフェース２０は、カメラ１０−１の番号を含む切り替え情報をセレクター部３０へ、カメラ１０−１のカメラ番号を射影変換部５０へそれぞれ出力する（ステップＳ７０１）。セレクター部３０は、ユーザーインターフェース２０から切り替え情報を入力し、カメラ１０−１が撮影した元映像を注視点指定部４０及び射影変換部５０へ出力する。そして、ユーザーが、マウス操作により被写体の注視点を指定すると、ユーザーインターフェース２０は、注視点情報を注視点指定部４０へ出力する（ステップＳ７０２）。注視点指定部４０は、ユーザーインターフェース２０から注視点情報を、セレクター部３０からカメラ１０−１による元映像をそれぞれ入力し、注視点の画像座標を指定して射影変換部５０へ出力する。また、射影変換部５０は、ユーザーインターフェース２０からカメラ１０−１のカメラ番号を、セレクター部３０からカメラ１０−１による元映像を、注視点指定部４０から注視点の画像座標をそれぞれ入力し、前記カメラ番号を用いて、カメラパラメータ事前計測部７０により予め設定されたカメラパラメータの中から、カメラ１０−１のカメラパラメータを特定する。そして、射影変換部５０は、当該カメラ１０−１のカメラパラメータに基づいて、前記注視点が映像の中心となるように、前記元映像に対して射影変換を施す（ステップＳ７０３）。部分切り出し部６０は、注視点を中心とした映像を入力し、ユーザーにより予め設定された範囲の映像に切り出し、部分切り出し映像を出力する（ステップＳ７０４）。以上は、図６に示したステップ６０１〜６０４までの処理と同様である。
【００２５】
そして、ユーザーが、マウス操作により他のカメラ１０−２を選択すると、ユーザーインターフェース２０は、カメラ１０−２の番号を含む切り替え情報をセレクター部３０へ、カメラ１０−１のカメラ番号を射影変換部５０へそれぞれ出力する（ステップＳ７０５）。セレクター部３０は、ユーザーインターフェース２０から切り替え情報を入力し、カメラ１０−２が撮影した元映像を射影変換部５０へ出力する。
【００２６】
射影変換部５０は、ユーザーインターフェース２０からカメラ１０−２のカメラ番号を、セレクター部３０からカメラ１０−２による元映像をそれぞれ入力する。そして、射影変換部５０は、前記カメラ１０−２のカメラ番号からカメラ１０−２のカメラパラメータを特定し、前記カメラ１０−２による元映像及び切り替え前のカメラ１０−１による注視点の画像座標に対する世界座標を用いて、カメラ１０−２のカメラパラメータに基づいて、カメラ１０−１による元映像の注視点からカメラ１０−２による元映像の注視点への投影を行い、カメラ１０−２による元画像の注視点の画像座標を得る（ステップＳ７０６）。この場合、切り替え前のカメラ１０−１による注視点に対する世界座標は、前述のステップ７０３において射影変換を施したときに求めた世界座標を用いるようにしてもよいし、ステップ７０６において改めて世界座標を求め、その世界座標を用いるようにしてもよい。
【００２７】
また、射影変換部５０は、前記特定したカメラ１０−２のカメラパラメータに基づいて、前記注視点が映像の中心となるように、カメラ１０−２による元映像に対して射影変換を施し、注視点を中心とした映像を部分切り出し部６０へ出力する（ステップＳ７０７）。部分切り出し部６０は、当該注視点を中心とした映像を入力し、ユーザーにより予め設定された範囲の映像に切り出し、部分切り出し映像を出力する（ステップＳ７０８）。
【００２８】
同様にして、ユーザーが再びマウス操作により他のカメラ１０−３を選択すると（ステップＳ７０５）、射影変換部５０は、新たなカメラ１０−３による元映像の注視点への投影を行い（ステップＳ７０６）、カメラ１０−３による元映像に対して射影変換を施し（ステップＳ７０７）、部分切り出し部６０は、前記注視点を中心とした映像の部分切り出し映像を出力する（ステップＳ７０８）。
【００２９】
このように、ユーザーが２台以上のカメラ１０−１、１０−２、１０−３等を選択した場合にも、マスターとなったカメラ１０−１による注視点をそれぞれ投影することができるから、全てのカメラ１０においても共通の注視点を中心とした映像を生成することができる。また、図７のステップ７０５〜７０８に示したように、ユーザーが、マウスを操作してカメラ１０を連続して選択することにより、注視点を中心にカメラ１０が連続的に移動したかのような多視点映像表現を実現することが可能となる。
【００３０】
図４は、９台のカメラ１０−１〜１０−９を用いた場合の撮影領域の例を示す図である。広範囲な多視点映像表現領域４０１を複数のカメラ１０−１〜１０−９を用いて撮影することにより、この領域４０１内のあらゆる被写体に対して多視点映像表現を実現することが可能となる。
【００３１】
図５は、多視点カメラ映像表現システム１のユーザーのマウス操作による処理フロー図である。図４に示したような多視点映像表現領域４０１内の複数の被写体に対する映像表現は、図５に示すマウスの操作を繰り返すことにより実現することができる。ユーザーによるマウスの移動に伴って、指定されたカメラ１０のカメラ番号の映像の中で、パン・チルト映像が表現される（ステップＳ５０１）。また、マウスキーを押し下げると、注視点が指定される（ステップＳ５０２）。そして、左右キーのドラッグ操作により、ステップ５０２で指定された注視点を中心とした切り出し映像が表現され（ステップＳ５０３）、マウスキーを解放すると、その時点で選択されていたカメラ番号が指定される（ステップＳ５０４）。このような操作を繰り返すことにより、カメラ番号の選択及び指定、被写体の注視点の指定が行われ、多視点映像表現領域４０１内の複数の被写体に対する仮想パン・チルト映像表現及び多視点映像表現を実現することができる。
【００３２】
以上のように、本発明の実施の形態によれば、被写体の周りに直線状、円弧状等に複数台のカメラ１０を、電動雲台を用いることなく固定配置することにより、機械的な制御を行うことなく、仮想パン・チルト映像表現を実現し、多視点映像表現を実現することができる。これにより、スポーツ選手等の早く動く被写体に対して追従することが可能となり、撮り損ないも少なくなる。
【００３３】
また、本発明の実施の形態によれば、カメラ１０としてハイビジョン等の高解像度カメラや全天周カメラを用いることにより、注視する被写体の周りを広く撮影することができる。これにより、広範囲な多視点映像表現領域内の任意の被写体に対して、仮想パン・チルト映像表現及び多視点映像表現を実現することができる。また、所望の被写体を逃すことが少なくなり、撮り損ないも生じ難くなる。一方、ポスプロ時には、各カメラ１０にパンやチルトのカメラワークを施すことができると共に、注目する被写体を変更できる範囲が広がるから、例えばサッカーの試合のように予測不可能なシーンを逃すことなく映像表現が可能となる。
【００３４】
また、本発明の実施の形態によれば、仮想パン・チルト映像表現と多視点映像表現とを組み合わせて実現することにより、多様な映像表現を実現することができる。特に、スポーツ等のダイナミックなシーンに対しては、従来に無い新しい映像効果を期待することができる。
【００３５】
以上、実施の形態を挙げて本発明を説明したが、上記の説明は、本発明の理解を助けるものであって、本発明の特許請求の範囲を制限するものではない。従って、本発明の要旨を逸脱しない限り、種々変形が可能であり、本発明の目的を達し、効果を奏する範囲において、適宜変更することが可能である。
【００３６】
上記の実施の形態では、カメラ１０、ユーザーインターフェース２０、セレクター部３０、注視点指定部４０、射影変換部５０、部分切り出し部６０及びカメラパラメータ事前計測部７０を備えた多視点カメラ映像表現システム１が、仮想パン・チルト映像表現及び多視点映像表現を実現するようにしたが、それぞれの構成要素を個々の装置として独立して構成するようにしてもよい。この場合、多視点カメラ映像表現システムは、個々の装置がネットワーク等により接続されて構成される。例えば、多視点カメラ映像表現システムは、カメラ１０と、ユーザーインターフェース２０、セレクター部３０、注視点指定部４０、射影変換部５０、部分切り出し部６０及びカメラパラメータ事前計測部７０を備えた多視点カメラ映像表現装置とにより構成するようにしてもよいし、カメラ１０及びセレクター部３０を備えた装置と、ユーザーインターフェース２０及び注視点指定部４０を備えた装置と、射影変換部５０及び部分切り出し部６０を備えた装置と、カメラパラメータ事前計測部７０とにより構成するようにしてもよい。装置を構成する構成要素の組み合わせは自由である。
【００３７】
尚、多視点カメラ映像表現システム１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、キーボードやポインティングデバイス等の入力装置、画像やシーンを表示する表示装置、及び外部の装置と通信をするためのインターフェースを備えたコンピュータ装置によってそれぞれ構成されるようにしてもよい。この場合、多視点カメラ映像表現システム１に備えたユーザーインターフェース２０、セレクター部３０、注視点指定部４０、射影変換部５０、部分切り出し部６０及びカメラパラメータ事前計測部７０の各機能は、当該機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態に係る多視点カメラ映像表現システムのブロック構成図である。
【図２】仮想パン・チルト映像表現について説明するための図である。
【図３】２台のカメラによる多視点映像表現について説明するための図である。
【図４】複数台のカメラを用いた場合の撮影領域の例を示す図である。
【図５】多視点カメラ映像表現システムの操作フロー図である。
【図６】仮想パン・チルト映像表現の処理フロー図である。
【図７】多視点映像表現の処理フロー図である。
【符号の説明】
【００３９】
１  多視点カメラ映像表現システム
１０  カメラ
２０  ユーザーインターフェース
３０  セレクター部
４０  注視点指定部
５０  射影変換部
６０  部分切り出し部
７０  カメラパラメータ事前計測部
【図１】
2006115298.tif 000003
【図２】
2006115298.tif 000004
【図３】
2006115298.tif 000005
【図４】
2006115298.tif 000006
【図５】
2006115298.tif 000007
【図６】
2006115298.tif 000008
【図７】
2006115298.tif 000009