(57)【要約】【課題】静止状態の被写体および移動状態の被写体の双方の中間視点における画像データを受信側で生成する。【解決手段】受信側装置のユーザは、鑑賞したい画像の時間情報および視点位置を入力装置２１を用いて入力する。ＣＰＵ２３は、それらの情報を通信装置２６経由で送信側装置へ送信する。送信側装置のＣＰＵ１４は、受信した時間情報が示す時刻に２つのカメラで撮像された画像の移動領域の動画像データ、その動画像データの構造的特徴情報、および２つのカメラ間の動画像データの対応関係情報を通信装置１７経由で受信側装置へ送信する。受信側装置では、受信した動画像データおよび各種情報を用いて、フレーム毎に順次移動領域の中間視点画像データを生成し、予め受信しておいた近景の静止領域の中間視点における画像データ、および遠景の静止領域の中間視点における画像データと合成し、モニタ２２にて表示する。【選択図】  図１
2004246667.tif 000002
【特許請求の範囲】
【請求項１】
送信側で３次元空間内の被写体を複数の異なる視点から撮像して動画像データを取得し、受信側で隣接視点の間の任意の中間視点における前記被写体の動画像データを生成する自由視点動画像データ生成方法であって、
前記被写体を複数の異なる視点から撮像して取得した動画像データを移動領域と静止領域とに分割するステップと、全ての隣接視点間の射影幾何情報を推定するステップと、前記静止領域の画像データについて、前記射影幾何情報を基に全ての前記中間視点における自由視点静止画像データを生成するステップと、前記移動領域の動画像データについて、前記射影幾何情報を基に該動画像データの構造的特徴情報、および全ての前記隣接視点間の動画像データの対応関係情報を生成するステップと、全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を前記受信側へ予め送信するステップとを前記送信側で実行し、
全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を予め受信して保存するステップと、前記隣接視点の間の任意の中間視点を選択し、前記送信側へ通知するステップを前記受信側で実行し、
前記受信側から通知された中間視点に対応する隣接視点における移動領域の動画像データ、該動画像データの構造的特徴情報、および前記隣接視点間の動画像データの対応関係情報を前記受信側へ送信するステップを前記送信側で実行し、
前記移動領域の動画像データ、該動画像データの構造的特徴情報、および前記隣接視点間の動画像データの対応関係情報を受信し、前記任意の中間視点における前記移動領域の動画像データを生成するステップと、前記予め保存された任意の中間視点における自由視点静止画像データを読み出し、前記生成された任意の中間視点における移動領域の動画像データと合成して、前記任意の中間視点における動画像データを生成するステップとを前記受信側で実行する
ことを特徴とする自由視点動画像データ生成方法。
【請求項２】
前記静止領域を前記視点からの距離により近距離の画像データと遠距離の画像データとに分離するステップと、前記近距離の画像データについては、前記任意の中間視点における自由視点静止画像データを生成するステップと、前記遠距離の画像データについては、前記隣接視点における画像データを連結した後に切り出すステップとを前記送信側で実行することを特徴とする請求項１記載の自由視点動画像データ生成方法。
【請求項３】
前記複数の異なる視点毎に前記移動領域内の任意の被写体を追跡対象として選択するステップと、前記選択された被写体の位置情報を保存するステップとを前記送信側で実行することを特徴とする請求項１記載の自由視点動画像データ生成方法。
【請求項４】
前記選択された被写体にオクルージョンが発生した場合は、オクルージョンが発生していない視点で撮像された画像データを参照して、前記位置情報を取得することを特徴とする請求項３記載の自由視点動画像データ生成方法。
【請求項５】
送信側で３次元空間内の被写体を複数の異なる視点から撮像して動画像データを取得し、受信側で隣接視点の間の任意の中間視点における前記被写体の動画像データを生成する自由視点動画像データ生成方法を送信側のコンピュータに実行させるためのプログラムであって、
前記被写体を複数の異なる視点から撮像して取得した動画像データを移動領域と静止領域とに分割するステップと、全ての隣接視点間の射影幾何情報を推定するステップと、前記静止領域の画像データについて、前記射影幾何情報を基に全ての前記中間視点における自由視点静止画像データを生成するステップと、前記移動領域の動画像データについて、前記射影幾何情報を基に該動画像データの構造的特徴情報、および前記隣接視点間の動画像データの対応関係情報を生成するステップと、全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を前記受信側へ予め送信するステップと、前記受信側から通知された中間視点に対応する隣接視点における移動領域の動画像データ、該動画像データの構造的特徴情報、および前記隣接視点間の動画像データの対応関係情報を前記受信側へ送信するステップとを前記コンピュータに実行させることを特徴とするプログラム。
【請求項６】
送信側で３次元空間内の被写体を複数の異なる視点から撮像して動画像データを取得し、受信側で隣接視点の間の任意の中間視点における前記被写体の動画像データを生成する自由視点動画像データ生成方法を受信側のコンピュータに実行させるためのプログラムであって、
前記送信側で生成され、送信された全ての前記中間視点における自由視点静止画像データおよび全ての前記隣接視点間の射影幾何情報を予め受信して保存するステップと、隣接視点の間の任意の中間視点を選択し、前記送信側へ通知するステップと、前記送信側から送信された前記移動領域の動画像データ、該動画像データの構造的特徴情報、および前記隣接視点間の動画像データの対応関係情報を受信し、前記任意の中間視点における前記移動領域の動画像データを生成するステップと、前記予め保存された任意の中間視点における自由視点静止画像データを読み出し、前記生成された任意の中間視点における移動領域の動画像データと合成して、前記任意の中間視点における動画像データを生成するステップとを前記コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元空間内の被写体の動画像を多視点から撮像し、伝送するシステムに関し、さらに詳細には、多視点における動画像データを送信側の装置に蓄積し、隣接する視点の間の任意の中間視点における動画像データを受信側の装置で生成する方法に関する。
【０００２】
【従来の技術】
従来、３次元空間内の被写体を多視点から撮像し、画像データを伝送するシステムとしては、特許文献１に記載されたものがある。このシステムは、送信側では、複数の異なる視点から被写体を撮像し、撮像された画像データに基づいて撮像された画像の構造データを作成し、その画像データおよび構造データを送信し、受信側では、新視点を指定し、その新視点における画像データを前記多視点における画像データおよび構造データから生成可能にしたものである。
【０００３】
【特許文献１】
特開２００１−８２３１号公報
【０００４】
【発明が解決しようとする課題】
しかし、前記特許文献１に記載されたシステムは、前記特許文献１の図２、図５等に示されているように、静止状態の被写体に対応するものであり、移動状態の被写体については言及されていない。
【０００５】
そこで、本発明は、静止状態の被写体および移動状態の被写体の双方について全ての隣接する視点の間の任意の中間視点における画像データを受信側で生成することができる自由視点動画像データ生成方法を提供することを目的とする。
【０００６】
また、本発明は、静止状態の被写体および移動状態の被写体の双方について全ての隣接する視点の間の任意の中間視点における画像データを受信側で生成することができ、かつ移動状態の被写体を追跡し、画面の中央等に表示することができる自由視点動画像データ生成方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の自由視点動画像データ生成方法は、送信側で３次元空間内の被写体を複数の異なる視点から撮像して動画像データを取得し、受信側で隣接視点の間の任意の中間視点における前記被写体の動画像データを生成する自由視点動画像データ生成方法であって、前記被写体を複数の異なる視点から撮像して取得した動画像データを移動領域と静止領域とに分割するステップと、全ての前記隣接視点間の射影幾何情報を推定するステップと、前記静止領域の画像データについて、前記射影幾何情報を基に全ての前記中間視点における自由視点静止画像データを生成するステップと、前記移動領域の動画像データについて、前記射影幾何情報を基に該動画像データの構造的特徴情報、および全ての前記隣接視点間の動画像データの対応関係情報を生成するステップと、全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を前記受信側へ予め送信するステップとを前記送信側で実行し、全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を予め受信して保存するステップと、前記隣接視点の間の任意の中間視点を選択し、前記送信側へ通知するステップとを前記受信側で実行し、前記受信側から通知された中間視点に対応する隣接視点における移動領域の動画像データ、該動画像データの構造的特徴情報、および前記隣接視点間の動画像データの対応関係情報を前記受信側へ送信するステップを前記送信側で実行し、前記移動領域の動画像データ、該動画像データの構造的特徴情報、および前記隣接視点間の動画像データの対応関係情報を受信し、前記任意の中間視点における前記移動領域の動画像データを生成するステップと、前記予め保存された任意の中間視点における自由視点静止画像データを読み出し、前記生成された任意の中間視点における移動領域の動画像データと合成して、前記任意の中間視点における動画像データを生成するステップとを前記受信側で実行することを特徴とする。
【０００８】
このように構成したことにより、送信側で、被写体を複数の異なる視点から撮像してそれぞれの視点における動画像データを取得し、隣接視点間の射影幾何情報を推定し、前記複数の異なる視点における動画像データを前記複数の異なる視点における静止領域の静止画像データおよび移動領域の動画像データに分離し、前記射影幾何情報を用いて前記隣接視点間の静止画像データの対応付けを行い、さらに前記隣接視点の間の任意の中間視点における静止画像データをモーフィングにより生成し、前記射影幾何情報を用いて前記隣接視点間の動画像データの対応付けを行い、さらに前記隣接視点における動画像データの構造的特徴情報および対応関係情報を生成し、全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を前記受信側へ予め送信し、受信側で、全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を予め受信して保存し、隣接視点の間の任意の中間視点を選択し、前記送信側へ通知し、送信側から送られてくる前記中間視点に対応する隣接視点における移動領域の動画像データ、該動画像データの構造的特徴情報、および前記隣接視点間の動画像データの対応関係情報と予め保存しておいた射影幾何情報とを用いて前記任意の中間視点における前記移動領域の動画像データをモーフィングにより生成し、前記予め保存しておいた中間視点における静止画像データと合成することで、静止状態の被写体および移動状態の被写体の双方の中間視点における動画像データを生成することができる。
【０００９】
また、本発明の自由視点動画像データ生成方法は、前記複数の異なる視点毎に前記移動領域内の任意の被写体を追跡対象として選択するステップと、前記選択された被写体の位置情報を保存するステップとを前記送信側で実行することを特徴とする。
【００１０】
このように構成したことにより、送信側で、被写体を複数の異なる視点から撮像してそれぞれの視点における動画像データを取得し、隣接視点間の射影幾何情報を推定し、前記複数の異なる視点における動画像データを前記複数の異なる視点における静止領域の静止画像データおよび移動領域の動画像データに分離し、前記射影幾何情報を用いて前記隣接視点間の静止画像データの対応付けを行い、さらに前記隣接視点の間の任意の中間視点における静止画像データをモーフィングにより生成し、前記移動領域の任意の被写体を追跡対象として選択し、前記射影幾何情報を用いて前記隣接視点間の追跡対象の被写体の動画像データの対応付けを行い、さらに前記隣接視点における追跡対象の被写体の動画像データの構造的特徴情報および対応関係情報を生成し、全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を前記受信側へ予め送信し、受信側で、全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を予め受信して保存し、隣接視点の間の任意の中間視点を選択して前記送信側へ通知し、送信側から送られてくる前記中間視点に対応する隣接視点における追跡対象の被写体の動画像データ、該動画像データの構造的特徴情報、および前記隣接視点間の動画像データの対応関係情報と予め保存しておいた射影幾何情報とを用いて前記任意の中間視点における前記追跡対象の被写体の動画像データをモーフィングにより生成し、前記予め保存しておいた中間視点における静止画像データと合成することで、静止状態の被写体および追跡対象の被写体の双方の中間視点における動画像データを生成し、かつ移動状態の被写体を追跡し、画面の中央等に表示することができる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００１２】
（第１の実施の形態）
図１は、本発明の第１の実施の形態の自由視点動画像データ生成システムのブロック図である。ここで、（ａ）は送信側装置、（ｂ）は受信側装置である。
送信側装置は、それぞれがバス１８に接続された、ｎ台（ｎは２以上の整数）のカメラ１１１，１１２，…１１ｎと、入力装置１２と、モニタ１３と、ＣＰＵ１４と、メインメモリ１５と、ディスクメモリ１６と、通信装置１７とを具備する。
【００１３】
カメラ１１１，１１２，…１１ｎは、それぞれが被写体を異なる視点で撮像し、動画像データを生成する。ここで、カメラ１１１，１１２，１１ｎは、撮像を行っている間中、パン、チルト、ズームイン、ズームアウトのいずれも行わず、固定されている。入力装置１２は、マウス、キーボード等であり、ユーザの指令等の入力に使用される。モニタ１３は、液晶ディスプレイ等からなり、入力装置１２から入力されたデータ、カメラ１１１，１１２，…１１ｎで撮像された動画像データ、メインメモリ１５から読み出された画像データ、ディスクメモリ１６から読み出された画像データ等を表示する。ＣＰＵ１４は、マイクロプロセッサを備えており、メインメモリ１５に格納されたプログラムに従って各種処理を実行する。メインメモリ１５は、ＲＯＭおよびＲＡＭからなり、ＣＰＵ１４が各種処理を実行するときに用いるプログラムが格納される。また、カメラ１１１，１１２，…１１ｎで撮像された画像データ、ディスクメモリ１６から読み出された画像データ等が一時的に格納される。ディスクメモリ１６は、ハードディスク装置等からなり、カメラ１１１，１１２，…１１ｎで撮像された動画像データが格納される。また、カメラ１１１，１１２，１１ｎで撮像された動画像の位置的な対応関係を表すデータ（詳細は後述）が格納される。通信装置１７は、受信側装置の通信装置との間でデータの通信を行う。
【００１４】
受信側装置は、それぞれがバス２７に接続された、入力装置２１と、モニタ２２と、ＣＰＵ２３と、メインメモリ２４と、ディスクメモリ２５と、通信装置２６とを具備する。
【００１５】
入力装置２１は、マウス、キーボード等であり、ユーザの指令等の入力に使用される。モニタ２２は、液晶ディスプレイ等からなり、入力装置２１から入力されたデータ、メインメモリ２４から読み出された画像データ、ディスクメモリ２５から読み出された画像データ等が表示される。ＣＰＵ２３は、マイクロプロセッサを備えており、メインメモリ２４に格納されたプログラムに従って各種処理を実行する。メインメモリ２４は、ＲＯＭおよびＲＡＭからなり、ＣＰＵ２３が各種処理を実行するときに用いるプログラムが格納される。また、ディスクメモリ２５から読み出された画像データ等が一時的に格納される。ディスクメモリ２５は、ハードディスク装置からなり、送信側装置から送られてきた動画像データが格納される。また、送信側装置から送られてきた、カメラ１１１，１１２，…１１ｎで撮像された動画像の位置的な対応関係を表すデータ（詳細は後述）が格納される。通信装置２６は、送信側装置の通信装置１７との間でデータの通信を行う。ここで、送信側装置の通信装置１７と受信側装置の通信装置２６との間の通信媒体は、インターネット、ＬＡＮ、地上波放送網（ユーザから放送局へリクエストデータ等の送信が可能なデジタル放送）等である。
【００１６】
以上のように構成された自由視点動画像データ生成システムの動作を説明する。まず、概要を説明する。ここでは、被写体としてサッカーの試合を行っている競技場、選手、およびボールとする。そして、図２に示されているように、４台のカメラ１１１，１１２，１１３，１１４を観客席上方に配置する。また、図３（ａ）に示されているような被写体を、グラウンドおよびゴール（図３（ｂ））と、観客席（図３（ｃ））と、選手およびボール（図３（ｄ））とに分ける。画像の特徴としては、グラウンドおよびゴールは近景の静止領域、観客席は遠景の静止領域、選手およびボールは移動領域となる。そして、近景の静止領域であるグラウンドおよびゴールには平面射影行列（Ｈｏｍｏｇｒａｐｈｙ  ｍａｔｒｉｘ）を適用して隣接する視点から得られた画像間の対応点を算出し、隣接する視点の間の任意の中間視点である仮想視点における補間画像を生成する。ここで、中間視点とは２つの視点の間の視点を意味するものであり、２つの視点の中央の視点を意味するものではない。移動領域である選手およびボールにはエピポーラ幾何を適用し、隣接する視点から得られた画像間の対応点を算出し、仮想視点における補間画像を生成する。遠景の静止領域である観客席については、モザイク処理を行って２視点における画像を連結し、生成されたパノラマ画像から仮想視点における画像を切り出す。最後に、３種類の画像を合成することで、仮想視点における被写体全体の動画像を生成する。
【００１７】
次に、近景の静止領域、遠景の静止領域、移動領域の順序で説明する。なお、近景の静止領域と移動領域との分離は、画像データの背景差分および２値化により行う（詳細は後述）。
【００１８】
〔１〕近景の静止領域
近景の静止領域では、平面射影行列を求め、その平面射影行列を用いて、異なる視点で得られた画像間の対応点を算出し、仮想視点における補間画像を生成する。
【００１９】
まず、図４を参照しながら、平面射影行列について説明する。互いの視点が異なる２つのカメラＣ１，Ｃ２で、３次元空間内の被写体を撮像する。ここで、透視投影によるカメラＣ１の投影面Ｉ１上に固定したカメラ座標系を（ｘ１，ｙ１）、カメラＣ２の投影面Ｉ２上に固定したカメラ座標系を（ｘ２，ｙ２）とする。このとき、３次元空間内の平面Ｊ上の点Ｐについて、式［１］が成立する。この式における行列は平面射影行列と呼ばれる。なお、透視投影については、例えば、”末松良一他著「画像処理工学」、ｐｐ．１８２−１８４、２０００−１０−２６、（株）コロナ社”に詳細に記載されているので、説明を省略する。
【００２０】
【数１】
2004246667.tif 000003
平面Ｊ上の対応のとれている４点を用いて、平面射影行列の各要素を求めることができる。そして、この平面射影行列を用いると、カメラＣ１の投影面Ｉ１上で平面Ｊ上の任意の１点の（ｘ１，ｙ１）座標を与えることにより、カメラＣ２の投影面Ｉ２上の対応点の（ｘ２，ｙ２）座標を算出することができる。したがって、平面Ｊ上の全ての点について、（ｘ１，ｙ１）座標と対応する（ｘ２，ｙ２）座標の値を算出することができる。本実施の形態では、図３（ｂ）に示したグラウンドを１枚の平面とし、ゴールを複数枚（例えば４枚）の平面として、それぞれの平面毎に平面射影行列を求める。
【００２１】
次に、図５を参照しながら、カメラＣ１の視点とカメラＣ２の視点の間の任意の仮想視点における補間画像の生成方法について説明する。図５において、カメラＣ１の視点とカメラＣ２の視点の間の仮想視点で撮像を行う仮想カメラＣ１２が撮像した画像データを生成する。本実施の形態では、線形補間によるモーフィングを行う。カメラＣ１の視点、カメラＣ２の視点から仮想カメラＣ１２までの距離の比をα：１−α（ただし、０≦α≦１）、仮想カメラＣ１２の投影面Ｉ１２上に固定したカメラ座標系を（ｘ１２，ｙ１２）とすると、投影面Ｉ１２上の点の座標は下記の式［２］で表すことが出来る。
【００２２】
Ｐ１２＝（１−α）Ｐ１＋αＰ２…式［２］
【００２３】
ここで、Ｐ１２、Ｐ１、Ｐ２は、それぞれ、投影面Ｉ１２上、投影面Ｉ１上、投影面Ｉ２上の対応点の座標の位置ベクトルを表す。α＝０の場合はカメラＣ１と同一視点、α＝１の場合はカメラＣ２と同一視点、α＝０．５の場合はカメラＣ１とカメラＣ２の中央の視点となる。本実施の形態では、カメラＣ１の視点からのモーフィング（図５のワープ１）とカメラＣ２の視点からのモーフィング（図５のワープ２）の２通りのモーフィングを行って２つの異なる補間画像を生成し、それらに下記の式［３］を適用して仮想視点における画像データを生成する。
【００２４】
【数２】
2004246667.tif 000004
【００２５】
この式において、ｖ１、ｖ２は、それぞれ投影面Ｉ１上、投影面Ｉ２上の画像データの明度値であり、ｖ’は投影面Ｉ１２上の画像データの明度値である。
【００２６】
〔２〕遠景の静止領域
本実施の形態では、観客席のように、カメラからの距離が十分に遠く、それ自体の凹凸が無視できるような領域を遠景領域としているため、１枚の無限遠に存在する平面で近似する。また、遠景領域の場合、隣接する２つの視点に共通する領域が少ないため、近景の静止領域と同様のモーフィング処理を行うと計算効率が悪いので、平面近似した２つの視点における画像をモザイク処理により連結し、生成されたパノラマ画像から仮想視点における画像を切り出す。
【００２７】
図６を参照しながら、モザイク処理について説明する。最初に、第１視点を有するカメラの投影面Ｉ１  上の背景画像の画像データと第２視点を有するカメラの投影面Ｉ２上の背景画像の画像データとの間の平面射影行列Ｈ２１を求め、その平面射影行列Ｈ２１を用いて、２つの視点における画像データの座標系を統一する。次に、２つの画像データを連結し、パノラマ画像データを生成する。図６における重複エリアは、平面射影行列Ｈ２１が決まると自動的に決まる。パノラマ画像データを生成するときに、重複エリアの明度を平滑化するが、単純に２つの画像データの明度の平均値を用いると、画像データ間の明るさの違いにより不自然なつなぎ目が出来てしまうので、下記の式［４］に示すように、重複エリアの境界からの距離に応じて各画素の明度値に重み付けをして混合する。
【００２８】
【数３】
2004246667.tif 000005
【００２９】
この式において、ｕ１、ｕ２は、それぞれ投影面Ｉ１上の背景画像の画像データ、投影面Ｉ２上の背景画像の画像データの明度値であり、ｕ’はパノラマ画像の画像データの明度値である。また、ｘＬ、ｘＲは、それぞれ重複部分の左端および右端のｘ座標であり（図６参照）、β＝（ｘ−ｘＬ）／（ｘＲ  −ｘＬ）である。
【００３０】
次に、パノラマ画像より、中間視点画像に必要な背景画像データを切り出し、基準となる第１視点から各中間視点への射影変換を行う。変換のための平面射影行列は下記の式［５］で定義される。この平面射影行列Ｈ’を用いて座標を変換することにより、背景の中間視点画像データが得られる。
【００３１】
Ｈ’＝（１−γ）Ｅ＋γＨ２１−１  …式［５］
【００３２】
ここで、γ（０≦γ≦１）は中間視点の位置を定めるパラメータ、Ｅは３×３の単位行列である。
【００３３】
〔３〕移動領域
移動領域である選手およびボールにはエピポーラ幾何を適用し、異なる視点で得られた画像間の対応点を算出し、仮想視点における補間画像を生成する。
まず、図７を参照しながら、エピポーラ幾何について説明する。互いの視点が異なる２つのカメラＣ１，Ｃ２で、３次元空間内の被写体を撮像する。ここで、透視投影によるカメラＣ１の投影面Ｉ１上に固定したカメラ座標系を（ｘ１，ｙ１）、カメラＣ２の投影面Ｉ２上に固定したカメラ座標系を（ｘ２，ｙ２）とする。このとき、投影面Ｉ１、投影面Ｉ２間で対応のとれている点について、式［６］が成立する。
【００３４】
【数４】
2004246667.tif 000006
【００３５】
この式における行列はファンダメンタル・マトリックス（以下、Ｆ−マトリックス）と呼ばれ、２台のカメラの相対的な位置や姿勢の情報を含んでいる。投影面Ｉ１、投影面Ｉ２間で対応のとれている７点以上の点から、Ｆ−マトリックスを算出することができる。そして、このＦ−マトリックスを用いると、カメラＣ１  の投影面Ｉ１上で任意の１点に対応するカメラＣ２の投影面Ｉ２上の対応点の探索範囲を狭めることができる。投影面Ｉ１上の１点ｑ１（ｘ１，ｙ１）を与えると、投影面Ｉ２上にエピポーラ線ａｘ＋ｂｙ＋ｃ＝０を投影することができる。ここで、ａ、ｂ、ｃは下記の式［７］より求めることができる。
【００３６】
【数５】
2004246667.tif 000007
【００３７】
このとき、ｑ１（ｘ１，ｙ１）に対応する投影面Ｉ２上の点ｑ２（ｘ２，ｙ２）は、必ずエピポーラ線上に存在する。したがって、対応点の探索はエピポーラ線上のみ行えば良いことになり、探索が容易となる。図において、点Ｄ１、点Ｄ２は、それぞれカメラＣ１、Ｃ２のレンズの中心（＝視点）であり、エピポーラ線は、点Ｑ、Ｄ１、Ｄ２を通る平面（エピポーラ平面）と、投影面Ｉ１、Ｉ２との交線である。
【００３８】
このようにして、投影面Ｉ１、投影面Ｉ２間の画像データの対応点を求めた後、カメラＣ１の視点とカメラＣ２の視点の間の任意の仮想視点における補間画像の生成を行う。この補間画像生成の方法は、近景の静止領域と同じである。
以上、自由視点動画像データ生成システムの動作の概要を説明した。次に、システムの動作をさらに詳しく説明する。
【００３９】
本システムの動作時の処理には、送信側装置で実行されるオフライン処理と、受信側装置で実行されるオンライン処理とがある。以下、オフライン処理、オンライン処理の順に説明する。
【００４０】
図８はオフライン処理のフローチャートである。最初に、多視点画像の入力を行う（ステップＡ１）。即ち、カメラ１１１〜１１ｎで被写体を撮像して取得した所望の時間分の動画像データをＣＰＵ１４によりデータ圧縮し、ディスクメモリ１６に格納する。
【００４１】
次に、ディスクメモリ１６に格納されたカメラ１１１〜１１ｎの動画像データから、隣り合うカメラ間の画像データの射影幾何の推定を行う（ステップＡ２）。具体的には、まずＣＰＵ１４により、ディスクメモリ１６から、カメラ１１１〜１１ｎの互いに同じ撮像時刻の１フレームの画像データを読み出し、データ伸長してメインメモリ１５に書き込む。次に、隣り合うカメラの１フレームの画像データをメインメモリ１５から読み出し、モニタ１３に表示しながら、操作者が入力装置１２から対応点の入力を行う。前述したとおり、本実施の形態では、画像を近景の静止領域、遠景の静止領域、および移動領域の３つに分割しており、近景の静止領域では平面射影行列、移動領域ではＦ−マトリックスを用いて対応点を求めるので、ここでは、隣り合うカメラで撮像された１フレーム同士を比較し、近景の静止領域であるグラウンドを構成する１枚の平面とゴールを構成する複数枚の平面について、それぞれ４つ以上の対応点を入力する。また、隣り合うカメラ間のＦ−マトリックスを算出するために、７つ以上の対応点を入力する。ＣＰＵ１４は、入力装置１２から入力された対応点のデータを用い、式［１］、［６］により平面射影行列およびＦ−マトリックスを算出する。この平面射影行列およびＦ−マトリックスは、ディスクメモリ１６に保存される。
【００４２】
次に、ＣＰＵ１４は、ディスクメモリ１６に格納されたカメラ１１１〜１１ｎの動画像データを移動領域と静止領域とに分離する（ステップＡ３）。本実施の形態では、各カメラで撮像された動画像データについてカメラ毎に背景差分をとり、２値化することで、全移動領域が抽出されたシルエット画像を生成するとともに、移動領域以外を静止領域とする。ここで、明度データだけでなく、ＲＧＢ成分をも考慮することで、シルエットをより正確に抽出することができる。移動領域の画像データおよび静止領域の画像データはメインメモリ１５およびディスクメモリ１６に記憶される。また、カメラ１１１〜１１ｎは固定されているため、静止領域は、近景、遠景ともに全フレーム同じ画像データとなるため、１フレーム分についてのみ記憶すればよい。図９は移動領域を抽出した例を示す。この図において、（ａ）、（ｂ）は異なる視点から撮像された画像データから抽出された移動領域のシルエット画像である。
【００４３】
ステップＡ３で生成されたシルエット画像には、多くの場合、選手数人のシルエットと、ボールのシルエットといった複数のシルエットが混在する。そこで、ステップＡ４において、ラベリング処理を施してシルエットを切り離して個々の選手とボールに分割した後、２視点間でシルエットの対応付けを行う。なお、複数の選手が重なって見える場合（オクルージョン発生）には、正しく分割されているカメラの画像データを参照し、平面射影幾何を用いてシルエットの分割を行う。選手については、まずグラウンドの平面射影行列を用いて対応付けを行う。これは、選手の足がグラウンドに接しているという条件を用いたもので、選手の領域の最下部の点がグラウンドの平面射影行列によって、対応付けられる。選手がジャンプしている状態であっても、それによって生じる誤差は十分に小さいと考える。一方、ボールに関しては、ラベルの面積の一致によって対応付けを行う。隣り合う全てのカメラ間の全てのシルエットについて、画像の構造的特徴情報であるシルエット画像、シルエット画像のラベル番号、ならびにラベルの特徴量（ラベルの重心、選手の足元座標等）、および２つのカメラ間の対応関係情報であるラベル番号対応テーブルをディスクメモリ１６に保存する。
【００４４】
次に、静止領域に関する中間視点画像データを生成し、ディスクメモリ１６に保存する（ステップＡ５）。このとき、操作者は入力装置１２を用いて、隣り合うカメラ毎にその間の任意の中間視点を入力する。ＣＰＵ１４は、メインメモリ１５から静止領域であるグラウンド、ゴール、および観客席の画像データを読み出し、入力された中間視点から仮想的に撮像されたグラウンドおよびゴールの画像データと、観客席の画像データとを生成する。前述したとおり、グラウンドおよびゴールについては、平面射影行列を用いて、隣り合うカメラで撮像された画像データ間の対応点を求め（図４、式［１］）、隣り合うカメラの間の任意の中間視点における画像データを補間して生成する（図５、式［３］）。また、観客席については、モザイク処理と切り出しにより、中間視点における画像データを生成する（図６、式［４］）。
【００４５】
以上がオフライン処理である。次に、オンライン処理について、図１０のフローチャートを参照しながら説明する。なお、オンライン処理を実行する前提として、送信側装置から受信側装置に対して、カメラ１１１〜１１ｎの配置情報、射影幾何情報（平面射影行列およびＦ−マトリックス）、および中間視点の位置情報が伝送され、受信側装置のディスクメモリ２５に記憶されているものとする。また、近景の静止領域であるグラウンドならびにゴールの全中間視点における画像データ、および遠景の静止領域である観客席の全中間視点における画像データが、送信側装置から受信側装置へ伝送され、受信側装置のディスクメモリ２５に記憶されているものとする。さらに、撮像時刻情報（開始時刻、終了時刻）が送信側装置から受信側装置へ伝送され、受信側装置のディスクメモリ２５に記憶されているものとする。
【００４６】
オンライン処理がスタートすると、ＣＰＵ２３は、カメラ１１１〜１１ｎの配置情報、中間視点の位置情報、および撮像時刻情報をディスクメモリ２５から読み出し、モニタ２２に表示する。この状態において、受信側装置のユーザは、鑑賞したい時間情報および視点位置を入力装置２１を用いて入力する（ステップＢ１）。ここで、時間情報として、例えば撮像開始時刻から起算した時分秒フレームを用いることができる。視点位置は、例えば２つの視点を両端とするスライドバーにより入力することができる。ＣＰＵ２３は、時間情報および視点位置情報をメインメモリ２４に記憶すると共に、通信装置２６経由で送信側装置へ送信する（ステップＢ２）。
【００４７】
送信側装置では、時間情報および視点位置情報が通信装置１７で受信され、ＣＰＵ１４へ送られる。視点位置は隣り合う２つのカメラの間に存在するので、ＣＰＵ１４は、その時間情報が示す時刻にその２つのカメラで撮像された移動領域の動画像データ、その動画像データ構造的特徴情報であるシルエット画像、シルエット画像のラベル番号、ラベルの特徴量（ラベルの重心、選手の足元座標等）、および２つのカメラ間の対応関係情報であるラベル番号対応テーブルをディスクメモリ１６から読み出し、通信装置１７経由で受信側装置へ送信する（ステップＢ３）。
【００４８】
受信側装置では、移動領域の動画像データ、シルエット画像、シルエット画像のラベル番号、ラベルの特徴量、およびラベル番号対応テーブルが通信装置２６で受信され、ディスクメモリ２５に保存される。ＣＰＵ２３は、ディスクメモリ２５に保存された各フレームの移動領域の動画像データ、シルエット画像、シルエット画像のラベル番号、ラベルの特徴量、ラベル番号対応テーブル、および中間視点の位置情報を用いて、フレーム毎に順次移動領域である選手とボールの中間視点画像データを生成し、ディスクメモリ２５に記憶する（ステップＢ４）。ここで、移動領域の動画像データはシルエット画像の色情報を付与するために用いられる。以下、ステップＢ４について詳しく説明する。送信側から送られてきたシルエット画像とラベル番号とラベル番号対応テーブルとにより、隣接視点間のシルエット画像が対応付けられる。次に対応のとれたシルエット画像に対してエピポーラ線を投影して対応点を算出する。図１１は、選手のシルエット画像の対応付けの手順を説明するための図である。ここで、（ａ）はある１つのカメラで撮像された選手のシルエット画像であり、（ｂ）はその右隣のカメラで撮像された選手のシルエット画像である。ここでは、（ａ）、（ｂ）それぞれに３本ずつのエピポーラ線が投影されている。各エピポーラ線において、まずシルエットの両端との交点（図１１ではａ１とａ２、ｂ１とｂ２、ａ３とａ４、ｂ３とｂ４、ａ５とａ６、ｂ５とｂ６）の対応をとり、続いてシルエットの内部に関して交点の線形補間によって対応付けを行う。シルエットの上端から下端にかけて、エピポーラ線を順に投影してゆくことで、シルエット全体の対応点情報を得ることができる。エピポーラ線の間隔を狭くする程、密度の高い対応点情報を得ることができる。このようにして、シルエット全体の対応点情報を取得した後、式［２］を用いて中間視点へのモーフィングを行って、移動領域の中間視点画像データを生成し、ディスクメモリ２５に保存する。
【００４９】
最後に、近景の静止領域であるグラウンドならびにゴールの中間視点における画像データ、および遠景の静止領域である観客席の中間視点における画像データをディスクメモリ２５から読み出し、ディスクメモリ２５から順次読み出したフレーム毎の移動領域の中間視点画像データと合成し、モニタ２２にて表示する（ステップＢ５）。
【００５０】
このように、本発明の第１の実施の形態によれば、静止状態の被写体および移動状態の被写体の双方の中間視点における画像データを受信側で生成することができる。また、静止領域については中間視点における画像データを予めまとめて作成しておき、各フレームでは移動領域の中間視点における画像データを作成し、静止領域の画像データと合成するので、静止領域についても各フレームで画像データを生成する場合と比較すると、１フレーム当たりの処理時間を大幅に短縮することができる。
【００５１】
なお、以上の説明では、中間視点の移動は左右方向に限られていたが、中間視点を前後方向に移動させる（ズーム等）ことも可能である。
【００５２】
（第２の実施の形態）
本発明の第２の実施の形態は、第１の実施の形態において、選手を追跡し、画面の中央等に表示できるように構成した点が特徴である。
【００５３】
本発明の第２の実施の形態は、オフライン処理のみが第１の実施の形態と異なり、送信側および受信側の装置構成、およびオンライン処理は第１の実施と同じである。ただし、あるカメラの画像で選手が重なって見える（オクルージョン）場合にも確実に選手を追跡できるようにするため、図１２に示すように、８台のカメラ１１１〜１１８を４台ずつ２群に分け、両サイド側の観客席上方に配置することが好適である。
【００５４】
次に、本実施の形態におけるオフライン処理について説明する。本実施の形態におけるオフライン処理の流れは、ステップＡ３、Ａ４以外は図８に示した第１の実施の形態と同じであるから、その異なる部分について説明する。
【００５５】
図１３は、本実施の形態における移動領域に関する領域分割処理を示すフローチャートである。ここで、（ａ）は各カメラ毎に共通のカメラ内処理であり、（ｂ）はあるカメラの画像では選手の位置が分からないときに、他のカメラの画像を用いて位置情報を取得するためのカメラ間処理である。以下、カメラ内処理、カメラ間処理の順に説明する。
【００５６】
カメラ内処理では、まず、前処理を実行する（ステップＥ１）。具体的には、各カメラで撮像された動画像データについてカメラ毎に背景差分をとり、２値化することで、全移動領域が抽出されたシルエット画像を生成するとともに、移動領域以外を静止領域とする。次に、移動領域のラベリングを行う。この時、特徴量として各ラベルの重心および面積を求めておく。
【００５７】
次に、選手候補領域を選択する（ステップＥ２）。具体的には、前フレームにおける追跡する選手の位置をもとに、現フレームにおいて前処理で抽出された選手のシルエットの中から、追跡する選手候補のシルエットを求める。前フレームにおいて選手が画角内にいた場合には、前フレームで選択された選手のシルエットからの移動距離が最小となるシルエットを選択する。前フレームにおいて選手が画角外にいた場合には、選手候補の選択は行わず、カメラ間処理を用いて選手の位置を求める。
【００５８】
次いで、求められた選手候補のシルエットが他の選手と重なっていないか否かの判定（オクルージョン判定）を行う（ステップＥ３）。この判定は、前フレームと現フレームとで、選手候補のシルエットの面積、および追跡する選手の周りにいる選手の人数を比較することで行う。例えば、前フレームに比較して、現フレームにおいて選手候補シルエットの面積が増加し、かつその周りのラベル数が減少した場合は、現フレームでオクルージョンが発生したと判定する。オクルージョンが発生していないと判定されたカメラの画像データについては、カメラ内処理のみで選手の追跡ができているとし、求められた選手の位置情報を保持する。オクルージョンが発生していると判定されたカメラについては、選手が画角外にいた場合と同様、カメラ間処理により選手の位置を求める。
【００５９】
カメラ間処理では、まず選手位置の推定を行う（ステップＦ１）。エピポーラ幾何により、あるカメラで撮像された画像の画素から、他のカメラで撮像された画像の対応画素へエピポーラ線を引くことができる。よって、図１４に示されているように、２つのカメラの投影面Ｇ１、Ｇ２において、カメラ内処理で選手の位置（ラベルの重心）がそれぞれＧ１１、Ｇ２１として求められていれば、オクルージョンの発生によりカメラ間処理で選手の位置が求められなかったカメラの投影面Ｇ３  において、求められた２つのそれぞれの位置に対応するエピポーラ線を第１のＦ−マトリックスおよび第２のＦ−マトリックスを用いて引き、それらの交点Ｇ３１を算出し、その交点を投影面Ｇ３における選手の位置と推定する。選手が画角から外れている場合についても、同様に選出の位置を推定することができる。なお、このとき用いる２つのカメラは、カメラ間距離が最大となるものを選択することが好適である。その理由は、カメラ間距離が小さいと、２つのカメラの画像データから得られるエピポーラ線の交角が小さくなり、交点にずれが生じてしまうおそれがあるからである。
【００６０】
以上の処理により、全てのカメラ１１１〜１１８の画像上で追跡する選手の位置を求めることができる。しかし、オクルージョンの発生した後の追跡や、途中のフレームから選手が現れた場合の追跡では、追跡したい選手とは違う選手を追ってしまうことがある。そこで、より安定した追跡を実行するために、複数のカメラの情報を用いて選手の位置を確認し、その位置情報を保存する（ステップＦ２）。
【００６１】
まず、位置確認の対象であるカメラの投影面Ｋ１  において、ステップＦ１で推定された選手の位置Ｌ１の座標をもとに、カメラ内処理で選手の位置が求められたカメラの投影面Ｋ２〜Ｋ５の画像に対してエピポーラ線Ｍ２〜Ｍ５を引く。次に、カメラの投影面Ｋ２〜Ｋ５の各々において、カメラ内処理で求められた選手の位置Ｌ２〜Ｌ５とエピポーラ線Ｍ２〜Ｍ５との距離を算出する。そして、それぞれのカメラの画像において、距離が閾値内であれば、ステップＦ１で推定された選手の位置Ｌ１の座標をそのまま選手の位置として保存する。投影面Ｋ２〜Ｋ５のいくつかにおいて閾値外になった場合は、投影面Ｋ１において位置Ｌ１に近い選手から順に同様な処理を行い、最も適当と推定される選手の位置座標（例えば全ての画像が閾値内になる位置）を保存する。
【００６２】
以上の処理により、全てのカメラで撮像された画像データで選手の位置を追跡することができる。これ以降のオフライン処理は、第１の実施の形態と同様である。また、オンライン処理についても第１の実施の形態と同様である。
【００６３】
このように、本発明の第２の実施の形態によれば、あるカメラの画像ではオクルージョンの発生、画角外に存在する等の理由で選手の位置情報が得られない場合にも、オクルージョンが発生していないカメラの画像データを参照して、選手の位置情報を推定し、選手を追跡することができる。また、オクルージョンが発生していない複数のカメラの画像データを参照して推定位置を確認することにより、より安定した追跡が可能になる。
【００６４】
【発明の効果】
以上の説明から明らかなように、本発明によれば、送信側で、被写体を複数の異なる視点から撮像してそれぞれの視点における動画像データを取得し、全ての隣接視点間の射影幾何情報を推定し、前記複数の異なる視点における動画像データを前記複数の異なる視点における静止領域の静止画像データおよび移動領域の動画像データに分離し、前記射影幾何情報を用いて全ての前記隣接視点間の静止画像データの対応付けを行い、さらに全ての前記中間視点における静止画像データをモーフィングにより生成し、前記射影幾何情報を用いて全ての前記隣接視点間の動画像データの対応付けを行い、さらに全ての前記隣接視点における動画像データの構造的特徴情報および対応関係情報を生成し、全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を前記受信側へ予め送信し、受信側で、全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を予め受信して保存し、隣接視点の間の任意の中間視点を選択し、前記送信側へ通知し、送信側から送られてくる中間視点に対応する隣接視点における移動領域の動画像データ、該動画像データの構造的特徴情報、および前記隣接視点間の動画像データの対応関係情報と予め保存しておいた射影幾何情報とを用いて前記任意の中間視点における前記移動領域の動画像データをモーフィングにより生成し、前記予め保存しておいた中間視点における静止画像データと合成することにより、静止状態の被写体および移動状態の被写体の双方の中間視点における動画像データを受信側で生成することができる。
【００６５】
また、本発明によれば、送信側で、被写体を複数の異なる視点から撮像してそれぞれの視点における動画像データを取得し、全ての隣接視点間の射影幾何情報を推定し、前記複数の異なる視点における動画像データを前記複数の異なる視点の静止領域の静止画像データおよび移動領域の動画像データに分離し、前記射影幾何情報を用いて全ての前記隣接視点間の静止画像データの対応付けを行い、さらに全ての前記中間視点における静止画像データをモーフィングにより生成し、前記移動領域の任意の被写体を追跡対象として選択し、前記射影幾何情報を用いて全ての前記隣接視点間の追跡対象の被写体の動画像データの対応付けを行い、さらに全ての前記隣接視点における追跡対象の被写体の動画像データの構造的特徴情報および対応関係情報を生成し、全ての前記中間視点における自由視点静止画像データおよび全ての前記射影幾何情報を前記受信側へ予め送信し、受信側で、全ての前記中間視点における自由視点静止画像データおよび全ての射影幾何情報を予め受信して保存し、隣接視点の間の任意の中間視点を選択し、前記送信側へ通知し、送信側から送られてくる中間視点に対応する隣接視点における追跡対象の被写体の動画像データ、該動画像データの構造的特徴情報、および前記隣接視点間の動画像データの対応関係情報と予め保存しておいた射影幾何情報とを用いて前記任意の中間視点における前記追跡対象の被写体の動画像データをモーフィングにより生成し、前記予め保存しておいた中間視点における静止画像データと合成することにより、静止状態の被写体および移動状態の被写体の双方の中間視点における画像データを受信側で生成することができ、かつ移動状態の被写体を追跡し、画面の中央等に表示することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の自由視点動画像データ生成システムのブロック図、
【図２】本発明の第１の実施の形態におけるカメラの配置を示す図、
【図３】本発明の第１の実施の形態における画像の領域を示す図、
【図４】平面射影行列について説明するための図、
【図５】補間画像の生成方法について説明するための図、
【図６】モザイク処理について説明するための図、
【図７】エピポーラ幾何について説明するための図、
【図８】本発明の第１の実施の形態におけるオフライン処理のフローチャート、
【図９】移動領域を抽出した例を示す図、
【図１０】本発明の第１の実施の形態におけるオンライン処理のフローチャート、
【図１１】シルエットの対応付けを説明するための図、
【図１２】本発明の第２の実施の形態におけるカメラの配置を示す図、
【図１３】本発明の第２の実施の形態における移動領域に関する領域分割処理を示すフローチャート、
【図１４】カメラ間処理における選手位置の推定について説明するための図、
【図１５】カメラ間処理における選手位置の推定について説明するための図である。
【符号の説明】
１１  カメラ
１２、２１  入力装置
１３、２２  モニタ
１４、２３  ＣＰＵ
１５、２４  メインメモリ
１６、２５  ディスクメモリ
１７、２６  通信装置
１８、２７  バス
【図１】
2004246667.tif 000008
【図２】
2004246667.tif 000009
【図３】
2004246667.tif 000010
【図４】
2004246667.tif 000011
【図５】
2004246667.tif 000012
【図６】
2004246667.tif 000013
【図７】
2004246667.tif 000014
【図８】
2004246667.tif 000015
【図９】
2004246667.tif 000016
【図１０】
2004246667.tif 000017
【図１１】
2004246667.tif 000018
【図１２】
2004246667.tif 000019
【図１３】
2004246667.tif 000020
【図１４】
2004246667.tif 000021
【図１５】
2004246667.tif 000022