(57)【要約】【課題】  視点位置や視線方向に応じて変化すべきグラフィック画像を、ユーザが選択した視点映像に適した表示形態で提供することができる映像処理装置を提供する。【解決手段】  第１の映像に関する第１の視点情報及び第２の映像に関する第２の視点情報とから算出された差分情報を用いて第１の映像に対応するグラフィック画像に関する画像情報を変換する。変換された画像情報に基づいて第２の映像に対応するグラフィック画像を生成し、生成されたグラフィック画像と、第２の映像の画像とを合成する。【選択図】  図１
2011151773.tif 000002
【特許請求の範囲】
【請求項１】
視点が異なる複数の映像からなる映像コンテンツを再生可能な映像処理装置において、
第１の映像に関する第１の視点情報と、前記第１の映像と視点位置が異なる第２の映像に関する第２の視点情報と、前記第１の映像に対応するグラフィック画像を生成するために用いる画像情報とを取得する取得手段と、
前記取得手段により取得した、前記第１の視点情報及び前記第２の視点情報との差分情報を算出する算出手段と、
前記差分情報を用いて前記画像情報を変換し、変換された画像情報に基づいて前記第２の映像に対応するグラフィック画像を生成する生成手段と、
前記生成手段により生成された前記グラフィック画像と、前記第２の映像の画像とを合成する合成手段と、
を有することを特徴とする映像処理装置。
【請求項２】
前記第１の視点情報及び前記第２の視点情報は少なくとも、前記第１の映像及び前記第２の映像の視線方向に関する情報を含み、
前記算出手段は、前記第１の映像の視線方向と前記第２の映像の視線方向との角度を差分情報として算出し、
前記生成手段は、前記算出手段で算出した前記差分情報が示す角度分だけ、前記第１の映像に対応する前記グラフィック画像を回転させることにより前記画像情報を変換し、変換された画像情報に基づいて前記第２の映像に対応するグラフィック画像を生成することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記第１の視点情報及び前記第２の視点情報は少なくとも、前記第１の映像及び前記第２の映像の視点位置に関する情報を含み、
前記算出手段は、前記第１の映像の視点位置と前記第２の映像の視点位置との距離の差分を差分情報として算出し、
前記生成手段は、前記算出手段で算出した前記差分情報が示す距離の差分に応じて、前記第１の映像に対応する前記グラフィック画像を拡大または縮小させることにより前記画像情報を変換し、変換された画像情報に基づいて前記第２の映像に対応するグラフィック画像を生成することを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記第２の映像は、複数の視点位置で撮影した映像コンテンツを元に生成される、任意の視点における任意視点映像コンテンツであることを特徴とする請求項１乃至３のいずれか一項に記載の映像処理装置。
【請求項５】
前記第２の映像は、複数の視点位置で撮影した多視点映像コンテンツを構成する１つの映像コンテンツであることを特徴とする請求項１乃至３のいずれか一項に記載の映像処理装置。
【請求項６】
視点が異なる複数の映像からなる映像コンテンツを再生可能な映像処理装置において、
前記複数の映像と、前記複数の映像それぞれに対応する複数のグラフィック画像とを取得する取得手段と、
前記複数の映像に基づいて、任意の視点における任意視点映像を生成する第１生成手段と、
前記複数のグラフィック画像に基づいて、前記任意視点映像の視点に対応するグラフィック画像を生成する第２生成手段と、
前記第１生成手段によって生成された前記任意視点映像、及び前記第２生成手段によって生成された前記任意視点映像に対応するグラフィック画像を合成する合成手段と
を有することを特徴とする映像処理装置。
【請求項７】
視点が異なる複数の映像からなる映像コンテンツを再生可能な映像処理装置の制御方法において、
第１の映像に関する第１の視点情報と、前記第１の映像と視点位置が異なる第２の映像に関する第２の視点情報と、前記第１の映像に対応するグラフィック画像に関する画像情報とを取得する取得工程と、
前記取得工程により取得した、前記第１の視点情報及び前記第２の視点情報との差分情報を算出する算出工程と、
前記差分情報を用いて前記画像情報を変換し、変換された画像情報に基づいて前記第２の映像に対応するグラフィック画像を生成する生成工程と、
前記生成工程により生成された前記グラフィック画像と、前記第２の映像の画像とを合成する合成工程と、
を有することを特徴とする映像処理装置の制御方法。
【請求項８】
視点が異なる複数の映像からなる映像コンテンツを再生可能な映像処理装置の制御方法において、
前記複数の映像と、前記複数の映像それぞれに対応する複数のグラフィック画像とを取得する取得工程と、
前記複数の映像に基づいて、任意の視点における任意視点映像を生成する第１生成工程と、
前記複数のグラフィック画像に基づいて、前記任意視点映像の視点に対応するグラフィック画像を生成する第２生成工程と、
前記第１生成工程で生成された前記任意視点映像、及び前記第２生成工程で生成された前記任意視点映像に対応するグラフィック画像を合成する合成工程と
を有することを特徴とする映像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像からなる映像コンテンツを再生可能な映像処理装置及び制御方法に関する発明である。
【背景技術】
【０００２】
現在、本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究・開発が多数行われている。映像の圧縮や、大量データの伝送技術の研究・開発が進み、テレビ番組や映像コンテンツなどの視聴形態が多様化している。その中の一つとして、複数の視点位置で撮影した多視点映像コンテンツや、それらを元に生成される任意視点映像コンテンツを伝送する任意視点映像視聴システムがある。任意視点映像視聴システムにおいては、複数の視点位置での映像コンテンツを用いて、ユーザの好みの視点位置に対応する視点映像を生成することができる。
【０００３】
例えば、既存の放送などの映像配信サービスと任意視点映像サービスが連携して提供される場合において、放送番組の標準映像から任意視点映像に切り替えた際に、視点および視線をシームレスにつなぐ技術が、下記の特許文献１に開示されている。一方従来、映像にテロップなどの説明情報を合成する技術がある。上記のような任意視点映像システムでは、表示される映像はユーザの選択した視点に応じて生成されるので、映像製作者側で予め選択される視点を予測し、選択された視点に対応する説明情報を合成することは難しい。そこで、下記の特許文献２には、任意視点映像内の被写体を検出し、被写体の特徴情報と合致した条件を持ったレイアウトテンプレートに基づいてテロップを表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１５０７４７号公報
【特許文献２】特開２００７−２１５０９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、図１４（ａ）に示すように、例えば標準映像に対応して、風向きを表す矢印のグラフィック画像が説明情報として合成されている場合を考える。標準映像とは視点位置が異なる図１４（ｂ）の映像においても図１４（ａ）と同様の矢印のグラフィック画像を合成してしまうと、本来とは異なる情報を提示してしまう。このように従来、映像に合成するグラフィック画像は、視点位置や視線方向に応じて変化すべきであるにも関わらず、ユーザが選択した視点映像に適した表示形態で提供することができなかった。
【０００６】
そこで本発明は、視点位置や視線方向に応じて変化すべきグラフィック画像を、ユーザが選択した視点映像に適した表示形態で提供することができる映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、視点が異なる複数の映像からなる映像コンテンツを再生可能な映像処理装置において、第１の映像に関する第１の視点情報と、前記第１の映像と視点位置が異なる第２の映像に関する第２の視点情報と、前記第１の映像に対応するグラフィック画像を生成するために用いる画像情報とを取得する取得手段と、前記取得手段により取得した、前記第１の視点情報及び前記第２の視点情報との差分情報を算出する算出手段と、前記差分情報を用いて前記画像情報を変換し、変換された画像情報に基づいて前記第２の映像に対応するグラフィック画像を生成する生成手段と、前記生成手段により生成された前記グラフィック画像と、前記第２の映像の画像とを合成する合成手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、視点位置や視線方向に応じて変化すべきグラフィック画像を、ユーザが選択した視点映像に適した表示形態で提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例１に係る映像処理装置の概略構成を示すブロック図である。
【図２】任意視点映像に適したグラフィック画像を生成するためのフローチャートである。
【図３】視線方向を説明するための模式図である。
【図４】視野角を説明するための模式図である。
【図５】差分情報の算出方法を説明するための模式図である。
【図６】風向きを表すグラフィック画像の例を示す図である。
【図７】映像の視点位置及び視線方向に応じたグラフィック画像の例を示す図である。
【図８】本発明の実施例２に係る映像処理装置の概略構成を示すブロック図である。
【図９】多視点映像に適したグラフィック画像を生成するためのフローチャートである。
【図１０】任意視点生成用映像の撮影状態を表す図である。
【図１１】任意視点生成用映像の撮影カメラとグラフィック画像との関係を示す図である。
【図１２】光線情報を記録する位置座標系ＰＱＲを示す図である。
【図１３】本発明の実施例４に係る表示情報テーブルを示す図である。
【図１４】映像に合成されるグラフィック画像の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の実施例を説明する。
【００１１】
（実施例１）
本実施例では、映像処理装置としてＴＶ受信装置を例に挙げ、デジタル放送信号から放送番組の標準映像を受信し、インターネット経由で標準映像に関連する複数の視点位置で撮影された任意視点生成用映像を取得する構成で説明する。ここで標準映像とは、既存の放送番組におけるメイン映像を指す。なお、標準映像及び任意視点生成用映像の取得方法、取得経路については、本実施例の方法や経路に限定する必要は無く、同様の映像が取得できる方法や経路であればよい。
【００１２】
図１は、本発明の実施例１に係る映像処理装置の概略構成を示すブロック図である。映像処理装置１００は、通常のＴＶ受信機の構成に、任意視点映像生成部１０８、映像処理部１０９、視点情報処理部１１２、画像情報処理部１１３、グラフィック画像生成部１１４を備える。映像処理装置を構成する各機能ブロックは、各々内部バスによって接続されており、制御部１１８の制御信号によって動作し、相互にデータを送受信することができる。
【００１３】
チューナ部１０１は、制御部１１８からの制御指示に応じて、デジタル放送信号を受信し、復調処理を行って映像や音声などを多重化した標準映像のコンテンツデータ（ＴＳデータ）を抽出する。ネットワークＩ／Ｆ部１０２は、ネットワーク経由で任意視点生成用映像のコンテンツデータを取得する。チューナ部１０１、ネットワークＩ／Ｆ部１０２又は外部入力部１１５から入力されたコンテンツデータは、ファイル形式でダウンロードされ、メモリ部１１６またはＨＤ（ハードディスク）１１７に保存される。保存されたコンテンツデータは、制御部１１８からの制御指示に応じて、メモリ部１１６またはＨＤ（ハードディスク）１１７から読み出され、ＴＳ分離部１０３に出力される。コンテンツデータをストリーミング形式で表示する場合は、チューナ部１０１、ネットワークＩ／Ｆ部１０２又は外部入力部１１５からＴＳ分離部へ出力する。
【００１４】
ＴＳ分離部１０３は、入力されたコンテンツデータを、音声ストリームデータ、映像ストリームデータ、コンテンツ表示に必要な各種データを取り出して分離する。映像ストリームデータと音声ストリームデータは、ＡＲＩＢにて規定されているＭＰＥＧ形式のデータである。
【００１５】
ＴＳ分離部１０３で分離された音声ストリームデータは、音声デコード部１０４でデコードされ、音声処理部１０５で音質、臨場感等の音声処理、及び音量調整処理を施される。音声処理部１０５は、処理された音声データを音声出力部１０６に出力し、更に音声出力部１０６はスピーカー等へ出力する。映像デコード部１０７は、ＴＳ分離部１０３で分離された映像ストリームデータをデコードする。この映像ストリームデータには、標準映像データ及び、任意視点生成用映像データが含まれている。デコードされた映像ストリームデータは、任意視点映像生成部１０８に出力される。
【００１６】
ＴＳ分離部１０３で分離されたコンテンツ表示に必要な各種データは、データ処理部１１１に出力される。コンテンツ表示に必要な各種データには、標準映像に関する視点情報、任意視点生成用映像に関する視点情報、標準映像に対応して映像を視覚的に分かりやすくするために合成されるグラフィック画像に関する画像情報等が含まれる。ここで、グラフィック画像とは、例えば映像中の風向きを表す矢印の画像等を指す。本実施例において、これらの視点情報及び画像情報はインターネット経由で取得し、メモリ部１１６またはＨＤ１１７に保存される構成であるが、本実施例の取得方法や経路に限定する必要は無く、同様の情報が取得できる方法や経路であればよい。これらの視点情報及び画像情報の詳細については後述する。
【００１７】
データ処理部１１１は、任意視点生成用映像に関する視点情報を任意視点映像生成部１０８に、標準映像に関する視点情報を視点情報処理部１１２に、グラフィック画像の画像情報を画像情報処理部１１３にそれぞれ出力する。
【００１８】
任意視点映像生成部１０８は、任意視点生成用映像データを基に、ユーザが選択した任意視点映像に関する視点情報を含むリモコン受信部１１９からの信号に応じた制御部１１８の制御指示に従い、任意視点映像データを生成する。任意視点映像の生成方法に関しては、放送番組の標準映像のカメラ位置、画角などの情報を利用して任意視点情報を生成し、該当する任意視点映像を得る方法など、公知の技術を用いることが可能である。例えば、視点位置の異なる複数の多視点映像から、任意の視点位置の映像を合成して生成する。この場合、映像デコード部１０７は複数の映像ストリームデータを同時にデコードが可能である。生成された任意視点映像データは映像処理部１０９に出力される。
【００１９】
視点情報処理部１１２は、標準映像に関する視点情報と、リモコン受信部１１９から信号を受けた制御部１１８から取得する任意視点映像に関する視点情報の差分を算出する。算出した差分情報をグラフィック画像生成部１１４に出力する。画像情報処理部１１３は、データ処理部１１１から取得したグラフィック画像の画像情報を用いて、グラフィック画像が方向属性を持ち、視点位置や視線方向によって表示形態が異なるか否かを判別する。
【００２０】
グラフィック画像生成部１１４では、視点情報処理部１１２からの差分情報と画像情報処理部１１３からの方向属性の有無の情報とに基づいて、出力する任意視点映像に重畳するためのグラフィック画像を生成し、映像処理部１０９に出力する。映像処理部１０９は、任意視点映像生成部１０８からの任意視点映像とグラフィック画像生成部１１４からのグラフィック画像とを合成し、映像出力部１１０へ出力する。映像出力部１１０は表示部へ表示する映像を出力する。
【００２１】
制御部１１８は、後述のリモコン受信部１１９からの信号に応じた処理を行う。リモコン受信部１１９は、映像処理装置１００用のリモコンから出力されるリモコン制御信号を受信し、制御部１１８へ転送する。リモコン制御信号には、ユーザが選択した任意視点映像に関する視点情報が含まれる。制御部１１８は、ユーザが選択した任意視点映像に関する視点情報を任意視点映像生成部１０８及び視点情報処理部１１２に出力する。ここで、任意視点映像に関する視点情報は、テレビ局から指定されたおすすめ視点情報等から取得するなど、その取得手段および取得方法は限定されない。
【００２２】
ユーザにより任意視点映像の視点を選択する操作が行われた際、表示する任意視点映像に適したグラフィック画像を生成するためのフローチャートを図２に示す。制御部１１８は、リモコン受信部１１９においてユーザにより映像の視点を選択操作した信号を受信したかどうかを判定する（ステップＳ２０１）。視点が選択された場合は、視点情報処理部１１２は、標準映像に関する視点情報及びユーザに選択された任意視点映像に関する視点情報を取得する。また、画像情報処理部１１３はグラフィック画像に関する画像情報を取得する（ステップＳ２０２）。このとき、視点情報処理部１１２及び画像情報処理部１１３は、ユーザによる視点の選択操作をトリガとせずに、繰り返し所定の時間間隔でこれらの視点情報及び画像情報を取得してもよい。
【００２３】
次に制御部１１８は、表示部に表示する映像のコンテンツデータにグラフィック画像が存在するか否かを判定する（ステップＳ２０３）。グラフィック画像が存在する場合は、画像情報処理部１１３において、グラフィック画像が方向属性を持ち、視点位置や視線方向によって表示形態が異なるか否かを判定する（ステップＳ２０４）。グラフィック画像が方向属性を持たない場合は、そのままグラフィック画像と出力する任意視点映像とを合成する（ステップＳ２０８）。グラフィック画像が方向属性を持つ場合、視点情報処理部１１２において、標準映像に関する視点情報と任意視点映像に関する視点情報との差分情報を算出する（ステップＳ２０５）。差分情報の算出方法については後述する。
【００２４】
差分情報を算出した結果、標準映像に関する視点情報と任意視点映像に関する視点情報とに差分があった場合（ステップＳ２０６，Ｙｅｓ）、グラフィック画像生成部１１４は差分情報に基づいてグラフィック画像を生成する（ステップＳ２０７）。グラフィック画像の生成方法については後述する。そして、映像処理部１０９において、任意視点映像生成部１０８で生成された任意視点映像とグラフィック画像とを合成し（ステップＳ２０８）、映像出力部１１０から表示部へ出力する。
【００２５】
ここで、標準映像に関する視点情報及び任意視点映像に関する視点情報とは、映像の視点位置、視線方向、視野角を特定するための情報を含む。映像の視点位置は、ある点を基準点とした位置座標（ｘ、ｙ、ｚ）で表すことができる。本発明において、基準点（０、０、０）は不動の被写体の位置とするが、任意に決めることができる。例えば、ある領域内を移動する被写体に関する映像の場合には、該領域の中心点を基準点としてもよい。図３及び図４は、視線方向及び視野角をそれぞれ説明するための模式図である。視線方向は映像の撮影方向に相当し、図３（ａ）及び（ｂ）に示すように、水平成分と垂直成分の角度（水平角度α、垂直角度β）で表すことができる。本実施例ではｙ軸方向を角度の基準としており、水平角度αの範囲を−１８０°〜１８０°、垂直角度βの範囲を−１８０°〜１８０°とした。なお、基準とする方向の選び方は問われない。視野角は、図４（ａ）及び（ｂ）に示すように、映像が表示される範囲で水平成分と垂直成分の角度（水平視野角γ、垂直視野角θ）で表すことができる。なお、標準映像に関する視点情報及び任意視点映像に関する視点情報は、映像の視点位置、視線方向、視野角が特定できる情報であれば、どのような形式でも構わない。
【００２６】
標準映像に関する視点情報と任意視点映像に関する視点情報との差分情報の算出方法について説明する。差分情報は標準映像と任意視点映像のそれぞれの視点情報を構成する各パラメータ（視点位置（ｘ、ｙ、ｚ）、視線方向（水平角度α、垂直角度β）、視野角（水平視野角γ、垂直視野角θ）の差分に関する情報を含む。ここで視点位置の差分は、基準点である被写体位置と映像の視点位置との距離を絶対値で表した値の比で表される。ただし被写体位置と基準点とが異なる場合、ある被写体の位置座標を取得し、その被写体位置と映像の視点位置との距離の絶対値を視点位置の差分に用いてもよい。視線方向の差分は、標準映像と任意視点映像の視線方向を表す角度の差で表される。視野角の差分は、標準映像と任意視点映像の視野角比で表される。なお、本実施例では標準映像に関する視点情報を基準とした差分を取得するが、基準の選び方は問われず、任意視点生成用映像のうち一つの映像に関する視点情報を基準としてもよい。このとき、基準となる映像に応じたグラフィック画像が存在する。
【００２７】
図５は、差分情報の算出方法を説明するための模式図である。被写体位置を基準（０，０，０）として、標準映像に関する視点情報は、映像の視点位置（ｘ１，ｙ１，ｚ１）、視線方向（α１，β１）、視野角（γ１，θ１）からなる。任意視点映像に関する視点情報は、標準映像に関する視点情報と同様に被写体位置を基準として、映像の視点位置（ｘ２，ｙ２，ｚ２）、視線方向（α２，β２）、視野角（γ２，θ２）からなる。差分情報として、視点位置の差分は式１で得られる。
【００２８】
【数１】
2011151773.tif 000003
【００２９】
視線方向の差分は（α２−α１，β２−β１）視野角の差分は（γ２／γ１，θ２／θ１）となる。
【００３０】
グラフィック画像に関する画像情報は、方向情報と描画情報からなる。本実施例において方向情報は、０と１の数字で構成され、０の場合はグラフィック画像が方向属性を持たず、視点位置又は視線方向によって表示形態が異ならないことを示す。１の場合はグラフィック画像が方向属性を持ち、視点位置によって表示形態が異なることを示す。図２のステップＳ２０４においては、この方向情報を用いて、グラフィック画像が方向属性を持ち、視点位置や視線方向によって表示形態が異なるか否かを判定する。なお、方向情報はグラフィック画像が方向属性を持つか否かを判断できる情報であれば、その種類は問わない。
【００３１】
描画情報はグラフィック画像を構成する頂点座標（ａ，ｂ，ｃ）、頂点番号、色情報（Ｒ，Ｇ，Ｂ，透過率）等で構成される。本実施例において描画情報は例えば、頂点座標は各頂点番号に対応し、ローカル座標系を用いて、−１００から１００までの値を取るものとした。頂点番号はグラフィック画像の図形を構成する頂点に任意の数字が付与されたものである。また、描画情報には、グラフィック画像の図形を構成する頂点、線分、面に関する情報も含まれる。本実施例において、線分は線で接続されている二つの頂点の頂点番号Ｘ及びＹを用いて、線分（Ｘ，Ｙ）のように表し、面は平面を構成する頂点の頂点番号Ａ、Ｂ、Ｃ、Ｄを用いて面（Ａ，Ｂ，Ｃ，Ｄ）のように表す。例えば、図６に示した風向きを表すグラフィック画像の図形は頂点番号１〜１４、２１本の線分及び９つの面で構成され、斜線で示した面は、４本の線分（１，２）、（２，５）、（５，６）、（６，１）から成る面（１、２、５、６）である。線分や面の色情報は２４ｂｐｐ（ｂｉｔ  ｐｅｒ  ｐｉｘｅｌ）でエンコードされたＲＧＢ明度を用いて色を決定する。すなわち、Ｒ、Ｇ、Ｂは０から２５５の数値を持っている。更に透過率は０から１００の値を取り、色の透過を調整できる。なお描画情報は、所望のグラフィック画像が生成できる情報であればその種類は問わない。風向きを表すグラフィック画像は、視点位置及び視線方向に応じて生成する必要があるため、方向情報は１となる。
【００３２】
グラフィック画像生成部１１４における、グラフィック画像の生成方法について説明する。本実施例では、任意視点映像に対応したグラフィック画像は、標準映像に対応したグラフィック画像から、視点情報処理部１１２で算出した差分情報を用いて生成される。具体的には、標準映像に対応したグラフィック画像を、標準映像と任意視点映像との視線方向の差分の角度分だけ回転させることで、任意視点映像に対応したグラフィック画像を生成することができる。標準映像に対応したグラフィック画像に関する画像情報を、例えばアフィン変換を用いて変換することで、任意視点映像に対応したグラフィック画像に関する画像情報を得ることができる。
【００３３】
また、標準映像と任意視点映像との視線方向の差分を用いてグラフィック画像を回転させるだけでなく、標準映像と任意視点映像との視点位置の差分と視野角の差分とを用いてグラフィック画像の拡大・縮小を行う。例えば、任意視点映像として標準映像より被写体に近づいた映像を表示する場合、映像視聴の妨げにならないようにグラフィック画像を縮小表示し、被写体から遠ざかった場合には拡大表示する。ただし、被写体に近づいた映像を表示する場合、被写体との距離感を表現するために、被写体の拡大率に応じて拡大されたグラフィック画像を表示してもよい。グラフィック画像の拡大、縮小もグラフィック画像の回転と同様にアフィン変換を用いて行うことができるが、グラフィック画像の拡大、縮小、回転が可能な方法であれば、その種類は問われない。
【００３４】
更に、標準映像及び任意視点映像の視点情報を用いて、標準映像と任意視点映像それぞれにおける表示領域を３Ｄマッピングし、表示領域が重なっている部分の割合から同様の場所を撮影しているのか、異なる場所を撮影しているのか判断できる。判断の結果、任意視点映像が標準映像と異なる場所を撮影していると判明した場合には、グラフィック画像を表示しないように制御することも可能である。任意視点映像にグラフィック画像を表示するか否かの判断は、任意視点映像の表示領域に、映像の視点位置の基準点又は被写体位置等の特定点が含まれているか否かで行ってもよい。
【００３５】
本実施例は、標準映像に対応するグラフィック画像の画像情報を基に、任意視点映像に対応するグラフィック画像を生成したが、各任意視点生成用映像に対応したグラフィック画像の画像情報を基に、任意視点映像に対応するグラフィック画像を生成してもよい。複数の任意視点生成用映像に対応した複数のグラフィック画像の画像情報が、任意視点生成用映像に付与されることも想定される。そこで例えば、複数の任意視点生成用映像に対応するグラフィック画像をそれぞれ生成し、任意視点映像を生成する工程と同じ工程で、生成された複数のグラフィック画像から任意視点映像に対応するグラフィック画像を生成してもよい。
【００３６】
以上のようにして得た任意視点映像に対応したグラフィック画像に関する画像情報に基づいて、任意視点映像に対応したグラフィック画像は、グラフィック画像生成部１１４において生成される。生成されたグラフィック画像を任意視点映像と合成すると、図７（ａ）の被写体右側の映像から、図７（ｂ）の被写体左側の映像へ切り替えた際、映像右上の風向きを示すグラフィック画像が映像の視点位置及び視線方向に応じて表示形態が変わる。従ってこの実施例１によれば、視点位置や視線方向に応じて変化すべきグラフィック画像を、ユーザが選択した映像に適した表示形態で提供することができる。
【００３７】
（実施例２）
以下、本発明の実施例２について説明する。本実施例では、デジタル放送信号で放送番組の標準映像を受信し、複数の視点位置で撮影された映像データからなる多視点映像をインターネット経由で取得する構成で説明する。多視点映像とは、互いに同期して再生可能な視点位置の異なる複数の映像データで構成され、例えばある被写体を取り囲むように配置した複数台のカメラで同期撮影した複数の映像データで構成されるものである。ユーザはリモコン等により、複数の視点を選択することができ、選択した視点からの映像を視聴することが可能である。なお、標準映像及び多視点映像の取得方法、取得経路については、本実施例の方法や経路に限定する必要は無く、同様の映像が取得できる方法や経路であればよい。なお、本実施例の説明において、実施例１と同様の部分については、その説明を省略あるいは簡略化する。
【００３８】
図８は、本発明の実施例２に係る映像処理装置の概略構成を示すブロック図である。実施例１と異なり、音声選択部８０１及び映像選択部８０２を備える。実施例１と同様に、チューナ部１０１、ネットワークＩ／Ｆ部１０２又は外部入力部１１５から、標準映像及び多視点映像に関するコンテンツデータを取得する。取得したコンテンツデータは、ファイル形式でダウンロードされ、メモリ部１１６またはＨＤ１１７に保存される。
【００３９】
ＴＳ分離部は、メモリ部１１６またはＨＤ１１７に保存されたコンテンツデータを制御部１１８からの制御指示に応じて読み出し、音声ストリームデータ、映像ストリームデータ、コンテンツ表示に必要な各種データを取り出す。ＴＳ分離部１０３で取り出され、データ処理部１１１にて処理を行うデータには、標準映像に関する視点情報、多視点映像に関する視点情報、及びグラフィック画像に関する画像情報の３つが少なくとも含まれる。ここで多視点映像に関する視点情報とは、実施例１における標準映像に関する視点情報と同様に、映像の視点位置、視線方向、視野角を特定するための情報を含む。これらの視点情報及び画像情報はインターネット経由で取得し、メモリ部１１６またはＨＤ１１７に保存される。実施例１と同様に、視点情報及び画像情報の取得方法や経路は、本実施例の構成に限定する必要は無く、同様の情報が取得できる方法や経路であればよい。
【００４０】
音声選択部８０１及び映像選択部８０２は、リモコン受信部１１９からの信号を受けた制御部１１８の制御指示に応じて、音声ストリームデータ及び映像ストリームデータを選択し、音声処理部１０５及び映像処理部１０９に出力する。
【００４１】
視点情報処理部１１２は、標準映像に関する視点情報と、ユーザにより選択された多視点映像データに関する視点情報との差分を算出する。算出した差分情報をグラフィック画像生成部１１４に出力する。
【００４２】
制御部１１８は、リモコン受信部から受信したユーザからのリモコン制御信号に応じた処理を行う。リモコン制御信号には、ユーザが選択した多視点映像に関する情報が含まれ、制御部１１８は、ユーザが選択した多視点映像に関する視点情報を音声選択部８０１、映像選択部８０２及び視点情報処理部１１２に出力する。ここで、多視点映像に関する視点情報は、テレビ局から指定されたおすすめ視点情報等から取得するなど、その取得経路および取得方法は限定されない。
【００４３】
多視点映像の視点の選択が行われた際、表示する多視点映像に適したグラフィック画像を生成するためのフローチャートを、図９を用いて説明する。制御部１１８は、リモコン受信部１１９においてユーザによる映像の視点を選択操作する信号を受信したかどうかを判定する（ステップＳ９０１）。視点の選択指示を受信した場合は、視点情報処理部１１２及び画像情報処理部１１３は、標準映像に関する視点情報、ユーザに選択された多視点映像に関する視点情報及び、グラフィック画像に関する画像情報を取得する（ステップＳ９０２）。このとき、視点情報処理部１１２及び画像情報処理部１１３は、ユーザによる視点の選択指示をトリガとせずに、繰り返し所定の時間間隔でこれらの視点情報及び画像情報を取得してもよい。
【００４４】
表示部に表示する映像にグラフィック画像が存在するか否かを判定する（ステップＳ９０３）。グラフィック画像が存在する場合は、画像情報処理部１１３において、グラフィック画像が方向属性を持ち、視点位置によって表示形態が異なるか否かを判定する（ステップＳ９０４）。グラフィック画像が方向属性を持つ場合、視点情報処理部１１２において、標準映像に関する視点情報と多視点映像に関する視点情報との差分情報を算出する（ステップＳ９０５）。算出方法は実施例１と同様の方法でもよいし、予め映像に付与されたメタデータ等から取得してもよい。
【００４５】
取得した結果、標準映像に関する視点情報と多視点映像に関する視点情報とに差分があった場合（ステップＳ９０６，Ｙｅｓ）、差分情報に基づいてグラフィック画像を生成する（ステップＳ９０７）。グラフィック画像の生成方法は実施例１と同様である。そして、映像処理部１０９において、表示する多視点映像とグラフィック画像とを合成し（ステップＳ９０８）、映像出力部１１０から表示部へ出力する。
【００４６】
多視点映像を視聴する場合においても、以上のようにグラフィック画像を生成して多視点映像と合成すると、選択された多視点映像の視点位置及び視線方向に応じてグラフィック画像の表示形態が変わる。視点位置や視線方向に応じて変化すべきグラフィック画像を、ユーザが選択した視点映像に適した表示形態で提供することができる。
【００４７】
（実施例３）
以下、本発明の実施例３について説明する。本実施例では、映像コンテンツを配信するサーバにおいて、インターネット経由で取得したユーザによる視点の選択指示に応じた任意視点映像を生成する構成に関して説明を行う。任意視点映像を生成する映像生成装置は、図１におけるネットワークＩ／Ｆ部１０２、任意視点映像生成部１０８、映像処理部１０９、映像出力部１１０を有する。更に、視点情報処理部１１２、画像情報処理部１１３、グラフィック画像生成部１１４、メモリ部１１６、ＨＤ１１７及び制御部１１８、リモコン受信部１１９を有する。ネットワークＩ／Ｆ部１０２は、インターネット経由でユーザによる視点の選択指示を受けたコンテンツ再生装置からの信号を受信する。任意視点映像生成部１０８は、任意視点生成用映像データを用いて、ユーザにより選択された視点に応じた任意視点映像を生成する。生成した任意視点映像に対応したグラフィック画像は、実施例１と同様に図２のフローチャートに従って生成され、任意視点映像と合成される。合成された任意視点映像は、映像出力部１１０から、視点を選択したユーザが有するコンテンツ再生装置へインターネットを経由して送信される。
【００４８】
従ってこの実施例３によれば、コンテンツ再生装置に付加をかけることなく、視点位置や視線方向に応じて変化すべきグラフィック画像を、ユーザが選択した映像に適した表示形態で提供することができる。
【００４９】
（実施例４）
以下、本発明の実施例４について説明する。本実施例では、インターネット経由で複数の視点位置で撮影された任意視点生成用映像を取得する構成で説明する。なお任意視点生成用映像の取得方法、取得経路については、本実施例の方法や経路に限定する必要は無く、同様の映像が取得できる方法や経路であればよい。また、本実施例の説明において実施例１と同様の部分については、その説明を省略あるいは簡略化する。
【００５０】
本実施例における任意視点映像を生成する映像生成装置は、図１と同様である。実施例１乃至３では、標準映像に対応するグラフィック画像から任意視点映像に対応するグラフィック画像を生成した。それらに対し本実施例では、任意視点映像を生成するための複数の任意視点生成用映像のそれぞれに対応する複数のグラフィック画像から、任意視点映像に対応するグラフィック画像を生成する。
【００５１】
複数の任意視点生成用映像それぞれに対応する複数のグラフィック画像は、任意視点生成用映像と同様にインターネット経由で取得される。図１の任意視点映像生成部１０８は、任意視点生成用映像データを基に、ユーザが選択した任意視点映像に関する視点情報を含むリモコン受信部１１９からの信号に応じた制御部１１８の制御指示に従い、任意視点映像データを生成する（第１生成手段）。
【００５２】
視点情報処理部１１２は、データ処理部１１１から各任意視点生成用映像に関する視点情報及び各任意視点生成用映像に対応するグラフィック画像を取得する。更に視点情報処理部１１２は、リモコン受信部１１９からの信号を受けた制御部１１８から、任意視点映像に関する視点情報を取得する。画像情報処理部１１３は、任意視点生成用映像に対応するグラフィック画像の画像情報を用いてグラフィック画像が方向属性を有するか否かを判別する。グラフィック画像生成部１１４は、画像情報処理部１１３においてグラフィック画像が方向属性を有する画像であると判別された場合は、視点情報処理部１１２が取得した任意視点映像に関する視点情報に対応するグラフィック画像を生成する（第２生成手段）。
【００５３】
以上のように、任意視点映像に対応するグラフィック画像を視点情報処理部１１２、画像情報処理部１１３及びグラフィック画像生成部１１４で生成してもよいし、任意視点映像生成部１０８において任意視点映像に対応するグラフィック画像を生成してもよい。
【００５４】
まず、複数の任意視点生成用映像のそれぞれに対応する複数のグラフィック画像について説明する。本実施例においても任意視点映像に合成するグラフィック画像として風向きを示すグラフィック画像を用いる。図１０は、任意視点生成用映像の撮影状態を示す図、図１１は図１０の任意視点生成用映像の撮影カメラとグラフィック画像との関係を示す図である。
【００５５】
任意視点生成用映像は図１０に示すように、ｎ台の撮影カメラ（カメラ１〜カメラｎ）で、被写体１０００を囲むようにして撮影する。図１１に示すように、各任意視点生成用映像に対応するグラフィック画像は、風向きを表す３次元グラフィック画像１１００を、図１０のｎ台の撮影カメラそれぞれに対応するｎ台の仮想カメラから見た画像となる。図１０のｎ台の撮影カメラと被写体１０００との位置関係と、図１１のｎ台の仮想カメラと３次元グラフィック画像１１００との位置関係は対応している。以後３次元グラフィック画像を被写体とする空間をグラフィック生成空間と呼ぶ。
【００５６】
よって映像処理装置は、このように生成された複数の任意視点生成用映像それぞれに対応する複数のグラフィック画像を、任意視点生成用画像と共にインターネット経由で取得する。
【００５７】
次に、任意視点映像に対応するグラフィック画像の生成方法について説明する。前述した複数の任意視点生成用映像それぞれに対応する複数のグラフィック画像を用いて任意視点映像に対応するグラフィック画像を生成する。本実施例では光線空間法を用いたグラフィック画像の生成方法を説明する。
【００５８】
まず、図１２（ａ）に示すように、グラフィック生成空間にＸＹＺ座標系を設置する。そして図１２（ｂ）に示すように、Ｘ、Ｙ、Ｚ各軸をＹ軸回りにθ度回転した後に、Ｘ軸回りにφ度回転したＰＱＲ座標系を設定する。ここで、Ｒ軸を光線の進行方向とする。このとき、実空間の光線情報は式２で得られる。また、ＸＹＺ座標系をＰＱＲ座標系に変換した後の、ＰＱ平面に光線情報を射影する際の光線情報は式３で表される。
【００５９】
【数２】
2011151773.tif 000004
【００６０】
【数３】
2011151773.tif 000005
【００６１】
ここで、Ｐ、Ｑ、Ｒ軸それぞれの単位ベクトルをｐ、ｑ、ｒ、とすると、グラフィック生成空間中の点Ａ（Ｘａ、Ｙａ、Ｚａ）の位置ベクトルａは式４で得られる。
【００６２】
【数４】
2011151773.tif 000006
【００６３】
また、Ｐ軸の単位ベクトルは式５、Ｑ軸の単位ベクトルは式６、Ｒ軸の単位ベクトルは式７で得られる。
【００６４】
【数５】
2011151773.tif 000007
【００６５】
【数６】
2011151773.tif 000008
【００６６】
【数７】
2011151773.tif 000009
【００６７】
そして、式４に式５、式６、式７を代入して、Ｐ、ＱをＸａ、Ｙａ、Ｚａで表すと、式８、式９が得られる。
【００６８】
【数８】
2011151773.tif 000010
【００６９】
【数９】
2011151773.tif 000011
【００７０】
なお、グラフィック生成空間ＸＹＺ上の点Ａ（Ｘａ、Ｙａ、Ｚａ）を通過する光線の情報は、式９、式１０より算出した（Ｐ、Ｑ）の位置に記録されている光線情報ｆ（Ｐ、Ｑ、θ、φ）を読み出すことで得られる。
【００７１】
カメラによる撮影とは、カメラのレンズ焦点を通過する光線を撮像面で受光し、その明るさや色などを画像化する操作に相当する。すなわち、実空間中の焦点位置を通過する光線群を画像として画素数分得ることと同義であるため、実空間中の任意視点位置で光線情報を読み出すことで、画像を得ることが可能である。グラフィック生成空間でも同様のことが言えるため、前述した処理から、ユーザが選択した任意の視点位置における任意視点映像に、表示方向が正確なグラフィック画像が生成される。
【００７２】
次に、生成したグラフィック画像の表示座標と表示サイズの決定方法に関して説明する。
本実施例では、グラフィック画像の画像情報に、実施例１における方向情報に代わり、表示情報テーブルが含まれている。図１３に本実施例で用いる表示情報テーブルを示す。表示情報テーブルは、視点位置、視線方向、視野角、グラフィック表示位置、グラフィック拡大率で構成されている。
【００７３】
まず、ユーザからの制御指示によって指定された任意視点映像の視点位置、視線方向、視野角と、表示情報テーブル内の視点位置、視線方向、視野角を比較する。次に、比較結果が一番近い表示情報テーブル内のグラフィック表示位置に、グラフィック画像を配置する。グラフィック表示位置は、生成したグラフィック画像の重心を配置する任意視点映像内の位置とし、座標系はユーザが選択した任意の視点位置における任意視点映像の左下を原点としたｘｙ座標系としている。なお、本実施例では生成したグラフィック画像の重心をグラフィック表示位置に配置したが、これに限定されない。
【００７４】
次に、グラフィック拡大率を用いて、グラフィック映像の拡大縮小を行う。本実施例におけるグラフィック拡大率は０以上の整数で与えられ、１００の場合は拡大縮小を行わず、２００の場合は２倍に拡大、５０の場合は１／２に縮小される。なお、０の場合はグラフィック自体を表示しない。
【００７５】
以上より生成したグラフィック画像の表示座標と表示サイズが決定される。
【００７６】
本実施例では、図１１のグラフィック生成空間中の任意視点映像の視点位置を通過する光線情報を用いて生成したグラフィック画像データを、グラフィック生成空間中の任意視点映像の視点位置に対応した実空間中の視点位置における任意視点映像に合成する。合成した映像は図７（ａ）のようになる。
【００７７】
なお本実施例では、光線空間法と呼ばれる方法で任意視点映像およびグラフィック画像を生成するが、任意視点映像およびグラフィック画像を生成可能な方法であれば、その種類は限定されない。
【００７８】
以上のように、任意視点映像を生成するための複数の任意視点生成用映像のそれぞれに対応する複数のグラフィック画像から、任意視点映像に対応するグラフィック画像を生成する。よって、視点位置や視線方向に応じて変化すべきグラフィック画像を、ユーザが選択した映像に適した表示形態で提供することができる。
【符号の説明】
【００７９】
１０８  任意視点映像生成部
１１２  視点情報処理部
１１３  画像情報処理部
１１４  グラフィック画像生成部
８０２  映像選択部
【図１】
2011151773.tif 000012
【図２】
2011151773.tif 000013
【図３】
2011151773.tif 000014
【図４】
2011151773.tif 000015
【図５】
2011151773.tif 000016
【図６】
2011151773.tif 000017
【図７】
2011151773.tif 000018
【図８】
2011151773.tif 000019
【図９】
2011151773.tif 000020
【図１０】
2011151773.tif 000021
【図１１】
2011151773.tif 000022
【図１２】
2011151773.tif 000023
【図１３】
2011151773.tif 000024
【図１４】
2011151773.tif 000025