(57)【要約】  実写映像と CG との合成において、実写映像がカメラを移動しながら撮影された映像である場合、その映像の動きに合わせて違和感ないように動く CG を生成するには、予め CG の表示タイミングと表示位置とを的確に調整して、プログラムを組むという困難な作業が必要であった。  本発明は、カメラを移動させながら撮影された実写映像に対して、見た目上の違和感をできるだけ緩和するように CG を生成し、リアリティの高い合成映像を生成する。
2009157152.tif 000002
【特許請求の範囲】
【請求項１】
複数のビデオフレームからなるデジタルストリームから、各ビデオフレームを示すビデオフレーム識別子であって、前記ビデオフレームを撮影した撮影状況を表すパラメータが対応付けられたビデオフレーム識別子を取得する取得部と、
前記パラメータに基づいて、撮影状況を表示態様に反映するようにグラフィックスを生成する生成部と、
前記デジタルストリームに基づく各ビデオフレームに対して、当該ビデオフレームを示すビデオフレーム識別子に対応付けられたパラメータに基づいて生成されたグラフィックスを逐次合成する合成部とを備える
ことを特徴とする合成装置。
【請求項２】
前記パラメータは、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したカメラの配置を示すカメラ配置情報を含む
ことを特徴とする請求項1に記載の合成装置。
【請求項３】
前記カメラ配置情報は、前記カメラの撮影位置を示す撮影位置情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物を前記撮影位置情報で示される位置から撮影したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項2に記載の合成装置。
【請求項４】
前記デジタルストリームは、
前記複数のビデオフレーム識別子で示されるビデオフレームのそれぞれを表示すべきタイミングを示す時間情報を含み、
前記複数のビデオフレーム識別子と前記カメラ配置情報との対応付けは、
前記カメラ配置情報を前記時間情報に付加することでなされ、
前記合成装置は、
前記デジタルストリームをデコードするデコード部を備え、
前記デコード部は、
前記デジタルストリームから前記ビデオフレーム識別子および前記時間情報を逐次取得し、
当該ビデオフレーム識別子で示されるビデオフレームを、当該時間情報で示されるタイミングでデコードし、
デコードするごとに前記カメラ配置情報を前記生成部に送信する
ことを特徴とする請求項3に記載の合成装置。
【請求項５】
前記デジタルストリームは、
前記カメラ配置情報が対応付けられていないビデオフレームを示すビデオフレーム識別子も含み、
前記デコード部は、
前記デジタルストリームから取得した前記時間情報に、
カメラ配置情報が付加されている場合は、当該カメラ配置情報を生成部に送信し、
カメラ配置情報が付加されていない場合は、直前に前記生成部に送信したカメラ配置情報を再度前記生成部に送信する
ことを特徴とする請求項4に記載の合成装置。
【請求項６】
前記パラメータは、更に、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したときの光源の配置を示す光源配置情報も含む
ことを特徴とする請求項5に記載の合成装置。
【請求項７】
前記光源配置情報は、前記光源の照射位置を示す照射位置情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物に前記照射位置情報で示される位置から光を照射したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項6に記載の合成装置。
【請求項８】
前記光源配置情報は、前記光源の照射強度を示す照射強度情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物に前記照射強度情報で示される強度の光を照射したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項7に記載の合成装置。
【請求項９】
前記カメラ配置情報は、前記カメラの撮影方向を示す撮影方向情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物を前記撮影方向情報で示される方向から撮影したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項2に記載の合成装置。
【請求項１０】
前記パラメータは、更に、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したときの光源の配置を示す光源配置情報も含む
ことを特徴とする請求項2に記載の合成装置。
【請求項１１】
前記光源配置情報は、前記光源の照射位置を示す照射位置情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物に前記照射位置情報で示される位置から光を照射したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項10に記載の合成装置。
【請求項１２】
前記光源配置情報は、前記光源の照射強度を示す照射強度情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物に前記照射強度情報で示される強度の光を照射したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項10に記載の合成装置。
【請求項１３】
前記光源配置を示す情報は、前記光源の色を示す色情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物に前記色情報で示される色の光を照射したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項10に記載の合成装置。
【請求項１４】
前記光源配置を示す情報は、前記光源の照射方向を示す照射方向情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物に前記照射方向情報で示される方向から光を照射したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項10に記載の合成装置。
【請求項１５】
複数のビデオフレームからなるデジタルストリームから、各ビデオフレームを示すビデオフレーム識別子であって、前記ビデオフレームを撮影した撮影状況を表すパラメータが対応付けられたビデオフレーム識別子を取得する取得ステップと、
前記パラメータに基づいて、撮影状況を表示態様に反映するようにグラフィックスを生成する生成ステップと、
前記デジタルストリームに基づく各ビデオフレームに対して、当該ビデオフレームを示すビデオフレーム識別子に対応付けられたパラメータに基づいて生成されたグラフィックスを逐次合成する合成ステップとを含む
ことを特徴とする合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルストリームを構成する映像とコンピューターグラフィックスで描かれた映像とを合成する合成装置に関する。
【背景技術】
【０００２】
記憶媒体の大容量化、画像処理の高速化などにより、民生用機器でも精緻な CG (Computer Graphics)を高速に描画することができるようになった。このような CG は、映画等の映像作品やゲームで広く用いられており、実写映像に CG を合成した作品などが提供されている。【０００３】
実写映像に CG を合成する技術として、CG のレンダリングを行う仮想空間上での光源の位置を、実写映像が撮影されたときの現実空間での光源の位置と等価にすることで、リアリティの高い合成映像を生成する技術がある。【０００４】
特許文献1 には、CG データに、現実空間の光源の配置を示すデータを組み合わせて CG を描画することにより、実写映像と CG とで陰影のつき方を一致させ、実写映像にリアリティの高い CG を合成する画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開 2005-107968号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、実写映像にはカメラを移動しながら撮影されるシーンも多々ある。このような実写映像に対して違和感のないように CG を合成するためには、カメラを動かすことによる実写映像の中の被写体の画面に対する動きに合わせて、CG の方も画面上の描画位置が動くように、予めプログラムを組んでおく必要がある。さもなければ、カメラの動きに応じて実写映像の中の被写体は画面に対して動くにもかかわらず、CG の方は画面上の特定の位置に留まったままというように、実写映像と CG とで動きにズレが生じて、見た目上の違和感を感じさせてしまう。【０００７】
ところが、実写映像に合わせて CG が動くように、CG の表示タイミングと表示位置とを的確に調整して、プログラムを組むことは困難である。【０００８】
本発明は、カメラを移動させながら撮影された実写映像に対して、見た目上の違和感をできるだけ緩和するように CG を生成し、リアリティの高い合成映像を生成する合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の合成装置は、複数のビデオフレームからなるデジタルストリームから、各ビデオフレームを示すビデオフレーム識別子であって、前記ビデオフレームを撮影した撮影状況を表すパラメータが対応付けられたビデオフレーム識別子を取得する取得部と、前記パラメータに基づいて、撮影状況を表示態様に反映するようにグラフィックスを生成する生成部と、前記デジタルストリームに基づく各ビデオフレームに対して、当該ビデオフレームを示すビデオフレーム識別子に対応付けられたパラメータに基づいて生成されたグラフィックスを逐次合成する合成部とを備えることを特徴とする合成装置である。
【発明の効果】
【００１０】
本発明の合成装置によると、ビデオフレームごとに、そのビデオフレームが撮影された状況を表すパラメータが対応付けられているので、ビデオフレームと合成すべき CG を生成する際に、そのパラメータに基づいて、撮影状況を表示態様に反映することでリアリティの高い映像を合成できる。【００１１】
ここで、撮影状況とは、実写映像を撮影する際に、カメラがどこに置かれ、どの向きに向けられていたかというカメラ配置や、照明がどこに設置されていたかという光源配置のことである。【００１２】
ここで、前記パラメータは、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したカメラの配置を示すカメラ配置情報を含む としてもよい。【００１３】
ビデオフレームと合成すべき CG の生成に必要な撮影状況を表すパラメータとしてカメラの配置を含めることにより、カメラの配置が変わることにより画面上を動く実写映像に対して、CG の動きを的確合わせることができるので、リアリティの高い映像を合成できる。【００１４】
ここで、前記カメラ配置情報は、前記カメラの撮影位置を示す撮影位置情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物を前記撮影位置情報で示される位置から撮影したときに得られるべき画像を生成することでなされる としてもよい。【００１５】
ビデオフレーム識別子に、そのビデオフレームを撮影したカメラの撮影位置を示す撮影位置情報を対応づけておき、そのビデオフレームと合成すべき CG を生成する際に、仮想空間上でのカメラの位置を撮影位置情報で示される位置と一致させることで、実写映像と CG との視点を一致させることができるので、リアリティの高い映像を合成できる。【００１６】
カメラの撮影位置は、カメラの配置を表す最も重要な要素である。【００１７】
ここで、前記デジタルストリームは、前記複数のビデオフレーム識別子で示されるビデオフレームのそれぞれを表示すべきタイミングを示す時間情報を含み、前記複数のビデオフレーム識別子と前記カメラ配置情報との対応付けは、前記カメラ配置情報を前記時間情報に付加することでなされ、前記合成装置は、前記デジタルストリームをデコードするデコード部を備え、前記デコード部は、前記デジタルストリームから前記ビデオフレーム識別子および前記時間情報を逐次取得し、当該ビデオフレーム識別子で示されるビデオフレームを、当該時間情報で示されるタイミングでデコードし、デコードするごとに前記カメラ配置情報を前記生成部に送信する としてもよい。【００１８】
ビデオフレームと合成すべき CG を生成するために必要なカメラ配置情報を、ビデオフレームを表示するタイミングに合わせて生成部に送信することで、ビデオフレームと CG とを同期することができる。【００１９】
ここで、前記デジタルストリームは、前記カメラ配置情報が対応付けられていないビデオフレームを示すビデオフレーム識別子も含み、前記デコード部は、前記デジタルストリームから取得した前記時間情報に、カメラ配置情報が付加されている場合は、当該カメラ配置情報を生成部に送信し、カメラ配置情報が付加されていない場合は、直前に前記生成部に送信したカメラ配置情報を再度前記生成部に送信する としてもよい。【００２０】
カメラ配置情報は、再生とともに急激に変化するとは考えにくいので、ビデオフレームにカメラ配置情報が対応付けられていない場合は、直前のビデオフレームに対応付けられているカメラ配置情報で代用することができる。【００２１】
ここで、前記パラメータは、更に、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したときの光源の配置を示す光源配置情報も含む としてもよい。【００２２】
ビデオフレームと合成すべき CG の生成に必要な撮影状況を表すパラメータとして光源の配置を含めることにより、CG に描く陰影をよりリアリティのあるものにすることができる
ここで、前記光源配置情報は、前記光源の照射位置を示す照射位置情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物に前記照射位置情報で示される位置から光を照射したときに得られるべき画像を生成することでなされる としてもよい。【００２３】
ビデオフレームと合成すべき CG の生成において、そのビデオフレームを撮影したときの光源の位置と同じ位置に光源を仮想空間に再現することで、実写映像と CG との陰影のつき方を一致させることができるので、リアリティの高い映像を合成できる。【００２４】
ここで、前記光源配置情報は、前記光源の照射強度を示す照射強度情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物に前記照射強度情報で示される強度の光を照射したときに得られるべき画像を生成することでなされる としてもよい。【００２５】
ビデオフレームと合成すべき CG の生成において、そのビデオフレームを撮影したときの光源の強度と同じ強度の光源を仮想空間に再現することで、実写映像と CG との陰影のつき方を一致させることができるので、リアリティの高い映像を合成できる。【００２６】
ここで、前記カメラ配置情報は、前記カメラの撮影方向を示す撮影方向情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物を前記撮影方向情報で示される方向から撮影したときに得られるべき画像を生成することでなされる としてもよい。【００２７】
ビデオフレーム識別子に、そのビデオフレームを撮影したカメラの撮影方向を示す撮影方向情報を対応づけておき、そのビデオフレームと合成すべき CG を生成する際に、仮想空間上でのカメラの方向を撮影方向情報で示される方向と一致させることで、実写映像と CG との視点を一致させることができるので、リアリティの高い映像を合成できる。【００２８】
ここで、前記光源配置を示す情報は、前記光源の色を示す色情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物に前記色情報で示される色の光を照射したときに得られるべき画像を生成することでなされる としてもよい。【００２９】
ビデオフレームと合成すべき CG の生成において、そのビデオフレームを撮影したときの光源の色と同じ色の光源を仮想空間に再現することで、実写映像と CG との色調を一致させることができるので、リアリティの高い映像を合成できる。【００３０】
ここで、前記光源配置を示す情報は、前記光源の照射方向を示す照射方向情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物に前記照射方向情報で示される方向から光を照射したときに得られるべき画像を生成することでなされる としてもよい。【００３１】
ビデオフレームと合成すべき CG の生成において、そのビデオフレームを撮影したときの光源の照射方向と同じ照射方向の光源を仮想空間に再現することで、実写映像と CG との陰影のつき方を一致させることができるので、リアリティの高い映像を合成できる。
【図面の簡単な説明】
【００３２】
【図１】本実施形態における再生装置の使用形態を示す図。
【図２】本実施形態における再生装置が再生するBD-ROMの構成を示す図。
【図３】本実施形態における再生装置が再生するBD-ROMのレイヤモデルを示す図。
【図４】本実施形態における再生装置の再生モードを示す図。
【図５】本実施形態における再生装置の機能構成を示す図。
【図６】本実施形態における再生装置を構成するレンダリングエンジンの機能構成を示す図。
【図７】仮想空間上でのカメラ配置を示す図。
【図８】仮想空間上でのカメラ配置と合成映像との関係を示す図。
【図９】本実施形態におけるビデオフレームIDと配置情報の対応付けを示す図。
【図１０】カメラ配置情報および光源配置情報の例
【図１１】カメラが移動しながら撮影された映像を再生する場合の本実施形態の再生装置の動作を示す図。
【図１２】カメラが移動しながら撮影された映像を再生する場合の本実施形態の再生装置における合成装置の動作を示す図。
【図１３】光源が移動しながら撮影された映像を再生する場合の本実施形態の再生装置の動作を示す図。
【図１４】本実施形態における再生装置の合成映像生成動作を示す図。
【発明を実施するための最良の形態】
【００３３】
本実施形態では、カメラを移動しながら撮影した映像にCG を合成する合成装置を用いた再生装置の例について説明する。
《使用形態》
まず、本実施形態における再生装置 100の使用形態を図1 を用いて説明する。本実施形態における再生装置 100は、映像を表示するためのテレビ 101、再生装置 100を操作するためのリモコン 102などによって構成されるホームシアターシステムにおいて、BD-ROM 103などのメディアで供給される映画作品等を鑑賞する用途に用いられる。このホームシアターシステムは、BD-ROM 103に記録されたコンテンツの他に、補助的なデータを記録するためにリムーバブルメディア 504を備えている。本実施形態における再生装置 100は、BD-ROM 103およびリムーバブルメディア 504からコンテンツを読み取り再生する。本実施形態では、映画等のコンテンツを再生するたのAV(Audio-Video)アプリケーションを主眼におくが、BD-ROM 103の代わりに、CD-ROM や DVD-ROM 等の記録媒体を利用することも可能である。
《データ構成》
次に、BD-ROM 103 に記録されるデータの構成について、図2 を用いて説明する。【００３４】
BD-ROM 103は、CD-ROM や DVD-ROM など他の光ディスクと同様に、内周から外周に向けて螺旋状に記録領域を持ち、内周のリード・インと外周のリード・アウトの間に論理データを記録できる論理アドレス空間を有している。【００３５】
リード・インの内側には、BCA (Burst Cutting Area) と呼ばれる特別な領域がある。この領域は、工場で記録されて以降、改竄できないので、例えば著作権保護技術などに利用されることがよくある。【００３６】
論理アドレス空間には、ファイルシステム情報を先頭に、映像データなどのアプリケーションデータが記録されている。【００３７】
ファイルシステムとは、UDF(Universal Disk Format) や ISO9660 などのことである。ファイルシステムにより、BD-ROM 上に階層化されたディレクトリの中に分類して記録されたファイルを読み出すことが可能になっている。【００３８】
本実施形態における再生装置 100が再生するBD-ROM 103に記録されているデジタルストリームとそれに関連するデータは、BD-ROM 103のルートディレクトリ直下におかれたディレクトリ BDMV の中に格納されている。【００３９】
ディレクトリ BDMV には、PLAYLIST、CLIPINF、STREAM、BDJO、JAR なる 5つのサブディレクトリと、index.bdmv、MovieObject.bdmv なる 2つのファイルが配置されている。以下、それぞれのディレクトリとそこに存在するファイルについて説明する。以下の説明で拡張子とは、ファイル名を 「.」(ピリオド) で分解し、各要素をファイル名の中に登場する順序で並べたときの最後の要素である。例えば、ファイル名が xxx.yyy の場合、yyy が拡張子である。【００４０】
ディレクトリ PLAYLIST には、拡張子 mpls が付与されたファイルが存在する。このファイルは、プレイリスト情報を格納したファイルである。プレイリスト情報とは、デジタルストリームの再生における開始位置と終了位置とで定義される再生区間を記録した情報である。【００４１】
ディレクトリ CLIPINF には、拡張子 clpi が付与されたファイルが存在する。このファイルは、各デジタルストリームに対応するクリップ情報である。クリップ情報には、デジタルストリームの符号化形式、フレームレート、ビットレート、解像度等の情報や、再生時間と GOP(Group Of Pictures) の開始位置の対応関係を示す情報が含まれている。【００４２】
ディレクトリ STREAM には、拡張子 m2ts が付与されたファイルが存在する。このファイルは、映画作品の本体となるデジタルストリームを格納している。デジタルストリームは、MPEG-TS (Transport Stream) 形式であって、複数のストリームが多重化されて構成されている。デジタルストリームは、映画作品の動画部分を表すビデオストリームと、映画作品の音声部分を表すオーディオストリームとを含んでいる。また、デジタルストリームは、映画作品の字幕部分を表すサブビデオストリームを含んでいてもよい。【００４３】
ディレクトリ JAR には、拡張子 jar が付与されたファイルが存在する。このファイルは、Java(登録商標)アーカイブファイルである。Java(登録商標)アーカイブファイルとは，Java(登録商標)仮想マシンを用いて動的なシナリオ制御を行うJava(登録商標)アプリケーションのプログラムを記述したファイルである。このファイルは、BD-ROM に記録されたコンテンツの再生単位を示すタイトルの再生をJava(登録商標)アプリケーションから制御する場合に用られる。【００４４】
ディレクトリ BDJO には、拡張子 bdjo が付与されたファイルが存在する。このファイルは、BD-Jオブジェクトを格納したファイルである。BD-Jオブジェクトとは、プレイリスト情報により示されるデジタルストリームと、アプリケーションとを関連付けることにより、コンテンツの再生単位を示すタイトルを定義する情報である。BD-Jオブジェクトは、アプリケーション管理テーブルと、そのタイトルにおいて再生可能なプレイリスト一覧を示す。1つのアプリケーションは、1つ以上の Java(登録商標)アーカイブファイルで構成されるので、アプリケーションの識別子と、そのアプリケーションに属する Java(登録商標)アーカイブファイルの識別子との対応関係を示したテーブルが、アプリケーション管理テーブルである。【００４５】
ファイル index.bdmv は、BD-ROM 全体に関する管理情報を格納している。この管理情報には、映画作品のプロバイダを特定する 32bit の識別子 organizationID や、プロバイダが提供する BD-ROM ごとに割り当てられた128bit の識別子 discID などが含まれており、再生装置へのディスク挿入後に、ファイル index.bdmv が最初に読み出されることで、再生装置はディスクを一意に認識する。すなわち、どこのプロバイダが提供する何という映画作品が記録されたBD-ROM であるかを認識することができる。更に、ファイル index.bdmv には、BD-ROM において再生可能となる複数のタイトルと、各タイトルを規定する BD-Jオブジェクトとを対応付けて示すテーブルが含まれている。【００４６】
ファイル MovieObject.bdmv には、HDMVモードでの各タイトル再生で、再生進行を動的に変化させるためのシナリオが記述されたシナリオプログラムが含まれている。HDMVモードについては後述する。
《レイヤモデル》
図3は再生制御のレイヤモデルを示した図である。以下、各層ごとの説明を行う。【００４７】
第1層は、物理層である。この層では、処理対象となるストリーム本体をどの記録媒体から供給するかという制御を規定している。処理対象となるストリームは、BD-ROM だけではなく、ローカルストレージやリムーバブルメディアといったあらゆる記録媒体、および、ネットワークを供給源としている。ここで、ローカルストレージとは、ハードディスクなどの再生装置に予め組み込まれた記録媒体である。これらローカルストレージ、リムーバブルメディア、ネットワークといった供給源に対して、ディスクアクセス、カードアクセス、ネットワーク通信などの制御が第1層の制御である。【００４８】
第2層は、AVデータの層である。第2層は、第1層で供給されたストリームを、どのような復号化方式を用いて復号するのかを規定している。【００４９】
第3層は、BD管理データの層である。第3層は、ストリームの静的なシナリオを規定している。静的なシナリオとは、ディスク制作者によって予め規定されたプレイリスト情報、および、クリップ情報であり、第3層は、これらに基づく再生制御を規定している。【００５０】
第4層は、BD再生プログラムの層である。第4層は、ストリームの動的なシナリオを規定している。動的なシナリオとは、AVストリームの再生手順、および、その再生に関する制御手順のうち少なくとも一方を実行するプログラムである。動的なシナリオによる再生制御は、装置に対するユーザ操作に応じて変化する。ここでの動的な再生制御には、HDMVモードと BD-Jモードの 2つのモードがある。HDMVモードとは、BD-ROM に記録された動画データを、再生機器特有の再生環境で再生するモードである。HDMVモードでは、再生進行を動的に変化させるためのシナリオが記述されたシナリオプログラムが再生制御を行う。BD-Jモードとは、BD-ROMに記録された動画データを、付加価値を高めて再生するモードである。BD-Jモードでは、Java(登録商標)アプリケーションが再生制御を行う。【００５１】
図4は、HDMVモードおよび BD-Jモードで再生される動画の一場面を示す図である。【００５２】
図4(a) は、HDMVモードで再生される動画の一場面を示した図である。HDMVモードでは、メニューを表示し、ユーザがメニューに対して選択操作を行うことで再生が進行するというような再生制御が行われる。【００５３】
図4(b) は、BD-Jモードで再生される動画の一場面を示した図である。BD-Jモードでは、Java(登録商標)仮想マシンが解釈可能なJava(登録商標)言語で記述されたJava(登録商標)]アプリケーションにより再生制御が行われる。BD-Jモードでは、実写映像の中で CG のキャラクターが動いているように見せる再生制御を定義することができる。図4(b)では、テーブル T の上に CG のキャラクターが描かれている。
《再生装置の機能構成 》
図5 は、本実施形態における再生装置 100の大まかな機能構成を示すブロック図ある。【００５４】
本実施形態における再生装置 100は、BD-ROMドライブ 501、トラックバッファ 502、ローカルストレージ 503、リムーバブルメディア 504、ネットワークインターフェース 505、仮想ファイルシステム 510、静的シナリオメモリ 520、動的シナリオメモリ 530、ユーザ操作探知モジュール 540、モード管理モジュール 541、ディスパッチャ 542、HDMVモジュール 543、BD-Jモジュール 544、AV再生ライブラリ 545、レンダリングエンジン 550、イメージメモリ 551、デマルチプレクサ 552、イメージデコーダ 553、ビデオデコーダ 554、オーディオデコーダ 555、イメージプレーン 556、ビデオプレーン 557、合成器 558、テレビ出力部 559、スピーカ出力部 560を含んだ構成となっている。【００５５】
以下、各構成要素について説明する。【００５６】
BD-ROMドライブ 501 は、BD-ROM のローディングとイジェクトを行い、BD-ROM が挿入されている状態で、BD-ROM に対するアクセスを実行する機能を有する。【００５７】
トラックバッファ 502 は、FIFOメモリであり、BD-ROM から読み出されたデータが先入れ先出し式に格納される。【００５８】
デマルチプレクサ 552 は、BD-ROMドライブ 501 にローディングされている BD-ROM、または、ローカルストレージ 503あるいはリムーバブルメディア 504 上に保存されたデジタルストリームを、仮想ファイルシステム 510を介して読み出し多重分離を行い、多重分離により得たビデオフレームとオーディオフレームとを、ビデオデコーダ 554 とオーディオデコーダ 555 とにそれぞれ出力する機能を有する。デマルチプレクサ 552 は、デジタルストリームに副映像ストリームが多重化されている場合は、多重分離により得た副映像ストリームを、イメージメモリ 551 に出力し、ナビゲーションボタン情報を、動的シナリオメモリ 530 に出力する。デマルチプレクサ 552 による多重分離は、TS(Transport Stream)パケットをPES(Packetized Elementary Stream)パケットに変換するという変換処理を含む。デマルチプレクサ 552 は、PESパケットから PTS(Presentation Time Stamp) を抽出し、実写映像と CG とを同期させるために、ビデオデコーダ 554およびレンダリングエンジン 550にPTS を通知する。【００５９】
ビデオデコーダ 554 は、デマルチプレクサ 552 から出力されたビデオフレームを復号して、非圧縮形式のピクチャを ビデオプレーン 557 に書き込む機能を有する。【００６０】
ビデオプレーン 557 は、非圧縮形式のピクチャを格納しておくためのメモリである。【００６１】
オーディオデコーダ 555 は、デマルチプレクサ 552 から出力されたオーディオフレームを復号して、非圧縮形式のオーディオデータを スピーカ出力部 560 に出力する機能を有する。【００６２】
イメージメモリ 551 は、デマルチプレクサ 552 から読み出された副映像ストリームやナビゲーションボタン情報内のPNG(Portable Network Graphics)データ、あるいは、仮想ファイルシステム 510 を介してBD-ROM または ローカルストレージ 503、リムーバブルメディア 504から読み出された画像ファイルを格納しておくためのメモリである。【００６３】
イメージデコーダ 553 は、イメージメモリ 551 に格納された副映像ストリーム、PNGデータ、画像ファイルを展開してイメージプレーン 556 に書き込む。【００６４】
イメージプレーン 556 は、一画面分の領域をもったメモリであり、副映像ストリーム、PNGデータ、画像ファイルが、イメージデコーダ 553によってビットマップに展開されて配置される。イメージプレーン 556に展開された画像は、そのまま画面上に現れる。例えば、副映像ストリームに各種メニューが格納されていれば、イメージプレーン 556にメニューを表す画像が展開されることで、画面上にメニュー現れることになる。【００６５】
合成器 558 は、ビデオプレーン 557 に格納された非圧縮形式のピクチャに、イメージプレーン 556 に展開されたイメージを合成してテレビ出力部 559 に出力する機能を有する。【００６６】
静的シナリオメモリ 520 は、HDMVモジュール 543またはBD-Jモジュール 544が現在処理対象としている静的シナリオ情報を、格納しておくためのメモリである。静的シナリオ情報とは、プレイリスト情報およびストリーム情報である。静的シナリオ情報は、BD-ROM 103に記録されたコンテンツの再生区間を規定する情報であり、ユーザ操作によってコンテンルの再生が選択されたとき、静的シナリオ情報に従って再生が行われる。【００６７】
動的シナリオメモリ 530 は、HDMVモジュール 543またはBD-Jモジュール 544が現在実行対象としている動的シナリオ情報を、格納しておくためのメモリである。動的シナリオ情報とは、HDMVモードでは、シナリオプログラム、BD-Jモードでは、Java(登録商標)クラスファイルである。動的シナリオ情報は、BD-ROM 103に記録された複数のコンテンツのうちどれを再生させるかといったメニューなどを表示するプログラムである。HDMVモードで実行されるシナリオプログラムは、従来の DVD と同様の簡単なメニューを表示するが、BD-Jモードでは実行されるJava(登録商標)クラスファイルは、CGキャラクターが登場したり、選択中のコンテンツの映像をプレビューするような複雑なメニューを表示できる。本実施形態における再生装置 100は、このようなメニューの表示において、CGキャラクターとプレビュー映像とを違和感なく合成する。【００６８】
HDMVモジュール 543 は、HDMVモードの実行主体となる DVD 仮想プレーヤであり、動的シナリオメモリ 530 に読み出されたシナリオプログラムを実行する。【００６９】
BD-Jモジュール 544 は、Java(登録商標)プラットフォームであり、Java(登録商標)仮想マシンを含んでいる。BD-Jモジュール 544は、動的シナリオメモリ 530 に読み出された Java(登録商標)クラスファイルから、Java(登録商標)オブジェクトを生成する。Java(登録商標) オブジェクトは Java(登録商標) 言語で記述されており、Java(登録商標) 仮想マシン上で実行される。BD-Jモジュール 544は、Java(登録商標) 仮想マシンにより、Java(登録商標) オブジェクトをネイティブコードに変換し、変換されたネイティブコードを実行する。【００７０】
ユーザ操作探知モジュール 540 は、リモコンや再生装置のフロントパネルに対してなされたユーザ操作を検出して、ユーザ操作を示すユーザ操作情報を モード管理モジュール 541 に出力する。【００７１】
モード管理モジュール 541 は、BD-ROMドライブ 501 にローディングされた BD-ROM、または、ローカルストレージ 503、リムーバブルメディア 504から読み出されたモード管理テーブルを保持して、モード管理および分岐制御を行う。モード管理モジュール 541 によるモード管理とは、動的シナリオを HDMVモジュール 543 と BD-Jモジュール 544 のどちらに実行させるかというモジュールの割り当てである。すなわち、HDMVモードの場合には、動的シナリオを HDMVモジュール 543 に実行させ、BD-Jモードの場合には、動的シナリオを BD-Jモジュール 544 に実行させる。【００７２】
ディスパッチャ 542 は、現在の再生装置におけるモードを実行するのに適切なモジュールに、ユーザ操作情報を出力する。例えば、HDMVモードの実行中に、上下左右ボタンや決定ボタンの押下といったユーザ操作を示すユーザ操作情報を受け付けた場合、これらのユーザ操作情報を HDMVモードのモジュールに出力する。【００７３】
レンダリングエンジン 550 は、OPEN-GL といった基盤ソフトウェアを備え、BD-Jモジュール 544 からの指示に従って モデル情報のレンダリングを行う。モデル情報とは、CG として描画される対象をモデリングするために必要な座標や座標を結ぶ辺、辺に囲まれてできる面の色などの情報である。モデル情報に基づいて描画された CG の対象物を CGモデルと呼ぶ。レンダリングは、デマルチプレクサ 552より発行される PTS に同期するように行われ、描画された CG は イメージプレーン 556 に出力される。【００７４】
AV再生ライブラリ 545 は、HDMVモジュール 543、BD-Jモジュール 544 からの関数呼び出しに応じて、AV再生機能、プレイリストの再生機能を実行する。AV再生機能とは、DVDプレーヤ、CDプレーヤから踏襲した機能群であり、再生開始、再生停止、一時停止、一時停止の解除、静止画機能の解除、再生速度を即値で指定した早送り、再生速度を即値で指定した巻戻し、音声切り替え、副映像切り替え、アングル切り替えといった処理である。プレイリスト再生機能とは、これらの AV再生機能のうち、再生開始や再生停止をプレイリスト情報に従って行うことをいう。【００７５】
ネットワークインターフェース 505 は、BD-Jモジュール 544 によって制御され、インターネット上に公開された追加コンテンツをローカルストレージ 503 もしくは リムーバブルメディア 504にダウンロードする機能を有する。追加コンテンツとは、オリジナルの BD-ROM にないコンテンツであり、例えば追加の副音声、字幕、特典映像、アプリケーションなどである。【００７６】
ローカルストレージ 503 および リムーバブルメディア 504 は、ダウンロードしてきた追加コンテンツやアプリケーションが使うデータなどの保存に用いられる記録媒体である。追加コンテンツの保存領域は、BD-ROM ごとに分かれており、また、アプリケーションがデータの保持に使用できる領域は、アプリケーションごとに分かれている。ローカルストレージ 503 および リムーバブルメディア 504は、マージ管理情報の保存にも用いられる。マージ管理情報とは、ダウンロードした追加コンテンツが、どのようなマージ規則で BD-ROM上のデータとマージされるべきかを示す情報である。【００７７】
仮想ファイルシステム 510 は、BD-ROM上のコンテンツと、ローカルストレージ 503 もしくは リムーバブルメディア 504 に格納された追加コンテンツとを、マージ管理情報に従ってマージすることにより構築される仮想的な BD-ROM にアクセスするためのファイルシステムである。この仮想的な BD-ROM を仮想パッケージと呼ぶ。仮想パッケージには、HDMVモジュール 543 や BD-Jモジュール 544 から、オリジナル BD-ROM と同様にアクセスすることができる。仮想パッケージ上のコンテンツの再生において、再生装置 100 は、オリジナルの BD-ROM上のデータと、ローカルストレージ 503 もしくは リムーバブルメディア 504上のデータの両方を用いて再生制御を行うことになる。【００７８】
テレビ出力部 559 は、合成器 558によって合成された映像を、テレビ 101に出力する機能を有する。【００７９】
スピーカ出力部 560は、オーディオデコーダ 555によってデコードされた音声信号を、スピーカに出力する機能を有する。【００８０】
以上が再生装置 100の構成要素である。
《レンダリングエンジンの機能構成 》
次に、図5 におけるレンダリングエンジン 550の機能構成を図6 を用いて説明する。【００８１】
レンダリングエンジン 550は、時間情報取得部 601、モデル情報取得部 602、光源配置情報取得部 603、カメラ配置情報取得部 604、座標変換部 605、照射位置変換部 606、照射強度変換部 607、照射方向変換部 608、色変換部 609、撮影位置変換部 610、撮影方向変換部 611、生成部 612、陰影描画部 613、スクリーン投影部 614、グラフィックス出力部 615を含む構成となっている。【００８２】
時間情報取得部 601は、デマルチプレクサ 552によって分離された PTS を取得し、生成部 612に送信する。【００８３】
モデル情報取得部 602 は、仮想ファイルシステム 510 からモデル情報を取得し、座標変換部 605 に送信する。【００８４】
座標変換部 605 は、モデル情報取得部 602 から受信したモデル情報に含まれる座標を、CG をレンダリングする仮想空間の座標系での座標に変換する。【００８５】
光源配置情報取得部 603 は、デマルチプレクサ 552 から送信された光源配置情報を取得し、光源配置情報に含まれる情報の種類ごとに、適切な変換部に送信する。すなわち、光源の照射位置を示す照射位置情報は、照射位置変換部 606 に送信する。光源の強度を示す照射強度情報は、照射強度変換部 607 に送信する。光源の照射方向を示す照射方向情報は、照射方向変換部 608 に送信する。光源の色を示す色情報は、色変換部 609 に送信する。【００８６】
カメラ配置情報取得部 604 は、デマルチプレクサ 552 から送信されたカメラ配置情報を取得し、カメラ配置情報に含まれる情報の種類ごとに、適切な変換部に送信する。すなわち、カメラの撮影位置を示す撮影位置情報は、撮影位置変換部 610 に送信する。カメラの撮影方向を示す照情報は、撮影位置変換部 610 に送信する。【００８７】
生成部 612 は、座標変換部 605 で変換された座標データと、時間情報取得部 601 が取得した PTS から、PTS で示される再生時刻に表示されるべき CGモデルを生成する。【００８８】
陰影描画部 613 は、生成部 612 によって生成された CGモデルのデータを受け取ると、変換後の光源配置情報を用いて、対象物に陰影をつける。陰影描画部 613 は、仮想空間上に配置された対象物に対して、光源配置情報で示される光源から照射される光によってできる陰影を描画する。【００８９】
スクリーン投影部 614 は、陰影描画部 613 によって陰影をつけられたCGモデルのデータを受け取ると、変換後のカメラ配置情報を用いて、CGモデルをスクリーンに投影する。ここで、スクリーンとは、仮想空間上でカメラの撮影方向に対して垂直で有限の大きさをもった矩形平面である。スクリーンの大きさはカメラの設定により変更できるものであり、このスクリーンに投影されるものが、実際の画面に表示される映像に対応する。スクリーン投影部 614 は、仮想空間上の CGモデルを、カメラ配置情報で示されるカメラによって撮影したときに得られる2次元の画像を描画する。【００９０】
グラフィックス出力部 615 は、スクリーン投影部 614 により投影された 2次元の画像をイメージプレーン 556 に出力する。【００９１】
以上が、レンダリングエンジン 550の機能構成である。【００９２】
なお、上では、CGモデル全体に対して陰影をつける処理を実行してから、スクリーンへの投影処理を行うように説明したが、計算量を減らすために、実際に陰影をつける処理を実行する前に、スクリーンへ投影される範囲だけ切り出して、切り出された範囲内の CGモデルに対してのみ陰影をつけるようにしてもよい。
《カメラ配置と合成映像との関係》
図7 は、実写映像の撮影時のカメラ配置と、CG のレンダリングを行う仮想空間の座標関係を示す図である。【００９３】
図7(a) において、人物 A, B、テーブル T 、ランプ L は実物であり、フクロウ C は CG である。図7(a) は、テーブル T の両側に座っている人物 A, B をそれぞれの側面からカメラで撮影している様子を示している。図7(a) の座標軸 XYZ は、CG をレンダリングするための仮想空間を定義し、この座標系でフクロウ C は、テーブル T の中央に位置するように描画されている。【００９４】
実写映像と CG とを合成するためには、仮想空間上に生成された CG を、スクリーンに投影して 2次元の画像を得る必要がある。このスクリーンの位置を決めるカメラ配置、すなわち、カメラの撮影位置および撮影方向を、現実空間と一致するように仮想空間上に設定することで、実写映像と CG とを違和感なく合成することができる。【００９５】
すなわち、実写映像と合成する CG を生成するにあたって、その実写映像を撮影した瞬間のカメラ配置を、逐次、レンダリングエンジン 550に通知し、レンダリングエンジン 550は、逐次、通知されたカメラ配置をレンダリングに反映させることで、実写映像と CG とを違和感なく合成することができる。【００９６】
図7(a) のカメラ配置の下で、スクリーンに描画される映像は、図8(a) のようになる。【００９７】
次に、図7(a) と同じ対象を、異なるカメラ配置で撮影している様子を示した図が、図7(b) である。この場合も、現実空間におけるカメラ配置が変更されたことに対応して、仮想空間におけるカメラ配置の設定を変更することで、CG を投影すべきスクリーンが変更され、実写映像と CG とを違和感なく合成することができる。【００９８】
すなわち、図7(b) のカメラ配置の下で、スクリーンに描画される映像は、図8(b) のようになり、CG で描画されるフクロウ C のスクリーン上での位置が、実写映像と同期し、テーブル T の上にのっているような合成映像を表示することができる。【００９９】
図9 は、デジタルストリームに含まれる各ビデオフレームに、ビデオフレームID が割り当てられており、各ビデオフレームID ごとに、カメラ配置情報および光源配置情報が対応付けられて、デジタルストリーム内に埋め込まれていることを示す図である。【０１００】
デジタルストリームには、各ビデオフレームごとに、そのビデオフレームを表示するタイミングを示すPTS が対応付けて記録されている。【０１０１】
図9 は、時間軸を表す PTS が t1 のとき表示されるべきビデオフレームのビデオフレームID が F1、PTS が t2 のとき表示されるべきビデオフレームのビデオフレームID が F2 というように、ビデオフレームとそのビデオフレームを表示すべきタイミングとが対応付けられていることを示している。【０１０２】
図9(a) では、各ビデオフレームごとカメラ配置情報と光源配置情報とが対応付けられている。例えば、ビデオフレームID F1 で示されるビデオフレームには、カメラ配置情報 C1 、および、光源配置情報 L1 が対応付けられている。【０１０３】
ビデオフレームID F1 で示されるビデオフレームと合成する CG を、カメラ配置情報 C1 、および、光源配置情報 L1 に基づいて生成することは従来から行われている。【０１０４】
本実施形態における再生装置 100では、各ビデオフレームごとに上記のような対応付けをしているので、時刻 t1 のタイミングで、ビデオフレームID F1 で示されるビデオフレームを表示する際に、カメラ配置情報 C1、 および、光源配置情報 L1 に基づいて CG を生成し、時刻 t2 のタイミングで、ビデオフレームID F2 で示されるビデオフレームを表示する際に、カメラ配置情報 C2、 および、光源配置情報 L2 に基づいて CG を生成するというように、カメラ配置情報、および、光源配置情報を逐次 CG の生成に反映させることができる。【０１０５】
なお、ビデオフレームには、カメラ配置情報、および、光源配置情報が必ず対応付けられている必要はない。図9(b) は、カメラ配置情報は 2フレームごとに、光源配置情報は 3フレームごとに対応付けられている例を示す。カメラ配置情報あるいは光源配置情報が対応付けられていない場合は、直前と同じ値を用いる。この例では、ビデオフレームID F2 には、カメラ配置情報も光源配置情報も対応付けられていないので、直前のビデオフレームID F1 に対応付けられているカメラ配置情報 C1 および光源配置情報 L1 を用いる。
《配置情報の例》
図10 は、カメラ配置情報および光源配置情報の例を示す図である。【０１０６】
カメラ配置情報には、カメラが設置された位置を示す撮影位置、および、カメラが向けられた方向を示す撮影方向がある。【０１０７】
撮影位置は、現実の空間に設けられた座標系における位置ベクトルであり、3次元空間の 1点を表す 3つの成分により、カメラが設置された位置が表現される。【０１０８】
撮影方向は、現実の空間に設けられた座標系における方向ベクトルであり、原点を始点としたときの終点の座標によって、3次元空間における 1つの方向を表す 3つの成分により、カメラが向けられた方向が表現される。【０１０９】
これらの情報は、GPS(Global Positioning System) や、撮影された映像内の被写体の位置を解析することで、撮影時に取得され、ストリームデータを記録する装置によって、予めストリームの中に記録される。【０１１０】
光源配置情報には、光源が設置された位置を示す照射位置情報、および、光源が向けられた方向を示す照射方向情報、光源が発する光の強さを示す照射強度情報、光源が発する光の色を示す色情報がある。【０１１１】
照射位置情報は、現実の空間に設けられた座標系における位置ベクトルであり、3次元空間の 1点を表す 3つの成分により、光源が設置された位置が表現される。光源が設置された位置に基づいて、仮想空間上に形成される CGモデルの、光が当たって明るくなっている部分、および、影になって暗くなっている部分が計算される。例えば、CGモデルの位置と光源の位置との関係から、CGモデルの表面のうち光源を向いている側が明るく描画される。また、CGモデルから光源の向きの逆方向に、CGモデルの影が描画される。【０１１２】
照射方向情報は、現実の空間に設けられた座標系における方向ベクトルであり、原点を始点としたときの終点の座標によって、3次元空間における 1つの方向を表す 3つの成分により、光源が向けられた方向が表現される。ただし、図10 に示した照射方向 (0, 0, 0) は、等方的な光源であるとする。光源が向けられた方向に基づいて、仮想空間上に形成される CGモデルの、光が当たって明るくなっている部分、および、影になって暗くなっている部分が計算される。光源から照射される光がCGモデルの方向を向いている場合は、その CGモデルには光が当たり明るく描画され、CGモデルの方向からそれている場合は、その CGモデルには光が当たらず暗く描画される。【０１１３】
照射強度情報は、光源が発する光の強さを何らかの尺度で示したスカラー値であり、光が照射されない場合を 0 として、数値が大きいほど強い光を示している。光源の照射強度に基づいて、仮想空間上に形成される CGモデルの、光が当たっている部分の明るさが計算される。すなわち、照射強度が小さければ、CGモデルは暗く描画され、照射強度が大きければ、CGモデルは明るく描画される。【０１１４】
色情報は、光源が発する光の色を、例えば、赤、緑、青の各成分の輝度を0〜255 までの 8ビットの整数値で表した RGB値で表現される。ただし、色情報は、8ビットの整数でなくても、16ビットあるいはそれ以上でもよいし、RGB でなくても CMYK など他の表現方法でもよい。光源の色に基づいて、仮想空間上に形成される CGモデルの色を補正する計算がなされる。例えば、光源の色が (64, 0, 0) のように赤みがかっている場合、CGモデルの色も赤みがかるように補正される。
《カメラが動く場合》
図11 は、カメラが移動する場合に再生される合成映像の例である。【０１１５】
図11(a) に示すように、カメラを左から右へ移動しながら撮影したとき、実写映像と CG とが同期して動く様子が、図11(b)〜(d) に示されている。【０１１６】
これらの合成映像がどのようにして合成されたかを、図12 を用いて説明する。【０１１７】
図12 には、カメラが左端にあるときに撮影された実写映像のビデオフレームを示すビデオフレーム ID を F1、カメラが中央にあるときに撮影された実写映像のビデオフレームを示すビデオフレーム ID を F100、カメラが右端にあるときに撮影された実写映像のビデオフレームを示すビデオフレーム ID を F200 として、それぞれのビデオフレームと、それらと合成すべき CG、合成後の合成映像を示している。【０１１８】
まず、カメラが左端にあるとき、図11(b) のように、人物 A とフクロウ C が画面に映っている。この映像は次のようにして生成される。【０１１９】
カメラが左端にあるとき、カメラの撮影位置情報を C1 とし、この撮影位置で撮影されるビデオフレームのビデオフレーム ID F1 に対して、撮影位置情報 C1 が対応付けられているとする。【０１２０】
デマルチプレクサ 552 は、ビデオフレーム ID F1 で示されるビデオフレームをビデオデコーダ 554 に出力し、ビデオフレームは、ビデオデコーダ 554 で復号され、ビデオプレーン 557 には、図12(a) に示す実写映像が書き込まれる。【０１２１】
デマルチプレクサ 552 は、ビデオフレーム ID F1 で示されるビデオフレームをビデオデコーダ 554 に出力する際に、ビデオフレーム ID F1 に対応付けられた撮影位置情報 C1 をレンダリングエンジン 550 に出力する。【０１２２】
レンダリングエンジン 550 は、仮想空間上でモデリングしたフクロウ C を、撮影位置情報 C1 で示される位置に設置したカメラで撮影したときに得られる画像を生成し、図12(d) に示す CG が、イメージプレーン 556 に書き込まれる。【０１２３】
ビデオプレーン 557 に書き込まれた図12(a) に示す実写映像と、イメージプレーン 556 に書き込まれた図12(d) に示す CG とが、合成器 558 によって合成され、図12(g) に示す合成映像が得られる。【０１２４】
次に、カメラが中央付近まで移動すると、図11(c) のように、人物 A が画面から消え、フクロウ C が画面の中央付近に映るようになる。この映像は次のようにして生成される。【０１２５】
カメラが中央にあるとき、カメラの撮影位置情報を C100 とし、この撮影位置で撮影されるビデオフレームのビデオフレーム ID F100 に対して、撮影位置情報 C100 が対応付けられているとする。【０１２６】
再生時刻が進むとともに、表示するビデオフレームを示すビデオフレーム ID が変化し、それに対応付けられている撮影位置情報も変化する。【０１２７】
従って、デマルチプレクサ 552 から ビデオデコーダ 554 に出力され、ビデオプレーン 557 に書き込まれる実写映像は、図12(a) から図12(b) のように変化する。【０１２８】
また、デマルチプレクサ 552 が レンダリングエンジン 550 に出力する撮影位置情報が変化するので、イメージプレーン 556 に書き込まれる CG も、図12(d) から図12(e) のように変化する。【０１２９】
ビデオプレーン 557 に書き込まれた図12(b) に示す実写映像と、イメージプレーン 556 に書き込まれた図12(e) に示す CG とが、合成器 558 によって合成され、図12(h) に示す合成映像が得られる。【０１３０】
最後に、カメラが右端まで移動すると、図11(d) のように、フクロウ C は画面の左に映るようになり、人物 B が現れる。この映像は次のようにして生成される。【０１３１】
カメラが右端にあるとき、カメラの撮影位置情報を C200 とし、この撮影位置で撮影されるビデオフレームのビデオフレーム ID F200 に対して、撮影位置情報 C200 が対応付けられているとする。【０１３２】
この場合も上記と同様で、再生時刻が進むとともに、表示するビデオフレームを示すビデオフレーム ID が変化し、それに対応付けられている撮影位置情報も変化する。【０１３３】
従って、デマルチプレクサ 552 から ビデオデコーダ 554 に出力され、ビデオプレーン 557 に書き込まれる実写映像は、図12(b) から図12(c) のように変化する。【０１３４】
また、デマルチプレクサ 552 が レンダリングエンジン 550 に出力する撮影位置情報が変化するので、イメージプレーン 556 に書き込まれる CG も、図12(e) から図12(f) のように変化する。【０１３５】
ビデオプレーン 557 に書き込まれた図12(c) に示す実写映像と、イメージプレーン 556 に書き込まれた図12(f) に示す CG とが、合成器 558 によって合成され、図12(i) に示す合成映像が得られる。【０１３６】
以上のように実写映像の動きに合わせて、CG の位置を調整することで、実写映像と CG とを違和感なく合成することができる。【０１３７】
以上のように実写映像の撮影状況を表すカメラの位置を、実写映像と CG とのスクリーン上での動きが一致し、違和感のない映像を合成することができる。
《光源が動く場合》
図13 は、光源が移動する場合に再生される合成映像の例である。【０１３８】
図13(a) に示すように、光源であるランプ L をもって左から右へ移動する人を撮影したとき、実写映像と CG との陰影が同期して変化する様子が、図13(b)〜(d) に示されている。【０１３９】
光源が左端にあるとき、図13(b) のように、瓶 D とフクロウ C の影が右側にできる。【０１４０】
光源が中央付近まで移動すると、図13(c) のように、瓶 D の影は左側にでき、フクロウ C の影は右側にできる。【０１４１】
光源が右端まで移動すると、図13(d) のように、フクロウ C の影は左側にできる
これらの映像は、次のようにして生成される。すなわち、図11および図12では、カメラが移動することで、撮影されたビデオフレームを示すビデオフレーム ID に対応付けられた撮影位置情報が変化していくため、撮影位置情報に応じて CG も変化していく例を示した。図13では、撮影位置情報の代わりに、光源位置情報が変化していくので、それに応じて CG に描画される陰影も変化していく。【０１４２】
以上のように実写映像の撮影状況を表す光源の位置を、逐次 CG の生成に反映させることで、実写映像と CG との陰影の動きが一致し、違和感のない映像を合成することができる。
《合成映像生成動作》
図14 は、実写映像と CG とを合成して、合成映像を生成する処理を示すフローチャートである。再生装置 100は、ストリームの再生において、以下のステップを繰り返し行う。【０１４３】
まず、デマルチプレクサ 552によって多重分離されたビデオストリームから、ビデオデコーダ 554が、ビデオフレームID F で示されるビデオフレームを取得する。(S1301)
ビデオデコーダ 554は、ビデオフレームID F で示されるビデオフレームをビデオプレーン 557に書き出すとともに、ビデオフレームID F に、カメラ配置情報が対応付けられているかどうかを判定し(S1302)、カメラ配置情報が対応付けられていれば(S1302 Y)、そのカメラ配置情報を現在のカメラ配置情報 C とする(S1303)。カメラ配置情報が対応付けられていなければ(S1302 N)、直前に用いたカメラ配置情報を現在のカメラ配置情報 C とする(S1304)。【０１４４】
同様に、ビデオデコーダ 554は、ビデオフレームID F に、光源配置情報が対応付けられているかどうかを判定し(S1305)、光源配置情報が対応付けられていれば(S1305 Y)、その光源配置情報を現在の光源配置情報 L とする(S1306)。光源配置情報が対応付けられていなければ(S1305 N)、直前に用いた光源配置情報を現在の光源配置情報 L とする(S1307)。【０１４５】
ビデオデコーダ 554は、現在のカメラ配置情報 C と現在の光源配置情報 L とを、レンダリングエンジン 550に通知し、レンダリングエンジン 550は、カメラ配置情報 C と光源配置情報 L とに基づいて、グラフィックス G を生成し(S1308)、イメージプレーン 556に書き出す。【０１４６】
最後に、合成器 558は、グラフィックス G がイメージプレーン 556に書き出されたことを検知して、ビデオプレーン 557に書き出されたビデオフレームと、イメージプレーン 556に書き出されたグラフィックス G とを読み出して、それらを合成する(S1309)。合成された映像は、テレビ出力部 559を介してテレビ 101に出力される。【０１４７】
以上は、ビデオデコーダ 554が 1枚のビデオフレームをデコードし、ビデオプレーン 557に書き出されたあと、合成器 558で合成されるまでのステップである。本実施形態における再生装置 100は、上述のステップを各ビデオフレームごとに繰り返し実行する。それにより、実写映像のビデオフレームごとに対応付けられたカメラ配置情報あるいは光源配置情報に応じて、実写映像と合成しても違和感のない CG を生成し、リアリティのある合成映像を生成することができる。
《補足》
なお、本実施形態では、撮影状況を表すパラメータとして、カメラ配置情報と光源配置情報とを例に説明をしたが、これらのいずれか一方だけでもよい。また、これらの以外の撮影状況を表すパラメータであっても、そのパラメータとビデオフレームID とを対応付けることで、CG の生成において、撮影状況を表示態様に反映できることは言うまでもない。【０１４８】
また、本実施形態では、ビデオフレームID とパラメータとの対応付けをPTS を介して行う例を示したが、PTS でなくても何らかの順序をもってビデオフレームの表示タイミングを示す時間情報であってもよい。【０１４９】
また、ビデオフレームID とパラメータとの対応付けは、PTS などの時間情報を介さなくても、直接対応付けるようにしてもよい。
【産業上の利用可能性】
【０１５０】
本発明を構成する合成装置は、製造産業において経営的に、また継続的および反復的に製造し、販売することができる。特に、映像コンテンツの製作に携わる映画産業・民生機器産業において利用できる。
【符号の説明】
【０１５１】
100：再生装置
101：テレビ
102：リモコン
103：BD-ROM
501：BD-ROMドライブ
502：トラックバッファ
503：ローカルストレージ
504：リムーバブルメディア
505：ネットワークインターフェース
510：仮想ファイルシステム
520：静的シナリオメモリ
521：カレントプレイリスト情報
522：カレントクリップ情報
530：動的シナリオメモリ
531：カレントシナリオ
540：ユーザ操作探知モジュール
541：モード管理モジュール
542：ディスパッチャ
543：HDMVモジュール
544：BD-Jモジュール
545：AV再生ライブラリ
550：レンダリングエンジン
551：イメージメモリ
552：デマルチプレクサ
553：イメージデコーダ
554：ビデオデコーダ
555：オーディオデコーダ
556：イメージプレーン
557：ビデオプレーン
558：合成器
559：テレビ出力部
560：スピーカ出力部
601：時間情報取得部
602：モデル情報取得部
603：光源配置情報取得部
604：カメラ配置情報取得部
605：座標変換部
606：照射位置変換部
607：照射強度変換部
608：照射方向変換部
609：色変換部
610：撮影位置変換部
611：撮影方向変換部
612：生成部
613：陰影描画部
614：スクリーン投影部
615：グラフィックス出力部
【図１】
2009157152.tif 000003
【図２】
2009157152.tif 000004
【図３】
2009157152.tif 000005
【図４】
2009157152.tif 000006
【図５】
2009157152.tif 000007
【図６】
2009157152.tif 000008
【図７】
2009157152.tif 000009
【図８】
2009157152.tif 000010
【図９】
2009157152.tif 000011
【図１０】
2009157152.tif 000012
【図１１】
2009157152.tif 000013
【図１２】
2009157152.tif 000014
【図１３】
2009157152.tif 000015
【図１４】
2009157152.tif 000016
【手続補正書】
【提出日】平成21年12月28日(2009.12.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のビデオフレームからなるデジタルストリームから、各ビデオフレームを示すビデオフレーム識別子であって、前記ビデオフレームを撮影した撮影状況を表すパラメータが対応付けられたビデオフレーム識別子を取得する取得部と、
前記パラメータに基づいて、撮影状況を表示態様に反映するようにグラフィックスを生成する生成部と、
前記デジタルストリームに基づく各ビデオフレームに対して、当該ビデオフレームを示すビデオフレーム識別子に対応付けられたパラメータに基づいて生成されたグラフィックスを逐次合成する合成部と、
前記デジタルストリームをデコードするデコード部とを備え、
前記デジタルストリームは、
前記複数のビデオフレーム識別子で示されるビデオフレームのそれぞれを表示すべきタイミングを示す時間情報を含み、
前記パラメータは、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したカメラの配置を示すカメラ配置情報を含み、
前記カメラ配置情報は、前記カメラの撮影位置を示す撮影位置情報を含み、
前記複数のビデオフレーム識別子と前記カメラ配置情報との対応付けは、
前記カメラ配置情報を前記時間情報に付加することでなされ、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物を前記撮影位置情報で示される位置から撮影したときに得られるべき画像を生成することでなされ、
前記デコード部は、
前記デジタルストリームから前記ビデオフレーム識別子および前記時間情報を逐次取得し、
当該ビデオフレーム識別子で示されるビデオフレームを、当該時間情報で示されるタイミングでデコードし、
デコードするごとに前記カメラ配置情報を前記生成部に送信する
ことを特徴とする合成装置。
【請求項２】
前記デジタルストリームは、
前記カメラ配置情報が対応付けられていないビデオフレームを示すビデオフレーム識別子も含み、
前記デコード部は、
前記デジタルストリームから取得した前記時間情報に、
カメラ配置情報が付加されている場合は、当該カメラ配置情報を生成部に送信し、
カメラ配置情報が付加されていない場合は、直前に前記生成部に送信したカメラ配置情報を再度前記生成部に送信する
ことを特徴とする請求項１に記載の合成装置。
【請求項３】
前記パラメータは、更に、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したときの光源の配置を示す光源配置情報も含む
ことを特徴とする請求項２に記載の合成装置。
【請求項４】
前記光源配置情報は、前記光源の照射位置を示す照射位置情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物に前記照射位置情報で示される位置から光を照射したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項３に記載の合成装置。
【請求項５】
前記光源配置情報は、前記光源の照射強度を示す照射強度情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物に前記照射強度情報で示される強度の光を照射したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項４に記載の合成装置。
【請求項６】
複数のビデオフレームからなるデジタルストリームから、各ビデオフレームを示すビデオフレーム識別子であって、前記ビデオフレームを撮影した撮影状況を表すパラメータが対応付けられたビデオフレーム識別子を取得する取得ステップと、
前記パラメータに基づいて、撮影状況を表示態様に反映するようにグラフィックスを生成する生成ステップと、
前記デジタルストリームに基づく各ビデオフレームに対して、当該ビデオフレームを示すビデオフレーム識別子に対応付けられたパラメータに基づいて生成されたグラフィックスを逐次合成する合成ステップと、
前記デジタルストリームをデコードするデコードステップとを含み、
前記デジタルストリームは、
前記複数のビデオフレーム識別子で示されるビデオフレームのそれぞれを表示すべきタイミングを示す時間情報を含み、
前記パラメータは、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したカメラの配置を示すカメラ配置情報を含み、
前記カメラ配置情報は、前記カメラの撮影位置を示す撮影位置情報を含み、
前記複数のビデオフレーム識別子と前記カメラ配置情報との対応付けは、
前記カメラ配置情報を前記時間情報に付加することでなされ、
前記生成ステップはよる前記グラフィックスの生成は、
仮想空間上において形成された対象物を前記撮影位置情報で示される位置から撮影したときに得られるべき画像を生成することでなされ、
前記デコードステップは、
前記デジタルストリームから前記ビデオフレーム識別子および前記時間情報を逐次取得し、
当該ビデオフレーム識別子で示されるビデオフレームを、当該時間情報で示されるタイミングでデコードし、
デコードするごとに前記カメラ配置情報を前記生成ステップに送信する
ことを特徴とする合成方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
の被写体は画面に対して動くにもかかわらず、ＣＧの方は画面上の特定の位置に留まったままというように、実写映像とＣＧとで動きにズレが生じて、見た目上の違和感を感じさせてしまう。
［０００７］
ところが、実写映像に合わせてＣＧが動くように、ＣＧの表示タイミングと表示位置とを的確に調整して、プログラムを組むことは困難である。
［０００８］
本発明は、カメラを移動させながら撮影された実写映像に対して、見た目上の違和感をできるだけ緩和するようにＣＧを生成し、リアリティの高い合成映像を生成する合成装置を提供することを目的とする。
課題を解決するための手段
［０００９］
上記課題を解決するために、本発明の合成装置は、複数のビデオフレームからなるデジタルストリームから、各ビデオフレームを示すビデオフレーム識別子であって、前記ビデオフレームを撮影した撮影状況を表すパラメータが対応付けられたビデオフレーム識別子を取得する取得部と、前記パラメータに基づいて、撮影状況を表示態様に反映するようにグラフィックスを生成する生成部と、前記デジタルストリームに基づく各ビデオフレームに対して、当該ビデオフレームを示すビデオフレーム識別子に対応付けられたパラメータに基づいて生成されたグラフィックスを逐次合成する合成部と、前記デジタルストリームをデコードするデコード部とを備え、前記デジタルストリームは、前記複数のビデオフレーム識別子で示されるビデオフレームのそれぞれを表示すべきタイミングを示す時間情報を含み、前記パラメータは、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したカメラの配置を示すカメラ配置情報を含み、前記カメラ配置情報は、前記カメラの撮影位置を示す撮影位置情報を含み、前記複数のビデオフレーム識別子と前記カメラ配置情報との対応付けは、前記カメラ配置情報を前記時間情報に付加することでなされ、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物を前記撮影位置情報で示される位置から撮影したときに得られるべき画像を生成することでなされ、前記デコード部は、前記デジタルストリームから前記ビデオフレーム識別子および前記時間情報を逐次取得し、当該ビデオフレーム識別子で示されるビデオフレームを、当該時間情報で示されるタイミングでデコードし、デコードするごとに前記カメラ配置情報を前記生成部に送信することを特徴とする合成装置である。
発明の効果
［００１０］
本発明の合成装置によると、ビデオフレームごとに、そのビデオフレームが撮影された状況を表すパラメータが対応付けられているので、ビデオフレームと合成すべきＣＧを生成する際に、そのパラメータに基づいて、撮影状況を表示態様に反映することでリアリティの高い映像を合成できる。
［００１１］
ここで、撮影状況とは、実写映像を撮影する際に、カメラがどこに置かれ、どの向きに向けられていたかというカメラ配置や、照明がどこに設置されていたかという光源配置のことである。
［００１２］
ここで、前記パラメータは、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したカメラの配置を示すカメラ
【手続補正書】
【提出日】平成22年8月26日(2010.8.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルストリームを構成する映像とコンピューターグラフィックスで描かれた映像とを合成する合成装置に関する。 
【背景技術】
【０００２】
記憶媒体の大容量化、画像処理の高速化などにより、民生用機器でも精緻な CG (Computer Graphics) を高速に描画することができるようになった。このような CG は、映画等の映像作品やゲームで広く用いられており、実写映像に CG を合成した作品などが提供されている。
【０００３】
実写映像に CG を合成する技術として、 CG のレンダリングを行う仮想空間上での光源の位置を、実写映像が撮影されたときの現実空間での光源の位置と等価にすることで、リアリティの高い合成映像を生成する技術がある。
【０００４】
特許文献1 には、CG データに、現実空間の光源の配置を示すデータを組み合わせて CG を描画することにより、実写映像と CG とで陰影のつき方を一致させ、実写映像にリアリティの高い CG を合成する画像表示装置が開示されている。 
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開 2005-107968号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、実写映像にはカメラを移動しながら撮影されるシーンも多々ある。このような実写映像に対して違和感のないように CG を合成するためには、カメラを動かすことによる実写映像の中の被写体の画面に対する動きに合わせて、 CG の方も画面上の描画位置が動くように、予めプログラムを組んでおく必要がある。さもなければ、カメラの動きに応じて実写映像の中の被写体は画面に対して動くにもかかわらず、 CG の方は画面上の特定の位置に留まったままというように、実写映像と CG とで動きにズレが生じて、見た目上の違和感を感じさせてしまう。
【０００７】
ところが、実写映像に合わせて CG が動くように、 CG の表示タイミングと表示位置とを的確に調整して、プログラムを組むことは困難である。
本発明は、カメラを移動させながら撮影された実写映像に対して、見た目上の違和感をできるだけ緩和するように CG を生成し、リアリティの高い合成映像を生成する合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の合成装置は、複数のビデオフレームからなるデジタルストリームから、各ビデオフレームを示すビデオフレーム識別子であって、前記ビデオフレームを撮影した撮影状況を表すパラメータが対応付けられたビデオフレーム識別子を取得する取得部と、前記パラメータに基づいて、撮影状況を表示態様に反映するようにグラフィックスを生成する生成部と、前記デジタルストリームに基づく各ビデオフレームに対して、当該ビデオフレームを示すビデオフレーム識別子に対応付けられたパラメータに基づいて生成されたグラフィックスを逐次合成する合成部と、 前記デジタルストリームをデコードするデコード部とを備え、前記デジタルストリームは、前記複数のビデオフレーム識別子で示されるビデオフレームのそれぞれを表示すべきタイミングを示す時間情報を含み、前記パラメータは、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したカメラの配置を示すカメラ配置情報を含み、前記カメラ配置情報は、前記カメラの撮影位置を示す撮影位置情報を含み、前記複数のビデオフレーム識別子と前記カメラ配置情報との対応付けは、前記カメラ配置情報を前記時間情報に付加することでなされ、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物を前記撮影位置情報で示される位置から撮影したときに得られるべき画像を生成することでなされ、前記デコード部は、前記デジタルストリームから前記ビデオフレーム識別子および前記時間情報を逐次取得し、当該ビデオフレーム識別子で示されるビデオフレームを、当該時間情報で示されるタイミングでデコードし、デコードするごとに前記カメラ配置情報を前記生成部に送信することを特徴とする合成装置である。
【発明の効果】
【０００９】
本発明の合成装置によると、ビデオフレームごとに、そのビデオフレームが撮影された状況を表すパラメータが対応付けられているので、ビデオフレームと合成すべき CG を生成する際に、そのパラメータに基づいて、撮影状況を表示態様に反映することでリアリティの高い映像を合成できる。
【００１０】
ここで、撮影状況とは、実写映像を撮影する際に、カメラがどこに置かれ、どの向きに向けられていたかというカメラ配置や、照明がどこに設置されていたかという光源配置のことである。
【００１１】
ここで、前記パラメータは、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したカメラの配置を示すカメラ配置情報を含む としてもよい。
【００１２】
ビデオフレームと合成すべき CG の生成に必要な撮影状況を表すパラメータとしてカメラの配置を含めることにより、カメラの配置が変わることにより画面上を動く実写映像に対して、 CG の動きを的確合わせることができるので、リアリティの高い映像を合成できる。
【００１３】
ここで、前記カメラ配置情報は、前記カメラの撮影位置を示す撮影位置情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物を前記撮影位置情報で示される位置から撮影したときに得られるべき画像を生成することでなされる としてもよい。
【００１４】
ビデオフレーム識別子に、そのビデオフレームを撮影したカメラの撮影位置を示す撮影位置情報を対応づけておき、そのビデオフレームと合成すべき CG を生成する際に、仮想空間上でのカメラの位置を撮影位置情報で示される位置と一致させることで、実写映像と CG との視点を一致させることができるので、リアリティの高い映像を合成できる。
【００１５】
カメラの撮影位置は、カメラの配置を表す最も重要な要素である。
ここで、前記デジタルストリームは、前記複数のビデオフレーム識別子で示されるビデオフレームのそれぞれを表示すべきタイミングを示す時間情報を含み、前記複数のビデオフレーム識別子と前記カメラ配置情報との対応付けは、前記カメラ配置情報を前記時間情報に付加することでなされ、前記合成装置は、前記デジタルストリームをデコードするデコード部を備え、前記デコード部は、前記デジタルストリームから前記ビデオフレーム識別子および前記時間情報を逐次取得し、当該ビデオフレーム識別子で示されるビデオフレームを、当該時間情報で示されるタイミングでデコードし、デコードするごとに前記カメラ配置情報を前記生成部に送信する としてもよい。
【００１６】
ビデオフレームと合成すべき CG を生成するために必要なカメラ配置情報を、ビデオフレームを表示するタイミングに合わせて生成部に送信することで、ビデオフレームと CG とを同期することができる。
【００１７】
ここで、前記デジタルストリームは、前記カメラ配置情報が対応付けられていないビデオフレームを示すビデオフレーム識別子も含み、前記デコード部は、前記デジタルストリームから取得した前記時間情報に、カメラ配置情報が付加されている場合は、当該カメラ配置情報を生成部に送信し、カメラ配置情報が付加されていない場合は、直前に前記生成部に送信したカメラ配置情報を再度前記生成部に送信する としてもよい。
【００１８】
カメラ配置情報は、再生とともに急激に変化するとは考えにくいので、ビデオフレームにカメラ配置情報が対応付けられていない場合は、直前のビデオフレームに対応付けられているカメラ配置情報で代用することができる。
【００１９】
ここで、前記パラメータは、更に、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したときの光源の配置を示す光源配置情報も含む としてもよい。
【００２０】
ビデオフレームと合成すべき CG の生成に必要な撮影状況を表すパラメータとして光源の配置を含めることにより、 CG に描く陰影をよりリアリティのあるものにすることができる
ここで、前記光源配置情報は、前記光源の照射位置を示す照射位置情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物に前記照射位置情報で示される位置から光を照射したときに得られるべき画像を生成することでなされる としてもよい。
【００２１】
ビデオフレームと合成すべき CG の生成において、そのビデオフレームを撮影したときの光源の位置と同じ位置に光源を仮想空間に再現することで、実写映像と CG との陰影のつき方を一致させることができるので、リアリティの高い映像を合成できる。
【００２２】
ここで、前記光源配置情報は、前記光源の照射強度を示す照射強度情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物に前記照射強度情報で示される強度の光を照射したときに得られるべき画像を生成することでなされる としてもよい。
【００２３】
ビデオフレームと合成すべき CG の生成において、そのビデオフレームを撮影したときの光源の強度と同じ強度の光源を仮想空間に再現することで、実写映像と CG との陰影のつき方を一致させることができるので、リアリティの高い映像を合成できる。
【００２４】
ここで、前記カメラ配置情報は、前記カメラの撮影方向を示す撮影方向情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物を前記撮影方向情報で示される方向から撮影したときに得られるべき画像を生成することでなされる としてもよい。
【００２５】
ビデオフレーム識別子に、そのビデオフレームを撮影したカメラの撮影方向を示す撮影方向情報を対応づけておき、そのビデオフレームと合成すべき CG を生成する際に、仮想空間上でのカメラの方向を撮影方向情報で示される方向と一致させることで、実写映像と CG との視点を一致させることができるので、リアリティの高い映像を合成できる。
【００２６】
ここで、前記光源配置を示す情報は、前記光源の色を示す色情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物に前記色情報で示される色の光を照射したときに得られるべき画像を生成することでなされる としてもよい。
【００２７】
ビデオフレームと合成すべき CG の生成において、そのビデオフレームを撮影したときの光源の色と同じ色の光源を仮想空間に再現することで、実写映像と CG との色調を一致させることができるので、リアリティの高い映像を合成できる。
【００２８】
ここで、前記光源配置を示す情報は、前記光源の照射方向を示す照射方向情報を含み、前記生成部による前記グラフィックスの生成は、仮想空間上において形成された対象物に前記照射方向情報で示される方向から光を照射したときに得られるべき画像を生成することでなされる としてもよい。
【００２９】
ビデオフレームと合成すべき CG の生成において、そのビデオフレームを撮影したときの光源の照射方向と同じ照射方向の光源を仮想空間に再現することで、実写映像と CG との陰影のつき方を一致させることができるので、リアリティの高い映像を合成できる。 
【図面の簡単な説明】
【００３０】
【図１】本実施形態における再生装置の使用形態を示す図。
【図２】本実施形態における再生装置が再生するBD-ROMの構成を示す図。
【図３】本実施形態における再生装置が再生するBD-ROMのレイヤモデルを示す図。
【図４】本実施形態における再生装置の再生モードを示す図。
【図５】本実施形態における再生装置の機能構成を示す図。
【図６】本実施形態における再生装置を構成するレンダリングエンジンの機能構成を示す図。
【図７】仮想空間上でのカメラ配置を示す図。
【図８】仮想空間上でのカメラ配置と合成映像との関係を示す図。
【図９】本実施形態におけるビデオフレームIDと配置情報の対応付けを示す図。
【図１０】カメラ配置情報および光源配置情報の例
【図１１】カメラが移動しながら撮影された映像を再生する場合の本実施形態の再生装置の動作を示す図。
【図１２】カメラが移動しながら撮影された映像を再生する場合の本実施形態の再生装置における合成装置の動作を示す図。
【図１３】光源が移動しながら撮影された映像を再生する場合の本実施形態の再生装置の動作を示す図。
【図１４】本実施形態における再生装置の合成映像生成動作を示す図。
【発明を実施するための形態】
【００３１】
本実施形態では、カメラを移動しながら撮影した映像に CG を合成する合成装置を用いた再生装置の例について説明する。 
《使用形態》
まず、本実施形態における再生装置 100の使用形態を図1 を用いて説明する。本実施形態における再生装置 100は、映像を表示するためのテレビ 101、再生装置 100を操作するためのリモコン 102 などによって構成されるホームシアターシステムにおいて、 BD-ROM 103などのメディアで供給される映画作品等を鑑賞する用途に用いられる。このホームシアターシステムは、 BD-ROM 103に記録されたコンテンツの他に、補助的なデータを記録するためにリムーバブルメディア 504を備えている。本実施形態における再生装置 100は、 BD-ROM 103およびリムーバブルメディア 504からコンテンツを読み取り再生する。本実施形態では、映画等のコンテンツを再生するたの AV(Audio-Video)アプリケーションを主眼におくが、 BD-ROM 103の代わりに、CD-ROM や DVD-ROM 等の記録媒体を利用することも可能である。 
《データ構成》
次に、BD-ROM 103 に記録されるデータの構成について、図2 を用いて説明する。
【００３２】
BD-ROM 103は、 CD-ROM や DVD-ROM など他の光ディスクと同様に、内周から外周に向けて螺旋状に記録領域を持ち、内周のリード・インと外周のリード・アウトの間に論理データを記録できる論理アドレス空間を有している。
【００３３】
リード・インの内側には、 BCA (Burst Cutting Area) と呼ばれる特別な領域がある。この領域は、工場で記録されて以降、改竄できないので、例えば著作権保護技術などに利用されることがよくある。
【００３４】
論理アドレス空間には、ファイルシステム情報を先頭に、映像データなどのアプリケーションデータが記録されている。
ファイルシステムとは、 UDF(Universal Disk Format) や ISO9660 などのことである。ファイルシステムにより、 BD-ROM 上に階層化されたディレクトリの中に分類して記録されたファイルを読み出すことが可能になっている。
【００３５】
本実施形態における再生装置 100が再生するBD-ROM 103に記録されているデジタルストリームとそれに関連するデータは、 BD-ROM 103のルートディレクトリ直下におかれたディレクトリ BDMV の中に格納されている。
【００３６】
ディレクトリ BDMV には、 PLAYLIST、CLIPINF、STREAM、BDJO、JAR なる 5つのサブディレクトリと、 index.bdmv、MovieObject.bdmv なる 2つのファイルが配置されている。以下、それぞれのディレクトリとそこに存在するファイルについて説明する。以下の説明で拡張子とは、ファイル名を 「.」(ピリオド) で分解し、各要素をファイル名の中に登場する順序で並べたときの最後の要素である。例えば、ファイル名が xxx.yyy の場合、yyy が拡張子である。
【００３７】
ディレクトリ PLAYLIST には、拡張子 mpls が付与されたファイルが存在する。このファイルは、プレイリスト情報を格納したファイルである。プレイリスト情報とは、デジタルストリームの再生における開始位置と終了位置とで定義される再生区間を記録した情報である。
【００３８】
ディレクトリ CLIPINF には、拡張子 clpi が付与されたファイルが存在する。このファイルは、各デジタルストリームに対応するクリップ情報である。クリップ情報には、デジタルストリームの符号化形式、フレームレート、ビットレート、解像度等の情報や、再生時間と GOP(Group Of Pictures) の開始位置の対応関係を示す情報が含まれている。
【００３９】
ディレクトリ STREAM には、拡張子 m2ts が付与されたファイルが存在する。このファイルは、映画作品の本体となるデジタルストリームを格納している。デジタルストリームは、MPEG-TS (Transport Stream) 形式であって、複数のストリームが多重化されて構成されている。デジタルストリームは、映画作品の動画部分を表すビデオストリームと、映画作品の音声部分を表すオーディオストリームとを含んでいる。また、デジタルストリームは、映画作品の字幕部分を表すサブビデオストリームを含んでいてもよい。
【００４０】
ディレクトリ JAR には、拡張子 jar が付与されたファイルが存在する。このファイルは、Java(登録商標)アーカイブファイルである。 Java(登録商標)アーカイブファイルとは， Java(登録商標)仮想マシンを用いて動的なシナリオ制御を行う Java(登録商標)アプリケーションのプログラムを記述したファイルである。このファイルは、 BD-ROM に記録されたコンテンツの再生単位を示すタイトルの再生を Java(登録商標)アプリケーションから制御する場合に用られる。
【００４１】
ディレクトリ BDJO には、拡張子 bdjo が付与されたファイルが存在する。このファイルは、BD-Jオブジェクトを格納したファイルである。 BD-Jオブジェクトとは、プレイリスト情報により示されるデジタルストリームと、アプリケーションとを関連付けることにより、コンテンツの再生単位を示すタイトルを定義する情報である。 BD-Jオブジェクトは、アプリケーション管理テーブルと、そのタイトルにおいて再生可能なプレイリスト一覧を示す。 1つのアプリケーションは、 1つ以上の Java(登録商標)アーカイブファイルで構成されるので、アプリケーションの識別子と、そのアプリケーションに属する Java(登録商標)アーカイブファイルの識別子との対応関係を示したテーブルが、アプリケーション管理テーブルである。
【００４２】
ファイル index.bdmv は、 BD-ROM 全体に関する管理情報を格納している。この管理情報には、映画作品のプロバイダを特定する 32bit の識別子 organizationID や、プロバイダが提供する BD-ROM ごとに割り当てられた 128bit の識別子 discID などが含まれており、再生装置へのディスク挿入後に、ファイル index.bdmv が最初に読み出されることで、再生装置はディスクを一意に認識する。すなわち、どこのプロバイダが提供する何という映画作品が記録された BD-ROM であるかを認識することができる。更に、ファイル index.bdmv には、 BD-ROM において再生可能となる複数のタイトルと、各タイトルを規定する BD-Jオブジェクトとを対応付けて示すテーブルが含まれている。
【００４３】
ファイル MovieObject.bdmv には、 HDMVモードでの各タイトル再生で、再生進行を動的に変化させるためのシナリオが記述されたシナリオプログラムが含まれている。 HDMVモードについては後述する。 
《レイヤモデル》
図3は再生制御のレイヤモデルを示した図である。以下、各層ごとの説明を行う。
【００４４】
第1層は、物理層である。この層では、処理対象となるストリーム本体をどの記録媒体から供給するかという制御を規定している。処理対象となるストリームは、BD-ROM だけではなく、ローカルストレージやリムーバブルメディアといったあらゆる記録媒体、および、ネットワークを供給源としている。ここで、ローカルストレージとは、ハードディスクなどの再生装置に予め組み込まれた記録媒体である。これらローカルストレージ、リムーバブルメディア、ネットワークといった供給源に対して、ディスクアクセス、カードアクセス、ネットワーク通信などの制御が第1層の制御である。
【００４５】
第2層は、AVデータの層である。第2層は、第1層で供給されたストリームを、どのような復号化方式を用いて復号するのかを規定している。
第3層は、BD管理データの層である。第3層は、ストリームの静的なシナリオを規定している。静的なシナリオとは、ディスク制作者によって予め規定されたプレイリスト情報、および、クリップ情報であり、第3層は、これらに基づく再生制御を規定している。
【００４６】
第4層は、BD再生プログラムの層である。第4層は、ストリームの動的なシナリオを規定している。動的なシナリオとは、 AVストリームの再生手順、および、その再生に関する制御手順のうち少なくとも一方を実行するプログラムである。動的なシナリオによる再生制御は、装置に対するユーザ操作に応じて変化する。ここでの動的な再生制御には、HDMVモードと BD-Jモードの 2つのモードがある。 HDMVモードとは、BD-ROM に記録された動画データを、再生機器特有の再生環境で再生するモードである。 HDMVモードでは、再生進行を動的に変化させるためのシナリオが記述されたシナリオプログラムが再生制御を行う。 BD-Jモードとは、BD-ROMに記録された動画データを、付加価値を高めて再生するモードである。 BD-Jモードでは、 Java(登録商標)アプリケーションが再生制御を行う。
【００４７】
図4は、HDMVモードおよび BD-Jモードで再生される動画の一場面を示す図である。
図4(a) は、HDMVモードで再生される動画の一場面を示した図である。 HDMVモードでは、メニューを表示し、ユーザがメニューに対して選択操作を行うことで再生が進行するというような再生制御が行われる。
【００４８】
図4(b) は、BD-Jモードで再生される動画の一場面を示した図である。 BD-Jモードでは、Java(登録商標)仮想マシンが解釈可能なJava(登録商標)言語で記述されたJava(登録商標)]アプリケーションにより再生制御が行われる。 BD-Jモードでは、実写映像の中で CG のキャラクターが動いているように見せる再生制御を定義することができる。図4(b)では、テーブル T の上に CG のキャラクターが描かれている。 
《再生装置の機能構成 》
図5 は、本実施形態における再生装置 100の大まかな機能構成を示すブロック図ある。
【００４９】
本実施形態における再生装置 100は、 BD-ROMドライブ 501、トラックバッファ 502、ローカルストレージ 503、リムーバブルメディア 504、ネットワークインターフェース 505、仮想ファイルシステム 510、静的シナリオメモリ 520、動的シナリオメモリ 530、ユーザ操作探知モジュール 540、モード管理モジュール 541、ディスパッチャ 542、 HDMVモジュール 543、BD-Jモジュール 544、AV再生ライブラリ 545、レンダリングエンジン 550、イメージメモリ 551、デマルチプレクサ 552、イメージデコーダ 553、ビデオデコーダ 554、オーディオデコーダ 555、イメージプレーン 556、ビデオプレーン 557、合成器 558、テレビ出力部 559、スピーカ出力部 560 を含んだ構成となっている。
【００５０】
以下、各構成要素について説明する。
BD-ROMドライブ 501 は、 BD-ROM のローディングとイジェクトを行い、 BD-ROM が挿入されている状態で、 BD-ROM に対するアクセスを実行する機能を有する。
【００５１】
トラックバッファ 502 は、FIFOメモリであり、 BD-ROM から読み出されたデータが先入れ先出し式に格納される。
デマルチプレクサ 552 は、 BD-ROMドライブ 501 にローディングされている BD-ROM、または、ローカルストレージ 503あるいはリムーバブルメディア 504 上に保存されたデジタルストリームを、仮想ファイルシステム 510を介して読み出し多重分離を行い、多重分離により得たビデオフレームとオーディオフレームとを、ビデオデコーダ 554 とオーディオデコーダ 555 とにそれぞれ出力する機能を有する。デマルチプレクサ 552 は、デジタルストリームに副映像ストリームが多重化されている場合は、多重分離により得た副映像ストリームを、イメージメモリ 551 に出力し、ナビゲーションボタン情報を、動的シナリオメモリ 530 に出力する。デマルチプレクサ 552 による多重分離は、 TS(Transport Stream)パケットを PES(Packetized Elementary Stream)パケットに変換するという変換処理を含む。デマルチプレクサ 552 は、 PESパケットから PTS(Presentation Time Stamp) を抽出し、実写映像と CG とを同期させるために、ビデオデコーダ 554およびレンダリングエンジン 550に PTS を通知する。
【００５２】
ビデオデコーダ 554 は、デマルチプレクサ 552 から出力されたビデオフレームを復号して、非圧縮形式のピクチャを ビデオプレーン 557 に書き込む機能を有する。
ビデオプレーン 557 は、非圧縮形式のピクチャを格納しておくためのメモリである。
【００５３】
オーディオデコーダ 555 は、デマルチプレクサ 552 から出力されたオーディオフレームを復号して、非圧縮形式のオーディオデータを スピーカ出力部 560 に出力する機能を有する。
【００５４】
イメージメモリ 551 は、デマルチプレクサ 552 から読み出された副映像ストリームやナビゲーションボタン情報内の PNG(Portable Network Graphics)データ、あるいは、仮想ファイルシステム 510 を介して BD-ROM または ローカルストレージ 503、リムーバブルメディア 504から読み出された画像ファイルを格納しておくためのメモリである。
【００５５】
イメージデコーダ 553 は、イメージメモリ 551 に格納された副映像ストリーム、PNGデータ、画像ファイルを展開してイメージプレーン 556 に書き込む。
イメージプレーン 556 は、一画面分の領域をもったメモリであり、副映像ストリーム、PNGデータ、画像ファイルが、イメージデコーダ 553によってビットマップに展開されて配置される。イメージプレーン 556に展開された画像は、そのまま画面上に現れる。例えば、副映像ストリームに各種メニューが格納されていれば、イメージプレーン 556にメニューを表す画像が展開されることで、画面上にメニュー現れることになる。
【００５６】
合成器 558 は、ビデオプレーン 557 に格納された非圧縮形式のピクチャに、イメージプレーン 556 に展開されたイメージを合成してテレビ出力部 559 に出力する機能を有する。
【００５７】
静的シナリオメモリ 520 は、 HDMVモジュール 543またはBD-Jモジュール 544が現在処理対象としている静的シナリオ情報を、格納しておくためのメモリである。静的シナリオ情報とは、プレイリスト情報およびストリーム情報である。静的シナリオ情報は、 BD-ROM 103に記録されたコンテンツの再生区間を規定する情報であり、ユーザ操作によってコンテンルの再生が選択されたとき、静的シナリオ情報に従って再生が行われる。
【００５８】
動的シナリオメモリ 530 は、 HDMVモジュール 543またはBD-Jモジュール 544が現在実行対象としている動的シナリオ情報を、格納しておくためのメモリである。動的シナリオ情報とは、 HDMVモードでは、シナリオプログラム、 BD-Jモードでは、Java(登録商標)クラスファイルである。動的シナリオ情報は、 BD-ROM 103に記録された複数のコンテンツのうちどれを再生させるかといったメニューなどを表示するプログラムである。 HDMVモードで実行されるシナリオプログラムは、従来の DVD と同様の簡単なメニューを表示するが、 BD-Jモードでは実行されるJava(登録商標)クラスファイルは、 CGキャラクターが登場したり、選択中のコンテンツの映像をプレビューするような複雑なメニューを表示できる。本実施形態における再生装置 100は、このようなメニューの表示において、 CGキャラクターとプレビュー映像とを違和感なく合成する。
【００５９】
HDMVモジュール 543 は、 HDMVモードの実行主体となる DVD 仮想プレーヤであり、動的シナリオメモリ 530 に読み出されたシナリオプログラムを実行する。
BD-Jモジュール 544 は、 Java(登録商標)プラットフォームであり、 Java(登録商標)仮想マシンを含んでいる。 BD-Jモジュール 544は、動的シナリオメモリ 530 に読み出された Java(登録商標)クラスファイルから、 Java(登録商標)オブジェクトを生成する。 Java(登録商標) オブジェクトは Java(登録商標) 言語で記述されており、 Java(登録商標) 仮想マシン上で実行される。 BD-Jモジュール 544は、 Java(登録商標) 仮想マシンにより、 Java(登録商標) オブジェクトをネイティブコードに変換し、変換されたネイティブコードを実行する。
【００６０】
ユーザ操作探知モジュール 540 は、リモコンや再生装置のフロントパネルに対してなされたユーザ操作を検出して、ユーザ操作を示すユーザ操作情報を モード管理モジュール 541 に出力する。
【００６１】
モード管理モジュール 541 は、 BD-ROMドライブ 501 にローディングされた BD-ROM、または、ローカルストレージ 503、リムーバブルメディア 504 から読み出されたモード管理テーブルを保持して、モード管理および分岐制御を行う。モード管理モジュール 541 によるモード管理とは、動的シナリオを HDMVモジュール 543 と BD-Jモジュール 544 のどちらに実行させるかというモジュールの割り当てである。すなわち、HDMVモードの場合には、動的シナリオを HDMVモジュール 543 に実行させ、 BD-Jモードの場合には、動的シナリオを BD-Jモジュール 544 に実行させる。
【００６２】
ディスパッチャ 542 は、現在の再生装置におけるモードを実行するのに適切なモジュールに、ユーザ操作情報を出力する。例えば、HDMVモードの実行中に、上下左右ボタンや決定ボタンの押下といったユーザ操作を示すユーザ操作情報を受け付けた場合、これらのユーザ操作情報を HDMVモードのモジュールに出力する。
【００６３】
レンダリングエンジン 550 は、 OPEN-GL といった基盤ソフトウェアを備え、 BD-Jモジュール 544 からの指示に従って モデル情報のレンダリングを行う。モデル情報とは、CG として描画される対象をモデリングするために必要な座標や座標を結ぶ辺、辺に囲まれてできる面の色などの情報である。モデル情報に基づいて描画された CG の対象物を CGモデルと呼ぶ。レンダリングは、デマルチプレクサ 552より発行される PTS に同期するように行われ、描画された CG は イメージプレーン 556 に出力される。
【００６４】
AV再生ライブラリ 545 は、 HDMVモジュール 543、BD-Jモジュール 544 からの関数呼び出しに応じて、 AV再生機能、プレイリストの再生機能を実行する。 AV再生機能とは、DVDプレーヤ、CDプレーヤから踏襲した機能群であり、再生開始、再生停止、一時停止、一時停止の解除、静止画機能の解除、再生速度を即値で指定した早送り、再生速度を即値で指定した巻戻し、音声切り替え、副映像切り替え、アングル切り替えといった処理である。プレイリスト再生機能とは、これらの AV再生機能のうち、再生開始や再生停止をプレイリスト情報に従って行うことをいう。
【００６５】
ネットワークインターフェース 505 は、 BD-Jモジュール 544 によって制御され、インターネット上に公開された追加コンテンツをローカルストレージ 503 もしくは リムーバブルメディア 504 にダウンロードする機能を有する。追加コンテンツとは、オリジナルの BD-ROM にないコンテンツであり、例えば追加の副音声、字幕、特典映像、アプリケーションなどである。
【００６６】
ローカルストレージ 503 および リムーバブルメディア 504 は、ダウンロードしてきた追加コンテンツやアプリケーションが使うデータなどの保存に用いられる記録媒体である。追加コンテンツの保存領域は、 BD-ROM ごとに分かれており、また、アプリケーションがデータの保持に使用できる領域は、アプリケーションごとに分かれている。ローカルストレージ 503 および リムーバブルメディア 504は、マージ管理情報の保存にも用いられる。マージ管理情報とは、ダウンロードした追加コンテンツが、どのようなマージ規則で BD-ROM上のデータとマージされるべきかを示す情報である。
【００６７】
仮想ファイルシステム 510 は、 BD-ROM上のコンテンツと、ローカルストレージ 503 もしくは リムーバブルメディア 504 に格納された追加コンテンツとを、マージ管理情報に従ってマージすることにより構築される仮想的な BD-ROM にアクセスするためのファイルシステムである。この仮想的な BD-ROM を仮想パッケージと呼ぶ。仮想パッケージには、 HDMVモジュール 543 や BD-Jモジュール 544 から、オリジナル BD-ROM と同様にアクセスすることができる。仮想パッケージ上のコンテンツの再生において、再生装置 100 は、オリジナルの BD-ROM上のデータと、ローカルストレージ 503 もしくは リムーバブルメディア 504上のデータの両方を用いて再生制御を行うことになる。
【００６８】
テレビ出力部 559 は、合成器 558によって合成された映像を、テレビ 101に出力する機能を有する。
スピーカ出力部 560は、オーディオデコーダ 555によってデコードされた音声信号を、スピーカに出力する機能を有する。
【００６９】
以上が再生装置 100の構成要素である。 
《レンダリングエンジンの機能構成 》
次に、図5 におけるレンダリングエンジン 550の機能構成を図6 を用いて説明する。
【００７０】
レンダリングエンジン 550は、時間情報取得部 601、モデル情報取得部 602、光源配置情報取得部 603、カメラ配置情報取得部 604、座標変換部 605、照射位置変換部 606、照射強度変換部 607、照射方向変換部 608、色変換部 609、撮影位置変換部 610、撮影方向変換部 611、生成部 612、陰影描画部 613、スクリーン投影部 614、グラフィックス出力部 615 を含む構成となっている。
【００７１】
時間情報取得部 601は、デマルチプレクサ 552によって分離された PTS を取得し、生成部 612に送信する。
モデル情報取得部 602 は、仮想ファイルシステム 510 からモデル情報を取得し、座標変換部 605 に送信する。
【００７２】
座標変換部 605 は、モデル情報取得部 602 から受信したモデル情報に含まれる座標を、 CG をレンダリングする仮想空間の座標系での座標に変換する。
光源配置情報取得部 603 は、デマルチプレクサ 552 から送信された光源配置情報を取得し、光源配置情報に含まれる情報の種類ごとに、適切な変換部に送信する。すなわち、光源の照射位置を示す照射位置情報は、照射位置変換部 606 に送信する。光源の強度を示す照射強度情報は、照射強度変換部 607 に送信する。光源の照射方向を示す照射方向情報は、照射方向変換部 608 に送信する。光源の色を示す色情報は、色変換部 609 に送信する。
【００７３】
カメラ配置情報取得部 604 は、デマルチプレクサ 552 から送信されたカメラ配置情報を取得し、カメラ配置情報に含まれる情報の種類ごとに、適切な変換部に送信する。すなわち、カメラの撮影位置を示す撮影位置情報は、撮影位置変換部 610 に送信する。カメラの撮影方向を示す照情報は、撮影位置変換部 610 に送信する。
【００７４】
生成部 612 は、座標変換部 605 で変換された座標データと、時間情報取得部 601 が取得した PTS から、 PTS で示される再生時刻に表示されるべき CGモデルを生成する。
陰影描画部 613 は、生成部 612 によって生成された CGモデルのデータを受け取ると、変換後の光源配置情報を用いて、対象物に陰影をつける。陰影描画部 613 は、仮想空間上に配置された対象物に対して、光源配置情報で示される光源から照射される光によってできる陰影を描画する。
【００７５】
スクリーン投影部 614 は、陰影描画部 613 によって陰影をつけられた CGモデルのデータを受け取ると、変換後のカメラ配置情報を用いて、 CGモデルをスクリーンに投影する。ここで、スクリーンとは、仮想空間上でカメラの撮影方向に対して垂直で有限の大きさをもった矩形平面である。スクリーンの大きさはカメラの設定により変更できるものであり、このスクリーンに投影されるものが、実際の画面に表示される映像に対応する。スクリーン投影部 614 は、仮想空間上の CGモデルを、カメラ配置情報で示されるカメラによって撮影したときに得られる 2次元の画像を描画する。
【００７６】
グラフィックス出力部 615 は、スクリーン投影部 614 により投影された 2次元の画像をイメージプレーン 556 に出力する。
以上が、レンダリングエンジン 550の機能構成である。
【００７７】
なお、上では、CGモデル全体に対して陰影をつける処理を実行してから、スクリーンへの投影処理を行うように説明したが、計算量を減らすために、実際に陰影をつける処理を実行する前に、スクリーンへ投影される範囲だけ切り出して、切り出された範囲内の CGモデルに対してのみ陰影をつけるようにしてもよい。 
《カメラ配置と合成映像との関係》
図7 は、実写映像の撮影時のカメラ配置と、 CG のレンダリングを行う仮想空間の座標関係を示す図である。
【００７８】
図7(a) において、人物 A, B、テーブル T 、ランプ L は実物であり、フクロウ C は CG である。図7(a) は、テーブル T の両側に座っている人物 A, B をそれぞれの側面からカメラで撮影している様子を示している。図7(a) の座標軸 XYZ は、 CG をレンダリングするための仮想空間を定義し、この座標系でフクロウ C は、テーブル T の中央に位置するように描画されている。
【００７９】
実写映像と CG とを合成するためには、仮想空間上に生成された CG を、スクリーンに投影して 2次元の画像を得る必要がある。このスクリーンの位置を決めるカメラ配置、すなわち、カメラの撮影位置および撮影方向を、現実空間と一致するように仮想空間上に設定することで、実写映像と CG とを違和感なく合成することができる。
【００８０】
すなわち、実写映像と合成する CG を生成するにあたって、その実写映像を撮影した瞬間のカメラ配置を、逐次、レンダリングエンジン 550に通知し、レンダリングエンジン 550は、逐次、通知されたカメラ配置をレンダリングに反映させることで、実写映像と CG とを違和感なく合成することができる。
【００８１】
図7(a) のカメラ配置の下で、スクリーンに描画される映像は、図8(a) のようになる。
次に、図7(a) と同じ対象を、異なるカメラ配置で撮影している様子を示した図が、図7(b) である。この場合も、現実空間におけるカメラ配置が変更されたことに対応して、仮想空間におけるカメラ配置の設定を変更することで、 CG を投影すべきスクリーンが変更され、実写映像と CG とを違和感なく合成することができる。
【００８２】
すなわち、図7(b) のカメラ配置の下で、スクリーンに描画される映像は、図8(b) のようになり、 CG で描画されるフクロウ C のスクリーン上での位置が、実写映像と同期し、テーブル T の上にのっているような合成映像を表示することができる。
【００８３】
図9 は、デジタルストリームに含まれる各ビデオフレームに、ビデオフレームID が割り当てられており、各ビデオフレームID ごとに、カメラ配置情報および光源配置情報が対応付けられて、デジタルストリーム内に埋め込まれていることを示す図である。
【００８４】
デジタルストリームには、各ビデオフレームごとに、そのビデオフレームを表示するタイミングを示す PTS が対応付けて記録されている。
図9 は、時間軸を表す PTS が t1 のとき表示されるべきビデオフレームのビデオフレームID が F1、 PTS が t2 のとき表示されるべきビデオフレームのビデオフレームID が F2 というように、ビデオフレームとそのビデオフレームを表示すべきタイミングとが対応付けられていることを示している。
【００８５】
図9(a) では、各ビデオフレームごとカメラ配置情報と光源配置情報とが対応付けられている。例えば、ビデオフレームID F1 で示されるビデオフレームには、カメラ配置情報 C1 、および、光源配置情報 L1 が対応付けられている。
【００８６】
ビデオフレームID F1 で示されるビデオフレームと合成する CG を、カメラ配置情報 C1 、および、光源配置情報 L1 に基づいて生成することは従来から行われている。
本実施形態における再生装置 100では、各ビデオフレームごとに上記のような対応付けをしているので、時刻 t1 のタイミングで、ビデオフレームID F1 で示されるビデオフレームを表示する際に、カメラ配置情報 C1、 および、光源配置情報 L1 に基づいて CG を生成し、時刻 t2 のタイミングで、ビデオフレームID F2 で示されるビデオフレームを表示する際に、カメラ配置情報 C2、 および、光源配置情報 L2 に基づいて CG を生成するというように、カメラ配置情報、および、光源配置情報を逐次 CG の生成に反映させることができる。
【００８７】
なお、ビデオフレームには、カメラ配置情報、および、光源配置情報が必ず対応付けられている必要はない。図9(b) は、カメラ配置情報は 2フレームごとに、光源配置情報は 3フレームごとに対応付けられている例を示す。カメラ配置情報あるいは光源配置情報が対応付けられていない場合は、直前と同じ値を用いる。この例では、ビデオフレームID F2 には、カメラ配置情報も光源配置情報も対応付けられていないので、直前のビデオフレームID F1 に対応付けられているカメラ配置情報 C1 および光源配置情報 L1 を用いる。          
【００８８】
《配置情報の例》
図10 は、カメラ配置情報および光源配置情報の例を示す図である。
【００８９】
カメラ配置情報には、カメラが設置された位置を示す撮影位置、および、カメラが向けられた方向を示す撮影方向がある。
撮影位置は、現実の空間に設けられた座標系における位置ベクトルであり、 3次元空間の 1点を表す 3つの成分により、カメラが設置された位置が表現される。
【００９０】
撮影方向は、現実の空間に設けられた座標系における方向ベクトルであり、原点を始点としたときの終点の座標によって、 3次元空間における 1つの方向を表す 3つの成分により、カメラが向けられた方向が表現される。
【００９１】
これらの情報は、 GPS(Global Positioning System) や、撮影された映像内の被写体の位置を解析することで、撮影時に取得され、ストリームデータを記録する装置によって、予めストリームの中に記録される。
【００９２】
光源配置情報には、光源が設置された位置を示す照射位置情報、および、光源が向けられた方向を示す照射方向情報、光源が発する光の強さを示す照射強度情報、光源が発する光の色を示す色情報がある。
【００９３】
照射位置情報は、現実の空間に設けられた座標系における位置ベクトルであり、 3次元空間の 1点を表す 3つの成分により、光源が設置された位置が表現される。光源が設置された位置に基づいて、仮想空間上に形成される CGモデルの、光が当たって明るくなっている部分、および、影になって暗くなっている部分が計算される。例えば、 CGモデルの位置と光源の位置との関係から、 CGモデルの表面のうち光源を向いている側が明るく描画される。また、 CGモデルから光源の向きの逆方向に、 CGモデルの影が描画される。
【００９４】
照射方向情報は、現実の空間に設けられた座標系における方向ベクトルであり、原点を始点としたときの終点の座標によって、 3次元空間における 1つの方向を表す 3つの成分により、光源が向けられた方向が表現される。ただし、図10 に示した照射方向 (0, 0, 0) は、等方的な光源であるとする。光源が向けられた方向に基づいて、仮想空間上に形成される CGモデルの、光が当たって明るくなっている部分、および、影になって暗くなっている部分が計算される。光源から照射される光が CGモデルの方向を向いている場合は、その CGモデルには光が当たり明るく描画され、 CGモデルの方向からそれている場合は、その CGモデルには光が当たらず暗く描画される。
【００９５】
照射強度情報は、光源が発する光の強さを何らかの尺度で示したスカラー値であり、光が照射されない場合を 0 として、数値が大きいほど強い光を示している。光源の照射強度に基づいて、仮想空間上に形成される CGモデルの、光が当たっている部分の明るさが計算される。すなわち、照射強度が小さければ、CGモデルは暗く描画され、照射強度が大きければ、CGモデルは明るく描画される。
【００９６】
色情報は、光源が発する光の色を、例えば、赤、緑、青の各成分の輝度を 0〜255 までの 8ビットの整数値で表した RGB値で表現される。ただし、色情報は、 8ビットの整数でなくても、16ビットあるいはそれ以上でもよいし、 RGB でなくても CMYK など他の表現方法でもよい。光源の色に基づいて、仮想空間上に形成される CGモデルの色を補正する計算がなされる。例えば、光源の色が (64, 0, 0) のように赤みがかっている場合、 CGモデルの色も赤みがかるように補正される。 
《カメラが動く場合》
図11 は、カメラが移動する場合に再生される合成映像の例である。
【００９７】
図11(a) に示すように、カメラを左から右へ移動しながら撮影したとき、実写映像と CG とが同期して動く様子が、図11(b)〜(d) に示されている。
これらの合成映像がどのようにして合成されたかを、図12 を用いて説明する。
【００９８】
図12 には、カメラが左端にあるときに撮影された実写映像のビデオフレームを示すビデオフレーム ID を F1、カメラが中央にあるときに撮影された実写映像のビデオフレームを示すビデオフレーム ID を F100、カメラが右端にあるときに撮影された実写映像のビデオフレームを示すビデオフレーム ID を F200 として、それぞれのビデオフレームと、それらと合成すべき CG、合成後の合成映像を示している。
【００９９】
まず、カメラが左端にあるとき、図11(b) のように、人物 A とフクロウ C が画面に映っている。この映像は次のようにして生成される。
カメラが左端にあるとき、カメラの撮影位置情報を C1 とし、この撮影位置で撮影されるビデオフレームのビデオフレーム ID F1 に対して、撮影位置情報 C1 が対応付けられているとする。
【０１００】
デマルチプレクサ 552 は、ビデオフレーム ID F1 で示されるビデオフレームをビデオデコーダ 554 に出力し、ビデオフレームは、ビデオデコーダ 554 で復号され、ビデオプレーン 557 には、図12(a) に示す実写映像が書き込まれる。
【０１０１】
デマルチプレクサ 552 は、ビデオフレーム ID F1 で示されるビデオフレームをビデオデコーダ 554 に出力する際に、ビデオフレーム ID F1 に対応付けられた撮影位置情報 C1 をレンダリングエンジン 550 に出力する。
【０１０２】
レンダリングエンジン 550 は、仮想空間上でモデリングしたフクロウ C を、撮影位置情報 C1 で示される位置に設置したカメラで撮影したときに得られる画像を生成し、図12(d) に示す CG が、イメージプレーン 556 に書き込まれる。
【０１０３】
ビデオプレーン 557 に書き込まれた図12(a) に示す実写映像と、イメージプレーン 556 に書き込まれた図12(d) に示す CG とが、合成器 558 によって合成され、図12(g) に示す合成映像が得られる。
【０１０４】
次に、カメラが中央付近まで移動すると、図11(c) のように、人物 A が画面から消え、フクロウ C が画面の中央付近に映るようになる。この映像は次のようにして生成される。
【０１０５】
カメラが中央にあるとき、カメラの撮影位置情報を C100 とし、この撮影位置で撮影されるビデオフレームのビデオフレーム ID F100 に対して、撮影位置情報 C100 が対応付けられているとする。
【０１０６】
再生時刻が進むとともに、表示するビデオフレームを示すビデオフレーム ID が変化し、それに対応付けられている撮影位置情報も変化する。
従って、デマルチプレクサ 552 から ビデオデコーダ 554 に出力され、ビデオプレーン 557 に書き込まれる実写映像は、図12(a) から図12(b) のように変化する。
【０１０７】
また、デマルチプレクサ 552 が レンダリングエンジン 550 に出力する撮影位置情報が変化するので、イメージプレーン 556 に書き込まれる CG も、図12(d) から図12(e) のように変化する。
【０１０８】
ビデオプレーン 557 に書き込まれた図12(b) に示す実写映像と、イメージプレーン 556 に書き込まれた図12(e) に示す CG とが、合成器 558 によって合成され、図12(h) に示す合成映像が得られる。
【０１０９】
最後に、カメラが右端まで移動すると、図11(d) のように、フクロウ C は画面の左に映るようになり、人物 B が現れる。この映像は次のようにして生成される。
カメラが右端にあるとき、カメラの撮影位置情報を C200 とし、この撮影位置で撮影されるビデオフレームのビデオフレーム ID F200 に対して、撮影位置情報 C200 が対応付けられているとする。
【０１１０】
この場合も上記と同様で、再生時刻が進むとともに、表示するビデオフレームを示すビデオフレーム ID が変化し、それに対応付けられている撮影位置情報も変化する。
従って、デマルチプレクサ 552 から ビデオデコーダ 554 に出力され、ビデオプレーン 557 に書き込まれる実写映像は、図12(b) から図12(c) のように変化する。
【０１１１】
また、デマルチプレクサ 552 が レンダリングエンジン 550 に出力する撮影位置情報が変化するので、イメージプレーン 556 に書き込まれる CG も、図12(e) から図12(f) のように変化する。
【０１１２】
ビデオプレーン 557 に書き込まれた図12(c) に示す実写映像と、イメージプレーン 556 に書き込まれた図12(f) に示す CG とが、合成器 558 によって合成され、図12(i) に示す合成映像が得られる。
【０１１３】
以上のように実写映像の動きに合わせて、 CG の位置を調整することで、実写映像と CG とを違和感なく合成することができる。
以上のように実写映像の撮影状況を表すカメラの位置を、実写映像と CG とのスクリーン上での動きが一致し、違和感のない映像を合成することができる。 
《光源が動く場合》
図13 は、光源が移動する場合に再生される合成映像の例である。
【０１１４】
図13(a) に示すように、光源であるランプ L をもって左から右へ移動する人を撮影したとき、実写映像と CG との陰影が同期して変化する様子が、図13(b)〜(d) に示されている。
【０１１５】
光源が左端にあるとき、図13(b) のように、瓶 D とフクロウ C の影が右側にできる。
光源が中央付近まで移動すると、図13(c) のように、瓶 D の影は左側にでき、フクロウ C の影は右側にできる。
【０１１６】
光源が右端まで移動すると、図13(d) のように、フクロウ C の影は左側にできる
これらの映像は、次のようにして生成される。すなわち、図11および図12では、カメラが移動することで、撮影されたビデオフレームを示すビデオフレーム ID に対応付けられた撮影位置情報が変化していくため、撮影位置情報に応じて CG も変化していく例を示した。図13では、撮影位置情報の代わりに、光源位置情報が変化していくので、それに応じて CG に描画される陰影も変化していく。
【０１１７】
以上のように実写映像の撮影状況を表す光源の位置を、逐次 CG の生成に反映させることで、実写映像と CG との陰影の動きが一致し、違和感のない映像を合成することができる。 
《合成映像生成動作》
図14 は、実写映像と CG とを合成して、合成映像を生成する処理を示すフローチャートである。再生装置 100は、ストリームの再生において、以下のステップを繰り返し行う。
【０１１８】
まず、デマルチプレクサ 552によって多重分離されたビデオストリームから、ビデオデコーダ 554が、ビデオフレームID F で示されるビデオフレームを取得する。(S1301)
ビデオデコーダ 554は、ビデオフレームID F で示されるビデオフレームをビデオプレーン 557に書き出すとともに、ビデオフレームID F に、カメラ配置情報が対応付けられているかどうかを判定し(S1302)、カメラ配置情報が対応付けられていれば(S1302 Y)、そのカメラ配置情報を現在のカメラ配置情報 C とする(S1303)。カメラ配置情報が対応付けられていなければ(S1302 N)、直前に用いたカメラ配置情報を現在のカメラ配置情報 C とする(S1304)。
【０１１９】
同様に、ビデオデコーダ 554は、ビデオフレームID F に、光源配置情報が対応付けられているかどうかを判定し(S1305)、光源配置情報が対応付けられていれば(S1305 Y)、その光源配置情報を現在の光源配置情報 L とする(S1306)。光源配置情報が対応付けられていなければ(S1305 N)、直前に用いた光源配置情報を現在の光源配置情報 L とする(S1307)。
【０１２０】
ビデオデコーダ 554は、現在のカメラ配置情報 C と現在の光源配置情報 L とを、レンダリングエンジン 550に通知し、レンダリングエンジン 550は、カメラ配置情報 C と光源配置情報 L とに基づいて、グラフィックス G を生成し(S1308)、イメージプレーン 556に書き出す。
【０１２１】
最後に、合成器 558は、グラフィックス G がイメージプレーン 556に書き出されたことを検知して、ビデオプレーン 557に書き出されたビデオフレームと、イメージプレーン 556に書き出されたグラフィックス G とを読み出して、それらを合成する(S1309)。合成された映像は、テレビ出力部 559を介してテレビ 101に出力される。
【０１２２】
以上は、ビデオデコーダ 554が 1枚のビデオフレームをデコードし、ビデオプレーン 557に書き出されたあと、合成器 558で合成されるまでのステップである。本実施形態における再生装置 100は、上述のステップを各ビデオフレームごとに繰り返し実行する。それにより、実写映像のビデオフレームごとに対応付けられたカメラ配置情報あるいは光源配置情報に応じて、実写映像と合成しても違和感のない CG を生成し、リアリティのある合成映像を生成することができる。 
《補足》
なお、本実施形態では、撮影状況を表すパラメータとして、カメラ配置情報と光源配置情報とを例に説明をしたが、これらのいずれか一方だけでもよい。また、これらの以外の撮影状況を表すパラメータであっても、そのパラメータとビデオフレームID とを対応付けることで、 CG の生成において、撮影状況を表示態様に反映できることは言うまでもない。
【０１２３】
また、本実施形態では、ビデオフレームID とパラメータとの対応付けを PTS を介して行う例を示したが、 PTS でなくても何らかの順序をもってビデオフレームの表示タイミングを示す時間情報であってもよい。
【０１２４】
また、ビデオフレームID とパラメータとの対応付けは、 PTS などの時間情報を介さなくても、直接対応付けるようにしてもよい。 
【産業上の利用可能性】
【０１２５】
本発明を構成する合成装置は、製造産業において経営的に、また継続的および反復的に製造し、販売することができる。特に、映像コンテンツの製作に携わる映画産業・民生機器産業において利用できる。 
【符号の説明】
【０１２６】
100：再生装置
101：テレビ
102：リモコン
103：BD-ROM
501：BD-ROMドライブ
502：トラックバッファ
503：ローカルストレージ
504：リムーバブルメディア
505：ネットワークインターフェース
510：仮想ファイルシステム
520：静的シナリオメモリ
521：カレントプレイリスト情報
522：カレントクリップ情報
530：動的シナリオメモリ
531：カレントシナリオ
540：ユーザ操作探知モジュール
541：モード管理モジュール
542：ディスパッチャ
543：HDMVモジュール
544：BD-Jモジュール
545：AV再生ライブラリ
550：レンダリングエンジン
551：イメージメモリ
552：デマルチプレクサ
553：イメージデコーダ
554：ビデオデコーダ
555：オーディオデコーダ
556：イメージプレーン
557：ビデオプレーン
558：合成器
559：テレビ出力部
560：スピーカ出力部
601：時間情報取得部
602：モデル情報取得部
603：光源配置情報取得部
604：カメラ配置情報取得部
605：座標変換部
606：照射位置変換部
607：照射強度変換部
608：照射方向変換部
609：色変換部
610：撮影位置変換部
611：撮影方向変換部
612：生成部
613：陰影描画部
614：スクリーン投影部
615：グラフィックス出力部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のビデオフレームからなるデジタルストリームから、各ビデオフレームを示すビデオフレーム識別子であって、前記ビデオフレームを撮影した撮影状況を表すパラメータが対応付けられたビデオフレーム識別子を取得する取得部と、
前記パラメータに基づいて、撮影状況を表示態様に反映するようにグラフィックスを生成する生成部と、
前記デジタルストリームに基づく各ビデオフレームに対して、当該ビデオフレームを示すビデオフレーム識別子に対応付けられたパラメータに基づいて生成されたグラフィックスを逐次合成する合成部と、
前記デジタルストリームをデコードするデコード部とを備え、
前記デジタルストリームは、
前記複数のビデオフレーム識別子で示されるビデオフレームのそれぞれを表示すべきタイミングを示す時間情報を含み、
前記パラメータは、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したカメラの配置を示すカメラ配置情報を含み、
前記カメラ配置情報は、前記カメラの撮影位置を示す撮影位置情報を含み、
前記複数のビデオフレーム識別子と前記カメラ配置情報との対応付けは、
前記カメラ配置情報を前記時間情報に付加することでなされ、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物を前記撮影位置情報で示される位置から撮影したときに得られるべき画像を生成することでなされ、
前記デコード部は、
前記デジタルストリームから前記ビデオフレーム識別子および前記時間情報を逐次取得し、
当該ビデオフレーム識別子で示されるビデオフレームを、当該時間情報で示されるタイミングでデコードし、
デコードするごとに前記カメラ配置情報を前記生成部に送信する
ことを特徴とする合成装置。
【請求項２】
前記デジタルストリームは、
前記カメラ配置情報が対応付けられていないビデオフレームを示すビデオフレーム識別子も含み、
前記デコード部は、
前記デジタルストリームから取得した前記時間情報に、
カメラ配置情報が付加されている場合は、当該カメラ配置情報を生成部に送信し、
カメラ配置情報が付加されていない場合は、直前に前記生成部に送信したカメラ配置情報を再度前記生成部に送信する
ことを特徴とする請求項1に記載の合成装置。
【請求項３】
前記パラメータは、更に、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したときの光源の配置を示す光源配置情報も含む
ことを特徴とする請求項2に記載の合成装置。
【請求項４】
前記光源配置情報は、前記光源の照射位置を示す照射位置情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物に前記照射位置情報で示される位置から光を照射したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項3に記載の合成装置。
【請求項５】
前記光源配置情報は、前記光源の照射強度を示す照射強度情報を含み、
前記生成部による前記グラフィックスの生成は、
仮想空間上において形成された対象物に前記照射強度情報で示される強度の光を照射したときに得られるべき画像を生成することでなされる
ことを特徴とする請求項4に記載の合成装置。
【請求項６】
複数のビデオフレームからなるデジタルストリームから、各ビデオフレームを示すビデオフレーム識別子であって、前記ビデオフレームを撮影した撮影状況を表すパラメータが対応付けられたビデオフレーム識別子を取得する取得ステップと、
前記パラメータに基づいて、撮影状況を表示態様に反映するようにグラフィックスを生成する生成ステップと、
前記デジタルストリームに基づく各ビデオフレームに対して、当該ビデオフレームを示すビデオフレーム識別子に対応付けられたパラメータに基づいて生成されたグラフィックスを逐次合成する合成ステップと、
前記デジタルストリームをデコードするデコードステップとを含み、
前記デジタルストリームは、
前記複数のビデオフレーム識別子で示されるビデオフレームのそれぞれを表示すべきタイミングを示す時間情報を含み、
前記パラメータは、当該パラメータが対応付けられたビデオフレーム識別子で示されるビデオフレームを撮影したカメラの配置を示すカメラ配置情報を含み、
前記カメラ配置情報は、前記カメラの撮影位置を示す撮影位置情報を含み、
前記複数のビデオフレーム識別子と前記カメラ配置情報との対応付けは、
前記カメラ配置情報を前記時間情報に付加することでなされ、
前記生成ステップによる前記グラフィックスの生成は、
仮想空間上において形成された対象物を前記撮影位置情報で示される位置から撮影したときに得られるべき画像を生成することでなされ、
前記デコードステップは、
前記デジタルストリームから前記ビデオフレーム識別子および前記時間情報を逐次取得し、
当該ビデオフレーム識別子で示されるビデオフレームを、当該時間情報で示されるタイミングでデコードし、
デコードするごとに前記カメラ配置情報を前記生成ステップに送信する
ことを特徴とする合成方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009157152.tif 000017
【図２】
2009157152.tif 000018
【図３】
2009157152.tif 000019
【図４】
2009157152.tif 000020
【図５】
2009157152.tif 000021
【図６】
2009157152.tif 000022
【図７】
2009157152.tif 000023
【図８】
2009157152.tif 000024
【図９】
2009157152.tif 000025
【図１０】
2009157152.tif 000026
【図１１】
2009157152.tif 000027
【図１２】
2009157152.tif 000028
【図１３】
2009157152.tif 000029
【図１４】
2009157152.tif 000030
【国際調査報告】
2009157152.tif 000031
2009157152.tif 000032
2009157152.tif 000033
2009157152.tif 000034