(57)【要約】【目的】大きく回り込んで見た映像を視聴することができる立体映像生成方法及び立体映像生成装置を提供する。また、回り込みに伴う映像の切り替わりを滑らかにし、映像を再生・表示可能にする。【構成】送信側装置１は、複数のカメラで撮影した各２次元映像に対して画像分析を行い、背景映像１０１、ビルの映像１０２、自動車の映像１０３を抽出すると共に、各２次元映像についてデプスマップを生成し、これらを送信する。受信側装置２は、複数の２次元映像を同時に再生又は複数の２次元映像の一つを再生する。そして、再生した２次元映像とその立体視用情報とに基づいて立体映像を生成する。【選択図】図１
2004200814.tif 000002
【特許請求の範囲】
【請求項１】
２次元映像とその立体視用情報とに基づいて立体映像を生成する方法において、観者の頭部位置又は観者が入力した操作情報に基づいて仮想カメラ位置を判定し、所定間隔で複数配置されたカメラで撮影したものに相当する複数の２次元映像のなかで前記仮想カメラ位置に最も近い位置の２次元映像とその立体視用情報とに基づいて立体映像を生成することを特徴とする立体映像生成方法。
【請求項２】
２次元映像とその立体視用情報とに基づいて立体映像を生成する装置において、観者の頭部位置又は観者が入力した操作情報に基づいて仮想カメラ位置を判定する手段と、複数の２次元映像の位置関係を把握する手段と、複数の２次元映像のなかで前記仮想カメラ位置に最も近い位置の２次元映像とその立体視用情報とに基づいて立体映像を生成する手段と、を備えたことを特徴とする立体映像生成装置。
【請求項３】
請求項２に記載の立体映像生成装置において、複数の２次元映像を放送又は通信によって受け取るための受信手段を備えたことを特徴とする立体映像生成装置。
【請求項４】
請求項３に記載の立体映像生成装置において、複数の２次元映像を通信によって受け取る場合に、観者の頭部位置情報又は観者が入力した操作情報又はこれら情報に基づく仮想カメラ位置情報を送信側に送信する送信手段を備えたことを特徴とする立体映像生成装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、立体映像生成方法及び立体映像生成装置に関する。
【０００２】
【従来の技術】
２次元映像信号から抽出された奥行き情報と２次元映像信号とに基づいて立体映像を生成する立体映像受信装置及び立体映像システムが提案されている（特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−７８６１１号
【０００４】
【発明が解決しようとする課題】
上記従来技術によれば、実写の２次元映像から視差情報を持たせた立体視用映像を生成することができる。しかしながら、上記従来の技術では大きく回り込んで見た映像を視聴することができない。
【０００５】
この発明は、上記の事情に鑑み、大きく回り込んで見た映像を視聴することができる立体映像生成方法及び立体映像生成装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明の立体映像生成方法は、上記の課題を解決するために、２次元映像とその立体視用情報とに基づいて立体映像を生成する方法において、観者の頭部位置又は観者が入力した操作情報に基づいて仮想カメラ位置を判定し、所定間隔で複数配置されたカメラで撮影したものに相当する複数の２次元映像のなかで前記仮想カメラ位置に最も近い位置の２次元映像とその立体視用情報とに基づいて立体映像を生成することを特徴とする。
【０００７】
上記の構成であれば、所定間隔で複数配置されたカメラで撮影したものに相当する複数の２次元映像（複数のカメラ）を利用するので、大きく回り込んで見た映像を視聴することができる。そして、複数の２次元映像のなかで前記仮想カメラ位置に最も近い位置の２次元映像とその立体視用情報とに基づいて立体映像を生成するので、映像の切り替わりが滑らかに行なわれる。
【０００８】
また、この発明の立体映像生成装置は、２次元映像とその立体視用情報とに基づいて立体映像を生成する装置において、観者の頭部位置又は観者が入力した操作情報に基づいて仮想カメラ位置を判定する手段と、複数の２次元映像の位置関係を把握する手段と、複数の２次元映像のなかで前記仮想カメラ位置に最も近い位置の２次元映像とその立体視用情報とに基づいて立体映像を生成する手段と、を備えたことを特徴とする。かかる構成において、複数の２次元映像を放送又は通信によって受け取るための受信手段を備えるのがよい。
【０００９】
複数の２次元映像を通信によって受け取る場合に、観者の頭部位置情報又は観者が入力した操作情報又はこれら情報に基づく仮想カメラ位置情報を送信側に送信する送信手段を備えるのがよい。これによれば、送信側では、例えば３つの２次元映像の全てを送信するのではなく、前記操作情報等に基づいて選択した２つ又は一つの２次元映像を送信すればよいことになる。
【００１０】
【発明の実施の形態】
以下、この発明の立体映像再生方法及び立体映像再生装置を図１乃至図３に基づいて説明していく。
【００１１】
まず、図１に基づいて２次元映像と立体視用情報であるデプスマップ（奥行き情報）とによる立体映像の再生について説明していく。なお、この図では、放送局やインターネット上のサーバなどとして構成される送信側装置１と、放送受信装置、ネット接続環境を備えたパーソナルコンピュータや携帯電話などの受信側装置２とからなるシステムとして説明する。
【００１２】
同図（ａ）は撮影対象を示している。送信側装置１では、３台のカメラＡ１，Ａ２，Ａ３によって撮影を行い、３つの２次元映像を得る。３台のカメラの配置間隔は例えば眼間距離よりも大きくし、水平方向に等間隔に配置している。そして、同図（ｂ）に示すように、送信側装置１は、各２次元映像に対して画像分析を行い、背景映像１０１、ビルの映像１０２、自動車の映像１０３を抽出する。これら抽出された映像がオブジェクト（例えば、エッジ情報）として扱われる。また、画素単位で奥行き値を与え、デプスマップを生成する。なお、オブジェクト単位で奥行き値を与えることもできる。奥行き値は自動的（推定的）に与えるようにしてもよいし、手作業的に与えることとしてもよい。
【００１３】
このように、送信側装置１では、２次元映像（カメラ映像）を提供する際に、デプスマップを前記２次元映像の付属情報として送信する。また、送信側装置１では、上述のごとく、３つの２次元映像を提供することとしており、その各々についてのデプスマップを付属情報として送信する。ディジタル放送の場合、複数の２次元映像を一つのトランスポートストリームに多重して放送することができる。コンピュータネットワークを用いたストリーム配信においても、複数の２次元映像を多重して送信することができる。コンピュータネットワークを用いたファイル転送であれば、例えば、互いに関連付けられた３つの映像ファイルとして送信することができる。送信側装置１は３つの２次元映像（カメラ映像）におけるそれらの配置関係情報も送信するのがよい。また、撮影カメラ間隔の情報も送信するようにしてもよい。ディジタル放送サービスでは、サービス種別を多重することができ、このサービス種別として立体放送であること、及びその方式を示す情報を付加することが可能である。また、カメラやセンサ等により奥行き情報を取得、算出してもよい。
【００１４】
図１（ｃ）に示すように、受信側装置２は、背景映像１０１、ビルの映像１０２、自動車の映像１０３の各データ及びデプスマップを受信する。これらデータがマルチプレクスされているのであればデマルチプレクス処理を行なう。各データに対するデコード処理は、基本的には例えばＭＰＥＧ４に基づいた処理などが採用される。そして、受信側装置２では、背景映像１０１、ビルの映像１０２、自動車の映像１０３の各データとデプスマップとに基づいて視差を与えた右眼映像１０４Ｒ及び左眼映像１０４Ｌを生成する。従って、受信側装置２には、データを受信するための手段（モデム、チューナ等）、デマルチプレクサ、デコーダ、２次元映像のデータとデプスマップとに基づいて視差視映像を生成する視差映像生成部などが備えられる。なお、視差映像の生成では、奥行き値が小さいオブジェクトほど水平移動量（移動画素数）を大きくする処理を行なう。
【００１５】
受信側装置２では、３台のカメラＡ１，Ａ２，Ａ３にて撮影された２次元映像データを受け取ることとなり、各２次元映像データに付加されたデプスマップを用いることで、実際に撮影されている以外の位置で撮影されたと想定した映像を生成する。すなわち、図２に示しているように、３台のカメラＡ１，Ａ２，Ａ３以外に、例えば、仮想カメラＢ１，Ｂ２，Ｂ３，Ｂ４で撮影したと想定される映像を２次元映像データとデプスマップとによって生成する。なお、受信側装置２は、３つの２次元映像（カメラ映像）におけるそれらの配置関係を、当該配置関係を示す情報を送信側装置１から受け取ることで認識することができる。
【００１６】
受信側装置２がディジタル放送受信装置である場合、そのリモコン送信機には方向キーが設けられている。パーソナルコンピュータである場合も、キーボードには方向キーが設けられている。また、携帯電話である場合も、方向キーとして扱うことができるキーが設けられている。また、ＭＰＥＧプレーヤソフトにおけるプレイ画面の枠部のプレイボタンやストップボタンの配置と同様に、当該プレイ画面の枠部に方向キーを設定することもできる。立体映像表示状態においては方向キーの操作を受信側装置２の制御部はカメラシフトの指令であると判断して処理する。ここで、図３（ａ）に示すように、カメラＡ１の２次元映像とそのデプスマップとによって左眼映像Ｌ（仮想カメラＬ）と右眼映像Ｒ（仮想カメラＲ）とが生成されているとする。この状態で、右方向キーを操作すると、図３（ｂ）に示すように、右にシフトしたかたちで左眼映像Ｌと右眼映像Ｒとが生成される。この場合も左眼映像Ｌ及び右眼映像ＲはカメラＡ１の２次元映像とそのデプスマップとによって生成される。そして、更に右方向キーを操作すると、図３（ｃ）に示すように、更に右にシフトしたかたちで左眼映像Ｌと右眼映像Ｒとが生成されるが、左眼映像ＬはカメラＡ１の２次元映像とそのデプスマップとによって生成され、右眼映像ＲはカメラＡ２の２次元映像とそのデプスマップとによって生成されることになる。
【００１７】
３台のカメラＡ１，Ａ２，Ａ３の中間位置を基準とし、この中間位置より近い側のカメラによって、仮想カメラを配置する（すなわち、左眼映像又は右眼映像を生成する）。図２において、各仮想カメラＢ２，Ｂ３がカメラＡ１，Ａ２，Ａ３の中間位置に存在するとすれば、▲１▼仮想カメラＢ２よりも左側の位置での画像データは、カメラＡ１の画像データとカメラＡ１のデプスマップデータとにより生成する。また、▲２▼仮想カメラＢ２よりも右側で且つ仮想カメラＢ３よりも左側の位置での画像データは、カメラＡ２の画像データとカメラＡ２のデプスマップデータとにより生成する。また、▲３▼仮想カメラＢ３よりも右側の位置での画像データは、カメラＡ３の画像データとカメラＡ３のデプスマップデータとにより生成する。
【００１８】
なお、放送ではなく通信によって２次元映像とデプスマップのストリーム配信を受ける場合においては、受信側装置２での方向キー操作情報或いはこの操作情報に基づく仮想カメラ位置情報を送信側装置１に送信するように構成し、送信側では３つの２次元映像を全て送信するのではなく、受信側装置２からの上記情報に基づいてカメラ（２次元映像）の切り替わりを判断し、適宜カメラ（２次元映像）を選択して送信するようにしてもよいものである。
【００１９】
また、放送や送信によって３つの２次元映像が送信される場合でも、受信側装置２においてその全てを再生（デマルチプレクス，デコード）する必要はなく、仮想カメラ位置（方向キー操作情報）に基づいて必要な２次元映像のみ再生するのがよい。また、２次元映像は撮影されたものとして説明したが、コンピュータ等によって生成したポリゴン映像等の実写ではない映像でもよい。
【００２０】
【発明の効果】
以上説明したように、この発明によれば、大きく回り込んで見た映像を視聴することができる。また、映像再生時に観者の頭部位置情報又は観者が入力した操作情報により観察位置を移動させた場合に、移動に伴う映像の切り替わりを滑らかに行なうことができる。
【図面の簡単な説明】
【図１】同図（ａ）（ｂ）（ｃ）はこの発明の実施形態の立体映像生成方法を示した説明図である。
【図２】仮想カメラ（２次元映像とデプスマップにより映像を生成すること）の説明図である。
【図３】カメラ（２次元映像）の切り替わりの説明図である。
【符号の説明】
１    送信側装置
２    受信側装置
【図１】
2004200814.tif 000003
【図２】
2004200814.tif 000004
【図３】
2004200814.tif 000005