(57)【要約】【目的】オブジェクトについての更なる情報を付加すること等により、多様な立体映像表示を可能にし得る立体視用映像提供方法及び立体映像表示装置を提供する。【構成】送信側では、実写の２次元映像１００に対して画像分析を行い、背景映像１０１、ビルの映像１０２、自動車の映像１０３を抽出する。これら抽出された映像がオブジェクトとして扱われる。また、画素単位で奥行き値を与え、デプスマップを生成する。更に、厚み情報を与える。厚み情報は画素ごとに与えてもよいし、オブジェクトごとに与えてもよい。【選択図】                図１
2004179702.tif 000002
【特許請求の範囲】
【請求項１】
２次元映像をデータとして提供する際に、前記２次元映像のデータを立体視用映像に変換するのに役立つ立体視用情報と、前記２次元映像上のオブジェクトの厚み情報とを、前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
【請求項２】
２次元映像をデータとして提供する際に、前記２次元映像のデータを立体視用映像に変換するのに役立つ立体視用情報として、前記２次元映像上のオブジェクトの手前側位置を示す奥行き情報と、奥側位置を示す奥行き情報とを、前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
【請求項３】
２次元映像をデータとして提供する際に、前記２次元映像のデータを立体視用映像に変換するのに役立つ立体視用情報と、前記２次元映像上の各画素ごとの厚み情報とを、前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
【請求項４】
２次元映像をデータとして提供する際に、前記２次元映像のデータを立体視用映像に変換するのに役立つ立体視用情報として、前記２次元映像上の各画素ごとの手前側位置を示す奥行き情報と、奥側位置を示す奥行き情報とを、前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
【請求項５】
請求項１乃至請求項４のいずれかに記載の立体視用映像提供方法において、情報の提供を、放送、通信、記録媒体への記録のいずれかにより行なうことを特徴とする立体視用映像提供方法。
【請求項６】
請求項１乃至請求項５のいずれかに記載の立体視用映像提供方法において、焦点距離情報及び画角情報の少なくとも一つの撮影時情報を前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
【請求項７】
多視点の２次元映像をデータとして提供する立体視用映像提供方法であって、視点間隔情報、隣り合う視点と撮影対象物とのなす角度情報、光軸交差位置情報、焦点距離情報、及び画角情報のなかの少なくとも一つの撮影時情報を前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。
【請求項８】
２次元映像のデータと立体視用情報とに基づいて立体視用映像のデータを生成する手段と、別映像のデータに基づいて別映像を前記立体視用映像に合成する手段と、前記２次元映像の付属情報である前記２次元映像上の画素又はオブジェクトの厚み情報に基づいて、立体視用映像上の表示物と前記別映像の表示物との衝突判定を行なう手段と、を備えたことを特徴とする立体映像表示装置。
【請求項９】
２次元映像のデータと前記２次元映像上のオブジェクトの手前側位置を示す奥行き情報とに基づいて立体視用映像のデータを生成する手段と、前記オブジェクトの奥側位置を示す奥行き情報と前記手前側位置を示す奥行き情報とに基づいてオブジェクトの厚み情報を生成する手段と、を備えたことを特徴とする立体映像表示装置。
【請求項１０】
２次元映像のデータと前記２次元映像上の各画素ごとの手前側位置を示す奥行き情報とに基づいて立体視用映像のデータを生成する手段と、前記各画素ごとの奥側位置を示す奥行き情報と前記手前側位置を示す奥行き情報とに基づいて各画素ごとの厚み情報を生成する手段と、を備えたことを特徴とする立体映像表示装置。
【請求項１１】
多視点の映像のなかから二映像を用いて立体映像表示を行なう立体映像表示装置であって、前記二映像の選択を、視点間隔情報、隣り合う視点と撮影対象物とのなす角度情報、光軸交差位置情報、焦点距離情報、及び画角情報のなかの少なくとも一つの撮影時情報に基づいて行なうように構成されたことを特徴とする立体映像表示装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、立体視用映像提供方法及び立体映像表示装置に関する。
【０００２】
【従来の技術】
従来技術としては、２次元映像信号から抽出された奥行き情報と２次元映像信号とに基づいて立体映像を生成する立体映像受信装置及び立体映像システムが提案されている（特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−７８６１１号
【０００４】
【発明が解決しようとする課題】
上記従来技術によれば、実写の２次元映像から視差情報を持たせた立体視用映像を生成することができる。ここで、例えば、前記２次元映像にオブジェクトとして家が存在しており、この映像とボールが転がる映像とを合成する場合において、もし、ボールが横方向から家に当たることとなる位置に来たときには、ボールは家に当たってはねかえるように表示されなければならない。上記従来の技術では、奥行き情報によってオブジェクトの表面位置が定義されるだけであり、オブジェクトとボールとの衝突判定はできず、ボールは家の前を通り過ぎるか、或いは、家の後ろを通り過ぎるだけでのものとなる。
【０００５】
この発明は、上記の事情に鑑み、オブジェクトについての更なる情報を付加すること等により、多様な立体映像表示を可能にし得る立体視用映像提供方法及び立体映像表示装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明の立体視用映像提供方法は、上記の課題を解決するために、２次元映像をデータとして提供する際に、前記２次元映像のデータを立体視用映像に変換するのに役立つ立体視用情報と、前記２次元映像上のオブジェクトの厚み情報とを、前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする。
【０００７】
上記の構成であれば、２次元映像上のオブジェクトの厚み情報によって立体視用映像上でもオブジェクトを厚みのあるものとして扱えることになり、例えば別映像を合成する場合において、この別映像（又はこの別映像上のオブジェクト）との衝突判定を行なうことなどに利用できることになる。
【０００８】
また、この発明の立体視用映像提供方法は、２次元映像をデータとして提供する際に、前記２次元映像のデータを立体視用映像に変換するのに役立つ立体視用情報として、前記２次元映像上のオブジェクトの手前側位置を示す奥行き情報と、奥側位置を示す奥行き情報とを、前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする。
【０００９】
かかる構成においても、２次元映像上のオブジェクトの手前側位置を示す奥行き情報と奥側位置を示す奥行き情報とによって立体視用映像上でもオブジェクトを厚みのあるものとして扱えることになる。
【００１０】
また、この発明の立体視用映像提供方法は、２次元映像をデータとして提供する際に、前記２次元映像のデータを立体視用映像に変換するのに役立つ立体視用情報と、前記２次元映像上の各画素ごとの厚み情報とを、前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする。
【００１１】
上記の構成であれば、２次元映像上の各画素ごとの厚み情報によって立体視用映像上でも各画素を厚みのあるものとして扱えることになり、例えば別映像を合成する場合において、この別映像の表示物との衝突判定を行なうことなどに利用できることになる。
【００１２】
また、この発明の立体視用映像提供方法は、２次元映像をデータとして提供する際に、前記２次元映像のデータを立体視用映像に変換するのに役立つ立体視用情報として、前記２次元映像上の各画素ごとの手前側位置を示す奥行き情報と、奥側位置を示す奥行き情報とを、前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする。
【００１３】
かかる構成においても、２次元映像上の各画素ごとの手前側位置を示す奥行き情報と奥側位置を示す奥行き情報とによって立体視用映像上でも各画素を厚みのあるものとして扱えることになる。
【００１４】
これらの立体視用映像提供方法において、情報の提供を、放送、通信、記録媒体への記録のいずれかにより行なうようにしてもよい。また、焦点距離情報及び画角情報の少なくとも一つの撮影時情報を前記２次元映像の付属情報として当該２次元映像のデータと共に提供するようにしてもよい。
【００１５】
また、この発明の立体視用映像提供方法は、多視点の２次元映像をデータとして提供する立体視用映像提供方法であって、視点間隔情報、隣り合う視点と撮影対象物とのなす角度情報、光軸交差位置情報、焦点距離情報、及び画角情報のなかの少なくとも一つの撮影時情報を前記２次元映像の付属情報として当該２次元映像のデータと共に提供することを特徴とする。
【００１６】
上記の構成であれば、前記２次元映像の付属情報として提供される撮影時情報を表示装置側で利用して、例えば、撮影対象物の位置に応じて視点を選択するといったことが可能となる。また、撮影対象物の周囲を環状に撮影した多視点とした場合には、当該撮影対象物の立体映像を三次元データ内に組み入れて扱うことが容易になる。
【００１７】
また、この発明の立体映像表示装置は、２次元映像のデータと立体視用情報とに基づいて立体視用映像のデータを生成する手段と、別映像のデータに基づいて別映像を前記立体視用映像に合成する手段と、前記２次元映像の付属情報である前記２次元映像上の画素又はオブジェクトの厚み情報に基づいて、立体視用映像上の表示物と前記別映像の表示物との衝突判定を行なう手段と、を備えたことを特徴とする。
【００１８】
上記の構成であれば、２次元映像上のオブジェクトの厚み情報によって立体視用映像上でもオブジェクトを厚みのあるものとして扱い、別映像の合成で衝突判定を行ない、この衝突判定に従った処理が行なえることになる。
【００１９】
また、この発明の立体映像表示装置は、２次元映像のデータと前記２次元映像上のオブジェクトの手前側位置を示す奥行き情報とに基づいて立体視用映像のデータを生成する手段と、前記オブジェクトの奥側位置を示す奥行き情報と前記手前側位置を示す奥行き情報とに基づいてオブジェクトの厚み情報を生成する手段と、を備えたことを特徴とする。
【００２０】
また、この発明の立体映像表示装置は、２次元映像のデータと前記２次元映像上の各画素ごとの手前側位置を示す奥行き情報とに基づいて立体視用映像のデータを生成する手段と、前記各画素ごとの奥側位置を示す奥行き情報と前記手前側位置を示す奥行き情報とに基づいて各画素ごとの厚み情報を生成する手段と、を備えたことを特徴とする。
【００２１】
また、この発明の立体映像表示装置は、多視点の映像のなかから二映像を用いて立体映像表示を行なう立体映像表示装置であって、前記二映像の選択を、視点間隔情報、隣り合う視点と撮影対象物とのなす角度情報、光軸交差位置情報、焦点距離情報、及び画角情報のなかの少なくとも一つの撮影時情報に基づいて行なうように構成されたことを特徴とする。
【００２２】
上記の構成であれば、前記２次元映像の付属情報として提供される撮影時情報に基づいて二映像を選択できる。例えば、撮影対象物が観察者に近い位置にある場合には、視点間隔が離れた二つの映像を選択し、また、撮影対象物が観察者から遠い位置にある場合には、視点間隔が近い二つの映像を選択するといった選択を行なう。
【００２３】
【発明の実施の形態】
以下、この発明の立体視用映像提供方法及び立体映像表示装置を図１乃至図５に基づいて説明していく。
【００２４】
まず、図１に基づいて２次元映像と立体視用情報（ここでは、奥行き情報とする）とによる立体映像の生成及び前記２次元映像上のオブジェクトの厚み情報と合成映像との衝突判定について説明していく。なお、この図においては、放送局やインターネット上のサーバなどとして構成される送信側と、放送受信装置やネット接続環境を備えたパーソナルコンピュータなどから成る受信側とからなるシステムとして説明する。
【００２５】
同図（ａ）は実写の２次元映像１００を示している。送信側では、２次元映像１００に対して画像分析を行い、同図（ｂ）に示すように、背景映像１０１、ビルの映像１０２、自動車の映像１０３を抽出する。これら抽出された映像がオブジェクト（例えば、エッジ情報）として扱われる。また、画素単位で奥行き値を与え、デプスマップを生成する。なお、オブジェクト単位で奥行き値を与えることもできる。奥行き値は自動的（推定的）に与えるようにしてもよいし、手作業的に与えることとしてもよい。
【００２６】
更に、厚み情報を与える。厚み情報は画素ごとで与えてもよいし、オブジェクトごとに与えてもよい。オブジェクトの厚みが一定的である場合（例えば、正面側から撮影された四角いビル等の場合）は、オブジェクト単位で与えてもさしつかえない。また、２枚のデプスマップを与えることとしてもよい。一枚のデプスマップは手前側位置を示す奥行き情報とし、他の一枚のデプスマップは奥側位置を示す奥行き情報とすることにより、それらの差分で厚みが求まることになる。また、２枚のデプスマップを与える場合、例えば、動画の２次元映像であれば、或るフレームの２次元映像については手前側位置を示す奥行き情報を与え、次のフレームの２次元映像については奥側位置を示す奥行き情報を与えるというように、交互に奥行き情報を手前側位置を示すものと奥側位置を示すものとに切り替えることとしてもよい。
【００２７】
このように、送信側では、２次元映像をデータとして提供する際に、デプスマップと厚み情報とを、前記２次元映像の付属情報として当該２次元映像のデータと共に送信することになる。送信においては、データ圧縮のための処理やマルチプレクス処理を行なう。前記厚み情報を挿入するためのフォーマットの一例を図２（ａ）に示す。このフォーマットにおいて、「識別部」には情報の属性が示されることになり、ここでは奥行き情報と厚み情報であることを示すものとなる。「画素番号」は各画素を特定する。「奥行き情報」は当該画素番号の画素の奥行き値である。「厚み情報」は当該画素番号の画素の厚み情報である。
【００２８】
また、送信側では、２次元映像をデータとして提供する際に、手前側位置を示すデプスマップと、奥側位置を示すデプスマップとを、前記２次元映像の付属情報として当該２次元映像のデータと共に提供することになる。この場合のフォーマットの一例を、図２（ｂ）に示す。このフォーマットにおいて、「識別部」には情報の属性が示されることになり、ここでは奥行き情報であることを示すものとなる。「画素番号」は各画素を特定する。「第１奥行き情報」は当該画素番号の画素の手前側位置の奥行き値である。「第２奥行き情報」は当該画素番号の画素の奥側位置の奥行き値である。
【００２９】
図１（ｃ）に示すように、受信側は、背景映像１０１、ビルの映像１０２、自動車の映像１０３の各データ及び付属情報を受信する。これらデータがマルチプレクスされているのであればデマルチプレクス処理を行なう。各データに対するデコード処理は、基本的には例えばＭＰＥＧ４に基づいた処理などが採用される。そして、受信側では、背景映像１０１、ビルの映像１０２、自動車の映像１０３の各データ、デプスマップ、合成用映像（例えば、コンピュータによって生成されたボール１０５の３Ｄ映像）に基づいて視差を与えた右眼映像１０４Ｒ及び左眼映像１０４Ｌを生成する。従って、受信側には、データを受信するための手段（モデム、チューナ等）、デマルチプレクサ、デコーダ、２次元映像のデータと立体視用情報とに基づいて立体視用映像のデータを生成する立体映像データ生成部、別映像のデータに基づいて別映像を前記立体視用映像に合成する映像合成処理部が設けられるが、更に、この実施形態では、前記厚み情報に基づいて、立体視用映像上の表示物と前記別映像の表示物との衝突判定を行なう衝突判定部を備える。
【００３０】
衝突判定部においては、以下のような処理が行なわれる。ここで、説明の簡略化のため、図３（ａ）に示しているように、背景映像１０１の奥行き値が１００、ビルの映像１０２の奥行き値が５０で厚み値が３０、自動車の映像１０３の奥行き値が３０で厚み値が１０、合成用映像であるボール１０５の奥行き値が５５で厚み値が１であるとする。これらの情報に基づき、図３（ｂ）に示すように、ボール１０５は自動車の映像１０３の裏側となる座標上に位置し、且つ、ビルの映像１０２の表面から裏面までの間となる座標上に位置するとの判断が行なえる。なお、従来の奥行き値のみの場合を図３（ｃ）に参考として示す。これらの図から分かるように、この発明の実施形態であれば、転がるボール１０５の進行端側となる画素がビルの映像１０２の側面をなす画素上に位置したときは、ボール１０５とビルの映像１０２とが衝突したとの判定がなされる。この判定結果は、前述したコンピュータに与えられ、このコンピュータは、ボール１０５の進路を逆にした（跳ね返った）ボール１０５の３Ｄ映像を生成することになる。なお、奥行き値のみの場合は、ボール１０５はビルの映像１０２の裏を通ってしまう映像になってしまう。
【００３１】
次に、多視点映像（多眼映像）の取得について説明していく。図４（ａ）は多視点映像（実写）の取得時の様子を示している。この図では、撮影対象物（オブジェクト）Ａを、カメラ１、カメラ２、カメラ３、カメラ４、カメラ５、カメラ６によって撮影しており、６視点の２次元映像が得られる。そして、この６視点の２次元映像をデータとして伝送する際には、視点間隔（カメラ間隔）を示す情報、光軸交差位置を示す情報、焦点距離情報（被写体距離）、及び画角情報のなかの少なくとも一つの撮影時情報を前記２次元映像の付属情報として当該２次元映像のデータと共に伝送する。図４（ｂ）は多視点映像（実写）の取得時の他の例を示している。この例では、撮影対象物Ａの周囲に環状にカメラ１１、カメラ１２、カメラ１３、カメラ１４、カメラ１５、カメラ１６、カメラ１７、カメラ１８を配置して撮影することにより、多視点の２次元映像を得ている。この場合には、視点間隔を示す情報に代えて、隣り合う視点（カメラ）と撮影対象物Ａとのなす角度の情報を取得しておく。また、図４（ｃ）に示すように、撮影対象物Ａを回転させながら、１台のカメラにて撮影することによっても、多視点の２次元映像を得ることができる。このとき、回転速度も撮影時情報に含めてもよい。図４（ｂ）（ｃ）に示した方法により得られた多視点の２次元映像のデータと共に前記の撮影時情報が与えられることで、撮影対象物Ａの表面を構成する各点（表示映像の各画素）に３次元座標値を与えることができ、当該撮影対象物Ａ（実写）を３次元データ内に組み入れて扱うことが容易になる（３次元データ内に実写画像を配置することが容易となる）。この場合、背景を黒とし（背景に黒幕を配置し）、一つのオブジェクトが取り出せるように撮影するのがよい。
【００３２】
多視点の２次元映像のデータ及び撮影時情報が与えられた立体映像表示装置においては、多視点の映像のなかから二映像を用いて立体映像表示を行なう。この二映像を用いる立体映像表示の方法には、二映像を時間的に交互に表示してシャッタ眼鏡で見る方法や、二映像を空間的に交互に表示してパララックスバリヤで映像分離して見る方法などがある。立体映像表示装置は、前記の撮影時情報のなかの焦点距離情報（被写体距離）によって、表示オブジェクトの前後位置（近いか遠いか）を判断できる。そして、図５（図４（ａ）に対応した図である）に示しているように、オブジェクトＡが観察者Ｅに近いときには、カメラ２とカメラ５の映像を選択し、オブジェクトＡが観察者Ｅから遠いときには、カメラ３とカメラ４の映像を選択する。
【００３３】
【発明の効果】
以上説明したように、この発明によれば、多様な立体映像表示を可能にし得るという効果を奏する。
【図面の簡単な説明】
【図１】同図（ａ）（ｂ）（ｃ）はこの発明の実施形態の立体視用映像提供方法を示した説明図である。
【図２】同図（ａ）及び同図（ｂ）は立体視用映像の伝送フォーマットを例示した説明図である。
【図３】衝突判定を示す説明図であって、同図（ａ）は映像を示し、同図（ｂ）は厚み情報がある場合を示し、同図（ｂ）は厚み情報がない場合を示している。
【図４】同図（ａ）（ｂ）（ｃ）はそれぞれ多視点映像（多眼映像）の取得についての説明図である。
【図５】二映像の選択形態を示した説明図である。
【符号の説明】
１，２，３，４，５，６  カメラ
１１，１２，１３，１４，１５，１６，１７，１８  カメラ
２１    カメラ
１０１  背景映像
１０２  ビルの映像
１０３  自動車の映像
１０５  ボールの映像
【図１】
2004179702.tif 000003
【図２】
2004179702.tif 000004
【図３】
2004179702.tif 000005
【図４】
2004179702.tif 000006
【図５】
2004179702.tif 000007