(57)【要約】  背景映像と３ＤＡＲオブジェクトの奥行き関係を考慮する３Ｄ表示が可能な３ＤＡＲコンテンツ作成装置、３ＤＡＲコンテンツ再生装置、及び、３ＤＡＲコンテンツ作成システムを提供する。  そのために、３ＤＡＲコンテンツ作成装置であって、カメラと、カメラの位置情報を検出する位置情報センサと、コントローラを有し、コントローラは、カメラが撮影する背景映像の少なくとも一部の映像の特徴点の奥行きを計測し、背景映像の特徴点と３Ｄ映像を持つＡＲオブジェクトに対し、カメラの位置情報および計測した特徴点の奥行きから背景映像に対応する空間の位置座標を付与し、背景映像の特徴点とＡＲオブジェクトの奥行きを評価し合成映像を得る構成とする。
2019224989.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、該カメラの位置情報を検出する位置情報センサと、コントローラを有し、
該コントローラは、前記カメラが撮影する背景映像の少なくとも一部の映像の特徴点の奥行きを計測し、
該背景映像の特徴点と３Ｄ映像を持つＡＲオブジェクトに対し、前記カメラの位置情報および計測した特徴点の奥行きから背景映像に対応する空間の位置座標を付与し、
前記背景映像の特徴点と前記ＡＲオブジェクトの奥行きを評価し合成映像を得ることを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項２】
請求項１に記載の３ＤＡＲコンテンツ作成装置であって、
前記カメラは３Ｄ映像を背景映像として撮影する３Ｄカメラであって、
前記コントローラは、前記背景映像の特徴点を頂点とする面データの集合として空間形状面データを生成することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項３】
請求項１に記載の３ＤＡＲコンテンツ作成装置であって、
背景映像を撮影するカメラよりも広い撮影領域を有し、広角映像を得る広角カメラを備え、
前記コントローラは、前記背景映像の特徴点に対し広角映像に対応する空間の位置座標を付与し、３Ｄ映像を持つＡＲオブジェクトに対し広角映像に対応する空間上にＡＲオブジェクトを配置することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項４】
請求項３に記載の３ＤＡＲコンテンツ作成装置であって、
前記広角映像を得る広角カメラは、おおよそ周囲３６０度の映像を得る３６０度カメラであることを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項５】
請求項１に記載の３ＤＡＲコンテンツ作成装置であって、
前記合成映像を３Ｄ表示する３Ｄディスプレイを有することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項６】
請求項３に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記背景映像、もしくは前記背景映像と前記広角映像を保存することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項７】
請求項１または３に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記カメラもしくは広角カメラの移動を計測し、計測した移動データに基づき、前記背景映像の特徴点と前記３Ｄ映像を持つＡＲオブジェクトに付与する空間の位置座標の再計算を行ない、計測した移動データを保存することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項８】
請求項７に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記３Ｄ映像を持つＡＲオブジェクトにパラメータを与え、前記カメラもしくは広域カメラの移動に対する空間の位置座標の再計算方法として、空間の位置座標から移動データを減算する方法、空間の位置座標を保持する方法を選択するパラメータを有することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項９】
請求項２に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記映像の特徴点を頂点とする面データをひとつ以上指定して、指定された面データの領域の背景映像をマスクすることを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項１０】
請求項１に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記背景映像と前記ＡＲオブジェクトの３Ｄ映像を２Ｄ映像に変換し、変換した背景映像とＡＲオブジェクトの映像を保存することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項１１】
請求項１０に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記背景映像の特徴点と前記ＡＲオブジェクトの奥行きを評価し、２Ｄ化した背景映像と２Ｄ化したＡＲオブジェクトの合成映像を得、該合成映像を保存することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項１２】
再生装置とディスプレイを有する３ＤＡＲコンテンツ再生装置であって、
該再生装置は、特徴点に位置座標を有する背景映像を再生し、背景映像の特徴点が属する空間の位置座標を有するＡＲオブジェクトを再生し、背景映像の特徴点とＡＲオブジェクトの位置座標を比較し、該比較結果に基づいて背景映像とＡＲオブジェクトの合成映像を得、該合成映像を前記ディスプレイに表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１３】
請求項１２に記載の３ＤＡＲコンテンツ再生装置であって、
前記再生装置は、背景映像より広い映像領域を有する広角映像を再生し、前記背景映像の特徴点とＡＲオブジェクトが有する位置座標が広角映像に対応する空間内の位置座標であり、該位置座標を比較し、該比較結果に基づいて、広角映像上に背景映像とＡＲオブジェクトを配置して合成映像を得、該合成映像を前記ディスプレイに表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１４】
請求項１２に記載の３ＤＡＲコンテンツ再生装置であって、
前記背景映像、ＡＲオブジェクト、および合成映像は３Ｄ映像であり、前記再生装置は、前記ディスプレイに３Ｄ表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１５】
請求項１２に記載の３ＤＡＲコンテンツ再生装置であって、
前記再生装置は、３ＤＡＲコンテンツの視聴者の操作を行うタッチセンサを有し、前記ディスプレイに表示する合成映像上の３ＤＡＲオブジェクトを選択する、あるいは背景映像のポイントを指定することにより、背景映像の特徴点、３ＤＡＲオブジェクトの位置座標を更新し、選択した箇所に視聴者の視線を移動させた合成画像を得て、表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１６】
請求項１４に記載の３ＤＡＲコンテンツ再生装置であって、
前記再生装置は、前記３Ｄ映像を持つＡＲオブジェクトにパラメータを与え、３Ｄ映像の透過度、表示優先度、回転、移動、サイズ変更のひとつ以上の設定が可能なことを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１７】
請求項１２に記載の３ＤＡＲコンテンツ再生装置であって、
前記再生装置は、前記背景映像の特徴点を頂点とする面データの集合として空間形状面データを再生し、挿入映像を生成もしくは再生し、前記面データのひとつ以上の領域において、前記背景映像を前記挿入映像に置換して置換映像を得、該置換映像を含む映像を表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１８】
請求項１２に記載の３ＤＡＲコンテンツ再生装置であって、
前記再生装置は、２Ｄ化した背景映像と２Ｄ化したＡＲオブジェクトを再生し、背景映像の特徴点とＡＲオブジェクトの位置座標を比較し、該比較結果に基づいて２Ｄ化した背景映像と２Ｄ化したＡＲオブジェクトの合成映像を得、該合成映像を前記ディスプレイに表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１９】
請求項１に記載の３ＤＡＲコンテンツ作成装置を有する３ＤＡＲコンテンツ作成システムであって、
第一のネットワークに接続される少なくとも２つの第一及び第二の３ＤＡＲコンテンツ作成装置と３ＤＡＲコンテンツ再生装置からなり、
前記第一及び第二の３ＤＡＲコンテンツ作成装置は、前記３ＤＡＲコンテンツ作成装置の構成を有し、
前記第一の３ＤＡＲコンテンツ作成装置が、前記第一のネットワークを介して３ＤＡＲコンテンツを前記３ＤＡＲコンテンツ再生装置に配信するものであり、
前記第一及び第二の３ＤＡＲコンテンツ作成装置は第二のネットワークで接続され、
前記第二の３ＤＡＲコンテンツ作成装置は、前記第一の３ＤＡＲコンテンツ作成装置との位置関係を前記第二のネットワークを介して前記第一の３ＤＡＲコンテンツ作成装置に送信することを特徴とする３ＤＡＲコンテンツ作成システム。
【請求項２０】
請求項１２に記載の３ＤＡＲコンテンツ再生装置を有する３ＤＡＲコンテンツ作成システムであって、
第一のネットワークに接続される３ＤＡＲコンテンツ作成装置、前記３ＤＡＲコンテンツ再生装置、３ＤＡＲオブジェクトバンクサービス、３ＤＡＲコンテンツストレージサービスからなり、
前記３ＤＡＲコンテンツ作成装置は、３ＤＡＲオブジェクトを前記３ＤＡＲオブジェクトバンクサービスから前記第一のネットワークを介してダウンロードし、さらに作成した３ＤＡＲコンテンツを前記第一のネットワークを介して前記３ＤＡＲコンテンツストレージサービスにアップロードし、
前記３ＤＡＲコンテンツ再生装置は前記第一のネットワークを介して前記３ＤＡＲコンテンツストレージサービスから３ＤＡＲコンテンツをダウンロードすることを特徴とする３ＤＡＲコンテンツ作成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ（3Dimensional：３次元）映像と３ＤのＡＲ（Argument Reality：仮想現実）オブジェクトから成る３ＤＡＲコンテンツを作成する３ＤＡＲコンテンツ作成装置、及び３ＤＡＲコンテンツを再生・表示する３ＤＡＲコンテンツ再生装置、さらに、それらを有する３ＤＡＲコンテンツ作成システムに関する。
【背景技術】
【０００２】
プレーヤの目線で捉える映像をカメラで撮影して、スポーツ等のアクティビティ体験を共有することが行われている。この時プレーヤは、カメラをヘルメットやヘアバンドに固定して装着する、いわゆる“アクションカム”を用いることが多い。視聴者は、アクションカム等で撮影する映像を、ネットワークを介して“スマートフォン”などの表示デバイスで、リアルタイムに視聴することや、カメラ内部の保存デバイスに一時格納した後、タイムシフトして視聴することができる。【０００３】
また、ＡＲの利用が行われている。ＡＲでは、ＡＲトリガーと呼ばれる映像をカメラで撮影して、ＡＲトリガーで紐付けしているＣＧ（Computer Graphics）等の情報を、カメラ映像に合成して、表示させる。【０００４】
さらに、特開２０１６−５３７８８号公報（特許文献１）では、カメラ映像上に３ＤＡＲオブジェクトを投影表示して、ＡＲコンテンツを提供する方法を提案している。また、カメラ映像と３ＤＡＲオブジェクトを保存する方法を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−５３７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、３ＤＡＲオブジェクトを２Ｄ化して、カメラ映像上にオーバレイ表示することが開示されているが、背景映像は２Ｄ映像であり、背景映像と３ＤＡＲオブジェクトの奥行き関係を考慮する３Ｄ表示を行うことはできず、３ＤＡＲコンテンツを視聴者に提供するには十分でないという課題がある。また、３ＤＡＲオブジェクトが、３６０度全周方向に配置されている場合には、３６０度のカメラ映像と組み合わせた３ＤＡＲコンテンツの提供が必要となる。【０００７】
本発明は、上記課題に鑑みてなされたものであり、その目的は、カメラ映像に３ＤＡＲオブジェクトを合成して３ＤＡＲコンテンツを作成する装置、３ＤＡＲコンテンツの再生装置、および３ＤＡＲコンテンツの作成システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、３ＤＡＲコンテンツ作成装置であって、カメラと、カメラの位置情報を検出する位置情報センサと、コントローラを有し、コントローラは、カメラが撮影する背景映像の少なくとも一部の映像の特徴点の奥行きを計測し、背景映像の特徴点と３Ｄ映像を持つＡＲオブジェクトに対し、カメラの位置情報および計測した特徴点の奥行きから背景映像に対応する空間の位置座標を付与し、背景映像の特徴点とＡＲオブジェクトの奥行きを評価し合成映像を得る構成とする。
【発明の効果】
【０００９】
本発明によれば、背景映像と３ＤＡＲオブジェクトの奥行き関係を考慮する３Ｄ表示が可能な３ＤＡＲコンテンツ作成装置、３ＤＡＲコンテンツ再生装置、及び、３ＤＡＲコンテンツ作成システムを提供できる。また、３ＤＡＲオブジェクトが３６０度全周方向に配置された場合にも、３６０度方向に３ＤＡＲコンテンツの作成・保存が可能なシステムを提供できる。
【図面の簡単な説明】
【００１０】
【図１】実施例１における３ＤＡＲコンテンツ作成装置の外観模式図である。
【図２】実施例１における３ＤＡＲコンテンツ作成装置の構成ブロック図である。
【図３】実施例１における３６０度の３ＤＡＲコンテンツの第一の表示例である。
【図４】実施例１における３ＤＡＲコンテンツの第二の表示例である。
【図５】実施例１における３６０度の３ＤＡＲコンテンツの第三の表示例である。
【図６】実施例１におけるメニューオブジェクトを説明する図である。
【図７】実施例１における３Ｄ映像の空間形状データを説明する図である。
【図８】実施例１における３ＤＡＲオブジェクトのパラメータ設定を説明する図である。
【図９】実施例１における３ＤＡＲコンテンツのマスク処理を説明する図である。
【図１０Ａ】実施例１における３ＤＡＲコンテンツを構成するデータの例である。
【図１０Ｂ】実施例１における３ＤＡＲコンテンツを構成するデータの例である。
【図１０Ｃ】実施例１における３ＤＡＲコンテンツを構成するデータの例である。
【図１１】実施例１における３ＤＡＲコンテンツ作成装置の処理フロー図である。
【図１２】実施例２における３ＤＡＲコンテンツ作成装置の外観模式図である。
【図１３】実施例２における３ＤＡＲコンテンツ作成装置の構成ブロック図である。
【図１４】実施例２における３ＤＡＲコンテンツ作成装置の表示例である。
【図１５】実施例３における３ＤＡＲコンテンツ作成システムの構成図である。
【図１６】実施例４における３ＤＡＲコンテンツ作成システムの構成図である。
【図１７】実施例５における３ＤＡＲコンテンツ再生装置の構成ブロック図である。
【図１８】実施例５における３ＤＡＲコンテンツ再生装置の処理フロー図である。
【図１９】実施例５における表示設定オブジェクトを説明する図である。
【図２０】実施例５における３ＤＡＲコンテンツ再生装置の第一の表示例である。
【図２１】実施例５における３ＤＡＲコンテンツ再生装置の３６０度の第二の表示例であり、操作オブジェクトを説明する図である。
【図２２】実施例５における合成処理部の処理フロー図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の実施例について説明する。
【実施例１】
【００１２】
図１は本実施例における３ＤＡＲコンテンツ作成装置の外観模式図である。図１において、１は３ＤＡＲコンテンツ作成装置、１０ａ、１０ｂは広角カメラ、１１ａ、１１ｂは３Ｄカメラ、１２はディスプレイ、１３は偏光光学レンズ、１４ａ、１４ｂはスピーカ、１５はコントローラ、１６ａ、１６ｂは装着部、１７はセンサである。【００１３】
３ＤＡＲコンテンツの作成者は、装着部１６ａ、１６ｂで、３ＤＡＲコンテンツ作成装置１（以下装置１と記す場合もある）を自身の頭部に装着する。装着部１６ａは頭部上下方向、装着部１６ｂは頭部前後方向に固定するものである。【００１４】
広角カメラ１０ａは、頭部前方（作成者の視線の前方）を撮影するように取り付けられており、例えばカメラの撮影画角が上下左右１８０度のカメラであって、前方の半球の範囲を撮影する。広角カメラ１０ｂは、頭部後方（作成者の視線の後方）を撮影するように取り付けられており、同様にカメラの撮影画角が上下左右１８０度の後方の半球の範囲を撮影する。広角カメラ１０ａと１０ｂを合わせて、ほぼ頭部周囲の３６０度を撮影する。【００１５】
３Ｄカメラ１１ａ、１１ｂにおいて、１１ａは装置１の左側に装着され、作成者の左側前方視線の映像を撮影し、１１ａは装置１の右側に装着され、作成者の右側前方視線の映像を撮影する。左右の視差のある２つの映像によりステレオ映像である３Ｄカメラで撮影する映像（以下３Ｄ映像と記す場合がある）を撮影する。なお、３Ｄカメラは、赤外光等を照射して反射光を捉えることで距離計測を行うカメラであっても良い。この時、３Ｄカメラを広角カメラに隣接して設置し、広角カメラで撮影する映像の中心を含む領域の距離計測を行わせるようにしても良い。ただし、この時３Ｄ（ステレオ）映像は得られない。【００１６】
コントローラ１５は、広角カメラ１０ａ、１０ｂ、３Ｄカメラ１１ａ、１１ｂの撮影映像を取り込み、内部の保存デバイスに保存するほか、ディスプレイ１２に映し出す映像やスピーカ１４ａ、１４ｂに流す音を作成する。ディスプレイ１２に映し出す映像は、広角カメラ１０ａ、１０ｂの映像（以下広角映像と記す場合がある）、３Ｄカメラ１１ａ、１１ｂの３Ｄ映像に、３ＤＡＲオブジェクトを合成して得る映像である。さらに偏光光学レンズ１３の駆動信号を生成し、ディスプレイ１２に映し出す合成した３Ｄ映像に同期して、左側のみの透過と右側のみの透過を繰り返して、左側視線の映像を作成者の左目で、右側視線の映像を作成者の右目で視認させるようにして、作成者に合成した３Ｄ映像を確認させる。【００１７】
またコントローラ１５は、３Ｄカメラ１１ａ、１１ｂで撮影する３Ｄ映像の各部に対して、左右の視差を利用して奥行き（距離）情報を算出する。この奥行き情報と映像のエッジ情報等と合わせて、図７にて後述するセグメント化した空間形状の面データを得る。空間形状の面データ、および３ＤＡＲオブジェクトは、装置１のＧＰＳ等のセンサ１７による位置情報と広角カメラの撮影映像に対応する位置座標空間で管理する。【００１８】
図２は本実施例における３ＤＡＲコンテンツ作成装置の構成ブロック図である。図２において、図１と同一のものには同一の番号を付している。また、１７ａは位置情報センサ、１７ｂは地磁気センサ、１７ｃはジャイロセンサであり、図１でのセンサ１７に対応し、装着部１６ａ、１６ｂ等に装備される。１８はユーザ操作入力部であり、タッチパネル等で装置１の操作を行う。さらに、１５１ａは空間形状面処理部、１５１ｂは奥行き情報処理部、１５１ｃは明るさ情報処理部、１５１ｄは色情報処理部、１５２は合成処理部、１５３はマスク処理部、１５４ａはＣＰＵ、１５４ｂはＲＡＭ、１５４ｃはＲＯＭ、１５４ｄは通信部、１５５は空間位置座標処理部、１５６ａは広角映像保持部、１５６ｂは３Ｄ映像保持部、１５６ｃは空間形状面データ保持部、１５６ｄは３ＤＡＲオブジェクト保持部、１５６ｅは２Ｄ映像保持部、１５６ｆは２ＤＡＲオブジェクト保持部、１５６ｇは視線移動データ保持部、１５７は２Ｄ化処理部、１５８は２Ｄ合成映像・サムネイルデータ保持部、１５９はユーザ操作データ保持部であり、コントローラ１５を構成する。【００１９】
広角カメラ１０ａの映像はコントローラ１５に取り込まれ、広角映像保持部１５６ａに格納する。また、３Ｄカメラの映像は、３Ｄ映像保持部１５６ｂに格納するほか、明るさ情報処理部１５１ｃ、色情報処理部１５１ｄの入力となる。【００２０】
明るさ情報処理部１５１ｃ、色情報処理部１５１ｄはそれぞれ明るさ情報、色情報の変化点（エッジなど）を抽出する。奥行き情報処理部１５１ｂでは、これらの変化点の左右視差を計測し、奥行きデータを得る。奥行きデータは空間位置座標処理部１５５等に送られる。空間形状面処理部１５１ａでは、変化点、奥行きデータに基づき、特徴点を抽出し空間形状面データを生成し、空間形状面データ保持部１５６ｃに格納する。空間形状面データとは、図７で後述するように、特徴点を頂点とするポリゴンデータであり、３Ｄ映像を抽象化する面データである。各々の頂点には、奥行きデータが与えられ、これら空間形状面データにより、３Ｄ映像の３Ｄ形状が把握できる。【００２１】
位置情報センサ１７ａは、例えばＧＰＳセンサや高度センサであり、装置１の現在位置を測定する。地磁気センサ１７ｂは、装置１の方角を測定する。ジャイロセンサ１７ｃは、測定する装置１の加速度から、装置１の速度や変位などの動きを把握する。地磁気センサ１７ｂの方角とジャイロセンサ１７ｃの動きにより頭部の動きが検出され、それにより装置１のユーザの視線の移動が検知される。視線の移動データは、視線移動データ保持部１５６ｇに格納する。【００２２】
空間位置座標処理部１５５は、装置１の位置と方向、さらに前記空間形状面データ（以下面データと記すこともある）の各頂点の奥行きデータ、および３ＤＡＲオブジェクトの位置等を管理する。これらのデータは、時刻情報と広角カメラで捉える位置座標空間に関連付けられる。具体的には、時刻Ｔ０（初期状態）にて現在位置がＰ０＝（ｘ０、ｙ０、ｚ０）と視線の方向が（水平方向、垂直方向）＝（θ０、φ０）を初期値として、以降この初期値との差分の位置を求め、空間位置座標とする。即ち、装置１の空間上の位置および方向が基準となる座標系が定められ、装置１の移動や向きの変化に伴って、空間位置座標系が移動する。【００２３】
初期状態で、３Ｄ映像内の面データの頂点がＰ１＝（ｒ１、θ１、φ１）である場合、この頂点には、空間位置座標としてＰ１が付与される。ここで、（ｒ１、θ１、φ１）は極座標系で、ｒ１が距離、θ１が水平角度、φ１が垂直角度である。【００２４】
装置１が移動した場合、この移動量がＰ２＝（ｒ２，θ２、φ２）であるならば、このＰ２を基準に、空間位置座標を再計算する。移動前の３Ｄ映像の空間位置座標系の原点は、移動後の空間位置座標系では−Ｐ２であり、以前のＰ１が付与されている頂点の空間位置座標は、Ｐ３＝Ｐ１−Ｐ２（但し、極座標系の合成演算である）となる。また、新しい３Ｄ映像内の面データの頂点がＰ４＝（ｒ４、θ４、φ４）である場合、この頂点にはＰ４が付与される。【００２５】
装置１がさらに移動する場合にも同様に、以前の３Ｄ映像や面データの頂点の空間位置座標が、現在の装置１の位置を基準に再計算され、かつ新たな３Ｄ映像や面データの頂点にも空間位置座標が付与される。この結果、装置１の移動があった場合にも、移動後の広角カメラ１０ａ、１０ｂで捉える位置座標空間に一連の３Ｄ映像、および３Ｄ映像内の面データ、さらには後記する３ＤＡＲオブジェクトを配置することが可能となる。【００２６】
なお、装置１の移動量が初期値から大きくなりすぎた場合、空間位置座標を初期化して、空間位置座標の計算を再開しても良い。【００２７】
また、３ＤＡＲオブジェクトにも空間位置座標を与えて、広角カメラ１０ａ、１０ｂで捉える位置座標空間に配置する。空間位置座標が付与された３ＤＡＲオブジェクトは、３ＤＡＲオブジェクト保持部に格納される。【００２８】
３ＤＡＲオブジェクトへの位置座標空間への配置は、コンテンツ作成者がユーザ操作入力部１８から実行する。ユーザ操作入力部１８からは、３ＤＡＲオブジェクトの回転、大きさの変更、色修正などの操作も行うことができ、操作データは操作時刻とともに、ユーザ操作データ保持部１５９に格納する。【００２９】
３Ｄ映像保持部１５６ｂの３Ｄ映像や、３ＤＡＲオブジェクト保持部１５６ｄの３ＤＡＲオブジェクトは、読み出された後、２Ｄ化処理部１５７で２Ｄ化映像として、それぞれ２Ｄ映像保持部１５６ｅ、２ＤＡＲオブジェクト保持部１５６ｆに格納する。これら２Ｄ映像や２ＤＡＲオブジェクトは、３ＤＡＲコンテンツ再生装置で表示が２Ｄ表示デバイスに行われる場合でも、３ＤＡＲコンテンツの表示を可能とさせるためのものであり、２Ｄ映像や２ＤＡＲオブジェクトに付与する空間情報座標により、２Ｄ映像や２ＤＡＲオブジェクトの奥行き関係の保持や、視線移動による表示画像の切り替えなど、奥行きを感じることのできる３ＤＡＲコンテンツの視聴を可能とさせる。【００３０】
合成処理部１５２は、広角映像（広角カメラで撮影する映像）や、３Ｄ映像（３Ｄカメラで撮影する映像）、および３ＤＡＲオブジェクトを合成して、ディスプレイ１２に３ＤＡＲコンテンツを表示する。合成処理部１５２では、３Ｄ映像の面データを参照し、３Ｄ映像と３ＤＡＲオブジェクトの前後関係を見て、後ろに位置する映像が前に位置する映像によって覆われるようにする。なおディスプレイ１２は、平面形状を例えば凹状の形状として、３ＤＡＲコンテンツの視認性を向上させるものであってもよい。【００３１】
また、マスク処理部１５３では、３Ｄ映像で例えば個人情報が含まれ、３ＤＡＲコンテンツ再生装置で限定されていない視聴者に表示するのを避けたい領域等の面データを指定して、マスク処理する。マスク処理では、単にマスクするほか、他の映像に置換してもよい。【００３２】
通信部１５４ｄは、ネットワークに３ＤＡＲコンテンツ作成装置１をつなげる役割を担い、例えば３ＤＡＲコンテンツ再生装置１とネットワークを介して繋がり、３ＤＡＲコンテンツ再生装置からの要求に応じ３ＤＡＲコンテンツを送信する。【００３３】
なお、図２での各処理部の処理は、ＣＰＵがメモリに記憶したプログラムを実行するソフトウェア処理によって実行してもよいし、専用の信号処理回路によるハードウェア処理により実行してもよい。また、ソフトウェア処理とハードウェア処理の併用でもよい。【００３４】
図３は、本実施例における３ＤＡＲコンテンツ作成装置１で作成する３６０度の３ＤＡＲコンテンツの第一の表示例であり、ディスプレイ１２に表示し、作成者が確認する。【００３５】
図３において、２は広角映像、３は３Ｄ映像、４ａ、４ｂ、４ｃ、４ｄ、４ｅ、４ｆは３ＤＡＲオブジェクトである。【００３６】
広角映像２は、広角カメラ１０ａと１０ｂの２つのカメラの映像を加工したものであり、作成者の頭部上方に設置したと仮定する仮想の広角カメラの撮影する映像に加工し、表示している。作成者の視線は、広角映像２の垂直上方を向いており、広角映像２の“２ａの矢印”で示す上半分は、広角カメラ１０ａで撮影した映像で、作成者の視線の前方の映像であり、広角映像２の“２ｂの矢印”で示す下半分は、広角カメラ１０ｂの映像で、作成者の視線の後方の映像である。【００３７】
広角映像２には、３Ｄ映像３がオーバレイされている。３Ｄカメラ１１ａ、１１ｂは、作成者の前方を撮影しており、３Ｄ映像３内に映し出される被写体が前方にあるように広角映像２の上部に配置される。３Ｄカメラの映像３は、３Ｄ映像であり、図２の装置１では、作成者は３Ｄ映像として確認できる。【００３８】
図３は、自転車の３ＤＡＲオブジェクト４ａ（作成者が乗っていると想定）が街角を移動しながら街角をガイドするという想定のコンテンツである。作成者が街角を移動する度に、広角映像２および３Ｄ映像３は更新される。これに合わせて３ＤＡＲオブジェクト４ａも移動する。３ＤＡＲオブジェクト４ｂも同様に自転車のオブジェクトであり、３ＤＡＲオブジェクト４ａに伴走するという設定がされている。自転車の３ＤＡＲオブジェクト４ａ、４ｂは、３Ｄ映像３に３Ｄ映像のオブジェクトとして重畳される。【００３９】
３ＤＡＲオブジェクト４ｃ、４ｄは、作成者が街角を移動する過程で、立ち寄った、あるいは紹介したショップ等のオブジェクトであり、例えばショップ等に立ち寄った時に、作成者はオブジェクトを配置する。図３では、３ＤＡＲオブジェクト４ｃ、４ｄは、ショップの形状のまま置かれているが、広角映像２上に重畳する場合には、空間位置座標に合わせて４ｃ、４ｄの形状を変形させて広角映像２に重畳しても良い。一度配置したオブジェクトは、その後作成者が移動した場合には、空間位置座標の再計算が行われ、作成者が前方に移動するとともに、３Ｄ映像外の広角映像２の後方（１０ｂ）の位置に自動的に表示される。【００４０】
３ＤＡＲオブジェクト４ｅ、４ｆは、公開されている公共物のオブジェクトであり、公開されている位置情報を空間位置座標に変換して、３ＤＡＲオブジェクトとして広角映像２、もしくは３Ｄ映像３に合成する。これらのオブジェクトの空間位置座標は、街角に固定されたものであり、作成者が移動する前から、事前に配置することが可能である。また一度配置すると、作成者が近づくように移動すると、空間位置座標が再計算され、近づくように表示が更新される。【００４１】
図４は、本実施例における３ＤＡＲコンテンツ作成装置１で作成する３ＤＡＲコンテンツの第二の表示例である。図４においては、ディスプレイ１２の全面に３Ｄカメラ１１ａ、１１ｂの３Ｄ映像３を映し出している。さらに図３で説明した３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆが合成表示されている。この場合でも、広角カメラ１０ａ、１０ｂで撮影は行われており、広角映像２の位置座標空間はバックグラウンドで維持されており、図３と図４の表示画面は任意に切り替え可能である。【００４２】
なお、前述した３Ｄ映像を撮影しない場合において、３Ｄ映像３は、奥行きデータを伴う２Ｄ映像であっても良い。２Ｄ映像としては、例えば広角映像を作成者の視線に合わせて切り出した映像としても良い。【００４３】
図５は、本実施例における３ＤＡＲコンテンツ作成装置１で作成する３６０度の３ＤＡＲコンテンツの第三の表示例である。図５においては、ディスプレイ１２には広角映像２が写しだされ、その上に３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆが合成表示されている。図５において、装置１は３Ｄ表示機能を有しているため、３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆは３Ｄ映像として、広角映像２に合成される。この時、広角映像２の一部には、空間形状の面データで奥行き情報が付与されており、該奥行き情報を補助データとして、合成が行われる。図５では、３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆは、元の形状のまま置かれているが、広角映像２上に重畳する場合には、それぞれの空間位置座標に合わせて４ａ、４ｂ、４ｅ、４ｆの形状を変形させて広角映像２に重畳しても良い。【００４４】
また、３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆは、２Ｄ化処理部１５７により、２ＤＡＲオブジェクトとして、２ＤＡＲオブジェクト保持部１５６ｆに保持される。同時に、２Ｄ化した３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆと広角映像２とを同様に合成した２Ｄ合成映像は、２Ｄ合成映像・サムネイル保持部に格納される。２Ｄ合成映像は、例えば３ＤＡＲコンテンツ再生装置に配信して、３ＤＡＲコンテンツを選択するサムネイル映像として利用させることや、２Ｄ表示機能しか有しない３ＤＡＲコンテンツ再生装置においても、３ＤＡＲコンテンツの２Ｄ合成映像を視聴させる。【００４５】
図６は、本実施例における異なるタイプの３ＤＡＲオブジェクトを説明する図である。図６では、作成者の視線が移動し、３Ｄカメラ１１ａ、１１ｂがパンする場合であり、３Ｄ映像はディスプレイ１２ａの表示領域からディスプレイ１２ｂ表示領域に移動する。図６では、ディスプレイ１２ａ、１２ｂの表示領域が移動するように図示しているが、実際にはディスプレイ１２は固定されており、表示される映像が移動する。【００４６】
図６には、２つタイプの３ＤＡＲオブジェクトが置かれている。ひとつは４ａであり、もうひとつは５ａ、５ｂである。５ａ、５ｂは、ひとつのオブジェクトであるが、ディスプレイ１２ａ、１２ｂに、それぞれに映し出されるケースである。３ＤＡＲオブジェクト５ａ、５ｂは、例えばコンテンツ制御のための制御オブジェクトであって、このタイプのオブジェクトは、３Ｄカメラのパンによる映像の移動にかかわらず、ディスプレイ１２の固定位置に置かれるのが良い。従って、ディスプレイ１２ａと１２ｂの表示領域内で同じ位置になるように、その空間位置座標を維持する。コンテンツ制御のための制御オブジェクトのように、ユーザが表示を切り替えたり制御したりする場合に使用するオブジェクトは、できるだけ他の実像の影になって隠れたりしないように、見やすい近距離に置かれる。ただし、画面の中央に常時配置するのは、視野の邪魔になってしまうため、表示領域の端に近い位置で、できるだけ同じ位置に表示できるようにする。一方、図３、図４ならびに図５で説明した自転車の３ＤＡＲオブジェクト４ａは、空間位置座標はパンの移動によって逆方向に変化し、ディスプレイ１２ａと１２ｂで表示領域内の位置が異なる。【００４７】
図７は、本実施例における３Ｄ映像の空間形状の面データを説明する図である。図７に示すように、空間形状面データ６は、３Ｄカメラの映像３の全域をカバーするポリゴン（図では３角形）であり、その頂点には、奥行きデータが付与される。奥行きデータと３Ｄカメラの空間位置座標から、各頂点の空間位置座標を算出する。従って、この面データの奥行きの空間位置座標と３ＤＡＲオブジェクトに付与している空間位置座標とを比較することにより、映像を合成するにあたり、どちらの画像を前面に表示させればよいのか判断できる。【００４８】
図８は、本実施例における３ＤＡＲオブジェクトのパラメータ設定を説明する図である。図８はメニュー表示の一例であって、図２のユーザ操作入力部１８でタッチパネルによる操作やリモコン操作によりユーザが設定する。【００４９】
なお、３ＤＡＲオブジェクトのパラメータ設定するためのパラメータ設定オブジェクト７もまた３ＤＡＲオブジェクトの一種であってよく、オブジェクト毎に設定する。【００５０】
図８において、設定できるパラメータの、“透明度”と“表示優先”は、３ＤＡＲオブジェクトとカメラ映像との表示の関係を設定する項目である。透明度は、３ＤＡＲオブジェクトを前面にある場合で、バックグラウンドの映像を幾分か表示できるようにし、表示優先は、面データとの奥行きの関係に係らず、３ＤＡＲオブジェクトを前方にオーバレイする。例えば、図６の５ａ、５ｂで示した制御オブジェクトのような場合である。【００５１】
“位置補正（水平）”、“位置補正（垂直）”、“回転補正（水平）“、”回転補正（垂直）“、”サイズ“は、３ＤＡＲオブジェクトの配置の位置、姿勢の回転制御、大きさの変更を行う項目である。【００５２】
さらに”移動モード“、”表示モード“では、カメラ、即ち作成者の視線の移動に対して、３ＤＡＲオブジェクトの移動、および表示を行う方法を設定する項目で、空間位置座標の再計算方法に関連する。【００５３】
一般に、３ＤＡＲオブジェクトは、現時刻の広角画像の位置、および視線方向を原点とした座標空間の位置Ｐｘに配置される。配置後、広角画像の位置、および視線方向が移動量Ｐｙ移動した場合、座標空間は更新され、全座標空間でＰｘに配置された３ＤＡＲオブジェクトの新座標空間での位置はＰｘ−Ｐｙに更新される。この様な、背景画像に固定して、座標空間の更新の度に、位置が再計算される３ＤＡＲオブジェクトに対しては、移動モード、表示モードともに“座標”が選択される。【００５４】
移動モードで“伴走”が選択される３ＤＡＲオブジェクトは、図１５で後述する、コンテンツ作成装置との位置関係を、通信によって得るタイプであって、図４から図６の３ＤＡＲオブジェクト４ａが相当する。【００５５】
表示モードで“画面連動”が選択される３ＤＡＲオブジェクトは、図６の５ａ、５ｂが相当し、常に表示画面の特定位置に３ＤＡＲオブジェクトが表示されるように、視線に対する位置が固定されるタイプである。なお、“伴走”と“画面連動”は、排他的であり、同時に選択されることは禁止される。【００５６】
図９は、本実施例における３ＤＡＲコンテンツのマスク処理を説明する図である。図９では、空間形状の面データの中からマスクする面領域８ａをタッチ等のユーザ操作で選択し、マスク設定オブジェクト８ｂで実行する。【００５７】
図１０Ａ、図１０Ｂ、図１０Ｃは、本実施例における３ＤＡＲコンテンツを構成するデータを説明する図である。３ＤＡＲコンテンツを構成するデータ（以下構成データと記す）は、図２の説明にあるように、視線移動データ、オブジェクト操作データ、広角映像データ、３Ｄ映像データ、空間形状面データ、２Ｄ映像データ、３ＤＡＲオブジェクトデータ、２ＤＡＲオブジェクトデータ、２Ｄ合成映像データの一部もしくは全部とヘッダデータである。【００５８】
ヘッダデータの格納については、図２の説明では明示していないが、例えばＲＯＭ１５４ｃの一部に割り当ててもよい。また図２には、それぞれのデータが別々の格納部に置かれる例を説明しているが、物理的にひとつの保存媒体に、論理的に区別された領域に格納しても良い。【００５９】
図１０Ａでは、ヘッダデータ、視線移動データ、オブジェクト操作データ、広角データの内容が記されている。【００６０】
各構成データには、“CONTENTS ID”の項目があり、該“CONTENTS ID”のＩＤデータは、例えばＵＵＩＤ（Universally Unique Identifier）等の規則に従って与えられた番号であり、全てのコンテンツにおいてユニークな番号となっている。また各構成データは、“CONTENT TYPE”の項目により、何のデータであるかを識別可能としている。【００６１】
ヘッダデータにはこの他、“CONTENTS TITLE”の項目にコンテンツ名を、“CONTENTS HOLDER”の項目に所有者を、“COPYRIGHT POLICY”の項目には、著作権コントロールデータが記載される。また、各構成データのうちコンテンツに付随するデータの有無を“Accompanying Content”の項目で示している。３ＤＡＲコンテンツとしては、全ての構成データが揃っている場合もあるが、一部の構成データがない場合もある。【００６２】
視線移動データは、視線移動を検知時刻系列に従った位置データのタイムラインデータである。視線移動は、連続した動きである場合、広角映像のフレーム単位のデータとしても良く、あるいはデータや処理の削減のため、連続した動きの後の動きが収まった時刻で行うようにしても良い。図１０Ａは、コンテンツの開始時刻Ｔ０から、２つの動きがあったとして、Ｔ１とＴ２で、装置の位置データを記載している。Ｔ０におけるデータＰ０は、ＧＰＳ等の位置情報であるが、Ｔ１とＴ２のデータＰ１、Ｐ２は前回時刻の位置を基準としてどれだけ動いたかを示す情報である。（ｒ＊、θ＊、φ＊）が位置変化を、δ＊視線方向の変化を表す。【００６３】
オブジェクト操作データは、オブジェクト操作の内容を、操作を行った時刻系列で記載したタイムラインデータであり、ＴＯ０でＯｂｊｅｃｔ１を空間位置座標系の位置（ｒ３、θ３、φ３）に配置（ＳＥＴ）し、ＴＯ１で回転（ＲＯＴ）操作を、ＴＯ２で拡大（ＥＮＬ）操作を行い、さらにＴＯ３でＯｂｊｅｃｔ２を配置している。【００６４】
広角映像データは、映像と音声（無くても良い）のデータであって、ＣＯＮＴＡＩＮＥＲとＣＯＤＥＣの種別が記載される。映像と音声のデータは、前記移動データのタイムラインに準じて、Ｔ０からＴ１の期間のデータ、Ｔ１からＴ２の期間、Ｔ２から次の時刻までの期間とで、分割されて“CONTENT BODY”の項目に格納する。これにより、コンテンツのタイムサーチなどが容易になる。さらに、Ｔ２での装置の位置（現在位置）を基準として、Ｔ０およびＴ１の位置データは、−（Ｐ１＋Ｐ２）、−Ｐ２にそれぞれ再計算して、書き換える。【００６５】
図１０Ｂでは、３Ｄ映像データ、空間形状面データ、３ＤＡＲオブジェクトデータについて説明する。【００６６】
３Ｄ映像データは、映像と音声のデータであり、ＣＯＮＴＡＩＮＥＲとＣＯＤＥＣの種別が記載される。また映像はステレオ映像であり、左視線のVisual(L)データと右視線のVisual(R)データから成り、２つのデータをインタリーブさせて、前記視線移動データのタイムラインに沿って、“CONTENT BODY”に格納する。また、広角映像データの場合と同様、位置データの書き換えも行っている。【００６７】
空間形状面データは、前記３Ｄカメラで計測する奥行きデータを有する面データ（３角形のポリゴンデータ）の集合であり、前記視線移動データのタイムラインに沿って、“TIME LINE OF CONTENT BODY”に格納する。ポリゴンにはＰＯＬ１、ＰＯＬ２‥‥のように、各々のポリゴンを区別する識別子が与えられ、計測する頂点の奥行きデータa＊に対して、空間位置座標の移動を考慮したデータを再計算し、例えば、−（ａ１＋Ｐ１＋Ｐ２）といったように各頂点のデータとして格納する。【００６８】
３ＤＡＲオブジェクトデータは、３ＤＡＲコンテンツに使用されるＡＲオブジェクトの３Ｄデータである。ＡＲオブジェクトには、“Object Name”、“Copyright Policy”が与えられ、３ＤＡＲコンテンツで設定する、図８に示した“設定パラメータ”を記載する。【００６９】
“ＣＯＮＴＥＮＴ  ＢＯＤＹ”には、ＡＲオブジェクトの３Ｄデータを記載する場合や、第３者のＡＲオブジェクトを利用する場合には、ＡＲオブジェクトの３Ｄデータが入手可能なＵＲＬを記載する場合もある。【００７０】
図１０Ｃでは、２Ｄ映像データ、２ＤＡＲオブジェクトデータ、２Ｄ合成映像データについて説明する。【００７１】
２Ｄ映像データは、３Ｄ映像データを２Ｄ化処理したデータであり、２Ｄ化した映像データが“TIME LINE OF CONTENT BODY”に記載されること以外は、３Ｄ映像データと同様のデータ構造をとる。【００７２】
２ＤＡＲオブジェクトデータは、３ＤＡＲオブジェクトを２Ｄ化処理したデータであり、２Ｄ化したデータが“CONTENT BODY”に記載されることを除いて、３ＤＡＲオブジェクトデータと同様のデータ構造をとる。【００７３】
２Ｄ合成映像データは、広角映像もしくは２Ｄ映像に２ＤＡＲオブジェクトを合成した映像データであり、２Ｄ合成映像データが“TIME LINE OF CONTENT BODY”に記載されること以外は、３Ｄ映像データと同様のデータ構造をとる。【００７４】
なお、図１０Ａ、図１０Ｂ、図１０Ｃで説明したデータ構造は一例であって、この他の項目を有するものであっても良く、本発明の動作に直接関与しない一部の項目を含まなくても構わない。【００７５】
図１１は、本実施例における３ＤＡＲコンテンツ作成装置の処理フロー図である。図１１において、Ｓ１０１で動作モードを判定する。制作モードであれば、Ｓ１０２においてカメラ設定を実行する。他の動作モードは再生配信モードであり、説明は後述する。【００７６】
Ｓ１０２のカメラ設定は、広角カメラと３Ｄカメラに対応する。カメラ設定の後は、Ｓ１０４でカメラ映像の記録が行われるが、並行して実行されるＳ１１８からＳ１２１は、空間情報処理プロセス、動き情報処理プロセスである。【００７７】
Ｓ１０４の後は、Ｓ１０５で表示設定が行われ、広角カメラ映像の表示方法や３Ｄカメラの映像の表示設定が行われる。そして、Ｓ１０６で背景画像表示を開始する。次に、３ＤＡＲコンテンツ製作過程をライブ配信するかを判定し（Ｓ１０７）、配信する場合には配信を開始する（Ｓ１０８）。配信しない場合には、スキップする。【００７８】
Ｓ１０９以降は、３ＤＡＲオブジェクトに関する処理である。Ｓ１０９では３ＤＡＲコンテンツに配置する３ＤＡＲオブジェクトを選択する。３ＤＡＲオブジェクトの選択は、予め作成したり、外部のサイトからダウンロードしたりして、３ＤＡＲコンテンツ制作装置のＲＯＭ領域等に格納してある３ＤＡＲオブジェクトを読み出すことにより選択する。Ｓ１１０で３ＤＡＲオブジェクトを表示させ、３ＤＡＲオブジェクトのパラメータ設定し、３ＤＡＲオブジェクトの配置に対する空間位置座標を計算し、確定させる（Ｓ１１１）。一度確定した後でも、パラメータ再設定等で、３ＤＡＲオブジェクトを操作することは可能である（Ｓ１１２）。これは、３ＤＡＲオブジェクトを動かすことが３ＤＡＲコンテンツのストーリの一部とするアニメーション等に有効である。一連の操作や３ＤＡＲオブジェクトはＳ１１３とＳ１１４で記録される。これは３ＤＡＲコンテンツ再生装置で再生可能とさせるためである。また、３ＤＡＲコンテンツ再生装置が２Ｄディスプレイにしか対応していない場合を想定して、３ＤＡＲオブジェクトを２Ｄ化し（Ｓ１１５）、２Ｄ化オブジェクトも記録する（Ｓ１１６）。３ＤＡＲオブジェクトの選択以降の処理は、所望の３ＤＡＲオブジェクトがある限り繰り返される（Ｓ１２５のＹ）。【００７９】
Ｓ１１８とＳ１１９の空間情報処理プロセスは、３Ｄ映像から空間形状の面データを抽出し、面データの頂点の空間位置座標を計算する。これらの面データ等は空間形状面情報として記録する（Ｓ１１９）。
Ｓ１２０とＳ１２１は、動き情報処理プロセスである。３ＤＡＲコンテンツ制作装置１の動きは、ジャイロセンサ、地磁気センサ等で捉える。動き情報処理では、必要な空間位置座標の更新が行われる（Ｓ１２０）。動き情報、および更新された空間位置座標は、動き情報等として記録される（Ｓ１２１）。【００８０】
Ｓ１０１で再生配信モードと判定されれば、３ＤＡＲコンテンツの再生が実行され（Ｓ１２２）、再生されたコンテンツの配信が行われる（Ｓ１２３）。再生および配信は、コンテンツの終了、もしくは終了命令で終了する（Ｓ１２４）。【００８１】
一連の３ＤＡＲコンテンツの作成、もしくは再生配信が終わると（Ｓ１２５のＮ）Ｓ１２６で終わる。
以上説明したように、本実施例の３ＤＡＲコンテンツ作成装置によれば、３ＤＡＲコンテンツ作成装置１が移動しながらでも、移動後の広角カメラの映像に関連付けられた位置座標空間で、３Ｄカメラの映像、および３ＤＡＲオブジェクトの空間位置座標を与えているため、広角カメラの映像に３Ｄカメラの映像、および３ＤＡＲオブジェクトの合成が容易となる。また、３Ｄカメラで撮影する映像の範囲外にある３ＤＡＲオブジェクトも取り扱い可能であり、視線移動が伴う場合にでも、広角映像および３Ｄ映像への３ＤＡＲオブジェクトの合成表示がスムーズに行えるようになる。また、３Ｄ映像の奥行き情報を利用して、３Ｄ映像と３ＤＡＲオブジェクトの奥行き方向の前後関係を考慮した３Ｄ合成が行われるため、３ＤＡＲコンテンツの作成が可能となる。
【実施例２】
【００８２】
図１２は、本実施例における３ＤＡＲコンテンツ作成装置の外観模式図である。図１２において、図１と同一の構成要素については、同一の符号を付し、その説明は省略する。図１２において図１と異なる点は、３ＤＡＲコンテンツ作成装置１ａ（以下、装置１ａと記すことがある）は、広角カメラ１０ｃ、３Ｄプロジェクタ１９、透過型スクリーン２０を備えている点であり、背景映像と３ＤＡＲオブジェクトの合成は、３Ｄプロジェクタ１９、透過型スクリーン２０で行われる。【００８３】
広角カメラ１０ｃは、その筐体の前後にレンズの開口部を設けており、それぞれの開口部に取り付けられたレンズを通して、装置１ａの前方の映像と後方の映像を撮影する。図１の広角カメラ１０ａと１０ｂを合わせた機能を持ち、図１の装置１にも適用可能である。【００８４】
図１３は、本実施例における装置１ａの構成ブロック図である。図１３においては、図２に対して、合成処理部１５２とディスプレイ１２が、３Ｄプロジェクタ１９と透過型スクリーン２０に置き換えられている。【００８５】
３Ｄプロジェクタ１９は、３ＤＡＲオブジェクトを透過型スクリーン２０に投射する。３ＤＡＲコンテンツの作成者は、透過型スクリーン２０越しに、背景映像を見ながら、投射された３ＤＡＲオブジェクトを確認する。これにより、背景映像と３ＤＡＲオブジェクトが合成された映像を確認する。【００８６】
なお、本装置１ａにおいても、広角カメラ１０ｃの映像、３Ｄカメラ１１ａ、１１ｂの映像は、それぞれ広角映像保持部１５６ａ、３Ｄ映像保持部１５６ｂに記録されており、処理フォローとしては、図１１に示した処理フローが、合成処理部１５２を除いて適用される。【００８７】
図１４は、本実施例における３ＤＡＲコンテンツ作成装置の表示例であり、透過型スクリーン２０に、３ＤＡＲオブジェクト４ａ、４ｂが投射されている例である。透過型スクリーン２０からは、背景画像が透視でき、その上に３ＤＡＲオブジェクト４ａ、４ｂが合成された映像となる。【００８８】
以上説明したように、本実施例によれば、３ＤＡＲコンテンツの作成者は、透過スクリーンから見る実際の背景映像を確認でき、訓練されていない作成者でも安全に利用可能なコンテンツ作成が行えるという利点がある。
【実施例３】
【００８９】
図１５は本実施例における３ＤＡＲコンテンツ作成システムの構成図である。図１５において、１ｂ、１ｃは３ＤＡＲコンテンツ作成装置、２１はネットワーク１、２２はネットワーク２、２３は３Ｄディスプレイ付再生装置、２４は２Ｄディスプレイ付再生装置である。３ＤＡＲコンテンツ作成装置１ｂ、１ｃは、図１の３ＤＡＲコンテンツ作成装置１、もしくは図１２の３ＤＡＲコンテンツ作成装置１ａのいずれかである。【００９０】
３ＤＡＲコンテンツ作成装置１ｃは、３ＤＡＲコンテンツの再生装置としても働く。この場合、３Ｄディスプレイ付再生装置２３、２Ｄディスプレイ付再生装置２４、３ＤＡＲコンテンツ作成装置１ｃは（総称して再生装置と記す場合がある）、ネットワーク２１を介し、３ＤＡＲコンテンツ作成装置１ｂにアクセスし、３ＤＡＲコンテンツの再生をリクエストする。該リクエストに応えて、３ＤＡＲコンテンツ作成装置１ｂは、３ＤＡＲコンテンツを配信する。配信する３ＤＡＲコンテンツは、それぞれの再生装置２３、２４、１ｃに対して異なるものであってよい。再生装置２３、２４、１ｃは、受信する３ＤＡＲコンテンツを再生し、装置内のディスプレイに表示する。【００９１】
３ＤＡＲコンテンツ作成装置１ｃは、３ＤＡＲコンテンツ作成装置としても働く。この場合、３ＤＡＲコンテンツ作成装置１ｂのコンテンツ作成を補助する。３ＤＡＲコンテンツ作成装置１ｃは、３Ｄカメラで３ＤＡＲコンテンツ作成装置１ｂを捉え、距離、方向を測定し、ネットワーク２２を介し、３ＤＡＲコンテンツ作成装置１ｂに送信する。ネットワーク２１とネットワーク２２は、例えばインターネットとし、同一のネットワークでもよいが、ネットワーク２２をＢｌｕｅｔｏｏｔｈ（登録商標）で構成しても良い。３ＤＡＲコンテンツ作成装置１ｂと３ＤＡＲコンテンツ作成装置１ｃの通信を直接行わせるほうが、屋外の環境では応答性の観点から好ましいことが多い。【００９２】
２つの３ＤＡＲコンテンツ作成装置１ｂ、１ｃを用いて３ＤＡＲコンテンツを作成する例を、前述の図４を用いて説明する。３ＤＡＲコンテンツ作成装置１ｂ（主コンテンツ作成者）は３ＤＡＲオブジェクト４ｂに、３ＤＡＲコンテンツ作成装置１ｃ（副コンテンツ作成者）は３ＤＡＲオブジェクト４ａに対応する。３ＤＡＲコンテンツ作成装置１ｂは、前記３ＤＡＲコンテンツ作成装置１ｃから送られる距離と方向の情報から、３ＤＡＲコンテンツ作成装置１ｂを基準とする空間位置座標に変換し、３ＤＡＲオブジェクト４ａを表示させる。【００９３】
３ＤＡＲコンテンツ作成装置１ｃ（副コンテンツ作成者）は、自身の映像等を３ＤＡＲコンテンツ作成装置１ｂ（主コンテンツ作成者）が作成するシュコンテンツに対する副コンテンツとして作成することができる。この場合、オフラインでの編集により、主コンテンツと副コンテンツの統合を行い、一本のコンテンツに仕上げることも可能であるが、リアルタイムにおいては、３ＤＡＲコンテンツ作成装置１ｂ（主コンテンツ作成者）は主コンテンツを、３ＤＡＲコンテンツ作成装置１ｃ（副コンテンツ作成者）は副コンテンツを配信する。【００９４】
以上説明したように、本実施例による３ＤＡＲコンテンツ作成システムによれば、コンテンツ視聴者が複数であってもよい。また、異なる形態のコンテンツ再生装置であってもよい。【００９５】
また、複数人でひとつのコンテンツを作成することができ、複数の３ＤＡＲオブジェクトを登場させることにより、異なる興味ポイントの紹介等により、視聴者の一層の興味を喚起する３ＤＡＲコンテンツの作成が可能となる。
【実施例４】
【００９６】
図１６は本実施例における３ＤＡＲコンテンツ作成システムの構成図である。図１６において、図１５に示した３ＤＡＲコンテンツ作成システムと同一の機能を有するものには、同一の番号を付与し、その説明は省略する。図１６において図１５と異なる点は、３ＤＡＲコンテンツストレージサービス２５と、３ＤＡＲオブジェクトバンクサービス２６を有する点である。【００９７】
３ＤＡＲオブジェクトバンクサービス２６は、よく使われる多くの３ＤＡＲオブジェクトをストレージし、３ＤＡＲコンテンツ作成者に提供し、３ＤＡＲオブジェクトを生成する手間を省く。【００９８】
３ＤＡＲコンテンツストレージサービス２５は、３ＤＡＲコンテンツ作成者が作成した３ＤＡＲコンテンツをストレージし、コンテンツ視聴者の要求により配信する。３ＤＡＲコンテンツ作成装置は、作成したコンテンツを３ＤＡＲコンテンツストレージサービス２５にアップロードするだけ良く、コンテンツ視聴者の要求を受けコンテンツを配信するという負荷を分離できる。【００９９】
また、３ＤＡＲコンテンツストレージサービス２５は、複数のコンテンツ作成者がアップロードする複数の３ＤＡＲコンテンツを保持し、再生視聴者の要求に応じて、異なる複数の３ＤＡＲコンテンツの配信も可能である。【０１００】
さらに、３ＤＡＲコンテンツストレージサービス２５に、３Ｄコンテンツと３ＤＡＲオブジェクトを合成した後の３ＤＡＲコンテンツを保存することで、合成する機能を持たない３Ｄ表示装置でも３ＤＡＲコンテンツを楽しむことができる。同様に、合成後のコンテンツを２Ｄ映像として保存することで、３ＤＡＤコンテンツを合成できず３Ｄ表示ができない２Ｄ表示装置でも、疑似的に３ＤＡＲ合成コンテンツを楽しむことができる。これらの３Ｄ表示装置、２Ｄ表示装置には、テレビやパソコンのモニタ、スマートフォンのモニタ等が該当する場合がある。【０１０１】
以上説明したように、本実施例によれば、コンテンツ作成の効率化が図れるとともに、３ＤＡＲコンテンツ作成装置の処理負荷の低減を実現できる。
【実施例５】
【０１０２】
図１７は本実施例における３ＤＡＲコンテンツ再生装置の構成ブロック図である。図１７において、２３は３ＤＡＲコンテンツ再生装置、２３１はカメラ、２３２はスピーカ、２３３は合成処理部、２３４ａは平面ディスプレイ、２３４ｂは偏光光学レンズ、２３５はマスク処理部、２３６は通信部、２３７ａはＣＰＵ、２３７ｂはＲＡＭ、２３７ｃはＲＯＭ、２３８はコンテンツ格納部、２３９はタッチセンサである。【０１０３】
図１７の３ＤＡＲコンテンツ再生装置２３は、前記図１５および図１６の３Ｄディスプレイ付き再生装置２３であるが、平面ディスプレイ２３４ａに左目用の映像と右目用の映像を交互に表示し、偏光光学レンズ２３４ｂは、左用、右用の映像の表示に同期して、交互に右側、左側のレンズの透過を遮断し、左目用の映像を左目で、右目用の映像を右目で視認させ、視聴者に３Ｄ映像を視聴させる。偏光光学レンズ２３４ｂがない場合に、平面ディスプレイ２３４ａに２Ｄ映像を映し出すことにより、２Ｄディスプレイ付き再生装置２４となる。偏光光学レンズ２３４ｂ以外の構成要素がひとつのハードウェアとして構成され、視聴者が偏光光学レンズ２３４ｂを眼鏡のように装着するような別のハードウェアとなる構成では、偏光光学レンズ２３４ｂを使用する場合には、３Ｄディスプレイ付き再生装置２３となり、偏光光学レンズ２３４ｂを使用しない場合には、２Ｄディスプレイ付き再生装置２４となる。【０１０４】
３ＤＡＲコンテンツ再生装置の表示能力（３Ｄ表示可能か、２Ｄ表示か）は、３ＤＡＲコンテンツの再生を始めるにあたって、３ＤＡＲコンテンツ作成装置等に能力通知を実施する。３ＤＡＲコンテンツ作成装置等は、３ＤＡＲコンテンツ再生装置の能力に応じて、３Ｄ表示が可能な装置には、３Ｄ映像データ等を、２Ｄ表能力しか備えない措置には２Ｄ化した映像データ等を配信することにより、３ＤＡＲコンテンツ再生装置の表示能力に応じたコンテンツの視聴を可能とさせる。【０１０５】
ＣＰＵ２３７ａは、装置全系を制御するものであり、そのプログラムはＲＯＭ２３７ｃに格納され、ＲＡＭ２３７ｂに展開して実行される。ＣＰＵ２３７ａは、通信部２３６に指令し、３ＤＡＲコンテンツの受信を行う。【０１０６】
受信する３ＤＡＲコンテンツは、コンテンツ格納部２３８にバッファリングしながら再生する。３ＤＡＲコンテンツの構成要素としては、広角映像、３Ｄ映像、空間形状面データ、３ＤＡＲオブジェクト、および音声である。音声は、スピーカ２３２で再生する。【０１０７】
再生して得る広角映像、３Ｄ映像、３ＤＡＲオブジェクトは、これらに付随する空間位置座標の奥行き関係を評価して、合成処理部２３３で合成し、平面ディスプレイ２３４ａに表示する。平面ディスプレイ２３４ａの表示と偏光光学レンズ２３４ｂは同期しており、３Ｄ表示映像を得る。偏光光学レンズ２３４ｂを使用しない２Ｄディスプレイ付き再生装置２４の場合には、受信する３ＤＡＲコンテンツの映像データは２Ｄ化されたものを指定し、受信する。この場合でも、空間位置座標の奥行き関係を評価して、合成処理部２３３で合成し、平面ディスプレイ２３４ａに表示する。【０１０８】
タッチセンサ２３９では、視聴者の入力操作を受け付ける。表示されている３ＤＡＲオブジェクトを選択したり、メニューオブジェクトからパラメータを設定したり、広角映像や３Ｄ映像のポイントを指定して、視線を移動させたりするのに用いる。【０１０９】
なお、図１７での各処理部の処理は、ＣＰＵがメモリに記憶したプログラムを実行するソフトウェア処理によって実行してもよいし、専用の信号処理回路によるハードウェア処理により実行してもよい。また、ソフトウェア処理とハードウェア処理の併用でもよい。【０１１０】
図１８は、本実施例における３ＤＡＲコンテンツ再生装置の処理フロー図である。図１８において、Ｓ２０１で、３ＤＡＲコンテンツ作成装置１あるいは１ａは、３ＤＡＲコンテンツストレージサービス２５にログインし、サムネイル画像のダウンロードを行う（Ｓ２０２）。サムネイル画像は、静止画であっても動画であってもよいが、Ｓ２０３でサムネイル画像を表示して、複数の３ＤＡＲコンテンツの中から再生するコンテンツを直感的に選びやすくする。【０１１１】
Ｓ２０４では表示を２Ｄで行うのか、３Ｄで行うのかを決定する。３Ｄで表示するのであれば、Ｓ２０５以降の処理を実行し、２Ｄで表示するのであれば、Ｓ２１４以降の処理に移る。【０１１２】
３Ｄ表示の処理フローでは、Ｓ２０５で３ＤＡＲオブジェクトを、Ｓ２０６で３Ｄ映像データおよび広角映像のダウンロードを開始する。次にＳ２０７で表示設定を行い、Ｓ２０８で表示の開始、もしくは更新を行い、３ＤＡＲコンテンツを視聴する。【０１１３】
３ＤＡＲコンテンツの視聴期間において、３ＤＡＲオブジェクトを操作し、コンテンツを視聴者の好みに合わせることが可能である。このためにＳ２０９でオブジェクトの設定の変更を行う。また、Ｓ２１０で、マスク処理された領域に、視聴者オリジナルの映像を表示することも可能である。また、Ｓ２１１では視聴者の視点の不連続な移動（インタラクティブ再生）を指示することもできる。【０１１４】
Ｓ２１２では、ユーザ操作の有無を判定し、有の場合は、Ｓ２０８で表示の更新を行う。ユーザ操作が無い場合は、コンテンツの視聴を継続するかどうかを判定し（Ｓ２１３）、継続する場合にはＳ２０５に戻り、コンテンツの視聴を継続する。【０１１５】
コンテンツの視聴を終了する場合は、Ｓ２２３にて終了する。Ｓ２２３からは、新しいコンテンツの視聴を行うために、Ｓ２０３に戻ることもある。【０１１６】
２Ｄ表示の処理フローでは、Ｓ２１４で２Ｄ化した２ＤＡＲオブジェクトを、Ｓ２１５で２Ｄ化した映像データおよび広角映像のダウンロードを開始する。Ｓ２１６からＳ２２２、およびＳ２２３の処理は、３Ｄ表示のフローと同じである。【０１１７】
次に、図１９から図２２を用いて、３ＤＡＲコンテンツ再生装置２３の３ＤＡＲコンテンツの表示例の説明を行う。【０１１８】
図１９は、本実施例における表示設定を行う表示設定オブジェクト２７の例である。広角映像の表示・非表示、３Ｄ映像の表示・非表示、３Ｄ映像を広角映像に合成する場合の３Ｄ映像の表示サイズ、マスク領域への視聴者オリジナル映像の表示・非表示を設定する。視聴者オリジナル映像としては、３ＤＡＲコンテンツ再生装置２３に内蔵するカメラ２３１の映像でも良い。この他、空間形状面データの表示・非表示を設定させるようにしても良い。【０１１９】
図２０は、平面ディスプレイ２３４ａ全面に３Ｄ映像を表示している例である。この例では、空間形状面データ６も表示されており、マスクする面領域８ａに、視聴者オリジナルの映像２８を合成表示している例である。【０１２０】
図２１は、前記図３と同様に３６０度の３ＤＡＲコンテンツの表示例であり、広角カメラの映像２、３Ｄカメラの映像３、３ＤＡＲオブジェクト４ａ、４ｂ、４ｃ、４ｄ、４ｅ、４ｆが合成表示されている例である。【０１２１】
さらに図２１では、操作オブジェクト２８ａ、２８ｂ、２８ｃ、２８ｄ、２８ｅが表示されている。操作オブジェクト２８ａは移動可能であり、視聴者は任意の３ＤＡＲオブジェクトを選択し、図８のオブジェクト設定でパラメータの変更や、選択した３ＤＡＲオブジェクトに視点移動させる操作が行える。【０１２２】
２８ｂ、２８ｃ、２８ｄ、２８ｅはスクロールオブジェクトであり、広角映像２のスクロール移動を可能とさせる。スクロールオブジェクト２８ｂ、２８ｃ、２８ｄ、２８ｅのように、スクロールオブジェクトを表示して操作を促すこともできるが、タッチセンサ２３９上の指の動きのパターンに操作を割り当てることも可能である。広角映像２をスクロール移動させると、連動して、３Ｄ映像３、３ＤＡＲオブジェクト４ａ、４ｂ、４ｃ、４ｄ、４ｅ、４ｆ、操作オブジェクト２８ａも連動する。【０１２３】
また、実施例１の３ＤＡＲコンテンツ作成装置の説明にある図３、図４、図５の表示例も、３ＤＡＲコンテンツ再生装置の表示例となり得る。【０１２４】
図２２は、前記図１７の３ＤＡＲコンテンツ再生装置２３の合成処理部２３３の処理フローを示す図である。図２２において、Ｓ３０１で合成処理の対象とする３ＤＡＲオブジェクトを選択し、Ｓ３０２で、図８に示したオブジェクトのパラメータで、３ＤＡＲオブジェクトの表示優先が設定されているかを確認する。表示優先がされている場合は、Ｓ３０５にて、３ＤＡＲオブジェクトを前面に表示する。【０１２５】
表示優先が通常モードである場合、３ＤＡＲオブジェクトと重なる空間形状の面データを決定し（Ｓ３０３）、３ＤＡＲオブジェクトと面データの奥行き関係を評価する（Ｓ３０４）。評価結果は、保持される（Ｓ３０５）。Ｓ３０６では、該評価結果に従って、空間形状の面データが手前にある場合には、３Ｄカメラの映像を３ＤＡＲオブジェクトの映像の前面に、３ＤＡＲオブジェクトが手前にある場合には、３ＤＡＲオブジェクトの映像を前面に表示する。この時、図８の透明度に従う。例えば透明度が中間にある場合は、３Ｄカメラの映像と３ＤＡＲオブジェクトの映像を、２つの画像を係数により合成するアルファブレンディングにより合成する。【０１２６】
そして、Ｓ３０７にて、合成処理の対象とする３ＤＡＲオブジェクトが他にあるか判断し、あればＳ３０１に戻り、なければ終了する。【０１２７】
以上説明したように、本実施例によれば、３ＤＡＲコンテンツを再生・表示することが、表示デバイスが３Ｄデバイスでも、２Ｄデバイスでも可能となる。また、３ＤＡＲコンテンツの３ＤＡＲオブジェクトやマスク領域を操作して、視聴者オリジナルな方法での再生が可能である。さらに、視線の移動を行わせることにより、３ＤＡＲコンテンツのインタラクティブな再生も可能となる。【０１２８】
以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであって、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【０１２９】
１、１ａ、１ｂ、１ｃ：３ＤＡＲコンテンツ作成装置、２：広角カメラの映像、３：３Ｄカメラの映像、４ａ、４ｂ、４ｃ、４ｄ、４ｅ、４ｆ：３ＤＡＲオブジェクト、５ａ、５ｂ：メニューオブジェクト、６：空間形状面データ、７：パラメータ設定オブジェクト、８ａ：マスクする面領域、８ｂ：マスク設定オブジェクト、１０ａ、１０ｂ、１０ｃ：広角カメラ、１１ａ、１１ｂ：３Ｄカメラ、１２、１２ａ、１２ｂ：ディスプレイ、１３：偏光光学レンズ、１５：コントローラ、１７：センサ、１８：ユーザ操作入力部。１９：３Ｄプロジェクタ、２０：透過型スクリーン、２１、２２：ネットワーク、２３：３Ｄディスプレイ付再生装置、２４：２Ｄディスプレイ付再生装置、２６：３ＤＡＲオブジェクトバンクサービス、２５：３ＤＡＲコンテンツストレージサービス、２７：表示設定オブジェクト、２８：視聴者オリジナルの映像、２８ａ、２８ｂ、２８ｃ、２８ｄ、２８ｅ：操作オブジェクト、１５１ａ：空間形状面処理部、１５１ｂ：奥行き情報処理部、１５１ｃ：明るさ情報処理部、１５１ｄ：色情報処理部、１５２：合成処理部、１５３：マスク処理部、１５４ａ：ＣＰＵ、１５４ｂ：ＲＡＭ、１５４ｃ：ＲＯＭ、１５４ｄ：通信部、１５５：空間位置座標処理部、１５６ａ：広角映像保持部、１５６ｂ：３Ｄ映像保持部、１５６ｃ：空間形状面データ保持部、１５６ｄ：３ＤＡＲオブジェクト保持部、１５６ｅ：２Ｄ映像保持部、１５６ｆ：２ＤＡＲオブジェクト保持部、１５６ｇ：視線移動データ保持部、１５７：２Ｄ化処理部、１５８：２Ｄ化映像・サムネイルデータ保持部、１５９：ユーザ操作データ保持部、２３１：カメラ、２３２：スピーカ、２３３：合成処理部、２３４ａ：平面ディスプレイ、２３４ｂ：偏光光学レンズ、２３５：マスク処理部、２３８：コンテンツ格納部、２３９：タッチセンサ
【図１】
2019224989.tif 000003
【図２】
2019224989.tif 000004
【図３】
2019224989.tif 000005
【図４】
2019224989.tif 000006
【図５】
2019224989.tif 000007
【図６】
2019224989.tif 000008
【図７】
2019224989.tif 000009
【図８】
2019224989.tif 000010
【図９】
2019224989.tif 000011
【図１０Ａ】
2019224989.tif 000012
【図１０Ｂ】
2019224989.tif 000013
【図１０Ｃ】
2019224989.tif 000014
【図１１】
2019224989.tif 000015
【図１２】
2019224989.tif 000016
【図１３】
2019224989.tif 000017
【図１４】
2019224989.tif 000018
【図１５】
2019224989.tif 000019
【図１６】
2019224989.tif 000020
【図１７】
2019224989.tif 000021
【図１８】
2019224989.tif 000022
【図１９】
2019224989.tif 000023
【図２０】
2019224989.tif 000024
【図２１】
2019224989.tif 000025
【図２２】
2019224989.tif 000026
【手続補正書】
【提出日】令和2年11月13日(2020.11.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、３Ｄ（3Dimensional：３次元）映像と３ＤのＡＲ（Augmented Reality：仮想現実）オブジェクトから成る３ＤＡＲコンテンツを作成する３ＤＡＲコンテンツ作成装置、及び３ＤＡＲコンテンツを再生・表示する３ＤＡＲコンテンツ再生装置、さらに、それらを有する３ＤＡＲコンテンツ作成システムに関する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
３Ｄカメラ１１ａ、１１ｂにおいて、１１ａは装置１の左側に装着され、作成者の左側前方視線の映像を撮影し、１１ｂは装置１の右側に装着され、作成者の右側前方視線の映像を撮影する。左右の視差のある２つの映像によりステレオ映像である３Ｄカメラで撮影する映像（以下３Ｄ映像と記す場合がある）を撮影する。なお、３Ｄカメラは、赤外光等を照射して反射光を捉えることで距離計測を行うカメラであっても良い。この時、３Ｄカメラを広角カメラに隣接して設置し、広角カメラで撮影する映像の中心を含む領域の距離計測を行わせるようにしても良い。ただし、この時３Ｄ（ステレオ）映像は得られない。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
一般に、３ＤＡＲオブジェクトは、現時刻の広角画像の位置、および視線方向を原点とした座標空間の位置Ｐｘに配置される。配置後、広角画像の位置、および視線方向が移動量Ｐｙ移動した場合、座標空間は更新され、前座標空間でＰｘに配置された３ＤＡＲオブジェクトの新座標空間での位置はＰｘ−Ｐｙに更新される。この様な、背景画像に固定して、座標空間の更新の度に、位置が再計算される３ＤＡＲオブジェクトに対しては、移動モード、表示モードともに“座標”が選択される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
図９は、本実施例における３ＤＡＲコンテンツのマスク処理を説明する図である。図９では、空間形状の面データの中からマスクする面領域８ａをタッチ等のユーザ操作で選択し、マスク設定オブジェクト８ｂでマスク処理を実行する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
広角映像データは、映像と音声（無くても良い）のデータであって、ＣＯＮＴＡＩＮＥＲとＣＯＤＥＣの種別が記載される。映像と音声のデータは、前記移動データのタイムラインに準じて、Ｔ０からＴ１の期間のデータ、Ｔ１からＴ２の期間のデータ、Ｔ２から次の時刻までの期間のデータとで、分割されて“CONTENT BODY”の項目に格納する。これにより、コンテンツのタイムサーチなどが容易になる。さらに、Ｔ２での装置の位置（現在位置）を基準として、Ｔ０およびＴ１の位置データは、−（Ｐ１＋Ｐ２）、−Ｐ２にそれぞれ再計算して、書き換える。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
Ｓ１０９以降は、３ＤＡＲオブジェクトに関する処理である。Ｓ１０９では３ＤＡＲコンテンツに配置する３ＤＡＲオブジェクトを選択する。３ＤＡＲオブジェクトの選択は、予め作成したり、外部のサイトからダウンロードしたりして、３ＤＡＲコンテンツ作成装置のＲＯＭ領域等に格納してある３ＤＡＲオブジェクトを読み出すことにより選択する。Ｓ１１０で３ＤＡＲオブジェクトを表示させ、３ＤＡＲオブジェクトのパラメータ設定し、３ＤＡＲオブジェクトの配置に対する空間位置座標を計算し、確定させる（Ｓ１１１）。一度確定した後でも、パラメータ再設定等で、３ＤＡＲオブジェクトを操作することは可能である（Ｓ１１２）。これは、３ＤＡＲオブジェクトを動かすことが３ＤＡＲコンテンツのストーリの一部とするアニメーション等に有効である。一連の操作や３ＤＡＲオブジェクトはＳ１１３とＳ１１４で記録される。これは３ＤＡＲコンテンツ再生装置で再生可能とさせるためである。また、３ＤＡＲコンテンツ再生装置が２Ｄディスプレイにしか対応していない場合を想定して、３ＤＡＲオブジェクトを２Ｄ化し（Ｓ１１５）、２Ｄ化オブジェクトも記録する（Ｓ１１６）。３ＤＡＲオブジェクトの選択以降の処理は、所望の３ＤＡＲオブジェクトがある限り繰り返される（Ｓ１２５のＹ）。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
Ｓ１１８とＳ１１９の空間情報処理プロセスは、３Ｄ映像から空間形状の面データを抽出し、面データの頂点の空間位置座標を計算する。これらの面データ等は空間形状面情報として記録する（Ｓ１１９）。
Ｓ１２０とＳ１２１は、動き情報処理プロセスである。３ＤＡＲコンテンツ作成装置１の動きは、ジャイロセンサ、地磁気センサ等で捉える。動き情報処理では、必要な空間位置座標の更新が行われる（Ｓ１２０）。動き情報、および更新された空間位置座標は、動き情報等として記録される（Ｓ１２１）。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
なお、本装置１ａにおいても、広角カメラ１０ｃの映像、３Ｄカメラ１１ａ、１１ｂの映像は、それぞれ広角映像保持部１５６ａ、３Ｄ映像保持部１５６ｂに記録されており、処理フローとしては、図１１に示した処理フローが、合成処理部１５２を除いて適用される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
また、３ＤＡＲコンテンツストレージサービス２５は、複数のコンテンツ作成者がアップロードする複数の３ＤＡＲコンテンツを保持し、コンテンツ視聴者の要求に応じて、異なる複数の３ＤＡＲコンテンツの配信も可能である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
さらに、３ＤＡＲコンテンツストレージサービス２５に、３Ｄコンテンツと３ＤＡＲオブジェクトを合成した後の３ＤＡＲコンテンツを保存することで、合成する機能を持たない３Ｄ表示装置でも３ＤＡＲコンテンツを楽しむことができる。同様に、合成後のコンテンツを２Ｄ映像として保存することで、３ＤＡＲコンテンツを合成できず３Ｄ表示ができない２Ｄ表示装置でも、疑似的に３ＤＡＲ合成コンテンツを楽しむことができる。これらの３Ｄ表示装置、２Ｄ表示装置には、テレビやパソコンのモニタ、スマートフォンのモニタ等が該当する場合がある。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
図１７の３ＤＡＲコンテンツ再生装置２３は、前記図１５および図１６の３Ｄディスプレイ付き再生装置２３であるが、平面ディスプレイ２３４ａに左目用の映像と右目用の映像を交互に表示し、偏光光学レンズ２３４ｂは、左用、右用の映像の表示に同期して、交互に右側、左側のレンズの透過を遮断し、左目用の映像を左目で、右目用の映像を右目で視認させ、視聴者に３Ｄ映像を視聴させる。偏光光学レンズ２３４ｂがない場合に、平面ディスプレイ２３４ａに２Ｄ映像を映し出すことにより、２Ｄディスプレイ付き再生装置２４となる。偏光光学レンズ２３４ｂ以外の構成要素がひとつのハードウェアとして構成され、視聴者が偏光光学レンズ２３４ｂを眼鏡のように別のハードウェアとして装着する構成では、偏光光学レンズ２３４ｂを使用する場合には、３Ｄディスプレイ付き再生装置２３となり、偏光光学レンズ２３４ｂを使用しない場合には、２Ｄディスプレイ付き再生装置２４となる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
３ＤＡＲコンテンツ再生装置の表示能力（３Ｄ表示可能か、２Ｄ表示か）は、３ＤＡＲコンテンツの再生を始めるにあたって、３ＤＡＲコンテンツ作成装置等に能力通知を実施する。３ＤＡＲコンテンツ作成装置等は、３ＤＡＲコンテンツ再生装置の能力に応じて、３Ｄ表示が可能な装置には、３Ｄ映像データ等を、２Ｄ表示能力しか備えない装置には２Ｄ化した映像データ等を配信することにより、３ＤＡＲコンテンツ再生装置の表示能力に応じたコンテンツの視聴を可能とさせる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【０１０８】
タッチセンサ２３９では、視聴者の入力操作を受け付ける。表示されている３ＤＡＲオブジェクトを選択したり、制御オブジェクト５ａ、５ｂの一例としてのメニューオブジェクトからパラメータを設定したり、広角映像や３Ｄ映像のポイントを指定して、視線を移動させたりするのに用いる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【０１２９】
１、１ａ、１ｂ、１ｃ：３ＤＡＲコンテンツ作成装置、２：広角カメラの映像、３：３Ｄカメラの映像、４ａ、４ｂ、４ｃ、４ｄ、４ｅ、４ｆ：３ＤＡＲオブジェクト、５ａ、５ｂ：制御オブジェクト、６：空間形状面データ、７：パラメータ設定オブジェクト、８ａ：マスクする面領域、８ｂ：マスク設定オブジェクト、１０ａ、１０ｂ、１０ｃ：広角カメラ、１１ａ、１１ｂ：３Ｄカメラ、１２、１２ａ、１２ｂ：ディスプレイ、１３：偏光光学レンズ、１５：コントローラ、１７：センサ、１８：ユーザ操作入力部。１９：３Ｄプロジェクタ、２０：透過型スクリーン、２１、２２：ネットワーク、２３：３Ｄディスプレイ付再生装置、２４：２Ｄディスプレイ付再生装置、２６：３ＤＡＲオブジェクトバンクサービス、２５：３ＤＡＲコンテンツストレージサービス、２７：表示設定オブジェクト、２８：視聴者オリジナルの映像、２８ａ、２８ｂ、２８ｃ、２８ｄ、２８ｅ：操作オブジェクト、１５１ａ：空間形状面処理部、１５１ｂ：奥行き情報処理部、１５１ｃ：明るさ情報処理部、１５１ｄ：色情報処理部、１５２：合成処理部、１５３：マスク処理部、１５４ａ：ＣＰＵ、１５４ｂ：ＲＡＭ、１５４ｃ：ＲＯＭ、１５４ｄ：通信部、１５５：空間位置座標処理部、１５６ａ：広角映像保持部、１５６ｂ：３Ｄ映像保持部、１５６ｃ：空間形状面データ保持部、１５６ｄ：３ＤＡＲオブジェクト保持部、１５６ｅ：２Ｄ映像保持部、１５６ｆ：２ＤＡＲオブジェクト保持部、１５６ｇ：視線移動データ保持部、１５７：２Ｄ化処理部、１５８：２Ｄ合成映像・サムネイルデータ保持部、１５９：ユーザ操作データ保持部、２３１：カメラ、２３２：スピーカ、２３３：合成処理部、２３４ａ：平面ディスプレイ、２３４ｂ：偏光光学レンズ、２３５：マスク処理部、２３８：コンテンツ格納部、２３９：タッチセンサ
【手続補正１５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラと、該カメラの位置情報を検出する位置情報センサと、コントローラを有し、
該コントローラは、前記カメラが撮影する背景映像の少なくとも一部の映像の特徴点の奥行きを計測し、
該背景映像の特徴点と３Ｄ映像を持つＡＲオブジェクトに対し、前記カメラの位置情報および計測した特徴点の奥行きから背景映像に対応する空間の位置座標を付与し、
前記背景映像の特徴点と前記ＡＲオブジェクトの奥行きを評価し合成映像を得ることを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項２】
請求項１に記載の３ＤＡＲコンテンツ作成装置であって、
前記カメラは３Ｄ映像を背景映像として撮影する３Ｄカメラであって、
前記コントローラは、前記背景映像の特徴点を頂点とする面データの集合として空間形状面データを生成することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項３】
請求項１に記載の３ＤＡＲコンテンツ作成装置であって、
背景映像を撮影するカメラよりも広い撮影領域を有し、広角映像を得る広角カメラを備え、
前記コントローラは、前記背景映像の特徴点に対し広角映像に対応する空間の位置座標を付与し、３Ｄ映像を持つＡＲオブジェクトに対し広角映像に対応する空間上にＡＲオブジェクトを配置することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項４】
請求項３に記載の３ＤＡＲコンテンツ作成装置であって、
前記広角映像を得る広角カメラは、おおよそ周囲３６０度の映像を得る３６０度カメラであることを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項５】
請求項１に記載の３ＤＡＲコンテンツ作成装置であって、
前記合成映像を３Ｄ表示する３Ｄディスプレイを有することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項６】
請求項３に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記背景映像、もしくは前記背景映像と前記広角映像を保存することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項７】
請求項１または３に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記カメラもしくは広角カメラの移動を計測し、計測した移動データに基づき、前記背景映像の特徴点と前記３Ｄ映像を持つＡＲオブジェクトに付与する空間の位置座標の再計算を行ない、計測した移動データを保存することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項８】
請求項７に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記３Ｄ映像を持つＡＲオブジェクトにパラメータを与え、前記カメラもしくは広角カメラの移動に対する空間の位置座標の再計算方法として、空間の位置座標から移動データを減算する方法、空間の位置座標を保持する方法を選択するパラメータを有することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項９】
請求項２に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記映像の特徴点を頂点とする面データをひとつ以上指定して、指定された面データの領域の背景映像をマスクすることを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項１０】
請求項１に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記背景映像と前記ＡＲオブジェクトの３Ｄ映像を２Ｄ映像に変換し、変換した背景映像とＡＲオブジェクトの映像を保存することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項１１】
請求項１０に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記背景映像の特徴点と前記ＡＲオブジェクトの奥行きを評価し、２Ｄ化した背景映像と２Ｄ化したＡＲオブジェクトの合成映像を得、該合成映像を保存することを特徴とする３ＤＡＲコンテンツ作成装置。
【請求項１２】
再生装置とディスプレイを有する３ＤＡＲコンテンツ再生装置であって、
該再生装置は、特徴点に位置座標を有する背景映像を再生し、背景映像の特徴点が属する空間の位置座標を有するＡＲオブジェクトを再生し、背景映像の特徴点とＡＲオブジェクトの位置座標を比較し、該比較結果に基づいて背景映像とＡＲオブジェクトの合成映像を得、該合成映像を前記ディスプレイに表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１３】
請求項１２に記載の３ＤＡＲコンテンツ再生装置であって、
前記再生装置は、背景映像より広い映像領域を有する広角映像を再生し、前記背景映像の特徴点とＡＲオブジェクトが有する位置座標が広角映像に対応する空間内の位置座標であり、該位置座標を比較し、該比較結果に基づいて、広角映像上に背景映像とＡＲオブジェクトを配置して合成映像を得、該合成映像を前記ディスプレイに表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１４】
請求項１２に記載の３ＤＡＲコンテンツ再生装置であって、
前記背景映像、ＡＲオブジェクト、および合成映像は３Ｄ映像であり、前記再生装置は、前記ディスプレイに３Ｄ表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１５】
請求項１２に記載の３ＤＡＲコンテンツ再生装置であって、
前記再生装置は、３ＤＡＲコンテンツの視聴者の操作を行うタッチセンサを有し、前記ディスプレイに表示する合成映像上の３ＤＡＲオブジェクトを選択する、あるいは背景映像のポイントを指定することにより、背景映像の特徴点、３ＤＡＲオブジェクトの位置座標を更新し、選択した箇所に視聴者の視線を移動させた合成画像を得て、表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１６】
請求項１４に記載の３ＤＡＲコンテンツ再生装置であって、
前記再生装置は、前記３Ｄ映像を持つＡＲオブジェクトにパラメータを与え、３Ｄ映像の透過度、表示優先度、回転、移動、サイズ変更のひとつ以上の設定が可能なことを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１７】
請求項１２に記載の３ＤＡＲコンテンツ再生装置であって、
前記再生装置は、前記背景映像の特徴点を頂点とする面データの集合として空間形状面データを再生し、挿入映像を生成もしくは再生し、前記面データのひとつ以上の領域において、前記背景映像を前記挿入映像に置換して置換映像を得、該置換映像を含む映像を表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１８】
請求項１２に記載の３ＤＡＲコンテンツ再生装置であって、
前記再生装置は、２Ｄ化した背景映像と２Ｄ化したＡＲオブジェクトを再生し、背景映像の特徴点とＡＲオブジェクトの位置座標を比較し、該比較結果に基づいて２Ｄ化した背景映像と２Ｄ化したＡＲオブジェクトの合成映像を得、該合成映像を前記ディスプレイに表示することを特徴とする３ＤＡＲコンテンツ再生装置。
【請求項１９】
請求項１に記載の３ＤＡＲコンテンツ作成装置を有する３ＤＡＲコンテンツ作成システムであって、
第一のネットワークに接続される少なくとも２つの第一及び第二の３ＤＡＲコンテンツ作成装置と３ＤＡＲコンテンツ再生装置からなり、
前記第一及び第二の３ＤＡＲコンテンツ作成装置は、前記３ＤＡＲコンテンツ作成装置の構成を有し、
前記第一の３ＤＡＲコンテンツ作成装置が、前記第一のネットワークを介して３ＤＡＲコンテンツを前記３ＤＡＲコンテンツ再生装置に配信するものであり、
前記第一及び第二の３ＤＡＲコンテンツ作成装置は第二のネットワークで接続され、
前記第二の３ＤＡＲコンテンツ作成装置は、前記第一の３ＤＡＲコンテンツ作成装置との位置関係を前記第二のネットワークを介して前記第一の３ＤＡＲコンテンツ作成装置に送信することを特徴とする３ＤＡＲコンテンツ作成システム。
【請求項２０】
請求項１２に記載の３ＤＡＲコンテンツ再生装置を有する３ＤＡＲコンテンツ作成システムであって、
第一のネットワークに接続される３ＤＡＲコンテンツ作成装置、前記３ＤＡＲコンテンツ再生装置、３ＤＡＲオブジェクトバンクサービス、３ＤＡＲコンテンツストレージサービスからなり、
前記３ＤＡＲコンテンツ作成装置は、３ＤＡＲオブジェクトを前記３ＤＡＲオブジェクトバンクサービスから前記第一のネットワークを介してダウンロードし、さらに作成した３ＤＡＲコンテンツを前記第一のネットワークを介して前記３ＤＡＲコンテンツストレージサービスにアップロードし、
前記３ＤＡＲコンテンツ再生装置は前記第一のネットワークを介して前記３ＤＡＲコンテンツストレージサービスから３ＤＡＲコンテンツをダウンロードすることを特徴とする３ＤＡＲコンテンツ作成システム。
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2019224989.tif 000027
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2019224989.tif 000028
【国際調査報告】
2019224989.tif 000029
2019224989.tif 000030
2019224989.tif 000031
2019224989.tif 000032