(57)【特許請求の範囲】
【請求項１】
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と
を備え、
前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
前記表示制御部は、
前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
再生装置。
【請求項２】
前記表示制御部は、前記付加情報が前記優先度情報である場合、かつ、複数の前記３Ｄモデルの表面が一致している場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルの表面が手前に表示されるように表示制御を行う
請求項１に記載の再生装置。
【請求項３】
前記自由視点動画像コンテンツは音声データストリームおよび音声編集データストリームを有して構成されており、
前記付加情報が前記視聴年齢制限情報である場合、前記音声編集データストリームを構成する編集データに設定されている前記視聴年齢制限情報に従って、その編集データに対応する音声データの出力が制御される
請求項１に記載の再生装置。
【請求項４】
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
ステップを含み、
前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
再生方法。
【請求項５】
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
ステップを含み、
前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
再生処理をコンピュータに実行させるプログラム。
【請求項６】
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
を備え、
前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である
記録装置。
【請求項７】
前記記録装置に前記自由視点動画像コンテンツを記録する際に、前記編集データ設定部に前記編集データストリームが入力されるとともに、前記記録処理部に自由視点動画像ストリームが入力され、
前記編集データ設定部は、ユーザの操作に従って前記編集内容取得部が取得した編集内容に基づいて前記編集データに対する編集を行う
請求項６に記載の記録装置。
【請求項８】
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含み、
前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である
記録方法。
【請求項９】
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含み、
前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である
記録処理をコンピュータに実行させるプログラム。
【請求項１０】
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
を備え、
前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
前記表示制御部は、
前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
再生記録装置。
【請求項１１】
自由視点動画像コンテンツを再生する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
自由視点動画像コンテンツを記録する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含み、
前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
再生記録方法。
【請求項１２】
自由視点動画像コンテンツを再生する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
自由視点動画像コンテンツを記録する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含み、
前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
再生記録処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラムに関し、特に、より適切な３Ｄモデルの表示に対応することができるようにした再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラムに関する。
【背景技術】
【０００２】
一般的に、ユーザにより動画像をアップロード可能な配信サイトにおいてＵＧＣ（User-Generated Contents）などの動画像コンテンツが配信されたり、商用の配信サイトにおいて映画やドラマなどの動画像コンテンツが無料または有料で配信されている。従来、これらの動画像コンテンツとしては、コンテンツ生成時のカメラワークによって視線方向および視点位置が固定されている２Ｄ動画像コンテンツが主流である。【０００３】
これに対し、近年、視線方向を自由に変更することができる動画像コンテンツ（以下、全天球動画像コンテンツと称する）の作成が可能となっている。全天球動画像コンテンツは、例えば、ヘッドマウントディスプレイを利用して、顔の向きに合わせて視線方向を変更することができるため、より臨場感が高く、今後の普及が期待されている。【０００４】
さらに、今後、全天球動画像コンテンツと同様に視線方向を変更することができ、かつ、動画像により再現されている空間内を自由に移動することができる動画像コンテンツ（以下、自由視点動画像コンテンツと称する）の普及が想定される。【０００５】
例えば、特許文献１には、動画像データに関連したメタデータとして、出力する動画像の大きさや位置に関する情報などを編集することができるメタデータの構造が開示されている。また、特許文献２には、再生属性情報などを含むプレイリスト情報や、年齢に応じた表示方式を有効とするストリーム情報テーブルなどに基づいて表示形式を選択することができる再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１４０９０号公報
【特許文献２】特開２０１２−２１３２２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、ゲームなどではオブジェクトやテクスチャデータをレンダリングすることで３Ｄモデルが配置されている自由視点空間を作り出している。上述したような自由視点動画像コンテンツでは、２Ｄ動画像コンテンツや全天球動画像コンテンツとは異なり、３Ｄモデルとしてデータを持つことが可能となっているが、様々な状況に応じて、３Ｄモデルを適切に表示することは行われていなかった。【０００８】
本開示は、このような状況に鑑みてなされたものであり、より適切な３Ｄモデルの表示に対応することができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の第１の側面の再生装置は、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部とを備え、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、前記表示制御部は、前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う。
【００１０】
本開示の第１の側面の再生方法またはプログラムは、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御するステップを含み、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う。
【００１１】
本開示の第１の側面においては、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツが再生され、編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示が、編集データで設定されている付加情報を参照して制御される。また、付加情報は、新たに配置する３Ｄモデルの優先度を、既に配置済みの他の３Ｄモデルに対して相対的に表す１ビットの値で設定する３Ｄモデルの表示の優先度を示す優先度情報、および、３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である。そして、付加情報が優先度情報である場合、優先度情報を参照して、優先度が高く設定されている３Ｄモデルが優先的に表示されるように表示制御が行われ、付加情報が視聴年齢制限情報である場合、編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する３Ｄモデルを表示するように表示制御が行われる。
【００１２】
本開示の第２の側面の記録装置は、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部とを備え、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である。
【００１３】
本開示の第２の側面の記録方法またはプログラムは、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行うステップを含み、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である。
【００１４】
本開示の第２の側面においては、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容が取得され、その編集内容に従い、編集データストリームを構成する編集データの付加情報に対する編集が行われ、編集が行われた編集データストリームと、その編集データストリームに対応する自由視点動画像ストリームとを、自由視点動画像コンテンツとして記録部に記録する処理が行われる。また、付加情報は、新たに配置する３Ｄモデルの優先度を、既に配置済みの他の３Ｄモデルに対して相対的に表す１ビットの値で設定する３Ｄモデルの表示の優先度を示す優先度情報、および、３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である。
【００１５】
本開示の第３の側面の再生記録装置は、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部とを備え、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、前記表示制御部は、前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う。
【００１６】
本開示の第３の側面の再生記録方法またはプログラムは、自由視点動画像コンテンツを再生する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、自由視点動画像コンテンツを記録する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行うステップを含み、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う。
【００１７】
本開示の第３の側面においては、自由視点動画像コンテンツを再生する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツが再生され、編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示が、編集データで設定されている付加情報を参照して制御される。一方、自由視点動画像コンテンツを記録する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容が取得され、その編集内容に従い、編集データストリームを構成する編集データの付加情報に対する編集が行われ、編集が行われた編集データストリームと、その編集データストリームに対応する自由視点動画像ストリームとを、自由視点動画像コンテンツとして記録部に記録する処理が行われる。また、付加情報は、新たに配置する３Ｄモデルの優先度を、既に配置済みの他の３Ｄモデルに対して相対的に表す１ビットの値で設定する３Ｄモデルの表示の優先度を示す優先度情報、および、３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である。そして、付加情報が優先度情報である場合、優先度情報を参照して、優先度が高く設定されている３Ｄモデルが優先的に表示されるように表示制御が行われ、付加情報が視聴年齢制限情報である場合、編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する３Ｄモデルを表示するように表示制御が行われる。
【発明の効果】
【００１８】
本開示の一側面によれば、より適切な３Ｄモデルの表示に対応することができる。
【図面の簡単な説明】
【００１９】
【図１】記録再生装置の一実施の形態の構成例を示すブロック図である。
【図２】自由視点動画像コンテンツのデータ構造の一例を示す図である。
【図３】編集データに含まれる各種の情報の一例を示す図である。
【図４】優先度情報の一例について説明する図である。
【図５】優先度情報を参照した３Ｄモデルの表示制御について説明する図である。
【図６】自由視点動画像コンテンツを再生する再生処理を説明するフローチャートである。
【図７】優先度情報の変形例について説明する図である。
【図８】１ビットの優先度情報を用い再生処理を説明するフローチャートである。
【図９】視聴年齢制限情報を付加した編集データを示す図である。
【図１０】視聴年齢制限情報を用いた再生処理を説明するフローチャートである。
【図１１】自由視点動画像コンテンツを記録する記録処理を説明するフローチャートである。
【図１２】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２１】
＜記録再生装置の構成例＞
【００２２】
図１は、本技術を適用した記録再生装置の一実施の形態の構成例を示すブロック図である。
【００２３】
図１に示すように、記録再生装置１１は、操作部１２、表示部１３、およびデータ入力部１４を接続して使用することができ、コンテンツ記録部２１、再生処理部２２、３Ｄモデル構築部２３、表示制御部２４、編集内容取得部２５、編集データ設定部２６、および記録処理部２７を備えて構成される。例えば、記録再生装置１１は、空間的な移動が可能であって様々な視点位置から任意の視線方向で見回すことが可能な自由視点動画像コンテンツを記録および再生することができる。
【００２４】
操作部１２は、例えば、リモートコントローラのように有線または無線により、ユーザによる操作に従った各種の操作信号を記録再生装置１１に供給する。例えば、操作部１２は、ユーザによる操作に従って、自由視点動画像コンテンツを再生する際の視線方向および視点位置を指示する操作信号や、自由視点動画像コンテンツを記録する際の編集内容を指示する操作信号などを、記録再生装置１１に供給する。
【００２５】
表示部１３は、記録再生装置１１により再生される動画像コンテンツを表示する。例えば、記録再生装置１１により自由視点動画像コンテンツが再生されるとき、表示部１３には、ユーザの操作に同期した視点位置から、ユーザの顔の向きに同期した視線方向の自由視点動画像が表示される。
【００２６】
データ入力部１４は、記録再生装置１１において記録および再生される動画像コンテンツの記録再生装置１１への入力を行う。
【００２７】
コンテンツ記録部２１は、データ入力部１４を介して入力される動画像コンテンツを記録する。例えば、コンテンツ記録部２１は、図２を参照して後述するような、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを記録する。
【００２８】
再生処理部２２は、コンテンツ記録部２１から動画像コンテンツを読み出してデコードし、その動画像コンテンツを再生する処理を行う。また、再生処理部２２は、例えば、自由視点動画像コンテンツを再生するとき、自由視点動画像コンテンツを構成する編集データストリームを３Ｄモデル構築部２３に供給し、自由視点動画像コンテンツを構成する自由視点動画像ストリームを表示制御部２４に供給する。
【００２９】
３Ｄモデル構築部２３は、再生処理部２２から供給される編集データストリームを構成する編集データで設定されている基本情報（例えば、図２に示す３Ｄモデル情報、操作情報、および位置情報）に従って、記録再生装置１１において再生される自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルを構築する。例えば、３Ｄモデル構築部２３は、予め設定されているオブジェクトおよびテクスチャに従って３Ｄモデルを構築し、予め設定されている大きさや配置位置などで３Ｄモデルをレイアウトするための３Ｄモデル表示データを生成して、表示制御部２４に供給する。
【００３０】
表示制御部２４は、再生処理部２２から供給される自由視点動画像ストリームに従って再現される全天球の動画像により表される空間内に、３Ｄモデル構築部２３において構築された３Ｄモデルが所定のレイアウトで配置されるように表示を制御する。そして、表示制御部２４は、ユーザの操作に従った視線方向および視点位置から見える自由視点動画像を、表示部１３に供給して表示させる。さらに、表示制御部２４は、後述するように、編集データに設定されている付加情報を参照して、３Ｄモデルの表示制御を行う。
【００３１】
編集内容取得部２５は、記録再生装置１１に自由視点動画像コンテンツを記録する際に、ユーザの操作に従って操作部１２から供給される操作信号に基づいて、自由視点動画像コンテンツに対する編集内容を取得し、編集データ設定部２６に供給する。なお、例えば、編集内容取得部２５は、コンテンツ記録部２１に記録済みの自由視点動画像コンテンツに対する編集内容を取得してもよい。
【００３２】
編集データ設定部２６には、記録再生装置１１に自由視点動画像コンテンツを記録する際に、自由視点動画像コンテンツを構成する編集データストリームがデータ入力部１４を介して入力される。そして、編集データ設定部２６は、編集内容取得部２５から供給される編集内容に従い、編集データストリームを構成する編集データに対する設定（編集）を行って、編集データストリームを記録処理部２７に供給する。例えば、編集データ設定部２６は、編集データに設定される付加情報として、後述するような優先度情報や視聴年齢制限情報などを編集する。
【００３３】
記録処理部２７は、コンテンツ記録部２１に記録させる動画像コンテンツをエンコードし、コンテンツ記録部２１に供給する処理を行う。例えば、記録処理部２７は、記録再生装置１１に自由視点動画像コンテンツを記録する際に、自由視点動画像コンテンツを構成する自由視点動画像ストリームがデータ入力部１４を介して入力される。そして、記録処理部２７は、その自由視点動画像ストリームと、編集データ設定部２６から供給される編集データストリームとをエンコードし、自由視点動画像コンテンツとしてコンテンツ記録部２１に記録させる。
【００３４】
以上のように構成される記録再生装置１１は、例えば、自由視点動画像コンテンツを再生する際に、表示制御部２４において、３Ｄモデル構築部２３により構築された３Ｄモデルに対して、編集データに設定されている付加情報を参照した表示制御が行われる。これにより、記録再生装置１１は、付加情報の設定（編集）に応じて、従来よりも適切な３Ｄモデルの表示に対応することができる。
【００３５】
＜自由視点動画像コンテンツのデータ構造＞
【００３６】
図２および図３を参照して、記録再生装置１１において再生される自由視点動画像コンテンツのデータ構造について説明する。
【００３７】
図２に示すように、自由視点動画像コンテンツは、例えば、視線方向の変更および視点位置の移動を自由に行うことができる空間を表す全天球の動画像を再生するための自由視点動画像ストリームと、元のデータを改変することなく３Ｄモデルに対する編集を適用するための編集データストリームとにより構成される。
【００３８】
また、自由視点動画像コンテンツにおいて、複数の３Ｄモデルが編集可能である場合、図２に示すように、編集データストリームは、それぞれの３Ｄモデルごとの編集データの集合により構成される。一般的に、動画像データは符号化されており、例えば、一部分を編集するためには一度デコードした後に編集して再度エンコードする必要があるため、元の動画像データを改変せず編集を適応させるために、編集データが用いられる。これにより、動画像データの部分的な編集を行い易くすることができる。
【００３９】
編集データは、自由視点動画像コンテンツにおいて再現される空間内に配置される編集可能な３Ｄモデルに対して設定される情報により構成され、時間情報、３Ｄモデル情報、操作情報、位置情報、および付加情報を保持している。
【００４０】
図３には、編集データが保持している情報の一例が示されている。
【００４１】
時間情報には、３Ｄモデルの表示時間を示す情報として、例えば、３Ｄモデルの表示を開始する開始時刻、および、３Ｄモデルの表示を終了する終了時刻が設定される。
【００４２】
３Ｄモデル情報には、３Ｄモデルを示す情報として、例えば、３Ｄモデルのデータそのもの（即ち、３Ｄモデルの形状を表すオブジェクト、および、３Ｄモデルの表面の質感を表すテクスチャ）や、３Ｄモデルを識別するためのＩＤなどが設定される。
【００４３】
操作情報には、３Ｄモデルに対する操作を示す情報として、例えば、３Ｄモデルの回転や、３Ｄモデルの拡大または縮小、３Ｄモデルの消去、３Ｄモデルの透明度などが設定される。
【００４４】
位置情報には、３Ｄモデルの空間内での位置を示す情報として、例えば、３Ｄモデルの座標などが設定される。
【００４５】
付加情報には、例えば、自由視点動画像コンテンツにおいて再現される空間内に配置される編集可能な３Ｄモデルを表示する際に参照される付加的な情報として、例えば、優先度情報や視聴年齢制限情報などが設定される。
【００４６】
優先度情報は、複数の３Ｄモデルの表示を一意に行うための情報であり、例えば、図４に示すような数値により設定することができる。図４に示す例では、優先度情報の数値が大きいほど優先度が高いことを表しており、優先度情報の数値が小さいほど優先度が低いことを表している。例えば、編集データに従って複数の３Ｄモデルを配置したとき、いずれかの３Ｄモデルの表面が一致するようなレイアウトとなる場合に、優先度の高い３Ｄモデルの表面が手前側となり、優先度の低い３Ｄモデルの表面が奥側となるように表示が制御される。
【００４７】
なお、自由視点動画像コンテンツにおいて再現される空間における既存の３Ｄモデルの優先度情報は０に設定されている。また、複数の３Ｄモデルにおいて優先度情報の数値が同一である場合、どの３Ｄモデルを優先的に表示するかについて、優先度情報においては決定されない。
【００４８】
記録再生装置１１は、このようなデータ構造の編集データを用いて、自由視点動画像コンテンツにおいて再現される空間内に配置される３Ｄモデルの表示を適切に制御することができる。即ち、記録再生装置１１は、自由視点動画像ストリームそのものを変更することなく、自由視点動画像ストリームとは別に設けられる編集データストリームに対する編集を行うことで、編集作業を容易に行うことができる。そして、記録再生装置１１は、時間情報、３Ｄモデル情報、操作情報、および位置情報とともに、優先度情報を付加したデータ構造により、様々な状況に応じて、３Ｄモデルを適切に表示することができる。
【００４９】
図５を参照して、優先度情報を参照した３Ｄモデルの表示制御について説明する。
【００５０】
例えば、図５に示すような３ＤモデルＡおよび３ＤモデルＢの配置位置を編集した結果、３ＤモデルＡの表面と３ＤモデルＢの表面とが一致するようなレイアウトになった例について説明する。なお、優先度情報が用いられない場合、３ＤモデルＡの表面と３ＤモデルＢの表面とのどちらを手前側に表示するかは、一意に決定することができない。
【００５１】
これに対し、例えば、３ＤモデルＡの優先度が１に設定され、３ＤモデルＢの優先度が４に設定されていた場合、表示制御部２４は、それぞれの優先度情報を参照し、図５のＡに示すように、３ＤモデルＢの表面が手前側に表示されるように表示制御を行う。
【００５２】
また、例えば、自由視点動画像コンテンツにおいて再現される空間に、既存の３ＤモデルＡが存在しているときに、３ＤモデルＢの優先度情報が−１に設定されたとする。この場合、既存の３ＤモデルＡの優先度情報は０であり、表示制御部２４は、それぞれの優先度情報を参照し、図５のＢに示すように、３ＤモデルＡの表面が手前側に表示されるような表示制御を行うことができる。
【００５３】
このように、表示制御部２４は、図４に示したような数値により表される優先度情報を参照することで、複数の３Ｄモデルの表面が一致するような状況となったとしても、それぞれの３Ｄモデルを適切に表示することができる。ここで、優先度情報を数値で表し、かつ、既存の３Ｄモデルの優先度情報を０に設定することで、既に空間内に配置されている３Ｄモデルとの関係に基づいた表示制御を適切に行うことができる。
【００５４】
＜自由視点動画像コンテンツの再生処理＞
【００５５】
次に、図６は、自由視点動画像コンテンツを再生する再生処理を説明するフローチャートである。例えば、ユーザにより再生対象となる自由視点動画像コンテンツが選択されて、その再生を指示する操作が行われると再生処理が開始される。
【００５６】
ステップＳ１１において、再生処理部２２は、ユーザによる操作に従って、コンテンツ記録部２１から再生対象の自由視点動画像コンテンツを読み出し、その自由視点動画像コンテンツをデコードする。そして、再生処理部２２は、自由視点動画像コンテンツの再生時刻に従って、編集データストリームを３Ｄモデル構築部２３に供給するとともに、自由視点動画像ストリームを表示制御部２４に供給する。
【００５７】
ステップＳ１２において、３Ｄモデル構築部２３は、再生処理部２２から供給される編集データストリームの先頭から順次、編集データを取得する。
【００５８】
ステップＳ１３において、３Ｄモデル構築部２３は、ステップＳ１２で取得した編集データの３Ｄモデル情報に従って、オブジェクトおよびテクスチャに基づいた３Ｄモデルを構築する。
【００５９】
ステップＳ１４において、３Ｄモデル構築部２３は、ステップＳ１２で取得した編集データの操作情報および位置情報に従って、ステップＳ１３で構築した３Ｄモデルの大きさや配置位置などのレイアウトを決定し、３Ｄモデルを表示するための３Ｄモデル表示データを生成する。
【００６０】
ステップＳ１５において、３Ｄモデル構築部２３は、３Ｄモデル表示データが生成済みとなっている３Ｄモデルの編集データの時間情報に従って、自由視点動画像コンテンツの再生時刻が、３Ｄモデルを表示する表示時刻になったか否かを判定する。
【００６１】
ステップＳ１５において、３Ｄモデル構築部２３が、自由視点動画像コンテンツの再生時刻が３Ｄモデルを表示する表示時刻になっていないと判定した場合、処理はステップＳ１６およびＳ１７をスキップして、ステップＳ１８に進む。即ち、この場合、直前のステップＳ１４で３Ｄモデル表示データが生成された３Ｄモデルの表示は行われず、その３Ｄモデルの表示時刻となるまで表示が待機されることになる。
【００６２】
一方、ステップＳ１５において、３Ｄモデル構築部２３が、自由視点動画像コンテンツの再生時刻が、３Ｄモデルを表示する表示時刻になったと判定した場合、処理はステップＳ１６に進む。
【００６３】
ステップＳ１６において、３Ｄモデル構築部２３は、表示時刻になったと判定された３Ｄモデルの３Ｄモデル表示データとともに、その３Ｄモデルの編集データに設定されている優先度情報を表示制御部２４に供給する。これにより、表示制御部２４は、３Ｄモデル表示データおよび優先度情報を取得する。
【００６４】
ステップＳ１７において、表示制御部２４は、ステップＳ１６で取得した優先度情報を参照し、３Ｄモデル表示データに基づいた３Ｄモデルの表示制御を行う。即ち、表示制御部２４は、例えば、表示時刻になったと判定された３Ｄモデルの表面が、既に配置されている他の３Ｄモデルの表面と一致する場合、それぞれの優先度情報を参照し、優先度が高い方の３Ｄモデルの表面が手前側に表示されるように表示制御を行う。
【００６５】
ステップＳ１８において、表示制御部２４は、ステップＳ１１で再生処理部２２から供給される自由視点動画像ストリームに基づいて自由視点動画像を生成し、表示部１３に供給して表示させる。このとき、表示制御部２４は、ステップＳ１５において表示時刻になったと判定された３Ｄモデルを、３Ｄモデル表示データに従って新たに配置した自由視点動画像を生成する。なお、表示制御部２４は、ステップＳ１５において表示時刻になったと判定された３Ｄモデルがない場合には、新たに配置される３Ｄモデルのない自由視点動画像を生成する。
【００６６】
ステップＳ１８の処理後、処理はステップＳ１１に戻り、自由視点動画像コンテンツの再生が終了するまで、以下、同様の処理が繰り返して行われる。
【００６７】
以上のように、記録再生装置１１は、優先度情報を参照して３Ｄモデルの表示制御を行う再生処理によって、３Ｄモデルの表示を適切に行うことができる。
【００６８】
＜優先度情報の変形例＞
【００６９】
図７を参照して、優先度情報の変形例について説明する。
【００７０】
例えば、優先度情報は、上述の図４に示したような数値を用いて設定する他、新たに配置される３Ｄモデルの表示時刻において、既に配置されている３Ｄモデルと比較する１ビットの値により設定することができる。
【００７１】
即ち、図７に示すように、１ビットの優先度情報が０である場合、新たに配置される３Ｄモデルは、既存の３Ｄモデルより優先して手前側に表示されることを指定する。また、１ビットの優先度情報が１である場合、新たに配置される３Ｄモデルは、既存の３Ｄモデルを優先して奥側に表示されることを指定する。従って、表示制御部２４は、３Ｄモデルを表示する順番と、それまでに表示されている３Ｄモデルとの相対的な優先度に基づいて、３Ｄモデルの表示制御を行うことができる。
【００７２】
例えば、上述の図５を参照して説明する。例えば、３ＤモデルＡが先に表示され、３ＤモデルＢが後に表示される順番である場合、３ＤモデルＢの優先度情報が０に設定されているとき、表示制御部２４は、図５のＡに示すように、３ＤモデルＢの表面が手前側に表示されるように表示制御を行う。
【００７３】
また、例えば、自由視点動画像コンテンツにおいて再現される空間における既存の３ＤモデルＡが存在している場合に、３ＤモデルＢの優先度情報が１に設定されているとき、表示制御部２４は、図５のＢに示すように、３ＤモデルＡの表面が手前側に表示されるように表示制御を行う。
【００７４】
このように、優先度情報を１ビットで表すことによってデータ量を削減することができるとともに、既存の３Ｄモデルとの相対的な優先度に基づいて、３Ｄモデルの表示制御を容易に行うことができる。従って、１ビットの優先度情報は、３Ｄモデルが複雑に存在していないような自由視点動画像コンテンツに適用することが好適である。
【００７５】
このような１ビットの値で表される優先度情報を用いた再生処理について、図８のフローチャートを参照して説明する。
【００７６】
図８のフローチャートに示すステップＳ２１からステップＳ２６までの処理は、上述の図６を参照して説明したフローチャートのステップＳ１１からステップＳ１６までの処理と同様に行われる。
【００７７】
ステップＳ２７において、表示制御部２４は、ステップＳ２６で取得した１ビットの優先度情報が、１および０のどちらであるかを判定する。
【００７８】
ステップＳ２７において、表示制御部２４が、１ビットの優先度情報が０であると判定した場合、処理はステップＳ２８に進む。ステップＳ２８において、表示制御部２４は、ステップＳ２５で表示時刻になったと判定された３Ｄモデルの表面が、既に配置されている他の３Ｄモデルの表面と一致する場合、新たに配置する３Ｄモデルの表示を優先し、その３Ｄモデルの表面が手前側に表示されるように表示制御を行う。
【００７９】
一方、ステップＳ２７において、表示制御部２４が、１ビットの優先度情報が１であると判定した場合、処理はステップＳ２９に進む。ステップＳ２９において、表示制御部２４は、ステップＳ２５で表示時刻になったと判定された３Ｄモデルの表面が、既に配置されている他の３Ｄモデルの表面と一致する場合、他の３Ｄモデルの表示を優先させ、他の３Ｄモデルの表面が手前側に表示されるように表示制御を行う。即ち、この場合、新たに配置する３Ｄモデルの表面は奥側に表示されることになる。
【００８０】
ステップＳ２８またはＳ２９の処理後、処理はステップＳ３０に進み、図６のフローチャートのステップＳ１８と同様の処理が行われる。その後、処理はステップＳ２１に戻り、自由視点動画像コンテンツの再生が終了するまで、以下、同様の処理が繰り返して行われる。
【００８１】
以上のように、記録再生装置１１は、１ビットの値で表される優先度情報を参照して３Ｄモデルの表示制御を行う再生処理によって、３Ｄモデルの表示を適切に行うことができる。
【００８２】
＜付加情報の他の例＞
【００８３】
ところで、付加情報は、上述したような優先度情報の他、自由視点動画像コンテンツにおいて再現される空間内に配置される３Ｄモデルを表示する際に参照される様々な情報を設定することができる。
【００８４】
例えば、図９に示すように、付加情報として、優先度情報に加えて、３Ｄモデルごとに視聴年齢制限を設けるための視聴年齢制限情報を設定することができる。例えば、編集データには、時間情報が設定されており、さらに付加情報として視聴年齢制限情報を設定することで、自由視点動画像コンテンツを部分的に、視聴年齢制限情報に従って表示または非表示にすることができる。
【００８５】
例えば、表示制御部２４は、編集データに設定されている視聴年齢制限情報が、記録再生装置１１に対して予め設定されている視聴年齢制限情報以下である場合、その編集データの３Ｄモデルを表示するように表示制御を行う。また、表示制御部２４は、編集データに視聴年齢制限情報が設定されていない場合には、その編集データの３Ｄモデルを常に表示するように表示制御を行う。
【００８６】
ここで、視聴年齢制限情報は、視聴してもよい最小の年齢の数値情報が含まれており、例えば、この数値情報が２０に設定されている場合、２０歳以上は視聴しても良いことを示している。また、視聴年齢制限情報が設定されている編集データでは、既存のデータより優先表示する（上書きする）使い方をする場合は、上述した優先度情報を用いることができる。例えば、図４に示したように数値で設定される優先度情報を用いる場合は、優先度情報に０より大きな値を設定する。さらに、編集データごとに、複数の視聴年齢制限情報を設定してもよく、例えば、年齢が大きくなるほど優先度情報を大きくすることで、一番大きな年齢のデータが最も優先されるような表示制御を行うことができる。また、図７に示したように１ビットの優先度情報を用いる場合には、優先度情報に０を設定し、年齢が大きくなる順に編集データを編集データストリーム中に格納しておくことで、適切な表示制御を行うことができる。
【００８７】
このような視聴年齢制限情報を用いた再生処理について、図１０のフローチャートを参照して説明する。
【００８８】
図１０のフローチャートに示すステップＳ４１およびステップＳ４２の処理は、図６を参照して上述した再生処理のフローチャートのステップＳ１１およびステップＳ１２の処理と同様に行われる。
【００８９】
ステップＳ４３において、３Ｄモデル構築部２３は、ステップＳ４２で取得した編集データの３Ｄモデルに対して視聴年齢制限情報が設定されているか否かを判定する。
【００９０】
ステップＳ４３において、３Ｄモデル構築部２３が、視聴年齢制限情報が設定されていると判定した場合、処理はステップＳ４４に進む。
【００９１】
ステップＳ４４において、３Ｄモデル構築部２３は、記録再生装置１１に設定されている視聴年齢制限情報を、例えば、記録再生装置１１の各種設定を記憶しているメモリから読み出して取得する。
【００９２】
ステップＳ４５において、３Ｄモデル構築部２３は、編集データの３Ｄモデルに対して設定されていた視聴年齢制限情報が、記録再生装置１１から取得した視聴年齢制限情報以下であるか否かを判定する。
【００９３】
ステップＳ４５において、３Ｄモデル構築部２３が、３Ｄモデルの視聴年齢制限情報が、記録再生装置１１の聴年齢制限情報以下でないと判定した場合、処理はステップＳ４６乃至Ｓ５０をスキップして、ステップＳ５１に進む。即ち、この場合、記録再生装置１１において３Ｄモデルを表示することは適していないと判断することができ、その３Ｄモデルの３Ｄモデル表示データは生成されないことになる。
【００９４】
一方、３Ｄモデル構築部２３が、３Ｄモデルの視聴年齢制限情報が、記録再生装置１１の聴年齢制限情報以下であると判定した場合、記録再生装置１１において３Ｄモデルを表示することは適していると判断することができ、処理はステップＳ４６に進む。また、ステップＳ４３において、３Ｄモデル構築部２３が、視聴年齢制限情報が設定されていないと判定した場合にも、処理はステップＳ４６に進む。
【００９５】
ステップＳ４６からステップＳ５１までの処理は、上述の図６を参照して説明したフローチャートのステップＳ１３からステップＳ１８までの処理と同様に行われる。その後、処理はステップＳ４１に戻り、自由視点動画像コンテンツの再生が終了するまで、以下、同様の処理が繰り返して行われる。
【００９６】
以上のように、記録再生装置１１は、視聴年齢制限情報を参照して３Ｄモデルの表示制御を行う再生処理によって、３Ｄモデルの表示を適切に行うことができる。即ち、記録再生装置１１は、自由視点動画像コンテンツを構成する一部の３Ｄモデルだけ年齢制限を適用させることができ、記録再生装置１１に設定されている視聴年齢制限情報に従った３Ｄモデルの表示制御を行うことができる。
【００９７】
なお、例えば、視聴年齢制限情報は、自由視点動画像コンテンツの映像データへの適用に限定されることなく、例えば、音声データへも適用させることができる。即ち、自由視点動画像コンテンツでは、映像データに対応する音声データもオブジェクト化されており、３Ｄモデルと同様に、自由視点動画像コンテンツにおいて再現される空間内に配置されている。従って、音声データストリームに対応する音声編集データストリームを構成する編集データにおいて、それぞれの音声データに視聴年齢制限情報を付加することで、視聴年齢制限情報に従った音声の出力制御を行うことができる。これにより、例えば、記録再生装置１１は、音声データの視聴年齢制限情報が記録再生装置１１に設定されている視聴年齢制限情報以下である場合のみ、音声を出力することができる。
【００９８】
以上のように、記録再生装置１１は、編集データに設定されている付加情報を参照した表示制御を行うことができ、例えば、特定の３Ｄモデルに別の３Ｄモデルを重ねて配置することを編集データストリームとして伝送することができる。これにより、記録再生装置１１では、例えば、一部の３Ｄモデルの表面を広告に差し替えたり、現在と過去とで異なる表面（例えば、建物が建て替わったこと）を再現したりすることができる。また、記録再生装置１１は、編集データに対する編集の前後を容易に見比べることができる。
【００９９】
また、記録再生装置１１は、部分的な不都合を理由として全体に対して年齢制限が設定されていた自由視点動画像コンテンツについて、その不都合な部分だけに年齢制限を設定して、自由視点動画像コンテンツ自体の再生が制限されることを回避することができる。これにより、記録再生装置１１を利用することで、広範囲な年齢に対して体験可能な自由視点動画像コンテンツの提供が可能となる。また、記録再生装置１１は、音声データについても同様に、一部分の音声だけに年齢制限を適用することができる。
【０１００】
＜自由視点動画像コンテンツの記録処理＞
【０１０１】
次に、図１１は、自由視点動画像コンテンツを記録する記録処理を説明するフローチャートである。例えば、ユーザの操作に従って、記録再生装置１１に記録させる自由視点動画像コンテンツがデータ入力部１４に入力されると記録処理が開始される。
【０１０２】
ステップＳ６１において、編集内容取得部２５は、自由視点動画像コンテンツを構成する３Ｄモデルに対する編集が行われたか否かを判定する。例えば、ユーザが操作部１２を操作して所定の３Ｄモデルに対する編集を行い、その操作に従った操作信号が操作部１２から供給されると、編集内容取得部２５は、３Ｄモデルに対する編集が行われたと判定する。
【０１０３】
ステップＳ６１において、編集内容取得部２５が、自由視点動画像コンテンツを構成する３Ｄモデルに対する編集が行われたと判定した場合、処理はステップＳ６２に進む。ステップＳ６２において、編集内容取得部２５は、操作部１２から供給された操作信号に基づいて、ユーザが自由視点動画像コンテンツを構成する３Ｄモデルに対して行った編集内容を取得して、編集データ設定部２６に供給する。例えば、編集内容取得部２５は、付加情報に対する編集内容を取得して、編集データ設定部２６に供給する。
【０１０４】
一方、ステップＳ６１において、編集内容取得部２５が、自由視点動画像コンテンツを構成する３Ｄモデルに対する編集が行われなかったと判定した場合、処理はステップＳ６２をスキップして、ステップＳ６３に進む。
【０１０５】
ステップＳ６３において、編集データ設定部２６は、データ入力部１４を介して入力される編集データストリームの先頭から順次、編集データを取得する。そして、編集データ設定部２６は、編集内容取得部２５から編集内容が供給された３Ｄモデルに対応する編集データに対し、その編集内容に従った編集を行って、記録処理部２７に供給する。例えば、編集データ設定部２６は、編集データの付加情報に対する編集を行って、記録処理部２７に供給する。なお、編集データ設定部２６は、編集内容取得部２５から編集内容が供給されなかった３Ｄモデルに対応する編集データについては、そのまま記録処理部２７に供給する。
【０１０６】
ステップＳ６４において、記録処理部２７は、ステップＳ６３において編集データ設定部２６から供給される編集データにより構成される編集データストリームと、その編集データストリームに対応してデータ入力部１４を介して入力される自由視点動画像ストリームとをエンコードし、自由視点動画像コンテンツとしてコンテンツ記録部２１に記録する。
【０１０７】
ステップＳ６４の処理後、処理はステップＳ６１に戻り、自由視点動画像コンテンツを構成する全ての自由視点動画像ストリームおよび編集データストリームの入力が終了するまで、以下、同様の処理が繰り返して行われる。
【０１０８】
以上のように、記録再生装置１１は、自由視点動画像ストリームのデータを変更することなく、ユーザによる３Ｄモデルに対する編集を編集データストリームに反映させて、自由視点動画像コンテンツを記録することができる。
【０１０９】
なお、本実施の形態では、自由視点動画像コンテンツの再生処理および記録処理の両方を行うことができる記録再生装置１１について説明したが、例えば、再生装置と記録装置とで独立した構成となっていてもよい。
【０１１０】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１１１】
また、上述した一連の処理（再生方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【０１１２】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１１３】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１１４】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１１５】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１６】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１１７】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１１８】
なお、本技術は以下のような構成も取ることができる。
（１）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と
を備える再生装置。
（２）
前記付加情報は、前記３Ｄモデルの表示の優先度を示す優先度情報であり、
前記表示制御部は、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行う
上記（１）に記載の再生装置。
（３）
前記表示制御部は、複数の前記３Ｄモデルの表面が一致している場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルの表面が手前に表示されるように表示制御を行う
上記（２）に記載の再生装置。
（４）
前記優先度情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する
上記（２）または（３）に記載の再生装置。
（５）
前記付加情報は、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報であり、
前記表示制御部は、前記編集データで設定されている視聴年齢制限情報が、前記再生装置に予め設定されている視聴年齢制限情報以下である場合、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
上記（１）から（４）までのいずれかに記載の再生装置。
（６）
前記自由視点動画像コンテンツは音声データストリームおよび音声編集データストリームを有して構成されており、
前記音声編集データを構成する編集データに設定されている前記視聴年齢制限情報に従って、その編集データに対応する音声データの出力が制御される
上記（５）に記載の再生装置。
（７）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
ステップを含む再生方法。
（８）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
ステップを含む再生処理をコンピュータに実行させるプログラム。
（９）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
を備える記録装置。
（１０）
前記記録装置に前記自由視点動画像コンテンツを記録する際に、前記編集データ設定部に前記編集データストリームが入力されるとともに、前記記録処理部に自由視点動画像ストリームが入力され、
前記編集データ設定部は、ユーザの操作に従って前記編集内容取得部が取得した編集内容に基づいて前記編集データに対する編集を行う
上記（９）に記載の記録装置。
（１１）
前記編集データ設定部は、前記編集データの付加情報として、前記３Ｄモデルの表示の優先度を示す優先度情報を設定する
上記（９）または（１０）に記載の記録装置。
（１２）
前記編集データ設定部は、前記編集データの付加情報として、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報を設定する
上記（９）から（１１）までのいずれかに記載の記録装置。
（１３）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含む記録方法。
（１４）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含む記録処理をコンピュータに実行させるプログラム。
（１５）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
を備える再生記録装置。
（１６）
自由視点動画像コンテンツを再生する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
自由視点動画像コンテンツを記録する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含む再生記録方法。
（１７）
自由視点動画像コンテンツを再生する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
自由視点動画像コンテンツを記録する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含む再生記録処理をコンピュータに実行させるプログラム。
【０１１９】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２０】
１１  記録再生装置，  １２  操作部，  １３  表示部，  １４  データ入力部，  ２１  コンテンツ記録部，  ２２  再生処理部，  ２３  ３Ｄモデル構築部，  ２４  表示制御部，  ２５  編集内容取得部，  ２６  編集データ設定部，  ２７  記録処理部
【図１】
0006988813.tif 000002
【図２】
0006988813.tif 000003
【図３】
0006988813.tif 000004
【図４】
0006988813.tif 000005
【図５】
0006988813.tif 000006
【図６】
0006988813.tif 000007
【図７】
0006988813.tif 000008
【図８】
0006988813.tif 000009
【図９】
0006988813.tif 000010
【図１０】
0006988813.tif 000011
【図１１】
0006988813.tif 000012
【図１２】
0006988813.tif 000013